CN115662215A - 一种智能音乐教学方法及系统 - Google Patents

Abstract

本发明涉及音乐辅助教学技术领域，公开了一种智能音乐教学方法及系统，包括以下步骤：首先由用户放置曲谱元素块，终端检测位于显示装置上的第一曲谱模块位置，根据所述第一曲谱模块位置显示对应的曲谱基线，并根据所述第一曲谱模块和所述曲谱基线确定第一显示区域、第二显示区域。其有益效果是：本发明通过动态显示区域划分，改变了现有音乐教学器材中显示区域面积固定和显示位置固定的问题，对不同身高的用户都能方便的使用，增强了音乐可视化效果；设置可以自由组合的曲谱模块，极大地丰富了可以进行视唱练习的内容，满足用户个性化需求。

Description

一种智能音乐教学方法及系统

技术领域

本发明涉及音乐辅助教学技术领域，特别涉及一种智能音乐教学方法及系统。

背景技术

在传统的视唱教学中，通常是首先由老师将乐谱写在黑板上，并绘出乐谱中每个音符的击拍线，然后通过老师一边发声，一边用手上下挥动的方式来进行教学。视唱教学的目的是帮助学生正确理解音的长短和强弱。

在该种教学方式中存在以下缺点：1.以黑板作为载体，乐谱、击拍线和教师手势三者不够统一直观，显示区域固定，不利于视觉化表达；2. 教师的经验各有差异，教学方法各有不同，初学者的学习较依赖于教师的教学质量，不能实现标准化教学。

现有市场上较为常见的视唱教学器材是节拍器，主要有机械节拍器和电子节拍器，是一种能在预设速度中发出稳定节拍的装置。但目前的节拍器视觉展示效果较差，同时对使用者要求具备一定的乐理知识。

发明内容

由背景技术可知，在现有技术中，音乐教学器材具有显示区域固定，可视化效果差，无法实现标准化教学，无法满足个体化需求的难题。为克服现有技术中存在的技术问题，本发明提出一种智能音乐教学方法及系统，其具体技术方案如下：

一种智能音乐教学方法，包括显示装置、发声装置、终端、第一曲谱模块和第二曲谱模块，包括以下步骤：S1, 终端检测位于显示装置上的第一曲谱模块位置，根据所述第一曲谱模块位置显示对应的曲谱基线，并根据所述第一曲谱模块和所述曲谱基线确定第一显示区域；S2,根据曲谱基线放置第二曲谱模块，终端检测位于第一显示区域内的第二曲谱模块，识别所述第二曲谱模块的音符信息和对应的第一曲谱模块的拍号信息，并根据所述第一显示区域确定第二显示区域；S3,终端根据所述音符信息和所述拍号信息确定对应音频，根据所述音频确定动态的可视化图形；所述可视化图形包含有动态标志，所述动态标志在可视化图形中的相对位置与音符信息中每个音符的发音起止时间在整个音频中的相对位置相对应；S4，终端控制发声装置发出所述音频，并控制显示装置在第二显示区域显示可视化图形，所述音频的发声过程与所述可视化图形的变化过程相对应。

这里需要指出，一般在节奏练习时，用户放置的定位第一显示区域的第一曲谱模块为拍号模块，在其他练习时，也可以是其他曲谱模块，如调号曲谱模块等，第一曲谱模块主要用于定位第一显示区域，并确定对应的曲谱基线，与它表示的曲谱元素没有必然的关系，也不影响本发明的实现。

进一步地，在S1中，还包括所述终端检测位于显示装置上的第一曲谱模块的大小，并根据所述第一曲谱模块大小显示对应大小的曲谱基线。

进一步地，在S1前还包括S0,预设节拍速度和基准响度，在S3中，终端根据所述拍号信息和所述音符信息，确定每个音符的发音强弱，结合所述节拍速度、所述基准响度，合成对应的音频。

优选的可以选择常见的MIDI音乐合成方案，根据设定的曲谱元素即可合成对应的音频。

进一步地，在S3中，终端根据所述拍号信息和所述音符信息查找和调取节拍音符组合对应的音频，并根据所述节拍速度和所述基准响度调整对应音频。

进一步地，在S3中，所述可视化图形包括动态标志和轨迹线，所述动态标志随时间沿预设的轨迹线变化，所述动态标志在轨迹线中的实时位置与当前发音音符在整个节奏时域中的位置相对应。优选的相邻音符对应轨迹线段的形态是不同的，每一段轨迹线表示对应音符在时域中发音起始、结束位置。更为具体地，对于有多段小节的节奏，每一个小节都对应一个起点、终点相同的轨迹线，便于用户使用时观察，随着小节内音符组合的不同，依据新小节内的音符确定新的轨迹线段。

这里需要指出，动态标志可以是不同的图形，如线条，不同形状的图像块等，通过位置移动、或者对应位置的形状变化、或者亮度变化、或者颜色变化等常见的可视化方式来呈现各个音符在时域中的位置关系；轨迹线可以是连续的，也可以是间断的，可以是实际标记的，也可以是隐含在动态标志图中的，具体的呈现方式可以根据需要进行选择，不影响本发明的实现。

进一步地，在S3中，终端根据所述节拍速度、所述拍号信息、以及预设的轨迹线确定所述动态标志的移动速度，并控制所述动态标志沿所述轨迹线匀速连续运动生成可视化图形。具体的3/4拍、3/8拍，优选的选择三角形来表示，如图1中的（A）所示；4/4拍、4/8拍优选的选择正方形来表示如图1中的（B）所示；也可以选择沙漏形表示，如图1中的（C）所示。这里需要说明，图形的选择可以根据需要设定，这里一般采用起点、终点一致的形式，目的是更容易将图形与音乐小节对应。对于比较简单的节奏，也可以采用从左至右按照音符排列，依次展现击拍轨迹线的形式。

进一步地，在S2和S3之间还包括S21，判断所述拍号信息对应的小节，小节内所述音符组合与拍号对应的小节规则是否匹配，若匹配，则进入S3;若不匹配，则返回S1并提示报错。具体的，如果拍号信息是2/4拍，对应的小节是以四分音符为一拍，一小节两拍，当单一小节对应的音符信息不是两拍时，则判定为不匹配，需要对第二曲谱模块进行调整。

在具体的轨迹线确定后，曲谱中的每个音符都对应了轨迹中的一段，优选的相邻音符对应的轨迹图像采用不同的颜色或者形状进行区分，便于用户通过图形区别每段图像表示的音符。

进一步地，在S1中，显示装置在第一曲谱模块的一侧按预设距离显示曲谱基线，并将包含有所述第一曲谱模块和所述曲谱基线的最小矩形作为第一显示区域；在S2中，根据第一显示区域位置和面积，将显示装置上除去第一显示区域的最大矩形作为第二显示区域。

一种智能音乐教学系统，包括显示装置、发声装置、终端、第一曲谱模块和第二曲谱模块；所述终端用于执行上述的智能音乐教学方法；所述第一曲谱模块和第二曲谱模块可移动至所述显示装置的显示区域上；所述终端设置有位置读取模块，和信息识别模块，所述位置读取模块获取所述第一曲谱模块和所述第二曲谱模块在显示装置上的位置信息，所述信息识别模块，识别所述第一曲谱模块的拍号信息和所述第二曲谱模块的音符信息；所述终端根据所述位置信息确定第一显示区域及第二显示区域；根据所述拍号信息、音符信息确定对应音频，生成对应可视化图形；所述终端控制所述发声装置发出所述音频，控制所述显示装置在第二显示区域显示所述可视化图形。

进一步地，所述第一曲谱模块和所述第二曲谱模块为背面有多个触控点的触控件；所述显示装置、所述终端和所述发声装置为一体式的触控屏；所述触控屏可根据所述触控点的位置，确定所述触控件的位置；每个曲谱模块单元装置背面对应不同的触控点位置分布，所述触控屏可识别所述触控点的数量和相对位置，从而确定所述第一曲谱模块的拍号信息和第二曲谱模块的音符信息。

触控件的具体结构如图2所示。矩形框表示触控件背面的轮廓，该触控件有四个触点，这四个点都分布在半径为R的同心圆上,记为点A，B，C，D，记圆心为O，四个圆心角AOB（a）、角BOC（b）、角COD（c）、角DOA（d）依次增大，并将圆进行唯一的划分，即a+b+c+d=360,a<b<c<d;满足以上条件的一组a,b,c,d对应的点的排列都可以唯一的确定一个曲谱元素。每一组不同的四个圆心角角度对应不同的曲谱元素，系统根据检测四个点的位置，即可确定四个圆心角组合的度数，从而确定触控件表示的曲谱信息，进一步的可以设置触控点排列在同圆心的一个或多个圆周上且至少有一个圆周上的触控点数量大于或等于3或者至少有两个圆周上的触控点都大于等于2，通过增加圆周，可以有效增加排列组合方案。这里需要指出，在满足组合数量的条件下，优选的选择触点分布在一个半径固定的同心圆上，更加方便进行批量生产制作。其他通过抗旋转的不同点的相对位置关系排列方法也能进行唯一的映射，具体的也可以灵活使用，这里不一一说明。

进一步地，所述第一曲谱模块和所述第二曲谱模块，为所述显示装置上的虚拟图像块，可以通过人机交互方式控制移动。

进一步地，所述第一曲谱模块和所述第二曲谱模块为正面设置有编码信息或者音符图案的卡片；所述显示装置为投影装置和投影幕布；所述终端通信连接有一摄像头；所述终端通过所述摄像头采集包含显示区域的图像，通过图像检测算法确定所述卡片位于所述投影区域的相对位置信息，所述终端可通过图像识别算法，识别所述卡片上的编码信息或者图案信息进而获取对应的拍号、音符信息。

进一步的，当第一曲谱模块和第二曲谱模块采用实物，如触控件和卡片时，其大小是固定不变的。但是显示区域的曲谱基线会根据触控屏的显示大小或者投影仪的投射距离而改变。当实物的曲谱模块和曲谱基线的大小不匹配时，会影响第二曲谱模块的检测以及可视化图像的显示。因此在本发明中通过第一曲谱模块的尺寸确定曲谱基线的大小，防止虚拟图像与实物卡片大小不统一。

图16是实物的曲谱模块与曲谱基线的匹配示意图。在图16中的（A）中，投影画面大小合适，曲谱基线的大小与曲谱模块的大小是匹配的。在图16中的（B）中，当投影离投影面比较近，投影画面比较小，此时曲谱模块的大小相对于曲谱基线偏大了，容易造成误识别，因此需要将曲谱基线相应的放大。在图16中的（C）中，当投影离投影面比较远，投影画面比较大，此时曲谱模块的大小相对于虚拟曲谱基线偏小了，容易造成识别不准，因此需要将曲谱基线相应的缩小。

对于显示装置为一触控屏的情况，当第一曲谱模块和第二曲谱模块采用实物时，为使得曲谱基线的大小与曲谱模块大小相适配，显示装置会根据第一曲谱模块的尺寸参数以及显示装置的大小参数调整曲谱基线的大小。

对于投影显示的情况，当第一曲谱模块和第二曲谱模块采用实物时，为使得曲谱基线的大小与曲谱模块大小相适配，采用图像识别算法对第一曲谱模块的大小进行识别，然后确定曲谱基线在投影图像中的大小。除了上述系统自动识别的方式，也可以通过人工调整设置或者固定大小的方式。

终端识别卡片位置的原理如图3所示，使用前投影装置投射黑白线条交替的图像块，系统根据黑白网格即可确定采集图像坐标系与投影画面坐标系的换算参数，用户放置卡片后，终端采集包含整个投射区域的图像，根据放置卡片所在位置的对应的网格坐标，即可计算出卡片在投射区域的相对位置，系统根据该位置信息即可进一步确定第一显示区域相对于整个投射区域的坐标。

这里需要说明，本发明中的曲谱是广义的曲谱，如图4所示，可以是五线谱（如图4中的（A）所示）、简谱（如图4中的（B）所示）、节奏谱（如图4中的（C）所示），其他常见的音乐图形或文字表示方式不影响本发明的信息识别、音频、图形输出。一般拍号、音符、小节线可以表示最简单的音乐节奏，增加其他基础曲谱元素不影响本发明的实现效果，例如将音符放置在五线谱上，增加音乐的谱号、调号，即给音符赋予音高，这里只需按上述方法识别对应的曲谱元素，改变音符对应的音高发音即可，这里不再赘述，用简单的拍号、音符表达代替所有相关曲谱元素的表达。增加不同的曲谱元素，使用不同的曲谱表达方案，不影响系统的信息识别、音频、图形输出，不影响本发明的实现目的和效果，都应在本发明的保护范围。

进一步地，所述触控件的背面触控点排列在同心圆的一个或多个圆周上；所述触控件的背面触控点的数量大于等于3且都在同一个圆周上，或者所述触控件的背面触控点的数量大于等于4且分布在多个圆周上，多个圆周的圆心相同；所述触控点的数量和位置信息与音符信息相对应。

进一步地，所述显示装置为投影装置和投影幕布；所述第一曲谱模块和所述第二曲谱模块为可放置于投影幕布的实物模块；所述终端采集包含投影区域和第一曲谱模块的图像，并利用图像检测算法，分别识别投影画面在所述图像中的尺寸、第一曲谱模块在所述图像中的尺寸，并确定在所述图像中第一曲谱模块相对于投影画面的比例，根据相对比例和预设参数确定在投影画面中曲谱基线的尺寸。

本发明的有益效果是：本发明通过用户放置第一曲谱模块确定第一显示区域，在第一显示区域，显示五线谱或者曲谱模块基准线，第二曲谱模块依照五线谱或者基准线摆放，改变了现有音乐教学器材中曲谱模块摆放区域固定的问题，对于不同身高的用户都能方便的进行使用，设置不同的曲谱元素组合；设置可以自由组合的曲谱模块，结合声学模型合成技术，极大地丰富了可以进行视唱练习的内容，满足用户个性化需求；通过将音符的发音起始、结束时间点对应等比例的刻画出肉眼可见的可视化图形，同时控制发声装置发声，动态指示标志在轨迹上的相对位置表示了当前音符的发音的时域位置，与音乐老师手动打拍子相比，每个音符的发音起始、结束时间更加的直观、清晰，更便于学生理解、练习不同的节奏、音乐内容。

附图说明

图1是本发明的轨迹线示意图。

图2是本发明的触控件结构示意图。

图3是本发明的投影装置参考图像示意图。

图4是本发明的曲谱图形示意图。

图5是本发明的方法流程图。

图6是本发明第一实施例的示意图。

图7是本发明第一实施例的可视化图形示意图。

图8是本发明第二实施例的示意图。

图9是本发明第三实施例的示意图。

图10是第三实施例的显示示意图。

图11是第四实施例的示意图。

图12是第五实施例的示意图。

图13是第五实施例的第一显示区域示意图。

图14是第五实施例的第二显示区域示意图。

图15是第五实施例的显示示意图。

图16是曲谱模块与曲谱基线的匹配示意图。

图17是本发明曲谱模块与曲谱基线的匹配过程示意图。

图18是本发明的系统结构示意图。

其中：

1-显示装置；11-第一显示区域；12-第二显示区域；

121-曲谱；122-击拍线；123-可视化图形；

2-曲谱模块；21-第一曲谱模块；22-第二曲谱模块；

4-投影幕布；41-第一投影区域；42-第二投影区域；

5-投影装置；6-图像采集装置；7-终端。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在现有的音乐教学器材中，如传统的黑板、电子节奏器等均存在教学演示区域面积固定，教学显示区域位置固定的问题。在音乐可视化中，是将音乐的发声过程转化为肉眼可见的动态过程，传统的音乐教学方法和器材已无法满足音乐可视化教学的需求，因此本发明提出一种智能音乐教学方法及系统。具体包括以下步骤：

一种智能音乐教学方法如图5所示，包括显示装置、发声装置、终端、第一曲谱模块和第二曲谱模块，包括以下步骤：S1, 终端检测位于显示装置上的第一曲谱模块位置，根据所述第一曲谱模块位置显示对应的曲谱基线，并根据所述第一曲谱模块和所述曲谱基线确定第一显示区域；S2,根据曲谱基线放置第二曲谱模块，终端检测位于第一显示区域内的第二曲谱模块，识别所述第二曲谱模块的音符信息和对应的第一曲谱模块的拍号信息，并确定第二显示区域；S3,终端根据所述音符信息和所述拍号信息确定对应音频，根据所述音频确定动态的可视化图形；所述可视化图形包含有动态标志，所述动态标志在可视化图形中的相对位置与音符信息中每个音符的发音起止时间在整个音频中的相对位置相对应；S4，终端控制发声装置发出所述音频，并控制显示装置在第二显示区域显示可视化图形，所述音频的发声过程与所述可视化图形的变化过程相对应。

在本发明中，主要包括显示装置、发声装置、终端、第一曲谱模块和第二曲谱模块，由终端执行。S1, 终端检测位于显示装置上的第一曲谱模块位置，根据所述第一曲谱模块位置显示对应的曲谱基线，并根据所述第一曲谱模块和所述曲谱基线确定第一显示区域。

用户首先在显示装置上放置第一曲谱模块，终端根据第一曲谱模块的位置显示如五线谱或简谱等的曲谱基线，并根据第一曲谱模块和曲谱基线的位置和大小确定第一显示区域；用户依据曲谱基线，继续放置第二曲谱模块组成完整的曲谱。为便于对曲谱进行标准化调节，在使用前用户还可以在终端手动调节节拍速度和基准响度。节拍速度是一拍的音乐发声时间，例如拍速为60时，表示一拍的时间是1/60分钟，基准响度是指音乐响度。

S2，终端检测位于第一显示区域内的第二曲谱模块，识别所述第二曲谱模块的音符信息和对应的第一曲谱模块的拍号信息，并根据所述第一显示区域确定第二显示区域；

第一曲谱模块上带有调号或拍号，第二曲谱模块上带有音符或小节线信息，终端通过读取装置识别每个曲谱模块相应的拍号、音符等信息。由于节奏练习中，至少需要一个完整的小节，因此终端在识别拍号、音符等信息后，还会判定小节内的音符与小节对应的拍号是否匹配，若匹配则进入S3，若不匹配，则提示报错。

S3,终端根据所述音符信息和所述拍号信息确定对应音频，根据所述音频确定动态的可视化图形；所述可视化图形包含有动态标志和轨迹线，所述动态标志在轨迹线中的相对位置与音符信息中每个音符的发音起止时间在整个音频中的相对位置相对应；

终端根据拍号信息确定节拍强弱，根据音符信息中的音符顺序确定节奏强弱，根据所述节拍强弱、所述节奏强弱和基准响度合成对应的音频。节拍强弱是小节中固定的强弱关系，如“2/4”拍中，节拍强弱是“强弱”，意为第一拍为强拍，第二拍为弱拍。节奏强弱是指强弱拍中多个音符的相对强弱关系，与音符的数量和顺序有关，例如“2/4”拍中的一个小节包含四个八分音符的情况下，则第一个八分音符为强拍中的强音，第二个八分音符为强拍中的弱音，第三个八分音符为弱拍中的强音，第四个八分音符为弱拍中的弱音。

在具体实施例中，终端还包括储存装置，合成对应音频是指直接调取存储装置中的对应音符的原始音频或者按照节拍强弱、节奏强弱、基准响度确定声学模型的参数，并按声学合成模型调取单一音符对应的原始音频，合成连续平滑的音频，或者使用MIDI音乐生成模块，设定对应的参数，生成音频。

可视化图形包括动态标志以及对应的轨迹线，为了便于用户和每个音符对应，相邻的音符使用不同的颜色或者形状进行区分，标志的移动速度可由节拍速度、拍号、轨迹线共同确定，轨迹线的形状有多种形状，可在使用前设定选择也可由终端按优选方式选择，常见的轨迹线形状有圆形、正多边形和其他音乐领域中常见的轨迹图形。当小节拍数为一拍或两拍时，优选轨迹线为圆形。标志绕圆心旋转，旋转一周的时间与一小节或者一拍或者其它时间周期的发声时间相对应。当小节拍数大于或等于3时，轨迹线优选为正多边形，如当拍号为“3/4”拍时，优选为正三角形，当拍号为“4/4”拍时，优选为正方形。当终端确定动态标志的移动速度和轨迹线形状后，控制动态标志沿轨迹线连续运动生成可视化图形，并在第二显示区域显示所述可视化图形的位置及大小。

S4, 终端控制发声装置发出所述音频，并控制显示装置在第二显示区域显示可视化图形，所述音频的发声过程与所述可视化图形的变化过程相对应。

音乐可视化的实质是将音符发声过程转化为可视化的动态过程，在本发明中，是将曲谱模块上表示的拍号和音符转化为对应的音频，同时生成与对应音频发声过程相对应的标志变化过程，并将该变化过程的图形显示在特定的第二显示区域，此时第一显示区域中放置有曲谱模块。本发明的具体实施例如下。

第一实施例如图6所示，包括显示装置1和曲谱模块2，在本实施例中，显示装置1采用矩形多点触控屏，曲谱模块2为与触控屏可分离连接的触控件，曲谱模块2可通过磁吸或其他常见方式固定于显示装置1的显示区域上，显示装置1将显示区域划分为位于下方的第一显示区域11，并根据第一显示区域11的位置确定第二显示区域12，显示动态可视化图像。

曲谱模块2包括第一曲谱模块21和第二曲谱模块22，在本实施例中，曲谱模块2采用触控件，每个触控件背面有多个触控点，正面印制有拍号标识或音符标识。显示装置1通过识别触控件背面的触控点，确定曲谱模块的位置信息，并根据每个曲谱模块触控点的相对位置排列信息识别其代表的曲谱元素信息。终端根据不同的触点位置排列就可以识别曲谱模块表示的曲谱元素。

第一显示区域11位于显示装置1上，通过用户放置一个曲谱模块2后确定的区域，对于不同身高的用户，一般摆放的位置是不同的，系统根据该位置在该区域投射五线谱或者曲谱模块基准线，用户在参照五线谱或者基准线继续摆放其他的曲谱模块将曲谱或者节奏补充完整。

本实施例中，用户是儿童或者身高不是很高的用户，他们无法将曲谱模块放到显示装置靠上的位置，只能放在靠下的位置，因此系统根据他们放置的曲谱元素位置确定了第一显示区域，并显示基线。将显示装置上面的空白部分设为第二显示区域。这种设计充分考虑了不同身高用户的使用，不固定曲谱模块放置位置，而是根据用户放置的位置确定，极大的方便了不同身高用户的使用。

第二显示区域12是显示装置1上用于实现音乐可视化的区域，其位置和大小由显示装置1划分第一显示区域11时共同确定。第二显示区域12上的显示信息由放置的曲谱模块2的拍号信息、音符信息及其他曲谱元素相关信息共同确定，主要包括曲谱121、击拍线122和可视化图形123。曲谱121根据第一曲谱模块21中的拍号信息和第二曲谱模块22中的音符信息，依次顺序显示单一音乐小节中的音符或者全部小节的音符。击拍线122根据曲谱121中的音符绘制对应的击拍线，相邻音符对应的击拍线使用不同的颜色或形态进行区分，便于用户明确每段击拍线对应的音符。可视化图形123和触控屏的发声装置(未图示)配合，将每个音符发声的起止时间信息通过动态可视标志呈现，方便用户进行参考。

具体地，单次操作过程中，第一曲谱模块21中的一个拍号会对应多个第二曲谱模块22，即一个曲谱中会包含多个音符。优选的，曲谱121会顺序显示每个音符组成的小节，击拍线122会对应显示每个小节的击拍线，可视化图形123以一个动态移动的标志，按照圆形轨迹线对应一个小节的发声过程，在图6中所示的一个音乐小节是两拍，这里用半圆轨迹表示一拍，整圆表示一个音乐小节，通过不同的标志或轨迹的颜色或形态，用户可以区分当前位置表示的音符，以及节拍位置。具体的，当系统在展示第三小节的动态图像时，在图7中，单一多边形可采用不同的颜色区分相邻的音符，正方形的四条边，第1、2边是表示第一个四分音符用同一个颜色表示，如红色，第3条边，表示第二个八分音符用另一种颜色，如蓝色表示，第4边表示第三个八分音符，用另一颜色，如黄色表示，如此三种颜色可以区分出该小节内的三个音符，用户可以直观的判断当前标志所在位置表示的小节内对应的音符。这里需要指出相邻音符的区分表示，可以使用不同颜色，也可以使用不同的形态，达到视觉区分的目的即可，便于用户观察每个音符的发音起止时间。在本实施例中，终端和发声装置均内置于显示装置内，与显示装置一体化。

第二实施例如图8所示，包括由矩形多点触控屏构成的显示装置1、由多个触控件构成的曲谱模块2，在本实施例中，由于节奏曲谱比较长，曲谱模块2位于显示装置1的左侧且呈多排设置，用户放置参照曲谱模块后，系统根据参照位置投射基线，用户再根据基线放置完整的曲谱模块。本例中，使用者为成人老师，曲谱模块能放置的位置也比较高，为了便于教学、观察，第一第二显示区域，左右并列显示。本例中，第一曲谱模块21为“3/4拍”，表示以“四分音符为一拍，每小节有三拍”，多个第二曲谱模块22吸附于显示装置1上，构成多个小节。左侧为第一显示区域11，右侧为第二显示区域12。系统根据用户放置好的曲谱模块后，确定第二显示区域12，在第二显示区域12内，从上至下依次为可视化图形123、曲谱121和击拍线122。可视化图形123为等边三角形，每一条边线代表了一拍，一圈轨迹线表示一个小节的三拍。曲谱121展示为当前小节对应的曲谱内容，击拍线122展示为对应小节的击拍线。

显示装置1的控制系统根据曲谱模块2的曲谱内容，确定对应的发音内容，并确定对应的可视化信息，在开始演示时，显示装置1一边发出标准的曲谱乐音，一边控制第二显示区域内的动态可视化信息，为用户提供曲谱对应的标准发音，同时显示动态标识以表示每个音符在时域发音的起始、结束位置。第二显示区域作为可视化区域，其位置设定主要考虑充分利用触控屏的剩余未使用区域，可结合需要展示的相关信息形式，根据具体需求或实现效果进行调整。

第三实施例如图9所示，在图9中，智能音乐教学系统包括投影幕布4、投影装置5、图像采集装置6和终端7，图像采集装置6与终端7通信连接，终端7与投影装置5通信连接，投影装置5和投影幕布4以及图像采集装置6之间相对设置。在本实施例中，图像采集装置6始终采集投影幕布4上的图像信息，为便于图像采集装置6的图形识别，曲谱模块2的表面设置有识别图案，图案可使用黑白编码，也可使用彩色编码，或者有显著性的图案。这里需要说明曲谱模块2没有编码图案时，系统也能根据音符图案进行识别。这里的投影幕布也可以是一白色墙面区域或可以进行画面投射的平面物体进行替代。

图10是第三实施例的显示效果示意图。曲谱模块2采用卡片形式固定于投影幕布4的上方，具体的固定方式有毛毡、磁吸、插口槽等常见的固定方式，系统识别曲谱模块2在投影幕布4上的位置信息，并将位置信息传回至终端7。终端7根据位置信息将投影区域划分为第一投影区域41，并投射对应的基线，用户根据基线放置完整的曲谱模块，系统再识别曲谱模块的编码信息或者图案信息，根据以上信息识别曲谱模块对应的拍号和音符，确定第二投影区域42，并对应绘制可视化图形123、曲谱121和击拍线122，确定曲谱对应的音频内容。终端7通过投影装置5在投影幕布4的第二投影区域42上显示对应的可视化图形123、曲谱121和击拍线122。

为了便于通过图像确定曲谱模块在投影区域的相对位置，如图3所示，系统初始时会投射黑白线条交替的参考图像块，系统根据黑白网格即可建立参照坐标系，用户放置曲谱模块后，系统采集包含投影区域以及曲谱模块的图像，根据曲谱模块在图像中的位置，即可确定曲谱模块在投影区域内的相对坐标。这里需要指出，通过黑白网格进行坐标标定只是通过图像进行坐标标定的一种方案，也可以采用其他方式来标记坐标位置并进行换算的方法，不影响本发明的实现，再此不一一说明。

第四实施例如图11所示，本实施例是在第三实施例基础上增加了多排设计和五线谱显示，同时可根据第一曲谱模块21的大小，生成对应大小的曲谱基线，其余同第三实施例。具体的，通过检测采集图像内曲谱模块与投影画面，确定相对大小关系，从而确定五线谱在投影画面内的大小。在本实施例中，根据第一曲谱模块21的数量确定可视化图形123、曲谱121和击拍线122的数量，并在第一显示区域中用户放置第一曲谱模块21后，生成对应的五线谱，用户根据参照的五线谱，再将曲谱模块放置完整，此种方式可适应复杂的曲谱以及多个音轨的曲谱。这里需要指出曲谱模块可以是矩形，也可以是异形的，比如音符的形状，也可以是透明的矩形，在音符图案上进行不透明的涂色，这样不影响用户观察音符在五线谱中的位置。

第五实施例如图12至图15所示，在本实施例中，如图12所示，第一曲谱模块和第二曲谱模块为显示装置上的虚拟图像块。更为具体地，在图12中，第一曲谱模块和第二曲谱模块位于显示装置的可互动用户界面中，优选的位于界面的底部，防止太高了用户无法触控。用户可通过拖曳、点触移动等常见互动方式选择对应的第一曲谱模块和对应的第二曲谱模块。

在图13中，用户在确定了对应的第一曲谱模块位置后，终端首先判定第一曲谱模块到显示装置四侧的距离，优先选择在第一曲谱模块距离显示装置最远的一侧显示曲谱基线，再根据第一曲谱模块、曲谱基线、第一曲谱模块与曲谱基线之间的预设距离确定第一显示区域的位置和大小，第一显示区域优选为可包含第一谱曲模块和曲谱基线的最小矩形。更为具体地，在图13中，在第一曲谱模块的右侧预设间隔处显示曲谱基线，预设间隔可自主调配，也可以根据曲谱模块宽度的比例大小设置（例如间隔为曲谱模块宽度的0.3倍，具体倍数可以灵活调整）。在图13中，A区域为虚线框表示的矩形区域，表示第一显示区域。

在图14中，用户将第二曲谱模块拖曳至曲谱基线上，终端根据第一显示区域的面积，对剩余显示面积进行划分，优选选择面积最大的矩形最为第二显示区域，图14中的A为第一显示区域示意，图14中的B为第二显示区域示意。如图15所示，终端根据第一显示区域中第一曲谱模块和第二曲谱模块对应的曲谱信息绘制可视化图像，并将该可视化图像对应显示于第二显示区域中；可视化图像示意如图15中的B所示，第一显示区域示意如图15中的A所示。

这里需要说明，这里击拍线动态标志可以是不同的图形，如线条，不同形状的图像块等，通过位置移动、或者对应位置的形状变化、或者颜色变化等常见的可视化方式来呈现各个音符在时域中的位置关系，具体的呈现方式可以根据需要进行选择，不影响本发明的实现。

针对于触控屏的实施例，当第一曲谱模块和第二曲谱模块采用实物时，为使得曲谱基线的大小与曲谱模块大小相适配，显示装置会根据第一曲谱模块的尺寸参数及显示装置的尺寸参数调整曲谱基线的大小。更为具体地，第一曲谱模块和第二曲谱模块采用相同高度的几何结构，系统中储存与各种规格尺寸相匹配的曲谱基线参数。当第一曲谱模块被放置后，显示装置根据第一曲谱模块的位置确定曲谱基线的位置，根据识别到的第一曲谱模块的规格尺寸参数调取对应的曲谱基线参数。当然现有技术中其他常见算法也可运用于本发明中。

针对于投影显示的实施例，当第一曲谱模块和第二曲谱模块采用实物时，由于投影画面的大小随投影距离的变化而变化，随着投影仪位置的改变，投影画面的大小不是固定的，为使得投影画面中曲谱基线的大小与曲谱模块大小相适配，采用图像识别算法对第一曲谱模块的大小进行识别，然后确定曲谱基线在投影图像中的大小。相关原理如下，如图17所示，终端采集包含整个投影区域以及第一曲谱模块的图像，使用图像检测算法，分别确定投影画面在图像中的尺寸和第一曲谱模块在图像中的尺寸，从而确定第一曲谱模块相对于投影画面的尺寸，终端根据设置的虚拟五线谱图像与第一曲谱模块尺寸的关系，确定在投影画面中虚拟五线谱图像的尺寸。

更为具体的，在图17中，外侧实线区域为拍摄图像，内侧虚线区域为拍摄图像中的投影画面。系统通过拍摄图像，利用图像检测算法确定图像中的投影画面和第一曲谱模块在图像中的区域位置范围；进一步地，在拍摄图像上建立平面直角坐标系，计算并记录投影画面在拍摄图像中的四个顶点坐标分别为A1(xA1,yA1)、A2(xA2,yA2)、A3(xA3,yA3)、A4(xA4,yA4)；计算第一曲谱模块21在拍摄图像中的四个顶点坐标B1(xB1,yB1)、B2(xB2,yB2)、B3(xB3,yB3)、B4(xB4,yB4),当第一曲谱模块采用不规则图形时，此时计算的四个顶点可以为第一曲谱模块的外接矩形的四个顶点；读取投影仪投影画面的分辨率记为Xw*Yw，Xw表示水平像素数，Yw表示垂直像素数。则投影画面上显示的虚拟五线谱图像在投影画面中的垂直像素高度H可由以下公式计算，H=(yB2-yB1)/(yA2-yA1)×Yw×K ,在该公式中，Yw为投影显示的垂直像素数；K为预设的比例系数，可根据实际需要设定。同理，五线谱图像在投影画面中的水平像素数也可按照上述方法确定。

例如，在一获取的拍摄图像中，投影画面的投影分辨率为Xw*Yw=1920*1080，若yB2-yB1=30，yA2-yA1=300，K=1.2，则H=30/300*1.2*1080=129.6，取整后即为130像素，系统即可确定五线谱图像高度在投影画面中的像素数为130。

一种智能音乐教学系统，系统结构如图18所示，显示装置、发声装置、终端、带有拍号信息和音符信息的曲谱模块；曲谱模块可外置并固定于显示装置的显示区域上。

终端设置有位置获取模块和信息读取模块，位置获取模块检测所述曲谱模块在显示装置上的位置信息，终端接收所述位置信息，并根据所述位置信息确定第一显示区域，投射参考基线或者五线谱；读取模块读取所述曲谱模块上的拍号、音符等相关元素的信息，终端接收所述拍号、音符信息，并根据拍号、音符信息确定对应音频，确定对应可视化图形；终端控制发声装置发出所述音频，控制显示装置在对应的区域显示该可视化图形。

这里需要说明，对应的可视化图形可以根据实际需要进行设置改变，不影响本发明的实现目的，实际应用中只要通过动态标志在图中的相对位置表示每个音符的发音起止时间在整个音频中的相对位置即为本发明的保护范围。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (16)

1.一种智能音乐教学方法，包括显示装置、发声装置、终端、第一曲谱模块和第二曲谱模块，其特征在于，包括以下步骤：

S1，终端检测位于显示装置上的第一曲谱模块位置，根据所述第一曲谱模块位置显示对应的曲谱基线，并根据所述第一曲谱模块和所述曲谱基线确定第一显示区域；

S2，根据曲谱基线放置第二曲谱模块，终端检测位于第一显示区域内的第二曲谱模块，识别所述第二曲谱模块的信息和对应的第一曲谱模块的信息，并根据所述第一显示区域确定第二显示区域；

S3，终端根据曲谱元素信息确定对应音频以及动态的可视化图形；根据第一曲谱模块信息、第二曲谱模块信息、曲谱基线信息确定所述曲谱元素信息；所述曲谱元素信息包含不限于拍号信息、音符信息；所述可视化图形包含有动态标志，所述动态标志在可视化图形中的相对位置与音符信息中每个音符的发音起止时间在整个音频中的相对位置相对应；

S4，终端控制发声装置发出所述音频，并控制显示装置在第二显示区域显示可视化图形，所述音频的发声过程与所述可视化图形的变化过程相对应。

2.根据权利要求1所述的智能音乐教学方法，其特征在于，在S1中，还包括所述终端检测位于显示装置上的第一曲谱模块的大小，并根据所述第一曲谱模块大小显示对应大小的曲谱基线。

3.根据权利要求1所述的智能音乐教学方法，其特征在于，在S1前还包括S0，预设节拍速度和基准响度；在S3中，终端根据所述曲谱元素信息，确定每个音符的发音强弱，结合所述节拍速度、所述基准响度，合成对应的音频；或者终端根据所述曲谱元素信息查找和调取对应的音频，并根据所述节拍速度和所述基准响度调整对应音频。

4.根据权利要求1所述的智能音乐教学方法，其特征在于，在S3中，所述可视化图形包括动态标志和轨迹线，所述动态标志随时间沿预设的轨迹线变化，所述动态标志在轨迹线中的实时位置与当前发音音符在整个节奏时域中的位置相对应。

5.根据权利要求4所述的智能音乐教学方法，其特征在于，在S3中，终端根据所述节拍速度、所述拍号信息、以及预设的轨迹线确定所述动态标志的移动速度，并控制所述动态标志沿所述轨迹线匀速连续运动生成可视化图形。

6.根据权利要求1-5任意一项所述的智能音乐教学方法，其特征在于，在S2和S3之间还包括S21，判定所述音符信息是否与节拍信息匹配，若匹配，则进入S3;若不匹配，则返回S1并提示报错。

7.根据权利要求1-5任意一项所述的智能音乐教学方法，其特征在于，

在S1中，显示装置在第一曲谱模块的一侧按预设距离显示曲谱基线，并将包含有所述第一曲谱模块和所述曲谱基线的最小矩形作为第一显示区域；

在S2中，根据第一显示区域位置范围，将显示装置上除去第一显示区域的最大矩形作为第二显示区域。

8.一种智能音乐教学系统，其特征在于，包括显示装置、发声装置、终端、第一曲谱模块和第二曲谱模块；所述终端用于执行权利要求1-5任意一项所述的智能音乐教学方法；

所述第一曲谱模块和第二曲谱模块可移动至所述显示装置的显示区域上；

所述终端设置有位置读取模块，和信息识别模块，所述位置读取模块获取第一曲谱模块和第二曲谱模块在显示装置上的位置信息，所述信息识别模块，识别第一曲谱模块的信息和第二曲谱模块的信息；

所述终端根据所述位置信息确定第一显示区域及第二显示区域；根据所述曲谱信息确定对应音频，生成对应可视化图形；所述终端控制所述发声装置发出所述音频，控制所述显示装置在第二显示区域显示所述可视化图形。

9.根据权利要求8所述的智能音乐教学系统，其特征在于，所述第一曲谱模块和所述第二曲谱模块为背面有多个触控点的触控件；所述显示装置、所述终端和所述发声装置为一体式的触控屏；所述触控屏可根据所述触控点的位置，确定所述触控件的位置；每个曲谱模块单元装置背面对应不同的触控点位置分布，所述触控屏可识别所述触控点的数量和相对位置，从而确定所述第一曲谱模块的曲谱元素信息。

10.根据权利要求8所述的智能音乐教学系统，其特征在于，所述第一曲谱模块和所述第二曲谱模块，为所述显示装置上的虚拟图像块，可以通过常见的人机交互方式控制移动。

11.根据权利要求8所述的智能音乐教学系统，其特征在于，所述第一曲谱模块和所述第二曲谱模块为正面设置有编码信息或者音符图案的卡片；所述显示装置为投影装置和一投影面；所述终端通信连接有一摄像头；所述终端通过所述摄像头采集包含显示区域的图像，通过图像检测算法确定所述卡片位于所述投影区域的相对位置信息，进一步确定曲谱基线在投影区域内的位置，所述终端可通过图像识别算法，识别所述卡片上的编码信息或者图案信息进而获取对应的曲谱元素信息。

12.根据权利要求9所述的智能音乐教学系统，其特征在于，所述触控件的背面触控点的数量大于等于3且都在同一个圆周上；或者所述触控件的背面触控点的数量大于等于4且分布在多个圆周上，多个圆周的圆心相同。

13.根据权利要求12所述的智能音乐教学系统，其特征在于，所述圆周相邻触控点对应的圆周角从最小的圆周角开始，按顺时针或逆时针顺序依次增大或减小。

14.根据权利要求11所述的智能音乐教学系统，其特征在于，所述第一曲谱模块和所述第二曲谱模块为可固定于投影面的实物模块；所述终端采集包含投影区域和第一曲谱模块的图像，并利用图像检测算法，分别识别投影画面在所述图像中的尺寸、第一曲谱模块在所述图像中的尺寸，并确定在所述图像中第一曲谱模块相对于投影画面的比例，根据相对比例和预设参数确定在投影画面中曲谱基线的尺寸。

15.根据权利要求2所述的智能音乐教学方法，其特征在于，所述显示装置为一触控屏，所述第一曲谱模块和所述第二曲谱模块采用实物形式，为使得所述曲谱基线的大小与所述曲谱模块大小相适配，根据所述第一曲谱模块的尺寸参数以及所述显示装置的大小参数调整曲谱基线的大小，所述第一曲谱模块的尺寸参数根据第一曲谱模块对应的触控信息确定。

16.根据权利要求2所述的智能音乐教学方法，其特征在于，所述显示装置包含一投影装置及投影面，所述终端包含一图像采集装置，采集包含投影区域和第一曲谱模块的图像，所述第一曲谱模块采用实物，所述曲谱基线为五线谱图像，为使得所述曲谱基线的大小与所述曲谱模块大小相适配，采用图像识别算法对所述采集图像内的第一曲谱模块以及投影画面进行检测识别，根据两者在采集图像内的相对大小关系以及需要投射的曲谱基线与第一曲谱模块的大小关系，确定所述曲谱基线在投影画面中的大小。

Images