CN103377646A - 音符位置检测装置、电子乐器及音符位置推测方法 - Google Patents

Abstract

在本发明中，CPU从乐谱图像中检测小节线，按照每个小节分区，取得分区后的各小节的音符的配置范围。使用音符数据推测所取得的配置范围中的音符的位置，检测处于推测出的位置上的音符的匹配值及检测位置作为位置候选。从检测出的位置候选中将在音乐上不可能有的位置候选排除，将在其余之中一致系数最高的位置候选的检测位置判别为音符的位置。

Description

音符位置检测装置、电子乐器及音符位置推测方法

本申请基于2012年4月25日提出申请的日本专利申请第2012－99643号主张优先权，这里引用其全部内容。

技术领域

本发明涉及基于相互独立、没有建立关联的相同的乐曲的乐谱图像和音符数据检测与音符数据表示的声音对应的乐谱图像中的音符的位置的音符位置检测装置、电子乐器及音符位置推测方法。

背景技术

如果是想要熟悉音乐的用户、特别是初学者，则不知道显示在乐谱中的音符为哪个音的情况较多。因此，近年来开发了各种能够直观地确认显示在乐谱上的音符与表示该音符的音符数据的对应关系的技术。例如，在日本专利第3980888号公报中，公开了将存储在存储部中的音符数据作为乐谱进行画面显示，当使用设在显示画面上的触摸面板接触操作乐谱中的想要的音符时，使处于该接触操作的位置的音符的乐音发声的技术。

可是，上述日本专利第3980888号公报所公开的技术由于将表示构成曲子的各音的多个音符数据与乐谱显示的各音符的显示位置预先建立了对应，所以虽然能够发声通过接触操作指定的音符的声音，但是有不能基于相互独立、没有建立关联的相同的乐曲的乐谱图像和音符数据检测与音符数据表示的音对应的乐谱图像中的音符的位置的问题。

发明内容

本发明是鉴于这样的情况而做出的，目的是提供一种能够基于相互独立、没有建立关联的相同的乐曲的乐谱图像和音符数据检测与音符数据表示的音对应的乐谱图像中的音符的位置的音符位置检测装置、电子乐器、音符位置推测方法及程序。

为了达到上述目的，本发明的音符位置检测装置的特征在于，具备：取得机构，根据乐谱图像数据检测小节线，按照每个小节分区，取得分区后的各小节内的音符的配置范围；提取机构，使用构成曲子的多个音符数据推测由上述取得机构取得的配置范围中的音符的位置，提取处于推测出的位置上的音符与在上述乐谱图像数据上检测出的音符的位置的匹配值、及该检测出的音符位置作为位置候选；以及判别机构，从由上述提取机构提取出的位置候选中将在音乐上不可能的位置候选排除，将剩余的位置候选的检测位置判别为音符的位置。

此外，本发明的音符位置检测方法的特征在于，根据乐谱图像数据检测小节线，按照每个小节分区，取得分区后的各小节的音符的配置范围；使用构成曲子的多个音符数据推测上述取得的配置范围中的音符的位置，提取处于推测出的位置上的音符与在上述乐谱图像数据上检测出的音符的位置的匹配值及该检测出的音符位置作为位置候选；以及从上述提取出的位置候选中将在音乐上不可能有的位置候选排除，将剩余的位置候选的检测位置判别为音符的位置。

附图文字

图1是表示第1实施方式的结构的块图。

图2是表示音符位置检测处理的动作的流程图。

图3是表示音符位置检测处理的动作的流程图。

图4是表示预检测范围的一例的图。

图5是表示音符位置曲线的一例的图。

图6是表示匹配范围的一例的图。

图7是表示乐典（musical grammar）过滤处理的动作的流程图。

图8是表示接近音符的一例的图。

图9是表示第2实施方式的演奏处理的动作的流程图。

图10是表示椭圆检测的一例的图。

图11是表示发声时刻搜索的一例的图。

图12是表示第2实施方式的变形例的演奏处理的动作的流程图。

图13是表示操作位置与发声的音符的对应关系的图。

图14是表示乐谱中的音符和键盘显示的一例的图。

图15是表示越过小节线的操作例的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

［第1实施方式］

A.结构

图1是表示具有本发明的第1实施方式的音符位置检测装置的电子乐器100的结构的块图。在图1中，CPU10根据操作部13产生的操作事件及触摸面板15发生的接触操作信号控制乐器各部。有关本发明的主旨的CPU10的功能是基于相互独立、没有建立关联的相同的乐曲的乐谱图像和音符数据检测与音符数据表示的音对应的乐谱图像中的音符的位置的，对其加以叙述。

在ROM11中，存储被CPU10装载的各种控制程序。各种控制程序包括后述的音符位置检测处理。RAM12具备工作区、数据区及音符位置保存区。在RAM12的工作区中，暂时存储在CPU10的处理中使用的各种寄存器标志数据。

在RAM12的数据区中，存储有显示部14上画面显示的乐谱图像数据（位图形式）、和表示构成曲子的各音的多个音符数据。乐谱图像数据和音符数据，是相互独立、没有建立关联的相同的乐曲的数据。另外，音符数据以公知的MIDI数据形式表现。在RAM12的音符位置保存区中，保存通过后述的音符位置检测处理得到的乐谱中的各音符的位置。

操作部13具有配设在装置面板上的各种操作开关，产生与被用户操作的开关种类对应的开关事件。操作部13产生的开关事件被CPU10取入。在操作部13中，除了将电源进行电源开启关闭的电源开关以外，还设有例如指定执行后述的音符位置检测处理的模式的模式开关、及选择产生乐音的音色的音色选择开关等。

显示部14由彩色液晶面板等构成，根据从CPU10供给的显示控制信号，基于保存在RAM12的数据区中的乐谱图像数据将乐谱图像进行画面显示、或将乐器的设定状态或动作状态等进行画面显示。触摸面板15由配设在显示部14的显示画面上的多接触方式的触摸屏幕构成，将与在该触摸屏幕上进行的接触操作对应的操作信号输出。该操作信号被CPU10取入。音源16由周知的波形存储器读出方式构成，产生与从CPU10供给的事件对应的乐音数据。声音系统17在将从音源16输出的乐音数据变换为模拟形式的乐音信号后进行信号放大，从扬声器放音。

B.动作

（1）音符位置检测处理的动作

接着，参照图2～图6，对以CPU10为动作主体的音符位置检测处理的动作进行说明。图2是表示音符位置检测处理的动作的流程图。本处理根据操作部13的模式开关操作而执行。如果执行本处理，则前进到图2中图示的步骤SA1，从RAM12的数据区将乐谱图像数据及音符数据（MIDI数据）读入到工作区中。

接着，在步骤SA2中，对乐谱图像数据实施图像识别而检测乐谱中的小节线，基于该结果将乐谱图像数据按照每个小节分割。接着，在步骤SA3中，在由检测到的小节线信息得到的特定小节的显示区中，预检查该区内的音符的配置（音符图形配置），取得音符配置范围。

接着，如果前进到步骤SA4，则使用音符数据（MIDI数据）推测各音符被配置的位置。具体而言，在乐谱是钢琴2段谱的情况下，有音阶2种（C音阶和F音阶）、段位置为上段和下段的2种、音符的半音为上下3种（本位、降半音、升半音）、音符位置为4种（五线中间、五线上下、五线上、五线下）等的位置条件48种，配置该全部的组合来推测各音符的位置。

并且，在步骤SA5中，判断在上述步骤SA4中得到的音符的推测位置是否是音符配置范围内。在是通过预检测得到的音符配置范围外的情况下、或用MIDI数据中的音高（音符编码）判断的配置是五线谱的上中下以外的不可能的配置，则判断结果为“否”，将处理回到上述步骤SA4，从推测对象中排除。

另一方面，如果音符的推测位置是音符配置范围内，则上述步骤SA5的判断结果为“是”，向步骤SA6前进。在步骤SA6中，对于推测位置设定使上下方向为五线宽度、使左右方向为预检测的宽度的检测范围，对处于该范围中的音符，实施3个音符种类（全音符、二分音符及四分音符）的图案匹配，存储各自的匹配值（一致度）及音符的检测位置。图6是表示图案匹配的一例的图。根据该例可知，由于通过MIDI数据确定各音符的大致的配置位置，所以通过较窄的范围内的匹配就足够，所以成为较高的检测精度。

接着，在步骤SA7中，用发声时刻和小节宽度修正匹配值。通过图案匹配检测出的音符由于发声时刻越早则乐谱位置越配置在左方，相反发声时刻越晚则乐谱位置越配置在右方，所以进行使该音符的配置预测位置成为最大值的加权。当然，音符的位置并不与发声的时间一致，所以给出平滑的修正曲线（音符位置曲线）。图5是表示其一例的图。在相同的音符连续的情况下，在图形上为相同的检测值，但对其用MIDI数据的发声时间进行修正而得到最近的地方。

并且，在步骤SA8中，判断是否对小节内的全部的音符结束了检测。如果检测没有结束，则判断结果为“否”，将处理向上述步骤SA4返回。以后，重复上述步骤SA4～SA8，直到对小节内的全部的音符结束检测。并且，如果对全部的音符结束检测，则上述步骤SA8的判断结果成为“是”，执行图3中图示的步骤SA9。

在步骤SA9中，对于到此为止得到的位置候选（检测位置条件、匹配值及检测位置），执行乐典上的过滤、即将根据乐谱表述上的规则（约定）或音乐理论偏离等的、在音乐上不可能有的位置候选排除、实现候选的缩减的乐典过滤处理（后述）。

接着，在步骤SA10中，对通过乐典过滤处理缩减后的位置候选的组合合计全部进行运算，将评价值最高的位置候选作为音符的位置输出。另外，将输出的音符的位置保存到RAM12的音符位置保存区中。并且，在步骤SA11中，判断是否对全部的小节结束了处理，如果处理没有结束，则判断结果为“否”，向上述步骤SA2（参照图2）返回。另一方面，如果对全部的小节结束了处理，则判断结果为“是”，结束本处理。

（2）乐典过滤处理的动作

接着，参照图7～图8对乐典过滤处理的动作进行说明。如果经由上述音符位置检测处理的步骤SA9（参照图3）执行本处理，则CPU10向图7所图示的步骤SB1前进，将位置候选的评价值按照每个音阶进行累计。即，按照上段下段取得音阶组合，将其评价值进行合计。

接着，在步骤SB2中，在各个合计值高的情况下认为是乐谱的上限和下限的音阶，将其以外的情况下的位置候选删除。这是因为以在小节内音阶不变化的乐典为前提。接着，在步骤SB3中，对位置候选彼此的距离为五线宽度以内的情况进行计数。在步骤SB4中，将其计数值为2以上的位置候选删除。即，在计数值为2以上的情况下，意味着两个音符的位置重叠，认为是作为乐谱不可能有的接近音符，将对应的位置候选删除。图8是这样的接近音符的一例。

并且，在步骤SB5中，寻找位置候选仅有1个的音符，在接着的步骤SB6中，将与单独一个候选相同位置的位置候选删除。即，在某个音符仅具有单独一个的位置的情况下，其他音符具有多个位置候选并且将相同的位置的候选删除。最终，乐谱上的全部的音符成为不同的位置，所以以单独一个配置的音符为优先。

这样，在乐典过滤处理中，对于得到的位置候选（检测位置条件、匹配值及检测位置），将从乐谱表述上的规则（约定）偏离等在音乐上不可能有的位置候选除外，实现候选的缩减。

如以上说明，在第1实施方式中，从乐谱图像中检测小节线，按照每个小节分区，取得分区后的小节内的音符的配置范围。在该配置范围中，如果使用音符数据（MIDI数据）推测的音符的推测位置是配置范围外则排除，如果音符的推测位置为配置范围内，则通过图案匹配检测与推测位置对应的处于检测范围中的音符，将检测出的匹配值及检测位置作为位置候选存储后，将位置候选的匹配值用发声时刻和小节宽度进行修正。并且，从位置候选中将从乐谱表述上的规则（约定）偏离等在音乐上不可能有的位置候选排除，实现候选的缩减，从缩减后的位置候选中将评价值最高的位置候选作为音符的位置输出，所以能够基于相互独立、没有建立关联的相同的乐曲的乐谱图像和音符数据检测与音符数据表示的音对应的乐谱图像中的音符的位置。

［第2实施方式］

接着，对第2实施方式进行说明。在上述第1实施方式中，基于相互独立、没有建立关联的相同的乐曲的乐谱图像和音符数据检测与音符数据表示的音对应的乐谱图像中的音符的位置，而在第2实施方式中，在用户通过接触操作指定了这样得到的乐谱图像中的音符的位置的情况下，使指定的位置的音符发声。

第2实施方式的结构与上述实施方式相同，所以对其说明省略。以下，说明第2实施方式的演奏处理的动作。图9是表示第2实施方式的演奏处理的动作的流程图。本处理对应于操作部13的模式开关操作而执行。

如果执行本处理，则CPU10向图8中图示的步骤SC1前进，进行将乐器各部初始化的预置，在接着的步骤SC2中，取得接触位置信息。这里，所谓接触位置信息，是指用户在触摸面板15上接触操作画面显示在显示部14上的乐谱图像中的想要的位置而产生的信息。

接着，在步骤SC3中，从在上述步骤SC2中得到的接触位置进行添加了当前的乐谱显示倍率的位置变换，计算乐谱图像中的位图坐标值。如果乐谱显示倍率是等倍则为相同的位置，如果是2倍缩放显示，则将显示偏移量与接触位置的一半相加后的值作为位图坐标值。并且，如果前进到步骤SC4，则计算在上述步骤SC3中得到的位图坐标值与保存在RAM12的音符位置保存区中的各音符的位置之间的距离。

接着，在步骤SC5中，判断计算出的距离是否是五线宽度以内。如果是五线宽度以内，则判断结果为“是”，向步骤SC6前进，基于与对应的音符建立了对应的音符数据（MIDI数据）对音源16指示音符开始而发声后，向步骤SC9前进。另外，如果是在五线宽度以内的一处集合多个音符的和音，则基于与构成该和音的各音符建立了对应的音符数据（MIDI数据）使音源16同时发出多个音。

另一方面，如果计算出的距离不是五线宽度以内，则上述步骤SC5的判断结果为“否”，向步骤SC7前进。在步骤SC7中，判断是否是发声中的音符。如果不是发声中，则判断结果为“否”，向步骤SC9前进。相对于此，如果是发声中的音符，则判断结果为“是”，向步骤SC8前进，基于与对应的音符建立了对应的音符数据（MIDI数据）对音源16指示音符结束而消音后，向步骤SC9前进。

接着，在步骤SC9中，判断是否到曲子的最后的音符为止结束了距离计算，如果没有结束距离计算，则判断结果为“否”，重复上述步骤SC4以后的处理。并且，如果到曲子的最后的音符结束了距离计算，则步骤SC9的判断结果为“是”，将处理向上述步骤SC2返回。

这样，在演奏处理中，如果用户接触操作显示于画面上的乐谱图像，则设定以该接触位置为中心的半径为五线宽度的圆形检测范围，将保存在RAM12的音符位置保存区中的各音符的位置中的、包含在圆形检测范围中的音符作为被接触操作的音符，使其发声，并且，如果用户将接触放开，则该发声中的音符从圆形检测范围偏离，使其消音。

另外，在该实施方式中，设定以接触位置为中心的半径为五线宽度的圆形检测范围，但并不限定于此，例如也可以如在图10中图示的一例那样，作为设定椭圆形的检测范围的形态。由于乐谱在纵向上排列和音，横向为时刻，所以如果设定纵长椭圆形的检测范围，则容易放入和音，另一方面，能够不易放入不需要的同时音。

此外，在本实施方式中，仅根据从接触位置的离开距离检测被接触操作的音符，但并不限定于此，还可以为添加音符的发声时刻（音符开始定时）来检测被接触操作的音符的形态。图11是表示其一例的图。如该图所示，以与处于距接触位置最近的距离的音符对应的MIDI数据中的发声时刻为基准，使距该时点在时刻上较近的音符也同时发声。通过这样，能够容易地进行演奏。

［变形例］

接着，参照图12～图15对第2实施方式的变形例进行说明。在上述第2实施方式中，指定了乐谱图像中的通过接触操作发声的音符，但在变形例中指定通过乐谱图像中的滑动操作发声的音符。另外，这里所述的滑动操作，是指使接触位置依次移动的操作。

如果执行变形例的演奏处理，则CPU10向图12所图示的步骤SD1前进，进行将乐器各部初始化的预置，在接着的步骤SD2中，取得接触位置信息。这里，所谓接触位置信息，是指用户在触摸面板15上接触操作画面显示在显示部14上的乐谱图像中的想要的位置而产生的信息。

接着，在步骤SD3中，从在上述步骤SD2中得到的接触位置进行添加了当前的乐谱显示倍率的位置变换，计算乐谱图像中的位图坐标值。如果乐谱显示倍率是等倍则为相同的位置，如果是2倍缩放显示，则将显示偏移量与接触位置的一半相加后的值作为位图坐标值。并且，如果向步骤SD4前进，则计算在上述步骤SD3中得到的位图坐标值与保存在RAM12的音符位置保存区中的各音符的位置之间的距离。

接着，在步骤SD5中，判断计算出的距离是否是五线宽度以内。如果是五线宽度以内，则判断结果为“是”，向步骤SD6前进，在基于与对应的音符建立了对应的音符数据（MIDI数据）对音源16指示音符开始而使其发声后，向步骤SD10前进。另外，如果是在五线宽度以内的一处集合了多个音符的和音，则基于与构成该和音的各音符建立了对应的音符数据（MIDI数据）使音源16同时发声多个音。

另一方面，如果计算出的距离是五线宽度以内，则上述步骤SD5的判断结果为“否”，向步骤SD7前进。在步骤SD7中，判断是否进行了距之前的接触位置在横向上的差为五线宽度以内的滑动操作。如果进行了距之前的接触位置在横向上的差为五线宽度以内的滑动操作、即向纵向进行了滑动操作，则判断结果为“是”，向后述的步骤SD10前进。因而，在通过之前的接触操作使处于五线宽度以内的音符发声的状态下，如果进行纵向的滑动操作，则不使该发声消音而持续发声。

相对于此，如果距之前的接触位置向横向进行超过五线宽度的移动量的滑动操作，则上述步骤SD7的判断结果成为“否”，向步骤SD8前进。在步骤SD8中，判断是否是发声中的音符。如果不是发声中，则判断结果为“否”，向步骤SD10前进。相对于此，如果不是发声中的音符，则判断结果为“是”，向步骤SD9前进，基于与符合的音符建立了对应的音符数据（MIDI数据）对音源16指示音符结束而使其消音后，向步骤SD10前进。

接着，在步骤SD10中，判断是否到曲子的最后的音符都结束了距离计算，如果未结束距离计算，则判断结果为“否”，重复上述步骤SD4以后的处理。并且，如果到曲子的最后的音符都结束了距离计算，则步骤SD10的判断结果为“是”，将处理向上述步骤SD2返回。

这样，在变形例的演奏处理中，如果用户对显示在画面上的乐谱图像进行接触操作，则设定为以该接触位置为中心的半径为五线宽度的圆形检测范围，使保存在RAM12的音符位置保存区中的各音符的位置中的、包含在圆形检测范围中的音符作为被接触操作的音符而发声，并且如果用户将接触放开，则该发声中的音符从圆形检测范围脱离而消音，进而，如果在通过之前的接触操作使处于五线宽度以内的音符发声的状态下进行纵向的滑动操作，则不使该发声消音而持续发声。

另外，在变形例中，通过纵向的滑动操作持续发声，但也可以通过接触操作进行自动演奏。虽然乐谱上的音符的位置与音符数据的发声时刻不严格地对应，但能够作为大致的目标利用。所以，将小节宽度与接触操作的位置的比率换算为小节中的演奏时间长，将包含在换算后的演奏时间长中的音符的音符数据自动演奏。例如在图13所图示的乐谱的一例中，假设接触操作了第1小节目的点A。如果这样，则将第1小节的宽度与被接触操作的位置A的比率换算为第1小节中的演奏时间长，能够将包含在换算后的演奏时间长中的音符的MIDI数据自动演奏。

在上述第1～第2实施方式及变形例中，是通过触摸面板操作指定显示在画面上的乐谱图像中的音符的形态，但并不限定于此，如图14中图示的一例那样，在乐谱的下方显示键盘图像，并且通过向导显示与当前指定的音符对应的键的位置，适合于钢琴演奏的练习。

此外，在上述变形例中，例如如图15中图示的一例那样，在检测到越过小节线进行了滑动操作的情况下，设为将用箭头表示的小节范围重复指定，使该小节的音符自动演奏。通过这样，能够没有间断地如下操作，即，接触而将音符发声、循序进行旋律线发声、离开但自动演奏。

以上，对本发明的一实施方式进行了说明，但本发明并不限定于此，包含在本申请的权利要求所记载的发明和其等价的范围中。

Claims (15)

1.一种音符位置检测装置，其特征在于，具备：

取得机构，根据乐谱图像数据检测小节线，按照每个小节分区，取得分区后的各小节内的音符的配置范围；

提取机构，使用构成曲子的多个音符数据推测由上述取得机构取得的配置范围中的音符的位置，提取处于推测出的位置上的音符与在上述乐谱图像数据上检测出的音符的位置的匹配值、及该检测出的音符位置作为位置候选；以及

判别机构，从由上述提取机构提取出的位置候选中将在音乐上不可能有的位置候选排除，将剩余的位置候选的检测位置判别为音符的位置。

2.如权利要求1所述的音符位置检测装置，其特征在于，

上述判别机构还在上述剩余的位置候选中将一致度最高的位置候选的检测位置判别为音符的位置。

3.如权利要求1所述的音符位置检测装置，其特征在于，

上述提取机构具备推测位置排除机构，如果使用音符数据推测出的位置在由上述取得机构取得的配置范围外，则该推测位置排除机构将该推测出的位置排除。

4.如权利要求1所述的音符位置检测装置，其特征在于，

还具备将由上述提取机构提取出的位置候选的匹配值用发声时刻和小节宽度进行修正的修正机构。

5.如权利要求1所述的音符位置检测装置，其特征在于，

上述判别机构将由上述提取机构提取出的位置候选的评价值按照每个音阶累计，将累计值高的音阶作为正解，将不同的音阶的位置候选删除。

6.如权利要求1所述的音符位置检测装置，其特征在于，

上述判别机构从由上述提取机构提取出的位置候选中计数位置候选彼此的距离为五线宽度以内的情况，将该计数值为2以上的位置候选删除。

7.如权利要求1所述的音符位置检测装置，其特征在于，

上述判别机构以位置候选为单独一个的该位置候选为优先，将与该单独一个的位置候选相同位置的位置候选删除。

8.一种电子乐器，其特征在于，具备：

权利要求1的音符位置检测装置；

控制部，取入从外部供给的操作信号并生成事件；以及

音源，响应上述生成的事件而生成乐音。

9.一种音符位置推测方法，其特征在于，

根据乐谱图像数据检测小节线，按照每个小节分区，取得分区后的各小节的音符的配置范围；

使用构成曲子的多个音符数据推测上述取得的配置范围中的音符的位置，提取处于推测出的位置上的音符与在上述乐谱图像数据上检测出的音符的位置的匹配值、及该检测出的音符位置作为位置候选；以及

从上述提取出的位置候选中将在音乐上不可能有的位置候选排除，将剩余的位置候选的检测位置判别为音符的位置。

10.如权利要求9所述的音符位置推测方法，其特征在于，

还在上述剩余的位置候选中将一致度最高的位置候选的检测位置判别为音符的位置。

11.如权利要求9所述的音符位置推测方法，其特征在于，

如果使用上述音符数据推测出的位置为上述取得的配置范围外，则将该推测出的位置排除。

12.如权利要求9所述的音符位置推测方法，其特征在于，

还将上述提取出的位置候选的匹配值用发声时刻和小节宽度进行修正。

13.如权利要求9所述的音符位置推测方法，其特征在于，

将上述提取出的位置候选的评价值按照每个音阶累计，将累计值高的音阶作为正解，将不同的音阶的位置候选删除。

14.如权利要求9所述的音符位置推测方法，其特征在于，

从上述提取出的位置候选中计数位置候选彼此的距离为五线宽度以内的情况，将该计数值为2以上的位置候选删除。

15.如权利要求9所述的音符位置推测方法，其特征在于，

以上述位置候选是单独一个的该位置候选为优先，将与该单独一个的位置候选相同位置的位置候选删除。

Images