CN113076044A - 基于图像的自动翻页方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种基于图像的自动翻页方法、装置及计算机可读存储介质，该方法、装置及存储介质属于乐谱技术领域。所述方法主要通过图像识别的方法检测乐谱中的符号，并同时获取当前系统时间，通过检测出的符号，计算演奏者演奏完当前帧图像的乐谱所需的时间，将演奏当前页面所需的时间与系统时间相加后获得翻页时间点，到达翻页时间点时触发翻页功能。本发明的提出是为了解决现有的电子乐谱的自动翻页方法中通过获取音频定位弹奏位置问题从而实现翻页功能的方式容易受到其他信息的干扰，且无法准确判断乐谱重复段出现的轮数，从而导致翻页的准确度低，本发明能够不考虑音频，着眼乐谱本身实现自动翻页，提高翻页的准确度和用户体验感。

Description

基于图像的自动翻页方法、装置及计算机可读存储介质

技术领域

本发明涉及乐谱技术领域，特别涉及一种基于图像的自动翻页方法、装置及计算机可读存储介质。

背景技术

随着科技的发展，人们的生活逐渐向智能化、电子化转化，越来越多的电子设备以及智能化产品应运而生，给人们的生活带来了极大的便利，在乐谱技术领域，电子乐谱凭借其储存方便、易分享等优势逐渐取代了现有技术中的纸质乐谱，而为了演奏者的方便，电子乐谱的一些智能化功能也慢慢被开发，比如自动翻页；

在现有技术中，自动翻页的功能常规的实现办法是通过麦克风获取演奏者弹奏的音频，利用DTW算法将获取到的演奏者的音频在当前弹奏乐谱的界面内滑动确定当前的弹奏位置，从而实现对演奏的定位，但是此种方法不确定因素高，首先是对音频的获取，由于弹奏音频是通过麦克风获取，容易产生噪音干扰，或者其他易混淆的音，现在的处理方法大多是基于无场外的理想情况进行分析，所以准确率并不高；其次对于乐谱中有重复的部分，自动翻页的效果也不是很理想，传统的根据音频识别不能有效的识别出除了音符以外的符号，由于大量曲谱中含有反复号，在出现反复号的页面中，仅仅根据音频的匹配就无法准确的判断是否在当前轮次触发翻页功能；

因此，根据音频实现翻页功能在理论上的成熟还无法大规模应用到现实生活中，而为了实现电子乐谱的自动翻页，能够不受环境影响，根据电子乐谱本身实现翻页功能的技术成为了当前乐器技术领域的重点研发方向之一。

发明内容

为了解决上述传统的电子乐谱的翻页方法中容易出现受外界环境影响，无法有效的判断反复号等符号意义带来的翻页不准确的问题，本发明提出了一种基于乐谱图像的电子乐谱翻页方法、装置及计算机可读存储介质，通过图像识别的方法，获取当前乐谱图像的符号信息，计算出当前页面弹奏完成所需时间，当计时到此时刻时触发翻页功能，从而避免通过接收音频信息翻页的过程中出现因为外界干扰影响翻页的准确性。

鉴于以上情况，本发明提出了一种基于图像的自动翻页方法，根据本发明提出的一种实施例，所述基于图像的自动翻页方法包括了：

步骤1：当用户开始使用电子乐谱弹奏时，获取当前弹奏页面的乐谱图像，并获得当前系统时间，记为T₁；

步骤2：通过图像检测方法检测当前页面乐谱图像中的符号；

步骤3：通过步骤2中获得的符号确定翻页单元，并计算当前翻页单元弹奏完成所需时间，记为弹奏时间T₂；

步骤4：将步骤1的系统时间T₁与步骤3的弹奏时间T₂相加获得当前翻页单元的翻页时间T₃；

步骤5：系统时间到达T₃时，触发翻页功能。

作为一种优选的实施方式，所述步骤2中，检测符号包括速度记号、音符、小节线、反复号、结束号、拍号和弱起；

速度记号是用于标记速度快慢的记号，包括但不限于grave、largo、lento、adagio，allegro moderato和presto，每个速度记号都代表着对应的每分钟拍数，具体见图3，部分曲谱或以数字或数字区间表示速度记号。

音符是记录不同长短的音的进行符号，常见的音符种类包括全音符、二分音符、四分音符、八分音符和十六分音符和三十二分音符，二分音符的时值为全音符的时值的二分之一，四分音符的时值为全音符的时值的四分之一，八分音符的时值为全音符的时值的八分之一，以此类推；

小节线用于划分两个相邻的小节；

反复记号用于标注乐谱中的反复情况，包括从头反复记号、从记号处反复记号、段落反复记号、反复跳越记号和反复省略记号；

结束号用于标记当前乐谱的结束；

节拍号用于标记每首乐曲中每小节的拍数与拍子的基本时值的比值，即用于记录几分音符为一拍；

弱起用于标记当前小节从弱拍或次抢拍开始；

作为一种优选的实施方式，所述步骤3中，翻页单元为当前帧图像中的行乐谱，计算当前翻页单元的弹奏时间时，先获取小节线，确定当前翻页单元的小节数n，确定小节数后，计算每小节所需时间，每个小节的弹奏所需时间(单位为秒)为：

T_2i＝R_i/S_i*60，

其中0＜i＜n+1，R_i为第i小节对应的节拍，S_i为第i小节对应的速度，在计算过程中，以单个小节为计算单元，识别该小节的节拍号和速度，若该小节没有标注节拍号和速度，则继承前一小节的节拍号和速度计算该小节的弹奏时间，最后对翻页单元内的每小节所需时间进行累加。若遇到反复号，则对该反复区间内的时间进行重复计算，将每个小节需要的时间分别计算完成后，累加即可得到所述T₂：

计算得出的T₂转换成与T₁相同的表达格式后相加即可得到准确的翻页时间 T₃。

一种基于图像的自动翻页装置，包括：

图像识别模块，所述图像识别模块用于获取当前演奏乐谱的帧图像并存储；

计时模块，所述计时模块用于获取当前帧图像展示时的系统时间T₁以及计算完成后的翻页时间T₃；

符号检测模块，所述符号检测模块用于通过图像检测方法检测当前帧图像的符号并获得对应的符号信息；

计算模块，所述计算模块用于通过符合检测模块中获得的符号信息并计算演奏乐谱当前演奏单元所需要的演奏时间T₂；

判断模块，所述判断模块用于将系统时间T₁与所述演奏时间T₂相加得到翻页时间T₃并传送至计时模块；

翻页模块，所述翻页模块用于接收判断模块的结果并对当前演奏乐谱进行翻页。

作为一种优选的实施方式，所述计算模块内还设置有倍速设置模块，所述倍速设置模块用于将T₂时间更新为与倍速相关的演奏时间T₂’，倍速设置模块用于为演奏者提供相关的速度选择，若演奏者对所弹奏乐谱熟练度欠佳，可通过将翻页倍速设置成X倍，此时T₂即更新为T₂’，且T₂’＝T₂/X，对应的T₃＝T₁+T₂/X。

一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至3任一项所述的曲谱翻页方法的步骤。

综上所述，本发明具有以下有益效果：通过图像识别的方法检测并获取弹奏乐谱当前帧图像中的符号，并通过每个检测出的符号获取当前帧图像所需要的演奏时间，结合计时模块获取的当前系统时间相加得到翻页时间，当系统时间到达翻页时间时，触发翻页模块实现翻页；本发明提出的方法着眼于乐谱的本身，能够更加合理的进行电子乐谱的自动翻页，翻页时间点准确率高，误差小，大大提高了用户体验度。

附图说明

图1为本发明提供的翻页方法的流程示意图

图2为本发明提供的自动翻页装置的模块连接示意图

图3为速度记号与拍数的对应关系表

图4为本发明提供的自动翻页方法的一段应用乐谱

具体实施方式

以下结合附图对本发明作进一步详细说明。

如图1所示，为本发明提供的基于图像的翻页方法的流程示意图，具体为：

步骤1：当用户开始使用电子乐谱弹奏时，获取当前弹奏页面的乐谱图像，并获得当前系统时间，记为T₁；

步骤2：通过图像检测方法检测当前页面乐谱图像中的符号；

步骤3：通过步骤2中获得的符号确定翻页单元，并计算当前翻页单元弹奏完成所需时间，记为弹奏时间T₂；

步骤4：将步骤1的系统时间T₁与步骤3的弹奏时间T₂相加获得当前翻页单元的翻页时间T₃；

步骤5：系统时间到达T₃时，触发翻页功能。

具体的，所述步骤2中，检测符号包括速度记号、音符、小节线、反复号、结束号、拍号和弱起；

速度记号是用于标记速度快慢的记号，包括但不限于grave、largo、lento、adagio，allegro moderato和presto，每个速度记号都代表着对应的每分钟拍数，具体见图3，部分曲谱或以数字或数字区间表示速度记号。

音符是记录不同长短的音的进行符号，常见的音符种类包括全音符、二分音符、四分音符、八分音符和十六分音符和三十二分音符，二分音符的时值为全音符的时值的二分之一，四分音符的时值为全音符的时值的四分之一，八分音符的时值为全音符的时值的八分之一，以此类推；

小节线用于划分两个相邻的小节；

反复记号用于标注乐谱中的反复情况，包括从头反复记号、从记号处反复记号、段落反复记号、反复跳越记号和反复省略记号；

结束号用于标记当前乐谱的结束；

节拍号用于标记每首乐曲中每小节的拍数与拍子的基本时值的比值，即用于记录几分音符为一拍；

弱起用于标记当前小节从弱拍或次抢拍开始；

具体的，所述步骤3中，翻页单元为当前帧图像中的行乐谱，计算当前翻页单元的弹奏时间时，先获取小节线，确定当前翻页单元的小节数n，确定小节数后，计算每小节所需时间，每个小节的弹奏所需时间(单位为秒)为：

T_2i＝R_i/S_i*60，

其中0＜i＜n+1，R_i为第i小节对应的节拍，S_i为第i小节对应的速度，在计算过程中，以单个小节为计算单元，识别该小节的节拍号和速度，若该小节没有标注节拍号和速度，则继承前一小节的节拍号和速度计算该小节的弹奏时间，最后对翻页单元内的每小节所需时间进行累加。若遇到反复号，则对该反复区间内的时间进行重复计算，将每个小节需要的时间分别计算完成后，累加即可得到所述T₂：

计算得出的T₂转换成与T₁相同的表达格式后相加即可得到准确的翻页时间 T₃。

具体的，以图4所展示的乐谱为例，当前演奏乐谱以行为翻页单元进行滚动翻页，则T₂所需计算的时间为本行的弹奏时间；

该行的速度记号为Allegro moderato，表示有节制的快板，速度大约处在 88～132之间，以108为例进行计算，该行的节拍号为3/4，第一小节为弱起，显示为一拍，因此第一小节的节拍号按照1/4进行计算，那么 T₂₁＝1/4/108*60＝5/36s，第二小节的节拍号为3/4，那么T₂₂＝3/4/108*60＝5/12s，同理，T₂₃＝3/4/108*60＝5；12s，T₂₄＝3/4；108*60＝5/12s，T₂₅＝3/4/108*60＝5/12s，通过累加，求得T₂＝T₂₁+T₂₂+T₂₃+T₂₄+T₂₅＝65/36s，若当前翻页单元的开始时间为北京时间9点整(表示为9：00：00：000)，那么对应的T₃即为(9：00：00：000) +(0：00：01：806)＝(9：00：01：806)，当系统时间为9：00：01：806时，触发翻页功能实现翻页，当滚动翻页至下一行时，将9：00：01：806更新为T₁。

接下来对本发明实施例提供的的自动翻页装置进行介绍。

图2是本发明实施例提供的一种自动翻页装置的结构示意图，包括：图像识别模块，所述图像识别模块用于获取当前演奏乐谱的帧图像并存储；

计时模块，所述计时模块用于获取当前帧图像展示时的系统时间T₁以及计算完成后的翻页时间T₃；

符号检测模块，所述符号检测模块用于通过图像检测方法检测当前帧图像的符号并获得对应的符号信息；

计算模块，所述计算模块用于通过符合检测模块中获得的符号信息并计算演奏乐谱当前演奏单元所需要的演奏时间T₂；

判断模块，所述判断模块用于将系统时间T₁与所述演奏时间T₂相加得到翻页时间T₃并传送至计时模块；

翻页模块，所述翻页模块用于接收判断模块的结果并对当前演奏乐谱进行翻页。

具体的，所述计算模块内还设置有倍速设置模块，所述倍速设置模块用于将T₂时间更新为与倍速相关的演奏时间T₂’，倍速设置模块用于为演奏者提供相关的速度选择，若演奏者对所弹奏乐谱熟练度欠佳，可通过将翻页倍速设置成X 倍，此时T₂即更新为T₂’，且T₂’＝T₂/X，对应的T₃＝T₁+T₂/X，

具体的，即当本装置在对图4所示的乐谱实现自动翻页功能时，若用户对所弹奏乐谱的熟练度较低，将倍速设置为0.5倍时，则T₂’＝2T₂＝65/18s，因此翻页时间T₃＝T₁+2T₂＝(9：00：00：000)+(0：00：03：612)＝(9：00：03：612)，即当系统时间为9：00：03：612时，对当前演奏乐谱进行滚动翻页。

一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1至3任一项所述的曲谱翻页方法的步骤。

本具体实施例仅仅是对本发明的解释，其并不是对本发明的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (6)

1.一种基于图像的自动翻页方法，其特征在于，该方法包括：

步骤1：当用户开始使用电子乐谱弹奏时，获取当前弹奏页面的乐谱图像，并获得当前系统时间，记为T₁；

步骤2：通过图像检测方法检测当前页面乐谱图像中的符号；

步骤3：通过步骤2中获得的符号确定翻页单元，并计算当前翻页单元弹奏完成所需时间，记为弹奏时间T₂；

步骤4：将步骤1的系统时间T₁与步骤3的弹奏时间T₂相加获得当前翻页单元的翻页时间T₃；

步骤5：系统时间到达T₃时，触发翻页功能。

2.根据权利要求1所述的一种基于图像的自动翻页方法，其特征在于：所述步骤2中，检测符号包括速度记号、音符、小节线、反复号、结束号、拍号和弱起。

3.根据权利要求2所述的一种基于图像的自动翻页方法，其特征在于：所述步骤3中，翻页单元为当前帧图像中的行乐谱，计算当前翻页单元的弹奏时间时，先获取小节线，确定当前翻页单元的小节数n，确定小节数后，计算每小节所需时间，每个小节的弹奏所需时间(单位为秒)为：

T_2i＝R_i/S_i*60，

其中0＜i＜n+1，R_i为第i小节对应的节拍，S_i为第i小节对应的速度，将每个小节需要的时间分别计算完成后，通过

即可求得弹奏时间T₂。

4.一种基于图像的自动翻页装置，其特征在于，包括：

图像识别模块，所述图像识别模块用于获取当前演奏乐谱的帧图像并存储；

计时模块，所述计时模块用于获取当前帧图像展示时的系统时间T₁以及计算完成后的翻页时间T₃；

符号检测模块，所述符号检测模块用于通过图像检测方法检测当前帧图像的符号并获得对应的符号信息；

计算模块，所述计算模块用于通过符合检测模块中获得的符号信息并计算演奏乐谱当前演奏单元所需要的演奏时间T₂；

判断模块，所述判断模块用于将当前翻页单元的起始时间T₁与所述弹奏时间T₂相加得到翻页时间T₃，当系统时间到达T₃时将信号传送至翻页模块；

翻页模块，所述翻页模块用于接收判断模块的结果并对当前演奏乐谱进行翻页。

5.根据权利要求4所述的一种基于图像的自动翻页装置，其特征在于：所述计算模块内还设置有倍速设置模块，所述倍速设置模块用于将T2时间更新为与倍速相关的演奏时间T2’。

6.一种存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至3任一项所述的曲谱翻页方法的步骤。

Images