CN109461431A - 应用于基础音乐视唱教育的视唱错误曲谱标注方法 - Google Patents

Abstract

应用于基础音乐视唱教育的视唱错误曲谱标注方法，涉及基础音乐视唱教育。提供可帮助用户提升自己音乐视唱方面能力的一种应用于基础音乐视唱教育的视唱错误曲谱标注方法。五线谱显示用户哼唱错误标注效果可以达到专业的标注的水平，标识精准率较高；错误标注运算效率较高，可以在3～5s之内完成错误标注过程，达到工业应用要求；错误标注抗噪能力较强，在有一定背景噪声的情况下也能较好的进行错误标注。

Description

应用于基础音乐视唱教育的视唱错误曲谱标注方法

技术领域

本发明涉及基础音乐视唱教育，尤其是涉及应用于基础音乐视唱教育的视唱错误曲谱标注方法。

背景技术

基础音乐视唱教育系统是一款针对中小学生学习音乐的辅助移动端系统软件。本系统使用手机端微信小程序架构、服务端JavaEE架构和MySQL5.5数据库等技术，设计和实现了包括“在线学习”、“闯关训练”、“课程管理”、“习题管理”等功能的中小学音乐素养在线学习训练系统。其中本系统中的“闯关训练”功能中包含了在线视唱训练，即用户在移动端设备上录制一段视唱音频后上传到系统后台，在线视唱训练功能模块分析视唱音频的节奏和音准特征，给出机器评分。但是由于系统只对视唱音频进行打分并无反馈给用户视唱错误的地方，所以本系统将新增视唱音频错误曲谱标注的模块，在曲谱上标注出用户当次视唱错误之处，提高在线视唱训练的质量，更好地辅助用户学习音乐。

在视唱音频错误曲谱标注的模块实现用户录音与音频文件上传，进入系统后台服务器，对视唱练习音频进行解析后将视唱结果标注五线谱图上，反馈回客户端。错误标注模块应用了小节线识别算法，通过图像处理技术对五线谱图片进行定位识别，建立一个将视唱结果显示在五线谱上的错误标注模型，从而实现精准识别小节音符，并将结果反馈给用户，帮助用户提升自己音乐视唱方面的能力。

参考文献：

[1]张登胜,李海洲.乐谱图象识别方法的研究[J].安庆师范学院学报(自科版),1995(3):39-42.

[2]杨芳,滕桂法,田学东.视觉乐谱图像动态多阈值二值化方法[J].计算机科学,2016,43(01):310-314.

[3]刘晓翔.乐谱图像中的音符识别方法[J].计算机工程,2010,36(9):163-167.

[4]陈根方.OMR研究与原型系统开发[D].浙江大学,2003.

[5]任雪妮.语音相似度评价算法研究[D].西安建筑科技大学,2013.

发明内容

本发明的目的是提供可帮助用户提升自己音乐视唱方面能力的一种应用于基础音乐视唱教育的视唱错误曲谱标注方法。

本发明包括以下步骤：

1)通过Web端或者移动端软件，在界面上提供多种难易不同的五线谱曲谱供用户进行视唱练习，并提供录音和上传录音文件的功能，用户选择曲谱之后通过按下录音键实现本地录音，再按下上传键实现上传，上传之后自动在服务器上存盘，以此收集多人视唱练习的音频；

2)对服务器中的音频数据进行预处理，包括：去噪、剪裁无音频的空白片段、进行人声增强的数据预处理；

3)读取曲谱图的JPG文件，进行二值化操作，转化为黑白图像；

4)按图形的每一列查找有黑色像素的列，存入列表中，记录所有黑色像素的位置，判断相邻像素之间的距离，若距离大于某个阈值，则判断他是一条曲谱线的起始坐标并添加到一个列表中；否则舍弃。

5)获得所有曲谱线的起始坐标，再判断是五线谱还是节奏谱，若列表中点的个数小于5个，则为节奏谱；若列表中点的个数大于5个，则判断第一个点和第二个点之间的距离是否大于某个阈值；若大于阈值，则为节奏谱，进入步骤6)；否则，为五线谱，进入步骤7)；

6)识别节奏谱的小节线，若为节奏谱，则需要的参数有：原图像的矩阵、原图像的转置矩阵和节奏谱坐标的列表；遍历所有节奏谱线的坐标；若该点的上下某个范围中的白色像素的点的个数小于某个阈值并且比这个范围更大一点的白色像素的点的个数大于某个阈值，则认定该点为小节线的中心点并记录下来，之后在判断所有小节线之间的距离；若是相邻的或小于某个阈值，则判定这两个为一条小节线，并删除其中的一个；若相邻个数太多，则认定该线为终止线，舍去，最终剩下的为所有小节线的坐标；

7)识别五线谱的小节线，若为五线谱，则传入参数有：原图像的矩阵、原图像的转置矩阵和五线谱坐标的列表；遍历所有的五线谱第一行坐标，判断该行坐标五线谱中第一行线和第五行线之间是否全为黑白色像素点，判断并记录坐标；另存小节线的坐标信息，确保每条小节线有两个坐标信息，分别是小节线头部像素的横纵坐标(x1,y1)和小节线尾部像素的横纵坐标(x2,y2)；

8)将基于步骤6)与步骤7)获得的小节线坐标存入一个txt文件中，分别存为两个数组X和x中，其中，X数组保存每个小节的开始位置，x数组保存每个小节的结束位置；

9)解析音频数据，划分标准音频和用户音频的时间窗，抽取音频基波频率，基于时间窗比对节奏和音准之间的距离，得到用户音频与标准音频之间的对比结果；读取关于音频数据比对结果的四维数组信息，分别记录节拍所在小节的位置、开始位置、持续的节拍数和小节高度(即音准)等信息；

10)基于步骤9)的比对结果即四维数组信息，定位五线谱图片中小节与节拍的像素范围，再根据解析用户哼唱的音频返回的数据在五线谱图片进行标注；在五线谱图片进行2处标注，波纹线为标准音频的标注，虚线为用户音频的标注(当波纹线和虚线重合时表示用户视唱音频与标准音频在音准和节奏上一致)。

本发明所采用的视唱音频错误标注建模方法包括五线谱的标注和音频的解析，在帮助线上视唱智能评分以及线上音乐视唱教育。

与现有技术相比，本发明具有以下突出技术效果：

1)本发明的五线谱显示用户哼唱错误标注效果可以达到专业的标注的水平，标识精准率较高；

2)本发明的错误标注运算效率较高，可以在3～5s之内完成错误标注过程，达到工业应用要求；

3)本发明的错误标注抗噪能力较强，在有一定背景噪声的情况下也能较好的进行错误标注。

附图说明

图1为本发明实施例的移动端软件录音一级界面。

图2为本发明实施例的移动端软件录音一级界面。

图3为本发明实施例的节奏谱图像。

图4为本发明实施例的五线谱图像。

图5为本发明实施例的五线谱标注图像。

图6为本发明实施例的小节线识别(五线谱)流程图。

图7为本发明实施例的小节线识别(节奏谱)流程图。

图8为本发明实施例的五线谱图标注流程图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

本发明实施例包括以下步骤：

步骤一：通过Web端或者移动端软件，界面上提供多种难易不同的五线谱曲谱供用户进行视唱练习，并提供录音和上传录音文件的功能。用户选择曲谱之后通过按下录音键实现本地录音，按下上传键实现上传，如图1和2所示。上传之后自动在服务器上存盘。以此收集多人视唱练习的音频。

步骤二：服务器中的音频数据进行预处理，包括：去噪、剪裁无音频的空白片段和进行人声增强的数据预处理。

步骤三：读取曲谱图的JPG文件，进行二值化操作，转化为黑白图像；

步骤四：按图形的每一列查找有黑色像素的列，并以此存入列表中。记录所有黑色像素的位置，判断相邻像素之间的距离，若距离大于某个阈值，则判断他是一条曲谱线的起始坐标并添加到一个列表中，否则舍弃。

步骤五：获得所有曲谱线的起始坐标，再判断是五线谱还是节奏谱，若列表中点的个数小于5个，则为节奏谱；若列表中点的个数大于5个，若判断第一个点和第二个点之间的距离是否大于某个阈值；若大于阈值，则为节奏谱，进入步骤六)；否则，为五线谱，进入步骤七)；

本发明实施例的节奏谱图像如图3所示，本发明实施例的五线谱图像如图4所示。

步骤六：识别节奏谱的小节线，若为节奏谱，则需要的参数有：原图像的矩阵、原图像的转置矩阵和节奏谱坐标的列表；遍历所有节奏谱线的坐标，如果该点的上下某个范围中的白色像素的点的个数小于某个阈值并且比这个范围更大一点的白色像素的点的个数大于某个阈值，则认定该点为小节线的中心点并记录下来。之后在判断所有小节线之间的距离，若是相邻的或小于某个阈值，则判定这两个为一条小节线，并删除其中的一个；若相邻个数太多，则认定该线为终止线，舍去，最终剩下的为所有小节线的坐标。

步骤七：五线谱的小节线识别。若为五线谱，则需要的参数有：原图像的矩阵、原图像的转置矩阵以及五线谱坐标的列表。遍历所有的五线谱第一行坐标，判断该行五线谱中第一行线和第五行线之间是否全为黑白色像素点，判断并记录坐标。另存小节线的坐标信息，确保每条小节线有两个坐标信息，分别是小节线头部像素的横纵坐标(x1,y1)和小节线尾部像素的横纵坐标(x2,y2)。

本发明实施例的小节线识别(五线谱)流程图如图6所示，本发明实施例的小节线识别(节奏谱)流程图如图7所示。

步骤八：将基于步骤六与步骤七获得的小节线坐标存入一个txt文件中，分别存为两个数组X和x中，其中，X数组保存每个小节的开始位置，x数组保存每个小节的结束位置；

步骤九：解析音频数据，划分标准音频和用户音频的时间窗，抽取音频基波频率，基于时间窗比对节奏和音准之间的距离，得到用户音频与标准音频之间的对比结果。读取关于音频数据比对结果的四维数组信息，分别记录节拍所在小节的位置、开始位置、持续的节拍数和小节高度(即音准)等信息。

步骤十：基于步骤9)的比对结果即四维数组信息，定位五线谱图片中小节与节拍的像素范围，再根据解析用户哼唱的音频返回的数据在五线谱图片进行标注；在五线谱图片进行2处标注，波纹线为标准音频的标注，虚线为用户音频的标注(当波纹线和虚线重合时表示用户视唱音频与标准音频在音准和节奏上一致)，如图5所示。

本发明实施例的五线谱图标注流程图如图8所示。

需要说明的是，步骤三读取曲谱jpg图像中，曲谱的jpg图像是由多位专业音乐从事人员进行人工输入的jpg图片，不存在张登胜^[1]文中提到的纸质印刷图片噪声问题。

乐谱识别不仅有传统的纸质印刷图片识别，还与对乐谱图片文档的扫描图像进行处理、分析和识别的光学乐谱识别技术，杨芳^[2]等人针对乐谱在不规则区域光照不均匀问题，提出对前景内容动态分块二值化的方法。刘晓翔^[3]提出基于光学乐谱识别的一种音符识别方法，从乐谱中的音符入手，识别乐谱内容。本发明则从以小节线为节点单位入手，对乐谱进行识别提取数字乐谱图片的内容。

步骤五判断是五线谱还是节谱中，取图像之后，对其进行二值化操作，之后按图形的每一列查找有黑色像素的列，并以此存入列表中。然后再从小到大访问列表中的每个坐标，判断他是否为曲谱中的点还是曲谱以外的点，若是曲谱中的点，则跳出循环，并记录这个点的纵坐标，并且这个点的纵坐标是所有曲谱线起点的纵坐标。按这一列纵向访问所有点，记录所有黑色像素的位置，判断相邻像素之间的距离，若距离大于某个阈值，则判断他是一条曲谱线的起始坐标并添加到一个列表中；否则舍弃。

此时已经得到所有曲谱线的起始坐标，下面要判断是五线谱还是节奏谱。若列表中点的个数小于5个，则为节奏谱；若列表中点的个数大于5个，判断第一个点和第二个点之间的距离是否大于某个阈值；若大于阈值，则为节奏谱；否则，为五线谱。

数字图像处理中的像素点之间的关系能很好地反映乐谱内容信息，陈根方^[4]的OMR原型系统中，利用像素点之间的运算得到了二值化图像的乐谱信息。

在步骤六、七中，若为五线谱，则需要的参数有：原图像的矩阵、原图像的转置矩阵以及五线谱坐标的列表。

遍历所有的五线谱第一行坐标，判断该行五线谱中第一行线和第五行线之间是否全为黑色像素点，若是，则在判断该坐标左右上下等某个范围的黑色像素点的个数是否超过某个阈值；若超过，则舍弃该点；若没有，则认定该点为一条小节线的起始坐标并记录下来。之后在判断所有小节线之间的距离，若是相邻的或小于某个阈值，则判定这两个为一条小节线，并删除其中的一个；若相邻个数太多，则认定该线为终止线，舍去，最终剩下的为所有小节线的坐标。

若为节奏谱，则需要的参数有：原图像的矩阵、原图像的转置矩阵以及节奏谱坐标的列表。

遍历所有曲谱线的坐标，若该点的上下某个范围中的白色像素的点的个数小于某个阈值并且比这个范围更大一点的白色像素的点的个数大于某个阈值，则认定该点为小节线的中心点并记录下来。之后在判断所有小节线之间的距离，若是相邻的或小于某个阈值，则判定这两个为一条小节线，并删除其中的一个；若相邻个数太多，则认定该线为终止线，舍去，最终剩下的为所有小节线的坐标。

任雪妮^[5]提出基于蚁群动态时间规整方法用户和标准声音的相似度方法可以反映用户真实的哼唱得分。而本发明通过基音频率与节奏两方面对用户哼唱音频进行序列比对得到用户哼唱情况。进一步在步骤九音频数组标注中，读取五线谱图片，根据音准评分程序和节奏评分程序将比对结果返回两个数组(标准音频数组standard和用户音频数组user)，在图像中进行标注，首先两个数组的第一维数据代表的是每个节拍所在第几小节，第二维数据代表的是该节拍从当前小节的第几个节拍开始，第三维数据代表的是该节拍持续了几个节拍长度，第四维代表的是这个音的音高位置。根据第一维的数据将每个音定位到所在的小节i中，然后计算每个节拍在该节拍所占长度，即：

①Length＝(x[i][0]-X[i][0])％a(a表示一个小节有几拍)

则每个音的横向范围为：

②X[standard[0][i]][0]+length*standard[1][i]～

X[standard[0][i]][0]+length*standard[1][i]+length*standard^[2][i]通过小节线坐标中的一个坐标可以计算出五线谱的宽度width，即：

③width＝x[i]^[3]-x[i][1]

由计算音高的规定，将第三个线间定为音高比对标准，在其上方为负，在其下方为正,则每个音的纵向范围为：

④X[standard[i][0]][1]+(z+standard^[3][i])*width+(-0.5*width)～[j][1]+(z+standard^[3][i])*width

+(0.5*width)(z为第三个线间相对高度)

由上述计算结果可以算出所画像素范围，用户音频上同。

用波纹线标注标准音频并保存在一张图片中，用虚线标注用户音频并保存在另一张图片中，最后通过透明度将两张图片合并成一张图片，波纹线表示标准节拍所在位置，虚线表示用户所唱节拍所在位置，重合部分表示标准节拍和用户所唱节拍重合了，表示用户唱准了。最后另存这张合成标注过的五线谱图反馈给用户。

Claims (1)

1.应用于基础音乐视唱教育的视唱错误曲谱标注方法，其特征在于包括以下步骤：

1)通过Web端或者移动端软件，在界面上提供多种难易不同的五线谱曲谱供用户进行视唱练习，并提供录音和上传录音文件的功能，用户选择曲谱之后通过按下录音键实现本地录音，再按下上传键实现上传，上传之后自动在服务器上存盘，以此收集多人视唱练习的音频；

2)对服务器中的音频数据进行预处理，包括：去噪、剪裁无音频的空白片段、进行人声增强的数据预处理；

3)读取曲谱图的JPG文件，进行二值化操作，转化为黑白图像；

4)按图形的每一列查找有黑色像素的列，存入列表中，记录所有黑色像素的位置，判断相邻像素之间的距离，若距离大于某个阈值，则判断他是一条曲谱线的起始坐标并添加到一个列表中；否则舍弃；

5)获得所有曲谱线的起始坐标，再判断是五线谱还是节奏谱，若列表中点的个数小于5个，则为节奏谱；若列表中点的个数大于5个，则判断第一个点和第二个点之间的距离是否大于某个阈值；若大于阈值，则为节奏谱，进入步骤6)；否则，为五线谱，进入步骤7)；

6)识别节奏谱的小节线，若为节奏谱，则需要的参数有：原图像的矩阵、原图像的转置矩阵和节奏谱坐标的列表；遍历所有节奏谱线的坐标；若该点的上下某个范围中的白色像素的点的个数小于某个阈值并且比这个范围更大一点的白色像素的点的个数大于某个阈值，则认定该点为小节线的中心点并记录下来，之后在判断所有小节线之间的距离；若是相邻的或小于某个阈值，则判定这两个为一条小节线，并删除其中的一个；若相邻个数太多，则认定该线为终止线，舍去，最终剩下的为所有小节线的坐标；

7)识别五线谱的小节线，若为五线谱，则传入参数有：原图像的矩阵、原图像的转置矩阵和五线谱坐标的列表；遍历所有的五线谱第一行坐标，判断该行坐标五线谱中第一行线和第五行线之间是否全为黑白色像素点，判断并记录坐标；另存小节线的坐标信息，确保每条小节线有两个坐标信息，分别是小节线头部像素的横纵坐标(x1,y1)和小节线尾部像素的横纵坐标(x2,y2)；

8)将基于步骤6)与步骤7)获得的小节线坐标存入一个txt文件中，分别存为两个数组X和x中，其中，X数组保存每个小节的开始位置，x数组保存每个小节的结束位置；

9)解析音频数据，划分标准音频和用户音频的时间窗，抽取音频基波频率，基于时间窗比对节奏和音准之间的距离，得到用户音频与标准音频之间的对比结果；读取关于音频数据比对结果的四维数组信息，分别记录节拍所在小节的位置、开始位置、持续的节拍数和小节高度，即音准信息；

10)基于步骤9)的比对结果即四维数组信息，定位五线谱图片中小节与节拍的像素范围，再根据解析用户哼唱的音频返回的数据在五线谱图片进行标注；在五线谱图片进行2处标注，波纹线为标准音频的标注，虚线为用户音频的标注，当波纹线和虚线重合时表示用户视唱音频与标准音频在音准和节奏上一致。