CN105022993A - 一种基于图像识别技术的五线谱播放系统 - Google Patents

Abstract

本发明实施例公开了一种基于图像识别技术的五线谱播放系统。该系统构建主要包括如下几个关键步骤：图像预处理识别步骤；去除五线谱步骤；分离音符步骤；连音音符分割步骤；识别每个小节的音符步骤；根据对应频率发声步骤。利用本发明实施例，能够在不懂曲谱的情况下欣赏到曲谱的旋律，同时方法复杂度低，容易实现，具有很大的实用价值。

Description

一种基于图像识别技术的五线谱播放系统

技术领域

本发明利用图像识别技术，集中解决了五线谱的识别并播放问题，着重构建了一个五线谱拍照自动播放系统。

背景技术

音乐是人们身心放松的工具。对于熟悉五线谱的人，即使他们会乐器，对于一个未曾练习过的五线谱，他们需要花费一段时间去练习才能够欣赏到音乐；对于不熟悉五线谱的人，如果仅拥有五线谱，是很难根据音符搜索到相应的音乐的，更不用提那些十分珍贵的五线谱，网上也没有资源。所以本专利针对这一个问题设计了一个五线谱拍照自动播放系统，做到只要有五线谱，就可以欣赏到音乐。

就目前来看，公开资料中有关于音符识别的资料，但并不是非常完善，有的识别方法也非常复杂，五线谱作为一种只有黑白两色的图片，本专利希望以简单的方法，并且能够并不限于图片形式，场景的要求，对乐谱进行识别。基于此，考虑到操作系统的开放性，本专利设计了一款应用系统，读入五线谱图像并播放音乐，这样，人们能够在只要看到乐谱的情况下，就可以欣赏一下音乐。

发明内容

本发明的目的是设计一个应用系统，读入五线谱图像，通过图像处理技术识别音符，再根据音符与频率的对应关系，使之发声为音乐。

为达到上述目的，本发明提出的自动播放系统包括下列步骤：

一、图像的预处理识别步骤：将标准五线谱图片读入，通过对二值化图像的逐行和逐列像素检测，计算黑色像素所占百分比，确定五线谱的行位置以及小节的分界线位置，获得五线谱的整体结构。

二、去除五线谱步骤：为了能够更好的识别音符图形，需要将五线谱从图片中去除，在去除的过程中保留下与音符相连接的像素点。

三、分离音符步骤：

A、检测符尾：检测符尾判断单音符个数；

B、判断音符正逆：根据音符的正逆判断符梁的位置；

C、去除连接：将两个由连接符号相连的音符断开，成为两个独立的连音音符或单音符。

四、连音音符分割步骤：将连音音符分割成一个个单音符。

五、逐一识别音符步骤：对每一个音符图像进行提取，用模板匹配法确定第一排五线谱的第一个图像确定乐曲的节拍，再识别单音符和特殊音符。

六、转为数字信号并播放步骤：所有音符确定之后，根据音乐与扬声器的振动频率对应关系，使之转换为数字信号，并通过扬声器发音。

五线谱的去除步骤，此步骤的具体过程如下：

1)、l中每一个元素都是五线谱的行位置，对第l(i)行

$temp=j\{\underset{i=p\left(i\right)-1}{\overset{p\left(i\right)+1}{\Σ}}I\left(l\right(i),j)=3\}$

temp即为第l(i)行要保留的黑色像素

2)、将第l(i)行去除，对这一行的所有列j，令：

$I_{j\⊂⃒temp}\left(l\right(i),j)=1$

分离音符步骤A符尾检测，此步骤的具体过程如下：

1)、获取音符小图，在单一小节的范围内，逐列检测黑色像素的有无确定音符的宽度范围，记为P_left和P_right。并在此宽度内逐行检测确定音符的高度范围，记为P_up与P_below。如果|P_left-P_right|>γ(γ为表示像素个数的整数参数)，则认为此音符为连音音符，现将黑白反转，那么音符的小图图像记为：

I1＝1-I(P_below:P_up,P_left:P_right)

2)、符尾的检测，对I1的每一列，计算每一列黑色像素的总数blk，第j列黑色像素总数为：

$blk\left(j\right)=\underset{i=1}{\overset{P_{up}-P_{below}+1}{\Σ}}I1(i,j)$

找到blk中大于blk均值的列

temp_blk＝blk{blk>mean(blk)}

temp_blk作为符尾的待选列，对于其中第t个元素，记其在temp_blk(t)列的黑色像素分布

blk_distr(temp_blk(t))＝i{I1(i,temp_blk(t))＝1}

对blk_distr进行差分处理，设blk_distr含有M个元素，令

res(i)＝blk_distr(i+1)-blk_distr(i),i＝1,2...M-1

如果Var(res)<δ(δ为参数，Var为方差)，那么temp_blk(t)列就是符尾所在列。

分离音符步骤B判断音符正逆，先求得第j列的黑色像素分布：blk_distr(j)，设两个集合blk_up和blk_below，分别存储每一列黑色像素位置的最小值和最大值，其中：

blk_up(j)＝min(blk_distr(j))

blk_below(j)＝max(blk_distr(j))

计算过所有列后，如果Var(blk_up)<Var(blk_below)，那么这个音符为正立，反之则为倒立。

分离音符步骤C去除连接，音符之间的连接在实际中并没有任何意义，因此在识别过程中要将其去除，如果符尾的数量大于4，那么认为是存在连接的，首先用步骤A中的方法检测到前两条符尾和最后两条符尾位置，再用步骤B的方法确定音符连接的两个音符分别是正立还是倒立，以正立为例，计算每一列的黑色像素位置最小值(如果倒立则计算最大值)，得到blk_up，如果在第j列出现

blk_up(j)-blk_up(j-1)>η

其中η为表示像素个数的整数参数，那第一个音符将在第j列的位置结束，据此可以将音符分开

连音音符分割步骤，先用步骤S3的方法找到符尾位置temp_blk(n),n＝1,2...N,N≤4，音符的分割需要指定初始位置，N个符尾对应着N-1个初始位置，记初始位置为v：

v(i)＝(temp_blk(i+1)+temp_blk(i))/2,i＝1,2...N-1

v的选择需要判定是否合适，初始切割位置上只有符梁是理想情况，但是有时也会切割到音符，找到v(i)列的黑色像素分布blk_distr(v(i))，对blk_distr(v(i))进行方差处理，如果处理后的结果中有元素大于θ(θ为表示像素个数的整数参数)，则认为切割位置不理想，需要改变，从下面的备选集合中选出合适的列作为新的v(i)

{v(i)+1,v(i)-1,v(i)+2,v(i)-2,v(i)+3,v(i)-3}

现在的初始位置v(i)所在列都是只包含符梁，设定两个变量temp和del并赋初始值，

temp＝blk_distr(v(i))

del＝blk_distr(v(i))

从v(i)列开始到v(i+1)列，进行迭代计算

temp＝blk_distr(v(i)+1){(blk_distr(v(i)+1)-temp))<ζ}

del＝del+temp

其中del是最后要去除的像素，也就是符梁，temp是每一次的比对像素，是当前列和待比对列temp的所有像素位置相差小于ζ的像素位置(ζ为表示像素个数的整数参数)，将del所对应的黑色像素删除则分割成功。

利用本发明实施例，能够在不懂五线谱的情况下欣赏到五线谱的旋律，同时利用摄像头拍摄非常的方便，具有很大的实用价值。

附图说明

图1为本发明一种基于图像识别技术的五线谱播放系统流程图；

图2为步骤三分离音符的步骤流程图；

图3为步骤S6连音音符分割的步骤流程图。

具体实施方式

下面将结合附图对本发明具体实施方式进行详细说明。

图1是本发明的流程图，包括以下步骤：

步骤S1：图像预处理识别；

步骤S2：去除五线谱；

步骤S3：检测符尾；

步骤S4：判断音符正逆；

步骤S5：去除连接；

步骤S6：连音音符分割；

步骤S7：逐一识别每一音节的音符；

步骤S8：转为数字信号并播放。

下面将对每个步骤进行具体的说明：

步骤S1：确定了五线谱的整体结构，其详细步骤为：

1)、将标准五线谱图片读入，保证曲谱部分都在一个矩形区域中，并将图像二值化。

2)、定五线谱的行位置，设预处理过后的图像为I，I是一个M×N的矩形，对I的第一行到第N行，确定每一行中黑色像素(计算机中为0)的总数占此行总像素数的比例，如果超过a则认定此行为一条谱线(a为参数，取值范围为0到1)，五线谱的位置为l，即：

$l=i\{\frac{{\&Sigma;}_{i=1}^{M}I(i,j)}{M}>\mathrm{\&alpha;}\}$

3)、定五线谱的小节，步骤S1.2中，五线谱所在的位置已经确定，设两排相邻的五线谱之间的距离为H。对两排相邻五线谱之间的每一列，确定每一列中黑色像素的总数占H的比例，如果超过β则认定此行为一条小节线(β为参数，取值范围为0到1)。小节线的位置为p，即：

$p=j\{\frac{{\&Sigma;}_{j=1}^{H}I(i,j)}{H}>\mathrm{\&beta;}\}$

步骤S2将五线谱从图像I中去除，从而去除识别音符的干扰，在步骤S2中已经确定了五线谱行的位置，将位置保存后，现在将五线谱去掉，同时为了将音符完整的保留下来，在去除这一行的基础上，要保留下来那些上下有连接的地方，其详细步骤为：

1)、l中每一个元素都是五线谱的行位置，对第l(i)行

$temp=j\left\{\underset{i=p\left(i\right)-1}{\overset{p\left(i\right)+1}{\&Sigma;}}I\right(l\left(i\right),j)=3\}$

temp即为第l(i)行要保留的黑色像素

2)、将第l(i)行去除，对这一行的所有列j，令：

$I_{j\&NotSubset;temp}(l\left(i\right),j)=1$

步骤S3要检测符尾从而判断单音符个数，其详细步骤为：

1)、获取音符小图，在单一小节的范围内，逐列检测黑色像素的有无确定音符的宽度范围，记为P_left和P_right。并在此宽度内逐行检测确定音符的高度范围，记为P_up与P_below。如果|P_left-P_right|>γ(γ为表示像素个数的整数参数)，则认为此音符为连音音符，现将黑白反转，那么音符的小图图像记为：

I1＝1-I(P_below:P_up,P_left:P_right)

2)、符尾的检测，对I1的每一列，计算每一列黑色像素的总数blk，第j列黑色像素总数为：

$blk\left(j\right)=\underset{i=1}{\overset{P_{up}-P_{below}+1}{\&Sigma;}}I1(i,j)$

找到blk中大于blk均值的列

temp_blk＝blk{blk>mean(blk)}

temp_blk作为符尾的待选列，对于其中第t个元素，记其在temp_blk(t)列的黑色像素分布

blk_distr(temp_blk(t))＝i{I1(i,temp_blk(t))＝1}

对blk_distr进行差分处理，设blk_distr含有M个元素，令

res(i)＝blk_distr(i+1)-blk_distr(i),i＝1,2...M-1

如果Var(res)<δ(δ为参数，Var为方差)，那么temp_blk(t)列就是符尾所在列。

步骤S4要判断音符的正逆从而找出符梁的位置，先求得第j列的黑色像素分布：blk_distr(j)，设两个集合blk_up和blk_below，分别存储每一列黑色像素位置的最小值和最大值，其中：

blk_up(j)＝min(blk_distr(j))

blk_below(j)＝max(blk_distr(j))

计算过所有列后，如果Var(blk_up)<Var(blk_below)，那么这个音符为正立，反之则为倒立。

步骤S5要将两个由连音符号相连的音符断开，成为两个独立的连音音符或单音符，音符之间的连接在实际中并没有任何意义，因此在识别过程中要将其去除，步骤S3中如果符尾的数量大于4，那么认为是存在连接的，首先用步骤S3的方法检测到前两条符尾和最后两条符尾位置，再用步骤S4的方法确定音符连接的两个音符分别是正立还是倒立，以正立为例，计算每一列的黑色像素位置最小值(倒立则计算每一列黑色像素位置最大值)，得到blk_up，如果在第j列出现

blk_up(j)-blk_up(j-1)>η

其中η为表示像素个数的整数参数，那第一个音符将在第j列的位置结束，据此可以将音符分开。

步骤S6要将其连音音符分割成一个个单音音符，先用步骤S3的方法找到符尾位置temp_blk(n),n＝1,2...N,N≤4，音符的分割需要指定初始位置，N个符尾对应着N-1个初始位置，记初始位置为v：

v(i)＝(temp_blk(i+1)+temp_blk(i))/2,i＝1,2...N-1

v的选择需要判定是否合适，初始切割位置上只有符梁是理想情况，但是有时也会切割到音符，找到v(i)列的黑色像素分布blk_distr(v(i))，对blk_distr(v(i))进行方差处理，如果处理后的结果中有元素大于θ(θ为表示像素个数的整数参数)，则认为切割位置不理想，需要改变，从下面的备选集合中选出合适的列作为新的v(i)

{v(i)+1,v(i)-1,v(i)+2,v(i)-2,v(i)+3,v(i)-3}

现在的初始位置v(i)所在列都是只包含符梁，设定两个变量temp和del并赋初始值，

temp＝blk_distr(v(i))

del＝blk_distr(v(i))

从v(i)列开始到v(i+1)列，进行迭代计算

temp＝blk_distr(v(i)+1){(blk_distr(v(i)+1)-temp))<ζ}

del＝del+temp

其中del是最后要去除的像素，也就是符梁，temp是每一次的比对像素，是当前列和待比对列temp的所有像素位置相差小于ζ的像素位置(ζ为表示像素个数的整数参数)，将del所对应的黑色像素删除则分割成功。

步骤S7是对已经分割开的音符进行识别，其详细步骤为：

1)、采用模板匹配法确定五线谱的节拍，对五线谱第一行第一个小节的第一个音符小图I1，在乐谱中规定表示为五线谱的节拍，模板数字图片为一个集合B，集合中包含所有的乐谱节拍的标准二值化图片，将现有数字图片I1的分辨率调整为与集合B中图片一致，再与每一个模板数字图片相减，误差最小的模板数字图片与该现有图片匹配，即寻找k满足：

$\arg \left(k\right)=\min \left(\underset{i}{\&Sigma;}\underset{j}{\&Sigma;}|B_k\left(i,j\right)-I1\left(i,j\right)|\right)$

2)、除去五线谱第一行的第一个音符小图，其余的每一个小节中的都是音乐音符，其中有的是单音符，有的是特殊音符，同样用5.1中的模板匹配法确定特殊音符种类，如果匹配值都很低的话那么说明这个音符是单音符，对于单音符，找到符尾后将其去除，对每一个音求像素质心确定其发的对应音

纵向质心的位置为：

$Pi=\frac{{\&Sigma;}_i{\&Sigma;}_{j}I1(i,j)\&times;i}{{\&Sigma;}_{i,j}I1(i,j)}$

横向质心的位置为：

$Pj=\frac{{\&Sigma;}_j{\&Sigma;}_{i}I1(i,j)\&times;j}{{\&Sigma;}_{i,j}I1(i,j)}$

根据纵向质心在五线谱中的相对位置来确定音符种类，根据质心(Pi,Pj)周围白色像素的有无判断是半分音符还是1/4音符或全音符。

步骤S8在确定所有音符后，根据音乐与扬声器的振动频率对应关系，使之转换为数字信号，并通过扬声器发音，对每一个音符，要生成钢琴乐器的包络mod＝t*e^-30t，频率的调制：

melody＝mod*cos(2πf₀t)

其中f₀为对应发音的频率，按照表1四个八度的音符与扬声器震动频率对应关系来确定。

表1发音及频率的对应关系

以上结合附图对所提出的一种基于图像识别技术的五线谱播放系统的具体实施方式进行了阐述。通过以上实施方式的描述，所属领域的一般技术人员可以清楚的了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现，该软件产品存储在一个存储介质中，包括若干指令用以使得一台或多台计算机设备执行本发明各个实施例所述的方法。

依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

以上所述的本发明实施方式，并不构成对发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像识别技术的五线谱播放系统，其特征在于，包括如下几个关键步骤：

一、图像的预处理识别步骤：将标准五线谱图片读入，通过对二值化图像的逐行和逐列像素检测，计算黑色像素所占百分比，确定五线谱的行所在位置以及小节的分界线位置，获得五线谱的整体结构；

二、去除五线谱步骤：为了能够更好的识别音符图形，需要将五线谱从图片中去除，在去除的过程中保留与音符相连接的像素点；

三、分离音符步骤：

A、检测符尾：检测符尾并判断单音符个数；

B、判断音符正逆：根据音符的正逆进行符梁位置的判断；

C、去除连接：将两个由连接符号相连的音符断开，成为两个独立的连音音符或单音符；

四、连音音符分割步骤：将连音音符分割成单音符；

五、逐一识别音符步骤：对每一个音符图像进行提取，用模板匹配法确定第一排五线谱的第一个图像确定乐曲的节拍，再识别单音符和特殊音符。

2.如权利要求1所述的方法，五线谱的去除步骤中，其特征在于，l中每一个元素都是五线谱的行位置，对第l(i)行

temp即为第l(i)行要保留的黑色像素，将第l(i)行去除，对这一行的所有列j，令：

3.如权利要求1所述的方法，音符的分离步骤中A的特征在于，其具体过程如下：

1）、获取音符小图，在单一小节的范围内，逐列检测黑色像素的有无确定音符的宽度范围，记为P_left和P_right，并在此宽度内逐行检测确定音符的高度范围，记为P_up与P_below；如果|P_left-P_right|>γ(γ为表示像素个数的整数参数)，则认为此音符为连音音符，现将黑白反转，那么音符的小图图像记为：

I1=1-I(P_below:P_up,P_left:P_right) 

2）、符尾的检测，对I1的每一列，计算每一列黑色像素的总数blk，第j列黑色像素总数为：

找到blk中大于blk均值的列

temp_blk=blk{blk>mean(blk)}

temp_blk作为符尾的待选列，对于其中第t个元素，记其在temp_blk(t)列的黑色像素分布

blk_distr(temp_blk(t))=i{I1(i,temp_blk(t))=1} 

对blk_distr进行差分处理，设blk_distr含有M个元素，令

res(i)=blk_distr(i+1)-blk_distr(i),i=1,2...M-1

如果Var(res)<δ(δ为参数，Var为方差)，那么temp_blk(t)列就是符尾所在列。

4.如权利要求1所述的方法，音符的分离步骤中B的特征在于，判断音符的正逆，先求得第j列的黑色像素分布：blk_distr(j)，设两个集合blk_up和blk_below，分别存储每一列黑色像素位置的最小值和最大值，其中：

blk_up(j)=min(blk_distr(j))

blk_below(j)=max(blk_distr(j))

计算过所有列后，如果Var(blk_up)<Var(blk_below)，那么这个音符为正立，反之则为倒立。

5.如权利要求1所述的方法，分离音符步骤中C的特征在于，音符连接判断，音符之间的连接在实际中并没有任何意义，因此在识别过程中要将其去除，如果符尾的数量大于4，则认为是存在连接的，首先用3.2的方法检测到前两条符尾和最后两条符尾位置，再用权利要求4的方法确定音符连接的两个音符分别是正立还是倒立，以正立为例，计算每一列的黑色像素位置最小值，得到blk_up，如果在第j列出现

blk_up(j)-blk_up(j-1)>η

其中η为表示像素个数的整数参数，则第一个音符将在第j列的位置结束，据此可以将音符分开。

6.如权利要求1所述的方法，连音音符分割步骤中，其特征在于，先用权利要求3的方法找到符尾位置temp_blk(n),n=1,2...N,N≤4，音符的分割需要指定初始位置，N个符尾对应着N-1个初始位置，记初始位置为v：

v(i)=(temp_blk(i+1)+temp_blk(i))/2,i=1,2...N-1

v的选择需要判定是否合适，初始切割位置上只有符梁是理想情况，但是有时也会切割到音符，找到v(i)列的黑色像素分布blk_distr(v(i))，对blk_distr(v(i))进行方差处理，如果处理后的结果中有元素大于θ（θ为表示像素个数的整数参数），则认为切割位置不理想，需要改变，从下面的备选集合中选出合适的列作为新的v(i)

{v(i)+1,v(i)-1,v(i)+2,v(i)-2,v(i)+3,v(i)-3}

现在的初始位置v(i)所在列都是只包含符梁，设定两个变量temp和del并赋初始值，

temp=blk_distr(v(i)) 

del=blk_distr(v(i)) 

从v(i)列开始到v(i+1)列，进行迭代计算

temp=blk_distr(v(i)+1){(blk_distr(v(i)+1)-temp))<ζ}

del=del+temp

其中del是最后要去除的像素，也是符梁所在的位置，temp是每一次的比对像素，是当前列和待比对列temp的所有像素位置相差小于ζ的像素位置(ζ为表示像素个数的整数参数)，将del所对应的黑色像素删除则分割成功。