CN101944180A - 基于乐符知识及双投影法的乐符基元分割方法 - Google Patents

Abstract

本发明公布了一种基于乐符知识及双投影法的乐符基元分割方法，对乐谱图像进行连通域分析后尽管能够获得乐谱图像的各个连通域，但由于乐谱符号的空间多样性，通常需要将乐谱对象分割成最基本的基元，以减轻乐谱识别的负担并提高识别率。本发明根据需要分割的各种乐符的结构特点，提出了基于乐符知识及双投影法的基元分割算法。考虑到需要进一步分割的连通域通常包含有符干，因此首先对经过初步分割的所得到的各连通域进行垂直投影，并结合音符结构知识判断是否包含有符干，从而确定哪些连通域需要进一步分割，然后再在此基础上采用水平投影法进行基元分割。

Description

基于乐符知识及双投影法的乐符基元分割方法

技术领域

本发明涉及多媒体信号处理技术领域，尤其是在数字音乐图书馆等音乐乐谱数字化应用开发的领域。

背景技术

乐谱的发明是人类音乐史上的里程碑，它的出现使人们可以在一个相对标准的平台上进行音乐的交流和传承。但是，古往今来的优秀音乐作品大都以纸质乐谱的形式保留下来，直至今天，纸质乐谱仍是表达和描述音乐作品的主要载体。纸质乐谱的存在使得音乐的人们交流和保存音乐，但是纸质乐谱的保存需要占用一定的存储空间，不利于保存与交流，特别是纸质状乐谱无法实现高速查询与检索，而只能能以纯手工的方式进行。纸质乐谱的这些缺点，使得乐谱的交流与保存极为不便。

光学乐谱识别技术(OMR)是近年来发展起来的实现纸质乐谱数字化的一种主流技术，不同于传统的图像存储格式(如JPG，TIF，GIF等)采用光学扫描压缩存贮乐谱图像，而是记录乐谱所表达的音乐内容，因此所需要的存储空间更小，并且可以很方便的对其进行编辑、加工、打印、传播或者实时演奏。OMR技术为纸质乐谱的数字化提供了一个智能、高效的新途径，可以广泛的应用在计算机辅助音乐教学、数字音乐图书馆建设、互联网音乐搜索、计算机音乐合成等领域。

一个完整的OMR处理系统大致包括以下几个组成模块：1)纸质乐谱图像输入及预处理，2)乐谱谱线检测定位及删除，3)乐谱图像分割，4)乐谱图像识别，5)乐谱重建及音乐语义解释。乐谱的分割是识别的前提，关系到整个OMR系统的性能。目前广泛采用的乐谱分割方式主要有投影法，区域生长法，边缘提取及连通域分析等方法。投影法方法简单，但往往只能实现对直线区域和非直线区域的有效分割，或者是进行直线的提取，无法实现对各具体连通域进行分割；边缘提取法，区域生长法以及传统连通域方法虽能提取图像中的各个连通区域，但运行速度慢且复杂，往往需要对图像进行多次扫描才能完成。

国外有关OMR的研究起始于60年代后期，当时由于技术条件和硬件设备的限制，所研究的内容也是非常有限的。到了70年代，随着光学扫描仪的出现和机器性能的提升，OMR才真正已经引起众多学者的广泛注意。进入80年代后，随着计算机图形图像技术的不断发展与成熟，研究内容越来越深入，部分研究成果也正逐步进入实用阶段。

在我国，一方面由于计算机音乐发展起步晚，计算机音乐只是少数音乐工作者的“专利”，社会缺乏计算机识别乐谱的需要；另一方面，由于国内高校的学科设置综合化程度、学科交叉的跨度与国外有着相当大的差距，长期以来，从事计算机音乐研究的专业人才严重缺乏。因此，OMR技术在国内的系统研究和实践工作几乎为空白。目前，西北工业大学与西安音乐学院合作正在开展印刷体光学乐谱识别技术的研究，但目前国内外有关乐谱分割技术的研究还很少，尤其是关于乐符基元的分割，传统的投影法仍然占有十分重要的地位，但该方法对于基元的分割效率不高，有待进一步提高。

发明内容

本发明目的是针对现有技术存在的缺陷提供一种正确、有效的乐符基元分割方法，从而提高基元的正确分割和识别率，提高整个OMR系统的性能。

本发明为实现上述目的，采用如下技术方案：

本发明基于乐符知识及双投影法的乐符基元分割方法，包括如下步骤：

c)符头的宽度w通常为五线谱谱线距宽度xj的1.2倍，即w＝1.2×xj；

d)高度参考值v＝3×xk+3×xj，其中xk表示线宽，则符干的高度h满足：

h＞v，                     (1)

高音谱号和二分休止符，节拍线以及大括号的垂直投影也满足上式，按如下方法来确定该连通域是否需要进一步分割：

I)出现两个疑似符干，连通域必然需要分割；

II)如果某连通域出现单个疑似符干，则计算包围框宽度kd和高度gd以及最大垂直黑色游程的长度cd，如果满足下式，则该连通域包含一个真正的符干，需要进一步分割：

kd＞xj&gd＞v&cd＜3×v，                     (2)

并使用双投影法即可实现乐符基元的分割。

优选地，步骤II)所述的乐符基元的分割方法包括如下步骤：

(1)计算出原始二值图像B(x，y)的五线谱的谱线距xj和谱线宽度xk，以及高度参考值v。

(2)对所有连通域进行垂直投影，得到他们的垂直投影队列：

Proj_v(i，j)，i＝1，2，…W_j，j＝1，2，…L，                                  (3)

其中L为初步分割后连通域的个数，W_j为第j个连通域图像的列数；若Proj_v(i，j)＞v则认为第j个连通域的第i列存在疑似符干，但相邻两个疑似符干之间距离要大于1个xk，否则认为是一个疑似符干；对每一个连通域的投影队列进行如下判断：

若疑似符干的个数num＞1或者疑似符干的个数num＝1且连通域的性质满足公式(2)，则记Flag_j＝1；否则Flag_j＝0；进而得到需要分割的连通域像素表xltyxsb(u，v，w)，u＝1，2，…M，v＝1，2，v＝1，2，…N其中M为各连通域中像素的个数，N为需要进一步分割的连通域数。设初始需分割连通域编号k＝1；

(3)确定各基元的左右垂直分割线对：找出第k个连通域的符干位置，fgpos(i)，i＝1，2，…n，n为符干的个数，若(fgpos(1)-ltyl1(k))＜xj，其中ltyl1(k)为第k个连通域边框的最小列，则该连通域各基元外围方框的垂直分割线对按下式确定：

(fgpos(i)-1，fgpos(i)+1)；i＝1，2，…n

(fgpos(i)，fgpos(i)+1.2×xj)；i＝1，2，…n，

(fgpos(i)-1.2×xj，fgpos(i))；i＝2，3…n           (4)

反之，各基元外围方框的垂直分割线对按2.5式确定：

(fgpos(i)-1，fgpos(i)+1)；i＝1，2，…n

(ltyl1，fgpos(1))；(fgpos(i)-1.2×xj，fgpos(i))；i＝2，3…n，

(fgpos(i)，fgpos(i)+1.2×xj)；i＝1，2，…n-1                    (5)

4)确定各基元的的水平分割线：对每一个子区域进行水平投影，得到其水平投影图Pimg_h(i，j)，h＝1，2，…N，其中N为基元区域的个数，并统计获得各投影图中第一列的垂直黑色游程信息表Yc(i，j)，将每一个子区域的垂直黑色游程的起始行和终止行，作为该基元的水平分割线，作为包围框的最小行和最大行，配合垂直分割线即包围框的最小列和最大列，得到各基元的包围方框，将包围框的信息放到分割信息表中，实现基元的分割；

5)k＝k+1，若k≤N则转至第3步，否则绘制出分割后的图像。

本发明的优点和效果在于：

1.在乐符基元分割阶段充分利用了乐符的结构知识，准确的判别出哪些连通域需要进一步分割，提高基元分割的准确性。

2.该发明将乐符结构知识和双投影法相结合，能够准确有效的实现乐符基元的分割，相对于传统的投影法，能有效的提高分割的正确率。

附图说明

图1：可能成为疑似符干的几种音乐符号：a)高音谱号b)二分休止符c)符头叠加造成符干长度不等，d)长度不等的小节线e)大括号；

图2：经过前期处理后的二值图像；

图3：谱线删除后的乐谱图像；

图4：乐谱图像连通域分析的结果；

图5：需进一步分割图像的各连通域；

图6：确定了基本乐符垂直分割线后的图像分割情况；

图7：单个音符基元区域的垂直分割线；

图8：需进一步进行基元分割图像的基元分割结果；

图9：整幅乐谱图像的最终分割结果。

具体实施方式

对乐谱图像进行连通域分析后尽管能够获得乐谱图像的各个连通域，但由于乐谱符号的空间多样性，通常需要将乐谱对象分割成最基本的基元，以减轻乐谱识别的负担并提高识别率。传统的投影法在进行基元分割时尽管运算速度快，但存在分割准确性不高，甚至无法判别那些乐谱符号需要进一步分割。为此本发明根据需要分割的各种乐符的结构特点，提出了基于乐符知识及双投影法的基元分割算法。考虑到需要进一步分割的连通域通常包含有符干，因此首先对经过初步分割的所得到的各连通域进行垂直投影，并结合音符结构知识判断是否包含有符干，从而确定哪些连通域需要进一步分割，然后再在此基础上采用水平投影法进行基元分割。这里所需要利用的乐符知识主要有：

e)符头的宽度w通常约为五线谱谱线距宽度xj的1.2倍，即w＝1.2×xj；

f)若设高度参考值v＝3×xk+3×xj，其中xk表示线宽，则符干的高度h通常满足：

h＞v。                        2.1

除了符干的高度满足2.1式之外，高音谱号和二分休止符，节拍线以及大括号的垂直投影也满足此式，从而出现疑似符干情况，见图1，为此可以按如下原则来确定该连通域是否需要进一步分割：

I)出现两个疑似符干，连通域必然需要分割；

II)如果某连通域出现单个疑似符干，则计算包围框宽度kd和高度gd以及最大垂直黑色游程的长度cd，如果满足2.2式，则该连通域包含一个真正的符干，需要进一步分割。

kd＞xj&gd＞v&cd＜3×v                           2.2

利用这些知识并使用双投影法即可实现乐符基元的分割，其实现的具体技术步骤如下：

1)计算出原始二值图像B(x，y)的五线谱的谱线距xj和谱线宽度xk，以及高度参考值v。

2)对所有连通域进行垂直投影，得到他们的垂直投影队列：Proj_v(i，j)，i＝1，2，…W_j，j＝1，2，…L，                                         2.3

其中L为初步分割后连通域的个数，W_j为第j个连通域图像的列数；若Proj_v(i，j)＞v则认为第j个连通域的第i列存在疑似符干，但相邻两个疑似符干之间距离要大于1个xk，否则认为是一个疑似符干。对每一个连通域的投影队列进行如下判断：

若疑似符干的个数num＞1或者疑似符干的个数num＝1且连通域的性质满足公式2.2，则记Flag_j＝1；否则Flag_j＝0；进而得到需要分割的连通域像素表xltyxsb(u，v，w)，

u＝1，2，…M，v＝1，2，v＝1，2，…N其中M为各连通域中像素的个数，N为需要进一步分割的连通域数。设初始需分割连通域编号k＝1。

3)确定各基元的左右垂直分割线对：找出第k个连通域的符干位置

fgpos(i)，i＝1，2，…n，n为符干的个数，若(fgpos(1)-ltyl1(k))＜xj，其中ltyl1(k)为第k个连通域边框的最小列，则该连通域各基元外围方框的垂直分割线对按2.4式确定

(fgpos(i)-1，fgpos(i)+1)；i＝1，2，…n

(fgpos(i)，fgpos(i)+1.2×xj)；i＝1，2，…n

(fgpos(i)-1.2×xj，fgpos(i))；i＝2，3…n                2.4

反之，各基元外围方框的垂直分割线对按2.5式确定

(fgpos(i)-1，fgpos(i)+1)；i＝1，2，…n

(ltyl1，fgpos(1))；(fgpos(i)-1.2×xj，fgpos(i))；i＝2，3…n，

(fgpos(i)，fgpos(i)+1.2×xj)；i＝1，2，…n-1                     2.5

4)确定各基元的的水平分割线：对每一个子区域进行水平投影，得到其水平投影图Pimg_h(i，j)，h＝1，2，…N，其中N为基元区域的个数，并统计获得各投影图中第一列的垂直黑色游程信息表Yc(i，j)，将每一个子区域的垂直黑色游程的起始行和终止行，作为该基元的水平分割线，作为包围框的最小行和最大行，配合垂直分割线(即包围框的最小列和最大列)，就可以得到各基元的包围方框，将包围框的信息放到分割信息表中，实现基元的分割。

5)k＝k+1，若k≤N则转至第3步，否则绘制出分割后的图像。

下面结合附图，对本发明所述的技术方案作进一步的阐述。

纸质乐谱图像首先通过扫描仪或者数码拍摄设备输入到计算机，然后经过去噪，图像格式变换等预处理操作，变成二值乐谱图像；图2即为一幅经过前期处理后所得到的二值乐谱图像。消除掉了在扫描过程中或者由于图像本身所带到的噪声，并进行了格式变换。

由于乐谱图像不同于普通的图像，乐谱图像中的很多乐符依赖于谱线，谱线在乐谱图像中具有非常重要的意义，不同高度的谱线代表的音度不一样，因此，十分有必要进行谱线的检测定位和删除工作，图3即为对乐谱图像进行谱线删除后的结果，谱线删除后消除了其对乐谱分割以及乐符基元识别的干扰。

谱线删除以后就是对乐谱图像进行分割，以便提取出所有的音乐乐谱符号，在本发明中首先需要对原始的乐谱图像进行连通域分析，可以采用边缘提取法，区域生长法以及快速连通域分析等方法，图4即为进行连通域分析后所获得的乐谱图像的连通域，该方法可有效的避免投影法等方法一步实现基元分割所造成的分割正确率低下，甚至无法分割的情况。

获得了乐谱图像的连通域后，再根据乐符的结构知识判断出哪些连通域需要进一步分割成基元，图5即为对图4中需要进一步分割的基元所作判断的结果，对于需要进一步分割的基元，进行基元分割。

基元分割的具体步骤按照前面的技术方案来逐步执行。在分割过程中需要找出各连通域中所包含的各符干的位置，以符干为基准，将其左1.2个谱线距和右1.2个谱线矩的位置(最左和最右以连通域的边框为界)作为基本音符的垂直分割线，而水平分割线为连通域的上下边框线，即可得到图6所示的结果，并对分割区域进一步细化，从而得到各基元区域的垂直分割线，图7即为对一个基本音符细化后得到基元区域垂直分割线的图像分割结果，然后再通过垂直投影并结合垂直黑色游程段的信息找到每一个基元的水平边界分割线，从而实现基元分割，见图8，整幅乐谱图像的最终分割图见图9。

Claims (2)

1.一种基于乐符知识及双投影法的乐符基元分割方法，所利用到的乐符知识主要有：

a)符头的宽度w通常为五线谱谱线距宽度xj的1.2倍，即w＝1.2×xj；

b)高度参考值v＝3×xk+3×xj，其中xk表示线宽，则符干的高度h满足：

h＞v，                                (1)

高音谱号和二分休止符，节拍线以及大括号的垂直投影也满足上式，按如下方法来确定该连通域是否需要进一步分割：

I)出现两个疑似符干，连通域必然需要分割；

II)如果某连通域出现单个疑似符干，则计算包围框宽度kd和高度gd以及最大垂直黑色游程的长度cd，如果满足下式，则该连通域包含一个真正的符干，需要进一步分割：

kd＞xj&gd＞v&cd＜3×v，                           (2)

然后再结合使用双投影法即可实现乐符基元的分割。

2.根据权利要求所述的基于乐符知识及双投影法的乐符基元分割方法，包括如下步骤：

(1)计算出原始二值图像B(x，y)的五线谱的谱线距xj和谱线宽度xk，以及高度参考值v。

(2)对所有连通域进行垂直投影，得到他们的垂直投影队列：

Proj_v(i，j)，i＝1，2，…W_j，j＝1，2，…L，                                (3)

其中L为初步分割后连通域的个数，W_j为第j个连通域图像的列数；若Proj_v(i，j)＞v则认为第j个连通域的第i列存在疑似符干，但相邻两个疑似符干之间距离要大于1个xk，否则认为是一个疑似符干；对每一个连通域的投影队列进行如下判断：

若疑似符干的个数num＞1或者疑似符干的个数num＝1且连通域的性质满足公式(2)，则记Flag_j＝1，否则Flag_j＝0。进而得到需要分割的连通域像素表xltyxsb(u，v，w)，u＝1，2，…M，v＝1，2，v＝1，2，…N其中M为各连通域中像素的个数，N为需要进一步分割的连通域数。设初始需分割连通域编号k＝1；

(3)确定各基元的左右垂直分割线对：找出第k个连通域的符干位置，fgpos(i)，i＝1，2，…n，n为符干的个数，若(fgpos(1)-ltyl1(k))＜xj，其中ltyl1(k)为第k个连通域边框的最小列，则该连通域各基元外围方框的垂直分割线对按下式确定：

(fgpos(i)-1，fgpos(i)+1)；i＝1，2，…n

(fgpos(i)，fgpos(i)+1.2×xj)；i＝1，2，…n，

(fgpos(i)-1.2×xj，fgpos(i))；i＝2，3…n            (4)

反之，各基元外围方框的垂直分割线对按2.5式确定：

(fgpos(i)-1，fgpos(i)+1)；i＝1，2，…n

(ltyl1，fgpos(1))；(fgpos(i)-1.2×xj，fgpos(i))；i＝2，3…n，

(fgpos(i)，fgpos(i)+1.2×xj)；i＝1，2，…n-1                    (5)

4)确定各基元的的水平分割线：对每一个子区域进行水平投影，得到其水平投影图Pimg_h(i，j)，h＝1，2，…N，其中N为基元区域的个数，并统计获得各投影图中第一列的垂直黑色游程信息表Yc(i，j)，将每一个子区域的垂直黑色游程的起始行和终止行，作为该基元的水平分割线，作为包围框的最小行和最大行，配合垂直分割线即包围框的最小列和最大列，得到各基元的包围方框，将包围框的信息放到分割信息表中，实现基元的分割；

5)k＝k+1，若k≤N则转至第3步，否则绘制出分割后的图像。

Images