CN101964049A - 基于分段投影与乐符结构的谱线检测及删除方法 - Google Patents

Abstract

本发明公布了一种基于分段投影与乐符结构的谱线检测及删除方法，纸质乐谱图像首先通过扫描仪或者数码拍摄设备输入到计算机，然后经过去噪，图像格式变换等预处理操作，变成二值乐谱图像；输入图像经过预处理后，首先计算出乐谱的谱线间距，并以此为参考将整幅图像在垂直方向上分割成若干段，通过对部分特殊图像段进行水平投影处理后获取图像的垂直倾斜度，实现谱线垂直方向的倾斜校正，然后对各段进行水平垂直投影，计算相邻两段投影的互相关，进而实现图像水平倾斜以及谱线弯曲的校正，进一步消除二值图像由于倾斜导致部分直线段出现像素重叠的问题。本发明的能有效的解决“误删”和欠删除现象。

Description

基于分段投影与乐符结构的谱线检测及删除方法

技术领域

本发明涉及多媒体信号处理技术领域，尤其是在数字音乐图书馆等音乐乐谱数字化应用开发的领域。

背景技术

乐谱的发明是人类音乐史上的里程碑，它的出现使人们可以在一个相对标准的平台上进行音乐的交流和传承。但是，古往今来的优秀音乐作品大都以纸质乐谱的形式保留下来，直至今天，纸质乐谱仍是表达和描述音乐作品的主要载体。纸质乐谱的存在使得音乐的人们交流和保存音乐，但是纸质乐谱的保存需要占用一定的存储空间，不利于保存与交流，特别是纸质状乐谱无法实现高速查询与检索，而只能能以纯手工的方式进行。纸质乐谱的这些缺点，使得乐谱的交流与保存极为不便。

光学乐谱识别技术(OMR)是近年来发展起来的实现纸质乐谱数字化的一种主流技术，不同于传统的图像存储格式(如JPG，TIF，GIF等)采用光学扫描压缩存贮乐谱图像，而是记录乐谱所表达的音乐内容，因此所需要的存储空间更小，并且可以很方便的对其进行编辑、加工、打印、传播或者实时演奏。OMR技术为纸质乐谱的数字化提供了一个智能、高效的新途径，可以广泛的应用在计算机辅助音乐教学、数字音乐图书馆建设、互联网音乐搜索、计算机音乐合成等领域。

一个完整的OMR处理系统大致包括以下几个组成模块：1)纸质乐谱图像输入及预处理，2)乐谱谱线检测定位及删除，3)乐谱图像分割，4)乐谱图像识别，5)乐谱重建及音乐语义解释。乐谱的分割是识别的前提，关系到整个OMR系统的性能。目前广泛采用的乐谱分割方式主要有投影法，区域生长法，边缘提取及连通域分析等方法。投影法方法简单，但往往只能实现对直线区域和非直线区域的有效分割，或者是进行直线的提取，无法实现对各具体连通域进行分割；边缘提取法，区域生长法以及传统连通域方法虽能提取图像中的各个连通区域，但运行速度慢且复杂，往往需要对图像进行多次扫描才能完成。

国外有关OMR的研究起始于60年代后期，当时由于技术条件和硬件设备的限制，所研究的内容也是非常有限的。到了70年代，随着光学扫描仪的出现和机器性能的提升，OMR才真正已经引起众多学者的广泛注意。进入80年代后，随着计算机图形图像技术的不断发展与成熟，研究内容越来越深入，部分研究成果也正逐步进入实用阶段。

在我国，一方面由于计算机音乐发展起步晚，计算机音乐只是少数音乐工作者的“专利”，社会缺乏计算机识别乐谱的需要；另一方面，由于国内高校的学科设置综合化程度、学科交叉的跨度与国外有着相当大的差距，长期以来，从事计算机音乐研究的专业人才严重缺乏。因此，OMR技术在国内的系统研究和实践工作几乎为空白。目前，西北工业大学与西安音乐学院合作正在开展印刷体光学乐谱识别技术的研究。

目前国内外对谱线的定位和检测进行了广泛的研究，提出了各种方法，检测定位主要分为三大类方法：投影法，Hough变换法以及数学形态法。投影法速度快，但传统的投影方法无法处理倾斜或者局部弯曲的图像；Hough变化法虽能较好的处理图像倾斜现象，但计算量十分庞大，很难实用；数学形态法的应用比较简单，但处理时结构元素的选取易受实际图像的限制难以确定，同时对倾斜直线的检测效果也不理想。

而谱线的删除方法主要是传统的直线跟踪删除方法和游程图段法，在删除过程经常会出现“误删”或者过删除现象，理想的删除技术方法还有待进一步挖掘。

发明内容

本发明目的是针对现有技术存在的缺陷提供一种基于分段投影与乐符结构的谱线检测及删除方法。

本发明为实现上述目的，采用如下技术方案：

本发明基于分段投影与乐符结构的谱线检测方法，包括如下步骤：

(1)扫描输入以后的图像经过滤波去噪、格式变换以后得到行和列分别为W×H的二值图像：B(x，y)，(0≤x≤W；0≤y≤H)，当像素点为黑色的目标点时B(x，y)＝0，为白色的背景点时B(x，y)＝1，其中(x、y)为像素点坐标；首先计算乐谱图像的谱线间距S，即找出图像中出现次数最多的垂直白色游程的长度；再将图像沿水平方向划分成N个条形区域Z₁，Z₂，…Z_n，N＝Ceil(W/(4×S))，Ceil表示朝∞方向取整数，其中前N-1个区域的宽度w为4×S，最后一个区域宽度w为W-(N-1)×4×S，对最后两个区域内的子图像进行水平投影，得到投影队列：

${\mathrm{Proj}}_v\left[y\right]=\underset{k=(N-2)\×4\×S+1}{\overset{W}{\mathrm{\Σ}}}B(y,k),1\≤y\≤H,$

(2)垂直方向上的倾斜校正：根据投影队列找出第一根谱线和最后一根谱线的行位置row1和row2，沿谱线的位置分别在区域：

Z1(x，y)：(N-2)×w＜x≤W，row1-S≤y≤row1+S，

和Z2(x，y)：(N-2)×w＜x≤W，row2-S≤y≤row2+S中搜索出黑色像素的最大列值col1和col2，据此计算出整幅图像的垂直倾斜度φ：φ＝arctan((row2-row1)/(col2-col1))及垂直方向上的最大倾斜长度q：q＝(col2-col1)×W/(row2-row1)；对图像进行垂直倾斜校正：

B′(x，y)＝B(x，y+Δ′)，

其中Δ′＝floor(q×x/H)，1≤x≤W，1≤y≤H，为不同像素在垂直方向上的校正量，B′(x，y)为垂直校正后的图像，floor表示向零方向取整；

(3)水平方向上的倾斜及弯曲校正：对步骤(2)所划分的各个子区域进行水平投影，得到各条形子区域的水平投影队列：

$\mathrm{Proj}[y,n]=\underset{k=\mathrm{sp}}{\overset{k=\mathrm{sp}+w}{\mathrm{\Σ}}}B(y,k),$

其中sp＝(n-1)×w，1≤n≤N，1≤y≤H，n为条形区域的段号；

(4)相同的的两个曲线的相关系数最大，故对相邻两段的水平投影图进行互相关运算，得到互相关队列Cross(λ，n)，以获得两个投影图对应谱线间的位置差d(n)；

$\mathrm{Cross}(\mathrm{\λ},n)=\underset{k=P1}{\overset{P2}{\mathrm{\Σ}}}\mathrm{Proj}(k,n)\×\mathrm{Proj}(k+\mathrm{\λ},n+1),$

其中-S＜λ＜S，1≤n≤N-1。P1，P2为互相关计算的下限和上限，如果λ≤0，则P1＝-λ+1，P2＝H，如果λ＞0则P1＝1，P2＝H-λ，λ为水平投影队列在垂直方向上移动的距离，其值设定在一个线间距之间，找出各互相关队列中的最大值所对应的λ(n)，1≤n≤N-1值，即为相邻图像段的谱线在水平位置上的偏移量d(n)；

d(n)＝λ(n+1)-λ(n)，

其中，1≤n≤N-1，最后一段的偏移量d(N)＝d(N-1)；

(5)根据各区域的偏移量d(n)，从左到由对整幅图像进行水平弯曲或者倾斜率校正公式如下：

$J\left(n\right)=\underset{k=2}{\overset{N}{\mathrm{\Σ}}}d(k-1),2\≤n\≤N,J\left(1\right)=0$

Δ＝floor((x％w)/w×d(n))-J(n)

B″(x，y)＝B′(x+Δ，y)，

其中，1≤x≤W，1≤y≤H，floor表示向零方向取整，％表示整除后取余数操作，J(n)，1≤n≤N表示各子区域的累计偏差量，Δ为不同的像素在水平方向上的偏移量，B′(x，y)为进行垂直倾斜校正后的图像，B″(x，y)为对原始图像进行水平倾斜、弯曲校正后的图像。

基于分段投影与乐符结构的谱线删除方法，包括如下步骤：

(a)根据谱线检测的结果，记录下各谱线的行位置Pos(m)，m＝1，2，…N，N为谱线的行数；

(b)沿着谱线方向对每一条谱线像素搜索其上方或者下方一个元素是否为黑色像素，如果有则认为存在着其他乐谱目标与谱线像素向交叉或者重叠，此时该谱线点不删除，否则删除，即设置为白色像素：

$\left\{\begin{array}{cc}B(k,y)=0& B(\mathrm{Pos}\left(m\right)-1),y)=0|B(\mathrm{Pos}\left(m\right)+1,y)=0\\ B(k,y)=1& \mathrm{else}\end{array}\right.,$

其中1≤y≤W，为图像的列数，k＝Pos(m)，Pos(m)+1，…Pos(N)+xk-1，对应于每一条谱线的行数，xk为每一条谱线的厚度；

(c)记录下没被删除的黑色像素的行、列位置，P(n，2)，n＝1，2，…num，num为没被删除的黑色像素的个数，并计算黑色像素点所在的垂直黑色游程的长度yc(n)，n＝1，2，…num；

(d)从谱线中第一个没被删除的黑色像素开始，判断相邻的两个黑色像素是否在同一行上，并计算几何距离，如果等于2，且两点所在的垂直黑色游程长度均不能超过2倍谱线宽度，则直接将这两点相连接，否则至第e步；

B(x，y)＝0  P(n+1，2)-P(n，2)＜2 & P(n+1，1)＝P(n，1) & yc(n)≤2 & yc(n+1)≤2，

其中x＝P(n)，P(n)+1，…P(n)+xk-1，P(n，2)≤y≤P(n+1，2)，n为没被删除的黑色像素的编号；

(e)如果两个黑色像素之间几何距离大于3且小于1.5倍线间距，两个黑色像素所属于的游程长度也小于1.5倍线间距，同时判断前一个黑色游程的上邻是否为1和后一个黑色像素的上邻及上右邻是否为1，若都为1，则进行连接；

B(x，y)＝0  3≤P(n+1，2)-P(n，2)＜1.5xjj & P(n+1，1)＝P(n，1) &

yc(n)≤1.5xjj & yc(n+1)≤1.5xjj & B(P(n，1)-1，P(n，2)＝1 &，

B(P(n+1，1)-1，P(n，2)＝1 & B(P(n+1，1)-1，P(n，2)+1)＝1

其中x＝P(n)，P(n)+1，…P(n)+xk-1，P(n，2)≤y≤P(n+1，2)，xjj为谱线间距，n为没被删除的黑色像素的编号，

(f)黑色像素个数加一，转至第d步，直到谱线全部校正完毕。

本发明的优点和效果在于：

1.本发明中所提出的改进型分段投影法可以应用于具有较大垂直倾斜度或者水平倾斜度以及谱线水平弯曲的图像中，而对于这种情况，传统的方法往往无法实现准确的谱线定位，造成后继的谱线删除错误等。

2.本发明中所提出的基于模板与乐符结构的谱线删除方法能有效的谱线删除过程中出现的“误删”或者过删除现象，从而大大的提高了后继乐谱分割与识别的效率。

附图说明

图1乐谱输入时出现倾斜及弯曲现象(a)输入的原始乐谱图像(b)与输入图像相对应的二值图像(c)二值图像对应的水平投影图；

图2(a)垂直倾斜校正后的图像，(b)垂直校正后图像的各段水平投影图；

图3(a)水平校正后的图像，(b)水平校正后的图像的水平投影图；

图4(a)最终修正后的乐谱图像(b)最终修正后的乐谱图像的水平投影图；

图5不同谱线删除方法的谱线删除性能比较：(a)经过前期处理后的二值图像(b)传统直线跟踪法谱线删除结果，(c)游程图段法的谱线删除结果，(d)基于模板及乐符结构的的谱线删除结果。

具体实施方式

乐谱输入时总是希望能够保证不出现任何图像倾斜或者谱线弯曲的现象，但实际上，由于人为或者设备(如扫描仪，数码相机等)的原因，通常会出现图像垂直倾斜、谱线水平倾斜以及弯曲的情况，如图3(a)所示，如果不对图像或者谱线校正就直接采用传统的投影方法来实现谱线检测或者定位，即：首先将原始图像去噪，并转化为二值图像，见图3(b)，然后对其进行水平投影，见图3(c)，并将各峰值所对应的位置作为谱线的位置，可以明显的看到，由于图像的倾斜及弯曲，得到的谱线峰值并不明显，很难识别出谱线。为此在本发明中采用改进型的分段投影法来实现图像的倾斜及弯曲校正算法，并实现谱线的准确定位，其具体技术步骤如下：

设扫描输入以后的图像经过滤波去噪、格式变换以后得到大小为W×H的二值图像：B(x，y)，(0≤x≤W；0≤y≤H)，当像素点为黑色的目标点时B(x，y)＝0，为白色的背景点时B(x，y)＝1。算法具体描述如下：

垂直方向上的倾斜校正。考虑到不同乐谱图像的分辨率不一定相同，所以在对乐谱图像进行分段时不以像素点为参考，而是根据谱线间的间距来确定。故首先需要计算乐谱图像的谱线间距S，即找出图像中出现次数最多的垂直白色游程的长度；再将图像沿水平方向划分成N个条形区域Z₁，Z₂，…Z_n，N＝Ceil(W/(4×S))，Ceil表示朝∞方向取整数，其中前N-1个区域的宽度w为4×S，最后一个区域宽度w为W-(N-1)×4×S，对最后两个区域内的子图像进行水平投影，得到投影队列：

${\mathrm{Proj}}_v\left[y\right]=\underset{k=(N-2)\×4\×S+1}{\overset{W}{\mathrm{\Σ}}}B(y,k),1\≤y\≤H---2.1$

(1)根据投影队列找出第一根谱线和最后一根谱线的行位置row1和row2，沿谱线的位置分别在区域Z1(x，y)：(N-2)×w＜x≤W，row1-S≤y≤row1+S，和Z2(x，y)：(N-2)×w＜x≤W，row2-S≤y≤row2+S，中搜索出黑色像素的最大列值col1和col2，据此可以计算出整幅图像的垂直倾斜度φ：φ＝arctan((row2-row1)/(col2-col1))及垂直方向上的最大倾斜长度q：q＝(col2-col1)×W/(row2-row1)。对图像进行垂直倾斜校正，校正公式为：

B′(x，y)＝B(x，y+Δ′)，                                2.2

其中Δ′＝floor(q×x/H)，1≤x≤W，1≤y≤H，为不同像素在垂直方向上的校正量，B′(x，y)为垂直校正后的图像，floor表示向零方向取整。

(2)水平方向上的倾斜及弯曲校正。对步骤(1)所划分的各个子区域进行水平投影，得到各条形子区域的水平投影队列：

$\mathrm{Proj}[y,n]=\underset{k=\mathrm{sp}}{\overset{k=\mathrm{sp}+w}{\mathrm{\Σ}}}B(y,k)---2.3$

其中sp＝(n-1)×w，1≤n≤N，1≤y≤H，n为条形区域的段号。

(3)根据相关原理，相同的的两个曲线的相关系数最大，故对相邻两段的水平投影图进行互相关运算，得到互相关队列Cross(λ，n)，以获得两个投影图对应谱线间的位置差d(n)。

$\mathrm{Cross}(\mathrm{\λ},n)=\underset{k=P1}{\overset{P2}{\mathrm{\Σ}}}\mathrm{Proj}(k,n)\×\mathrm{Proj}(k+\mathrm{\λ},n+1)---2.4$

其中-S＜λ＜S，1≤n≤N-1。P1，P2为互相关计算的下限和上限，如果λ≤0，则P1＝-λ+1，P2＝H，如果λ＞0则P1＝1，P2＝H-λ，λ为水平投影队列在垂直方向上移动的距离，其值设定在一个线间距之间，因为谱线图是一个准周期性的图形(周期为S)，如果不加限定，可能产生多个最大值。找出各互相关队列中的最大值所对应的λ(n)，1≤n≤N-1值，即为相邻图像段的谱线在水平位置上的偏移量d(n)。

d(n)＝λ(n+1)-λ(n)                                    2.5

其中，1≤n≤N-1。考虑到最后一段区域宽度通常较窄且与其前一段区域保持有相同的倾斜角度，因此设最后一段的偏移量d(N)＝d(N-1)，以方便最后进行谱线及图像校正。

(4)根据各区域的偏移量d(n)，从左到由对整幅图像进行水平弯曲或者倾斜率校正公式如下：

$J\left(n\right)=\underset{k=2}{\overset{N}{\mathrm{\Σ}}}d(k-1),2\≤n\≤N,J\left(1\right)=0$

Δ＝floor((x％w)/w×d(n))-J(n)

B″(x，y)＝B′(x+Δ，y)                                            2.6

其中，1≤x≤W，1≤y≤H。floor表示向零方向取整，％表示整除后取余数操作。J(n)，1≤n≤N表示各子区域的累计偏差量，Δ为不同的像素在水平方向上的偏移量，B′(x，y)为进行垂直倾斜校正后的图像。B″(x，y)为对原始图像进行水平倾斜、弯曲校正后的图像。

在谱线删除过程中可能出现的“误删”或者“过删除”现象，以及分段删除法普遍存在的“欠删除”现象，为此在本发明中提出了使用直线跟踪模板逐点删除谱线的方法来解决欠删除情况，而对于过删除情况，则基于乐符结构知识对误删除的乐符片段进行补偿校正，从而获得比较理想的谱线删除效果。具体技术步骤描述如下：

(1)根据谱线检测的结果，记录下各谱线的行位置Pos(m)，m＝1，2，…N，N为谱线的行数。

(2)沿着谱线方向对每一条谱线像素搜索其上方或者下方一个元素是否为黑色像素，如果有则认为存在着其他乐谱目标与谱线像素向交叉或者重叠，此时该谱线点不删除，否则删除，即设置为白色像素。

$\left\{\begin{array}{cc}B(k,y)=0& B(\mathrm{Pos}\left(m\right)-1),y)=0|B(\mathrm{Pos}\left(m\right)+1,y)=0\\ B(k,y)=1& \mathrm{else}\end{array}\right.---3.1$

其中1≤y≤W，为图像的列数，k＝Pos(m)，Pos(m)+1，…Pos(N)+xk-1，对应于每一条谱线的行数，xk为每一条谱线的厚度。

(3)记录下没被删除的黑色像素的行、列位置，P(n，2)，n＝1，2，…num，num为没被删除的黑色像素的个数，并计算黑色像素点所在的垂直黑色游程的长度yc(n)，n＝1，2，…num。

(4)从谱线中第一个没被删除的黑色像素开始，判断相邻的两个黑色像素是否在同一行上，并计算几何距离，如果等于2，且两点所在的垂直黑色游程长度均不能超过2倍谱线宽度，则直接将这两点相连接，否则至第五步。

B(x，y)＝0  P(n+1，2)-P(n，2)＜2 & P(n+1，1)＝P(n，1) & yc(n)≤2 & yc(n+1)≤2    3.2

其中x＝P(n)，P(n)+1，…P(n)+xk-1，P(n，2)≤y≤P(n+1，2)，n为没被删除的黑色像素的编号，

(5)如果两个黑色像素之间几何距离大于3且小于1.5倍线间距，两个黑色像素所属于的游程长度也小于1.5倍线间距，同时判断前一个黑色游程的上邻是否为1和后一个黑色像素的上邻及上右邻是否为1，若都为1，则进行连接。

B(x，y)＝0  3≤P(n+1，2)-P(n，2)＜1.5xjj & P(n+1，1)＝P(n，1) &

yc(n)≤1.5xjj & yc(n+1)≤1.5xjj & B(P(n，1)-1，P(n，2)＝1 & 3.3

B(P(n+1，1)-1，P(n，2)＝1 & B(P(n+1，1)-1，P(n，2)+1)＝1

其中x＝P(n)，P(n)+1，…P(n)+xk-1，P(n，2)≤y≤P(n+1，2)，xjj为谱线间距，n为没被删除的黑色像素的编号，

(6)黑色像素个数加一，转至第四步，直到谱线全部校正完毕。

下面结合附图，对本发明所述的技术方案作进一步的阐述。

纸质乐谱图像首先通过扫描仪或者数码拍摄设备输入到计算机，然后经过去噪，图像格式变换等预处理操作，变成二值乐谱图像；图1(a)即为经过扫描仪输入的原始乐谱图像，经过前期处理后得到对应的二值乐谱图像，见图1(b)消除掉了在扫描过程中或者由于图像本身所带到的噪声，并进行了格式变换。

当乐谱图像出现垂直倾斜、水平倾斜以及弯曲现象，如图1(a)时，如果采用水平投影法(其对应的水平投影图见图1(c))来提取图像的谱线几乎不再可能实现，为此提出了本发明所示的处理方案。输入图像经过预处理后，即按照本发明的技术步骤逐步执行，首先计算出乐谱的谱线间距，并以此为参考将整幅图像在垂直方向上分割成若干段，通过对部分特殊图像段进行水平投影处理后获取图像的垂直倾斜度，实现谱线垂直方向的倾斜校正，垂直倾斜校正后的乐谱图像及其各段水平投影图如图2所示然后对各段进行水平垂直投影，计算相邻两段投影的互相关，进而实现图像水平倾斜以及谱线弯曲的校正，水平校正后的乐谱图像及其水平投影图如图3所示，为了后继谱线删除的方便，亦可以根据图3，进一步消除二值图像由于倾斜导致部分直线段出现像素重叠的问题，图4为最终的校正结果及其对应的水平投影图。

对图像进行谱线定位或者对倾斜图像进行校正、谱线定位后，下一步的任务就是进行谱线删除，由于大多数乐符与谱线存在着交叉或者重叠，如果采用传统的直线跟踪删除方法，即根据谱线检测所得到的直线参数，沿该直线方向，删除宽度小于一定阈值的目标像素，由于缺乏对谱线附近像素的宏观分析，经常会出现“误删”或者过删除现象，“误删”音符内线宽与谱线宽度相当且与谱线重叠的那一部分像素，造成音符的完整性受到破坏，给下一步的乐谱识别造成巨大的困难，很可能会出现识别错误。游程图段法根据图段的宏观特征来决定该段谱线删除与否，虽然可以在一定的程度上避免“误删”现象，但又会存在欠删除的问题。针对这一情况，本文提出了基于模板与乐符结构的谱线删除方法，即首先使用一个直线跟踪模板对乐谱图像的谱线进行预删除，然后根据各种乐符的结构特点以及其与谱线的交叉方式的不同对预删除后的谱线进行校正，其具体的技术实施步骤在前面已经描述，在这里对一幅经过前期处理后的二值图像(图5(a)分别执行传统直线跟踪谱线删除、游程图段法谱线删除算法以及本发明中所提出的基于模板及乐符结构的谱线删除算法，运行结果分别为图5(a)、(b)、(c)，从图中可以看到，本发明的方法明显优于前两者，能有效的解决“误删”和欠删除现象。

Claims (2)

1.一种基于分段投影与乐符结构的谱线检测方法，其特征在于包括如下步骤：

(1)扫描输入以后的图像经过滤波去噪、格式变换以后得到行和列分别为W×H的二值图像：B(x，y)，(0≤x≤W；0≤y≤H)，当像素点为黑色的目标点时B(x，y)＝0，为白色的背景点时B(x，y)＝1，其中(x、y)为像素点坐标；首先计算乐谱图像的谱线间距S，即找出图像中出现次数最多的垂直白色游程的长度；再将图像沿水平方向划分成N个条形区域Z₁，Z₂，…Z_n，N＝Ceil(W/(4×S))，Ceil表示朝∞方向取整数，其中前N-1个区域的宽度w为4×S，最后一个区域宽度w为W-(N-1)×4×S，对最后两个区域内的子图像进行水平投影，得到投影队列：

${\mathrm{Proj}}_v\left[y\right]=\underset{k=(N-2)\×4\×S+1}{\overset{W}{\mathrm{\Σ}}}B(y,k),1\≤y\≤H,$

(2)垂直方向上的倾斜校正：根据投影队列找出第一根谱线和最后一根谱线的行位置row1和row2，沿谱线的位置分别在区域：

Z1(x，y)：(N-2)×w＜x≤W，row1-S≤y≤row1+S，

和Z2(x，y)：(N-2)×w＜x≤W，row2-S≤y≤row2+S中搜索出黑色像素的最大列值col1和col2，据此计算出整幅图像的垂直倾斜度φ：φ＝arctan((row2-row1)/(col2-col1))及垂直方向上的最大倾斜长度q：q＝(col2-col1)×W/(row2-row1)；对图像进行垂直倾斜校正：

B′(x，y)＝B(x，y+Δ′)，

其中Δ′＝floor(q×x/H)，1≤x≤W，1≤y≤H，为不同像素在垂直方向上的校正量，B′(x，y)为垂直校正后的图像，floor表示向零方向取整；

(3)水平方向上的倾斜及弯曲校正：对步骤(2)所划分的各个子区域进行水平投影，得到各条形子区域的水平投影队列：

$\mathrm{Proj}[y,n]=\underset{k=\mathrm{sp}}{\overset{k=\mathrm{sp}+w}{\mathrm{\Σ}}}B(y,k),$

其中sp＝(n-1)×w，1≤n≤N，1≤y≤H，n为条形区域的段号；

(4)相同的的两个曲线的相关系数最大，故对相邻两段的水平投影图进行互相关运算，得到互相关队列Cross(λ，n)，以获得两个投影图对应谱线间的位置差d(n)；

$\mathrm{Cross}(\mathrm{\λ},n)=\underset{k=P1}{\overset{P2}{\mathrm{\Σ}}}\mathrm{Proj}(k,n)\×\mathrm{Proj}(k+\mathrm{\λ},n+1),$

其中-S＜λ＜S，1≤n≤N-1。P1，P2为互相关计算的下限和上限，如果λ≤0，则P1＝-λ+1，P2＝H，如果λ＞0则P1＝1，P2＝H-λ，λ为水平投影队列在垂直方向上移动的距离，其值设定在一个线间距之间，找出各互相关队列中的最大值所对应的λ(n)，1≤n≤N-1值，即为相邻图像段的谱线在水平位置上的偏移量d(n)；

d(n)＝λ(n+1)-λ(n)，

其中，1≤n≤N-1，最后一段的偏移量d(N)＝d(N-1)；

(5)根据各区域的偏移量d(n)，从左到由对整幅图像进行水平弯曲或者倾斜率校正公式如下：

$J\left(n\right)=\underset{k=2}{\overset{N}{\mathrm{\Σ}}}d(k-1),2\≤n\≤N,J\left(1\right)=0$

Δ＝floor((x％w)/w×d(n))-J(n)

B″(x，y)＝B′(x+Δ，y)，

其中，1≤x≤W，1≤y≤H，floor表示向零方向取整，％表示整除后取余数操作，J(n)，1≤n≤N表示各子区域的累计偏差量，Δ为不同的像素在水平方向上的偏移量，B′(x，y)为进行垂直倾斜校正后的图像，B″(x，y)为对原始图像进行水平倾斜、弯曲校正后的图像。

2.一种基于分段投影与乐符结构的谱线删除方法，其特征在于包括如下步骤：

(a)根据谱线检测的结果，记录下各谱线的行位置Pos(m)，m＝1，2，…N，N为谱线的行数；

(b)沿着谱线方向对每一条谱线像素搜索其上方或者下方一个元素是否为黑色像素，如果有则认为存在着其他乐谱目标与谱线像素向交叉或者重叠，此时该谱线点不删除，否则删除，即设置为白色像素：

$\left\{\begin{array}{cc}B(k,y)=0& B(\mathrm{Pos}\left(m\right)-1),y)=0|B(\mathrm{Pos}\left(m\right)+1,y)=0\\ B(k,y)=1& \mathrm{else}\end{array}\right.,$

其中1≤y≤W，为图像的列数，k＝Pos(m)，Pos(m)+1，…Pos(N)+xk-1，对应于每一条谱线的行数，xk为每一条谱线的厚度；

(c)记录下没被删除的黑色像素的行、列位置，P(n，2)，n＝1，2，…num，num为没被删除的黑色像素的个数，并计算黑色像素点所在的垂直黑色游程的长度yc(n)，n＝1，2，…num；

(d)从谱线中第一个没被删除的黑色像素开始，判断相邻的两个黑色像素是否在同一行上，并计算几何距离，如果等于2，且两点所在的垂直黑色游程长度均不能超过2倍谱线宽度，则直接将这两点相连接，否则至第e步；

B(x，y)＝0  P(n+1，2)-P(n，2)＜2 & P(n+1，1)＝P(n，1) & yc(n)≤2 & yc(n+1)≤2，

其中x＝P(n)，P(n)+1，…P(n)+xk-1，P(n，2)≤y≤P(n+1，2)，n为没被删除的黑色像素的编号；

(e)如果两个黑色像素之间几何距离大于3且小于1.5倍线间距，两个黑色像素所属于的游程长度也小于1.5倍线间距，同时判断前一个黑色游程的上邻是否为1和后一个黑色像素的上邻及上右邻是否为1，若都为1，则进行连接；

B(x，y)＝0  3≤P(n+1，2)-P(n，2)＜1.5xjj & P(n+1，1)＝P(n，1) &

yc(n)≤1.5xjj & yc(n+1)≤1.5xjj & B(P(n，1)-1，P(n，2)＝1 & ，

B(P(n+1，1)-1，P(n，2)＝1 & B(P(n+1，1)-1，P(n，2)+1)＝1

其中x＝P(n)，P(n)+1，…P(n)+xk-1，P(n，2)≤y≤P(n+1，2)，xjj为谱线间距，n为没被删除的黑色像素的编号，

(f)黑色像素个数加一，转至第d步，直到谱线全部校正完毕。

Images