CN106570508A - 一种基于局部二进制模式的乐谱谱线检测与删除方法 - Google Patents
一种基于局部二进制模式的乐谱谱线检测与删除方法 Download PDFInfo
- Publication number
- CN106570508A CN106570508A CN201610967908.9A CN201610967908A CN106570508A CN 106570508 A CN106570508 A CN 106570508A CN 201610967908 A CN201610967908 A CN 201610967908A CN 106570508 A CN106570508 A CN 106570508A
- Authority
- CN
- China
- Prior art keywords
- lbp
- point
- music score
- pixel
- local binary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Auxiliary Devices For Music (AREA)
- Character Discrimination (AREA)
Abstract
本发明涉及一种基于局部二进制模式的乐谱谱线检测与删除方法,该方法首先重新定义LBP算子:从3×3方形区域计算中心点LBP,并且不设加权,步骤如下:①对输入乐谱图像遍历所有黑色像素;②对遍历到的黑色像素点计算3×3方形区域的LBP值;③判断LBP是否为8,如果LBP值为8,则再判断5×5域该点上下两点是否为白色像素;④若满足条件,则将该点及该点的上下两点删除。
Description
技术领域
本发明涉及计算机与多媒体信号处理技术领域,尤其是在乐谱数字化应用开发领域。
背景技术
几个世纪以来,音乐主要通过口口相传和乐谱记录这两种方式传播,其中乐谱的发明是人类音乐史上的里程碑,它作为音乐信息交流和传承的载体,记录了人类璀璨的音乐文化。在数字化的今天,将纸质乐谱保存为计算机能“读懂”的二进制数据是发展趋势。然而,目前纸质乐谱的数字化仍依赖于人工读谱、手工操作,其过程繁复枯燥、效率低下,势必带来低速的音乐信息输入与高速的音乐信息处理之间的矛盾。为了实现传统纸质乐谱向数字乐谱的高速自动转换,光学乐谱识别(Optical Music Recognition,OMR)技术产生。OMR是将纸质乐谱扫描输入计算机后,对乐谱图像加以处理、识别、分析,最终获得乐谱的计算机数字表达的过程。而乐谱谱线的存在,对音符识别来说是一个障碍,所以整个OMR过程中基础且重要的步骤就是谱线的检测与删除。
乐谱中最主要的特征是一组平行的水平线,即五线谱。它们对于音乐家来说是必要的,用以确定音高和规范音符等图形符号的书写区域和尺寸,谱线还有一个显著特点是绝大多数乐谱图形和符号与之都有交叉或重叠。而在音符识别时,需要将音符从谱线中分离出来,对于大多数光学乐谱识别系统中音符分离是一个障碍,但分离最有效的方法是删除谱线。因此,谱线的检测与删除是乐谱识别的首要重要步骤。
近年来,局部二值模式得到广泛运用,尤其用于人脸特征描述和识别并取得了显著的效果。局部二值模式(Local binary patterns,LBP)是一种灰度范围内的纹理描述方式,它从一种纹理局部近邻定义中衍生出来,最初是为了辅助性地度量局部图像对比度提出。
发明内容
本发明的目的在于通过提取局部纹理特征,将谱线与非谱线元素分开,提供一种基于局部二进制模式的乐谱谱线检测与删除方法。本发明为实现上述目的,采用如下技术方案:
一种基于局部二进制模式的乐谱谱线检测与删除方法,该方法首先重新定义LBP算子:
从3×3方形区域计算中心点LBP,并且不设加权,以(xc,yc)为中心点的LBP为:
其中,中心点像素为gc,gi(i=0,1,...,7)分别代表中心点周围八个相邻点像素。
此方法的步骤如下:
①对输入乐谱图像遍历所有黑色像素;
②对遍历到的黑色像素点计算3×3方形区域的LBP值;
③判断LBP是否为8,如果LBP值为8,则再判断5×5域该点上下两点是否为白色像素;
④若满足条件,则将该点及该点的上下两点删除。
附图说明
图1是基本LBP算子;
图2理想乐谱与谱线宽度像素;
图3基于局部二进制模式的乐谱谱线检测与删除方法的流程图;
图4谱线宽度小于理想谱线宽度;(a)谱线宽度占一个像素;(b)谱线宽度占两个像素
图5谱线宽度大于理想谱线宽度;
图6(a)和(b)分别为弯曲的乐谱(片段)和删除谱线的音符图;
图7理想乐谱谱线删除结果细节对比图。(a)carter(b)inetracking_runlength(c)linetracking_secondchord(d)RoachTatem(e)本方法
具体实施方式
局部二值模式是被提出的机器视觉领域中用于分类的一种特征,它在纹理分类问题上是一个非常强大的特征。局部二值模式是一种能够有效地度量和提取图像局部及全局纹理信息的算子。最基本的LBP算子的定义:
在一个3×3的窗口,以中心像素点的灰度值为阈值,将相邻的8个像素点的灰度值与其进行比较。图像中某个像素为中心点gc,周围的8个像素点g0,g1,…,g7,则这个局部区域的纹理T的分布可定义为局部区域内像素灰度的联合分布密度为:
T=t(gc,g0,g1,…,g7) (1)
局部区域的纹理可以用中心点和中心点与周边像素值之差的联合分布来表示:
T=t(gc,g0-gc,g1-gc,…,g7-gc) (2)
改写为:
T≈t(gc)(g0-gc,g1-gc,…,g7-gc) (3)
由于t(gc)只是描述了整个图像的亮度分布情况,而跟图像的局部纹理无关,可以忽略不计:
T≈t(g0-gc,g1-gc,…,g7-gc) (4)
只考虑差值的符号得:
T≈t(s(g0-gc),s(g1-gc),…,s(g7-gc))
通过公式(4)得到一个8位的二进制数,按照公式(5)对像素不同位置进行加权求和,即得到以(xc,yc)为中心点的LBP值:
这个LBP值可以反映以该像素点为中心的3×3方形区域的纹理信息。这种基本LBP算子被称作LBP/C,对比度分量C是邻域中所有大于等于中心点像素的均值与其余像素的均值之差,如图1所示:
对于基本的LBP算子,结合乐谱图像内容特点,我们进行了改进,对于经过二值化处理的乐谱图像,遍历到所有黑色像素点,在一个3×3的窗口,以黑色像素点的灰度值0为阈值,将相邻的8个像素点的灰度值与其进行比较。若等于中心灰度值则标记1,否则标记0。这样一来,产生了总数为8的若干1或0,不设加权直接将所有值相加,即可得到该窗口的LBP值。
1删除理想乐谱谱线
在理想乐谱图像中,一条五线谱谱线宽度所占像素为三个像素,如图2所示:
在3×3的窗口下,我们假设中心像素的坐标为(i,j),当谱线宽度占三个像素时,我们可以看到在中心像素点左右存在八个像素点与之灰度值相等,所以中心像素点的LBP值为8。
考虑到谱线所在像素的LBP值与非谱线像素的LBP值存在相同的情况,我们增加另外一些条件来约束,将谱线像素与其它非谱线像素分开。
我们在一个5×5的窗口中,再次判断需要删除的点是否是谱线上的点。具体流程如图3所示:
2删除非理想乐谱谱线
在非理想乐谱图像中,乐谱的谱线所占像素可能少于或多于三个像素,整个乐谱也可能出现弯曲等现象,对于这几类非理想情况,也可以很好的解决。
谱线宽度小于理想谱线宽度的情形如图4,
①当谱线宽度占一个像素时,我们可以看到仅仅在中心像素点左右存在两个像素点与之灰度值相等,所以中心像素点的LBP值为2;
②当谱线宽度占两个像素时,我们可以看到在中心像素点周围存在五个像素点与之灰度值相等,所以中心像素点的LBP值为5;
谱线宽度大于理想谱线宽度如图5,当谱线宽度占四个像素时,我们可以看到存在两种形式的中心像素点,中心像素点的LBP值分别为5和8;
这两种谱线宽度与理想乐谱谱线宽度不一致时,与上一节删除方法相同,只需要通过不同的LBP值和约束条件,判断像素点是否为谱线像素即可。
3谱线弯曲
乐谱在扫描等图像采集过程中,由于纸张的厚度或是其它原因,造成乐谱弯曲的现象时常发生,前人采用先校正乐谱再删除的方法,在小角度的情况下,可以得到很好的效果,但是弯曲的角度很大时很难做到完全校正并删除谱线。本发明的优势就是谱线弯曲无需校正都能很好的删除谱线。如图6所示。
图7所示为本发明中所提及的基于局部二值模式的谱线检测与删除方法与其它方法处理相同乐谱图像的结果的对比,从图中可以看出,本发明的方法明显优于其它方法。
Claims (1)
1.一种基于局部二进制模式的乐谱谱线检测与删除方法,该方法首先重新定义LBP算子:从3×3方形区域计算中心点LBP,并且不设加权,以(xc,yc)为中心点的LBP为:
其中,中心点像素为gc,gi(i=0,1,...,7)分别代表中心点周围八个相邻点像素。
此方法的步骤如下:
①对输入乐谱图像遍历所有黑色像素;
②对遍历到的黑色像素点计算3×3方形区域的LBP值;
③判断LBP是否为8,如果LBP值为8,则再判断5×5域该点上下两点是否为白色像素;
④若满足条件,则将该点及该点的上下两点删除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610967908.9A CN106570508B (zh) | 2016-11-05 | 2016-11-05 | 一种基于局部二进制模式的乐谱谱线检测与删除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610967908.9A CN106570508B (zh) | 2016-11-05 | 2016-11-05 | 一种基于局部二进制模式的乐谱谱线检测与删除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106570508A true CN106570508A (zh) | 2017-04-19 |
CN106570508B CN106570508B (zh) | 2020-01-24 |
Family
ID=58539771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610967908.9A Active CN106570508B (zh) | 2016-11-05 | 2016-11-05 | 一种基于局部二进制模式的乐谱谱线检测与删除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106570508B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909073A (zh) * | 2017-10-18 | 2018-04-13 | 天津大学 | 多维局部二值模式和机器学习手写乐谱谱线删除方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090202106A1 (en) * | 2008-02-12 | 2009-08-13 | Tae-Hwa Hong | Method for recognizing music score image with automatic accompaniment in mobile device |
CN101930544A (zh) * | 2010-09-07 | 2010-12-29 | 东南大学 | 基于行游程邻接表的乐谱快速连通域分析方法 |
CN101944180A (zh) * | 2010-09-07 | 2011-01-12 | 东南大学 | 基于乐符知识及双投影法的乐符基元分割方法 |
CN101964049A (zh) * | 2010-09-07 | 2011-02-02 | 东南大学 | 基于分段投影与乐符结构的谱线检测及删除方法 |
CN103646247A (zh) * | 2013-09-26 | 2014-03-19 | 惠州学院 | 一种乐谱识别方法 |
-
2016
- 2016-11-05 CN CN201610967908.9A patent/CN106570508B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090202106A1 (en) * | 2008-02-12 | 2009-08-13 | Tae-Hwa Hong | Method for recognizing music score image with automatic accompaniment in mobile device |
CN101930544A (zh) * | 2010-09-07 | 2010-12-29 | 东南大学 | 基于行游程邻接表的乐谱快速连通域分析方法 |
CN101944180A (zh) * | 2010-09-07 | 2011-01-12 | 东南大学 | 基于乐符知识及双投影法的乐符基元分割方法 |
CN101964049A (zh) * | 2010-09-07 | 2011-02-02 | 东南大学 | 基于分段投影与乐符结构的谱线检测及删除方法 |
CN103646247A (zh) * | 2013-09-26 | 2014-03-19 | 惠州学院 | 一种乐谱识别方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107909073A (zh) * | 2017-10-18 | 2018-04-13 | 天津大学 | 多维局部二值模式和机器学习手写乐谱谱线删除方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106570508B (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110678901B (zh) | 信息处理设备、信息处理方法和计算机可读存储介质 | |
US6731788B1 (en) | Symbol Classification with shape features applied to neural network | |
US5201011A (en) | Method and apparatus for image hand markup detection using morphological techniques | |
US20040042659A1 (en) | Method for texture-based color document segmentation | |
KR20010110416A (ko) | 비디오 스트림 분류가능 심볼 고립 방법 및 시스템 | |
JP4522468B2 (ja) | 画像判別装置、画像検索装置、画像検索プログラムおよび記録媒体 | |
JPH0652354A (ja) | スキュー補正方法並びにスキュー角検出方法並びにドキュメントセグメンテーションシステムおよびスキュー角検出装置 | |
JP2003058879A (ja) | 画像処理方法及び装置 | |
CN111626145B (zh) | 一种简捷有效的残缺表格识别及跨页拼接方法 | |
CN113052243A (zh) | 基于CycleGAN和条件分布自适应的目标检测方法 | |
Chowdhury et al. | Optical Character Recognition of Bangla Characters using neural network: A better approach | |
KR101937398B1 (ko) | 고문서의 이미지 데이터에서의 문자 추출 시스템 및 이를 이용한 문자 추출 방법 | |
CN106570508A (zh) | 一种基于局部二进制模式的乐谱谱线检测与删除方法 | |
Lue et al. | A novel character segmentation method for text images captured by cameras | |
US20050238235A1 (en) | Run length based connected components and contour following for enhancing the performance of circled region extraction algorithm | |
CN101546379A (zh) | 计算机可读记录介质、字符识别设备和字符识别方法 | |
CN114384073A (zh) | 一种基于地铁隧道裂纹检测方法及系统 | |
JPH03126181A (ja) | 文書画像の領域分割方法 | |
Tanaka | Threshold correction of document image binarization for ruled-line extraction | |
JP4731748B2 (ja) | 画像処理装置、方法、プログラム及び記憶媒体 | |
JP4313178B2 (ja) | ベクトル化図形の作成方法および装置 | |
CN113096073B (zh) | 化纤丝锭表面平整度检测方法及装置 | |
AU2007249098B2 (en) | Method of multi-level decomposition for colour document layout analysis | |
JPH04205271A (ja) | 最適2値化しきい値決定方法 | |
Kefali et al. | Localization of scores and average in Algerian baccalaureate transcripts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |