JP2003242438A

JP2003242438A - 楽譜認識装置

Info

Publication number: JP2003242438A
Application number: JP2003029467A
Authority: JP
Inventors: Seiji Nakano; 誠至中野; Ren Sumida; 錬澄田; Tetsuo Hino; 鉄夫日野; Atsushi Ooba; 厚始大場
Original assignee: Kawai Musical Instrument Manufacturing Co Ltd
Current assignee: Kawai Musical Instrument Manufacturing Co Ltd
Priority date: 2003-02-06
Filing date: 2003-02-06
Publication date: 2003-08-29

Abstract

(57)【要約】【課題】楽譜における段落の分離、パートの対応を認
識し、楽譜認識したデータをトラックごと時系列化する
ことが可能な楽譜認識装置を提供すること。【解決手段】入力された楽譜画像データから各種記号
を認識する楽譜認識装置において、横方向での黒画素数
を加算した加算ヒストグラムに基づいて五線が含まれる
と推定される矩形を検出する矩形検出手段と、前記矩形
内の楽譜画像データから五線を検出する五線検出手段
と、入力された楽譜画像データから隣接する五線間に延
びる段落線、楽譜画像の読み込みに際し分離された、最
上部の五線から上方へ延びる段落線および最下端の五線
から下方へ延びる段落線の有無を認識することにより段
落を検出する段落検出手段とを備える。更に、前記段落
検出手段で検出された複数の段落間において、大譜表同
士を対応させて、段落間におけるパートの対応をとるパ
ート対応検出手段を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は楽譜認識装置に関
し、特に、楽譜の段落やパートを認識し、楽譜情報を適
切に時系列化することが可能な楽譜認識装置に関するも
のである。

【０００２】

【従来の技術】従来の楽譜認識装置においては、例えば
スキャナによって読み込んだ楽譜画像データについて、
五線、音符や各種記号を認識して、ＭＩＤＩファイルデ
ータ等の演奏データを生成するものがあった。そして、
このような楽譜認識装置では、スコア譜を認識する場合
には、全ての段落でパート数が固定されているものを対
象にしていた。この場合、認識できたパートを各段落内
の五線に上から順に対応させればデータの時系列化が完
了する。

【０００３】

【発明が解決しようとする課題】実際のスコア譜では、
全ての段落でパート数が等しいものだけでなく、ある段
落からのパートの追加、パートの省略、パートの融合
（単独譜表２つがある段落から大譜表になる）、パート
の分離（その逆）、譜表の変更（大譜表←→単独譜表）
などが行われる場合がある。このような場合には、段落
内の各五線にパートを上から順に対応させるだけでは、
データの時系列化を正しく行うことができないという問
題点があった。本発明の目的は、前記のような従来技術
の問題点を解決し、スコア譜における段落の分離、パー
トの対応を認識し、楽譜認識したデータをトラックごと
時系列化することが可能な楽譜認識装置を提供すること
にある。

【０００４】

【課題を解決するための手段】本発明は、入力された楽
譜画像データから各種記号を認識する楽譜認識装置にお
いて、横方向での黒画素数を加算した加算ヒストグラム
に基づいて五線が含まれると推定される矩形を検出する
矩形検出手段と、前記矩形内の楽譜画像データから五線
を検出する五線検出手段と、入力された楽譜画像データ
から隣接する五線間に延びる段落線、楽譜画像の読み込
みに際し分離された、最上部の五線から上方へ延びる段
落線および最下端の五線から下方へ延びる段落線の有無
を認識することにより段落を検出する段落検出手段とを
備え、更にそれぞれの段落の左側で、大かっこの有無を
認識することにより、それぞれのパートを認識するパー
ト分離手段と、段落間におけるパートの対応をとるパー
ト対応検出手段とを備えたことを特徴とする。

【０００５】本発明はこのような構成により、五線を各
段落毎に的確にグループ化でき、更に段落間において各
パートの対応を取ることができる。従って、楽譜に記載
されている音符などを適切なタイミングおよび音色の演
奏情報に自動的に変換することが可能である。

【０００６】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して詳細に説明する。図１は本発明の楽譜認識装
置の１実施例の構成を示すブロック図である。この装置
は、パソコン等の一般的な計算機システムにスキャナや
ＭＩＤＩインターフェース回路を付加したものである。
ＣＰＵ１は、ＲＯＭ２あるいはＲＡＭ３に格納されるプ
ログラムに基づき、楽譜認識装置全体の制御を行う中央
処理装置である。また、予め設定された所定の周期でＣ
ＰＵ１に割り込みをかけるタイマ回路を内蔵している。
ＲＡＭ３はプログラムエリアの他、画像データバッフ
ァ、ワークエリア等として使用される。ハードディスク
装置ＨＤＤ４およびフロッピディスク装置ＦＤＤ５は、
プログラムおよび画像データ、演奏データ等を格納す
る。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインタ
ーフェース回路７から出力される映像情報を表示し、キ
ーボード８から入力された情報は、キーボードインター
フェース回路９を経てＣＰＵ１に取り込まれる。プリン
タ１０は、ＣＰＵ１の制御に基づき、プリンタインター
フェース回路１１から出力される印字情報を印字する。

【０００７】スキャナ１２は、（印刷された）楽譜を光
学的に走査して、２値あるいはグレイスケールの画像デ
ータに変換するものであり、フラットベッド型、ハンデ
ィ型、フィーダー型等任意のタイプのものを使用でき
る。スキャナ１２によって読み取られた画像情報は、ス
キャナインターフェース回路１３を介して、ＲＡＭ３あ
るいはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェ
ース回路１４は、音源モジュール等の外部のＭＩＤＩ機
器との間でＭＩＤＩデータの送受信を行う回路である。
バス１５は楽譜認識装置内の各回路を接続している。な
お、この他にマウス等のポインティングデバイス、ＲＳ
２３２Ｃ等のシリアルインターフェース回路等を備えて
いてもよい。

【０００８】図３は、ＣＰＵ１のメイン処理を示すフロ
ーチャートである。Ｓ１においては、スキャナ１２によ
って楽譜の画像をＲＡＭ３に取り込む。画像は２値の画
像として取り込む。Ｓ２においては、かすれやドットノ
イズなどを軽減するために、図形融合などの画質平滑化
処理を行う。Ｓ３においては、画質チェック処理を行
う。画質チェック処理においては、倍率と濃度の情報を
得ると共に、後段における五線検出の基準データを得る
ために、まず五線の線幅と五線の各線間の間幅を検出す
る。線幅、間幅を求めるためには、まず、画像上の横
（ｘ）方向の数箇所において縦（ｙ）方向に走査し、黒
ラン（連続する黒画素）と白ランの長さを全て求めて、
長さ毎に頻度分布（ヒストグラム）データを作成する。

【０００９】楽譜上で最も多い記号は五線であるので、
作成された黒ラン長ヒストグラムと、白ラン長ヒストグ
ラムのピークをそれぞれ検出することで、五線の線幅、
間幅が推定できる。そして、画像データの倍率は、例え
ば間幅から推定可能であり、また、濃度は線幅と間幅の
比から推定することができる。楽譜の認識処理において
は、倍率および濃度が所定の範囲から外れると認識率が
低下してしまうので、Ｓ３においては、これらの値が、
所定の範囲内に入っているか否かがチェックされる。Ｓ
４においては、Ｓ３におけるチェック結果が画質ＯＫで
あるか否かが判定され、結果がＯＫでない場合にはＳ１
に戻って、倍率や濃度を変えて再取り込みを行う。

【００１０】Ｓ５においては、後述する五線認識を行
う。五線認識処理は、大きく五線領域分離処理、五線走
査開始位置検出処理、および五線シフト量の検出処理に
分かれる。Ｓ６においては、後述する段落認識処理を行
う。この処理は、大きく、段落認識処理と、大かっこ認
識処理に分かれる。

【００１１】Ｓ７においては、段落の認識結果を表示し
て、段落認識結果が正しいか否かを利用者にチェックさ
せることにより、ＯＫか否かが判定され、結果がＯＫで
ない場合にはＳ８に移行して、段落認識結果の修正が行
われる。スコア譜においては、各段落のパート構成が等
しいものの他に、途中でパートの省略や追加があった
り、同じパートで単独譜表と大譜表が段落ごとに変化す
る場合もある。このようなパートの対応は、大かっこの
対比等で行う。これは、全段落中から２つの段落を抜き
出し、それぞれの段落の大譜表同士の対応の組み合わせ
の中から、大譜表間の大譜表でないパートの数の差が最
も少なくなる組み合わせを選んでいくという方法で行う
が、パートの対応が一意に決められない場合もあるの
で、予め段落認識結果の修正を行えるようにする。

【００１２】なお、五線認識が失敗した場合には、その
後の処理が行えないので、倍率や濃度を変更して再度画
像を取り込む必要がある。従って、ステップＳ７におい
ては、まず五線の認識結果を表示し、正しいか否かを利
用者に判定させ、もし正しくない場合には、Ｓ１に戻っ
て画像の再取り込みを行い、また五線が正しく認識され
ている場合には、段落認識結果を表示し、チェックさせ
るようにしてもよい。

【００１３】Ｓ９においては、処理矩形の決定処理が行
われる。求められた五線（大譜表の場合には譜表中の五
線）を含む、ある程度広い矩形を採り、これを認識処理
矩形とする。この際の矩形は、求められた五線から、ま
ず、五線のずらし量を考慮してある程度の幅を持った矩
形にし、五線側から見て、上下方向にある程度の幅の空
白が存在した場合には矩形を縮小する。

【００１４】Ｓ１０においては、五線傾き補正処理を行
う。概略を述べると、先に求めた五線シフト量に基づい
て、矩形内の画像の縦方向の画素列を上下にシフトす
る。大譜表の場合には、五線が複数になるので、一番上
の五線のシフト量を採用するか、あるいはシフト量の平
均を取ってもよい。この後、その矩形が上下の五線に重
なっていた場合には、その部分を消去し、更に、矩形の
上下端に接し、かつ認識する五線の部分に達していない
ラベルが存在した場合には、上下の五線のパートを構成
するラベルとして消去する。この処理を行った後に、矩
形の端から黒画素の存在する部分まで、矩形を更に縮小
してもよい。

【００１５】Ｓ１１〜Ｓ１５においては、各種記号の認
識処理が行われる。楽譜記号は、形、位置に関して大ま
かに以下の３つの種類がある。（１）定型で、上下位置
がほぼ決まっているもの（音部記号、拍子記号等）。
（２）定型で、上下位置は自由度があるもの（臨時記
号、休符等）。（３）不定型かつ位置も不定のもの（音
符、スラー、タイ等）。これらをそれぞれに適した方式
で、音部記号、拍子認識、音符認識、定型記号認識、文
字列認識、スラー、タイ認識の順に認識する。

【００１６】音部記号、拍子認識を最初に行うのは、処
理コストの低い認識を最初に行って、この記号を削除す
ることによって、後の認識の処理コストを軽減するため
と、最初により確実なものを認識することで、後の認識
での誤認識を減らすためである。また、音符認識の後に
定型記号認識を行うのは、ラベルの接触に影響されにく
い認識方式である音符認識を行って、この音符を削除す
ることで、音符に接触した臨時記号等の認識を可能にす
るためである。スラー、タイ認識が最後になっているの
は、処理コストの高いスラー認識の対象になるラベルを
なるべく少なくするためである。また、先に検出された
音符の周りのラベルだけをスラー、タイ認識の対象にす
ることによって、更にスラー、タイ認識の処理コストを
下げ、かつ、スラー、タイの誤認識も減らすことができ
る。

【００１７】Ｓ１１においては、五線に対して定位置に
ある記号として、音部記号と拍子記号を認識する。該処
理においては、まず、求められた五線を含む矩形領域で
縦に黒画素のヒストグラムを取っていき、黒画素量があ
るしきい値以上の帯域を、記号が存在する可能性のある
場所としてマッチングの対象とする。マッチングは、五
線間の数箇所について横方向のペリフェラル特徴によっ
て行う。ペリフェラル特徴とは、マッチング対象となる
記号のみを含む矩形領域の左右端から五線間の数箇所の
白画素領域を内方向に走査し、黒画素領域に到達するま
での距離を、１次（最初）あるいは数次（２回目以降）
まで求めたものである。また、マッチングに失敗した場
合には、隣接した帯域を併合して再度認識を行う。そし
て、認識された記号は画像データから削除する。

【００１８】Ｓ１２においては音符認識を行う。まず、
矩形領域を横に走査して、所定の長さ以下の黒ランを検
出し、分離する。分離された画像データは、横が細い部
分であるので、ここから符尾や小節線の候補になる縦線
を検出する。次に、縦に所定の長さ以下の黒ランを検出
し分離する。分離された画像データは細い横線を構成す
る部分なので、ここから加線やクレッシェンドなどの候
補になる横線を検出する。最後に、元の画像データから
検出された縦横の細ランを消せば、画像中の太い部分
（以下太ラベル）が抽出できる。楽譜の場合、４分音符
より短い音符の符頭（以下黒玉符頭）や連鉤（複数の音
符をつなぐ帯）が分離できる。

【００１９】黒玉符頭は、太ラベルの境界線についての
座標チェーンデータを求め、この座標データから公知の
方法により楕円式を計算し、この形や太ラベルとのマッ
チング度をとって認識する。２分音符、全音符の符頭
（以下白抜き符頭）は、画像の穴の座標チェーンから楕
円式を計算する。

【００２０】最後に、先に求めた符尾候補と結合して音
符を検出する。連鉤は、これまでに求められた旗を考え
ない音符の符尾の周辺に存在する太ラベルを検出し、こ
れの形状から連鉤の本数を計算する。また、この連鉤に
連結している他の音符も検出する。連結する他の音符が
無い場合には単独の旗を持つ音符と考える。連鉤の本数
により、音符の情報を変更する。この後、分離した横線
を使って音の高さ（加線）やクレッシェンド、横線と縦
線を使ってくり返しかっこ等を認識する。残った縦線か
ら小節線を認識する。そして、認識された記号は画像か
ら削除する。

【００２１】Ｓ１３においては、定型記号認識が行われ
る。この処理においては、まず、公知の輪郭線荷重方向
指数を取り、辞書の各記号データについてラベルのサイ
ズと荷重方向指数のマッチング度を計算して、各マッチ
ング度を正規化し、統合した結果が最も高い記号を出力
する。なお、サイズと荷重方向指数の他に、ペリフェラ
ルなどの他の特徴を使ってもよい。また、五線消去によ
りラベルが切れたものの対策として、五線消去によって
切れたラベルを辞書に登録し、この記号であると認識さ
れた場合には、その周りのラベルを結合して再認識す
る。認識された記号は画像から削除する。

【００２２】Ｓ１４においては、文字列認識を行う。速
度記号などの文字列を認識するために、定型記号認識で
認識されたアルファベットその他の記号を使い、その記
号を囲む矩形が文字列状に並んでいるものを抽出し、こ
れと文字列辞書のマッチングをとることで、文字列状の
記号を、それぞれの構成文字が多少間違っていても認識
できるようにする。

【００２３】Ｓ１５においては、スラータイ認識を行
う。この処理においては、残ったラベルのうち、検出さ
れた音符の周りのラベルに関して、これを細線化し、こ
れを多円弧近似する。そして、以前に消された記号によ
り線が切れている場合があるので、求められた多円弧同
士の連結を行う。最後に、求められた円弧の形や元画像
の図の太さ、音符との関係などからスラー、タイを認識
する。これが認識で最後のルーチンなので、認識された
記号は画像から削除しなくてもよいが、認識したスラ
ー、タイを削除し、この後で再度定型記号認識を行うよ
うにすれば、スラー、タイと接触した記号を認識するこ
とができるようになる。

【００２４】Ｓ１６においては、例えば認識結果に基づ
き、楽譜画像データを合成して表示し、正しいか否かを
利用者にチェックさせることにより、ＯＫか否かが判定
され、結果がＯＫでない場合にはＳ１７に移行して、マ
ウス、キーボード等を用いて、手動により認識結果の修
正が行われる。Ｓ１８においては、演奏データ作成処理
が行われる。該処理においては、認識した各種の記号や
音符情報に基づき、例えば公知の演奏データ形式である
ＭＩＤＩファイルデータを生成する。

【００２５】図４は、図３のＳ５の五線認識処理の詳細
を示すフローチャートである。五線認識処理において
は、まず、横方向に並んだコーダ状の五線の認識を行い
やすくするために、段落矩形の検出を行う。この矩形検
出処理は、後で正確な段落線の検出を行うので、おおま
かなもので良く、段落矩形が、正しいものより小さく、
例えば五線ごとに分離されていてもよい。Ｓ２０におい
ては、画像の各横軸ごとの黒画素数を計数し、ヒストグ
ラムを作成する。図２は、ヒストグラムの説明図であ
る。図２（ａ）の楽譜画像（音符等は存在するが記載は
省略してある）の各ｙ座標における黒画素数を計数した
ものが（ｂ）のヒストグラムである。このヒストグラム
は五線が存在する箇所において大きな値となるが、値の
増減が激しいので、このままでは判定が困難である。そ
こで、Ｓ２１においては、波形を平滑化するために、各
ｙ座標に関して所定幅のｙ座標範囲のヒストグラム値を
合計した加算ヒストグラムを作成する。幅は例えば五線
の隣接する２本の線間の幅程度でよく、加算範囲は、例
えば任意のｙ座標に対してそれより下の所定範囲であっ
てもよいし、ｙ座標を中心とする上下の範囲であっても
よい。図２（ｃ）は加算ヒストグラムの例である。

【００２６】Ｓ２２においては、上（ｙ座標の小さい
方）から加算ヒストグラムを検索し、加算ヒストグラム
値が、図２（ｃ）に点線で示す、先に求めた五線の線
幅、五間の幅で正規化した所定のしきい値以上となるｙ
座標（ｙ１）を検出する。なお、Ｓ２２において画像の
下端に達した場合にはＳ２７に移行する。Ｓ２３におい
ては、ｙ１から下に加算ヒストグラムを検索し、加算ヒ
ストグラム値が所定のしきい値以下となるｙ座標（ｙ
２）を検出する。更に、ｙ２から下に加算ヒストグラム
を検索し、加算ヒストグラム値が再び所定のしきい値以
上となるｙ座標（ｙ３）を検出する。ただし、もし（ｙ
３−ｙ２）が所定の値以下である場合、即ち黒画素の少
ない領域の幅が狭い場合には該ｙ２、ｙ３を破棄し、ｙ
３より下において再度ｙ２を探索する。またｙ３検索中
に下端に達した場合には、十分下方でｙ３を検出したも
のと見なして、Ｓ２５に移行する。Ｓ２５においては、
（ｙ２−ｙ１）が所定の値、例えば五線全体の幅以上で
あれば、段落あるいは五線が含まれると推定される矩形
として、該矩形の座標情報等を保存する。Ｓ２６におい
ては、画像の下端に達したか否かが判定され、結果が否
定の場合にはＳ２２に戻って、残りの領域について検索
を行う。

【００２７】Ｓ２７からＳ３０においては、横軸方向に
五線の切れ目を検索する。まず、Ｓ２７においては、Ｓ
２５において検出された各矩形について、各縦軸ごとの
黒画素数のヒストグラムを取る。Ｓ２８においては、ヒ
ストグラムを左から検索し、ヒストグラム値が所定の値
以上になるｘ座標（ｘ１）を検出する。しきい値を例え
ば五線４本分の黒画素数としておけば、五線が存在すれ
ば必ずしきい値を超える。Ｓ２９においては、ヒストグ
ラムをｘ１から右に検索し、ヒストグラム値が所定の値
以下になるｘ座標（ｘ２）を検出する。Ｓ３０において
は、（ｘ２−ｘ１）が所定値以上であれば、矩形を分割
する。なお、五線の右に記号等が存在する可能性がある
ので、最右端の短い矩形は左の矩形に含める。

【００２８】Ｓ３１においては、それぞれの段落矩形で
五線認識を行う。まず、段落矩形を五線検出矩形とし、
矩形内で五線の線幅、五間の幅を再計算する。そして、
五線シフト量走査の開始位置を求め、更に五線シフト量
を求める。このようにして求められた一つ目の五線か
ら、五線検出矩形の上下端までを次の五線検出矩形と
し、この矩形の縦幅があるしきい値以上あれば、これら
の矩形中でも同様に五線の線幅、五間の幅を再計算し、
五線検出を行う。五線の線幅、五間の幅をそれぞれの矩
形中で再計算するのは、段落矩形中の全ての五線の幅が
一定であるとは限らないからである。それぞれの段落矩
形の中で、五線が検出できる矩形がなくなるまでこの処
理を行う。

【００２９】五線走査開始位置検出処理の概略を述べる
と、ｘ軸方向のある位置で、黒画素と白画素の幅を順に
求め、求められた線幅と間幅が五線状に並んでいる位置
を、ある程度の誤差を考慮して検出する。そして、加線
（五線からはみ出した音符を記載するために付加した横
線）の影響を除くために、五線状の並びの両側に間幅よ
り大きな白画素幅があるという条件を加える。この条件
に合う白黒画素の並びがあるｘ位置の各黒ランの中点を
五線走査開始位置とする。

【００３０】Ｓ３２においては、五線を追跡し、補正の
ためのシフト量を検出する。五線シフト量の検出処理の
概略を述べると、求められたｘ位置の五線走査開始位置
（５点の黒画素位置）から、１ドットずつ位置を左右に
変えて五線を追跡していき、５点の内、黒画素がある個
数（例えば３あるいは４個）以下になった場合に、５点
を上下にずらして黒画素数をチェックし、黒画素の割合
が高くなる方向へｙ座標をシフトする。そして開始位置
からのシフト量を五線のシフト量とする。五線走査開始
位置から左右に、黒画素個数が０になる位置まで追跡す
ることにより五線の検出を行う。

【００３１】図５は、図３のＳ６の段落認識処理の詳細
を示すフローチャートである。Ｓ４０においては、検出
した五線情報を上から順に並べる。Ｓ４１においては、
隣合う五線について、五線の左端のｘ座標の差の絶対値
ｄを求める。なお、段落が途中で切れている場合など、
必ずしも段落内の五線がｙ座標において隣接していると
は限らないので、全ての五線の組み合わせについてチェ
ックするか、あるいはある五線に対して所定のｙ軸距離
内にある五線について全てチェックするようにする。

【００３２】Ｓ４２においては、距離ｄが所定のしきい
値ＴＨＲ未満であるか否かが判定され、結果が否定の場
合にはＳ４６に移行するが、肯定の場合にはＳ４３に移
行する。Ｓ４３においては、２つの五線の左端の間の領
域に連続する段落線が存在するか否かがチェックされ
る。段落線の存在は、黒画素が上から下まで８連結で連
続しているか否かをチェックすることにより判明する
が、画像がかすれていても段落線の存在を認識できるよ
うにするために、ある程度の黒画素が途切れても、その
後連続していれば、段落線が存在するものと判定する。

【００３３】図６は段落線の検出領域を示す説明図であ
る。段落線の検出は、上下の五線の左端間の領域Ａにお
いて行われる。領域Ａは２つの五線の左端の座標が判明
しているので、該座標データから求めることができる。
なお、ハンディスキャナ等の幅の狭いスキャナで楽譜画
像を読み込んだ場合には、段落の途中で画像データが分
かれてしまう場合がある。このような場合には、最上部
の五線の上部の領域Ｂあるいは最下部の五線の下部の領
域Ｃに画像データの端まで続く段落線が存在するか否か
をチェックし、他の画像データとの連続性を検出する。
例えばＣの領域に段落線が存在し、次の画像データのＢ
の領域にやはり段落線が存在した場合には２つの画像デ
ータの段落線は接続されているものと判断する。

【００３４】Ｓ４４においては、Ｓ４３のチェック結果
が段落線有りか否かが判定され、結果が否定の場合には
Ｓ４６に移行するが、肯定の場合にはＳ４５に移行す
る。Ｓ４５においては、上下の五線を同じ段落番号にす
る。Ｓ４６においては、残っている五線の組み合わせが
無いか否かが判定され、まだ残っている場合にはＳ４１
に戻って、段落線のチェックを繰り返す。なお、求めら
れた段落矩形同士が横軸方向に重複せず、縦軸方向に重
複していて、かつ、五線の数が等しい場合には、コーダ
状の段落であるとする。この場合、２つの段落を結合し
て１つの段落とするか、あるいは、別の段落として記
号、音符認識を行い、後で時系列処理を行う。

【００３５】Ｓ４７においては、段落線が検出された各
段落において、五線が大譜表か単独譜表かを区別するた
めに、大かっこの認識を行う。求められた段落の五線の
左端より左の領域で、ラベル抽出を行いながら記号認識
を行う。この際、大かっこが段落線と接触している場合
もあるので、あらかじめ段落線の部分でラベルを切り取
っておく。この時の記号認識は、大かっこと大弧線とそ
の他のものを区別できる程度の認識率でよい。また、大
かっこは中心の細い部分でラベルが分離していることが
多いので、分離した辞書データも用意し、上下の分離大
かっこと認識された場合には認識結果を結合する。そし
て、段落内の五線の内、大かっこで括られていると認識
された五線の組は、同じパートナンバーを割り振る。

【００３６】以上実施例を開示したが、次に示すような
変形例も考えられる。画像データはスキャナで読み込ん
だ画像データを１個づつ順に認識する方式を開示した
が、例えばハンドスキャナで読み込んだ場合には、１曲
分が複数の画像データファイルとして取り込まれる可能
性が高い。このような場合には、複数の画像データファ
イルを予め１つのファイルに合成してから認識してもよ
い。また、予め画像データを複数に分割してから本発明
の認識処理を行ってもよい。

【００３７】段落認識処理においては、段落線の有無を
チェックする方式を開示したが、予めｘ軸、ｙ軸方向に
黒画素のヒストグラムを取り、これの完全な空白部分を
検出することによって段落の存在を推定してもよい。

【００３８】段落認識処理時に、大かっこ、大弧線の認
識と同時に、パート名を認識するための文字列認識を行
ってもよい。この場合、大かっこ認識時より広い範囲を
認識対象にして、辞書も、英数字（日本語）を追加す
る。文字が認識された場合には、この認識矩形の並びか
ら文字列対象の認識結果を抽出し、文字列一致ポイント
の最大値選択しきい値判定によってパート名を認識す
る。これを行うためのパート名の文字列辞書も用意す
る。また、多くの場合、段落によって、パート名が略記
されているので、略記とそうでないパート名の対応も取
れるようにする。

【００３９】認識処理矩形に於いて、矩形の上下端から
も、五線からも離れているラベル、つまり譜表の構成要
素は、上下の認識処理矩形の両方に入っている場合があ
る。この場合には、前の認識処理矩形で認識された記号
情報を次の認識処理矩形の認識時にチェックし、次の認
識処理矩形での同じ図形を予め消しておけば、認識の高
速化に貢献できる。また、例えば、矩形の下端での下向
きのスラーなど、記号によっては、予めどちらのパート
に属するのかを決定できるものもあるので、この場合に
は、記号情報を対応するパートのみに入れる。実施例に
おいては、五線ごとにシフト量を計算し、矩形画像内で
シフト補正を行う例を開示したが、シフト量は、取り込
み画像全体で１つ計算し、画像全体をシフトしてもよ
い。

【００４０】

【発明の効果】以上述べたように、本発明は、五線を各
段落毎にグループ化でき、更に段落間において各パート
の対応を取ることができる。従って、楽譜に記載されて
いる音符などを適切なタイミングおよび音色の演奏情報
に自動的に変換することが可能となるという効果があ
る。また、楽譜の倍率や記号の形などが異なっていても
高い認識率を達成することが可能となるという効果もあ
る。

【図面の簡単な説明】

【図１】本発明の楽譜認識装置の実施例の構成を示すブ
ロック図である。

【図２】ヒストグラムの説明図である。

【図３】ＣＰＵ１のメイン処理を示すフローチャートで
ある。

【図４】図３のＳ５の五線認識処理の詳細を示すフロー
チャートである。

【図５】図３のＳ６の段落認識処理の詳細を示すフロー
チャートである。

【図６】段落線の検出領域を示す説明図である。

【符号の説明】

１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…ハードディ
スク装置、５…フロッピディスク装置、６…ＣＲＴディ
スプレイ装置、７…ＣＲＴインターフェース回路、８…
キーボード、９…キーボードインターフェース回路、１
０…プリンタ、１１…プリンタインターフェース回路、
１２…スキャナ、１３…スキャナインターフェース回
路、１４…ＭＩＤＩインターフェース回路、１５…バス

───────────────────────────────────────────────────── フロントページの続き (72)発明者日野鉄夫静岡県浜松市寺島町200番地株式会社河合楽器製作所内 (72)発明者大場厚始静岡県浜松市寺島町200番地株式会社河合楽器製作所内Ｆターム(参考） 5B029 AA01 BB02 CC27 EE02 EE04 5B064 AA06 AB02 AB13 AB17 BA01 CA06 CA08 CA12

Claims

【特許請求の範囲】

【請求項１】入力された楽譜画像データから各種記号
を認識する楽譜認識装置において、横方向での黒画素数を加算した加算ヒストグラムに基づ
いて五線が含まれると推定される矩形を検出する矩形検
出手段と、前記矩形内の楽譜画像データから五線を検出する五線検
出手段と、入力された楽譜画像データから隣接する五線間に延びる
段落線、楽譜画像の読み込みに際し分離された、最上部
の五線から上方へ延びる段落線および最下端の五線から
下方へ延びる段落線の有無を認識することにより段落を
検出する段落検出手段とを備えたことを特徴とする楽譜
認識装置。
【請求項２】入力された楽譜画像データから各種記号
を認識する楽譜認識装置において、横方向での黒画素数を加算した加算ヒストグラムに基づ
いて五線が含まれると推定される矩形を検出する矩形検
出手段と、前記矩形内の楽譜画像データから五線を検出する五線検
出手段と、入力された楽譜画像データから複数の五線間の段落線の
有無を認識することにより段落を検出する段落検出手段
と、それぞれの段落の左側で、大かっこの有無を認識し、大
かっこが有りと認識された場合には、大かっこで括られ
ている複数の五線を１つのパートとするパート分離手段
を備えたことを特徴とする楽譜認識装置。
【請求項３】更に、前記段落検出手段で検出された複
数の段落間において、大譜表間の単独譜表数の差が最小
になるように大譜表同士を対応させて、段落間における
パートの対応をとるパート対応検出手段を備えたことを
特徴とする請求項２に記載の楽譜認識装置。
【請求項４】更に、パート名を認識し、段落間におけ
るパートの対応をとるパート対応検出手段を備えたこと
を特徴とする請求項２に記載の楽譜認識装置。
【請求項５】更に、前記五線検出手段により検出され
た五線を含む矩形中のラベルの中で、前記矩形の上端あ
るいは下端に接しており、五線に達していないラベルを
消去する消去手段を備えたことを特徴とする請求項２に
記載の楽譜認識装置。
【請求項６】前記段落検出手段は、所定数の黒画素が
連続しているか否かにより段落線の有無を認識するもの
であり、その認識に際し一定以下の黒画素の途切れは無
視するものであることを特徴とする請求項１ないし５の
いずれかに記載の楽譜認識装置。