JP2007122277A - 楽譜認識装置および楽譜認識プログラム - Google Patents

Abstract

【課題】楽譜に記載される歌詞をより適切に認識すること。
【解決手段】楽曲を表現する楽譜を示す楽譜イメージを外部装置５から収集する楽譜イメージ収集部１２と、楽譜イメージを形成する複数図形を複数記号にそれぞれ画像認識する楽譜認識部１３と、複数図形のうちの楽譜を形成する楽譜記号に認識されない図形を囲む歌詞矩形を楽譜イメージから抽出する歌詞矩形抽出部１４と、複数図形のうちの歌詞矩形に囲まれる歌詞図形を文字に画像認識する歌詞認識部１６とを備えている。
【選択図】図１

Description

本発明は、楽譜認識装置および楽譜認識プログラムに関し、特に、楽譜イメージを楽譜に認識する
楽譜認識装置および楽譜認識プログラムに関する。

イメージスキャナで楽譜を取り込み、パソコンで編集、印刷、演奏することができる楽譜認識ソフトウェアが知られている。その楽譜認識ソフトウェアとしては、河合楽器製作所製「スコアメーカー」が例示される。その楽譜認識ソフトウェアは、楽譜に記載される歌詞を認識することもできる。その楽譜認識ソフトウェアは、個々の記号の認識精度を向上させることにより誤認識を低減している。その認識精度を向上させる方法としては、文字列辞書を備え、文字認識した後に文字列をその文字列辞書に逐次照らし合わせることが例示される。楽譜に記載される歌詞は、特に日本語のときに、ほとんど平仮名で表現され、文字の区切りがなく、文節の判定が困難である。このため、その歌詞は、文字列辞書を用いて認識率を向上させることが困難である。さらに、その歌詞は、アルファベットで表現されるときに、様々な言語（たとえば、英語、フランス語、ドイツ語、イタリア語、ラテン語）が考えられ、これらの言語のすべてに対応する文字列辞書を用意することが困難である。楽譜に記載される歌詞をより適切に認識する楽譜認識装置が望まれている。

特許３４５４３０７号公報には、任意の２旋律間の類似度判定に際し、人間特有の聴感特性（音を記憶して後続の音と関連づける能力＝記憶残響効果）を応用した比較手法を用いることで実感覚に則した結果が得られる合理的かつ多角的な類似度判定を可能にする旋律類似度判定方法が開示されている。その旋律類似度判定方法は、旋律データベースに予め格納された照合旋律と、判定旋律とを比較することにより、前記判定旋律の前記照合旋律に対する類似度を判定する楽曲の旋律類似度判定方法において、前記判定旋律の対象となる楽曲の原譜から音程順列聴感譜と時間分割聴感譜とを作成する第１のステップと、前記音程順列聴感譜に基づく照合により音程順列比較を行い、予め定めた音列一致率を上回る前記照合旋律を比較対象照合旋律として抽出する第２のステップと、前記時間分割聴感譜に基づく照合により前記比較対象照合旋律に対して、音程時間比較に基づく音程時間一致率と発音点比較に基づく発音点一致率とを算出し、これを前記比較対象照合旋律に情報付加する第３のステップと、前記音列一致率、前記音程時間一致率及び前記発音点一致率に基づいて前記判定旋律と前記比較対象照合旋律との間の類似率を算出し、これを前記比較対象照合旋律に情報付加する第４のステップと、前記音列一致率、音程時間一致率、発音点一致率及び比較音数間に現われる一定の傾向を類型別に分類した類型別一致率分布データと前記比較対象照合旋律の前記音列一致率、前記音程時間一致率及び前記発音点一致率とを類型照合し、照合結果を類似パターンとして前記比較対象照合旋律に情報付加する第５のステップと、前記比較対象照合旋律に対して、前記音列一致率、前記音程時間一致率、前記発音点一致率、前記類似率及び前記類似パターンを判定要素として判定処理を行い、判定結果を判定評価データとして前記比較対象照合旋律に付加し、評価対象照合旋律として抽出する第６のステップとを備え、前記判定評価データに基づき前記判定旋律と前記照合旋律との間の類似度を判定することを特徴としている。

特許３４６６８９４号公報には、楽譜上の混在する斜体文字、標準文字からなる音楽記号について文字単位の字体判別処理を行う構成を提供し、それによって、これらの字体の混在する音楽記号に対し高い認識率が得られるようにせんとする楽譜認識方法が開示されている。その楽譜認識方法は、楽譜イメージを読み取ってその音楽記号を認識し、演奏や楽譜表示のためのデータを作成する楽譜認識方法において、認識すべき音楽記号のうち、文字記号或いは文字を含む記号に対し、そのラベルを抽出してパターンマッチングにより認識を行い、その後該ラベル上のこれらの記号の推定回帰直線の傾きを検出し、その傾きの違いにより、前記記号の字体が斜体であるか否かを判別することを特徴としている。

特許３４５４３０７号公報 特許３４６６８９４号公報

本発明の課題は、楽譜に記載される歌詞をより適切に認識する楽譜認識装置および楽譜認識プログラムを提供することにある。
本発明の他の課題は、印刷物を光学的に読み取る処理の精度を変更させること無く楽譜に記載される歌詞をより適切に認識する楽譜認識装置および楽譜認識プログラムを提供することにある。

以下に、発明を実施するための最良の形態・実施例で使用される符号を括弧付きで用いて、課題を解決するための手段を記載する。この符号は、特許請求の範囲の記載と発明を実施するための最良の形態・実施例の記載との対応を明らかにするために付加されたものであり、特許請求の範囲に記載されている発明の技術的範囲の解釈に用いてはならない。

本発明による楽譜認識装置（１）は、楽曲を表現する楽譜を示す楽譜イメージを外部装置（５）から収集する楽譜イメージ収集部（１２）と、楽譜イメージを形成する複数図形を複数記号にそれぞれ画像認識する楽譜認識部（１３）と、複数図形のうちの楽譜を形成する楽譜記号に認識されない図形を囲む歌詞矩形を楽譜イメージから抽出する歌詞矩形抽出部（１４）と、複数図形のうちの歌詞矩形に囲まれる歌詞図形を文字に画像認識する歌詞認識部（１６）とを備えていることが好ましい。

本発明による楽譜認識装置（１）は、複数種類と複数文字集合とを対応付ける文字種テーブル（２１）をさらに備えていることが好ましい。このとき、歌詞認識部（１６）は、複数種類のうちから楽譜認識部（１３）により歌詞図形が認識された文字を最も多く含んでいる文字集合に対応する種類を検索し、複数文字集合のうちの種類に対応する文字集合に属する文字に優先的に歌詞図形を画像認識する。

本発明による楽譜認識装置（１）は、歌詞図形のうちの譜表に平行な一直線上に並ぶ複数の歌詞番数図形を囲む歌詞番数矩形を歌詞矩形の内部から抽出する歌詞番数矩形抽出部（１５）をさらに備えていることが好ましい。このとき、歌詞認識部（１６）は、複数図形のうちの歌詞番数矩形に囲まれる図形だけを文字に画像認識する。

歌詞認識部（１６）は、歌詞番数矩形のうちの第１歌詞番数矩形に囲まれる第１図形を文字に認識不可能であるときに、歌詞番数矩形のうちの第１歌詞番数矩形に隣接する第２歌詞番数矩形に囲まれる図形のうちの第１図形と横位置が一致する第２図形から認識される文字に第１図形を認識することが好ましい。

歌詞認識部（１６）は、歌詞番数矩形のうちの第１歌詞番数矩形に囲まれる第１図形を文字に認識不可能である場合で、歌詞番数矩形のうちの第１歌詞番数矩形に隣接する第２歌詞番数矩形に囲まれる図形が第１図形と横位置が一致する２つ以上の図形を含んでいるときに、その２つ以上の図形の境目の横位置で第１図形を切断した２つ以上の図形をそれぞれ文字に認識することが好ましい。

歌詞番数矩形抽出部（１５）は、歌詞番数矩形のうちから所定の条件を満足する無効歌詞番数矩形を選別することが好ましい。このとき、歌詞認識部（１６）は、複数図形のうちの無効歌詞番数歌詞矩形に囲まれる図形を文字に認識しない。

その条件は、無効歌詞番数矩形に囲まれる図形のなかに横位置が楽譜記号のうちの音符の横位置に対応しない図形が所定の割合以上あることである。または、その条件は、無効歌詞番数矩形が所定の記号に隣接することである。または、その条件は、無効歌詞番数矩形に囲まれる複数の図形から認識される複数の文字がある１つの種類に属する文字を所定の値以上の割合で含んでいないことである。または、その条件は、無効歌詞番数矩形に囲まれる複数の図形から認識される文字列が所定の文字列を所定の個数以上に含んでいることである。

本発明による楽譜認識プログラムは、コンピュータである楽譜認識装置（１）により実行されるコンピュータプログラムであり、そのコンピュータプログラムの部分として、楽曲を表現する楽譜を示す楽譜イメージを外部装置（５）から収集する楽譜イメージ収集部（１２）と、楽譜イメージを形成する複数図形を複数記号にそれぞれ画像認識する楽譜認識部（１３）と、複数図形のうちの楽譜を形成する楽譜記号に認識されない図形を囲む歌詞矩形を楽譜イメージから抽出する歌詞矩形抽出部（１４）と、複数図形のうちの歌詞矩形に囲まれる歌詞図形を文字に画像認識する歌詞認識部（１６）とを備えていることが好ましい。

本発明による楽譜認識プログラムは、複数種類と複数文字集合とを対応付ける文字種テーブル（２１）をさらに備えていることが好ましい。このとき、歌詞認識部（１６）は、複数種類のうちから楽譜認識部（１３）により歌詞図形が認識された文字を最も多く含んでいる文字集合に対応する種類を検索し、複数文字集合のうちの種類に対応する文字集合に属する文字に優先的に歌詞図形を画像認識する。

本発明による楽譜認識プログラムは、歌詞図形のうちの譜表に平行な一直線上に並ぶ複数の歌詞番数図形を囲む歌詞番数矩形を歌詞矩形の内部から抽出する歌詞番数矩形抽出部（１５）をさらに備えていることが好ましい。このとき、歌詞認識部（１６）は、複数図形のうちの歌詞番数矩形に囲まれる図形だけを文字に画像認識する。

歌詞認識部（１６）は、歌詞番数矩形のうちの第１歌詞番数矩形に囲まれる第１図形を文字に認識不可能であるときに、歌詞番数矩形のうちの第１歌詞番数矩形に隣接する第２歌詞番数矩形に囲まれる図形のうちの第１図形と横位置が一致する第２図形から認識される文字に第１図形を認識することが好ましい。

歌詞認識部（１６）は、歌詞番数矩形のうちの第１歌詞番数矩形に囲まれる第１図形を文字に認識不可能である場合で、歌詞番数矩形のうちの第１歌詞番数矩形に隣接する第２歌詞番数矩形に囲まれる図形が第１図形と横位置が一致する２つ以上の図形を含んでいるときに、その２つ以上の図形の境目の横位置で第１図形を切断した２つ以上の図形をそれぞれ文字に認識することが好ましい。

歌詞番数矩形抽出部（１５）は、歌詞番数矩形のうちから所定の条件を満足する無効歌詞番数矩形を選別することが好ましい。このとき、歌詞認識部（１６）は、複数図形のうちの無効歌詞番数歌詞矩形に囲まれる図形を文字に認識しない。

その条件は、無効歌詞番数矩形に囲まれる図形のなかに横位置が楽譜記号のうちの音符の横位置に対応しない図形が所定割合以上あることである。または、その条件は、無効歌詞番数矩形が所定の記号に隣接することである。または、その条件は、無効歌詞番数矩形に囲まれる複数の図形から認識される複数の文字のうちの所定の割合以上の文字が属する種類が存在することである。または、その条件は、無効歌詞番数矩形に囲まれる複数の図形から認識される文字列が所定の文字列を所定の個数以上に含んでいることである。

本発明による楽譜認識装置および楽譜認識プログラムは、楽譜に記載される歌詞をより適切に認識することができる。

図面を参照して、本発明による電子楽器の実施の形態を記載する。その楽譜認識装置１は、図１に示されているように、楽譜認識装置本体２がスキャナ５と出力装置７とを備えている。スキャナ５は、楽曲を表現する楽譜が印刷された印刷物を撮像し、その楽譜の楽譜イメージを生成して楽譜認識装置本体２に出力する。出力装置７としては、ディスプレイ、プリンターが例示される。そのディスプレイは、表示面を備え、楽譜認識装置本体２により生成された画面をその表示面に表示する。そのプリンターは、楽譜認識装置本体２により生成された画面を紙に印刷する。

楽譜認識装置本体２は、コンピュータであり、図示されていないＣＰＵと記憶装置と入力装置とを備えている。そのＣＰＵは、楽譜認識装置本体２にインストールされるコンピュータプログラムを実行して、その記憶装置と入力装置とスキャナ５と出力装置７とを制御する。その記憶装置は、そのコンピュータプログラムを記録し、そのＣＰＵにより生成される情報を一時的に記録する。その入力装置は、ユーザに操作されて入力される情報をそのＣＰＵに出力する。

楽譜認識装置本体２は、そのコンピュータプログラムとして、文字種データベース１１と楽譜イメージ収集部１２と楽譜認識部１３と歌詞矩形抽出部１４と歌詞番数矩形抽出部１５と歌詞認識部１６と楽譜出力部１７とがインストールされている。文字種データベース１１は、歌詞を表現する文字の種類を示す文字種テーブルを他のコンピュータプログラムにより検索可能に記憶装置に記録する。

楽譜イメージ収集部１２は、スキャナ５により生成された楽譜イメージをスキャナ５から収集する。楽譜認識部１３は、楽譜イメージ収集部１２により収集される楽譜イメージに基づいて楽譜を生成する。すなわち、楽譜認識部１３は、楽譜イメージ収集部１２により収集される楽譜イメージから複数の図形を抽出し、その複数の図形にそれぞれ図形ＩＤを割り当てる。楽譜認識部１３は、さらに、その複数の図形の各々をその複数の記号の各々に比較して、その図形をその複数の記号のうちの最も類似する記号に認識する。その記号は、演奏される楽音を表現する楽譜記号と歌詞を表現する文字とを含んでいる。その楽譜記号としては、譜表、音符、休符、テンポ記号、スラーが例示される。その文字としては、平仮名、片仮名、漢字、アルファベットが例示される。楽譜認識部１３は、さらに、文字に認識される複数の図形が隣接して並ぶときに、その複数の図形を文字列に認識する。

歌詞矩形抽出部１４は、楽譜認識部１３により認識される記号に基づいて、楽譜イメージ収集部１２により収集される楽譜イメージから歌詞矩形を抽出する。歌詞番数矩形抽出部１５は、楽譜認識部１３により認識される記号に基づいて、歌詞矩形抽出部１４により抽出される歌詞矩形から歌詞番数矩形を抽出する。歌詞認識部１６は、歌詞番数矩形抽出部１５により抽出される歌詞番数矩形に囲まれる図形を文字に認識する。

楽譜出力部１７は、楽譜認識部１３と歌詞認識部１６とにより生成される楽譜を出力装置７に出力する。すなわち、その楽譜を示す画面を作成してディスプレイに表示し、プリンターを用いてその楽譜を示す画面を紙に印刷する。

図２は、楽譜イメージ収集部１２により収集される楽譜イメージの一部の例を示している。その楽譜イメージは、合唱曲を表現する楽譜を示し、譜表図形３１と歌詞図形３３−１〜３３−２とが記載されている。譜表図形３１は、複数の図形から形成され、その複数の図形は、譜表、音符、休符などを示している。歌詞図形３３−１〜３３−２は、それぞれ、複数の文字図形から形成されている。その複数の文字図形は、歌詞を示す文字を示している。その複数の文字図形は、その譜表の上または下にその譜表に平行な直線上に並んでいる。その複数の文字図形は、その合唱曲が複数の番数を有するときに、複数行で記載され、すなわち、その譜表に平行である複数の平行線の上に並んでいる。このとき、楽譜認識部１３は、譜表図形３１の図形を譜表、音符、休符などに認識し、歌詞図形３３−１〜３３−２の文字図形を文字に認識する。

図２は、さらに、歌詞矩形抽出部１４により抽出される歌詞矩形を示している。その歌詞矩形３４−１〜３４−２は、その譜表に平行である辺とその譜表に垂直である辺とから形成される矩形であり、楽譜認識部１３により譜表、音符、休符などに認識される図形を囲まないで、楽譜認識部１３により文字に認識される図形を囲んでいる。歌詞矩形３４−１〜３４−２は、さらに、その譜表と長さが概ね同じであり、右端の横位置がその譜表の右端の横位置に概ね一致し、左端の横位置がその譜表の左端の横位置に概ね一致している。すなわち、歌詞矩形抽出部１４は、楽譜認識部１３により譜表、音符、休符などに認識される図形を囲まないで、楽譜認識部１３により文字に認識される図形を囲み、その譜表と長さが概ね同じになるように、歌詞矩形３４−１〜３４−２を形成する。

図３は、楽譜イメージ収集部１２により収集される楽譜イメージの一部の他の例を示している。その楽譜イメージは、合唱曲を表現する楽譜を示し、大譜表図形４１が記載されている。大譜表図形４１は、高音部譜表図形４２−１と低音部譜表図形４２−２とから形成されている。高音部譜表図形４２−１と低音部譜表図形４２−２とは、それぞれ、譜表、音符、休符などを示している。その楽譜イメージは、さらに、歌詞図形４３−１〜４３−２が記載されている。歌詞図形４３−１〜４３−２は、それぞれ、複数の文字図形から形成されている。その複数の文字図形は、歌詞を示す文字を示している。その複数の文字図形は、その譜表の上または下にその譜表に平行な直線上に並んでいる。このとき、楽譜認識部１３は、高音部譜表図形４２−１と低音部譜表図形４２−２とを譜表、音符、休符などに認識し、歌詞図形４３−１〜４３−２の文字図形を文字に認識する。

図３は、さらに、歌詞矩形抽出部１４により抽出される歌詞矩形を示している。その歌詞矩形４４−１〜４４−２は、その譜表に平行である辺とその譜表に垂直である辺とから形成される矩形であり、楽譜認識部１３により譜表、音符、休符などに認識される図形を囲まないで、歌詞矩形抽出部１４は、楽譜認識部１３により文字に認識される図形を囲んでいる。歌詞矩形４４−１〜４４−２は、さらに、その譜表と長さが概ね同じであり、右端の横位置がその譜表の右端の横位置に概ね一致し、左端の横位置がその譜表の左端の横位置に概ね一致している。すなわち、歌詞矩形抽出部１４は、楽譜認識部１３により譜表、音符、休符などに認識される図形を囲まないで、楽譜認識部１３により文字に認識される図形を囲み、その譜表と長さが概ね同じになるように、歌詞矩形４４−１〜４４−２を形成する。

図４は、楽譜イメージ収集部１２により収集される楽譜イメージの一部のさらに他の例を示している。合唱曲を表現する楽譜に記載される歌詞は、一般的に、複数の番数の歌詞で共通する歌詞が歌われるときに１行で記載され、複数の番数の歌詞で異なる歌詞が歌われるときに複数行で記載される。その歌詞は、さらに、複数行で記載されるときに、先頭にその歌番が記載される。その歌詞は、さらに、その複数の番数で共通して歌われる１行の歌詞と複数の番数で異なって歌われる複数行の歌詞とが１つの段落で記載されるときに、１行の歌詞と複数行の歌詞とのその境目に括弧が記載される。その歌詞を表現する複数の文字は、それぞれ、その譜表に記載される音符の真下に記載され、横位置がその音符の横位置に概ね一致している。

このため、その楽譜イメージは、譜表図形５１と音符図形５８−１〜５８−８と歌詞図形５２とが記載されている。譜表図形５１は、譜表を示している。音符図形５８−１〜５８−８は、それぞれその譜表に記載される複数の音符を示している。歌詞図形５２は、それぞれ、複数の文字図形５７−１〜５７−１７を含んでいる。その複数の文字図形は、歌詞を示す文字を示している。文字図形５７−１〜５７−１７は、その譜表の上または下にその譜表に平行な直線上に並んでいる。文字図形５７−１〜５７−１７は、その合唱曲が複数の番数を有するときに、複数行で記載され、すなわち、その譜表に平行である複数の平行線の上に並んでいる。歌詞図形５２は、さらに、括弧を示す括弧図形５４を含んでいる。

文字図形５７−１〜５７−１７は、それぞれ、横位置が音符図形５８−１〜５８−８のいずれかの横位置に概ね一致している。すなわち、文字図形５７−１の横位置は、音符図形５８−１の横位置に概ね一致している。文字図形５７−２の横位置は、音符図形５８−２の横位置に概ね一致している。文字図形５７−３の横位置は、音符図形５８−３の横位置に概ね一致している。文字図形５７−４の横位置は、音符図形５８−４の横位置に概ね一致している。文字図形５７−６の横位置は、音符図形５８−５の横位置に概ね一致している。文字図形５７−７の横位置は、音符図形５８−６の横位置に概ね一致している。文字図形５７−８の横位置は、音符図形５８−７の横位置に概ね一致している。文字図形５７−９の横位置は、音符図形５８−８の横位置に概ね一致している。文字図形５７−１１の横位置は、音符図形５８−５の横位置に概ね一致している。文字図形５７−１２の横位置は、音符図形５８−６の横位置に概ね一致している。文字図形５７−１３の横位置は、音符図形５８−７の横位置に概ね一致している。文字図形５７−１４の横位置は、音符図形５８−８の横位置に概ね一致している。

このとき、楽譜認識部１３は、譜表図形５１の図形を譜表、音符、休符などに認識し、文字図形５７−１〜５７−１７を文字に認識する。楽譜認識部１３は、さらに、音符図形５８−１〜５８−８を音符に認識し、括弧図形５４を括弧に認識する。

図４は、さらに、歌詞矩形抽出部１４により抽出される歌詞矩形を示している。その歌詞矩形５３は、その譜表に平行である辺とその譜表に垂直である辺とから形成される矩形であり、楽譜認識部１３により譜表、音符、休符、スラーなどに認識される図形を囲まないで、歌詞矩形抽出部１４は、楽譜認識部１３により文字に認識される図形を囲んでいる。歌詞矩形５３は、さらに、その譜表と長さが概ね同じであり、右端の横位置がその譜表の右端の横位置に概ね一致し、左端の横位置がその譜表の左端の横位置に概ね一致している。すなわち、歌詞矩形抽出部１４は、楽譜認識部１３により譜表、音符、休符などに認識される図形を囲まないで、楽譜認識部１３により文字に認識される図形を囲み、その譜表と長さが概ね同じになるように、歌詞矩形５３を形成する。

歌詞矩形５３は、括弧図形５４を境に複数の分割歌詞矩形５５−１〜５５−２とに左右に分割されている。図４は、さらに、歌詞番数矩形抽出部１５により抽出される歌詞番数矩形を示している。その歌詞番数矩形５６−１〜５６−３は、それぞれ、分割歌詞矩形５５−１〜５５−２のいずれかに囲まれ、その譜表に平行である辺とその譜表に垂直である辺とから形成される矩形である。歌詞番数矩形５６−１〜５６−３は、さらに、それぞれ、分割歌詞矩形５５−１〜５５−２と長さが概ね同じであり、右端の横位置が分割歌詞矩形５５−１〜５５−２の右端の横位置に概ね一致し、左端の横位置が分割歌詞矩形５５−１〜５５−２の左端の横位置に概ね一致している。歌詞番数矩形５６−１〜５６−３は、さらに、それぞれ、楽譜認識部１３により文字に認識される図形を囲んでいる。歌詞番数矩形５６−１〜５６−３にそれぞれ囲まれる図形は、複数行に並ばないで、その譜表に平行な１つの直線上に並んでいる。

すなわち、歌詞番数矩形抽出部１５は、楽譜認識部１３により括弧に認識される括弧図形５４で歌詞矩形抽出部１４により抽出される歌詞矩形５３を分割歌詞矩形５５−１〜５５−２に分割する。歌詞番数矩形抽出部１５は、さらに、分割歌詞矩形５５−１〜５５−２のいずれかに囲まれ、かつ、１つの直線上に並ぶ文字図形を囲むように、歌詞番数矩形５６−１〜５６−３を形成する。歌詞番数矩形抽出部１５は、さらに、歌詞番数矩形が所定の記号に認識され図形の近傍に配置されるときに、その歌詞番数矩形を削除する。その所定の記号としては、テンポ記号が例示される。歌詞番数矩形抽出部１５は、さらに、歌詞番数矩形に囲まれる文字図形から認識される文字が特定の文字を所定の個数以上に含むときに、その歌詞番数矩形を削除する。その特定の文字として、「作」「編」「曲」「詞」「詩」著作権を示す丸で囲まれたアルファベット「Ｃ」が例示される。その所定の個数としては、１個が例示される。歌詞番数矩形抽出部１５は、さらに、歌詞番数矩形に囲まれる文字図形から認識される文字列が特定の文字列を所定の個数以上に含むときに、その歌詞番数矩形を削除する。その特定の文字列として、「ａｒｒａｎｇｅｄ」「ｃｏｐｙｒｉｇｈｔ」が例示される。その所定の個数としては、１個が例示される。歌詞番数矩形抽出部１５は、さらに、文字種テーブル２１を参照して、歌詞番数矩形に囲まれる文字図形から認識される複数の文字がある１つの種類に属する文字を所定の値以上の割合で含んでいないときに、その歌詞番数矩形を削除する。歌詞番数矩形抽出部１５は、さらに、歌詞番数矩形に囲まれる文字図形から認識される複数の文字が漢字を所定の値以上の割合で含んでいるときに、その歌詞番数矩形を削除する。このとき、歌詞番数矩形抽出部１５は、歌詞番数矩形に囲まれる図形のうちの文字に認識されない図形の空隙の個数を計数し、その個数が所定の値以上の図形を漢字として計数する。歌詞番数矩形抽出部１５は、さらに、歌詞番数矩形に囲まれる複数の文字図形が音符図形と横位置がそれぞれ一致しないときに、その歌詞番数矩形を削除する。

図５は、文字種データベース１１により記録される文字種テーブルを示している。その文字種テーブル２１は、種類２２と文字集合２３と範囲２４と修正方法２５とを対応付けている。種類２２は、歌詞を表現する文字の種類を示している。その種類としては、平仮名、片仮名、アルファベット、記号が付加されるアルファベット、合字、斜体のアルファベットが例示される。そのアルファベットに付加される記号としては、ウムラウト、アクサン、セディーユが例示される。文字集合２３は、種類２２により示される種類に属する複数の文字を示している。

範囲２４は、歌詞番数矩形抽出部１５により抽出される複数の歌詞番数矩形に囲まれる図形から認識される文字に文字集合２３により示される文字が含まれる割合がとり得る範囲を示している。修正方法２５は、歌詞番数矩形抽出部１５により抽出される複数の歌詞番数矩形に囲まれる図形から認識される文字に文字集合２３により示される文字が含まれる割合が範囲２４により示される範囲に含まれるときに、歌詞番数矩形抽出部１５により抽出される複数の歌詞番数矩形に囲まれる図形のうちの文字集合２３により示される文字以外に認識される図形から認識される文字を他の文字に変更する修正方法を示している。

たとえば、その修正方法は、歌詞番数矩形抽出部１５により抽出される複数の歌詞番数矩形に囲まれる図形がアルファベットに認識される割合が８０％以上であるときに、アルファベット以外の文字をアルファベットに変更することを示している。その修正方法は、歌詞番数矩形抽出部１５により抽出される複数の歌詞番数矩形に囲まれる図形が平仮名（片仮名）に認識される割合が９０％以上であるときに、歌詞番数矩形抽出部１５により抽出される複数の歌詞番数矩形に囲まれる図形から認識された文字を変更しないことを示している。その修正方法は、歌詞番数矩形抽出部１５により抽出される複数の歌詞番数矩形に囲まれる図形が平仮名（片仮名）に認識される割合が６０％以下である場合で、アルファベットに１文字の平仮名（片仮名）が挟まれているときにその１文字の平仮名（片仮名）をアルファベットに変更し、平仮名（片仮名）に１〜２文字のアルファベットが挟まれているときにその１文字のアルファベットをアルファベットに変更することを示している。その修正方法は、歌詞番数矩形抽出部１５により抽出される複数の歌詞番数矩形に囲まれる図形が平仮名に認識される割合が多く、かつ、片仮名に認識された図形の両隣の図形が平仮名に認識されるときにその片仮名に認識された図形を平仮名に変更することを示している。その修正方法は、歌詞番数矩形抽出部１５により抽出される複数の歌詞番数矩形に囲まれる図形が片仮名に認識される割合が多く、かつ、平仮名に認識された図形の両隣の図形が片仮名に認識されるときにその平仮名に認識された図形を片仮名に変更することを示している。

このとき、歌詞認識部１６は、文字種テーブル２１を参照して、文字集合２３のうちから楽譜認識部１３により認識された文字を最も多く属する文字集合を検索し、種類２２のうちからその検索された文字集合に対応する種類を検索する。歌詞認識部１６は、さらに、文字種テーブル２１を参照して、歌詞番数矩形抽出部１５により抽出される歌詞番数矩形に囲まれる図形から認識される文字に文字集合２３により示される文字が含まれる割合が範囲２４により示される範囲に含まれるときに、その文字集合２３と範囲２４とに対応する修正方法を用いてその文字集合２３により示される文字以外の文字を他の文字に変更することによりその文字集合に属する文字に優先的に認識する。

たとえば、歌詞認識部１６は、歌詞番数矩形に囲まれる図形がアルファベットに認識される割合が８０％以上であるときに、アルファベット以外の文字に認識された図形をアルファベットに再認識する。歌詞認識部１６は、歌詞番数矩形に囲まれる図形が平仮名（片仮名）に認識される割合が９０％以上であるときに、その歌詞番数矩形に囲まれる図形から認識された文字を再認識しない。歌詞認識部１６は、平仮名（片仮名）に認識される割合が６０％以下である場合で、アルファベットに１文字の平仮名（片仮名）が挟まれているときにその１文字の平仮名（片仮名）に認識された図形をアルファベットに再認識し、平仮名（片仮名）に１〜２文字のアルファベットが挟まれているときにその１文字のアルファベットに認識された図形をアルファベットに再認識する。次いで、歌詞認識部１６は、楽譜認識部１３により認識された文字に平仮名が多く、かつ、片仮名に認識された図形の両隣の図形が平仮名に認識されるときに、その片仮名に認識された図形を平仮名に再認識する。たとえば、歌詞認識部１６は、片仮名の「ヘ」に認識された図形を平仮名の「へ」に変更し、片仮名の「ヒ」に認識された図形を平仮名の「と」に変更し、片仮名の「リ」に認識された図形を平仮名の「り」に変更する。

歌詞認識部１６は、その１つの歌詞番数矩形に囲まれる複数の図形のサイズをそれぞれ測定する。歌詞認識部１６は、そのサイズに基づいて、平仮名または片仮名の拗音または促音に用いられる小さい文字を認識し、または、アルファベットの大文字と小文字とを判別する。歌詞認識部１６は、歌詞番数矩形５６−１〜５６−３の１つに囲まれる複数の図形のうちに楽譜認識部１３により文字に認識されない図形があるときにも、その１つの歌詞番数矩形に囲まれる複数の図形のサイズをそれぞれ測定する。歌詞認識部１６は、その認識されない図形のサイズがその認識される図形のサイズの２倍以上である場合で、その１つの歌詞番数矩形が上下方向に他の歌詞番数矩形に隣接するときに、他の歌詞番数矩形に囲まれる図形のうちのその認識されない図形の横位置に一致する複数の図形の境目でその認識されない図形を分割し、その分割された図形を文字に認識する。歌詞認識部１６は、その認識されない図形のサイズがその認識される図形のサイズの２倍以上である場合で、その１つの歌詞番数矩形が上下方向に他の歌詞番数矩形に隣接しないときに、その認識されない図形を接触部分が最も少ない接触位置（切断位置）で切断し、その切断された図形を文字に認識する。

歌詞認識部１６は、上下に並ぶ複数の歌詞番数矩形に囲まれる複数の図形を文字に認識するときに、その歌詞番数矩形の左端に配置される図形を数字に優先的に認識する。たとえば、歌詞認識部１６は、その歌詞番数矩形の左端の図形が楽譜認識部１３によりアルファベットの「ｌ」に認識されたときに、その図形を数字の「１」に変更する。

歌詞認識部１６は、上下に並ぶ複数の歌詞番数矩形に囲まれる複数の図形を文字に認識する場合で、複数の歌詞番数矩形の１つに囲まれる１つの図形が文字に認識されないときに、その複数の歌詞番数矩形に囲まれる図形からそれぞれ認識される複数の文字列を比較する。歌詞認識部１６は、その複数の文字列が所定の割合以上に一致しているときに、その認識されない図形を他の歌詞番数矩形に囲まれて横位置が同じ図形から認識される文字に認識する。このとき、歌詞認識部１６は、その認識されない図形が歌詞番数矩形の左端に配置されている場合で、他の歌詞番数矩形の左端の図形が数字に認識されているときに、その認識されない図形をその数字に認識しない。

歌詞認識部１６は、図形を平仮名または片仮名の文字に認識するときに、その図形のうちのその文字の濁点または半濁点が付く位置に対応する部位の複雑度を測定する。このような複雑度の測定は、周知であり、たとえば、ある領域に記載される図形の輪郭の存在頻度などに基づいて測定することができる。歌詞認識部１６は、その複雑度が所定の値以上であるときに、その部位に空隙の有無を判別する。歌詞認識部１６は、その空隙がないときにその文字に濁点を付け、その空隙があるときにその文字に半濁点を付ける。

図６は、楽譜認識装置１の動作を示している。ユーザは、スキャナ５を用いて楽譜が印刷された印刷物を撮像する。楽譜認識装置１は、その楽譜の楽譜イメージをスキャナ５から収集する（ステップＳ１）。楽譜認識装置１は、その楽譜イメージを楽譜に認識する（ステップＳ２）。すなわち、楽譜認識装置１は、その楽譜イメージから複数の図形を抽出し、その複数の図形にそれぞれ図形ＩＤを割り当てる。楽譜認識装置１は、さらに、その複数の図形の各々をその複数の記号の各々に比較して、その図形をその複数の記号のうちの最も類似する記号に認識する。その記号は、演奏される楽音を表現する楽譜記号と歌詞を表現する文字とを含んでいる。その楽譜記号としては、譜表、音符、休符、テンポ記号、スラーが例示される。その文字としては、平仮名、片仮名、漢字、アルファベットが例示される。楽譜認識装置１は、さらに、文字に認識される複数の図形が隣接して並ぶときに、その複数の図形を文字列に認識する。

楽譜認識装置１は、その認識される記号に基づいて、その楽譜イメージから歌詞矩形を抽出する（ステップＳ３）。すなわち、楽譜認識装置１は、譜表、音符、休符などに認識される図形を囲まないで、文字に認識される図形を囲み、その譜表と長さが概ね同じになるように、歌詞矩形を形成する。

楽譜認識装置１は、括弧に認識される図形でその歌詞矩形を複数の分割歌詞矩形に分割する。楽譜認識装置１は、さらに、その分割歌詞矩形のいずれかに囲まれ、かつ、１つの直線上に並ぶ文字図形を囲むように、歌詞番数矩形を形成する（ステップＳ４）。このとき、楽譜認識装置１は、歌詞番数矩形が所定の記号に認識され図形の近傍に配置されるときに、その歌詞番数矩形を削除する。その所定の記号としては、テンポ記号が例示される。楽譜認識装置１は、さらに、歌詞番数矩形に囲まれる文字図形から認識される文字が特定の文字を所定の個数以上に含むときに、その歌詞番数矩形を削除する。その特定の文字として、「作」「編」「曲」「詞」「詩」著作権を示す丸で囲まれたアルファベット「Ｃ」が例示される。楽譜認識装置１は、さらに、歌詞番数矩形に囲まれる文字図形から認識される文字列が特定の文字列を所定の個数以上に含むときに、その歌詞番数矩形を削除する。楽譜認識装置１は、さらに、文字種テーブル２１を参照して、歌詞番数矩形に囲まれる文字図形から認識される複数の文字がある１つの種類に属する文字を所定の値以上の割合で含んでいないときに、その歌詞番数矩形を削除する。楽譜認識装置１は、さらに、歌詞番数矩形に囲まれる文字図形から認識される複数の文字が漢字を所定の値以上の割合で含んでいるときに、その歌詞番数矩形を削除する。このとき、楽譜認識装置１は、歌詞番数矩形に囲まれる図形のうちの文字に認識されない図形の空隙の個数を計数し、その個数が所定の値以上の図形を漢字として計数する。楽譜認識装置１は、さらに、歌詞番数矩形に囲まれる複数の文字図形のなかに音符図形と横位置がそれぞれ一致しない図形が所定割合以上にあるときに、その歌詞番数矩形を削除する。

楽譜認識装置１は、その歌詞番数矩形に囲まれる図形を文字に認識する（ステップＳ５）。すなわち、楽譜認識装置１は、文字種テーブル２１を参照して、文字集合２３のうちからその認識された文字を最も多く属する文字集合を検索する。楽譜認識装置１は、さらに、文字種テーブル２１を参照して、その歌詞番数矩形に囲まれる図形から認識される文字に文字集合２３により示される文字が含まれる割合が範囲２４により示される範囲に含まれるときに、その文字集合２３と範囲２４とに対応する修正方法を用いてその文字集合２３により示される文字以外の文字を他の文字に変更することによりその文字集合に属する文字に優先的に認識する。たとえば、楽譜認識装置１は、その認識された文字に平仮名が多く、かつ、片仮名に認識された図形の両隣の図形が平仮名に認識されるときに、その片仮名に認識された図形を平仮名に変更して認識する。たとえば、楽譜認識装置１は、片仮名の「ヘ」に認識された図形を平仮名の「へ」に認識し、片仮名の「ヒ」に認識された図形を平仮名の「と」に認識し、片仮名の「リ」に認識された図形を平仮名の「り」に認識する。

楽譜認識装置１は、その１つの歌詞番数矩形に囲まれる複数の図形のサイズをそれぞれ測定する。楽譜認識装置１は、そのサイズに基づいて、平仮名または片仮名の拗音または促音に用いられる小さい文字を認識し、または、アルファベットの大文字と小文字とを判別する。楽譜認識装置１は、その認識されない図形のサイズがその認識される図形のサイズの２倍以上である場合で、その１つの歌詞番数矩形が上下方向に他の歌詞番数矩形に隣接するときに、他の歌詞番数矩形に囲まれる図形のうちのその認識されない図形の横位置に一致する複数の図形の境目でその認識されない図形を分割し、その分割された図形を文字に認識する。楽譜認識装置１は、その認識されない図形のサイズがその認識される図形のサイズの２倍以上である場合で、その１つの歌詞番数矩形が上下方向に他の歌詞番数矩形に隣接しないときに、その認識されない図形を接触部分が最も少ない接触位置（切断位置）で切断し、その切断された図形を文字に認識する。

楽譜認識装置１は、上下に並ぶ複数の歌詞番数矩形に囲まれる複数の図形を文字に認識するときに、その歌詞番数矩形の左端に配置される図形を数字に優先的に認識する。たとえば、楽譜認識装置１は、その歌詞番数矩形の左端の図形がアルファベットの「ｌ」に認識されたときに、その図形を数字の「１」に変更する。

楽譜認識装置１は、上下に並ぶ複数の歌詞番数矩形に囲まれる複数の図形を文字に認識する場合で、複数の歌詞番数矩形の１つに囲まれる１つの図形が文字に認識されないときに、その複数の歌詞番数矩形に囲まれる図形からそれぞれ認識される複数の文字列を比較する。楽譜認識装置１は、その複数の文字列が所定の割合以上に一致しているときに、その認識されない図形を他の歌詞番数矩形に囲まれて横位置が同じ図形から認識される文字に認識する。このとき、楽譜認識装置１は、その認識されない図形が歌詞番数矩形の左端に配置されている場合で、他の歌詞番数矩形の左端の図形が数字に認識されているときに、その認識されない図形をその数字に認識しない。

楽譜認識装置１は、図形を平仮名または片仮名の文字に認識するときに、その図形のうちのその文字の濁点または半濁点が付く位置に対応する部位の複雑度を測定する。楽譜認識装置１は、その複雑度が所定の値以上であるときに、その部位に空隙の有無を判別する。楽譜認識装置１は、その空隙がないときにその文字に濁点を付け、その空隙があるときにその文字に半濁点を付ける。

このような動作によれば、楽譜認識装置１は、印刷物を光学的に読み取る処理の精度を変更させること無く、その楽譜に記載される歌詞をより適切に認識することができる。このような動作によれば、さらに、楽譜認識装置１は、文字列辞書を用いること無く、その歌詞をより適切に認識することができる。

図１は、本発明による楽譜認識装置の実施の形態を示すブロック図である。 図２は、歌詞矩形の一例を示す図である。 図３は、歌詞矩形の他の例を示す図である。 図４は、歌詞番数矩形の一例を示す図である。 図５は、文字種テーブルを示す図である。 図６は、本発明による楽譜認識装置の動作を示すフローチャートである。

符号の説明

１ ：楽譜認識装置
５ ：スキャナ
７ ：出力装置
１１：文字種データベース
１２：楽譜イメージ収集部
１３：楽譜認識部
１４：歌詞矩形抽出部
１５：歌詞番数矩形抽出部
１６：歌詞認識部
１７：楽譜出力部
２１：文字種テーブル
２２：種類
２３：文字集合
２４：範囲
２３：修正方法
３１：譜表図形
３３−１〜３３−２：歌詞図形
３４−１〜３４−２：歌詞矩形
４１：大譜表図形
４２−１：高音部譜表図形
４２−２：低音部譜表図形
４３−１〜４３−２：歌詞図形
４４−１〜４４−２：歌詞矩形
５１：譜表図形
５２：歌詞図形
５３：歌詞矩形
５４：括弧図形
５５−１〜５５−２：分割歌詞矩形
５６−１〜５６−３：歌詞番数矩形
５７−１〜５７−１７：文字図形
５８−１〜５８−８：音符図形

Claims (20)

1. 楽曲を表現する楽譜を示す楽譜イメージを外部装置から収集する楽譜イメージ収集部と、
   前記楽譜イメージを形成する複数図形を複数記号にそれぞれ画像認識する楽譜認識部と、
   前記複数図形のうちの前記楽譜を形成する楽譜記号に認識されない図形を囲む歌詞矩形を前記楽譜イメージから抽出する歌詞矩形抽出部と、
   前記複数図形のうちの前記歌詞矩形に囲まれる歌詞図形を文字に画像認識する歌詞認識部
   とを具備する楽譜認識装置。
2. 請求項１において、
   複数種類と複数文字集合とを対応付ける文字種テーブルを更に具備し、
   前記歌詞認識部は、前記複数種類のうちから前記楽譜認識部により前記歌詞図形が認識された文字を最も多く含む文字集合に対応する種類を検索し、前記複数文字集合のうちの前記種類に対応する文字集合に属する文字に優先的に前記歌詞図形を画像認識する
   楽譜認識装置。
3. 請求項１または請求項２のいずれかにおいて、
   前記歌詞図形のうちの一直線上に並ぶ複数の歌詞番数図形を囲む歌詞番数矩形を前記歌詞矩形の内部から抽出する歌詞番数矩形抽出部を更に具備し、
   前記歌詞認識部は、前記複数図形のうちの前記歌詞番数矩形に囲まれる図形だけを文字に画像認識する
   楽譜認識装置。
4. 請求項３において、
   前記歌詞認識部は、前記歌詞番数矩形のうちの第１歌詞番数矩形に囲まれる第１図形を文字に認識不可能であるときに、前記歌詞番数矩形のうちの前記第１歌詞番数矩形に隣接する第２歌詞番数矩形に囲まれる図形のうちの前記第１図形と横位置が一致する第２図形から認識される文字に前記第１図形を認識する
   楽譜認識装置。
5. 請求項３において、
   前記歌詞認識部は、前記歌詞番数矩形のうちの第１歌詞番数矩形に囲まれる第１図形を文字に認識不可能である場合で、前記歌詞番数矩形のうちの前記第１歌詞番数矩形に隣接する第２歌詞番数矩形に囲まれる図形が前記第１図形と横位置が一致する２つ以上の図形を含むときに、前記２つ以上の図形の境目の横位置で前記第１図形を切断した２つ以上の図形をそれぞれ文字に認識する
   楽譜認識装置。
6. 請求項３において、
   前記歌詞番数矩形抽出部は、前記歌詞番数矩形のうちから所定の条件を満足する無効歌詞番数矩形を選別し、
   前記歌詞認識部は、前記複数図形のうちの前記無効歌詞番数歌詞矩形に囲まれる図形を文字に認識しない
   楽譜認識装置。
7. 請求項６において、
   前記条件は、前記無効歌詞番数矩形に囲まれる図形のなかに横位置が前記楽譜記号のうちの音符の横位置に対応しない図形が所定割合以上あることである
   楽譜認識装置。
8. 請求項６において、
   前記条件は、前記無効歌詞番数矩形が所定の記号に隣接することである
   楽譜認識装置。
9. 請求項６において、
   前記条件は、前記無効歌詞番数矩形に囲まれる複数の図形から認識される複数の文字がある１つの種類に属する文字を所定の値以上の割合で含んでいないことである
   楽譜認識装置。
10. 請求項６において、
    前記条件は、前記無効歌詞番数矩形に囲まれる複数の図形から認識される文字列が所定の文字列を所定の個数以上に含むことである
    楽譜認識装置。
11. 楽曲を表現する楽譜を示す楽譜イメージを外部装置から収集する楽譜イメージ収集部と、
    前記楽譜イメージを形成する複数図形を複数記号にそれぞれ画像認識する楽譜認識部と、
    前記複数図形のうちの前記楽譜を形成する楽譜記号に認識されない図形を囲む歌詞矩形を前記楽譜イメージから抽出する歌詞矩形抽出部と、
    前記複数図形のうちの前記歌詞矩形に囲まれる歌詞図形を文字に画像認識する歌詞認識部
    とを具備する楽譜認識プログラム。
12. 請求項１１において、
    複数種類と複数文字集合とを対応付ける文字種テーブルを更に具備し、
    前記歌詞認識部は、前記複数種類のうちから前記楽譜認識部により前記歌詞図形が認識された文字を最も多く含む文字集合に対応する種類を検索し、前記複数文字集合のうちの前記種類に対応する文字集合に属する文字に優先的に前記歌詞図形を画像認識する
    楽譜認識プログラム。
13. 請求項１１または請求項１２のいずれかにおいて、
    前記歌詞図形のうちの一直線上に並ぶ複数の歌詞番数図形を囲む歌詞番数矩形を前記歌詞矩形の内部から抽出する歌詞番数矩形抽出部を更に具備し、
    前記歌詞認識部は、前記複数図形のうちの前記歌詞番数矩形に囲まれる図形だけを文字に画像認識する
    楽譜認識プログラム。
14. 請求項１３において、
    前記歌詞認識部は、前記歌詞番数矩形のうちの第１歌詞番数矩形に囲まれる第１図形を文字に認識不可能であるときに、前記歌詞番数矩形のうちの前記第１歌詞番数矩形に隣接する第２歌詞番数矩形に囲まれる図形のうちの前記第１図形と横位置が一致する第２図形から認識される文字に前記第１図形を認識する
    楽譜認識プログラム。
15. 請求項１３において、
    前記歌詞認識部は、前記歌詞番数矩形のうちの第１歌詞番数矩形に囲まれる第１図形を文字に認識不可能である場合で、前記歌詞番数矩形のうちの前記第１歌詞番数矩形に隣接する第２歌詞番数矩形に囲まれる図形が前記第１図形と横位置が一致する２つ以上の図形を含むときに、前記２つ以上の図形の境目の横位置で前記第１図形を切断した２つ以上の図形をそれぞれ文字に認識する
    楽譜認識プログラム。
16. 請求項１３において、
    前記歌詞番数矩形抽出部は、前記歌詞番数矩形のうちから所定の条件を満足する無効歌詞番数矩形を選別し、
    前記歌詞認識部は、前記複数図形のうちの前記無効歌詞番数歌詞矩形に囲まれる図形を文字に認識しない
    楽譜認識プログラム。
17. 請求項１６において、
    前記条件は、前記無効歌詞番数矩形に囲まれる図形のなかに横位置が前記楽譜記号のうちの音符の横位置に対応しない図形が所定割合以上あることである
    楽譜認識プログラム。
18. 請求項１６において、
    前記条件は、前記無効歌詞番数矩形が所定の記号に隣接することである
    楽譜認識プログラム。
19. 請求項１６において、
    前記条件は、前記無効歌詞番数矩形に囲まれる複数の図形から認識される複数の文字がある１つの種類に属する文字を所定の値以上の割合で含んでいないことである
    楽譜認識プログラム。
20. 請求項１６において、
    前記条件は、前記無効歌詞番数矩形に囲まれる複数の図形から認識される文字列が所定の文字列を所定の個数以上に含むことである
    楽譜認識プログラム。

Images