JP2010220097A - 画像処理装置、その画像処理装置上で実行される楽譜編集方法およびプログラム - Google Patents

画像処理装置、その画像処理装置上で実行される楽譜編集方法およびプログラム Download PDF

Info

Publication number
JP2010220097A
JP2010220097A JP2009066903A JP2009066903A JP2010220097A JP 2010220097 A JP2010220097 A JP 2010220097A JP 2009066903 A JP2009066903 A JP 2009066903A JP 2009066903 A JP2009066903 A JP 2009066903A JP 2010220097 A JP2010220097 A JP 2010220097A
Authority
JP
Japan
Prior art keywords
score
image data
image processing
symbols
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009066903A
Other languages
English (en)
Other versions
JP2010220097A5 (ja
JP5335501B2 (ja
Inventor
Toru Ikeda
徹 池田
Fumihiro Goto
史博 後藤
Manabu Yamazoe
学 山添
Maya Ishii
真耶 石井
Ayumi Hori
亜由美 堀
Hidetsugu Kagawa
英嗣 香川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009066903A priority Critical patent/JP5335501B2/ja
Priority to US12/712,415 priority patent/US8008562B2/en
Publication of JP2010220097A publication Critical patent/JP2010220097A/ja
Publication of JP2010220097A5 publication Critical patent/JP2010220097A5/ja
Application granted granted Critical
Publication of JP5335501B2 publication Critical patent/JP5335501B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/30Character recognition based on the type of data
    • G06V30/304Music notations

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)
  • Facsimiles In General (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】原稿楽譜の形態を崩さずに、補助記号を簡易に付加する楽譜編集方法を提供する。
【解決手段】楽譜の原稿を読取装置で読み取ることにより得られた画像データを入力する入力し、楽譜上の記号と楽譜に新たに付加する補助記号とを対応付ける複数のテーブルをディスプレイに表示し、入力された画像データから楽譜上の記号を抽出し、入力された画像データから楽譜上の五線譜間の余白領域を検出し、ディスプレイに表示された複数のテーブルから、ユーザにより画像処理装置のマンマシンインタフェースを用いてテーブルを選択させ、選択されたテーブルを参照して、抽出された記号に対応付けられた補助記号を特定し、特定された補助記号を表現するデータを余白領域に付加することにより編集された楽譜を表現する画像データを生成する。
【選択図】図3

Description

本発明は、楽譜を表現する画像データを画像処理する画像処理装置、楽譜編集方法およびプログラムに関する。
原稿の中でも特に、音楽の演奏用の楽譜には、過去の歴史的経緯より蓄積されたルールに基づき、演奏するための情報が書き込まれている。例えば、音符の情報をとっても、音の高さ、音の組み合わせである和音、音の長さ、リズムなどの情報が書き込まれている。また、演奏する音の強弱、演奏するリズムの変化、演奏する順序の指示、演奏の「表情」の指示などの情報が記号として記載されている。演奏者はこれらの楽譜を元に、自分が理解し易い記号を書き込んだり、上級者に書き込んでもらったりしていた。また、有名な楽曲では楽譜の出版元で理解し易い簡易符号を追記して出版している。また、特に、入門書では、例えば和音であればギターのフレッド上でどの弦を押さえると良いかの図を記載する場合や、鍵盤のどこを弾くと良いかの図を記載するものがあった。出版社として、電子データを基にギター用のTAB譜と呼ばれる演奏補助データを編集する方法が、特開平2−121857に開示されている。
特開平2−121857号公報
しかしながら、特開平2−121857には、TAB譜の編集方法について開示しているのみである。また、TAB譜を追加することにより楽譜の段組が変化してしまうことが課題として考えられる。これは、特に複数のパートに分かれる楽譜の場合、対応ページ数が合わずに問題となってしまう。
また、それ以外の記号や他の楽器については、変換そのものの技術が開示されていない。また、著名な練習曲では、そのような演奏のための補助記号が付加された楽譜を購入できるが、オリジナルの楽曲においては、作曲者が自ら楽譜使用者の習熟レベルに合わせて記入する必要がある。もしくは、楽譜使用者が自分で楽譜に書き込む、もしくは熟練者に書き込んでもらうという必要があって、甚だ非効率であった。
上記の点に鑑み、本発明は、原稿楽譜の形態を崩さずに、補助記号を簡易に付加する楽譜編集方法を提供することを目的とする。
上記課題を解決するため、本発明に係る楽譜編集方法は、楽譜を表現する画像データを画像処理装置において画像処理することにより楽譜を編集する楽譜編集方法であって、楽譜の原稿を読取装置で読み取ることにより得られた画像データを入力する入力工程と、楽譜上の記号と前記楽譜に新たに付加する補助記号とを対応付ける複数のテーブルをディスプレイに表示する表示工程と、前記入力された画像データから楽譜上の記号を抽出する抽出工程と、前記入力された画像データから楽譜上の五線譜間の余白領域を検出する検出工程と、前記ディスプレイに表示された複数のテーブルから、ユーザにより前記画像処理装置のマンマシンインタフェースを用いてテーブルを選択させる選択工程と、前記選択されたテーブルを参照して、前記抽出工程において抽出された記号に対応付けられた補助記号を特定する特定工程と、前記特定工程において特定された補助記号を表現するデータを前記余白領域に付加することにより編集された楽譜を表現する画像データを生成する生成工程とを備える。
本発明によれば、原稿楽譜の形態を崩さずに、補助記号を付加することができる。
画像処理装置の構成例を示すブロック図である。 画像入力部についての具体的な構成例を示す図である。 画像処理装置において実行される楽譜編集方法を示すフローチャートである。 表示部が表示する編集内容の一例を示す図である。 表示部が表示する編集内容の他の例を示す図である。 画像入力部から読み取られた画像の一例を示す図である。 禁止領域とレイアウト可能な領域を説明する図である。 指に番号が割り振られている一例を示す図である。 楽譜データからコード名に変換する際に用いるテーブルを示す図である。 補助記号のレイアウト処理の手順を示すフローチャートである。
以下に、本発明を実施するための形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
[第1の実施例]
図1は、本実施例に係る画像処理装置100の構成例を示すブロック図である。図1に示す画像処理装置100としては、MFP(Multi Function Peripheral:複合機能周辺装置)が用いられる。図1において、画像入力部1は、編集の元となる画像を入力する。画像入力部1は、既に電子化されたデータを使う場合と画像読取を行う場合とに用いられる。以下、例として、原稿画像をスキャナ等で読み取る場合を説明するが、電子化されたデータを使う場合も同様である。画像入力部1は、原稿画像からの反射光または透過光を受光素子により光電変換し、多値の輝度データとして取得する。
駆動部2は、画像入力部1および画像出力部12の動作におけるモータ、モータの駆動力を伝達するギヤ、モータを制御するドライバ回路などから構成される。ここで、一方向に配置されたラインセンサを使用する場合には、ラインセンサと平行の方向を主走査方向、ラインセンサと垂直の方向を副走査方向と呼ぶ。すなわち、駆動部2により移動する方向は副走査方向となる。CPU3は、画像処理装置100が備える様々な機能を制御し、操作部6の所定の操作に従い、ROM4に記憶された画像処理プログラムを実行する。また、不揮発性メモリ5は、バッテリバックアップされたSRAMや書換え可能なROMなどで構成され、画像処理装置に固有のデータなどを記憶する。例えば、後述する、補助記号を表示するために必要な情報を保管する。
また、操作部6は、画像編集処理を行う設定キー、どのような変換を行うかを選択するためのキー、スタートキー、モードキー、カラー/モノクロ印刷を切り替えるキー、動作を停止するためのストップキー、出力部数を入力するテンキー等から構成される。CPU3は、これらのキーの押下状態を検出し、その状態に応じて各部を制御する。表示部7は、ドットマトリクスタイプの液晶表示部(LCD)及びLCDドライバを備え、CPUの制御に基づき各種表示を行う。また、スキャンした画像データのサムネイルを表示する。ユーザは、操作部6と表示部7を用いて、後述する画像の編集内容を指示することができる。
原稿(楽譜)情報検出部8は、画像を解析して原稿上の情報を得る。ここでは、原稿である楽譜上の音の高さ、長さ、組み合わせ(和音)や楽譜上の記号(強弱記号など)を検出する。余白領域検出部9は、原稿上の情報のない余白部分を、後述する補助記号をレイアウトするために必要な余白領域として検出する。変換部10は、ユーザによる編集内容の指示に基づいて、検出された原稿上の情報に対して変換処理を行う。レイアウト部11は、変換された原稿上の情報を示すデータと余白領域のデータとに基づき、補助記号のレイアウトを行うレイアウト編集を行う。画像出力部12は、インクジェット方式のインクジェットヘッド、電子写真式のプリンタと制御用ICなどによって構成される。画像出力部12は、CPU3の制御により不揮発性メモリ5に格納されている印刷データを読み出し、ハードコピーとしてプリント出力する。特に、本実施例においては、画像出力部12は、レイアウト編集された画像を用紙にプリントあるいはディスプレイ出力する。
図2は、図1に示す画像入力部1についての具体的な構成例を示す図である。光源23は、原稿台ガラス21に置かれた読取り原稿22に対して照射する。また、レンズ24は、原稿で反射・拡散した光を集光する。受光センサ26は、レンズ24とミラー25とからなる光学系において、集光された光を光電変換する。受光センサ26には、例えば、CCDやCMOSタイプが用いられる。電気回路27は、アナログ信号をデジタル信号に変換するアナログフロントエンドである。基準板28は、原稿台ガラス21の面の読取り位置に取り付けられており、シェーディング補正に用いられる。カラー画像を読み取る場合には、白色光が光源23に用いられ、RGBの各フィルタにより特定の波長の光が吸収された後、受光センサで光電変換されて、カラー画像が得られる。または、RGBの波長を持った光源を逐次点灯し、受光センサで光電変換することにより、カラー画像が得られるようにしても良い。また、図2中の光学系には、レンズを用いて像を縮小する縮小光学系と、画像サイズと等倍のセンサを用いてスキャンするCIS(Contact Image Sensor)系の方式が一般的に用いられる。光源23、レンズ24及びミラー25からなる光学系、受光センサ26、電気回路27を含むユニットとした駆動部2を副走査方向に移動させることにより、原稿の画像データが取得される。
[全体処理フローの説明]
図3は、本実施例における画像処理装置において実行される楽譜編集方法を示すフローチャートである。以下、各ステップについて説明する。ステップS301において、ユーザによる編集内容の指示が行われる。本実施例においては、複数のタブにより、ピアノ演奏用、ギター演奏用、合唱用などの楽器毎や、よみがな、記号解説用などに編集内容が分類されて表示される。複数のタブの構成により、多くの編集内容を容易に編集可能としている。例えば、楽譜編集モードが選択された場合、以下に説明するような表示例に従い、操作部6と表示部7を使用して編集内容の指示が行われる。
図4の(a)は、マンマシンインタフェースとしての表示部7の一例を示す図である。まず、ユーザがピアノ演奏のタブシートを所望する場合、補助記号編集用のタブシート401を選択する。ユーザは、更に、そのタブの中で表示される選択肢の中からどの種類の補助記号を楽譜上に追加するかを選択する。補助記号としては、楽譜上のそれぞれの音符を左右両手のどの指で演奏するかを示す指使いを示す補助記号402や、和音を示すコード名を示す補助記号403がある。また、キーボードでどの鍵盤を押さえればよいかという簡易表示を示す補助記号404や、子どもなどの初心者でも馴染みやすいように楽譜専門用語を用いずに解りやすくマークで示す補助記号405がある。
また、直接、表示方法を選択するだけでなく、図5の(a)又は(b)に示すように、それぞれの編集内容を「中級」「初級」「はじめて」「キッズモード」として更に分類するようにしても良い。また、「キッズモード」を選択した場合に、キーボードの絵ではなく、例えばキーボードに張ったシールと同じ絵柄や色の記号を表示するようにすると初心者や子どもの練習用には好ましい場合がある。
ギター楽譜のタブを選択して編集する場合には、図4の(b)に示すようなギター演奏の補助記号編集用のタブシート406に移行する。タブシートの401の場合と同様に、ユーザは、選択肢の中からどの種類の補助記号を楽譜上に追加するかを選択する。例えば、ギター演奏用のコードを追加編集する場合は、コード情報を示す補助記号407や、コードを押さえるためのフレッド上での指使い表示を示す補助記号408を選択する。また、他の楽器で用いる演奏補助記号の場合も、他のタブシートを選択して同様に行う。また、楽器以外の声楽用に音符の音階をつけるようなタブシートを構成しても良いし、楽譜上の記号の意味を解りやすく解説する学習モードのようなタブシートを構成しても良い。また、タブシートは、上記の楽器毎ではなく、「指運び」「コード」「アイコン」などで分類しても良い。また、ステップS301における指示として、タブ構造による表示部7による指示だけでなく、他の表示方法、選択方法が用いられても良い。
以下、S301においてユーザによりタブシート401が選択され、更に、ピアノの指使いを示す補助記号402が選択された場合について説明する。ステップS302において、画像入力部1から画像が読み取られると、デバイスの分光特性により得られたRGB信号が、画像処理を行う標準的な色空間に入力プロファイル変換される。ステップS302において、図6に示すようなビットマップ画像データとして得られる。
ステップS303において、画像前処理として、画像の傾き補正を行う。これは、読取装置が原稿を読み取る際に、原稿が傾く場合や原稿上の楽譜がそもそも傾いている場合があるために行われる。傾き補正としては、例えば、楽譜の五線画像の直線性を利用する方法が用いられる。図6に示すように、複数の角度でヒストグラムを作成した場合、五線に平行な角度の場合には、五線に相当する部分のヒストグラムの山谷が深くなる。即ち、五線の直線データが主走査方向に平行になる角度を算出して画像全体に対して回転補正を行う。また、必要であれば、固定もしくは動的な閾値を有する2値化の演算も行う。ここで、2値化の方法としては、固定の閾値を用いても良いし、原稿の最高濃度や紙白が原稿により異なる場合には、明度のヒストグラムを作成した後、適切な閾値を算出するようにしても良い。また、フィルタ処理を用いて、五線や音符の旗の細線再現性を高めるために太らせ処理をするようにしても良い。ステップS303で画像前処理された画像を新たな入力画像として一旦、記録領域に保存しておく。
この傾き補正により作成された画像データより、五線の情報を用いて規準位置を求める。五線の表す音程は、例えば、ト音記号とヘ音記号とで異なるため、まず、ト音記号およびヘ音記号を検出する。これは、少なくとも小節の最初に記載する記号であるため、その位置情報に基づいて、ROMに予め記憶されているト音記号およびヘ音記号とのパターンマッチングを行う。パターンマッチングする際に、パターンのサイズに関しては、例えば五線譜の間隔から、デフォルトのサイズを決めるようにする。
ステップS304において、上記基準位置の情報およびその位置の記号からの音程情報をもとに、楽譜の画像から各小節毎に、音程、音の長さ、音の組み合わせ(和音)、位置情報を抽出し、その抽出結果をコード化してRAM上の記憶エリアに記憶する。また、演奏用の補助記号、例えば、「八分音符=100」や「フォルテシモ」や「クレッシェンド」についてもROMに予め記憶されているデータとパターンマッチングし、その結果をコード化してRAM上の記憶エリアに記憶する。また、五線譜間隔、音符の玉の部分のサイズなどから原稿の楽譜サイズを検出して、その楽譜サイズを補助記号のレイアウト時のパラメータとして用いるようにしても良い。
ステップS305において、読み取られた原稿の画像から余白領域を検出する。検出された余白領域とS303において傾き補正された五線領域とから、補助記号をレイアウト可能な領域と、補助記号のレイアウトを禁止する禁止領域とを定める。図7に示すように、例えば、禁止領域とは五線領域であって、レイアウト可能な領域とは五線領域の上部の余白領域である。レイアウト可能な領域と禁止領域とを定める上で、微小な凹凸情報は、付加する補助記号のレイアウトには適さないため、所定のサイズのブロック単位で各領域を定めても良い。ステップS306において、ステップS301で指定された編集内容に従って、ステップS304においてコード化された楽譜情報を変換する。例えば、図4に示す指使いの補助記号402が選択されている場合には、ステップS304で検出された音符データは、演奏時に用いる指に割り振られた番号に変換される。図8に示すように指に番号が割り振られている場合に、ユーザは、その番号の割り振られた指で鍵盤を叩くことにより演奏することができる。
ステップS307において、ステップS305で定められた領域情報に従って、ステップS306で変換されたデータがS303で生成された新たな入力画像上にレイアウト処理される。この場合に、余白領域から、変換されたデータの大きさを最適化する。ここで、変換されたデータが小節ごとに異なるサイズで付加されると視覚的に違和感を与えるので、例えば、共通な種類の補助記号のレイアウト可能なサイズの内、最も大きなサイズで補助記号のレイアウトを行うようにしても良い。また、ユーザの注意を引きやすくするために、補助記号を新たな入力画像上の色とは別の色にしても良い。補助記号が指使いの場合には、音符に対応付けられた数字(補助記号)を余白領域に挿入する。その場合に、音符と位置を対応させて数字をレイアウトする。例えば、その場合に、音符の旗と上下反対側の五線譜欄外の余白領域にレイアウトする。また、その数字のフォントサイズは、音符から判断して決めるようにして、原稿の楽譜に補助情報を付加した後で読みやすくするようにしても良い。例えば、音符の1.5倍のフォントで数字を挿入することをデフォルトとしておいても良い。更には、そのデフォルトのフォントを、レイアウト領域の大きさ等を考慮して調整するようにしても良い。ステップS308において、S307において補助記号がレイアウト処理された画像をプリントアウトする。
[第2の実施例]
本実施例においては、ステップS301において、ピアノ演奏用のコード(補助記号403)挿入編集が指定された場合を説明する。以下、図3に示す処理において、第1の実施例と異なる部分についてのみ説明する。
本例の場合に、ステップS306において、ステップS304で検出された楽譜データをコード名に変換する。ステップS306において、まず、楽譜におけるドの音階は「c」に、ミの音階は「e」、ソの音階は「g」に変換される。ここで、例えば、第1小節が順に、c、e、c、gから構成されるとすると、これは、基音をcとする和音と表している。その場合には、予めROM上に格納された図9に示すテーブルのようなコード名への変換ルールを順次、照合していく。上述の例においては、図9に示すように、コード名「C」が補助記号として決定される。
ステップS307において、補助記号としてのコード名を、各小節の先頭付近にレイアウトする。コード名は、図9に示すように少数のアルファベットで表現されるため、レイアウトに必要な領域サイズが可変長となる。このため、小節先頭部分に他の楽譜情報(補助記号)がある場合に、次小節までにレイアウト可能な余白領域があるか否かを判定する。ここで、余白領域があると判定されれば、その位置にコード名をレイアウトし、ないと判定されれば、上下方向に移動もしくはサイズを小さくしてコード名をレイアウトする。
図10は、本実施例における補助記号のレイアウト処理の手順を示すフローチャートである。まず、ステップS1001において、デフォルトで設定されたサイズ又は五線の間隔から算出したコード名のサイズにより、小節先頭座標へのレイアウトを試みる。次に、ステップS1002において、S1001におけるレイアウト領域とレイアウト禁止領域とを照合する。ステップS1003において、その照合の結果、重ならずにレイアウト可能であるか否かを判定する。ここで、レイアウト可能であると判定された場合に、ステップS1004に進む。ステップS1004において、次のレイアウト座標を決定して次の小節のレイアウトを行い、最終小節まで同様の処理を繰り返す。一方、レイアウト可能でないと判定された場合に、ステップS1005に進む。
ステップS1005において、コード名を小節進行方向(X方向とする)に所定の値のみシフトさせ、補助記号のレイアウトを試みる。この値は、予め設定されていても良い。ステップS1006、S1007において、シフトした位置でのレイアウトが可能か否か判定する。ステップS1006、S1007は、ステップS1002、S1003の処理とそれぞれ同じである。ここで、レイアウト可能であると判定された場合に、ステップS1008に進み、S1004と同様の処理を行う。一方、レイアウト可能でないと判定された場合に、ステップS1009に進む。
ステップS1009において、次の小節までの余白領域があるか否かを判定し、もし、あるのであれば、ステップS1010に進む。ステップS1010においては、レイアウト可能領域に到達するまで、更に、順次X方向に所定の値のみシフトさせていき、レイアウト可能領域に到達すれば、次のレイアウト座標を決定して次の小節のレイアウトを行い、最終小節まで同様の処理を繰り返す。ここで、次の小節までの余白領域がなくなり、レイアウト可能領域に到達しなかった場合には、S1010からS1011に進む。
ステップS1009において、次の小節までの余白領域がないと判定された場合に、ステップS1011に進む。ステップS1011において、五線の上下方向にレイアウト可能なエリアがあるか否か検索する。ステップS1012、S1013において、シフトした位置でのレイアウトが可能か否か判定する。ステップS1012、S1013は、ステップS1002、S1003の処理とそれぞれ同じである。ここで、レイアウト可能であると判定された場合に、ステップS1014に進み、S1004と同様の処理を行う。一方、レイアウト可能でないと判定された場合に、ステップS1015に進む。ステップS1015において、コード名のサイズを変更する。ステップS1016において、変更されたコードでレイアウト可能か否かを判定する。ここで、レイアウト可能であれば、ステップS1017に進み、S1004と同様の処理を行う。一方、変更されたコードでもレイアウト可能なエリアがない場合には、コード名を補助記号として挿入できない旨をエラー表示するなどのエラー処理を行う。
[第3の実施例]
本実施例においては、ステップS301において、ピアノ演奏用の鍵盤アイコン挿入編集(補助記号404)が指定された場合を説明する。以下、図3に示す処理において、第1の実施例と異なる部分についてのみ説明する。
本例の場合に、ステップS306において、ステップS304で検出された楽譜データをピアノ演奏用のアイコンデータに変換する。第1小節は、順に、c、e、c、gと構成されているので、まず、それに対応する鍵盤に印をつけたアイコンデータを作成する。この場合、使用する鍵盤に印をつけることだけでなく、使用する鍵盤の順序を示す数字を用いても良い。ステップS307において、補助記号としてのアイコンを挿入できる余白領域を解析して、レイアウト処理する。この際に、追加したアイコン上の使用する鍵盤を示すマークを少なくとも本アイコンと別の色で印刷するようにして注意を引きやすくしても良い。補助記号としてのアイコンを挿入できる余白領域を解析する方法として、図10に示す方法を用いても良い。
[第4の実施例]
本実施例においては、ステップS301において、ピアノ演奏用のキッズモード用簡易アイコン挿入編集(補助記号405)が指定された場合を説明する。以下、図3に示す処理において、第1の実施例と異なる部分についてのみ説明する。
本例の場合に、ステップS306において、ステップS304で検出された楽譜データをピアノ演奏用のキッズモード用簡易アイコンデータに変換する。第1小節は、順に、c、e、c、gと構成されているので、それに対応するマーク(例えば、「りんご」「バナナ」「りんご」「みかん」)のアイコンデータを作成する。ステップS307において、補助記号としてのアイコンを挿入できる余白領域を解析して、レイアウト処理する。この際に、追加したアイコンをカラー印刷して分かりやすくしたり、色と音程の相関関係により、直感的に理解し易い絵柄、色を選ぶようにしても良い。
[第5の実施例]
ステップS301において、ギター演奏用のコード挿入編集(補助記号407)が指定された場合、ステップS306において、ステップS304で検出された楽譜データをコード名に変換する。以降の処理は、第2の実施例における説明と同様である。
[第6の実施例]
ステップS301において、ギター演奏用のフレッドアイコン挿入編集(補助記号408)が指定された場合、ステップS306において、ステップS304で検出された楽譜データをギター演奏用のアイコンデータに変換する。第1小節は、順に、c、e、c、gと構成されているため、それに対応するフレッドに印をつけたアイコンデータを作成する。この場合、使用するフレッドに印をつけることだけでなく、使用するフレッドの順序を示す数字を用いても良い。以降の処理は、第3の実施例における説明と同様である。
[第7の実施例]
ステップS301において、かな読み挿入編集(図4にタブシートとして図示)が指定された場合、ステップS306において、ステップS304で検出された楽譜データをかな読み表示用のデータに変換する。第1小節は、順に、c、e、c、gと構成されているため、それに対応する「ド、ミ、ド、ソ」を得る。以降の処理は、第1の実施例における説明と同様である。
以上の説明において、ステップS304の処理で、付加する補助記号と原稿に記入されている記号とが重複する場合に、原稿に記入されている元の記号を削除するようにしても良い。例えば、演奏用のコードGなどが原稿に記入されている場合に、演奏用のコードと演奏用のアイコンを併記するだけではなく、重複する記号を削除しても良い。また、原稿における記号は使用せずに、補助記号とコードをセットで再レイアウトするようにしても良い。
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。つまり、解析処理の一部または全部をPC上で行い、補正処理のみを装置上に記憶させる補正システムにしても良い。このようにすることにより、解析に必要な処理を装置外におくことが出来るため、コストを低減でき、処理速度を向上させることができる。
また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、コンピュータ(CPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行するようにしても良い。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。
記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる。更に、書き込まれた後に、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行うようにしても良い。そのことにより、前述した実施例の機能が実現される。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

Claims (8)

  1. 楽譜を表現する画像データを画像処理装置において画像処理することにより楽譜を編集する楽譜編集方法であって、
    楽譜の原稿を読取装置で読み取ることにより得られた画像データを入力する入力工程と、
    楽譜上の記号と前記楽譜に新たに付加する補助記号とを対応付ける複数のテーブルをディスプレイに表示する表示工程と、
    前記入力された画像データから楽譜上の記号を抽出する抽出工程と、
    前記入力された画像データから楽譜上の五線譜間の余白領域を検出する検出工程と、
    前記ディスプレイに表示された複数のテーブルから、ユーザにより前記画像処理装置のマンマシンインタフェースを用いてテーブルを選択させる選択工程と、
    前記選択されたテーブルを参照して、前記抽出工程において抽出された記号に対応付けられた補助記号を特定する特定工程と、
    前記特定工程において特定された補助記号を表現するデータを前記余白領域に付加することにより編集された楽譜を表現する画像データを生成する生成工程と
    を備えることを特徴とする楽譜編集方法。
  2. 前記読取装置による読取りの際に生じた楽譜上の五線譜の傾きを補正する補正工程をさらに備え、
    前記抽出工程は、前記補正工程において補正された楽譜上の記号を抽出し、
    前記検出工程は、前記補正工程において補正された楽譜上の五線譜間の余白領域を検出することを特徴とする請求項1に記載の楽譜編集方法。
  3. 前記生成工程は、前記補助記号のサイズを変更する変更工程をさらに備え、サイズが変更された前記補助記号を表現するデータを前記余白領域に付加することを特徴とする請求項1又は2に記載の楽譜編集方法。
  4. 前記生成工程において生成された画像データを出力する出力工程をさらに備えることを特徴とする請求項1乃至3のいずれか1項に記載の楽譜編集方法。
  5. 前記読取装置は、スキャナであることを特徴とする請求項1乃至4のいずれか1項に記載の楽譜編集方法。
  6. コンピュータに、請求項1乃至5のいずれか1項に記載の楽譜編集方法の各工程を実行させるためのプログラム。
  7. 楽譜を表現する画像データを画像処理することにより、楽譜を編集する画像処理装置であって、
    楽譜の原稿を読取装置で読み取ることにより得られた画像データを入力する入力手段と、
    楽譜上の記号と前記楽譜に新たに付加する補助記号とを対応付ける複数のテーブルをディスプレイに表示する表示手段と、
    前記入力された画像データから楽譜上の記号を抽出する抽出手段と、
    前記入力された画像データから楽譜上の五線譜間の余白領域を検出する検出手段と、
    前記ディスプレイに表示された複数のテーブルから、ユーザにより前記画像処理装置のマンマシンインタフェースを用いてテーブルを選択させる選択手段と、
    前記選択されたテーブルを参照して、前記抽出手段において抽出された記号に対応付けられた補助記号を特定する特定手段と、
    前記特定手段において特定された補助記号を表現するデータを前記余白領域に付加することにより編集された楽譜を表現する画像データを生成する生成手段と
    を備えることを特徴とする画像処理装置。
  8. 前記画像処理装置は、MFPであることを特徴とする請求項7に記載の画像処理装置。
JP2009066903A 2009-03-18 2009-03-18 画像処理装置、画像処理方法およびプログラム Expired - Fee Related JP5335501B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009066903A JP5335501B2 (ja) 2009-03-18 2009-03-18 画像処理装置、画像処理方法およびプログラム
US12/712,415 US8008562B2 (en) 2009-03-18 2010-02-25 Image processing apparatus, musical score editing method executed thereon, and storage medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009066903A JP5335501B2 (ja) 2009-03-18 2009-03-18 画像処理装置、画像処理方法およびプログラム

Publications (3)

Publication Number Publication Date
JP2010220097A true JP2010220097A (ja) 2010-09-30
JP2010220097A5 JP2010220097A5 (ja) 2012-05-10
JP5335501B2 JP5335501B2 (ja) 2013-11-06

Family

ID=42736358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009066903A Expired - Fee Related JP5335501B2 (ja) 2009-03-18 2009-03-18 画像処理装置、画像処理方法およびプログラム

Country Status (2)

Country Link
US (1) US8008562B2 (ja)
JP (1) JP5335501B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5335501B2 (ja) * 2009-03-18 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US8269094B2 (en) * 2009-07-20 2012-09-18 Apple Inc. System and method to generate and manipulate string-instrument chord grids in a digital audio workstation
JP2012138009A (ja) * 2010-12-27 2012-07-19 Kawai Musical Instr Mfg Co Ltd 楽譜認識装置、及びコンピュータプログラム
US8716583B2 (en) * 2011-03-15 2014-05-06 David M. Forrest Musical learning and interaction through shapes
US9147386B2 (en) 2011-03-15 2015-09-29 David Forrest Musical learning and interaction through shapes
JP6478840B2 (ja) 2015-07-01 2019-03-06 キヤノン株式会社 画像処理装置および画像処理方法
JP6666046B2 (ja) 2016-04-25 2020-03-13 キヤノン株式会社 画像処理装置および画像処理方法
JP6902886B2 (ja) 2017-03-14 2021-07-14 キヤノン株式会社 画像処理装置、方法およびプログラム
JP7316768B2 (ja) 2018-06-29 2023-07-28 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7329932B2 (ja) 2019-02-27 2023-08-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334179A (ja) * 1998-06-22 1998-12-18 Yamaha Corp 楽譜認識装置
JP2003330454A (ja) * 2002-03-08 2003-11-19 Yamaha Corp 楽譜表示制御装置および楽譜表示制御プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0199169A (ja) 1987-10-12 1989-04-18 Sharp Corp 楽譜変換方式
JPH02121857A (ja) 1988-10-31 1990-05-09 Brother Ind Ltd 楽譜編集装置
US4914709A (en) * 1989-06-02 1990-04-03 Eastman Kodak Company Method for identifying unrecognizable characters in optical character recognition machines
US4974260A (en) * 1989-06-02 1990-11-27 Eastman Kodak Company Apparatus for identifying and correcting unrecognizable characters in optical character recognition machines
US6272238B1 (en) * 1992-12-28 2001-08-07 Canon Kabushiki Kaisha Character recognizing method and apparatus
CN1106949A (zh) * 1993-07-08 1995-08-16 株式会社金星社 用于电子乐器演奏练习的装置及其控制方法
JP3133569B2 (ja) 1993-07-30 2001-02-13 ローランド株式会社 伴奏装置
JP2838969B2 (ja) 1994-02-15 1998-12-16 ヤマハ株式会社 楽譜読取装置
TW250558B (en) * 1993-10-20 1995-07-01 Yamaha Corp Sheet music recognition device
JP3448928B2 (ja) * 1993-11-05 2003-09-22 ヤマハ株式会社 楽譜認識装置
JP3597343B2 (ja) 1997-07-09 2004-12-08 株式会社河合楽器製作所 楽譜読み取り方法及び楽譜読み取りプログラムを記録したコンピュータ読み取り可能な記録媒体
US6694051B1 (en) 1998-06-24 2004-02-17 Canon Kabushiki Kaisha Image processing method, image processing apparatus and recording medium
JP3492202B2 (ja) 1998-06-24 2004-02-03 キヤノン株式会社 画像処理方法、装置および記録媒体
US6137041A (en) * 1998-06-24 2000-10-24 Kabashiki Kaisha Kawai Gakki Music score reading method and computer-readable recording medium storing music score reading program
JP3632522B2 (ja) * 1999-09-24 2005-03-23 ヤマハ株式会社 演奏データ編集装置、方法及び記録媒体
US7006668B2 (en) 1999-12-28 2006-02-28 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP4095265B2 (ja) 2001-09-06 2008-06-04 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
JP4012079B2 (ja) 2002-03-20 2007-11-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8102558B2 (en) 2002-08-05 2012-01-24 Canon Kabushiki Kaisha Image supply apparatus, control method therefor, and printing system
US7345236B2 (en) * 2003-02-03 2008-03-18 Terra Knights Music, Inc. Method of automated musical instrument finger finding
JP4501590B2 (ja) * 2004-08-24 2010-07-14 ヤマハ株式会社 音楽情報表示装置および音楽情報表示方法を実現するためのプログラム
JP2008524656A (ja) * 2004-12-15 2008-07-10 ミューズアミ,インコーポレイティド 同期化されたプレゼンテーションを伴う楽譜捕捉および同期化されたオーディオパフォーマンス用のシステムおよび方法
KR100735444B1 (ko) * 2005-07-18 2007-07-04 삼성전자주식회사 오디오데이터 및 악보이미지 추출방법
JP4926568B2 (ja) 2006-06-29 2012-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP4637063B2 (ja) 2006-07-04 2011-02-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP4632452B2 (ja) 2006-07-07 2011-02-16 キヤノン株式会社 画像補正処理装置、画像補正処理方法、プログラム及び記憶媒体
JP2010518459A (ja) * 2007-02-14 2010-05-27 ミューズアミ, インコーポレイテッド 配布オーディオファイル編集用ウェブポータル
US8119975B2 (en) * 2007-09-26 2012-02-21 Crowsocs, Inc. High speed deterministic, non-contact, 3-axis free trajectory measurement device and free trajectory imaging device
JP5154886B2 (ja) * 2007-10-12 2013-02-27 株式会社河合楽器製作所 楽譜認識装置及びコンピュータプログラム
US8494257B2 (en) * 2008-02-13 2013-07-23 Museami, Inc. Music score deconstruction
JP5335501B2 (ja) * 2009-03-18 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
TWI386912B (zh) * 2009-06-12 2013-02-21 Univ Nat Taiwan Science Tech 即時辨識樂譜的方法與系統

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10334179A (ja) * 1998-06-22 1998-12-18 Yamaha Corp 楽譜認識装置
JP2003330454A (ja) * 2002-03-08 2003-11-19 Yamaha Corp 楽譜表示制御装置および楽譜表示制御プログラム

Also Published As

Publication number Publication date
US20100236381A1 (en) 2010-09-23
JP5335501B2 (ja) 2013-11-06
US8008562B2 (en) 2011-08-30

Similar Documents

Publication Publication Date Title
JP5335501B2 (ja) 画像処理装置、画像処理方法およびプログラム
US6809246B2 (en) Electronic music display device
AU2004200230B2 (en) Colored music notation system and method of colorizing music notation
JP2008170947A (ja) 自律型読譜および音楽演奏ロボット、およびその方法
EP1989696A2 (en) Braille music systems and methods
JP5154886B2 (ja) 楽譜認識装置及びコンピュータプログラム
JP2009153068A (ja) 楽譜の加工方法及び画像処理装置
JP6838659B2 (ja) コード情報抽出装置、コード情報抽出方法およびコード情報抽出プログラム
Maxwell et al. Mockingbird: A composer's amanuensis
JP4686405B2 (ja) 電子ペンを用いた電子楽器の演奏指示システム、方法、コンピュータプログラム、および、楽譜
JP5608847B2 (ja) 情報読取出力装置および情報読取出力システム
JP2838969B2 (ja) 楽譜読取装置
JP3608674B2 (ja) 楽譜認識装置
JP2009151713A (ja) 楽譜作成方法及び画像処理装置
JP5189952B2 (ja) 楽譜認識装置、及びコンピュータプログラム
JP2555673B2 (ja) 楽譜版下作成装置
George Evaluation in the visual perception of music
Skinner Music software
JPS5825392Y2 (ja) 楽譜入力装置
JP2021152618A (ja) パート譜生成装置およびパート譜生成プログラム
FI105954B (fi) Menetelmä ja järjestelmä sähköisessä muodossa olevan tiedon liittämiseksi painettuun tietoon
JPH08186703A (ja) データ処理装置
JP5254813B2 (ja) 音符入力装置及び音符入力プログラム
JPH0199088A (ja) タブラチュア楽譜入力方式
Stuart Dr. T's Copyist (SOS May 1990)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130731

R151 Written notification of patent or utility model registration

Ref document number: 5335501

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees