JP2013161040A

JP2013161040A - 譜面作成装置、譜面作成方法、プログラムおよび記録媒体

Info

Publication number: JP2013161040A
Application number: JP2012025086A
Authority: JP
Inventors: Mayuka Araumi; 麻由佳荒海
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2012-02-08
Filing date: 2012-02-08
Publication date: 2013-08-19

Abstract

【課題】ペンタッチ操作により音符などの入力効率を向上させる。
【解決手段】接触位置検出部１０３は、ペンタッチされた座標位置を検出し、制御部１０６は、座標位置に対応した音符の位置が記憶されているテーブル格納部１０７を参照して音符の位置を決定する。接触時間検出部１０４は、ペンが同一位置にタッチしていた時間の長さを検出し、制御部１０６は、時間の長さに対応した音符の種類が記憶されているテーブル格納部１０７を参照して音符の種類を決定する。接触圧検出部１０５はペンの筆圧を検出し、制御部１０６は、ペンの筆圧に対応した演奏指示記号が記憶されているテーブル格納部１０７を参照して演奏指示記号を決定する。制御部１０６は、音符の位置、種類に対応した音符データ１０９、五線譜データ１１０を用いて、表示部１１２の五線譜上に音符を表示する。
【選択図】図１

Description

本発明は、ペンタッチ操作により譜面を作成する譜面作成装置、譜面作成方法、プログラムおよび記録媒体に関する。

従来、パソコンを用いて電子的に譜面を作成する第１の方法として、マウスを用いて配置したい音符を選択して、それを五線譜の所望の位置までドラッグするという作業の繰り返しによって譜面を作成する方法がある。また、第２の方法として、譜面作成ソフトウエアを備えた鍵盤（ピアノの鍵盤の形状をした入力インターフェイス）で演奏して、コンピュータがそれを譜面に落とすという方法である。

上記した第１の方法は、ＰＣさえあれば手軽に譜面を作成することが可能であるが、音の高さ、長さを別々に指定しているので入力効率が極めて悪いという問題がある。また、第２の方法は、入力効率が良好であるが、ユーザーが鍵盤で演奏できなければならないことからユーザーが限定され、また、鍵盤は携帯性に劣るため、譜面作成の時や場所も限定されてしまう。

そこで、電子ペンを用いた手書き入力による譜面の作成方法が提案されている（非特許文献１を参照）。この方法では、十数種類のストロークルールを設定しておき、簡単な操作で効率的に譜面が作成できるという手法であり、例えば、既存音符の近くで上向きの線を書くと、その音符の長さを２倍にするなどのルールが定められている。

しかし、上記したルールを覚えて使うというのは訓練が必要であり、また使いこなせるようになっても入力効率が少々改善されるに過ぎず、大きな効果は期待できない。

本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、ペンタッチ操作により音符などの入力効率を向上させた譜面作成装置、譜面作成方法、プログラムおよび記録媒体を提供することにある。

本発明は、五線譜が表示されている入力画面に、所定の部材が接触した接触位置を時系列で検出する第１の検出手段と、前記所定の部材が前記接触位置に接触している接触時間を検出する第２の検出手段と、前記検出された接触位置と接触時間に対応する音符の位置と種類を決定し、前記決定した音符を五線譜上に配置して前記入力画面に表示する制御手段を備えたことを最も主要な特徴とする。

本発明によれば、ペンタッチ操作により音の高さ、長さ、強さを入力しているので、譜面作成装置における操作の煩雑性に起因する入力効率が改善されるとともに、直感的な操作による譜面作成が可能になる。

本発明の実施例に係る譜面作成装置の構成を示す。本発明の入力画面の構成例を示す。本発明の実施例１〜３の処理フローチャートを示す。図３のステップ３０４の詳細な処理フローチャートを示す。音の高さの指定方法を説明する図である。実施例２の手書き情報の入力を説明する図である。実施例４の構成例を示す。

本発明では、画面に表示された五線譜の上を、譜面に落としたいリズムで直感的にペンタッチし、ペンタッチした位置で音の高さが決まり、ペンタッチの長さで音の長さが決まるので、それらデータから譜面を作成する。

以下、発明の実施の形態について図面により詳細に説明する。

図１は、本発明の実施例に係る譜面作成装置の構成を示す。図１において、１０１はペンタッチ操作により音符を入力するタッチパネルの入力部、１０２はト音記号などを選択するタッチパネルの選択部、１０３はペンの位置座標を検出する接触位置検出部、１０４はペンが同一位置にタッチしていた時間を検出する接触時間検出部、１０５はペンの筆圧を検出する接触圧検出部、１０６は装置全体を制御する制御部、１０７は接触位置、接触時間、接触圧をそれぞれ音符の位置、音符の種類、指示記号に変換するテーブルを格納したテーブル格納部、１０８は音符の音、メトロノーム音などを格納した音源データ格納部、１０９は音符、演奏指示記号などのフォントを格納した音符データ格納部、１１０は五線譜データ格納部、１１１はスピーカなどの音声出力部、１１２はタッチ入力エリア、入力譜面表示エリアなどを表示するタッチパネルの表示部である。

図２は、本発明の入力画面の構成例を示す。図２において、２０１はタッチパネル、２０２は電子ペン、２０３はタッチ入力エリア、２０４は入力譜面表示エリアを示す。本発明のタッチパネル２０１は、ペン２０２の筆圧を感知できる、例えば電磁誘導方式のタッチパネルを用いる。電磁誘導方式は、磁界を発生するペンと座標検出用のセンサとの電磁誘導による電気的な変化を検出することによりペンの座標位置を検出する方式である。

タッチパネル２０１は、入力部１０２と表示部１１２が一体に構成されていて、タッチ入力エリア２０３には、五線譜データ格納部１１０から読み出された五線譜が表示され、ユーザーによる音符の入力状態となる。入力譜面表示エリア２０４には、タッチ入力された音符が音符データ格納部１０９から読み出されて表示される。

図３は、本発明の実施例の処理フローチャートを示す。譜面作成装置の図示しない電源を入れると、制御部１０６は選択部１０２に所定のメニューを表示する。電源投入時には、入力部１０１の表示画面が選択部１０２の表示画面として機能し、メニューの選択が終了すると、選択部１０２の表示画面が入力部１０１の表示画面に切り替わる。

選択部１０２には、メニューとして楽譜記号が表示される。表示される楽譜記号は、例えば、ト音記号、ヘ音記号、ハ音記号などである。ユーザーは、使用楽器や男声／女声により音域が異なるので、音域に応じた記号を選択する（ステップ３０１）。

次いで、選択部１０２には、メニューとして拍子（楽譜記号）が表示され、拍子を選択する（ステップ３０２）。拍子として、４／４拍子、６／８拍子など任意のものを選択できる。

次いで、選択部１０２には、メニューとしてテンポ（楽譜記号）が表示され、テンポを選択する（ステップ３０３）。テンポは、一分間の四分音符の数で指定するのが一般的であるが、ここでは、例えばＬａｒｇｏ（緩やかに）、Ａｎｄａｎｔｅ（歩く速度で）、Ｐｒｅｓｔｏ（急速に）といった速度指示を選択する。

楽譜記号、拍子、テンポが選択されると、制御部１０６は選択された拍子、テンポのメトロノーム音を音源データ格納部１０８から読み出し、音声出力部１１１によりメトロノーム音を鳴らし、あるいはメトロノームを表示部１１２に表示させ、それに合わせてユーザーは、ペンタッチ操作により音符の入力を開始する（ステップ３０４）。制御部１０６は、メニューの選択が終了すると、選択部１０１の表示画面を、図２に示す入力部１０２の入力画面に切り替える。

図４は、図３のステップ３０４の詳細な処理フローチャートを示す。図２に示すように、タッチ入力エリア２０３内でペン２０２をタッチ（接触）することにより、制御部１０６は時系列の位置座標、接触時間、筆圧データを取得する（ステップ４０１）。

図５は、音の高さの指定方法を説明する図である。タッチ入力エリア２０３において、ペンの位置を認識するｙ座標は、座標検出用のセンサにより決められている。図５（ａ）では、例えば、下第２線のｙ０、下第２間のｙ１から上第２間のｙ１５、上第２線のｙ１６までのｙ０≦ｙ≦ｙ１６である。タッチ入力エリア２０３内で上記した範囲のｙ座標位置にペン２０２をタッチしたとき、ペン２０２が離れる（ペンアップ）あるいはタッチ入力エリア２０３内でペン２０２が動き、ｙ座標が変化するまでを一つの音と認識する。ｙ０≦ｙ≦ｙ１６の範囲で、ペンタッチされたｙ座標からの距離が最も近いｙの値を取得する。例えば、ペンタッチされた点のｙ座標がｙ２に最も近かった場合は、「ド」の音と認識され音の高さが決まる。

すなわち、ペンタッチされたｙ座標位置が接触位置検出部１０３により検出され、制御部１０６は、ｙ座標位置に対応した音符の位置が記憶されているテーブル格納部１０７を参照し、接触位置検出部１０３により検出されたｙ座標位置に対応する音符の位置、ここでは「ド」の音を決定する（ステップ４０２）。

同時に、接触時間検出部１０４は、ペン２０２が同一の位置にタッチしていた時間の長さを検出する。制御部１０６は、時間の長さに対応した音符の種類が記憶されているテーブル格納部１０７を参照し、接触時間検出部１０４により検出された時間の長さに対応する音符の種類を決定する（ステップ４０３）。例えば、一拍が０．５秒のテンポの４／４拍子の場合に、座標ｙ２の位置に０．５秒間接触した場合であれば、４分音符と認識する。

制御部１０６は、ステップ３０１で選択された記号、ステップ４０２、４０３で決定された音符の位置、種類に対応した音符データ１０９、五線譜データ１１０を用いて、図５（ｂ）に示すように、表示部１１２に、五線譜上にト音記号と４分音符を「ド」の位置に表示する（ステップ４０５）。

また、同時にアーティキュレーションを入力する。接触圧検出部１０５はペンの筆圧データを経時的に取得する（ステップ４０１）。制御部１０６は、ペンの筆圧に対応した演奏指示記号が記憶されているテーブル格納部１０７を参照し、接触圧検出部１０５により検出された筆圧データに対応する演奏指示記号を決定する（ステップ４０４）。例えば、ペンダウンしたときの平均筆圧から概ね２０％増しになったらｆ（フォルテ＝強く）、５０％増しになったらｆｆ（フォルテシモ＝とても強く）、タッチの瞬間のみ筆圧が強くなった場合はｓｆ（スフォルツァンド＝その音を突然強く）などと決定する処理が行われる。また、逆に平均筆圧から筆圧が低下したときｐ（ピアノ＝弱く）などと決定する。

制御部１０６は、ステップ４０４で決定された演奏指示記号に対応した記号データ１０９を用いて表示部１１２に、筆圧が変化した部分に演奏指示記号を表示する（ステップ４０６）。

ペンアップからペンダウンまでの時間ｔが所定の時間（ｔ１）以下のとき、次のペンタッチ入力があったと認識し（ステップ４０７でＹｅｓ）、ステップ４０１以下の処理を実行する。なお、上記したペンアップからペンダウンまでの時間ｔがｔ１＜ｔ＜ｔ２のとき、すなわち、ペン接触が途切れた部分には休符を表示する。また、設定された拍子に合わせて、制御部１０６は入力譜面表示エリア２０４に縦線も表示する。

上記したペンアップからペンダウンまでの時間ｔがｔ２≦ｔのとき、次のペンタッチ入力がないものと認識する（ステップ４０７でｎｏ）。本実施例によれば、直感的なペンタッチ操作により譜面を作成することができる。また、指定の拍子でメトロノーム音を鳴らしたり、メトロノームを表示部１１２に表示させたりしているので、精度の良い入力が可能となる。

実施例２では、図４の処理フローチャートにおいてステップ４０８を実施し、指示記号などの手書き情報を入力する。図６は、実施例２の手書き情報の入力を説明する図である。所定量の譜面を作成し終わった後に、スタッカートやテヌート、弦楽器の弓使い、管楽器のブレスなどの細かい指示記号をタッチパネル２０１上で手書き入力する。手書き情報は、時系列の座標データとして接触位置検出部１０３により検出され、制御部１０６は、時系列の座標データを基に表示データを生成してタッチパネル２０１の表示部１１２に表示する。なお、表示データを生成する際に、手書き入力された座標データに対して直線化やスムージングなどの所定の画像処理を施す。本実施例によれば、手書き入力によってこまやかな演奏指示が可能となる。

実施例３では、図４の処理フローチャートにおいてステップ４０９を実施し、作成した譜面の通りに音を鳴らして確認する。制御部１０６は、作成した譜面を基に音源データ格納部１０８から音源を読み出し、スピーカなどの音声出力部１１１から音を出力し、ユーザーはメロディーを確認することができる。また、作成した譜面の任意の場所に戻って効率よく修正や訂正が可能となる。なお、入力したように音を鳴らせて、一音ごとに確認することもできる。

本発明は上記した実施例に限定されず種々の変更が可能である。例えば、ピアノやオーケストラの楽譜のように複数パートがある場合は、既に作ったパートの音を鳴らしながら、ハーモニーを確認しながら入力するようにしてもよい。また、テンポが速いパートを入力するときには、実際の演奏速度よりもゆっくりしたテンポで入力できるなど、入力の速度を調整できるようにしてもよい。

図７は、本発明をソフトウエアで実施する場合の譜面作成装置のハードウエア構成例を示す。コンピュータ１は、プログラム読取装置１ａ、全体を制御するＣＰＵ１ｂ、ＣＰＵ１ｂのワークエリア等として使用されるＲＡＭ１ｃ、ＣＰＵ１ｂの制御プログラム等が記憶されているＲＯＭ１ｄ、ハードディスク１ｅ、ネットワーク上の機器と通信を行うＮＩＣ１ｆ、マウス１ｇ、キーボード１ｈ、画像データなどを表示するディスプレイ２、タッチパネル３、スピーカなどの音声出力部４を備えている。本譜面作成装置は、例えばワークステーションやパーソナルコンピュータなどで実現することができる。

このような構成の場合、図１に示す制御部、接触位置検出部、接触時間検出部、接触圧検出部の機能はＣＰＵ１ｂに持たせることができ、テーブル格納部、音源データ格納部、音符データ格納部、五線譜データ格納部の機能はＲＡＭ１ｃ、ＲＯＭ１ｄ、ＤＩＳＫ１ｅなどの記憶装置を利用することができる。なお、ＣＰＵ１ｂで行われる処理機能は、例えばソフトウエアパッケージ、具体的には、ＣＤ−ＲＯＭや磁気ディスク等の情報記録媒体の形で提供することができる。

本発明は、前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。

１０１入力部
１０２選択部
１０３接触位置検出部
１０４接触時間検出部
１０５接触圧検出部
１０６制御部
１０７テーブル格納部
１０８音源データ格納部
１０９音符データ格納部
１１０五線譜データ格納部
１１１音声出力部
１１２表示部

楽譜の手書き入力システム」（東邦大学）情報処理学会研究報告２００５−ＭＵＳ−６０

Claims

五線譜が表示されている入力画面に、所定の部材が接触した接触位置を時系列で検出する第１の検出手段と、前記所定の部材が前記接触位置に接触している接触時間を検出する第２の検出手段と、前記検出された接触位置と接触時間に対応する音符の位置と種類を決定し、前記決定した音符を五線譜上に配置して前記入力画面に表示する制御手段を備えたことを特徴とする譜面作成装置。
前記所定の部材が前記接触位置に接触している接触圧を検出する第３の検出手段を備え、前記制御手段は前記検出された接触圧に対応する演奏指示を決定し、前記決定した演奏指示を五線譜上に配置して前記入力画面に表示することを特徴とする請求項１記載の譜面作成装置。
前記接触位置に対応する音符の位置、前記接触時間に対応する音符の種類、前記接触圧に対応する演奏指示を格納した格納手段を備え、前記制御手段は前記格納手段を参照して、前記各検出手段の検出結果を決定することを特徴とする請求項１または２記載の譜面作成装置。
前記入力画面上で所定の拍子を指定する指定手段を備え、前記制御手段は前記指定された拍子でメトロノーム音を鳴らし、またはメトロノームを表示することを特徴とする請求項１記載の譜面作成装置。
五線譜が表示されている入力画面に、所定の部材が接触した接触位置を時系列で検出する第１の検出工程と、前記所定の部材が前記接触位置に接触している接触時間を検出する第２の検出工程と、前記検出された接触位置と接触時間に対応する音符の位置と種類を決定し、前記決定した音符を五線譜上に配置して前記入力画面に表示する制御工程を備えたことを特徴とする譜面作成方法。
請求項５記載の譜面作成方法をコンピュータに実現させるためのプログラム。
請求項５記載の譜面作成方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。