JP2012058518A - 演奏評価装置および演奏評価プログラム - Google Patents

Abstract

【課題】 楽曲の部分、および、楽曲全体の双方の評価が、演奏者により認識できる
【解決手段】 ＣＰＵ２１は、演奏者による押鍵によって、演奏データとして、ガイドデータが示す鍵の押鍵がされたかを示す正誤フラグおよび押鍵タイミングのずれ時間を取得してＲＡＭ２３に格納する。また、ＣＰＵ２１は、変換元画像中、ガイドデータ中のイベントに対応付けられたブロックにおいて、当該イベントについての演奏データに基づいて、その画調を変換し、ブロックごとにその画調が変換された変換済画像を生成し、表示部１３の画面上に表示する。
【選択図】 図２

Description

本発明は、演奏者による演奏を評価する演奏評価装置および演奏評価プログラムに関する。

従来、課題となる楽曲を演奏者に演奏させて、模範演奏についてのデータと、演奏者による演奏データとを比較して、演奏者による演奏を評価する評価装置が知られている。演奏評価のためには、正しい鍵を押鍵しているか、および、正しいタイミングで押鍵しているか、という２つの要素を調べることが一般的である。

特許文献１には、不適な演奏操作の種別（白鍵の操作ミス、黒鍵の操作ミスなど）を判別し、種別ごとに不適な操作の回数をカウントして、操作回数に応じた演奏評価を行なう装置が提案されている。

また、特許文献２には、楽曲のパート或いは区間における演奏評価が可能な演奏評価装置が提案されている。

特許第３２６６９３４号公報 特許第３９１５４５２号公報

従来、評価結果を表示する方法として、たとえば、以下のような手法が採用されていた。
（１）楽譜の音符に「○」或いは「×」の印を付すことで、その音符についての押鍵の正誤を示す。
（２）楽曲全体、或いは、区間ごとに採点をして、得点を表示する。
（３）「良くできました」、「もう一度演奏しましょう」など、演奏評価にかかる文章を提示する。

（１）では、楽曲のどの部分に問題があるかが明確に理解できる反面、表示の面白みに欠くという問題点がある。（２）では、数値による表示であるため、演奏者が練習を繰り返すことによる演奏の上達を客観的に表現することは可能である。しかしながら、楽曲のどの部分の演奏が良好でありどの部分に問題があるかを明確にすることは困難である。また、（３）では、どのような練習をするかを示すことができるため、演奏者のモチベーションを向上させる可能性はある。しかしながら、その反面、抽象的な評価であるため、どの部分の演奏に問題があるかを明確にすることが困難である。

近年、液晶表示装置など表示デバイスのコスト低下、大型化およびカラー化が進み、電子楽器の表示装置として、大型の液晶表示装置を配置し、楽譜などを表示することが可能となっている。そこで、大型の液晶表示装置を用いて、単に「○」や「×」のような単純な記号により演奏を評価するのではなく、多様な表現で演奏を評価することが望ましい。

本発明は、楽曲の部分、および、楽曲全体の双方の評価が、演奏者により認識できる演奏評価装置を提供することを目的とする。

本発明の目的は、複数の演奏操作子と、
操作すべき演奏操作子を指定するイベントのレコード、および、操作の時間間隔を示すタイムのレコードを少なくとも含むガイドデータを格納する記憶装置と、
前記演奏者による演奏操作子の操作と、前記ガイドデータの対応するレコードとの同一性或いは相違を示す情報を演奏データとして、前記記憶装置に格納する演奏データ生成手段と、
変換元画像中、前記ガイドデータ中のイベントに対応付けられたブロックにおいて、前記イベントについての演奏データに基づいて、その画調を変換し、ブロックごとにその画調が変換された変換済画像を生成する変換手段と、
前記変換済画像を表示する表示手段と、を備えたことを特徴とする演奏評価装置により達成される。

好ましい実施態様においては、前記演奏操作子内部或いは前記演奏操作子に隣接して配置され、演奏者が操作すべき演奏操作子を示すための発光素子と、
前記ガイドデータに基づき、所定の演奏操作子の発光素子を発光させるガイド手段と、を備え、
前記演奏データ生成手段が、前記ガイド手段により発光された演奏操作子に関する演奏者による演奏操作子の操作と、前記ガイドデータの対応するレコードとの同一性或いは相違を示す情報を演奏データとして、前記記憶装置に格納するように構成される。

また、好ましい実施態様においては、前記イベントに対応付けられたブロックの横方向のサイズが、対応するタイムのレコードの値に基づく。

別の好ましい実施態様においては、前記演奏データ生成手段が、前記イベントに示す演奏操作子を、前記演奏者が操作したかを示す正誤フラグ、および、前記イベントのタイミングと、前記演奏者による操作タイミングとのずれ時間を演奏データとして前記記憶装置に格納し、
前記変換手段が、前記正誤フラグおよびずれ時間にしたがって、前記画像の画調を変換する。

より好ましい実施態様においては、前記変換手段は、代表画素を含む複数の画素からなる筆触パターンを用いて、前記変換前画像において、代表画素に対応する画素の色彩情報を、前記筆触パターンを構成する他の画素の色彩情報とするように、前記画像の画調を変換するように構成され、
前記記憶装置が、複数の筆触パターンの情報を格納し、
前記変換手段が、前記正誤フラグにしたがって、筆触パターンを選択するとともに、前記ずれ時間にしたがって、前記筆触パターンの配置間隔を決定するように構成されている。

より好ましい実施態様においては、前記変換手段が、前記正誤フラグが演奏操作子の誤操作を示す場合に、当該正誤フラグが正解を示す場合よりも、サイズの大きい筆触パターンを選択するとともに、前記ずれ時間が大きくなるのにしたがって、前記配置間隔が大きくなるように当該配置間隔を決定する。

また、好ましい実施態様においては、前記演奏操作子の操作に基づいて、前記対応する所定の音高の楽音データの生成を楽音データ生成手段に指示する演奏制御手段を備える。

また、本発明の目的は、複数の演奏操作子と、
操作すべき演奏操作子を指定するイベントのレコード、および、操作の時間間隔を示すタイムのレコードを少なくとも含むガイドデータを格納する記憶装置と、
画像を表示する表示装置と、を備えたコンピュータに、
前記演奏者による演奏操作子の操作と、前記ガイドデータの対応するレコードとの同一性或いは相違を示す情報を演奏データとして、前記記憶装置に格納する演奏データ生成ステップ、
変換元画像中、前記ガイドデータ中のイベントに対応付けられたブロックにおいて、前記イベントについての演奏データに基づいて、その画調を変換し、ブロックごとにその画調が変換された変換済画像を生成する変換ステップ、並びに、
前記変換済画像を前記表示装置に表示する表示ステップを実行させることを特徴とする演奏評価プログラムにより達成される。

本発明によれば、楽曲の部分、および、楽曲全体の双方の評価が、演奏者により認識できる演奏評価装置を提供することが可能となる。

図１は、本発明の実施の形態にかかる演奏評価装置の概略を示す図である。 図２は、本実施の形態にかかる演奏評価装置の構成を示すブロックダイヤグラムである。 図３は、本実施の形態にかかるＲＡＭに格納されるガイドデータの例を示す図である。 図４は、本実施の形態にかかる演奏評価装置のメインフローの概略を示すフローチャートである。 図５は、本実施の形態にかかるスイッチ処理の例を示すフローチャートである。 図６は、本実施の形態にかかるスタート・ストップスイッチ処理の例を示すフローチャートである。 図７は、本実施の形態にかかる評価スイッチ処理の例を示すフローチャートである。 図８は、本実施の形態にかかるガイド処理の例を示すフローチャートである。 図９は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。 図１０は、本実施の形態にかかる評価処理の例を示すフローチャートである。 図１１は、本実施の形態にかかる評価処理の例を示すフローチャートである。 図１２は、本実施の形態にかかる変換処理の例を示すフローチャートである。 図１３は、本実施の形態にかかる変換処理の例を示すフローチャートである。 図１４は、本実施の形態にかかる液晶表示装置上に表示される画像におけるブロックを説明する図である。 図１５（ａ）〜（ｄ）は、それぞれ、本実施の形態にかかる筆触パターンの例を示す図である。 図１６は、本実施の形態における画像における画素を説明する図である。 図１７（ａ）、（ｂ）は、本実施の形態にかかる画調の変換を説明するための図である。 図１８は、本実施の形態にかかる評価処理により得られた画調変換された画像例を概略的に示す図である。

以下、添付図面を参照して、本発明の実施の形態について説明する。図１は、本発明の実施の形態にかかる演奏評価装置の概略を示す図である。図１に示すように、本実施の形態にかかる演奏評価装置１０は、電子鍵盤楽器の形態をとり、鍵盤１１を有する。鍵盤１１は、複数の鍵（たとえば、符号１６、１７参照）を有し、ある鍵の押鍵にしたがって、押鍵された鍵に対応する音高の楽音を発生することができる。また、演奏評価装置１０は、スイッチ（たとえば符号１８参照）やテンキー（符号１９参照）を有するとともに、その中央上側に表示部１３を有する。表示部１３は大型の液晶表示装置を含み、楽譜や、後述する演奏評価に基づく画像を表示することが可能である。

図２は、本実施の形態にかかる演奏評価装置の構成を示すブロックダイヤグラムである。図２に示すように、本実施の形態にかかる演奏評価装置１０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、サウンドシステム２４、鍵盤１１、入力部１２および表示部１３を備える。

入力部１２は、音色指定スイッチ、スタート・ストップスイッチ、評価スイッチなどを有する。また、表示部１３は、上記液晶表示装置のほか、ＬＥＤ群を有する。ＬＥＤ群を構成するＬＥＤは、鍵（たとえば、符号１６、１７参照）のそれぞれの内部に配置され、ガイド中に、押鍵タイミングとなった鍵のＬＥＤが点灯して、演奏者に押鍵を促す。なお、ＬＥＤは、鍵内部に配置されず、鍵の近傍（たとえば、鍵盤の根元（鍵の回転軸の側）付近に配置されていても良い。

ＣＰＵ２１は、演奏評価装置１０全体の制御、鍵盤１１の鍵の押鍵や入力部１２を構成するスイッチの操作の検出、鍵やスイッチの操作にしたがったサウンドシステム２４の制御、鍵の操作にしたがった演奏データの生成、ガイドデータにしたがったＬＥＤの点滅、演奏データに基づく演奏の評価、評価結果に基づく画像の生成などを実行する。

ＲＯＭ２２は、ＣＰＵ２１に実行させる種々の処理、たとえば、演奏評価装置１０全体の制御、鍵盤１１の鍵の押鍵や入力部１２を構成するスイッチの操作の検出、鍵やスイッチの操作にしたがったサウンドシステム２４の制御、鍵の操作にしたがった演奏データの生成、ガイドデータにしたがったＬＥＤの点滅、演奏データに基づく演奏の評価、評価結果に基づく画像の生成などの処理プログラムを格納する。また、ＲＯＭ２２は、ピアノ、ギター、バスドラム、スネアドラム、シンバルなどの楽音を生成するための波形データを格納した波形データエリアを有する。また、ＲＯＭ２２は、楽曲についてのイベントのレコードおよびタイムのレコードなどを含むガイドデータを格納する。

ＲＡＭ２３は、ＲＯＭ２２から読み出されたプログラムやガイドデータ、処理の過程で生成されたパラメータやデータを格納する。また、本実施の形態においては、ＲＡＭ２３は、演奏者のパートごとの演奏に基づくイベントのレコードおよびタイムのレコードから構成される演奏データを格納する。

サウンドシステム２４は、音源部２６、オーディオ回路２７およびスピーカ２８を有する。音源部２６は、たとえば、ノートオンイベントをＣＰＵ２１から受信すると、ＲＯＭ２２の波形データエリアから所定の波形データを読み出して、ノートオンイベントに含まれる音高情報にしたがった音高の楽音データを生成して出力する。オーディオ回路２７は、楽音データをＤ／Ａ変換して増幅する。これによりスピーカ２８から音響信号が出力される。

図３は、本実施の形態にかかるＲＡＭに格納されるガイドデータの例を示す図である。
ガイドデータは、初期的にはＲＯＭ２２に格納され、たとえば、イニシャライズ処理（ズ４のステップ４０１）において、ＲＡＭ２３にコピーされる。図３に示すように、ガイドデータ３００は、タイムのレコードおよびイベントのレコードを含む。タイムのレコードは、イベントのレコードの間に位置し、イベント間の時間間隔を示す。また、イベントは、ノートオンコマンド或いはノートオフコマンドの何れかを示す。ノートオンコマンドは、押鍵すべきことを示し、コマンド中には、押鍵すべき鍵の音高情報が含まれる。また、ノートオフコマンドは、離鍵すべきことを示し、コマンド中には離鍵すべき鍵の音高情報が含まれる。ノートオンコマンドに関して、イベントのレコード３１０は、ノートオンコマンド、正誤フラグおよびずれ時間のサブレコードを含む。

正誤フラグおよびずれ時間のサブレコードは、演奏者による鍵の操作の際に生成される演奏データに該当する。なお、ノートオフコマンド３２０のレコードは、他のサブレコードを有していない。

図４は、本実施の形態にかかる演奏評価装置のメインフローの概略を示すフローチャートである。電源の投入とともに、メインフローは起動し、イニシャライズ処理（ステップ４０１）の後、ステップ４０２以降の処理が繰り返し実行される。イニシャライズ処理においては、ＲＡＭ２３中のデータのクリア、ＲＡＭ２３へのガイドデータのコピー、表示部１５の液晶表示装置１４における画像のクリア、および、ＬＥＤ群のクリアなどが実行される。イニシャライズ処理（ステップ４０１）が終了すると、ＣＰＵ２１は、入力部１２を構成するスイッチのそれぞれの操作を検出し、検出された操作にしたがった処理を実行するスイッチ処理を実行する（ステップ４０２）。図５は、本実施の形態にかかるスイッチ処理の例を示すフローチャートである。

スイッチ処理において、ＣＰＵ２１は、ガイド演奏の開始および終了を指示するスタート・ステップスイッチの操作にしたがった処理を実行するスタート・ストップスイッチ処理（ステップ５０１）、評価スイッチの操作にしたがった処理を実行する評価スイッチ処理（ステップ５０２）、および、音色指定スイッチ、画像指定スイッチなど他のスイッチの操作にしたがった処理を実行する他のスイッチ処理（ステップ５０３）を実行する。

図６は、本実施の形態にかかるスタート・ストップスイッチ処理の例を示すフローチャートである。図６に示すように、ＣＰＵ２１は、入力部１２のスタート・ストップスイッチが操作されたかを判断する（ステップ６０１）。ステップ６０１でＹｅｓと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３中のスタートフラグＳＴＦを反転させる（ステップ６０２）。次いで、ＣＰＵ２１は、スタートフラグＳＴＦが「１」であるかを判断する（ステップ６０３）。ステップ６０３でＹｅｓと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３中のガイドデータＧ（ ）のレコードにおいて、正誤フラグおよびずれ時間のサブレコードをクリアする(ステップ６０４)。なお、ここで、ガイドデータＧ（ＡＤ）は、アドレスＡＤで特定されるガイドデータのレコードを示す。ガイドデータＧ（ ）は、全てのガイドデータを示す。ステップ６０４においては、ガイドデータの全てのイベントのレコード中、正誤フラグおよびずれ時間がクリアされる。

ＣＰＵ２１は、ＲＡＭ２３中のガイドデータの先頭アドレスを、パラメータＡＤとしてＲＡＭ２３に格納する（ステップ６０５）。その後、ＣＰＵ２１は、パラメータＡＤが示すガイドデータＧ（ＡＤ）のレコードのデータを読み出して、ＲＡＭ２３中のタイマレジスタＴにタイマ値として格納する（ステップ６０６）。また、ＣＰＵ２１は、自身に設けられた第１の経過時間カウンタＴ１のカウントを開始する（ステップ６０７）。

ステップ６０３でＮｏと判断された場合には、ＣＰＵ２１は、鍵の内部に配置されているＬＥＤを全て消灯する(ステップ６０８)。ＣＰＵ２１は、全ての経過時間カウンタ（第１の経過時間カウンタおよび後述するずれ時間計測カウンタ）のカウントを停止する（ステップ６０９）。

図７は、本実施の形態にかかる評価スイッチ処理の例を示すフローチャートである。図７に示すように、ＣＰＵ２１は、入力部１２の評価スイッチがオンされたかを判断する（ステップ７０１）。ステップ７０１でＹｅｓと判断された場合には、表示部１５の液晶表示装置の画面上に表示する画像として初期的な画像（変換前画像）を表示する。画像指定スイッチによって、ＲＡＭ２３中に格納された複数の写真画像から選択された何れかが変換前画像となり得る。後述するように、画像変換処理（図１２、１３）によって、変換前画像の画調が変換されることになる。

次いで、ＣＰＵ２１は、ＲＡＭ２３中のガイドデータＧ（ ）において、正誤フラグおよびずれ時間のレコードに値が格納されているかを判断する（ステップ７０３）。ステップ７０３でＮｏと判断された場合には、評価スイッチ処理が終了される。ステップ７０３でＹｅｓと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３中の評価フラグＨＦに「１」をセットする（ステップ７０４）。

スイッチ処理（ステップ４０２）が終了すると、ＣＰＵ２１は、ガイド処理を実行する（ステップ４０３）。図８は、本実施の形態にかかるガイド処理の例を示すフローチャートである。図８に示すように、ＲＡＭ２３中のスタートフラグＳＴＦが「１」であるかを判断する（ステップ８０１）。ステップ８０１でＹｅｓと判断された場合には、第１の経過時間カウンタＴ１における最小単位時間が経過しているかを判断する（ステップ８０２）。なお、第１の経過時間カウンタＴ１および後述するずれ時間計測カウンタＴ２とも、最小単位時間ごとに起動されるタイマインタラプト処理（図示せず）によって、カウンタ値がインクリメントされるように構成されている。ステップ８０２でＹｅｓと判断された場合には、ＣＰＵ２１は、第１の経過時間カウンタＴ１の値ｔ１が、ＲＡＭ２３中のタイマレジスタＴの値以上になったかを判断する（ステップ８０３）。ステップ８０１〜８０３の何れかでＮｏと判断された場合には、ガイド処理は終了される。

ステップ８０３でＹｅｓと判断された場合には、ＣＰＵ２１は、アドレスを示すパラメータＡＤを進めさせ（ステップ８０４）、パラメータＡＤがガイドデータの最終アドレス以下であるかを判断する（ステップ８０５）。ステップ８０５でＮｏと判断された場合、つまり、パラメータＡＤがガイドデータの最終アドレスより大きい場合には、ＣＰＵ２１は、鍵の内部に配置されているＬＥＤを全て消灯する（ステップ８１２）。また、ＣＰＵ２１は、全ての経過時間カウンタ（第１の経過時間カウンタおよびずれ時間計測カウンタ）を停止する（ステップ８１３）。

ステップ８０５でＹｅｓと判断された場合には、ＣＰＵ２１は、ガイドデータＧ（ＡＤ）がイベントのレコードであるかを判断する（ステップ８０６）。ステップ８０６でＮｏと判断された場合、つまり、ガイドデータＧ（ＡＤ）がタイムのレコードである場合には、ＣＰＵ２１は、タイマレジスタＴの値として、タイムのレコード値Ｇ（ＡＤ）を格納する（ステップ８１１）。ステップ８０６でＹｅｓと判断された場合には、ＣＰＵ２１は、イベント中のコマンドが、ノートオンコマンド或いはノートオフコマンドの何れであるかを判断する（ステップ８０７）。

イベント中のコマンドがノートオンコマンドである場合には、ＣＰＵ２１は、ノートオンコマンド中の音高情報が示す鍵のＬＥＤを点灯する（ステップ８０８）。また、ＣＰＵ２１は、第２の経過時間カウンタであるずれ時間計測カウンタＴ２を初期化して、そのカウントを開始させる（ステップ８０９）。イベント中のコマンドがノートオフコマンドである場合には、ＣＰＵ２１は、ノートオフコマンド中の音高情報が示す鍵のＬＥＤを消灯する（ステップ８１０）。

ガイド処理（ステップ４０３）が終了すると、ＣＰＵ２１は、鍵盤処理を実行する（ステップ４０４）。図９は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。図９に示すように、ＣＰＵ２１は、鍵盤１１の各鍵を走査して、その鍵状態を調べ（ステップ９０１）、鍵状態が変化しているかを判断する（ステップ９０２）。鍵の状態は、「変化なし」、「オン（新規オン）」および「オフ（新規オフ）」の何れかとなる。

鍵の状態が「オン」と判断された場合には、ＣＰＵ２１は、「オン」状態となった鍵（つまり、押鍵された鍵）の音高情報、および、音色指定スイッチにより指定された音色情報を、音源部２６に与えて、発音を指示する(ステップ９０３)。次いで、ＣＰＵ２１は、「オン」状態となった鍵（押鍵された鍵）は、ＬＥＤが点灯中の鍵であるかを判断する（ステップ９０４）。ステップ９０４でＹｅｓと判断された場合には、ＣＰＵ２１は、ガイドデータ中、点灯中の鍵についてのノートオンイベントのレコード中、正誤フラグのサブレコードに「１」をセットする（ステップ９０５）。また、ＣＰＵ２１は、点灯中の鍵についてのノートオンイベントのずれ時間のサブレコードに、ずれ時間計測カウンタＴ２のカウンタ値ｔ２を格納する(ステップ９０６)。その後、ＣＰＵ２１は、ずれ時間計測カウンタＴ２のカウントを停止する（ステップ９０７）。

ステップ９０２において、鍵の状態が「オフ」と判断された場合には、「オフ」状態となった鍵（つまり、離鍵された鍵）の音高情報を音源部２６に与えて消音を指示する（ステップ９０８）。

鍵盤処理（ステップ４０４）が終了すると、ＣＰＵ２１は、評価処理を実行する（ステップ４０５）。図１０および図１１は、本実施の形態にかかる評価処理の例を示すフローチャートである。図１０に示すように、ＣＰＵ２１は、ＲＡＭ２３中の評価フラグが「１」であるかを判断する（ステップ１００１）。ステップ１００１でＹｅｓと判断された場合には、ＣＰＵ２１は、画像のブロック数をパラメータＮとしてＲＡＭ２３に格納する（ステップ１００２）。本実施の形態においては、たとえば、表示部１５の液晶表示装置に表示される画像が、横方向にＬ個、縦方向にＭ個、総計でＬ×Ｍ＝Ｎ個のブロックに分割される。この横方向、縦方向および総計のブロック数は、入力部１２のスイッチの操作により入力され、ＲＡＭ２３に格納され得る。図１４は、本実施の形態にかかる液晶表示装置上に表示される画像におけるブロックを説明する図である。図１４に示すように、画像１４００においては、右方向にブロック番号が「１」ずつ増大し、また、右端のブロックのブロック番号に「１」を加えると、一段下の左端に位置するブロックのブロック番号となる。

次いで、ＣＰＵ２１は、ＲＡＭ２３中、ガイドデータのタイムのレコードを参照して、ガイドデータについての総演奏時間を算出し、これをパラメータＴとしてＲＡＭ２３に格納する（ステップ１００３）。また、ＣＰＵ２１は、ＲＡＭ２３中のガイドデータの開始アドレスを、パラメータＡＤとして格納し（ステップ１００４）、正誤フラグについてのパラメータＰ１に「０」を格納し、ずれ時間についてのパラメータＰ２に所定値を格納する（ステップ１００５）。さらに、ＣＰＵ２１は、ブロックを指定するためのパラメータｆｎ、処理対象となるブロックのうち最終ブロックを特定するためのパラメータｅｎ、および、先頭のノートオンイベントからの経過時間を示すパラメータｔを、それぞれ「０」に初期化する（ステップ１００６）。

ＣＰＵ２１は、アドレスＡＤで特定されるガイドデータＧ（ＡＤ）のレコードを取得し、当該レコードがイベントのレコードであるかを判断する（ステップ１００７）。ステップ１００７でＮｏ、つまり、Ｇ（ＡＤ）がタイムのレコードである場合には、ＣＰＵ２１は、パラメータｔに、レコード値であるタイムを加算する（ステップ１００８）。

ステップ１００７でＹｅｓと判断された場合には、Ｇ（ＡＤ）のレコードが示すイベントがノートオンコマンドであるかを判断する（ステップ１１０１）。ステップ１１０１でＮｏの場合、或いは、ステップ１００８または後述するステップ１１０８が実行された後には、ＣＰＵ２１は、アドレスを示すパラメータＡＤを歩進させる（ステップ１１０９）。ＣＰＵ２１は、パラメータＡＤがガイドデータの最終アドレス値より大きくなったかを判断する（ステップ１１１０）。ステップ１１１０でＮｏと判断された場合には、ステップ１００７に戻る。その一方、ステップ１１１０でＹｅｓと判断された場合には、ＣＰＵ２１は、評価フラグＨＦを「０」にリセットする（ステップ１１１１）。

ステップ１１０１でＹｅｓと判断された場合には、ＣＰＵ２１は、ｔ／Ｔ×Ｎを算出し、処理対象となるブロックのうち最終ブロックを示すパラメータｅｎとして格納する（ステップ１１０２）。ステップ１１０２は、Ｎ個のブロックのうち、どのブロックまでを、ステップ１１０３〜１１０６における処理対照とするかを指定している。ＣＰＵ２１は、パラメータｆｎを参照して、ｆｎ番のブロックを特定する（ステップ１１０３）。次いで、当該ｆｎ番のブロックについて変換処理を実行する（ステップ１１０４）。

図１２および図１３は、本実施の形態にかかる変換処理の例を示すフローチャートである。変換処理は、画像の所定のブロックにおいて、所定数の画素群に単一の色彩情報を与えることで、その画調を変換するための処理である。図１２に示すように、ＣＰＵ２１は、正誤フラグについてのパラメータＰ１に基づいて、画調変換の際において、ある画素を所定の数および形状の画素群に変換する際の、画素群に相当する筆触パターンを選択する（ステップ１２０１）。図１５（ａ）〜（ｄ）は、それぞれ、本実施の形態にかかる筆触パターンの例を示す図である。それぞれの筆触パターンにおいては、代表画素が存在し、後述するように、変換前画像における画素Ｐの位置が、代表画素の位置と一致する場合には、筆触パターンを構成するそれぞれの画素に、当該代表画素の位置にある変換前画像の画素Ｐの色彩情報Ｃｐが与えられる。

図１５（ａ）に示す筆触パターン１５００では、代表画素は符号１５０１で示されている。また、図１５（ｂ）に示す筆触パターン１５１０では、代表画素は符号１５１１で示されている。同様に、図１５（ｃ）、（ｄ）に示す筆触パターン１５２０、１５３０では、代表画素は、それぞれ、符号１５２１、１５３１で示されている。図１５（ａ）〜（ｄ）に示すように、筆触パターン１５００、１５１０、１５２０、１５３０の画素には、それぞれ、番号が付与され、その順で、画素のそれぞれに、代表画素に相当する位置の画素Ｐの色彩情報Ｃｐが与えられる。

本実施の形態においては、ガイドデータにおいて、ノートオンコマンドにかかる正誤フラグのサブレコードには、点灯中の鍵（つまり、演奏者が押鍵すべき鍵）の押鍵があれば、値が「１」となり、押鍵がなければ値が「０」となっている。したがって、本実施の形態において、パラメータＰ１には、「１」または「０」が格納されている。たとえば、パラメータＰ１が「１」であれば、画素数が少なく、元画像の画調が比較的維持される筆触パターン（たとえば、図１５（ａ）、（ｄ）に示す筆触パターン１５００、１５３０）を選択するようにし、パラメータＰ１が「０」であれば、画素数が多く、元画像の画調の変換度合いが大きくなる筆触パターン（たとえば、図１５（ｂ）、（ｃ）に示す筆触パターン１５１０、１５２０）を選択するように構成すれば良い）。なお、パラメータＰ１の値にしたがった筆触パターンの選択情報、および、各筆触パターンの画素構成は、予めＲＡＭ２３に格納されている。

ＣＰＵ２１は、実行される変換処理が１回目であるかを判断する（ステップ１２０２）。ステップ１２０２でＹｅｓと判断された場合には、ＣＰＵ２１は、変換元画像の画像データと同一サイズの領域を、ＲＡＭ２３の画像エリア中に確保する（ステップ１２０３）。ＣＰＵ２１は、確保された領域に、変換元画像の画像データをコピーする（ステップ１２０４）。

次いで、ＣＰＵ２１は、変換元画像のｆｎ番のブロックにおいて、画調変換を開始する開始画素Ｐを決定する（ステップ１２０５）。開始画素Ｐは、ｆｎ番のブロックの先頭に位置する画素とすれば良い。また、ＣＰＵ２１は、ずれ時間を示すパラメータＰ２に基づき、筆触パターンに変換する画素の間隔Ｍを決定する（ステップ１２０６）。画素の間隔Ｍは、パラメータＰ２が小さくなるのにしたがって、小さくなる（１に近くなる）ように構成するのが望ましい。すなわち、ずれ時間が小さくなるのにしたがって、画調を変換した変換済画像がより緻密に（変換元画像の緻密さに近似するように）なる。

ＣＰＵ２１は、変化元画像のｆｎ番のブロックにおいて、所定位置の画素Ｐの色彩情報Ｃｐを取得する（ステップ１２０６）。図１６は、本実施の形態における画像における画素を説明する図である。本実施の形態においては、Ｌ×Ｍ＝Ｎ個に分割されたブロック１６００のそれぞれにおいて、左端が最小の画素番号を有する。たとえば、各ブロックが、横方向にＵ個、縦方向にＶ個の画素を有している。ここで、第ｆｎ番（ｆｎ＝０〜Ｎ−１）のブロックでは、先頭（最上段左端）の画素の番号Ｐは、ｆｎ×Ｎとなる。また、ブロック１６００においては、右方向に画素番号が「１」ずつ増大し、右端の画素の画素番号に「１」を加えると、一段下の左端に位置する画素の画素番号となる。また、各画素は、色彩情報Ｃｐを含む。色彩情報は、たとえば、（Ｒ，Ｇ，Ｂ）からなる三次元の値である。

ＣＰＵ２１は、パラメータｎを「１」に初期化し（ステップ１２０８）、確保された領域においてにおいて、画素Ｐの位置に、筆触パターンＢＰ（ｎ）の代表画素とを対応させる（ステップ１２０９）。次いで、ＣＰＵ２１は、確保された領域において、ＢＰ（ｎ）に対応する画素を検索し（ステップ１３０１）、検索された画素が表示エリア内であるかを判断する（ステップ１３０２）。ここに、表示エリア内であるというのは、画素が、ブロックの外枠より外に位置していないことを意味している。

ステップ１３０２でＹｅｓと判断された場合には、ＣＰＵ２１は、検索された画素の色彩情報として、Ｃｐを格納する（ステップ１３０３）。ステップ１３０２でＮｏと判断された場合或いはステップ１３０３が実行された後、ＣＰＵ２１は、パラメータｎをインクリメントする（ステップ１３０４）。ＣＰＵ２１は、筆触パターンを構成する画素数より、ｎが大きいかを判断する（ステップ１３０５）。ステップ１３０５でＮｏと判断された場合には、ステップ１３０１に戻る。その後、筆触パターンにおいて次の番号を有する画素についての処理が行なわれる。

ステップ１３０５でＹｅｓと判断された場合には、ＣＰＵ２１は、画素番号Ｐに、間隔Ｍを加算して、Ｐが、ブロック中の最終画素番号より大きいかを判断する（ステップ１３０７）。ステップ１３０７でＹｅｓと判断された場合には、変換処理を終了する。ステップ１３０７でＮｏと判断された場合には、ステップ１２０７に戻る。前述したように、パラメータＭは、ずれ時間に基づいた、筆触パターンに変換する画素の間隔を示す。したがって、Ｍ間隔で、ブロック中の画素およびその周辺の画素について、画素データ値の変換が行なわれる。

図１７（ａ）は、元画像データ１７００において、間隔Ｍで位置する２つの画素１７０１、１７０２が示されている。図１７（ｂ）に示すように、まず、画素１７０１について、当該画素１７０１を含む筆触パターン１７１１について、画素１７０１の色彩情報が与えられる。次いで、Ｍだけ離間して位置する画素１７０２を含む筆触パターン１７１２について、画素１７０２の色彩情報が与えられる。なお、筆触パターンが重なっている部分では、後の処理にかかる色彩情報が与えられることになる。

変換処理（ステップ１１０４）が終了すると、ＣＰＵ２１は、ブロック番号ｆｎをインクリメントする（ステップ１１０５）。ＣＰＵ２１は、ブロック番号ｆｎが、最終ブロックを示すパラメータｅｎ以下であれば（ステップ１１０６でＮｏ）、ステップ１１０３に戻る。その一方、ステップ１１０６でＹｅｓと判断された場合には、ＣＰＵ２１は、Ｇ（ＡＤ）にて示されるサブレコードの正誤フラグをパラメータＰ１として格納する（ステップ１１０７）とともに、Ｇ（ＡＤ）にて示されるサブレコードのずれ時間をパラメータＰ２として格納する（ステップ１１０８）。その後、ステップ１１０９に進む。

評価処理（ステップ４０５）が終了すると、ＣＰＵ２１は、その他の処理を実行する（ステップ４０６）。その他の処理においては、ＣＰＵ２１は、評価処理によって画調が変換された画像の生成以外の画像の生成、たとえば、ＲＡＭ２３やＲＯＭ２２に格納された楽譜データに基づく楽譜画像の生成などを実行する。その後、ステップ４０２に戻り、ステップ４０２〜４０６の処理が繰り返される。

図１８は、本実施の形態にかかる評価処理により得られた画調変換された画像例を概略的に示す図である。図１８においては、画像１８００は、Ｘ個のブロックに分割されている（たとえば、符号１８０１〜１８０５参照）。ブロックの横方向の長さは、ガイドデータにおけるタイムのサブレコードの値にしたがって決定される。本実施の形態においては、先頭のブロックから、タイムは、それぞれ、ｔｔ１、ｔｔ２、・・・、ｔｔ（Ｘ−１）、ｔｔＸとなっている。本実施の形態においては、正誤フラグの値（Ｐ１）により、筆触パターンが決定され、ずれ時間（Ｐ２）により、筆触パターンが配置される画素の間隔が決定される。したがって、発音すべき楽音の長さ（音符長）に応じた横方向のサイズを有するブロックに、演奏の正誤および発音時間のずれに応じて、画調が変換された画像を表示することが可能となる。

本実施の形態においては、演奏者による押鍵によって、演奏データとして、ガイドデータが示す鍵の押鍵がされたかを示す正誤フラグおよび押鍵タイミングのずれ時間を取得している。ＣＰＵ２１は、評価処理において、変換元画像中、ガイドデータ中のイベントに対応付けられたブロックにおいて、イベントについての演奏データに基づいて、その画調を変換し、ブロックごとにその画調が変換された変換済画像を生成する。イベントに対応するブロックごとに押鍵の正誤およびタイミングのずれにしたがって画調が変換された画像が得られるため、演奏者は、そのブロックの画像を見ることで、対応するイベント（押鍵）について、どの程度正確な演奏が行なえたかを判断することができる。また、演奏者は、ブロックごとの画像の集合体である変換済画像全体を見ることで、全体として、どの程度正確な演奏が行なえたかを判断することができる。

また、本実施の形態においては、鍵盤１１の鍵の内部には、それぞれＬＥＤが配置され、ＰＵ２１は、ガイドデータに基づき、所定の鍵のＬＥＤを発行させる。ＣＰＵ２１は、ＬＥＤが発光された鍵に関する演奏者による押鍵操作と、ガイドデータの対応するレコードとの同一性或いは相違を示す情報（正誤フラグおよびずれ時間）を演奏データとして取得する。演奏者は、ＬＥＤにより演奏すべき楽曲をガイドされるため、より正確な鍵操作を実現することができる。

本実施の形態においては、画像において、イベントに対応付けられたブロックの横方向のサイズが、対応するタイムのレコードの値に基づく。すなわち、楽音の音符長とブロックの横方向のサイズとがほぼ対応付けられる。したがって、演奏者は、任意のブロックが、楽曲のどの部分に対応するかを直感的に把握することが可能である。

さらに、本実施の形態においては、鍵操作の正誤を示す正誤フラグ、および、操作タイミングのずれを示すずれ時間に基づいて、ブロックごとの画調を変換する。特に、ＣＰＵ１１は、変換処理において、代表画素を含む複数の画素からなる筆触パターンを用いて、変換前画像において、代表画素に対応する画素の色彩情報を、筆触パターンを構成する他の画素の色彩情報とするように、画像の画調を変換する。ここで、ＣＰＵ１１は、正誤フラグにしたがって、筆触パターンを選択するとともに、ずれ時間にしたがって、筆触パターンの配置間隔を決定する。したがって、押鍵の正誤によって画像の雰囲気が決定され、また、ずれ時間によって、画像の解像度が決定されることになる。

より詳細には、ＣＰＵ２１は、正誤フラグが、押鍵が誤操作であることを示す場合に、当該正誤フラグが正解を示す場合よりも、サイズの大きい筆触パターンを選択するとともに、ずれ時間が大きくなるのにしたがって、配置間隔が大きくなるように当該配置間隔を決定する。これにより、正しい押鍵でずれ時間も小さくなれば、変換元画像に近いより緻密な画像となり、誤った押鍵でずれ時間も大きくなると、画像はより粗いものとなる。

また、本実施の形態においては、ＣＰＵ２１は、押鍵操作に基づいて、対応する所定の音高の楽音データの生成を音源部２６に出力する。これにより、演奏者は自己の押鍵にしたがった楽音を聴覚により確認することができる。

本発明は、以上の実施の形態に限定されることなく、特許請求の範囲に記載された発明の範囲内で、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

１０ 演奏評価装置
１１ 鍵盤
１２ 入力部
１３ 表示部
１４ 液晶表示装置
１５ ＬＥＤ群
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ サウンドシステム
２６ 音源部
２７ オーディオ回路
２８ スピーカ

Claims (8)

1. 複数の演奏操作子と、
   操作すべき演奏操作子を指定するイベントのレコード、および、操作の時間間隔を示すタイムのレコードを少なくとも含むガイドデータを格納する記憶装置と、
   前記演奏者による演奏操作子の操作と、前記ガイドデータの対応するレコードとの同一性或いは相違を示す情報を演奏データとして、前記記憶装置に格納する演奏データ生成手段と、
   変換元画像中、前記ガイドデータ中のイベントに対応付けられたブロックにおいて、前記イベントについての演奏データに基づいて、その画調を変換し、ブロックごとにその画調が変換された変換済画像を生成する変換手段と、
   前記変換済画像を表示する表示手段と、を備えたことを特徴とする演奏評価装置。
2. 前記演奏操作子内部或いは前記演奏操作子に隣接して配置され、演奏者が操作すべき演奏操作子を示すための発光素子と、
   前記ガイドデータに基づき、所定の演奏操作子の発光素子を発光させるガイド手段と、を備え、
   前記演奏データ生成手段が、前記ガイド手段により発光された演奏操作子に関する演奏者による演奏操作子の操作と、前記ガイドデータの対応するレコードとの同一性或いは相違を示す情報を演奏データとして、前記記憶装置に格納するように構成されたことを特徴とする請求項１に記載の演奏評価装置。
3. 前記イベントに対応付けられたブロックの横方向のサイズが、対応するタイムのレコードの値に基づくことを特徴とする請求項１または２に記載の演奏評価装置。
4. 前記演奏データ生成手段が、前記イベントに示す演奏操作子を、前記演奏者が操作したかを示す正誤フラグ、および、前記イベントのタイミングと、前記演奏者による操作タイミングとのずれ時間を演奏データとして前記記憶装置に格納し、
   前記変換手段が、前記正誤フラグおよびずれ時間にしたがって、前記画像の画調を変換することを特徴とする請求項１ないし３の何れか一項に記載の演奏評価装置。
5. 前記変換手段は、代表画素を含む複数の画素からなる筆触パターンを用いて、前記変換前画像において、代表画素に対応する画素の色彩情報を、前記筆触パターンを構成する他の画素の色彩情報とするように、前記画像の画調を変換するように構成され、
   前記記憶装置が、複数の筆触パターンの情報を格納し、
   前記変換手段が、前記正誤フラグにしたがって、筆触パターンを選択するとともに、前記ずれ時間にしたがって、前記筆触パターンの配置間隔を決定するように構成されたことを特徴とする請求項４に記載の演奏評価装置。
6. 前記変換手段が、前記正誤フラグが演奏操作子の誤操作を示す場合に、当該正誤フラグが正解を示す場合よりも、サイズの大きい筆触パターンを選択するとともに、前記ずれ時間が大きくなるのにしたがって、前記配置間隔が大きくなるように当該配置間隔を決定することを特徴とする請求項５に記載の演奏評価装置。
7. 前記演奏操作子の操作に基づいて、前記対応する所定の音高の楽音データの生成を楽音データ生成手段に指示する演奏制御手段を備えたことを特徴とする請求項１ないし６の何れか一項に記載の演奏評価装置。
8. 複数の演奏操作子と、
   操作すべき演奏操作子を指定するイベントのレコード、および、操作の時間間隔を示すタイムのレコードを少なくとも含むガイドデータを格納する記憶装置と、
   画像を表示する表示装置と、を備えたコンピュータに、
   前記演奏者による演奏操作子の操作と、前記ガイドデータの対応するレコードとの同一性或いは相違を示す情報を演奏データとして、前記記憶装置に格納する演奏データ生成ステップ、
   変換元画像中、前記ガイドデータ中のイベントに対応付けられたブロックにおいて、前記イベントについての演奏データに基づいて、その画調を変換し、ブロックごとにその画調が変換された変換済画像を生成する変換ステップ、並びに、
   前記変換済画像を前記表示装置に表示する表示ステップを実行させることを特徴とする演奏評価プログラム。

Images