JP2013076909A - 演奏評価装置、プログラム及び演奏評価方法 - Google Patents

Abstract

【課題】ＭＩＤＩに基づく情報のみならず、音の波形データに基づき演奏を評価することで、自然楽器の演奏も評価可能とすること。
【解決手段】演奏評価装置１では、楽曲の演奏により生成され、評価の基準となる評価基準波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データを作成する。また、楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データを作成する。そして、評価基準データと、評価対象データと、の比較の結果に基づいて評価値を算出する。
【選択図】図１

Description

本発明は、楽曲の演奏を評価する演奏評価装置、プログラム及び演奏評価方法に関する。

従来、演奏者の演奏に応答して、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）に基づく情報である演奏データを記憶し、当該演奏データと予め記憶されたＭＩＤＩに基づく情報である模範データとを比較し、正誤判定を行う演奏評価装置が知られている（例えば、特許文献１参照）。

このような演奏評価装置では、ＭＩＤＩに基づく情報である演奏データとＭＩＤＩに基づく情報である模範データとを比較し、正誤判定を行うことで、演奏者の演奏を評価できる。

特開２０１０−１３４２０７号公報

しかしながら、特許文献１に記載の技術を含め、従来の演奏評価装置においては、ＭＩＤＩに基づく情報同士で比較し正誤判定を行うため、ＭＩＤＩに基づく情報を出力できる電子楽器による演奏の評価に限られていた。
即ち、従来の演奏評価装置においては、ＭＩＤＩに基づく情報を出力できない自然楽器による演奏の評価ができなかった。

本発明は、このような状況に鑑みてなされたものであり、ＭＩＤＩに基づく情報のみならず、音の波形データに基づき演奏を評価することで、自然楽器の演奏も評価可能とすることを目的とする。

上記目的を達成するため、本発明の一態様の演奏評価装置は、
楽曲の演奏を評価する演奏評価装置であって、
前記楽曲の演奏により生成され、評価の基準となる評価基準波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データを作成する評価基準データ作成手段と、
前記楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データを作成する評価対象データ作成手段と、
前記評価基準データ作成手段により作成された前記評価基準データと、前記評価対象データ作成手段により作成された前記評価対象データと、の比較の結果に基づいて評価値を算出する評価手段と、
を備える。

本発明によれば、ＭＩＤＩに基づく情報のみならず、音の波形データに基づき演奏を評価できるので、自然楽器の演奏も評価可能となる。

本発明の実施形態に係る演奏評価装置における演奏を評価する処理の概要を説明する図である。 本発明の実施形態に係る演奏評価装置のハードウェアの構成を示すブロック図である。 本実施形態に係る演奏評価装置のＣＰＵが実行する評価基準（教師）画像データ作成処理の流れを説明するフローチャートである。 本実施形態に係る演奏評価装置のＣＰＵが実行する評価対象（生徒）画像データ作成処理の流れを説明するフローチャートである。 本実施形態に係る演奏評価装置のＣＰＵが実行するデータ評価処理の流れを説明するフローチャートである。 評価基準（教師）画像データを説明する図である。 評価対象（生徒）画像データを示す図である。 本実施形態に係る演奏評価装置のＣＰＵが実行する評価値グラフ化処理の流れを説明するフローチャートである。

以下、図面に基づいて、本発明の実施形態に係る演奏評価装置を説明する。
まず、本実施形態の理解を容易にするため、本実施形態に係る演奏評価装置の概要を説明する。
図１は、本発明の実施形態に係る演奏評価装置における演奏を評価する処理の概要を説明する図である。
演奏評価装置は、既知の楽曲の演奏に対して、評価データを作成することで、演奏を評価する。
演奏評価装置は、ステップＳ１において、評価基準（以下、教師とも呼ぶ）となる、楽曲の小節毎の評価基準（教師）楽譜データＤ１を、ソフトウェア音源により演奏し、小節毎の評価基準（教師）波形データＤ１０を作成する。
ここで、本実施形態において、「楽譜データ」とは、ＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）データであり、例えば、電子楽器等のチップ音源や、コンピュータのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により合成し発音するソフトウェア音源等のＭＩＤＩ音源により演奏することが可能なデータである。
また、本実施形態において、「波形データ」とは、例えば（ａ）に示すような、演奏された音の周波数を所定時間毎に示すデータである。

演奏評価装置は、ステップＳ２において、小節毎の評価基準（教師）波形データＤ１０を高速フーリエ変換（ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））により周波数の分析を行って周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなるものであって、ソナグラム表示される小節毎の評価基準（教師）用の画像データＤ１１（以降、評価基準データとしての評価基準（教師）画像データとも称する）を作成する。
ここで、本実施形態において、「ソナグラム表示」とは、例えば（ｂ）に示すような、横軸が時間であり、縦軸が演奏された音の周波数の高さとした周波数領域において、各周波数の音の強さを、画素の輝度値で示した画像データである。この「ソナグラム表示」の画像データを得るために、本実施形態においては高速フーリエ変換（ＦＦＴ）を用いているが、これに限られるものでなく他の手法、例えばウェーブレット変換の手法を用いてもよい。

演奏評価装置は、ステップＳ３において、評価対象（以下、生徒とも呼ぶ）となる評価対象（生徒）波形データＤ２０を高速フーリエ変換（ＦＦＴ）により周波数の分析を行い、ソナグラム表示される評価対象（生徒）用の画像データＤ２１（以降、評価対象データとしての評価対象（生徒）画像データとも称する）を作成する。

演奏評価装置は、ステップＳ４において、小節毎の評価基準（教師）画像データＤ１１と、評価対象（生徒）画像データＤ２１と、の比較の結果に基づいて評価データＤ３０を生成する。

図２は、本発明の実施形態に係る演奏評価装置１のハードウェアの構成を示すブロック図である。
図２において、演奏評価装置１は、ＣＰＵ１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８と、ＭＩＤＩインターフェース部１９と、ドライブ２０と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。具体的には、ＣＰＵ１１は、評価基準（教師）画像データ作成処理や、評価対象（生徒）画像データ作成処理や、データ評価処理や、評価値グラフ化処理等を実行する。また、ＣＰＵ１１は、ＳＭＦデータに基づき楽曲を構成する音を合成することもできる。ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等が適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、ＭＩＤＩインターフェース部１９及びドライブ２０が接続されている。

入力部１６は、入力部１６には、マウス等のポインティングデバイスや、文字入力のためのキーボードが含まれ、これらによる入力信号をＣＰＵ１１に出力する。また、演奏評価装置１を、例えば、電子ピアノとして構成した場合には、入力部１６は、ＭＩＤＩキーボードを含み、鍵盤及び各種情報を入力するためのスイッチを備えている。そして、入力部１６は、鍵が押下された場合に、その鍵を識別するための鍵番号や、鍵の押下の強さを示す情報（以下、「ベロシティ」と呼ぶ。）をＣＰＵ１１に出力したり、ユーザによって入力された各種情報をＣＰＵ１１に出力したりする。

出力部１７は、ディスプレイや、スピーカ及びＤ／Ａ変換回路等を有しており、画像や音声を出力する。
記憶部１８は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、演奏評価装置１の制御のための各種プログラムや、図１に示すような、評価基準（教師）楽譜データＤ１、評価基準（教師）波形データＤ１０、評価基準（教師）画像データＤ１１、評価対象（生徒）波形データＤ２０、評価対象（生徒）画像データＤ２１等のデータを記憶する。

ＭＩＤＩインターフェース部１９は、楽音を発生する音源４１と演奏評価装置１とを接続するインターフェースである。音源４１は、ＳＭＦデータに基づく楽音を出力する。

ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２０によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。また、リムーバブルメディア３１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。

次に、図３を参照して、本実施形態に係る演奏評価装置１のＣＰＵ１１が実行する評価基準（教師）画像データ作成処理について説明する。
図３は、本実施形態に係る演奏評価装置１のＣＰＵ１１が実行する評価基準（教師）画像データ作成処理の流れを説明するフローチャートである。
ステップＳ２１において、ＣＰＵ１１は、記憶部１８より、評価基準（教師）楽譜データを読み込み、読み込んだ評価基準（教師）楽譜データを楽曲の小節毎に分割する。

ステップＳ２２において、ＣＰＵ１１は、ステップＳ２１で分割した小節毎の評価基準（教師）楽譜データに基づき、楽曲を構成する音を合成し演奏し、小節毎の評価基準（教師）波形データを作成する。
ステップＳ２３において、ＣＰＵ１１は、ステップＳ２２で作成した小節毎の評価基準（教師）波形データを高速フーリエ変換（ＦＦＴ）により周波数の分析を行い、ソナグラム表示される小節毎の評価基準（教師）画像データを作成する。このように、ステップＳ２２及びステップＳ２３の処理を実行するＣＰＵ１１は、楽曲の演奏により生成され、評価の基準となる評価基準波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データを作成する評価基準データ作成手段として機能する。また、ステップＳ２２及びステップＳ２３の処理を実行するＣＰＵ１１は、楽曲の小節毎に評価基準データを作成する評価基準データ作成手段として機能する。
ステップＳ２４において、ＣＰＵ１１は、ステップＳ２３で作成した評価基準（教師）画像データを記憶部１８に小節毎に記憶する。

次に、図４を参照して、本実施形態に係る演奏評価装置１のＣＰＵ１１が実行する評価対象（生徒）画像データ作成処理について説明する。
図４は、本実施形態に係る演奏評価装置１のＣＰＵ１１が実行する評価対象（生徒）画像データ作成処理の流れを説明するフローチャートである。
ユーザ（生徒）は、入力部１６を操作することで、演奏の評価を希望する小節を指定する。
ステップＳ３１において、ＣＰＵ１１は、ユーザ（生徒）による入力部１６の操作に基づき、評価対象とする小節の指定を受け付ける。
なお、本実施形態において、小節の指定は、第Ｎ小節（Ｎは整数）のように、小節毎に指定を受け付けることもできるし、第Ｎ小節から第Ｎ＋ｎ（ｎは整数）のように、連続した小節の指定を受け付けることもできる。

ステップＳ３２において、ＣＰＵ１１は、評価対象（生徒）波形データを取得する。本ステップにおいて取得する評価対象（生徒）波形データは、入力部１６がＭＩＤＩキーボードを含む場合はユーザのＭＩＤＩキーボードによる演奏をデジタル録音することで取得することができる。また、本ステップにおいて取得する評価対象（生徒）波形データは、予めユーザの自然楽器による演奏がデジタル録音された評価対象（生徒）波形データを、記憶部１８やリムーバブルメディア３１から取得することもできる。

ステップＳ３３において、ＣＰＵ１１は、ステップＳ３２で取得した評価対象（生徒）波形データを高速フーリエ変換（ＦＦＴ）により周波数の分析を行い、ソナグラム表示される評価対象（生徒）画像データを作成する。このように、ステップＳ３２及びステップＳ３３の処理を実行するＣＰＵ１１は、楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データを作成する評価対象データ作成手段として機能する。
ステップＳ３４において、ＣＰＵ１１は、ステップＳ３３で作成した評価対象（生徒）画像データを記憶部１８に記憶する。

次に、図５を参照して、本実施形態に係る演奏評価装置１のＣＰＵ１１が実行するデータ評価処理について説明する。
図５は、本実施形態に係る演奏評価装置１のＣＰＵ１１が実行するデータ評価処理の流れを説明するフローチャートである。
ステップＳ４１において、ＣＰＵ１１は、ステップＳ３４で記憶した評価対象（生徒）画像データを記憶部１８から読み出す。
ステップＳ４２において、ＣＰＵ１１は、ステップＳ２４で記憶した小節毎の評価基準（教師）画像データのうち、ステップＳ３１で指定を受け付けた小節の評価基準（教師）画像データを記憶部１８から読み出す。本ステップにおいて、ＣＰＵ１１は、ステップＳ３１で指定を受け付けた小節が連続する複数の小節であった場合、楽曲の進行順で１つの小節ずつ評価基準（教師）画像データを記憶部１８から読み出す。

ステップＳ４３において、ＣＰＵ１１は、評価対象（生徒）画像データと、評価基準（教師）画像データと、を比較し、小節毎に類似度を算出する。
図６は、評価基準（教師）画像データを説明する図である。
図６では、楽曲の楽譜の下に、当該楽譜に対応する評価基準（教師）画像データＤ１１を示している。本実施形態では、評価基準（教師）画像データは、１つの小節Ｎずつ記憶部１８に記憶されている。
図７は、評価対象（生徒）画像データを示す図である。
図７では、例えば、１つの小節分の評価対象（生徒）画像データＤ２１を示している。
ステップＳ４３において、ＣＰＵ１１は、具体的には、評価基準（教師）画像データＤ１１と評価対象（生徒）画像データＤ２１とを対応させ、互いに対応する位置の画素の輝度値の差に基づき、類似度を算出する。本実施形態において、「類似度」は、輝度値の差が小さいほど、大きい値となり、両画像が似ていることを示す。即ち、類似度が大きいほど、ユーザ（生徒）の演奏が、評価基準（教師）の演奏に近いことを示す。

なお、評価基準（教師）となる演奏と評価対象（生徒）となる演奏とでは演奏する楽器や音源が異なる。このため、例えば、図６に示す評価基準（教師）画像データＤ１１には、同じ形状のパターンが縦軸方向に略等間隔で現れる倍音が示されている。一方、図７に示す評価対象（生徒）画像データＤ２１には倍音を示すパターンがない。よって、評価基準（教師）画像データＤ１１と評価対象（生徒）画像データＤ２１とが完全に一致することはない。

ステップＳ４４において、ＣＰＵ１１は、ステップＳ３１で指定を受け付けた小節のうち、ステップＳ４３で最後の小節について類似度を算出したか否かを判定し、最後の小節について類似度を算出したと判定した場合はステップＳ４５に処理を移し、最後の小節について類似度を算出していないと判定した場合はステップＳ４２に処理を戻す。

ステップＳ４５において、ＣＰＵ１１は、ステップＳ４３で算出した類似度のうち、最大の類似度が所定値以上であるか否かを判定し、最大の類似度が所定値以上であると判定した場合はステップＳ４６に処理を移し、最大の類似度が所定値以上でないと判定した場合は本処理を終了する。
例えば、ユーザが楽曲の演奏を目的とせずにＭＩＤＩキーボードを操作した場合等は、類似度は小さくなる。また、仮に、ユーザが指定した小節以外の小節を演奏した場合の評価対象（生徒）画像データと、指定した小節の評価基準（教師）画像データとの類似度は小さくなる。ここで、本実施形態において、「所定値」は、任意の値とすることができるが、楽曲の演奏を目的としないと推測されるＭＩＤＩキーボード等の操作や、指定されていない小節の演奏を評価対象外とするための適正な値が望ましい。

ステップＳ４６において、ＣＰＵ１１は、ステップＳ４３で算出した類似度のうち、最大の類似度を評価値とし、当該評価値と、当該評価値が算出された小節番号とを記憶部１８に記憶する。本実施形態において、「小節番号」は、楽曲における所定の小節を特定するものであり、例えば、楽曲の最初の小節の小節番号を“１”とし、楽曲の進行順に順次“１＋ｎ”（ｎは整数）で示される。

このように、ステップＳ４３及びステップＳ４６の処理を実行するＣＰＵ１１は、評価基準データ作成手段により作成された評価基準データと、評価対象データ作成手段により作成された評価対象データと、の比較の結果に基づいて評価値を算出する評価手段として機能する。また、ステップＳ４３及びステップＳ４６の処理を実行するＣＰＵ１１は、評価基準データと評価対象データとの類似度を算出し、当該類似度を評価値とする評価手段として機能する。また、ステップＳ４３及びステップＳ４６の処理を実行するＣＰＵ１１は、連続した小節の評価基準データと、評価対象データと、比較して、類似度を算出して、当該類似度を評価値とする評価手段として機能する。更に、ステップＳ４３乃至ステップＳ４６の処理を実行するＣＰＵ１１は、小節毎に評価基準データと、評価対象データと、比較して、類似度を算出し、類似度が所定値以下の小節を、評価対象外とし、類似度を評価値とする評価手段として機能する。

次に、図８を参照して、本実施形態に係る演奏評価装置１のＣＰＵ１１が実行する評価値グラフ化処理について説明する。
図８は、本実施形態に係る演奏評価装置１のＣＰＵ１１が実行する評価値グラフ化処理の流れを説明するフローチャートである。
ステップＳ５１において、ＣＰＵ１１は、評価値と当該評価値が算出された小節番号とを記憶部１８から読み出す。

ステップＳ５２において、ＣＰＵ１１は、ステップＳ５１で読み出した小節番号が、ステップＳ３１で指定を受け付けた小節を示すものか否かを判定し、指定を受け付けた小節を示すものであると判定した場合はステップＳ５３に処理を移し、指定を受け付けた小節を示すものでないと判定した場合は本処理を終了する。

ステップＳ５３において、ＣＰＵ１１は、ステップＳ５１で読み出した評価値が、ステップＳ５１で読み出した小節番号が示す小節についての最初の評価値であるか否かを判定し、最初の評価値であると判定した場合はステップＳ５４に処理を移し、最初の評価値でないと判定した場合はステップＳ５５に処理を移す。詳細には、ステップＳ５３において、ＣＰＵ１１は、記憶部１８を参照し、上記小節番号が示す小節について後述する評価ベース値が記憶されているか否かを判定する。

ステップＳ５４において、ＣＰＵ１１は、ステップＳ５１で読み出した評価値を、ステップＳ５１で読み出した小節番号が示す小節の評価ベース値として、記憶部１８に記憶する。

ステップＳ５５において、ＣＰＵ１１は、記憶部１８からステップＳ５１で読み出した小節番号が示す小節の評価ベース値を読み出し、当該評価ベース値とステップＳ５１で読み出した評価値との差である相対値を算出する。

このように、ステップＳ５１乃至ステップＳ５５の処理を実行するＣＰＵ１１は、所定の楽曲について、評価手段により算出された評価値を評価ベース値とし、評価ベース値が算出された以降に算出された評価値と評価ベース値との相対値を算出する相対値算出手段として機能する。

ステップＳ５６において、ＣＰＵ１１は、ステップＳ５５で算出した相対値をグラフ化した画像データを作成し、当該グラフ化した画像データを、演奏評価装置１が備える表示部又は外付けされた表示部に表示する表示制御を行う。本実施形態において、「相対値をグラフ化した画像データ」は、過去の演奏に対する評価である評価ベース値と、今回の演奏に対する評価である評価値との差分を表示できれば、例えば、棒グラフや折れ線グラフ等、多様な形態のグラフの画像を示すための画像データである。このように、ステップＳ５６の処理を実行するＣＰＵ１１は、相対値算出手段により算出された相対値を示す画像の表示を制御する表示制御手段として機能する。

以上説明したように、本実施形態の演奏評価装置１は、ＣＰＵ１１を備える。
本実施形態のステップＳ２２及びステップＳ２３の処理を実行するＣＰＵ１１は、楽曲の演奏により生成され、評価の基準となる評価基準波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データである評価基準（教師）画像データを作成する評価基準データ作成手段として機能する。
ステップＳ３２及びステップＳ３３の処理を実行するＣＰＵ１１は、楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データである評価対象（生徒）画像データを作成する評価対象データ作成手段として機能する。
ステップＳ４３及びステップＳ４６の処理を実行するＣＰＵ１１は、評価基準データ作成手段により作成された評価基準（教師）画像データと、評価対象データ作成手段により作成された評価対象（生徒）画像データと、の比較の結果に基づいて評価値を算出する評価手段として機能する。

これにより、楽曲の演奏により生成される評価基準波形データを評価基準（教師）画像データに変換し、楽曲の演奏により生成される評価対象波形データを評価対象（生徒）画像データに変換し、評価基準（教師）画像データと評価対象（生徒）画像データとを比較し、評価値を算出する。即ち、演奏による音の波形データを画像データに変換して、画像データ同士を比較することで、評価値を算出できる。
したがって、ＭＩＤＩに基づく情報のみならず、音の波形データに基づき演奏を評価できるので、自然楽器の演奏も評価可能となる。

また、本実施形態のステップＳ４３及びステップＳ４６の処理を実行するＣＰＵ１１は、連続した小節の評価基準（教師）画像データと、評価対象（生徒）画像データと、比較して、類似度を算出して、当該類似度を評価値とする評価手段として機能する。
これにより、評価基準（教師）画像データと、評価対象（生徒）画像データとの類似度により、演奏を評価できる。

また、本実施形態のステップＳ５１乃至ステップＳ５５の処理を実行するＣＰＵ１１は、所定の楽曲について、評価手段により算出された評価値を評価ベース値とし、評価ベース値が算出された以降に算出された評価値と評価ベース値との相対値を算出する相対値算出手段として機能する。
ステップＳ５６の処理を実行するＣＰＵ１１は、相対値算出手段により算出された相対値を示す画像の表示を制御する表示制御手段として機能する。
これにより、過去の演奏に対する評価である評価ベース値と、今回の演奏に対する評価である評価値との差分を、例えば、演奏する技術の上達度として示す画像の表示を制御することで、ユーザの演奏の練習を支援できる。

また、本実施形態のステップＳ２２及びステップＳ２３の処理を実行するＣＰＵ１１は、楽曲の小節毎に評価基準（教師）画像データを作成する評価基準データ作成手段として機能する。
ステップＳ４３乃至ステップＳ４６の処理を実行するＣＰＵ１１は、小節毎に評価基準（教師）画像データと、評価対象（生徒）画像データと、比較して、類似度を算出し、類似度が所定値以下の小節を、評価対象外とし、類似度を評価値とする評価手段として機能する。
これにより、類似度が所定値以下の小節を評価対象外とできるので、例えば、ユーザが評価対象とする小節を指定した場合に算出された類似度や、指定した小節以外の小節を演奏した場合や、楽曲の演奏を目的としないと推測される楽器の操作により算出された類似度を評価対象外とし無視することができる。
したがって、例えば、特定の小節のみについてのユーザの練習を支援できるともに、演奏を目的とする楽器の操作についてのみ評価できる。

また、本実施形態のステップＳ４３及びステップＳ４６の処理を実行するＣＰＵ１１は、連続した小節の評価基準（教師）画像データと、評価対象（生徒）画像データと、比較して、類似度を算出して、当該類似度を評価値とする評価手段として機能する。
これにより、連続した小節の演奏を評価できるので、例えば、連続した特定の小節についてのユーザの練習を支援できる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

例えば、上述の実施形態では、評価基準（教師）波形データを、記憶部１８から評価基準（教師）楽譜データを読み込み、楽曲を構成する音を合成し演奏することで作成しているが、これに限らず、例えば、評価基準（教師）波形データ自体を記憶部１８やリムーバブルメディア３１に記憶しておき、この評価基準（教師）波形データを用いて評価してもよい。また、評価基準となる者（例えば、教師）による演奏から、直接、評価基準（教師）波形データを作成してもよい。

また、上述の実施形態では、評価ベース値を、所定の小節についての最初の評価値としているが、これに限らず、任意のタイミング、例えば、ユーザが指定したタイミングや所定回数毎（例えば、１０回毎）の評価値を評価ベース値としてもよい。

また、上述の実施形態では、演奏評価装置１として、情報処理機能を有する電子機器一般を採用することができる。具体的には、例えば、演奏評価装置１は、ノート型のパーソナルコンピュータ、デスクトップ型のパーソナルコンピュータ、携帯情報端末、携帯電話機、ポータブルゲーム機等によって実現することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
また、各手段は、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部１８に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
楽曲の演奏を評価する演奏評価装置であって、
前記楽曲の演奏により生成され、評価の基準となる評価基準波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データを作成する評価基準データ作成手段と、
前記楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データを作成する評価対象データ作成手段と、
前記評価基準データ作成手段により作成された前記評価基準データと、前記評価対象データ作成手段により作成された前記評価対象データと、の比較の結果に基づいて評価値を算出する評価手段と、
を備える演奏評価装置。
［付記２］
前記評価手段は、前記評価基準データと前記評価対象データとの類似度を算出し、前記類似度を評価値とする付記１に記載の演奏評価装置。
［付記３］
所定の前記楽曲について、前記評価手段により算出された前記評価値を評価ベース値とし、前記評価ベース値が算出された以降に算出された前記評価値と前記評価ベース値との相対値を算出する相対値算出手段と、
前記相対値算出手段により算出された前記相対値を示す画像の表示を制御する表示制御手段と、を備える付記１又は２に記載の演奏評価装置。
［付記４］
前記評価基準データ作成手段は、前記楽曲の小節毎に前記評価基準データを作成し、
前記評価手段は、前記小節毎に前記評価基準データと、前記評価対象データと、比較して、前記類似度を算出し、前記類似度が所定値以下の前記小節を、評価対象外として、前記類似度を評価値とする付記２に記載の演奏評価装置。
［付記５］
前記評価手段は、連続した前記小節の前記評価基準データと、前記評価対象データと、比較して、前記類似度を算出して、前記類似度を評価値とする付記４に記載の演奏評価装置。
［付記６］
楽曲の演奏を評価する演奏評価装置を制御するコンピュータを、
前記楽曲の演奏により生成され、評価の基準となる評価基準波形データをに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データを作成する評価基準データ作成手段、
前記楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データを作成する評価対象データ作成手段、
前記評価基準データ作成手段により作成された前記評価基準データと、前記評価対象データ作成手段により作成された前記評価対象データと、の比較の結果に基づいて評価値を算出する評価手段、
として機能させることを特徴とするプログラム。
［付記７］
楽曲の演奏を評価する演奏評価装置が実行する演奏評価方法であって、
前記楽曲の演奏により生成され、評価の基準となる評価基準波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データを作成する評価基準データ作成ステップと、
前記楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データを作成する評価対象データ作成ステップと、
前記評価基準データ作成ステップにより作成した前記評価基準データと、前記評価対象データ作成ステップにより作成した前記評価対象データと、の比較の結果に基づいて評価値を算出する評価ステップと、
を含むことを特徴とする演奏評価方法。

１・・・演奏評価装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・入力部、１７・・・出力部、１８・・・記憶部、１９・・・ＭＩＤＩインターフェース部、２０・・・ドライブ、３１・・・リムーバブルメディア、４１・・・音源

Claims (7)

1. 楽曲の演奏を評価する演奏評価装置であって、
   前記楽曲の演奏により生成され、評価の基準となる評価基準波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データを作成する評価基準データ作成手段と、
   前記楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データを作成する評価対象データ作成手段と、
   前記評価基準データ作成手段により作成された前記評価基準データと、前記評価対象データ作成手段により作成された前記評価対象データと、の比較の結果に基づいて評価値を算出する評価手段と、
   を備える演奏評価装置。
2. 前記評価手段は、前記評価基準データと前記評価対象データとの類似度を算出し、前記類似度を評価値とする請求項１に記載の演奏評価装置。
3. 所定の前記楽曲について、前記評価手段により算出された前記評価値を評価ベース値とし、前記評価ベース値が算出された以降に算出された前記評価値と前記評価ベース値との相対値を算出する相対値算出手段と、
   前記相対値算出手段により算出された前記相対値を示す画像の表示を制御する表示制御手段と、を備える請求項１又は２に記載の演奏評価装置。
4. 前記評価基準データ作成手段は、前記楽曲の小節毎に前記評価基準データを作成し、
   前記評価手段は、前記小節毎に前記評価基準データと、前記評価対象データと、比較して、前記類似度を算出し、前記類似度が所定値以下の前記小節を、評価対象外として、前記類似度を評価値とする請求項２に記載の演奏評価装置。
5. 前記評価手段は、連続した前記小節の前記評価基準データと、前記評価対象データと、比較して、前記類似度を算出して、前記類似度を評価値とする請求項４に記載の演奏評価装置。
6. 楽曲の演奏を評価する演奏評価装置を制御するコンピュータを、
   前記楽曲の演奏により生成され、評価の基準となる評価基準波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データを作成する評価基準データ作成手段、
   前記楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データを作成する評価対象データ作成手段、
   前記評価基準データ作成手段により作成された前記評価基準データと、前記評価対象データ作成手段により作成された前記評価対象データと、の比較の結果に基づいて評価値を算出する評価手段、
   として機能させることを特徴とするプログラム。
7. 楽曲の演奏を評価する演奏評価装置が実行する演奏評価方法であって、
   前記楽曲の演奏により生成され、評価の基準となる評価基準波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価基準データを作成する評価基準データ作成ステップと、
   前記楽曲の演奏により生成され、評価の対象となる評価対象波形データに基づいて、周波数軸上のパラメータと時間軸上のパラメータとの組み合わせからなる評価対象データを作成する評価対象データ作成ステップと、
   前記評価基準データ作成ステップにより作成した前記評価基準データと、前記評価対象データ作成ステップにより作成した前記評価対象データと、の比較の結果に基づいて評価値を算出する評価ステップと、
   を含むことを特徴とする演奏評価方法。