JP2023034873A - プログラム、情報処理装置、演奏評価システム及び演奏評価方法 - Google Patents

Abstract

【課題】仮に即興演奏であっても良好に演奏を評価できるようにする。【解決手段】情報処理装置のＣＰＵは、複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力部に指示する。【選択図】図５

Description

本発明は、プログラム、情報処理装置、演奏評価システム及び演奏評価方法に関する。

従来、ユーザが楽曲を演奏したときの演奏を評価する技術として、例えば、検出された操作状態と、演奏を案内するオブジェデータに記述されている操作内容とを対比し、両者の一致度に基づく評価結果をモニタに表示する技術が知られている（例えば、特許文献１参照）。

特開２００１－１４５７７８号公報

しかしながら、従来の技術では、ユーザの演奏操作と正解データとの一致不一致に基づいて演奏を評価しているため、即興演奏の場合は評価できないという問題があった。

本発明の課題は、仮に即興演奏であっても良好に演奏を評価できるようにすることである。

上記課題を解決するため、本発明のプログラムは、
コンピューターに、
複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
処理を実行させる。

本発明によれば、仮に即興演奏であっても良好に演奏を評価することが可能となる。

本発明の実施形態に係る演奏評価システムの全体構成例を示す図である。 図１のＣＰＵにより実行される演奏評価処理の流れを示すフローチャートである。 図２のステップＳ６において実行される演奏情報処理の流れを示すフローチャートである。 図２のステップＳ２において起動されるタイマー処理の流れを示すフローチャートである。 図４のステップＳ２６において実行される速弾き評価処理の流れを示すフローチャートである。 図４のステップＳ２７において実行される正確さ評価処理の流れを示すフローチャートである。 演奏評価処理の開始から終了までの反応音の出力タイミングを時系列で示す図である。 ノートｏｎ時間差（演奏操作間隔）のヒストグラムである。

以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されている。そのため、本発明の技術的範囲を以下の実施形態及び図示例に限定するものではない。

［演奏評価システム１００の構成］
図１は、本発明に係る演奏評価システム１００の全体構成を示す図である。演奏評価システム１００は、情報処理装置１と、電子楽器２と、が通信インターフェース（本実施形態では、ＭＩＤＩ（Musical Instrument Digital Interface）インターフェース）を介して接続されて構成されている。

［情報処理装置１の構成］
情報処理装置１は、電子楽器２における演奏操作に基づいて入力されたノートデータに基づいて、電子楽器２における演奏を評価する装置である。情報処理装置１としては、例えば、タブレットＰＣ（Personal Computer）、ノートＰＣ、スマートフォン等が適用可能である。

図１に示すように、情報処理装置１は、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１３、入力部１４、表示部１５、ＭＩＤＩインターフェース１６、出力部１７等を備えて構成され、各部はバス１８により接続されている。

ＣＰＵ１１は、ＲＯＭ１３に記憶されているプログラムを読み出し、ＲＡＭ１２のワークエリアに展開し、該プログラムに従って各部を制御して、各種処理を実行する。例えば、ＣＰＵ１１は、ＲＯＭ１３に記憶されているプログラムとの協働により、後述する演奏評価処理を実行する。

ＲＡＭ１２は、ＣＰＵ１１により実行制御される各種処理において、プログラム、入力若しくは出力データ、及びパラメータ等の一時的な格納領域を形成する。

ＲＯＭ１３は、プログラム及びこれらのプログラムで使用されるデータ等を記憶する。ＲＯＭ１３に記憶されているプログラムには、後述する演奏評価処理を実行するためのプログラムが含まれる。

また、ＲＯＭ１３には、少なくとも１つの調の構成音データが記憶されている。例えば、ハ長調の構成音データ（Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ａ、Ｂ）が記憶されている。
また、ＲＯＭ１３には、後述する演奏評価処理で使用される反応音の音声データや効果音データが記憶されている。例えば、演奏開始前に出力する演奏催促の拍手等の反応音、演奏開始時に出力する拍手等の反応音、演奏終了時に出力する拍手等の反応音、演奏評価が高い場合に出力する歓喜を表す反応音（反応音タイプ１～３）の音声データや効果音データが記憶されている。

入力部１４は、キーボード等のキー入力部と、マウス等のポインティングデバイスとを有し、ユーザー（オペレーター）からのキー操作入力及び位置操作入力を受け付け、その操作情報を、ＣＰＵ１１に出力する。なお、入力部１４は、タッチパネルにより構成されていてもよい。

表示部１５は、ＬＣＤ（Liquid Crystal Display）、ＥＬ（Electro Luminescence）ディスプレイ等で構成され、ＣＰＵ１１から指示された表示情報に従い各種表示を行う。

ＭＩＤＩインターフェース１６は、電子楽器２のＭＩＤＩインターフェース２３と接続され、演奏に応じて電子楽器２から出力されるノートデータ等の取得を行う取得部として機能する。

出力部１７は、Ｄ／Ａコンバータ、増幅器、スピーカ等を備え、ＣＰＵ１１からの出力指示に従って、音声データや効果音データに基づき音声や効果音等を出力する出力手段である。

［電子楽器２の構成］
電子楽器２は、例えば、鍵盤楽器であり、キーボード２１、音源・サウンドシステム２２、ＭＩＤＩインターフェース２３等を備えて構成されている。
キーボード２１は、ユーザが演奏操作を行うための複数の鍵（演奏操作子）を有する鍵盤である。
音源・サウンドシステム２２は、ユーザによるキーボード２１の演奏操作に従って楽音波形を生成し出力する。
ＭＩＤＩインターフェース２３は、情報処理装置１のＭＩＤＩインターフェース１６に接続され、演奏に応じたノートデータを情報処理装置１に出力する。

電子楽器２は、キーボード（鍵盤）２１のいずれかの鍵が演奏操作（押鍵／離鍵）されるごとに、ＭＩＤＩインターフェース２３を介して情報処理装置１に演奏操作情報であるノートデータを出力する。具体的に、電子楽器２は、キーボード２１のいずれかの鍵が押鍵されると、押鍵されたことを示すノートｏｎメッセージ、ノート番号（押鍵された鍵の番号（ピッチ））、ベロシティの情報を含むノートデータを出力する。キーボード２１のいずれかの鍵が離鍵されると、離鍵されたことを示すノートｏｆｆメッセージ、ノート番号（離鍵された鍵の番号（ピッチ））、ベロシティ等を含むノートデータを出力する。

［情報処理装置１の動作］
（演奏評価処理）
次に、本実施形態の情報処理装置１の動作について説明する。
図２は、情報処理装置１において入力部１４により演奏評価処理の実行が指示された場合に、ＣＰＵ１１により実行される演奏評価処理の流れを示すフローチャートである。図２に示す演奏評価処理は、ＣＰＵ１１とＲＯＭ１３に記憶されているプログラムとの協働により実行される。

まず、ＣＰＵ１１は、演奏評価処理で使用される変数を初期化し（ステップＳ１）、タイマー処理（図４参照）を起動する（ステップＳ２）。
ここで、タイマー処理は、演奏評価処理の実行中に、所定周期で、例えば、１０～２０ｍｓｅｃ周期で実行される処理である。タイマー処理については詳細を後述する。

次いで、ＣＰＵ１１は、演奏評価処理の終了条件に該当するか否かを判断する（ステップＳ３）。
例えば、ＣＰＵ１１は、後述するタイマー処理で演奏終了と判断された場合、または、演奏評価処理のキャンセルが入力部１４により入力された場合に、演奏評価処理の終了条件に該当すると判断する。

演奏評価処理の終了条件に該当しないと判断した場合（ステップＳ３；ＮＯ）、ＣＰＵ１１は、ＭＩＤＩインターフェース１６により電子楽器２からのノートデータが受信されたか否かを判断する（ステップＳ４）。
ＭＩＤＩインターフェース１６により電子楽器２からのノートデータが受信されたと判断した場合（ステップＳ４；ＹＥＳ）、ＣＰＵ１１は、受信したノートデータ及びその受信時刻を、受信順を表す番号に対応付けてＲＡＭ１２に記憶し（ステップＳ５）、演奏情報処理（図３参照）を実行する（ステップＳ６）。

(演奏情報処理)
図３は、図２のステップＳ６において実行される演奏情報処理の流れを示すフローチャートである。演奏情報処理は、ＣＰＵ１１とＲＯＭ１３に記憶されているプログラムとの協働により実行される。

演奏情報処理において、ＣＰＵ１１は、受信したノートデータがノートｏｎメッセージを含んでいるか否かを判断する（ステップＳ６１）。
受信したノートデータがノートｏｎメッセージを含んでいると判断した場合（ステップＳ６１；ＹＥＳ）、ＣＰＵ１１は、そのノートｏｎメッセージが演奏開始時のノートｏｎメッセージであるか否かを判断する（ステップＳ６２）。
ここで、演奏開始時のノートｏｎメッセージであるか否かは、例えば、受信したノートｏｎメッセージが、演奏評価処理を開始してから受信した最初ノートｏｎメッセージであるか否かで判断する。演奏評価処理を開始してから受信した最初ノートｏｎメッセージである場合に、演奏開始時のノートｏｎメッセージであると判断する。

演奏開始時のノートｏｎメッセージであると判断した場合（ステップＳ６２；ＹＥＳ）、ＣＰＵ１１は、演奏開始時の拍手等の反応音の出力を出力部１７に指示して出力させ（ステップＳ６３）、ステップＳ６４に移行する。
演奏開始時のノートｏｎメッセージではないと判断した場合（ステップＳ６２；ＮＯ）、ＣＰＵ１１は、ステップＳ６４に移行する。

ステップＳ６４において、ＣＰＵ１１は、受信したノートｏｎメッセージが最初のノートｏｎメッセージであるか否かを判断する（ステップＳ６４）。
受信したノートｏｎメッセージが最初のノートｏｎメッセージではない（２回目以降のノートｏｎメッセージである）と判断した場合（ステップＳ６４；ＮＯ）、ＣＰＵ１１は、前回のノートｏｎメッセージと今回のノートｏｎメッセージの受信時刻の時刻差を算出し、この時刻差を変数elapsedに格納する（ステップＳ６５）。また、その時刻差における出現頻度をヒストグラムとして格納する変数iDistNoteOn[elapsed]をインクリメントする（ステップＳ６６）。
ここで、算出された時刻差はある範囲で量子化される。テンポが120bpmで、４分音符間隔で弾かれた場合は、時刻差が、0.5秒になる。同様に、テンポが、121bpmの場合は、時刻差が、0.4958秒程度になる。そこで、例えば、時刻差を0.003秒程度の範囲で量子化すると、テンポbpmの１桁目を測定できることになるので、その量子化された時刻差elapsedの値の頻度をiDistNoteOn[elapsed]に保持するようにする。
なお、押鍵／離鍵はセットであり、押鍵により演奏操作が開始されるものであるから、押鍵操作が実施されるごとに受信されるノートｏｎメッセージの受信時刻の時間差を求めることで、演奏操作間隔を求めることができる。

次いで、ＣＰＵ１１は、elapsed<30ms（ミリ秒）であるか否かを判断する（ステップＳ６７）。
elapsed<30msではない（すなわち、elapsedが30ms以上である）と判断した場合（ステップＳ６７；ＮＯ）、ＣＰＵ１１は、和音（ほぼ同時の複数の押鍵操作）を１つの演奏操作とみなしたノートｏｎメッセージのカウント用変数であるiRepeatNoteCntをインクリメントするとともに、ノートｏｎ時刻差の累計（演奏操作間隔の累計）をカウントするための変数であるiSumIntervalにelapsedの値を加算し（ステップＳ６８）、ステップＳ６９に移行する。
上述のように、押鍵／離鍵はセットであり、押鍵により演奏操作が開始されるものであるから、押鍵操作が実施されるごとに受信されるノートｏｎメッセージをカウントすることにより演奏操作回数をカウントすることができる。
一方、elapsed<30msである（すなわち、elapsedが30msより小さい）と判断した場合（ステップＳ６７；ＹＥＳ）、ＣＰＵ１１は、ステップＳ６９に移行する。

ここで、和音演奏の場合、和音の１つ１つの音の演奏操作（押鍵操作）に対してノートｏｎメッセージが受信される。そこで、和音を指定する操作を１つの演奏操作とみなして１つの固まりとして捉えたときの演奏操作回数や演奏操作間隔の累計を算出するために、elapsedが30msより小さいという極めて短い値の場合（ステップＳ６７がＹＥＳの場合）は、iRepeatNoteCntのインクリメント及びiSumIntervalへのelapsedの加算は行わないようにしている。すなわち、設定時間内（ここでは、30ms内）の複数の演奏操作を和音の１つの演奏操作としてみなして演奏操作回数や演奏操作間隔の累計を算出するようにしている。なお、ステップＳ６７においてelapsedと比較する閾値（設定時間）は、30msとしているが、一例であり、30msに限定されるものではない。

ステップＳ６９において、ＣＰＵ１１は、ノートｏｎメッセージのカウント用変数であるiNoteCntをインクリメントする（ステップＳ６９）。
次いで、ＣＰＵ１１は、ベロシティの累計値を算出するためのiSumVelocityに、受信したノートデータに含まれるベロシティ値iVelを加算する（ステップＳ７０）。
そして、ＣＰＵ１１は、受信したノートデータのノート番号をpitとして、そのノート番号（pit）の鍵のｏｎ／ｏｆｆ（押鍵／離鍵）状態を格納するためのiNoteOn[pit]にｏｎ状態であることを示す１を格納するとともに、そのノート番号の鍵が演奏操作された数をカウントするためのiUserPlayPitch[pit]をインクリメントし（ステップＳ７１）、図２のステップＳ３に戻る。

一方、ステップＳ６１において、受信したノートデータがノートｏｎメッセージを含んでいない（すなわち、ノートｏｆｆメッセージを含んでいる）と判断した場合（ステップＳ６１；ＮＯ）、ＣＰＵ１１は、受信したノートデータのノート番号に対応するiNoteOn[pit]に、そのノート番号の鍵がｏｆｆ状態であることを示す０を格納し（ステップＳ７２）、図２のステップＳ３に戻る。

ＣＰＵ１１は、図２のステップＳ３において演奏評価処理の終了条件に該当したと判断するまで、ステップＳ３～ステップＳ５の処理を繰り返し実行するとともに、所定時間周期で、ステップＳ２で起動したタイマー処理を実行する。

（タイマー処理）
図４は、演奏評価処理の実行中に所定時間周期で実行されるタイマー処理の流れを示すフローチャートである。タイマー処理は、ＣＰＵ１１とＲＯＭ１３に記憶されているプログラムとの協働により実行される。

タイマー処理において、まず、ＣＰＵ１１は、タイマー処理回数を格納する変数であるiTimeUnitCntをインクリメントする（ステップＳ２１）。

次いで、ＣＰＵ１１は、ポリ数（同時発音数）iPolyを算出する（ステップＳ２２）。
ステップＳ２２においては、１が格納されているiNoteOn[pit]の個数（すなわち、現在ｏｎ状態となっている音の個数）をポリ数iPolyとして算出（取得）する。

次いで、ＣＰＵ１１は、iPolyの累計を格納するための変数であるiSumPolyにステップＳ２０２で算出したiPolyを加算する（ステップＳ２３）。

次いで、ＣＰＵ１１は、iPoly＝0であるか否かを判断する（ステップＳ２４）。
iPoly＝0であると判断した場合（ステップＳ２４；ＹＥＳ）、ＣＰＵ１１は、演奏開始前であるか否かを判断する（ステップＳ２８）。
例えば、ＣＰＵ１１は、演奏評価処理が開始されてから一度もノートｏｎメッセージが受信されていない状態で所定時間が経過した場合に、演奏開始前であると判断する。
演奏開始前であると判断した場合（ステップＳ２８；ＹＥＳ）、ＣＰＵ１１は、演奏開始前の、演奏を促すような歓声や拍手の反応音の出力を出力部１７に指示して出力させ（ステップＳ２９）、タイマー処理を終了する。

演奏開始前ではないと判断した場合（ステップＳ２８；ＮＯ）、ＣＰＵ１１は、演奏終了であるか否かを判断する（ステップＳ３０）。
例えば、ＣＰＵ１１は、演奏開始後、iPoly＝0の状態が所定時間以上経過した場合に、演奏終了と判断する。
演奏終了ではないと判断した場合（ステップＳ３０；ＮＯ）、ＣＰＵ１１は、タイマー処理を終了する。
演奏終了であると判断した場合（ステップＳ３０；ＹＥＳ）、ＣＰＵ１１は、演奏終了時の、歓声や拍手等の反応音の出力を出力部１７に指示して出力させ（ステップＳ３１）、タイマー処理を終了する。

一方、ステップＳ２４において、iPoly＝0ではないと判断した場合（ステップＳ２４；ＮＯ）、ＣＰＵ１１は、iNoteCnt＞32であるか否かを判断する（ステップＳ２５）。
ここで、ステップＳ２５において、iNoteCnt（ノートｏｎメッセージのカウント用変数）と比較する値である32は、後述する速弾き評価処理で評価を行うために必要なカウント数として予め定められた値であるが、一例であり、これに限定されるものではない。

ステップＳ２５において、iNoteCnt>32ではないと判断した場合（ステップＳ２５；ＮＯ）、ＣＰＵ１１は、タイマー処理を終了する。

ステップＳ２５において、iNoteCnt>32であると判断した場合（ステップＳ２５；ＹＥＳ）、ＣＰＵ１１は、速弾き評価処理を実行する（ステップＳ２６）。

（速弾き評価処理）
図５は、速弾き評価処理の流れを示すフローチャートである。速弾き評価処理は、ＣＰＵ１１とＲＯＭ１３に記憶されているプログラムとの協働により実行される。

速弾き評価処理において、まず、ＣＰＵ１１は、doIntvl = iSumInterval / iRepeatNoteCnt（演奏操作間隔の平均）を算出する（ステップＳ６０１）。これにより和音（ほぼ同時に複数鍵を押鍵）を考慮したノートｏｎ時刻差の平均が算出される。
次いで、ＣＰＵ１１は、doPoly = iSumPoly / iTimeUnitCnt（タイマー処理ごとのポリ数の平均）を算出する（ステップＳ６０２）。
次いで、ＣＰＵ１１は、doVel = iSumVelocity / iNoteCnt（ベロシティの平均）を算出する（ステップＳ６０３）。

次いで、ＣＰＵ１１は、doIntvl（演奏操作間隔の平均）とiRepeatNoteCnt（演奏操作回数）に基づいて、以下の（式１）により、doHighSpeedValue（速弾きの評価値）を算出する（ステップＳ６０４）。
doHighSpeedValue = ( ( doIntvl × A0 + B0 ) + ( A1 × iRepeatNoteCnt + B1 ) ) / 2
…（式１）

ここで、聴衆の前での演奏中に拍手や歓声が上がる時があるが、それは演奏者の演奏が、「すごい」、「かっこいい」、「素晴らしい」、と聴衆に思わせるような演奏であるからである。一般的には、テンポが160bpm程度で、16分音符を連続して1小節以上弾かれた場合に「すごい」、「かっこいい」、「素晴らしい」とみなされることが多い。すなわち、速弾きのスピードと速弾きした回数が、演奏が素晴らしいと評価するための重要な要素である。doHighSpeedValueの算出式は、この点に着目して定義された式であり、演奏操作間隔と演奏操作回数に基づいて算出される。
doHighSpeedValueの算出式におけるA0、B0、A1、B1は、経験的に求められた係数である。例えば、doIntvlが100msecの時に、doIntvl × A0 + B0＝100（点）、doIntvlが180msecの時に、doIntvl × A0 + B0＝0（点）になるように、係数A0=100/(100-180), B0=-A0×180が設定される。また、iRepeatNoteCntが32の時に、A1 × iRepeatNoteCnt + B1＝100（点）となり、iRepeatNoteCntが8の時に、A1 × iRepeatNoteCnt + B1＝0（点）となるように、係数A1=100/(32-8), B1=-A1×8が設定される。 doHighSpeedValueの最大値は、100（点）である。

次いで、ＣＰＵ１１は、doIntvl（演奏操作間隔の平均）、iRepeatNoteCnt（演奏操作回数）、doPoly（ポリ数の平均）に基づいて、以下の（式２）により、doChordRepeatValue（和音の速弾きの評価値）を算出する（ステップＳ６０５）。
doChordRepeatValue = ( ( doIntvl × A0 + B0 ) + ( A1 × iRepeatNoteCnt + B1 ) + ( A2 × doPoly + B2 ) ) / 3 …（式２）

doChordRepeatValueは、速弾きの評価に用いた演奏操作間隔と演奏操作回数に加え、さらに、同時発音数であるポリ数を評価要素として加えたものである。一般的には、ポリ数が多いほど「すごい」、「かっこいい」、「素晴らしい」とみなされることが多い。
doChordRepeatValueの算出式におけるA0、B0、A1、B1 A2、B2は、経験的に求められた係数である。例えば、上述のように、A0=100/(100-180), B0=-A0×180，A1=100/(32-8), B1=-A1×8とする。また、doPolyが4.0の時に、A2 × doPoly + B2＝100（点）となり、doPolyが1.5の時に、A2 × doPoly + B2＝０（点）となるように、係数A2=100.0/(4.0-1.5)、B2=-A2×1.5が設定される。 doChordRepeatValueの最大値は、100（点）である。

次いで、ＣＰＵ１１は、ステップＳ６０６～Ｓ６１２を実施して、doUserPitchClassValue（調性の評価値）を算出する。
まず、ＣＰＵ１１は、変数iに0をセットする（ステップＳ６０６）。
次いで、ＣＰＵ１１は、i>=12であるか否かを判断する（ステップＳ６０７）。
ここで、12は、調の種類であり、構成音が異なる調（キー）の数である。なお、本実施形態において、調（キー）には0～11の番号が付与されている。

i>=12ではないと判断した場合（ステップＳ６０７；ＮＯ）、ＣＰＵ１１は、ＲＯＭ１３に記憶されているハ長調の構成音データに基づいて、計算によりキーｉの構成音を算出して（ハ長調の場合は算出不要）キーiの構成音データを取得し、キーiの構成音に対応するiUserPlayPitch[pit]の値を累計することにより、キーiの構成音が操作された数diaValueを算出する。また、キーｉの構成音以外の音に対応するiUserPlayPitch[pit]の値を累計することにより、キーiの構成音以外の音が操作された数mismatchを算出する（ステップＳ６０８）。
なお、調（キー）ごとの構成音データをＲＯＭ１３に記憶しておき、ステップＳ６０８では、評価値の算出対象のキーｉに対応する構成音データをＲＯＭ１３から読み出して取得することとしてもよい。

次いで、ＣＰＵ１１は、変数maxを参照し、max < diaValueであるか否かを判断する（ステップＳ６０９）。
max < diaValueであると判断した場合（ステップＳ６０９；ＹＥＳ）、ＣＰＵ１１は、変数maxにdiaValueを格納し、変数maxmismatchにmismatchを格納し（ステップＳ６１０）、ステップＳ６１１に移行する。
max < diaValueではないと判断した場合（ステップＳ６０９；ＮＯ）、ＣＰＵ１１は、ステップＳ６１１に移行する。

ステップＳ６１１において、ＣＰＵ１１はiをインクリメントし（ステップＳ６１１）、ステップＳ６０７に戻る。ＣＰＵ１１は、iが１２以上になるまで、ステップＳ６０７～ステップＳ６１１の処理を繰り返し実行する。
i>=12と判断された場合（ステップＳ６０６；ＹＥＳ）、ＣＰＵ１１は、以下の（式３）によりdoUserPitchClassValue（調性の評価値）を算出する（ステップＳ６１２）。
doUserPitchClassValue = 100 × maxmismatch / max …（式３）

ここで、一般的に、演奏されている楽曲の調の構成音だけでなく、それ以外の音も含まれている場合に、聴衆には「すごい」、「かっこいい」、「素晴らしい」と評価される。例えば、ハ長調の場合は、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ａ、Ｂ（ドレミファソラシ）が構成音であり、白鍵のみの音で構成されるところ、黒鍵の音が含まれると「すごい」、「かっこいい」、「素晴らしい」と評価される。そこで、ステップＳ６０７～Ｓ６１２では、各調（キー）ごとに、その構成音が操作された数diaValueを取得し、diaValueが最も多かった調（キー）が、演奏されている楽曲の調と判定して、その調の構成音が操作された数maxに対する、その調の構成音以外の音が操作された数maxmismatch の比率であるdoUserPitchClassValueを調性の評価値として算出している。doUserPitchClassValueは、値が大きいほど評価が高い。

次いで、ＣＰＵ１１は、doHighSpeedValue>=10であるか否かを判断する（ステップＳ６１３）。doHighSpeedValueは、0から100までの値のなかから適当な値を閾値として設定できる。
doHighSpeedValue>=10であると判断した場合（ステップＳ６１３；ＹＥＳ）、ＣＰＵ１１は、歓声等からなる反応音タイプ１を選択し、反応音タイプ１の音声データをＲＯＭ１３から読み出し（ステップＳ６１４）、ステップＳ６１９に移行する。
doHighSpeedValueが10より小さいと判断した場合（ステップＳ６１３；ＮＯ）、ＣＰＵ１１は、doChordRepeatValue>=1であるか否かを判断する（ステップＳ６１５）。doChordRepeatValue>=1であると判断した場合（ステップＳ６１５；ＹＥＳ）、ＣＰＵ１１は、掛け声等からなる反応音タイプ２を選択し、反応音タイプ２の音声データをＲＯＭ１３から読み出し（ステップＳ６１６）、ステップＳ６１９に移行する。
doChordRepeatValueが１より小さいと判断した場合（ステップＳ６１５；ＮＯ）、ＣＰＵ１１は、doUserPitchClassValue>=40であるか否かを判断する（ステップＳ６１７）。doUserPitchClassValue>=40であると判断した場合（ステップＳ６１７；ＹＥＳ）、ＣＰＵ１１は、指笛等からなる反応音タイプ３を選択し、反応音タイプ３の音声データをＲＯＭ１３から読み出し（ステップＳ６１８）、ステップＳ６１９に移行する。
なお、ステップＳ６１３、ステップＳ６１５、ステップＳ６１７において用いられている予め定められた閾値は、一例であり、上述したものに限定されない。なお、閾値の設定により反応の出やすさをコントロールできる。

ステップＳ６１９において、ＣＰＵ１１は、iNoteCntに基づいて、反応音の長さを算出する（ステップＳ６１９）。本実施形態では、押鍵されたノートｏｎ数が多いほど反応音の長さを長くする。例えば、以下の（式４）により、反応音の長さを算出する。
反応音の長さ＝iNoteCnt × A + B(A, Bは定数） …（式４）

次いで、ＣＰＵ１１は、doVel（ベロシティの平均）に基づいて、反応音の強さを算出する（ステップＳ６２０）。本実施形態では、押鍵に応じた発音が大きいほど反応音の音を大きくする。例えば、以下の（式５）により、反応音の強さを算出する。
反応音の強さ=C × iSumVelocity/iNoteCnt(Cは定数） …（式５）

そして、ＣＰＵ１１は、読み出した音声データに基づいて、選択された反応音を算出された長さ及び強さで出力部１７に出力するよう指示し（ステップＳ６２１）、ステップＳ６２２に移行する。
ここで、反応音１～３は、歓喜を表す音声（例えば、上述の歓声、掛け声、指笛等）としているが、拍手等の歓喜を表す効果音であってもよく、上記のものに限定されない。

一方、doHighSpeedValueが10より小さく（ステップＳ６１３；ＮＯ）、doChordRepeatValueが１より小さく（ステップＳ６１５；ＮＯ）、doUserPitchClassValueが40より小さいと判断した場合（ステップＳ６１７；ＮＯ）、ＣＰＵ１１は、ステップＳ６２２に移行する。

ステップＳ６２２において、ＣＰＵ１１は、以下の変数をリセットし（ステップＳ６２２）、速弾き評価処理を終了し、図４のステップＳ２７に移行する。
ステップＳ６２２においては、iRepeatNoteCnt、iSumInterval、iNoteCnt、iSumVelocity、iUserPlayPitch[ ]、iTimeUnitCnt、iSumPoly、maxをリセットする。

このように、速弾き評価処理では、演奏に基づいて入力された複数のノートデータと正解の音高データとの一致不一致を判断することなしに演奏を評価するため、仮に即興演奏であっても良好に演奏を評価することができる。
正解の音高データとは、演奏前から予めメモリに記憶されている楽曲の音高データである。通常、ユーザが正しく演奏できているか否かを評価する場合には、ユーザが演奏することで入力される音高データと正解の音高データとの一致、不一致を判断する。本実施形態では、このような判断を実行していない。従って、ユーザがどのように電子楽器を演奏したとしても、すなわちユーザがその場で作曲し、演奏する即興演奏であったとしても、演奏は評価される。

（正確さ評価処理）
図４のステップＳ２７において、ＣＰＵ１１は、正確さ評価処理を実行する（ステップＳ２７）。

図６は、正確さ評価処理の流れを示すフローチャートである。正確さ評価処理は、ＣＰＵ１１とＲＯＭ１３に記憶されているプログラムとの協働により実行される。
正確さ評価処理は、演奏の正確さを、ノートｏｎ時刻差（すなわち、演奏操作間隔）のヒストグラム（iDistNoteOn[elapsed]）から求めるものである。例えば、一定テンポ120bpmで、4分音符だけを演奏した場合は、ヒストグラムは、0.5秒の箇所のみにピークが現れる。4分音符を演奏していてもテンポが揺らぐ場合は、0.5秒の周辺にある程度の頻度の箇所が現れる。そこで、正確さ評価処理は、ヒストグラムのピークを探し、そのピークの急峻さを正確さとして評価する。

正確さ評価処理において、ＣＰＵ１１は、まず、変数iに０をセットする（ステップＳ７０１）。
次いで、ＣＰＵ１１は、i>=iDistNoteOn[elapsed]の個数、すなわち、変数iがelapsed（ノートｏｎ時間差、すなわち演奏時間間隔）のヒストグラムのビンの個数以上であるか否かを判断する（ステップＳ７０２）。
変数i>=iDistNoteOn[elapsed]の個数、すなわち、elapsedのヒストグラムのビンの個数以上ではないと判断した場合（ステップＳ７０２；ＮＯ）、ＣＰＵ１１は、iDistNoteOn[i]（ヒストグラムのi番目のビンの頻度）がピークであるか否かを判断する（ステップＳ７０３）。
例えば、iDistNoteOn[i]の値がiDistNoteOn[i-1]及びiDistNoteOn[i+1]より大きい場合、iDistNoteOn[i]がピークであると判断する。

iDistNoteOn[i]がピークではないと判断した場合（ステップＳ７０３；ピークではない）、ＣＰＵ１１は、変数iをインクリメントし（ステップＳ７１０）、ステップＳ７０２に戻る。

iDistNoteOn[i]がピークであると判断した場合（ステップＳ７０３；ピーク）、ＣＰＵ１１は、変数jに、i-iPeakAreaを格納する（ステップＳ７０４）。IPeakAreaは、正確さの評価値を算出するために使用するピーク前後のビンの位置を特定するために、予め設定された値である。例えば、正確さの評価値を算出するために使用されるピーク前後のビンの範囲が5であるとすると、IPeakAreaは、5である。このピーク前後のビンの範囲をピークエリアと呼ぶ。

次いで、ＣＰＵ１１は、変数iPeakCntをインクリメントする（ステップＳ７０５）。

次いで、ＣＰＵ１１は、j<0又はj>i+IPeakAreaであるか否かを判断する（ステップＳ７０６）。
j<0又はj>i+IPeakAreaではないと判断した場合（ステップＳ７０６；ＮＯ）、ＣＰＵ１１は、i番めのビン（ピーク）の頻度に対するj番めのビンの頻度の比であるdoDivを、以下の（式６）により算出する（ステップＳ７０７）。
doDiv = ( iDistNoteOn[i] - iDistNoteOn[j] ) / iDistNoteOn[i] …（式６）

次いで、ＣＰＵ１１は、変数doValにdoDivを加算し（ステップ７０８）、変数jをインクリメントし（ステップＳ７０９）、ステップＳ７０６に戻る。
ステップＳ７０６において、j<0又はj>i+IPeakAreaであると判断した場合（ステップＳ７０６；ＹＥＳ）、ＣＰＵ１１は、変数iをインクリメントし（ステップＳ７１０）、ステップＳ７０２に戻る。

ステップＳ７０２において、変数i>=iDistNoteOn[elapsed]の個数であると判断した場合（ステップＳ７０２；ＹＥＳ）、ＣＰＵ１１は、以下の（式７）によりdoValをピーク数で正規化して、正確さの評価指標であるdoValueAccuracyを算出する（ステップＳ７１１）。
doValueAccuracy =doVal / iPeakCnt …（式７）

次いで、ＣＰＵ１１は、doValueAccuracy が所定の閾値、例えば12以上であるか否かを判断する（ステップＳ７１２）。
doValueAccuracy が所定の閾値、例えば12以上であると判断した場合（ステップＳ７１２；ＹＥＳ）、ＣＰＵ１１は、正確性が高いと判断して予め定められた反応音（歓声や拍手等）の出力を出力部１７に指示して出力させ（ステップＳ７１３）、ステップＳ７１４に移行する。
doValueAccuracy が所定の閾値、例えば12より小さいと判断した場合（ステップＳ７１２；ＮＯ）、ＣＰＵ１１は、ステップＳ７１４に移行する。

ステップＳ７１４において、ＣＰＵ１１は、変数iDistNoteOn[]、iPeakCnt、doValをリセットし（ステップＳ７１４）、正確さ評価処理を終了する。

図７は、演奏評価処理の開始から終了までの反応音の出力タイミングを時系列で示す図である。黒矢印で示すタイミングが、反応音が出力されるタイミングである。図７に示すように、演奏開始前、演奏終了後だけでなく演奏中においても、演奏が高く評価された場合には、歓声、掛け声、指笛、拍手等の歓喜を表す音声や効果音が出力されるので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。

演奏評価処理で取得されたノートｏｎ時間差（演奏操作間隔）の頻度を表すiDistNoteOn[elapsed]は、ヒストグラムとして可視化（例えば、表示部１５に表示する）ことが好ましい。
図８は、ノートｏｎ時間差（演奏操作間隔）の頻度を表すiDistNoteOn[elapsed]を可視化したヒストグラムの一例を示す図である。
上述のように、例えば、一定テンポ120bpmで、4分音符だけを演奏した場合は、ヒストグラムは、0.5秒の箇所のみにピークが現れる。4分音符を演奏していてもテンポが揺らぐ場合は、0.5秒の周辺にある程度の頻度の箇所が現れる。よって、ノートｏｎ時間差（演奏操作間隔）のヒストグラムを確認することによって、ユーザは、自分の演奏がどのぐらいのテンポでどの程度の揺らぎがあるのかを目視で確認できる。例えば、テンポ120で演奏する練習をした場合に、それができたか否かをこのヒストグラムにより確認することができる。
また、ヒストグラムを表示する際には、図８に示すように、ピークの位置が、テンポいくつに相当するのかが瞬時にわかるように表示すると良い。これによりユーザは、自身の演奏テンポを確認することが可能となる。また、ヒストグラムをリセットする手段を追加することとしてもよいし、過去の一定時間の演奏に対してヒストグラムを生成して可視化することとしてもよいし、過去の一定の演奏音符数に対してヒストグラムを生成して可視化するようにしてもよい。

以上説明したように、情報処理装置１のＣＰＵ１１は、複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力部１に指示する。
したがって、ユーザが演奏することで入力される音高データと正解の音高データとの一致、不一致を判断することなく演奏を評価することができるので、仮に即興演奏であっても良好に演奏を評価することができる。また、評価に対応する反応音（歓喜を表す音声や効果音等）を出力するので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。

例えば、ＣＰＵ１１は、複数の演奏操作に応じた複数のノートデータと少なくとも１つの調の構成音データとに基づいて、楽曲の調を判定し、判定された楽曲の調の構成音データと複数のノートデータに基づいて、調性の評価値を決定し、決定した調性の評価値が閾値に達したタイミングに応じて、調性の評価に対応する反応音の出力を指示する。
例えば、ＣＰＵ１１は、判定された楽曲の調の構成音データと複数のノートデータに基づいて、楽曲の調の構成音に対応する演奏操作子が操作された回数に対する、楽曲の調の構成音以外の音に対応する演奏操作子が操作された回数の比率を算出し、算出した比率に基づいて、調性の評価値を決定する。
したがって、仮に即興演奏であっても、調性に基づき演奏を良好に評価することができる。また、評価に対応する反応音を出力するので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。

また、ＣＰＵ１１は、複数の演奏操作に応じた複数のノートデータに基づいて、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作間隔及び演奏操作回数の少なくとも１つを取得し、取得された演奏操作間隔及び演奏操作回数の少なくとも１つに基づいて、速弾きの評価値を決定し、決定した速弾きの評価値が閾値に達したタイミングに応じて、速弾きの評価に対応する反応音の出力を指示する。
したがって、仮に即興演奏であっても、演奏における速弾きを良好に評価することができる。また、評価に対応する反応音を出力するので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。

また、ＣＰＵ１１は、複数のノートデータに基づいて、同時発音数を取得し、さらに同時発音数に基づいて、和音の速弾きの評価値を決定し、決定した和音の速弾きの評価値が閾値に達したタイミングに応じて、和音の速弾きの評価に対応する反応音の出力を指示する。
したがって、仮に即興演奏であっても、演奏における和音の速弾きを良好に評価することができる。また、評価に対応する反応音を出力するので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。

また、ＣＰＵ１１は、予め定められたタイミングごとに演奏の評価を行う。したがって、演奏中の予め定められたタイミングが到来するごとに、演奏を評価して、評価が基準に達した場合には、評価に対応する反応音の出力を指示するので、演奏者は、聴衆の前で演奏しているような満足感を得ることができる。

なお、上記実施形態及び変形例における記述内容は、本発明に係るプログラム、情報処理装置、演奏評価システム、演奏評価方法の好適な一例であり、これに限定されるものではない。
例えば、上記実施形態においては、速弾きの評価値、和音の速弾きの評価値、調性の評価値が所定の閾値以上である場合に、歓喜を表す音声や効果音等の反応音を出力することとしたが、例えば、各評価値に閾値を複数設け、どの閾値以上であるかによって反応音を変化させてもよい。例えば、第１の閾値＜第２の閾値として、評価値が第１の閾値以上第２の閾値未満の場合よりも第２の閾値以上の場合のほうが、より激しい反応音を出力することとしてもよい。

また、上記実施形態において、ＣＰＵ１１は、速弾きの評価値、和音の速弾きの評価値、調性の評価値の複数が閾値以上の場合であっても、反応音タイプ１～３のいずれかの反応音を出力部１７から出力するように指示することとして説明したが、このような場合、閾値以上となった評価値の種類に応じて反応音タイプ１～３の複数を重ねて出力部１７から出力するように指示することとしてもよい。

また、上記実施形態においては、演奏操作のスピードの評価である速弾きの評価値を、演奏操作間隔及び演奏操作回数の双方のパラメータを用いて算出することとして説明したが、演奏操作間隔、演奏操作回数のいずれか一方を用いて算出することとしてもよい。同様に、和音の速弾きの評価値についても、演奏操作間隔、演奏操作回数、同時発音数の３つのパラメータを用いて算出することとして説明したが、演奏操作間隔、演奏操作回数のいずれか一方と、同時発音数とを用いて算出することとしてもよい。

また、上記実施形態においては、電子楽器２が鍵盤楽器である場合を例にとり説明したが、エレキギター、ＭＩＤＩバイオリン等他の電子楽器としてもよい。

また、上記実施形態では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてＲＯＭを使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ハードディスク、ＳＳＤや、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。

その他、演奏評価システムを構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

以上に本発明の実施形態を説明したが、本発明の技術的範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載に基づいて定められる。更に、特許請求の範囲の記載から本発明の本質とは関係のない変更を加えた均等な範囲も本発明の技術的範囲に含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
コンピューターに、
複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
処理を実行させるプログラム。
＜請求項２＞
前記複数の演奏操作に応じた複数のノートデータと少なくとも１つの調の構成音データとに基づいて、楽曲の調を判定し、
前記評価において、判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、調性の評価値を決定し、
前記指示において、前記調性の評価値が閾値に達したタイミングに応じて、前記調性の評価に対応する反応音の出力を指示する、
請求項１に記載のプログラム。
＜請求項３＞
判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、前記楽曲の調の構成音に対応する演奏操作子が操作された回数に対する前記楽曲の調の構成音以外の音に対応する演奏操作子が操作された回数の比率を算出し、
算出した前記比率に基づいて、前記調性の評価値を決定する、
請求項２に記載のプログラム。
＜請求項４＞
前記複数の演奏操作に応じた複数のノートデータに基づいて、前記設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作間隔及び演奏操作回数の少なくとも１つを取得し、
前記評価において、取得された前記演奏操作間隔及び演奏操作回数の少なくとも１つに基づいて、前記スピードの評価である速弾きの評価値を決定し、
前記指示において、前記速弾きの評価値が閾値に達したタイミングに応じて、前記速弾きの評価に対応する反応音の出力を指示する、
請求項１～３のいずれか一項に記載のプログラム。
＜請求項５＞
前記複数の演奏操作に応じた複数のノートデータに基づいて、同時発音数を取得し、
前記評価において、さらに前記同時発音数に基づいて、和音の速弾きの評価値を決定し、
前記指示において、前記和音の速弾きの評価値が閾値に達したタイミングに応じて、前記和音の速弾きの評価に対応する反応音の出力を指示する、
請求項４に記載のプログラム。
＜請求項６＞
予め定められたタイミングごとに前記評価を行う、
請求項１～５のいずれか一項に記載のプログラム。
＜請求項７＞
複数の演奏操作に応じて電子楽器から出力される複数のノートデータを取得する取得部と、
プロセッサと、を備え、
前記プロセッサは、
前記複数の演奏操作に応じた複数のノートデータに基づいて、少なくとも、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
情報処理装置。
＜請求項８＞
請求項７に記載の情報処理装置と、
前記情報処理装置にノートデータを出力する電子楽器と、
を備える演奏評価システム。
＜請求項９＞
コンピューターが、
複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
演奏評価方法。

１００ 演奏評価システム
１ 情報処理装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 入力部
１５ 表示部
１６ ＭＩＤＩインターフェース
１７ 出力部
２ 電子楽器
２１ キーボード
２２ 音源・サウンドシステム
２３ ＭＩＤＩインターフェース

Claims (9)

1. コンピューターに、
   複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
   演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
   処理を実行させるプログラム。
2. 前記複数の演奏操作に応じた複数のノートデータと少なくとも１つの調の構成音データとに基づいて、楽曲の調を判定し、
   前記評価において、判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、調性の評価値を決定し、
   前記指示において、前記調性の評価値が閾値に達したタイミングに応じて、前記調性の評価に対応する反応音の出力を指示する、
   請求項１に記載のプログラム。
3. 判定された前記楽曲の調の構成音データと前記複数のノートデータに基づいて、前記楽曲の調の構成音に対応する演奏操作子が操作された回数に対する前記楽曲の調の構成音以外の音に対応する演奏操作子が操作された回数の比率を算出し、
   算出した前記比率に基づいて、前記調性の評価値を決定する、
   請求項２に記載のプログラム。
4. 前記複数の演奏操作に応じた複数のノートデータに基づいて、前記設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作間隔及び演奏操作回数の少なくとも１つを取得し、
   前記評価において、取得された前記演奏操作間隔及び演奏操作回数の少なくとも１つに基づいて、前記スピードの評価である速弾きの評価値を決定し、
   前記指示において、前記速弾きの評価値が閾値に達したタイミングに応じて、前記速弾きの評価に対応する反応音の出力を指示する、
   請求項１～３のいずれか一項に記載のプログラム。
5. 前記複数の演奏操作に応じた複数のノートデータに基づいて、同時発音数を取得し、
   前記評価において、さらに前記同時発音数に基づいて、和音の速弾きの評価値を決定し、
   前記指示において、前記和音の速弾きの評価値が閾値に達したタイミングに応じて、前記和音の速弾きの評価に対応する反応音の出力を指示する、
   請求項４に記載のプログラム。
6. 予め定められたタイミングごとに前記評価を行う、
   請求項１～５のいずれか一項に記載のプログラム。
7. 複数の演奏操作に応じて電子楽器から出力される複数のノートデータを取得する取得部と、
   プロセッサと、を備え、
   前記プロセッサは、
   前記複数の演奏操作に応じた複数のノートデータに基づいて、少なくとも、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
   演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
   情報処理装置。
8. 請求項７に記載の情報処理装置と、
   前記情報処理装置にノートデータを出力する電子楽器と、
   を備える演奏評価システム。
9. コンピューターが、
   複数の演奏操作に基づいて、少なくとも、設定時間内の複数の演奏操作を１つの演奏操作とした演奏操作のスピード、及び、調性、のいずれかを評価し、
   演奏中の前記評価のタイミングに応じて、前記評価に対応する反応音の出力を出力手段に指示する、
   演奏評価方法。

Images