JP2015191194A - 演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価する演奏評価システムを提供する。
【解決手段】演奏評価システム１は、伴奏データを再生する再生手段２５と、再生された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段１１、２１と、伴奏データに係る音階及びコードと、取得された第１演奏データに係る音程とに基づいて、伴奏データに対する取得された第１演奏データの協和的な特徴を示す情報を出力する出力手段１７と、を備える。
【選択図】図１

Description

本発明は、例えば演奏者による演奏を評価する演奏評価システム、該演奏評価システムを構成するサーバ装置及び端末装置、演奏評価方法、並びにコンピュータプログラムの技術分野に関する。

この種のシステムとして、例えば、ユーザの音声信号と歌唱基準値とを比較して歌唱レベルを随時設定し、該設定された歌唱レベルに基づいて、画面上に表示される観客キャラクタの人数や動作を示すデータを作成し、該作成されたデータを表示するシステムが提案されている（特許文献１参照）。

或いは、課題曲を構成する各音を表す曲データと、ユーザの演奏に応じて発生する演奏データとを比較して複数の評価結果を取得し、該取得された複数の評価結果各々に対応するキャラクタ画像を、表示画面上で割り当てられた表示範囲において、各キャラクタ画像に対応する評価結果の種類に応じた表示態様で表示する装置が提案されている（特許文献２参照）。

或いは、ユーザの予備的又は試験的な演奏による演奏データを評価して、演奏者の演奏傾向を抽出し、該抽出された演奏傾向から演奏者の気分や感情等の心理的な状態を検出し、該検出された心理的な状態に応じた音色パラメータをセットする装置が提案されている（特許文献３参照）。

特開平８−１６６７８０号公報 特開２０１２−１７３４７４号公報 特開２００６−３０４１４号公報

ところで、アドリブ演奏についての客観的評価を提示する機能に対するニーズがある。他方で、アドリブ演奏は、ユーザが自由に行うものであるので、例えば点数表示等の演奏の良し悪しを示すような評価は、ユーザの楽しみを損ねてしまう可能性が高い。

上述した特許文献１及び２に記載されている技術では、実際の演奏と評価基準（つまり、お手本）とを比較することにより、実際の演奏についての評価が求められている。このため、特許文献１及び２に記載されている技術では、お手本のないアドリブ演奏については評価をすることができないという技術的問題点がある。

上述した特許文献３に記載されている技術は、ユーザが本格的に演奏を行う前の楽器調整を補助する技術であり、ユーザによる演奏の評価という観点からは十分ではないという技術的問題点がある。

本発明は、例えば上記問題点に鑑みてなされたものであり、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラムを提供することを課題とする。

本発明の第１の演奏評価システムは、上記課題を解決するために、伴奏データを出力する第１出力手段と、前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を出力する第２出力手段と、を備える。

本発明の第２の演奏評価システムは、上記課題を解決するために、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムであって、前記端末装置は、前記ネットワークを介して前記サーバ装置から、伴奏データを取得して出力する第１出力手段を有し、前記サーバ装置は、前記ネットワークを介して前記端末装置から、前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を、前記ネットワークを介して前記端末装置に出力する第２出力手段と、を有する。

本発明のサーバ装置は、上記課題を解決するために、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムのサーバ装置であって、伴奏データを、前記ネットワークを介して前記端末装置に、出力する第１出力手段と、前記ネットワークを介して前記端末装置から、前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を、前記ネットワークを介して前記端末装置に出力する第２出力手段と、を備える。

本発明の端末装置は、上記課題を解決するために、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムの端末装置であって、前記ネットワークを介して前記サーバ装置から、伴奏データを取得して出力する第１出力手段と、前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を出力する第２出力手段と、を備える。

本発明の演奏評価方法は、上記課題を解決するために、伴奏データを出力する第１出力工程と、前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得工程と、前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を出力する第２出力工程と、を備える。

本発明のコンピュータプログラムは、上記課題を解決するために、コンピュータを、伴奏データを出力する第１出力手段と、前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を出力する第２出力手段と、として機能させる。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

実施例に係る演奏評価システムの構成を示すブロック図である。 実施例に係る演奏評価処理を示すフローチャートである。 音度と明暗度との関係を規定する明暗度判定テーブルの一例である。 図３の明暗度判定テーブルを用いて導出したチャーチモードにおける各スケールの明暗度を示す明暗度テーブルの一例である。 ストレス度の算出方法を示すフローチャートである。 レスポンスについてのストレス度の変化の一例を示す図である。 リズムずれの概念を示す概念図である。 強拍位置の一例を示す図である。 感情抽出パラメータの値と、該感情抽出パラメータが表す状態との関係の一例である。 一又は複数の感情抽出パラメータの組み合わせと、感情との関係を規定する感情変換テーブルの一例である。 感情特徴量の算出概念を示す概念図である。 コール及びレスポンス各々の感情傾向の時間変化の一例である。 画像選択処理を示すフローチャートである。 感情変化点における画像選択処理を示すフローチャートである。 実施例の変形例に係る端末の構成を示すブロック図である。

本発明の演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラム各々に係る実施形態を説明する。

（第１の演奏評価システム）
実施形態に係る第１の演奏評価システムは、伴奏データを出力する第１出力手段と、出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、伴奏データに係る音階及びコードと、取得された第１演奏データに係る音程とに基づいて、伴奏データに対する取得された第１演奏データの調和の程度を示す情報を出力する第２出力手段と、を備える。

第１出力手段は、伴奏データを出力する（即ち、伴奏データを再生する、又は伴奏データを、例えば音源装置に対して出力する）。

取得手段は、ユーザの演奏を音声信号として取り込むと共に、該音声信号を所定形式の第１演奏データに変換する。尚、音声信号を所定の形式のデータに変換する方法には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。

例えばメモリ、プロセッサ等を備えてなる第２出力手段は、伴奏データに係る音階及びコードと、取得された第１演奏データに係る音程とに基づいて、伴奏データに対する取得された第１演奏データの調和の程度を示す情報を出力する。

「調和の程度」は、第１演奏データに、伴奏データに係る音階及びコードから見て使用される可能性が低い音がどの程度含まれているかを示す指標である。尚、伴奏データに係る音階及びコードは、該伴奏データに対応する伴奏の構成音から特定されてもよいし、予めメタデータ等として伴奏データに付与されていてもよい。

ここで、伴奏と演奏とが調和していれば、聴衆に快い印象を与える。他方で、伴奏と演奏とが調和していなければ、聴衆に不安定感を与える。そこで、上述の如く、第１演奏データの協和的な特徴を示す情報が出力されることより、例えば、第１演奏データがどのような印象を与えるものであるのかという観点からの評価をユーザに提示することができる。

尚、「第１演奏データの調和の程度を示す情報」は、調和の程度そのものを示す文字情報に限らず、調和の程度に関連する、例えば風景画像や人物の表情を示す画像、画面効果、効果音等に係る情報であってよい。

以上の結果、実施形態に係る演奏評価システムによれば、ユーザの楽しみを損ねることなく、ユーザの演奏に対する客観的な評価を出力することができる。当該演奏評価システムに係る評価は、特に、ユーザの自由な感性によるアドリブ演奏に対する評価として好適である。

実施形態に係る第１の演奏評価システムの一態様では、調和の程度を示す情報は、取得された第１演奏データに係る音程が、伴奏データに係る音階に属するか否か、及び伴奏データに係るコードの構成音であるか否か、に応じて変化する。

この態様によれば、比較的容易にして、第１演奏データに係る調和の程度を示す情報を出力することができ、実用上非常に有利である。

この態様では、調和の程度を示す情報は、更に、取得された第１演奏データに係る音程が、調和的非和声音であるか否かに応じて変化してよい。

ここで、「調和的非和声音」は、例えばトリル、前打音等の装飾音、例えばグリッサンド、ポルタメント等の経過音、並びに、音楽理論的に調和性を大きく乱さないとされる刺繍音（補助音）、掛留音、倚音、先取音、逸音及び保続音等を含む概念である。

このように構成すれば、より適切な調和の程度を示す情報を出力することができ、実用上非常に有利である。

実施形態に係る第１の演奏評価システムの他の態様では、第１出力手段は、更に、伴奏データに関連する第２演奏データを出力し、取得手段は、出力された伴奏データに合わせて行われると共に、出力された第２演奏データに呼応して行われたユーザの演奏に対応する第１演奏データを取得する。

第２演奏データは、伴奏データに対応する伴奏により規定される、例えばリズム等と調和するように行われた演奏に対応する演奏データである。この第２演奏データは、当該演奏評価システムの運営者により予め用意されてもよいし、他のユーザ行った演奏に対応する演奏データ（つまり、他のユーザがアップロードした演奏データ）であってもよい。

第２演奏データは、典型的には、時間軸上で離散的に再生される。第２演奏データが再生されてから、次に第２演奏データが再生されるまでの間に、第２演奏データに呼応したユーザの演奏が行われる。つまり、当該演奏評価システムでは、再生された第２演奏データを「コール（呼びかけ演奏）」、第２演奏データに呼応したユーザの演奏を「レスポンス（応答演奏）」、とする擬似的なコール・アンド・レスポンスが実現される。

この態様によれば、即興的演奏コミュニケーションであるコール・アンド・レスポンスにおいて、ユーザの演奏がどのような印象を与えるのかという観点からの評価をユーザに提示することができる。

（第２の演奏評価システム）
実施形態に係る第２の演奏評価システムは、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える。

端末装置は、ネットワークを介してサーバ装置から、伴奏データを取得して出力する第１出力手段を有する。

サーバ装置は、ネットワークを介して端末装置から、出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、伴奏データに係る音階及びコードと、取得された第１演奏データに係る音程とに基づいて、伴奏データに対する取得された第１演奏データの調和の程度を示す情報を、ネットワークを介して端末装置に出力する第２出力手段と、を有する。

実施形態に係る第２の演奏評価システムによれば、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。尚、実施形態に係る第２の演奏評価システムにおいても、上述した第１の演奏評価システムの各種態様と同様の各種態様を採ることができる。

（サーバ装置）
実施形態に係るサーバ装置は、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムのサーバ装置である。当該サーバ装置は、伴奏データを、ネットワークを介して端末装置に、出力する第１出力手段と、ネットワークを介して端末装置から、出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、伴奏データに係る音階及びコードと、取得された第１演奏データに係る音程とに基づいて、伴奏データに対する取得された第１演奏データの調和の程度を示す情報を、ネットワークを介して端末装置に出力する第２出力手段と、を備える。

実施形態に係るサーバ装置によれば、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。尚、実施形態に係るサーバ装置においても、上述した第１の演奏評価システムの各種態様と同様の各種態様を採ることができる。

（端末装置）
実施形態に係る端末装置は、ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムの端末装置である。当該端末装置は、ネットワークを介してサーバ装置から、伴奏データを取得して出力する第１出力手段と、出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、伴奏データに係る音階及びコードと、取得された第１演奏データに係る音程とに基づいて、伴奏データに対する取得された第１演奏データの調和の程度を示す情報を出力する第２出力手段と、を備える。

実施形態に係る端末装置によれば、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。尚、実施形態に係る端末装置においても、上述した第１の演奏評価システムの各種態様と同様の各種態様を採ることができる。

（演奏評価方法）
実施形態に係る演奏評価方法は、伴奏データを出力する第１出力工程と、出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得工程と、伴奏データに係る音階及びコードと、取得された第１演奏データに係る音程とに基づいて、伴奏データに対する取得された第１演奏データの調和の程度を示す情報を出力する第２出力工程と、を備える。

実施形態に係る演奏評価方法によれば、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。尚、実施形態に係る演奏評価方法においても、上述した第１の演奏評価システムの各種態様と同様の各種態様を採ることができる。

（コンピュータプログラム）
実施形態に係るコンピュータプログラムは、コンピュータを、伴奏データを出力する第１出力手段と、出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、伴奏データに係る音階及びコードと、取得された第１演奏データに係る音程とに基づいて、伴奏データに対する取得された第１演奏データの調和の程度を示す情報を出力する第２出力手段と、として機能させる。

実施形態に係るコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤＶＤ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、第１の演奏評価システムに備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した実施形態に係る第１の演奏評価システムを比較的容易にして実現できる。これにより、上述した実施形態に係る第１の演奏評価システムと同様に、ユーザの楽しみを損ねることなく、アドリブ演奏を客観的に評価することができる。

本発明の演奏評価システムに係る実施例を、図面に基づいて説明する。

（システムの構成）
実施例に係る演奏評価システムの構成について、図１を参照して説明する。図１は、実施例に係る演奏評価システムの構成を示すブロック図である。

図１において、演奏評価システム１は、サーバ１０及び端末２０が、共にネットワーク３０に収容されてなるシステムである。ネットワーク３０は、例えばインターネット等の広域ネットワーク、及び、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の狭域ネットワークから構成されている。

サーバ１０は、レスポンス受信部１１、レスポンス解析部１２、伴奏送出部１３、伴奏解析情報記憶部１４、コール送出部１５、コール解析情報記憶部１６、感情特徴量解析部１７、感情特徴量送出部１８及び記憶装置１９を備えて構成されている。

端末２０は、レスポンス演奏入力部２１、レスポンス送出部２２、伴奏受信部２３、コール受信部２４、音楽再生部２５、感情特徴量受信部２６及び感情特徴量表示部２７を備えて構成されている。

レスポンス受信部１１、伴奏送出部１３、コール送出部１５、感情特徴量送出部１５、レスポンス送出部２２、伴奏受信部２３、コール受信部２４及び感情特徴量受信部２６は、サーバ１０及び端末２０間におけるデータ通信を実現するための所定の通信規格に準じたインターフェイスである。

尚、レスポンス受信部１１、伴奏送出部１３、コール送出部１５及び感情特徴量送出部１５が、一つの通信インターフェイスとして構成されてよい。同様に、レスポンス送出部２２、伴奏受信部２３、コール受信部２４及び感情特徴量受信部２６が、一つの通信インターフェイスとして構成されてよい。

当該演奏評価システム１は、コール・アンド・レスポンス（以降、適宜“Ｃ／Ｒ”と称する）と称される一種の即興的演奏コミュニケーションにおける、主に、レスポンス（応答演奏）についての客観的な評価を提供する。

Ｃ／Ｒは、即興的演奏コミュニケーションであるので、厳密な決まり事はないが、一般的には、例えば、コールと全く同じ演奏をレスポンスとして返す、コールのリズムをまねる、コールとスケール（音階）を合わせる、或いは、コールの音程と音楽的なしり取りを行う、等、コールとレスポンスとの間には音楽的な繋がり（又は関連性）が必要とされる。

人間同士で行われる実際のＣ／Ｒは、一方の演奏者のコール（呼びかけ演奏）に対して、他方の演奏者がレスポンスを返すことにより成立する。他方で、当該演奏評価システム１では、端末２０によりコールに相当する楽曲データが再生され、該再生された楽曲データに呼応してユーザが楽器を演奏することにより、擬似的なＣ／Ｒが実現される。

サーバ１０の記憶装置１９は、例えばハードディスク等の比較的大容量の記憶媒体である。記憶装置１９には、擬似的なＣ／Ｒを実現するための、伴奏及びコールに夫々相当する複数の楽曲データが格納されている。

伴奏に相当する楽曲データ（以降、適宜“伴奏データ”と称する）は、演奏全体のリズムを規定するためのデータである。この伴奏データは、例えば臨場感のあるＣ／Ｒを実現するために、或いは、端末２０のユーザがレスポンスのタイミングをつかみやすいように、典型的には、当該演奏評価システム１の運営者により用意される。

コールに相当する楽曲データ（以降、適宜“コールデータ”と称する）は、特定の伴奏データに対応付けられている。コールデータは、Ｃ／Ｒにおけるコールとして利用可能な比較的短い期間の演奏に対応するデータである。このコールデータは、当該演奏評価システム１の運営者により用意されてもよいし、特定の伴奏データが再生されている際に行われたユーザ（典型的には、端末２０のユーザとは異なるユーザ）の演奏が音声信号として取り込まれたデータであってもよい。

端末２０のユーザにより、例えばマウスやキーボード、或いはタッチパネル等の入力手段（図示せず）を介して、例えばビート、テンポ、リズム等の条件が指定されると、サーバ１０の伴奏送出部１３は指定された条件に該当する伴奏データを、コール送出部１５は、該伴奏データに対応するコールデータを、夫々、記憶装置１９から読出し、端末２０に対して送信する。

尚、伴奏データ及びコールデータの選択方法は、本発明の本質的な特徴から外れるので、その詳細についての説明は割愛するが、該選択方法には、本願発明者の他の出願である特願２０１３−１８７１２５及び特願２０１３−１８７１３８に記載の技術を適用可能である。

端末２０の伴奏受信部２３及びコール受信部２４により夫々受信された伴奏データ及びコールデータは、音楽再生部２５により再生される。より具体的には、音楽再生部２５は、伴奏データ及びコールデータが受信バッファ（図示せず）に所定量蓄積された段階で、順次蓄積された伴奏データ及びコールデータをストリーミング再生する。再生された演奏は、端末２０に内蔵された又は外付けされたスピーカ（図示せず）から音声として出力される。

端末２０のレスポンス演奏入力部２１は、再生された伴奏データ及びコールデータに呼応してユーザが行った演奏を、マイクロフォン（図示せず）を介して音声信号として取り込むと共に、該音声信号を、レスポンスに相当する楽曲データ（以降、適宜“レスポンスデータ”と称する）に変換する。尚、レスポンスデータは、再生された伴奏データ及びコールデータと同等のデータ形式である。

レスポンス送出部２２は、レスポンスデータを、サーバ１０に対して送信する（即ち、アップロードする）。

サーバ１０のレスポンス解析部１２は、レスポンス受信部１１を介して受信されたレスポンスデータに係る演奏内容を解析する。演奏内容には、例えばメロディ、リズム、テンポ、音量、アクセント、コード、スケール等の情報が含まれる。これらのうちメロディ、リズム、テンポ、音量及びアクセントは、演奏の物理的特性に属する。また、コード及びスケールは、演奏の音楽理論的特性に属する。このような演奏内容の解析には、例えば一般化調和解析等の公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。

感情特徴量解析部１７は、レスポンス解析部１２、伴奏解析情報記憶部１４及びコール解析情報記憶部１６各々の出力に基づいて、レスポンスデータ及びコールデータの感情特徴量を解析する。尚、感情特徴量解析部１７における解析についての詳細は後述する。

ここで、伴奏解析情報記憶部１４は、端末２０に送信された伴奏データに係る演奏内容を解析する。同様に、コール解析情報記憶部１６は、端末２０に送信されたコールデータに係る演奏内容を解析する。この演奏内容の解析にも、公知の各種態様を適用可能である。

尚、伴奏解析情報記憶部１４及びコール解析情報記憶部１６各々は、伴奏データ及びコールデータ各々に、例えば曲目、テンポ、演奏パート、演奏者名等の情報を含むメタデータが予め付与されている場合、演奏内容の解析に代えて、該付与されたメタデータを取得してよい。

感情特徴量送出部１８は、感情特徴量解析部１７により解析された感情特徴量を、端末２０に対して送信する。

端末２０の、感情特徴量表示部２７は、感情特徴量受信部２６を介して受信された感情特徴量を、端末２０と一体として形成された又は外付けされたディスプレイ装置（図示せず）上に、視覚情報として表示する。 （演奏評価処理−概要−）
上述の如く構成された演奏評価システム１において実行される演奏評価処理の概要について、図２のフローチャートを参照して説明する。

図２において、先ず、端末２０のユーザにより指定された条件に該当する伴奏データが選択された際に、サーバ１０の伴奏解析情報記憶部１４は、該選択された伴奏データに係る解析情報を取得する（ステップＳ１０１）。

ステップＳ１０１の処理と並行して又は相前後して、選択された伴奏データと対応付けられているコールデータが選択された際に、サーバ１０のコール解析情報記憶部１６は、該選択されたコールデータに係る解析情報を取得する（ステップＳ１０２）。

次に、端末２０の音楽再生部２５は、サーバ１０において選択された伴奏データ及びコールデータ各々を受信して再生する（ステップＳ１０３及びＳ１０４）。続いて、レスポンス演奏入力部２１は、再生された伴奏データ及びコールデータに呼応して行われた演奏を、音声信号として取り込み、レスポンスデータを生成する（ステップＳ１０５）。

次に、サーバ１０のレスポンス解析部１２は、レスポンスデータに係る演奏内容を解析する（ステップＳ１０６）。続いて、感情特徴量解析部１７は、レスポンスデータに係る演奏内容、並びに、伴奏データ及びコールデータ各々に係る解析情報に基づいて、レスポンスデータ及びコールデータ各々の感情抽出パラメータを算出する（ステップＳ１０７）。

次に、感情特徴量解析部１７は、算出された感情抽出パラメータに基づいて、感情特徴量を算出する（ステップＳ１０８）。続いて、感情特徴量解析部１７は、算出された感情特徴量に対応する画像を選択する（ステップＳ１０９）。

次に、端末２０の感情特徴量表示部２７は、算出された感情特徴量に対応する画像を表示する（ステップＳ１１０）。

実施例に係る「伴奏送出部１３」、「コール送出部１５」、「伴奏受信部２３」、「コール受信部２４」及び「音楽再生部２５」は、本発明に係る「第１出力手段」の一例である。実施例に係る「レスポンス演奏入力部２１」及び「レスポンス受信部１１」は、本発明に係る「取得手段」の一例である。実施例に係る「感情特徴量解析部１７」は、本発明に係る「第２出力手段」の一例である。

（演奏評価処理の詳細−前提−）
次に、上述のステップＳ１０６乃至Ｓ１０９の処理の詳細について、より具体的に説明する。

米国の心理学者ポール・エクマンによれば、基本的感情（喜び、怒り、哀しみ、驚き、恐怖、嫌悪）というものがあり、該基本的感情の組み合わせにより他の複雑な感情が表される。また、基本的感情を用いて、他の複雑な感情を導出する方法として、プルチック理論が提唱されている。

本願発明者は、これらの論に着目して、レスポンスデータ及びコールデータ各々に係る演奏内容を解析して得られる複数のパラメータ（即ち、感情抽出パラメータ）を組み合わせることにより、基本的感情を表すという発想に至った。基本的感情を、複数のパラメータの組み合わせにより表現することができれば、他の複雑な感情を導出することは可能である。

本願発明者は、上記パラメータとして、心理的な明るさ又は暗さを示す「明暗度」、心理的な軽さ又は重さを示す「軽快度」、不安定又は落ち着きを示す「ストレス度」、並びに、あせり又はゆとりを示す「逼迫度」を選択した。各パラメータの詳細については後述する。

ここで、当該演奏評価システム１で扱われるレスポンスデータ及びコールデータに要求される条件は、（ｉ）単音又は複数の音からなるフレーズであることと、（ｉｉ）該フレーズは、少なくとも一小節以上の長さであること、である。

また、レスポンスデータ及びコールデータに係る演奏内容が解析される際には、例えば音程（周波数）、音長、リズム、音の強弱、基音（主音）、コード、コード進行、拍子、強拍弱拍、裏拍位置、テンポ、音色、音量、ジャンル、スケール等が用いられる。

尚、「ジャンル」は、例えば、伴奏データ等が選択される際に、ユーザにより入力された情報から取得されてもよいし、選択された伴奏データに付与されているメタデータから取得されてもよい。或いは、レスポンスデータに係る強拍弱拍の位置及びコードから、ジャンルが推定されてもよい。

（演奏評価処理の詳細−明暗度−）
本実施例に係る感情抽出パラメータのうち「明暗度」について、図３及び図４を参照して説明する。図３は、音度と明暗度との関係を規定する明暗度判定テーブルの一例である。図４は、図３の明暗度判定テーブルを用いて導出したチャーチモードにおける各スケールの明暗度を示す明暗度テーブルの一例である。

サーバ１０の感情特徴量解析部１７（図１参照）は、伴奏又はコールの主音と、レスポンスを構成する各音と、に基づいて、レスポンスが属し、且つ、伴奏又はコールの主音から始まるスケールを特定する。

具体的には例えば、感情特徴量解析部１７は、レスポンスデータに係る音程に基づいて、伴奏又はコールの主音から始まる複数のスケール候補のうち、最も当てはまる音が多いスケール候補を、レスポンスが属するスケールとして特定する。

レスポンスが属するスケールが特定された後、感情特徴量解析部１７は、例えば図４に示すような明暗度テーブルを参照して、レスポンスに係る明暗度を決定する。具体的には例えば、レスポンスが属するスケールがアイオニアンであると特定された場合、感情特徴量解析部１７は、該レスポンスに係る明暗度を８とする。或いは、レスポンスが属するスケールがリディアンであると特定された場合、感情特徴量解析部１７は、該レスポンスに係る明暗度を９とする。

ここで、図４に示すような明暗度テーブルは、各スケールの音度と、予め定められた明暗度判定テーブル（図３参照）とに基づいて構築される。

本実施例に係る明暗度判定テーブルは、メジャースケールを基準として、音楽理論の「長音階」及び「短音階」、並びに音程の「短長」、「完全」及び「増減」を考慮して設定されている。本実施例では、「長短」は、明暗度への影響が大きいとして、＋２（長）、−２（短）と設定されている。「増減」は、明暗度への影響が若干あるとして、＋１（増）、−１（減）と設定されている。「完全」は、明暗度への影響がないとして０と設定されている。

図４に示すように、メジャースケールのアイオニアン、リディアン及びミクソリディアン各々に係る明暗度は正の値となっている。他方、マイナースケールのエオリアン、ドリアン、フリジアン及びロクリアン各々に係る明暗度は０又は負の値となっている。

図４に示した明暗度テーブルは、チャーチモードについての明暗度であるが、チャーチモードに限らず、他のスケールであっても同様の方法により明暗度テーブルを構築可能である。尚、例えば、ペンタトニックスケールについての明暗度と、メジャースケールについての明暗度とを比較する場合等、スケールに含まれる音数が互いに異なる場合には、正規化を行った上で、明暗度テーブルを構築すればよい。

尚、レスポンスを構成する音の数が多い程、該レスポンスが属するスケールの特定精度が向上する。このため、当該演奏評価システム１のユーザに対して、レスポンスとしての演奏の長さの目安が示されるように、当該演奏評価システム１が構成されてよい。

（演奏評価処理の詳細−ストレス度−）
本実施例に係る感情抽出パラメータのうち「ストレス度」について、図５及び図６を参照して説明する。図５は、ストレス度の算出方法を示すフローチャートである。図６は、レスポンスについてのストレス度の変化の一例を示す図である。

ここで、「ストレス度」は、計測期間に得られたストレス値の累積値である。計測期間は、典型的には、レスポンスデータの長さに対応する期間であるが、例えばレスポンスデータの長さの半分に対応する期間等であってもよい。

「ストレス値」は、レスポンスを構成する各音について、伴奏に係るスケール内の音であるか否か、伴奏に係るコードの構成音であるか否か、装飾音であるか否か、が判定されることにより求められる。

即ち、レスポンスの構成音が、伴奏に係るスケール内の音であれば、音楽理論的に違和感がない。従って、レスポンスの一の構成音が伴奏に係るスケール内の音である場合、該一の構成音はストレスなしと判定され、該一の構成音が該スケール内の音でない場合、該一の構成音はストレスありと判定される。

同様に、レスポンスの構成音が、伴奏に係るコードの構成音であれば、音楽理論的に違和感がない。従って、レスポンスの一の構成音が伴奏に係るコードの構成音である場合、該一の構成音はストレスなしと判定され、該一の構成音が該コードの構成音でない場合、該一の構成音はストレスありと判定される。

調和的非和声音は、伴奏に係るスケール内の音やコードの構成音ではなくてもストレスを与えないと考えられる。従って、レスポンスの一の構成音が調和的非和声音である場合、該一の構成音はストレスなしと判定される。

具体的には、図５において、サーバ１０の感情特徴量解析部１７（図１参照）は、レスポンスを構成する一の構成音が、伴奏に係るスケール内の音であるか否かを判定する（ステップＳ２０１）。該一の構成音が該スケール内の音でないと判定された場合（ステップＳ２０１：Ｎｏ）、感情特徴量解析部１７は、該一の構成音が、伴奏に係るコードの構成音であるか否かを判定する（ステップＳ２０２）。

該一の構成音が該コードの構成音でないと判定された場合（ステップＳ２０２：Ｎｏ）、感情特徴量解析部１７は、該一の構成音が調和的非和声音であるか否かを判定する（ステップＳ２０３）。該一の構成音が調和的非和声音でないと判定された場合（ステップＳ２０３：Ｎｏ）、感情特徴量解析部１７は、該一の構成音をストレスありと判定して（つまり、ストレス値を、例えば１として）、ストレス度を、例えば１だけ増やす。

レスポンスを構成する一の構成音が、伴奏に係るスケール内の音であると判定された場合（ステップＳ２０１：Ｙｅｓ）、該一の構成音が伴奏に係るコードの構成音であると判定された場合（ステップＳ２０２：Ｙｅｓ）、又は該一の構成音が調和的非和声音であると判定された場合（ステップＳ２０３：Ｙｅｓ）、つまり、該一の構成音自体にはストレスがないと判定された場合、感情特徴量解析部１７は、現在のストレス度（累積値）が１以上であるか否かを判定する（ステップＳ２０４）。

ここで、ストレスのない音は、ストレスを与えないだけでなく、ストレスを和らげると考えることができる。そこで、本実施例では、現在のストレス度が１以上であると判定された場合（ステップＳ２０４：Ｙｅｓ）、感情特徴量解析部１７は、ストレス度を、例えば１だけ減らす。他方、現在のストレス度が１以上でない（即ち、現在のストレス度が０である）と判定された場合（ステップＳ２０４：Ｎｏ）、感情特徴量解析部１７は、ストレス度を増減しない。

上記の方法により算出されたストレス度は、例えば１〜−１の範囲内の値をとるように、最終的に正規化される。

尚、伴奏に係るスケールやコードを特定する方法には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。伴奏に係るスケールやコードの特定自体は、サーバ１０の伴奏解析情報記憶部１４（図１参照）において実施される。また、調和的非和声音の抽出（検出）方法にも、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。上記ステップＳ２０１、Ｓ２０２及びＳ２０３各々の処理は、任意の順番で実施されてよい。

次に、レスポンスの例を挙げて、ストレス度について具体的に説明する。図６における“メロディ”がレスポンスに相当する。図６に示す例では、伴奏及びレスポンスが共にニ長調の楽曲であるとする。伴奏に係るスケールはアイオニアンであり、伴奏に係るコードはＡ７（９）であるとする。

図６において、音ａ（ファ＃）は、スケール内の音であるので（ニ長調のアイオニアン音階は、レ、ミ、ファ＃、ソ、ラ、シ、ド＃）、図５のフローチャートに従い、ステップＳ２０４に進む。ストレス度（累積値）は０であるので、音ａについてのストレス値は０となる。同様に、音ｂ（ファ＃）についてのストレス値も０となる。

音ｃ（ミ＃）は、スケール内の音ではないので、図５のフローチャートに従い、ステップＳ２０２に進む。音ｃは、コードの構成音でもないので（コードＡ７（９）の構成音は、ラ、シ、ド＃、ミ、ソ）、ステップＳ２０３に進む。音ｃは調和的非和声音でもないので、該音ｃについてのストレス値は１となり、ストレス度は１となる。同様に、音ｄ（ミ＃）についてのストレス値も１となり、ストレス度は２となる。

音ｅ（レ）は、スケール内の音であるので、図５のフローチャートに従い、ステップＳ２０４に進む。ストレス度が２であるので、音ｅについてのストレス値は−１となり、ストレス度は１となる。同様に、音ｆ（ド＃）についてのストレス値もー１となり、ストレス度は０となる。

音ｇ（シ）は、スケール内の音であるので、図５のフローチャートに従い、ステップＳ２０４に進む。ストレス度は０であるので、音ｇについてのストレス値は０となる。同様に、音ｈ（シ）についてのストレス値も０となる。

音ｉ（ド）は、スケール内の音でもなく、コードの構成音でもなく、調和的非和声音でもないので、音ｉについてのストレス値は１となり、ストレス度は１となる。

尚、実施例に係る「ストレス度」は、本発明に係る「調和の程度を示す情報」の一例である。

（演奏評価処理の詳細−逼迫度−）
本実施例に係る感情抽出パラメータのうち「逼迫度」について、図７を参照して説明する。ここで、「逼迫度」は、計測期間に得られた、レスポンスの発音位置と伴奏の発音位置との間のずれ量の積分値を、レスポンスの発音数で除算した値である。

先ず、レスポンスの発音位置と伴奏の発音位置との間のずれ量（以降、適宜“リズムずれ”と称する）の求め方について、図７を参照して説明する。図７は、リズムずれの概念を示す概念図である。図７では、伴奏が３２ビートの曲である場合を例に挙げるが、伴奏のビート数は３２に限られない。尚、図７における“メロディ”がレスポンスに相当する。

図７において、伴奏の一の発音位置と、該一の発音位置の直前の発音位置との中間（典型的には、真ん中）から、該一の発音位置と、該一の発音位置の直後の発音位置との中間（典型的には、真ん中）までの区間が、該一の発音位置についての判定区間とされる。尚、判定区間内に、レスポンスの発音がなければ、その判定区間ではリズムずれは算出されない。

リズムずれは、｛（伴奏の発音位置）−（レスポンスの発音位置）｝／（ビート間隔／２）という式により算出される。ここで、「発音位置」は、時間が経過する程大きくなるものとする。つまり、一の音よりも後に発せられた音の発音位置は、該一の音の発音位置よりも大きな値となる。

図７において、レスポンスの音Ａは、基準となる伴奏の音ａよりも前に発音されている。つまり、音Ａの発音位置の値は、音ａの発音位置の値よりも小さい。従って、（伴奏の発音位置）−（レスポンスの発音位置）の値は、正の値となる。

他方、レスポンスの音Ｂは、基準となる伴奏の音ｂよりも後に発音されている。つまり、音Ｂの発音位置の値は、音ｂの発音位置の値よりも大きい。従って、（伴奏の発音位置）−（レスポンスの発音位置）の値は、負の値となる。

レスポンスの音Ｃは、基準となる伴奏の音ｃと同時に発音されている。従って、（伴奏の発音位置）−（レスポンスの発音位置）の値は、０となる。

このように、レスポンスの音が基準となる伴奏の音よりも前に発音される「前ずれ」の場合、リズムずれは正の値となり、レスポンスの音が基準となる伴奏の音よりも後に発音される「後ずれ」の場合、リズムずれは負の値となり、レスポンスの音が基準となる伴奏の音と同時に発音される場合、リズムずれは０となる。

リズムずれは、上述の如く、（伴奏の発音位置）−（レスポンスの発音位置）の値が、ビート間隔の半分の値で除算されることにより算出される。このため、最終的には、１〜−１の範囲内の値をとる。

次に、逼迫度は、上述の如く、リズムずれの積分値を発音数で除算した値である。図７の例では、発音数が３であるので、逼迫度は、（０．４−０．６＋０）／３＝−０．０６７となる。

（演奏評価処理の詳細−軽快度−）
本実施例に係る感情抽出パラメータのうち「軽快度」について、図８を参照して説明する。図８は、強拍位置の一例を示す図である。

本実施例では、「軽快度」は、３つのパラメータに基づいて求められる。即ち、（ｉ）伴奏の強拍に対応するレスポンスの構成音についての逼迫度（以降、適宜“強拍部分逼迫度”と称する）、（ｉｉ）上述の逼迫度、（ｉｉｉ）伴奏の強拍に対応するレスポンスの構成音の平均音圧と、伴奏の弱拍に対応するレスポンスの構成音の平均音圧との比の、参照値からのずれ量（以降、適宜“音圧比”と称する）、に基づいて、「軽快度」が求められる。

（ｉ）強拍部分逼迫度
楽曲の軽快さは、強拍と、該強拍に続く弱拍（又は中強拍）との周期的な繰り返しにより生まれる。一の強拍から次の強拍の前までが、一つのまとまりと捉えられるので、伴奏の強拍に対応するレスポンスの構成音の発音タイミングが特に重要となる。

そこで本実施例では、伴奏の強拍に対応するレスポンスの構成音についての逼迫度が、軽快度を求めるためのパラメータの一つとして用いられる。尚、伴奏の強拍位置は、例えばメタデータ等として予め伴奏データに付与されてよい、又は、サーバ１０の伴奏解析情報記憶部１４（図１参照）により伴奏データが解析された際に強拍位置が求められてもよい。

強拍部分逼迫度は、基本的には、上述の逼迫度と同様の方法により算出される。但し、上述の逼迫度が、レスポンスの構成音全てについてのリズムずれから算出されるのに対し、強拍部分逼迫度は、伴奏の強拍に対応するレスポンスの構成音のみについてのリズムずれから算出される。

伴奏の強拍位置は、例えば図８に示すように、伴奏のジャンルにより異なる。同一のメロディ（レスポンス）であっても、伴奏のジャンルが異なれば、強拍部分逼迫度の算出に用いられる音が異なる可能性がある。例えば、ロック風の伴奏の場合（図８（ａ）参照）、点線円で囲われた２つの音について、リズムずれが求められた後に、強拍部分逼迫度が算出される。また、ボサノヴァ風の伴奏の場合（図８（ｂ）参照）、点線円で囲われた３つの音について、リズムずれが求められた後に、強拍部分逼迫度が算出される。

（ｉｉ）逼迫度
伴奏の発音タイミングとレスポンスの発音タイミングとの間にずれが生じると、楽曲全体としての印象が低下すると考えられる。そこで本実施例では、逼迫度が、軽快度を求めるためのパラメータの一つとして用いられる。つまり、「逼迫度」は、感情抽出パラメータの一つとして扱われると共に、軽快度を求めるためのパラメータの一つとして扱われる。

（ｉｉｉ）音圧比
伴奏の音のバランスと、レスポンスの音のバランスとが異なると、楽曲全体としての印象が低下すると考えられる。そこで本実施例では、音圧比が、軽快度を求めるためのパラメータの一つとして用いられる。

サーバ１０の感情特徴量解析部１７は、伴奏の強拍に対応するレスポンスの構成音の音圧の平均値（以降、適宜“強拍部分平均音圧”と称する）を算出する。また、感情特徴量解析部１７は、伴奏の弱拍に対応するレスポンスの構成音の音圧の平均値（以降、適宜“弱拍部分平均音圧”と称する）を算出する。感情特徴量解析部１７は、算出された強拍部分平均音圧と算出された弱拍部分平均音圧との比を、強拍弱拍音圧比として算出する。

同様の方法により、伴奏の強拍音の平均音圧と該伴奏の弱拍音の平均音圧との比が、参照値として算出される。尚、この参照値は、例えばメタデータとして、予め伴奏データに付与されていてもよいし、感情特徴量解析部１７において算出されてもよい。

感情特徴量解析部１７は、参照値から強拍弱拍音圧比を減算した値を、該参照値で除算することにより、音圧比を算出する（即ち、音圧比＝（参照値−強拍弱拍音圧比）／参照値）。

（ｉｖ）軽快度
サーバ１０の感情特徴量解析部１７は、強拍部分逼迫度の絶対値と、逼迫度の絶対値と、音圧比の絶対値との合計値を３で除算した値を、１から減算することにより、軽快度を算出する。つまり、強拍部分逼迫度の絶対値、逼迫度の絶対値及び音圧比の絶対値の平均値が、１から減算されることにより軽快度が算出される。即ち、
軽快度＝１−（｜強拍部分逼迫度｜＋｜逼迫度｜＋｜音圧比｜）／３
である。

算出された軽快度は、１〜０の範囲内の値となるが、例えば１〜−１の範囲内の値をとるように、最終的に正規化される。尚、軽快度の算出には、強拍部分逼迫度の絶対値、逼迫度の絶対値及び音圧比の絶対値の単純平均値に代えて加重平均値が用いられてよい。

上述した、「明暗度」、「ストレス度」、「逼迫度」及び「軽快度」各々の算出は、リアルタイム処理により実施されてもよいし、バッチ処理により実施されてもよい。

（演奏評価処理の詳細−感情への変換−）
次に、上述の如く求められた複数の感情抽出パラメータ（即ち、明暗度、ストレス度、逼迫度及び軽快度）から、レスポンスデータに係る感情特徴量を求める方法について、図９乃至図１１を参照して説明する。図９は、感情抽出パラメータの値と、該感情抽出パラメータが表す状態との関係の一例である。図１０は、一又は複数の感情抽出パラメータの組み合わせと、感情との関係を規定する感情変換テーブルの一例である。図１１は、感情特徴量の算出概念を示す概念図である。

図９に示すように、正の値の明暗度が「心理的な明るさ」に対応し、負の値の明暗度が「心理的な暗さ」に対応する。正の値の軽快度が「心理的な軽さ」に対応し、負の値の軽快度が「心理的な重さ」に対応する。正の値のストレス度が「不安定」に対応し、負の値のストレス度が「落ち着き」に対応する。正の値の逼迫度が「あせり」に対応し、負の値の逼迫度が「ゆとり」に対応する。

図１０に示すような感情変換テーブルは、次のように構築される。即ち、例えば「喜び」という感情は、「心理的な明るさ」、「心理的な軽さ」及び「落ち着き」各々が高い程、強いと考えられる。そこで、「喜び」は、（明暗度）＋（軽快度）−（ストレス度）と表せる。例えば「恐怖」という感情は、「心理的な暗さ」、「不安定」及び「あせり」各々が高い程、強いと考えられる。そこで、「恐怖」は、−（明暗度）＋（ストレス度）＋（逼迫度）と表せる。同様の手順を繰り返し、図１０に示すように、「喜び」、「好き」、「高ぶり」、「安らぎ」、「驚き」、「恥」、「恐怖」、「哀しみ」、「怒り」及び「嫌悪」という感情が、感情抽出パラメータの組み合わせ（数式）により規定される。

そして、ある計測期間における明暗度、軽快度、ストレス度及び逼迫度各々の数値が、感情変換テーブルに従って演算されることにより、各感情に係る数値が求められる。ここで、例えば「喜び」を構成する「落ち着き」は、図９に示すように、負の値のストレス度に相当する。従って、「喜び」に係る数値が求められる際に、ストレス度が減算される（即ち、−１倍される）ことにより、ストレス度が負の値（即ち、“落ち着き”）であれば、「喜び」に係る数値が増加する。

ここで、ある計測期間において、明暗度が０．５、軽快度が−０．４、ストレス度が０．３、逼迫度が−０．２と算出されたとする。この場合、図１０に従って各感情を数値化すると、「喜び」は、０．５＋（−０．４）−（０．３）＝−０．２となる。同様に、「好き」は、０．５＋（−０．４）−（０．３）−（−０．２）＝０、「高ぶり」は、−（−０．４）＋０．３＝０．７、「安らぎ」は、（−０．４）−（０．３）＝−０．７、「驚き」は、０．３＋（−０．２）＝０．１、「恥」は、−（０．５）＋（−０．４）＋０．３＋（−０．２）＝−０．８、「恐怖」は、−（０．５）＋０．３＋（−０．２）＝−０．４、「哀しみ」は、−（０．５）＝−０．５、「怒り」は、−（０．５）−（−０．４）＋０．３＝０．２、「嫌悪」は、−（０．５）−（−０．４）−（０．３）＝−０．４である。

サーバ１０の感情特徴量解析部１７（図１参照）は、図１１に示すように、感情毎に移動平均値を求めて、感情特徴量を求める。図１１では、計測期間ｔ_ｎ、計測期間ｔ_ｎ―１及び計測期間ｔ_ｎ―２の移動平均から、計測期間ｔ_ｎについての感情特徴量が求められる。

尚、算出された感情特徴量のうち負の値を全て０とするように感情特徴量解析部１７が構成されてもよい。

次に、感情特徴量解析部１７は、求められた複数の感情特徴量のうち、例えば値の大きい上位３つの感情を、レスポンスデータに係る「感情傾向」とする。図１１に示した例では、「高ぶり」、「驚き」及び「怒り」が、「感情傾向」となる。

（演奏評価処理の詳細−ユーザへの提示（Ｉ）−）
次に、感情傾向に基づく演奏の評価方法の一例として、レスポンス単独の評価方法について説明する。

（ｉ）視覚効果
視覚効果として演奏の評価を示す場合、例えば感情傾向に応じて、画面の色、光度又は色温度等が変更される。具体的には例えば、感情傾向としての「哀しみ」の数値が高い程、青を基調とした画像が表示される。或いは、感情傾向としての「喜び」の数値が高い程、光度が高くされる。或いは、感情傾向に応じた場面の画像（例えば、快晴の空、雨天の風景等）が表示される。

更に、一つの感情だけでなく、複数の感情を組み合わせて表される感情に応じた画面等が表示されてもよい。例えば、「喜び」の数値が０．５より大きく１未満であり、「高ぶり」の数値が０．５より大きく１未満である場合に「歓喜」に関連する画像等が表示されてよい。或いは、「安らぎ」の数値が０．５より大きく１未満であり、「驚き」の数値が−１より大きく０未満である場合に「静粛」に関連する画像等が表示されてよい。或いは、「驚き」の数値が０．５より大きく１未満であり、「恐怖」の数値が０．５より大きく１未満である場合に「パニック」に関連する画像等が表示されてよい。或いは、「怒り」の数値が０．５より大きく１未満であり、「哀しみ」の数値が０．５より大きく１未満である場合に「嘆き」に関連する画像等が表示されてよい。

（ｉｉ）聴覚効果
聴覚効果として演奏の評価を示す場合、例えば感情傾向に応じて、伴奏の音量やリズム・ジャンル等が変更される。具体的には例えば、感情傾向としての「喜び」の数値が高い場合に、伴奏のジャンルがロックからサンバに変更される。

（ｉｉｉ）触覚効果
触覚効果として演奏の評価を示す場合、例えば端末２０が携帯電話であれば、感情傾向に応じて、バイブレーション機能の振動数や振動の強弱周期が変更されるように該携帯電話が制御される。

（ｉｖ）キーワード
キーワードとして演奏の評価を示す場合、例えば感情傾向に応じたキーワードが表示される。この際、例えば感情傾向の数値の大きさに応じて、文字の大きさが変更されてもよい。或いは、複数の感情を組み合わせて表される感情を示すキーワードが表示されてもよい。

図２のフローチャートを用いた説明では、「（ｉ）視覚効果」に相当する、感情特徴量に応じた画像がユーザに提示されるが、画像表示に代えて又は加えて、（ｉｉ）聴覚効果、（ｉｉｉ）触覚効果及び（ｉｖ）キーワードの少なくとも一つに相当する演出がなされてよい。

（演奏評価処理の詳細−ユーザへの提示（ＩＩ）−）
次に、感情傾向に基づく演奏の評価方法の他の例として、レスポンスとコールとを対比する評価方法について、図１２乃至図１４を参照して説明する。この場合は、コールデータについても、レスポンスデータと同様の方法により、予め感情特徴量（更には感情傾向）が求められる。

図１２は、コール及びレスポンス各々の感情傾向の時間変化の一例である。図１３は、画像選択処理を示すフローチャートである。図１４は、感情変化点における画像選択処理を示すフローチャートである。

本実施例では、第１のコールと、該第１のコールに続いて演奏された第２のレスポンスとの間で類似性が判定される。加えて、同一の類似性が継続すると、「継続性が高い」と判定される。

具体的には、第１のコールの感情傾向の種類と、第１のレスポンスの感情傾向の種類とが一致していれば、「傾向一致」と判定される。第１のコールの感情傾向の種類と、第１のレスポンスの感情傾向の種類とは不一致であるが、第１のコールの感情傾向に含まれる要素の少なくとも一つと相反する要素が第１のレスポンスの感情傾向に含まれている場合には、「傾向相反」と判定される。第１のコールの感情傾向の種類と、第１のレスポンスの感情傾向の種類とは不一致であり、相反する要素も含まれていない場合には「傾向不一致」と判定される。

ここで、相反する要素とは、例えば「喜びに対する哀しみ」、「喜びに対する怒り」、「好きに対する嫌悪」、「好きに対する恐怖」、「安らぎに対する高ぶり」、「安らぎに対する驚き」等である。

また、第１のコールと、該第１のコールの次に演奏された第２のコールに続いて演奏された第２のレスポンスとの間で追従性が判定される。第１のコールの感情傾向の種類と、第２のレスポンスの感情傾向の種類とが一致していれば「追従性あり」と判定される。そして、「追従性あり」の状態が継続すると、「追従性が高い」と判定される。

「追従性」を判定することにより、コールの感情傾向の変動が、レスポンスに影響したか否かを明らかにすることができる。

尚、図１２では、「継続性」及び「追従性」を「無」、「有低」、「有高」で表しているが、例えば数値等で表されてもよい。

このように、コール及びレスポンス各々の感情傾向から、コール及びレスポンス間の関係性を導き出すことにより、例えばコールに対応する画像と、レスポンスに対応する画像とが互いに連動して変化するような演出が可能となる。

具体的には例えば、コール及びレスポンスに夫々対応する二人の人物が、コール及びレスポンス間の関連性に応じて行動するような演出がされるとする。類似性が「傾向一致」である場合、二人の人物が感情傾向に応じた同じ行動を行い、継続性が高くなるにつれて、二人の人物間の距離が縮まり、一緒に行動するという演出がなされる。或いは、類似性が「傾向相反」である場合、二人の人物が仲違する若しくは喧嘩するという演出がなされる。或いは、追従性が高くなると、一方の人物が他方の人物を追いかける、若しくは所定時間後に、一方の人物のまねを他方の人物が行う、という演出がなされる。

次に、コール及びレスポンス間の類似性、継続性及び追従性に基づく画像選択処理について、図１３及び図１４のフローチャートを参照して具体的に説明する。図１３及び図１４では、類似性、継続性及び追従性については、既に判定されているものとする。

尚、選択される画像を含む複数の画像は、例えばサーバ１０の記憶装置１９（図１参照）等の大容量記憶媒体に予め格納されているものとする。大容量記憶媒体に格納されている複数の画像は、夫々対応する感情に関連付けられている。複数の画像は、更に、継続性や追従性の程度に応じて分類されていることが望ましい。このように構成すれば、例えば「喜び」に対応する画像であっても、継続性が高い程、より喜びが大きな画像が表示され、実用上非常に有利である。

図１３において、サーバ１０の感情特徴量解析部１７（図１参照）は、先ず、コールの感情傾向とレスポンスの感情傾向との継続性があるか否かを判定する（ステップＳ３０１）。継続性があると判定された場合（ステップＳ３０１：Ｙｅｓ）、感情特徴量解析部１７は、コールの感情傾向とレスポンスの感情傾向との類似性のステートを判定する（ステップＳ３０２）。

類似性のステートが「傾向一致」であると判定された場合（ステップＳ３０２：一致）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向、並びに継続性に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ３０３）。この場合、コールに対応する画像と、レスポンスに対応する画像とは、同じ感情を表す画像となる。

尚、選択された画像は、例えば、コール及びレスポンス各々の感情傾向（感情特徴量）と一緒に、感情特徴量送出部１８（図１参照）を介して端末２０に送信される。

類似性のステートが「傾向相反」であると判定された場合（ステップＳ３０２：相反）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向、並びに継続性に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ３０４）。この場合、コールに対応する画像と、レスポンスに対応する画像とは、相反する感情を表す画像となる。

類似性のステートが「傾向不一致」であると判定された場合（ステップＳ３０２：不一致）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向、並びに継続性に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ３０５）。この場合、コールに対応する画像と、レスポンスに対応する画像とは、夫々の感情を表す画像となる。

上述のステップＳ３０１の処理において、継続性がないと判定された場合（ステップＳ３０１：Ｎｏ）、感情特徴量解析部１７は、ステップＳ３０５の処理を実施する。

図１４において、感情特徴量解析部１７は、先ず、感情変化点であるか否かを判定する（ステップＳ４０１）。尚、感情変化点は、図１２において逆三角で示す時点である。

感情変化点でないと判定された場合（ステップＳ４０１：Ｎｏ）、感情特徴量解析部１７は、一旦処理を終了する。他方、感情変化点であると判定された場合（ステップＳ４０１：Ｙｅｓ）、感情特徴量解析部１７は、追従性があるか否かを判定する（ステップＳ４０２）。

追従性があると判定された場合（ステップＳ４０２：Ｙｅｓ）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ４０３）。この場合、レスポンスに対応する画像は、該レスポンスの感情を表すと共に追従であることがわかるような画像となる。

「追従であることがわかるような画像」は、例えば、前回のコール（即ち、追従判定に用いられたコール）に対応する画像として表示された画像や、コール及びレスポンスが二人の人物で表される場合には、二人の人物が追いかけっこをするような画像等である。

他方、追従性がないと判定された場合（ステップＳ４０２：Ｎｏ）、感情特徴量解析部１７は、コール及びレスポンスの感情傾向、並びに継続性に応じて、例えば記憶装置１９等から画像を選択する（ステップＳ４０４）。

上述の如く構成すれば、即興的演奏コミュニケーションであるＣ／Ｒに適した評価をユーザへ提示することができ、実用上非常に有利である。

尚、本実施例では、感情特徴量解析部１７が、コール及びレスポンスの感情傾向等に応じた画像を選択しているが、例えば端末２０の感情特徴量表示部２７（図１参照）が、画像を選択し、該選択された画像をサーバ１０に要求するような構成であってもよい。

また、画像の表示に限らず、類似性、追従性及び感情傾向の少なくとも一つに応じて、例えばＲＧＢ値、色温度等の色情報、光度等が変更されてよい。或いは、画像等の視覚効果に加えて又は代えて、聴覚効果や触覚効果又はキーワード等により、類似性等が表されてもよい。

聴覚効果としては、音量の変更や音の定位（パンポット）の変更等が挙げられる。触覚効果としては、例えば端末２０を体感音響装置と連動させた上で、体感音響装置に係る振動の強さ、振動の周期、温度及び硬さの少なくとも一つの変更が挙げられる。キーワードとしては、例えばインターネット等介して情報を取得するためのキーワード等が挙げられる。

（まとめ）
実施例に係る演奏評価システム１では、レスポンスデータ（更にはコールデータ）に係る演奏内容が解析されることにより、感情抽出パラメータが求められ、更に、該感情抽出パラメータに応じてレスポンスデータ（更にはコールデータ）に係る感情傾向（感情特徴量）が求められる。そして、求められた感情傾向に応じて、例えば画像等が、ユーザのレスポンスの評価として、ユーザに提示される。

このように、当該演奏評価システム１では、例えば点数表示等の演奏の良し悪しを示すような評価とは異なる評価がユーザに提示される。特に、レスポンスの感情傾向に応じた評価は、ユーザの自由な感性によるアドリブ演奏に対する客観的評価として好適である。

従って、当該演奏評価システム１によれば、ユーザの楽しみを損ねることなく、Ｃ／Ｒ等のようなアドリブ演奏についての客観的評価をユーザに提示することができる。

＜変形例＞
次に、実施例に係る端末の変形例について、図１５を参照して説明する。図１５は、実施例の変形例に係る端末の構成を示すブロック図である。

図１５において、端末２０ａは、レスポンス演奏入力部２１、伴奏受信部２３、コール受信部２４、音楽再生部２５、感情特徴量表示部２７、伴奏解析情報記憶部４１、コール解析情報記憶部４２、レスポンス解析部４３及び感情特徴量解析部４４を備えて構成されている。

つまり、変形例では、サーバ側ではなく、端末２０ａにおいてレスポンスデータ等の解析が行われ、該レスポンスデータに対応するレスポンス演奏の感情傾向等が求められる。

このように構成すれば、サーバの処理負荷を低減することができ、実用上非常に有利である。

変形例に係る「感情特徴量解析部４４」は、本発明に係る「第２出力手段」の他の例である。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う演奏評価システム、サーバ装置、端末装置、演奏評価方法及びコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。

１…演奏評価システム、１０…サーバ、１１…レスポンス受信部、１２、４３…レスポンス解析部、１３…伴奏送出部、１４、４１…伴奏解析情報記憶部、１５…コール送出部、１６、４２…コール解析情報記憶部、１７、４４…感情特徴量解析部、１８…感情特徴量送出部、１９…記憶装置、２０、２０ａ…端末、２１…レスポンス入力部、２２…レスポンス送出部、２３…伴奏受信部、２４…コール受信部、２５…音楽再生部、２６…感情特徴量受信部、２７…感情特徴量表示部８

Claims (10)

1. 伴奏データを出力する第１出力手段と、
   前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、
   前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を出力する第２出力手段と、
   を備えることを特徴とする演奏評価システム。
2. 前記調和の程度を示す情報は、前記取得された第１演奏データに係る音程が、前記伴奏データに係る音階に属するか否か、及び前記伴奏データに係るコードの構成音であるか否か、に応じて変化することを特徴とする請求項１に記載の演奏評価システム。
3. 前記調和の程度を示す情報は、更に、前記取得された第１演奏データに係る音程が、調和的非和声音であるか否かに応じて変化することを特徴とする請求項２に記載の演奏評価システム。
4. 前記第１出力手段は、更に、前記伴奏データに関連する第２演奏データを出力し、
   前記取得手段は、前記出力された伴奏データに合わせて行われると共に、前記出力された第２演奏データに呼応して行われたユーザの演奏に対応する第１演奏データを取得する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の演奏評価システム。
5. ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムであって、
   前記端末装置は、前記ネットワークを介して前記サーバ装置から、伴奏データを取得して出力する第１出力手段を有し、
   前記サーバ装置は、
   前記ネットワークを介して前記端末装置から、前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、
   前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を、前記ネットワークを介して前記端末装置に出力する第２出力手段と、
   を有する
   ことを特徴とする演奏評価システム。
6. ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムのサーバ装置であって、
   伴奏データを、前記ネットワークを介して前記端末装置に、出力する第１出力手段と、
   前記ネットワークを介して前記端末装置から、前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、
   前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を、前記ネットワークを介して前記端末装置に出力する第２出力手段と、
   を備えることを特徴とするサーバ装置。
7. ネットワークを介して相互に通信可能な端末装置及びサーバ装置を備える演奏評価システムの端末装置であって、
   前記ネットワークを介して前記サーバ装置から、伴奏データを取得して出力する第１出力手段と、
   前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、
   前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を出力する第２出力手段と、
   を備えることを特徴とする端末装置。
8. 伴奏データを出力する第１出力工程と、
   前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得工程と、
   前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を出力する第２出力工程と、
   を備えることを特徴とする演奏評価方法。
9. コンピュータを、
   伴奏データを出力する第１出力手段と、
   前記出力された伴奏データに合わせて行われたユーザの演奏に対応する第１演奏データを取得する取得手段と、
   前記伴奏データに係る音階及びコードと、前記取得された第１演奏データに係る音程とに基づいて、前記伴奏データに対する前記取得された第１演奏データの調和の程度を示す情報を出力する第２出力手段と、
   として機能させることを特徴とするコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムが記録されていることを特徴とする記録媒体。