JP2020144345A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】演奏全体を視覚的に表現する情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】情報処理装置１００は、入力インターフェース１２０と、出力インターフェース１３１と、少なくとも１つのプロセッサと、を備える。１つのプロセッサは、入力インターフェース１２０から演奏情報の入力を受付け、受け付けた演奏情報に含まれる音高情報に基づいて曲の調性を判定し、判定された曲の調性に基づいて背景色を決定し、決定された背景色を有する画像の情報を出力インターフェース１３１から出力する。【選択図】図２

Description

この発明は、情報処理装置、情報処理方法、およびプログラムに関する。

特許文献１は、ＭＩＤＩ規格で作成された音楽の演奏に同期して踊り手（ダンサ）等の画像オブジェクトを動かし、音楽の曲想のみならず、音楽の進行に応じてこれと一体的に変化する動画像を生成することができるコンピュータグラフィックス動画像生成システムを開示している。

特開平１１−２２４０８４号公報

特許文献１に開示されたコンピュータグラフィックス動画像生成システムでは、単に演奏中に踊り手を示すキャラクタを動的に出現させているだけなので、演奏全体としての状態を表現することは難しいという問題がある。

この発明の目的は、このような事情に鑑みてなされたものであり、演奏全体を視覚的に表現する情報処理装置、情報処理方法、およびプログラムを提供することにある。

本発明は、上記目的を達成するため、本発明の第１の観点に係る情報処理装置は、
入力インターフェースと、
出力インターフェースと、
少なくとも１つのプロセッサと、
を備え、前記少なくとも１つのプロセッサは、
前記入力インターフェースから演奏情報の入力を受け付け、
受け付けた前記演奏情報に含まれる音高情報に基づいて曲の調性を判定し、
判定された前記調性に基づいて背景色を決定し、
決定された前記背景色を有する画像の情報を前記出力インターフェースから出力する。

本発明によれば、演奏全体を視覚的に表現する情報処理装置、情報処理方法、およびプログラムを提供することができる。

本発明の実施の形態に係る情報処理装置および電子楽器を示す図である。 本発明の実施の形態に係る情報処理装置の構成例を示す概略ブロック図である。 （Ａ）〜（Ｃ）は、本発明の実施の形態に係る花のイラストを示す図である。 （Ａ）〜（Ｃ）は、本発明の実施の形態に係る葉のイラストを示す図である。 （Ａ）〜（Ｃ）は、本発明の実施の形態に係るイラストの大きさのバリエーションを示す図である。 （Ａ）〜（Ｃ）は、本発明の実施の形態に係るイラストを変形した状態を示す図である。 （Ａ）〜（Ｃ）は、本発明の実施の形態に係るイラストを彩色した図である。 （Ａ）〜（Ｃ）は、本発明の実施の形態に係るイラストを表示する軌道パターンを示す図である。 本発明の実施の形態に係る電子楽器の構成例を示す概略ブロック図である。 本発明の実施の形態に係る画像表示処理を示すフローチャートである。 本発明の実施の形態に係るイラスト決定処理を示すフローチャートである。 本発明の実施の形態に係る表示画像の一例を示す図である。 （Ａ）は、本発明の実施の形態に係る表示画像の一例を示す図であり、（Ｂ）は、電子楽器の鍵の位置を示す図である。 本発明の実施の形態に係る表示画像の一例を示す図である。

以下、本発明を実施するための形態に係る情報処理装置を図面に基づいて説明する。

本発明の実施の形態に係る情報処理装置１００は、図１に示すように、有線回線または無線回線を通じて電子楽器２００に接続されて用いられる。電子楽器２００は、電子ピアノ、シンセサイザー、電子オルガン等の電子鍵盤楽器を含み、複数の鍵（操作子）２２０と、スピーカ２３０と、操作部２４０と、譜面台２５０と、を備える。情報処理装置１００は、例えば、タブレットＰＣ（Personal Computer）またはスマートフォンから構成され、譜面台２５０に裁置されている。情報処理装置１００は、表示部１３０を備え、電子楽器２００で演奏された楽曲を視覚的に表現した画像をリアルタイムに表示するものである。なお、情報処理装置１００と電子楽器２００は、電子楽器システムを構成する。

情報処理装置１００は、図２に示すように、制御部（プロセッサ）１１０と、入力インターフェース１２０と、表示部１３０と、操作部１４０と、ＲＡＭ（Random Access Memory）１５０と、ＲＯＭ（Read Only Memory）１６０と、を備える。

制御部１１０は、ＣＰＵ（Central Processing Unit）によって構成される。制御部１１０は、ＲＯＭ１６０に格納されたプログラム及びデータを読み出し、ＲＡＭ１５０をワークエリアとして用いることにより、情報処理装置１００を統括制御する。

入力インターフェース１２０は、電子楽器２００から送信された音高情報を含む演奏情報の入力を受け付け、ＲＡＭ１５０に記憶する。音高情報を含む演奏情報は、一例としてＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠しているデータ構造を有するものである。入力インターフェース１２０は、外部機器と通信を行うための無線ユニットまたは有線ユニットを備え、ＭＩＤＩ規格に準拠したインターフェースから構成される。

表示部１３０は、ＬＣＤ（Liquid Crystal Display）パネル、有機ＥＬ（Electro Luminescence）パネル、ＬＥＤ（Light Emitting Diode）パネル等の表示パネルと表示コントローラを備え、制御部１１０から出力インターフェース１３１を介して出力された制御信号に従って、画像を表示する。本実施の形態においては、例えば、電子楽器２００で演奏された楽曲を視覚的に表現した画像をリアルタイムに表示する。

操作部１４０は、キーボード、マウス、タッチパネル、ボタン等の入力装置から構成される。操作部１４０は、ユーザからの入力操作を受け付けて、その操作内容を表す入力信号を制御部１１０に出力する。なお、操作部１４０と表示部１３０とは、これらが互いに重ねられて配置されたタッチパネルディスプレイとして構成されるものであってもよい。

ＲＡＭ１５０は、揮発性メモリから構成され、制御部１１０が各種処理を行うためのプログラムを実行するための作業領域として用いられる。ＲＡＭ１５０は、電子楽器２００から送信された音高情報を含む演奏情報を記憶する。

ＲＯＭ１６０は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）といった不揮発性の半導体メモリであって、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。ＲＯＭ１６０は、制御部１１０が各種処理を行うために使用するプログラム及びデータ、並びに、制御部１１０が各種処理を行うことにより生成又は取得するデータを記憶する。本実施形態において、ＲＯＭ１６０は、曲の調性と背景色とを紐付けした背景色テーブル、演奏情報とイラストの種類とを紐付けしたイラストテーブル等を記憶する。背景色テーブルは、アレクサンドル・スクリャービン等によって提唱されている音と色との共感覚の関係に基づいて予め曲の各調性それぞれに対応する色が設定されている。すなわち曲の調性と背景色とを紐付けして記憶させている。例えば、ハ長調に紐付けされた色として赤色が記憶される。また、ハ短調に紐付された色として茶色が記憶される。各短調にそれぞれ紐付される色は、各長調にひも付される色よりも輝度が暗い。すなわち制御部１１０は、判定した調性に応じた背景色を決定する。調性に応じた背景色を有する画像は、これを見た人に、曲を聞いた人に与える感覚と近い感覚を与える。

次に、実施形態に係る情報処理装置１００の制御部１１０の機能構成について説明する。制御部１１０は、ＣＰＵがＲＯＭ１６０に格納されたプログラム及びデータを読み出して実行することにより、演奏判定部１１１と、背景色決定部１１２と、イラスト決定部１１３と、画像情報出力部１１４として機能する。

演奏判定部１１１は、入力インターフェースを介して受け付けた演奏情報に基づいて、曲の調性（例えば、ハ長調からロ短調の２４種類）、音名（例えば、ド、レ、ミ）、コード（例えば、Ｍａｊｏｒ、Ｍｉｍｏｒ、Ｓｕｓ４、Ａｕｇ、Ｄｉｍ、７ｔｈ等）、ベロシティ値およびコード進行を判定する。また、演奏判定部１１１は、ユーザにより複数の鍵２２０がそれぞれ操作されたタイミングに基づいて演奏を評価し、複数のベロシティ値などに基づいて、演奏を採点する。採点結果は、メモリ―内に予め記憶されている正解を示すデータと対比する相対的な採点手法に基づかず、リアルタイム演奏において決定される各区間に含まれる演奏情報のみで評価する絶対的な採点手法に基づいて採点される。曲の調性およびコードを判定する判定手法は、特に限定されないが、例えば、特許第３２１１８３９号公報等に開示されている手法を用いることができ、音名は、演奏情報に含まれるノートナンバー等によって判定される。ベロシティ値は、鍵２２０の押鍵速度により判定される。

背景色決定部１１２は、演奏判定部１１１に判定された曲の調性に基づいて背景色を決定する。背景色決定部１１２は、ＲＯＭ１６０に記憶された背景色と曲の調性とを紐付けした背景色テーブルを参照し、曲の調性に応じた背景色を決定する。例えば、曲の調性が、ハ長調であれば、背景色を赤色に決定する。

イラスト決定部１１３は、演奏情報を受け付ける毎に、演奏判定部１１１により判定された音名およびコードに基づいて、表示する画像を構成する構成要素となるイラストの種類を決定し、ベロシティ値に基づいて、イラストの大きさを決定する。また、イラスト決定部１１３は、演奏を評価された評価結果に応じてイラストを画像処理する。また、イラスト決定部１１３は、採点結果に応じてイラストを彩色する。また、イラスト決定部１１３は、コード進行に基づいて、表示画像中にイラストを配置する軌道パターンＰＳを決定する。

具体的には、イラスト決定部１１３は、演奏判定部１１１により判定された音名に応じた花の画像を、ＲＯＭ１６０に予め記憶した１２種類の花の画像から選択する。花の画像のうち３つについて、図３（Ａ）〜図３（Ｃ）に例示する。また、イラスト決定部１１３は、演奏判定部１１１により判定されたコードに応じた葉の画像を、ＲＯＭ１６０に予め記憶した１０種類の葉の画像から選択する。葉の画像のうち３つについて、図４（Ａ）〜（Ｃ）に例示する。また、イラスト決定部１１３は、図５（Ａ）〜（Ｃ）に示すように、演奏判定部１１１により判定されたベロシティ値等に応じてイラストをディスプレイ１３０に表示する大きさを選択する。なおベロシティ値が小さい（鍵２２０の押鍵速度が遅く、音量が小さい）場合、図５（Ａ）に示す小さい花のイラストが選択され、ベロシティ値が大きい（鍵２２０の押鍵速度が速く、音量が大きい）場合、図５（Ｃ）に示す大きい花のイラストが選択されることを示したものである。コードに応じた葉のイラストを選択した場合も同様である。すなわち、ディスプレイ１３０に表示されるイラストの大きさは、ベロシティ値に応じて拡大又は縮小されていればよい。また、イラスト決定部１１３は、演奏判定部１１１により評価された評価結果に応じてイラストを図６（Ａ）〜図６（Ｃ）に示すように、画像処理する。評価結果を示す点数が基準となる或る点数より低い場合、イラスト決定部１１３は、図６（Ｃ）に示すように、イラストとしての葉の画像の形状が崩れたものに画像処理を実行する。また、演奏判定部１１１により採点された採点結果が或る基準に達しない場合に、図７（Ａ）または図７（Ｂ）に示すように、イラストを、輪郭線の内側の領域に色が塗られていない線画に変更し、採点結果が或る基準に達する場合に、図７（Ｃ）に示すように、輪郭線の内側の領域に色が塗られているイラストを選択する。また、イラスト決定部１１３は、図８（Ａ）〜図８（Ｃ）に示すように、ＲＯＭ１６０に予め記憶した１４種類の軌道パターンから、コード進行に応じた軌道パターンＰＳを選択し、選択した軌道パターンＰＳに応じて表示画像中にイラストを配置する位置を決定する。例えば、図８（Ａ）はカノンのコード進行を示し、図８（Ｂ）は洋楽のコード進行を示し、図８（Ｃ）はＪ−ＰＯＰのコード進行を示す。なお、軌道パターンＰＳの仮想の線上に各イラストの少なくとも一部が重なるように、各イラストは配置される。なお、図８（Ａ）〜図８（Ｃ）に示す軌道パターンＰＳの線は、ディスプレイ１３０には表示されない。すなわち第１ユーザ操作を示す第１押鍵に応じて決定される第１イラストと、前記第１ユーザ操作後の第２ユーザ操作を示す第２押鍵に応じて決定される第２イラストは、画像内の同じ位置に配置されず、軌道パターンＰＳが示す仮想の線上の異なる位置にそれぞれ配置される。

画像情報出力部１１４は、背景色決定部１１２により決定された背景色にイラスト決定部１１３で決定されたイラストを選択された軌道パターンＰＳに沿って配置して重ね合わせた画像を生成し、出力インターフェース１３１から出力する。画像情報出力部１１４は、演奏判定部１１１により採点された演奏の採点結果が或る基準に達するまでは、背景色を基準色に変更し、基準色にイラストを重ね合わせた画像を生成し、出力インターフェース１３１から出力する。

電子楽器２００は、上述した複数の鍵２２０と、スピーカ２３０と、操作部２４０と、譜面台２５０と、に加えて、電気的構成として、図９に示すように、制御部２１０と、押鍵検出部２６０と、通信部２７０と、を備える。

制御部２１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等から構成され、ＲＯＭに格納されたプログラム及びデータを読み出し、ＲＡＭをワークエリアとして用いることにより、電子楽器２００を制御する部分である。制御部２１０は、例えば、鍵２２０の押鍵に応じてスピーカ２３０から発音させる制御および鍵２２０の離鍵に応じてスピーカ２３０から発音されている音楽を消音する制御等を行う。また、制御部２１０は、通信部２７０を介して音高情報を含む演奏情報を情報処理装置１００に送信する。

鍵２２０は、演奏者が音高を指定する操作子であり、演奏者が鍵２２０を押鍵および離鍵することで、電子楽器２００は、指定された音高に対応する音の発音および消音を行う。

スピーカ２３０は、演奏者が演奏した楽曲の音を出力する部分であり、制御部２１０から出力された音声信号を音に変換して出力する。

操作部２４０は、演奏者が各種の設定等を行う操作ボタンを有し、音量調整等の各種の設定操作等を行うための部分である。操作部２４０は、タッチパネルディスプレイ内に表示されていてもよい。

押鍵検出部２６０は、鍵２２０の押鍵、離鍵および押鍵速度を検知し、検知した音高情報を含む演奏情報を制御部２１０に出力する部分である。押鍵検出部２６０には、鍵２２０の下にスイッチが設けられ、そのスイッチによって、押鍵、離鍵および押鍵速度を検知する。

通信部２７０は、外部機器と通信を行うための無線ユニットまたは有線ユニットを備える。本実施形態では、通信部２７０は、ＭＩＤＩ規格に準拠したインターフェースから構成され、制御部２１０の制御に基づいて、音高情報を含む演奏情報を情報処理装置１００に送信する。演奏情報は、一例としてＭＩＤＩ規格に準拠しているデータ構造を有するものである。

つぎに、以上の構成を有する情報処理装置１００が実行する画像表示処理について説明する。

制御部１１０は、図１０に示す画像表示処理を、例えば本処理の開始を表す操作入力を操作部１４０を介して受け付けたことを契機として開始する。

演奏判定部１１１は、入力インターフェース１２０を介して、ユーザにより演奏された電子楽器２００から出力された音高情報を含む演奏情報を受け付ける（ステップＳ１０１）。次に、演奏判定部１１１は、受け付けた演奏情報に基づいて、曲の調性を判定する（ステップＳ２０２）。ここでは、曲の調性が、ハ長調であると判定されたとする。次に、背景色決定部１１２は、演奏判定部１１１に判定された曲の調性に基づいて背景色を決定する（ステップＳ２０３）。曲の調性が、ハ長調であると判定されているので、背景色を赤色に決定する。次に、演奏判定部１１１は、複数のベロシティ値に基づいて、演奏を採点する（ステップＳ１０４）。ベロシティ値が高い規則性を有する場合、高い採点結果となり、ベロシティ値が低い規則性を有する場合、低い採点結果となる。

次に、イラスト決定部１１３は、図１１に示すイラスト決定処理を実行する（ステップＳ１０５）。イラスト決定処理が開始すると、演奏判定部１１１は、音名およびコードを判定する（ステップＳ２０１）。イラスト決定部１１３は、演奏判定部１１１により判定された音名に応じた花の画像を、図３（Ａ）〜図３（Ｃ）に例示する花の画像から選択し、コードに応じた図４（Ａ）〜（Ｃ）に例示する葉の画像を選択する（ステップＳ２０２）。次に、演奏判定部１１１は、ベロシティ値を判定する（ステップＳ２０３）。次に、イラスト決定部１１３は、図５（Ａ）〜（Ｃ）に示すイラストの大きさの内から、演奏判定部１１１により判定されたベロシティ値等に応じたイラストの大きさを決定する（ステップＳ２０４）。

次に、演奏判定部１１１は、ユーザにより複数の鍵２２０がそれぞれ操作されたタイミングに基づいて演奏を評価する（ステップＳ２０５）。次に、イラスト決定部１１３は、演奏判定部１１１により評価された評価結果に応じてイラストを画像処理する（ステップＳ２０６）。評価結果が低い場合、イラスト決定部１１３は、図６（Ｃ）の右図に示すように、イラストとしての葉の画像の形状が崩れたものに画像処理を実行する。また、受け付けた演奏情報に含まれるベロシティ値が或る基準値より小さく、電子楽器２００へのユーザ押鍵が弱いと判断された場合に、決定されているイラストをぼかす画像処理（ぼかし処理）を実行する。具体的にはイラスト及びイラストの周りの画素を平均化する画像処理を実行する。また、ユーザにより複数の鍵２２０がそれぞれ操作されたタイミングに基づいて、電子楽器２００へのユーザ押鍵が一定のリズムを有さない（いわゆるリズムの自由度が高い）と判断された場合に、イラストを変形する画像処理を実行する。具体的にはイラストにアフィン変換する画像処理を実行する。

次に、イラスト決定部１１３は、イラストを彩色する（ステップＳ２０７）。具体的には、ステップＳ１０４で採点した採点結果が或る基準に達しない場合に、図７（Ａ）に示すように、イラストを、輪郭線の内側の領域に色が塗られていない線画に変更し、採点結果が或る基準に達する場合に、図７（Ｃ）の右図に示すように、輪郭線の内側の領域に色が塗られているイラストを選択する。次に、イラスト決定処理を終了し図１０に示す画像表示処理に戻る。

次に、演奏判定部１１１は、コード進行を判定する（ステップＳ１０６）。つぎに、イラスト決定部１１３は、図８（Ａ）〜図８（Ｃ）に例示する軌道パターンから、コード進行に応じた軌道パターンＰＳを選択する（ステップＳ１０７）。なお、実際のディスプレイ１３０には、これらの軌道パターンＰＳを示す線は表示されない。つぎに、選択した軌道パターンＰＳに応じて表示している画像内にイラストを配置する（ステップＳ１０８）。このとき、イラスト決定部１１３は、イラストがリアルタイムに追加されて表示されるように、すでに表示されているイラストに加えて新たに決定されたイラストを軌道パターンＰＳに沿って追加する。なお、一定時間以上経過した演奏情報に基づいて決定されたイラストは表示しないようにする。すなわち、次ぎ次ぎと新たな演奏情報に応じたイラストが表示部に表示されるが、すべてのイラストの表示をそのまま継続すると、新たに表示されるイラストが他のイラストに埋もれ、新たに表示されるイラストがユーザに与える印象が低下するため、制御部１１０は長時間（例えば数十秒）表示されているイラストは表示しないように制御する。つぎに、画像情報出力部１１４は、ステップＳ１０４で演奏判定部１１１により採点された演奏の採点結果が或る基準に達したか否かを判定する（ステップＳ１０９）。採点結果が或る基準に達したと判定されると（ステップＳ１０９；Ｙｅｓ）、画像情報出力部１１４は、ステップＳ１０３で決定された背景色にイラストを重ね合わせた画像を生成し、出力インターフェース１３１から出力し、表示部１３０に表示する（ステップＳ１１０）。表示部１３０に表示された画像の一例を図１２に示す。この画像は、カノンのコード進行により演奏された場合に、図８（Ａ）に示される軌道パターンＰＳに従って、花と葉のイラストが表示された画像の一例である。花と葉のイラストは、点線Ｌに沿って演奏に合わせてリアルタイムに追加される。採点結果が或る基準に達していないと判定されると（ステップＳ１０９；Ｎｏ）、画像情報出力部１１４は、背景色を基準色に変更し、基準色にイラストを重ね合わせた画像を生成し、出力インターフェース１３１から出力し、表示部１３０に表示する（ステップＳ１１２）。

次に、演奏が終了したか否かを判定し（ステップＳ１１１）、演奏が終了していないと判定されると（ステップＳ１１１；Ｎｏ）、ステップＳ１０１に戻り、ステップＳ１０１〜ステップＳ１１１を繰り返す。これにより、電子楽器２００が演奏されている間、入力された演奏情報に基づいて、イラストがリアルタイムに追加された画像が表示される。演奏が終了したと判定されると（ステップＳ１１１；Ｙｅｓ）、画像表示処理を終了する。

以上説明したように、本実施形態に係る情報処理装置１００は、電子楽器２００で演奏された楽曲を視覚的に表現した画像をリアルタイムに表示することができる。具体的には電子楽器２００から送信された音高情報を含む演奏情報の入力を受け付け、曲の調性を判定し、曲の調性に応じた背景色を有する画像を表示する。これにより、画像を視認したユーザは、曲の調性を視覚により知覚することできる。また、情報処理装置１００は、音名およびコードに応じた種類のイラストを表示することで、演奏をリアルタイムに視覚により知覚することができる。ユーザにより複数の鍵２２０がそれぞれ操作されたタイミングに基づいて演奏が評価され、評価結果に応じてイラストが画像処理される。またまた複数のベロシティ値に基づいて、演奏が採点され、採点結果に応じてイラストが彩色される。これにより、演奏が上手か未熟かを視覚により知覚することができる。また、コード進行に応じた軌道パターンＰＳでイラストが表示される。これにより、コード進行を視覚的に知覚することができる。

なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
上記実施の形態では、演奏情報が、ＭＩＤＩ規格に準拠しているデータ構造を有する例について説明したが、演奏情報は音高情報を含むものであれば特に限定されない。例えば、演奏を録音した楽音情報であってもよい。この場合、楽音情報から音高情報を抽出し、情報処理装置１００により画像で表示することで視覚的に表現することができる。

また、上記の実施の形態では、情報処理装置１００が表示部１３０を内蔵する例について説明したが、情報処理装置１００は、画像情報を出力する出力インターフェース１３１を有すればよい。この場合、情報処理装置１００から外部の表示装置に画像情報を出力インターフェース１３１を介して出力する。外部の表示装置として、大型ディスプレイやプロジェクタを用いれば、大人数の聴衆に画像を見せることができる。また、情報処理装置１００を電子楽器２００に内蔵してもよい。この場合、表示部１３０を内蔵してもよく、出力インターフェース１３１を介して外部の表示装置に画像情報を出力するようにしてもよい。

また、上記の実施の形態では、背景色を単色で表す例について説明したが、背景色は単色に限定されず、主たる色が一定以上（例えば、９０％以上）含むものであれば、複数の色を含む模様や画像であってもよい。

また、上記の実施の形態では、ベロシティ値に基づいて、イラストの大きさを決定する例について説明したが、情報処理装置１００は、受け付けた演奏情報に応じてイラストの大きさを決定すればよく、強拍、弱拍の違い、音高、ＢＰＭ（Beats Per Minute）、同時に入力された和音の数、ベロシティ値などのうちいずれか１つまたは２つ以上の組み合わせに基づいて、イラストの大きさを決定すればよい。この場合、低音を大きいイラスト（波長とイラストの大きさが相関）、アクセントが大きいと大きいイラスト（音量とイラストの大きさが相関）、テンポが遅いと大きい絵（ＢＰＭとイラストの大きさが相関）、単音より和音だと大きいイラスト（音数とイラストの大きさが相関）、ベロシティが大きいと大きいイラスト（音量とイラストの大きさが相関）が表示される。

また、上記の実施の形態では、演奏情報に含まれる音高情報に応じてイラストが表示される例について説明したが、図１３（Ａ）および図１３（Ｂ）に示すように、演奏情報を受け付ける毎に、演奏情報に含まれる音高情報に応じたディスプレイ上の位置に記号情報を示す記号Ｍ１〜Ｍ４が表示されるようにしてもよい。例えば、ユーザにより電子楽器２００の鍵２２０のうち鍵Ｋ１〜Ｋ４が押鍵されると、その音高を表す記号Ｍ１〜４を鍵Ｋ１〜Ｋ４と対応する位置にそれぞれ表示する。鍵Ｋ１に応じた高い音を青色の記号Ｍ１で表示し、鍵Ｋ２に応じた音を黄色の記号Ｍ２で表示し、鍵Ｋ３に応じた音をオレンジ色の記号Ｍ３で表示し、鍵Ｋ４に応じた低い音を赤い色の記号Ｍ４で表示する。記号Ｍ１〜４は、丸い点であってもよく、他の形状を有する記号であってもよい。高音域に含まれる音が打鍵された場合、ディスプレイの右側に前記記号情報をまず表示し、低音域に含まれる音が打鍵された場合、ディスプレイの左側に前記記号情報をまず表示する。中音域に含まれる音が打鍵された場合、ディスプレイの中央側に前記記号情報をまず表示する。このようにすることで、打鍵された鍵２２０の位置を視覚的に知覚することができる。ところで前記記号情報を示す記号Ｍを表示するために必要とする制御部２１０の負荷は、イラストを表示するために必要とする制御部２１０の負荷よりも少ない。電子楽器２００へのユーザ押鍵に対して、この情報処理装置１００が速やかにレスポンスできなければ、ユーザに不快感を与える。電子楽器２００へのユーザ押鍵に対する速やかなレスポンスとして、記号情報を示す記号Ｍをまず表示することには意味がある。その後、図１４に示すように、軌道パターンＰＳに応じた点線Ｌに沿った位置に、表示した前記記号情報に変えてイラストを表示する。このようにすることで、音とイラストの関係性をより視覚的に知覚することもできる。

また、上記の実施の形態では、演奏判定部１１１が、ユーザにより複数の鍵２２０がそれぞれ操作されたタイミングに基づいて演奏を評価する例について説明した。演奏判定部１１１は、受け付けた演奏情報から得られる、少なくともユーザにより複数の演奏操作子がそれぞれ操作されたタイミング、及び複数のベロシティ値、のいずれかに基づいて、演奏を評価してもよい。

また、上記の実施の形態では、演奏判定部１１１が、複数のベロシティ値に基づいて、演奏を採点する例について説明した。演奏判定部１１１は、受け付けた前記演奏情報から得られる、少なくともユーザにより複数の演奏操作子がそれぞれ操作されたタイミング、及び複数のベロシティ値、のいずれかに基づいて、前記演奏を採点してもよい。

また、上記の実施の形態では、電子楽器２００が、電子ピアノ等の電子鍵盤楽器から構成される例について説明した。電子楽器２００は、音高情報を含む演奏情報を情報処理装置１００に出力することができればよく、ギター等の弦楽器やフルートなどの管楽器であってもよい。また、アコースティックギターなどのアコースティック音を、音高情報を含む演奏情報に変換して、変換された演奏情報を情報処理装置１００に出力してもよい。

また、上記の実施の形態では、イラスト決定部１１３が花および葉のイラストを選択する例について説明した。イラスト決定部１１３は、花および葉以外のイラストを選択してもよい。例えば、人、犬や猫などの動物、チョウチョやトンボなどの昆虫、自動車や自転車などの乗り物、ピアノやバイオリンなどの楽器、アニメーションのキャラクタなどを示すイラストを選択してもよい。

また、上記の実施の形態では、制御部１１０のＣＰＵが、制御動作を行う例を説明した。しかし、制御動作は、ＣＰＵによるソフトウェア制御に限られるものではない。制御動作の一部又は全部が専用の論理回路などのハードウェア構成を用いてなされても良い。

また、以上の説明では、本発明の処理に係るプログラムを記憶するコンピュータ読み取り可能な媒体としてフラッシュメモリなどの不揮発性メモリからなるＲＯＭ１６０を例に挙げて説明した。しかし、コンピュータ読み取り可能な媒体は、これらに限定されず、ＨＤＤ（Hard Disk Drive）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ（Digital Versatile Disc）などの可搬型記録媒体を適用してもよい。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も本発明に適用される。

その他、上記実施の形態で示した構成、制御手順や表示例などの具体的な細部は、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記の番号は、この出願の願書に最初に添付した特許請求の範囲の通りである。

（付記１）
入力インターフェースと、
出力インターフェースと、
少なくとも１つのプロセッサと、
を備え、前記少なくとも１つのプロセッサは、
前記入力インターフェースから演奏情報の入力を受け付け、
受け付けた前記演奏情報に含まれる音高情報に基づいて曲の調性を判定し、
判定された前記曲の調性に基づいて背景色を決定し、
決定された前記背景色を有する画像の情報を前記出力インターフェースから出力する、
情報処理装置。

（付記２）
前記少なくとも１つのプロセッサは、
前記演奏情報を受け付ける毎に、前記演奏情報に応じて決定される種類のイラストを含む画像の情報を前記出力インターフェースから出力する、
付記１に記載の情報処理装置。

（付記３）
前記少なくとも１つのプロセッサは、
前記演奏情報に応じてコードを決定し、
決定された前記コードに応じた種類のイラストを含む画像の情報を前記出力インターフェースから出力する、
付記１または２に記載の情報処理装置。

（付記４）
前記少なくとも１つのプロセッサは、
受け付けた前記演奏情報に応じて前記イラストの大きさを決定し、
決定された前記イラストの大きさを有する画像の情報を前記出力インターフェースから出力する、
付記２または３に記載の情報処理装置。

（付記５）
前記少なくとも１つのプロセッサは、
前記演奏情報を受け付ける毎に、前記演奏情報に含まれる前記音高情報に応じたディスプレイ上の位置に記号情報が表示されるように前記出力インターフェースから前記記号情報を出力した後に、前記イラストを含む前記画像の情報を前記出力インターフェースから出力する、
付記２乃至４のいずれか１つに記載の情報処理装置。

（付記６）
前記少なくとも１つのプロセッサは、
前記演奏情報に基づいて複数のコード進行のなかからいずれかのコード進行を決定し、
決定された前記コード進行に応じて決定されているディスプレイ上の位置に前記イラストが表示されるように制御する、
付記２乃至５のいずれか１つに記載の情報処理装置。

（付記７）
前記少なくとも１つのプロセッサは、
受け付けた前記演奏情報から得られる、少なくともユーザにより複数の演奏操作子がそれぞれ操作されたタイミング、及び複数のベロシティ値、のいずれかに基づいて、演奏を評価し、
評価結果に応じて前記イラストを画像処理し、
画像処理されたイラストを含む前記画像の情報を前記出力インターフェースから出力する、
付記２乃至６のいずれか１つに記載の情報処理装置。

（付記８）
前記少なくとも１つのプロセッサは、
受け付けた前記演奏情報から得られる、少なくともユーザにより複数の演奏操作子がそれぞれ操作されたタイミング、及び複数のベロシティ値、のいずれかに基づいて、前記演奏を採点し、
採点結果が或る基準に達しない場合に、輪郭線の内側の領域に色が塗られていない線画のイラストを含む前記画像の情報を前記出力インターフェースから出力し、採点結果が或る基準に達する場合に、前記輪郭線の内側の領域に色が塗られているイラストを含む前記画像の情報を前記出力インターフェースから出力する、
付記７に記載の情報処理装置。

（付記９）
前記少なくとも１つのプロセッサは、
採点結果が或る基準に達するまでは、基準色を前記背景色として有する前記画像の情報を前記出力インターフェースから出力し、前記採点結果が前記或る基準に達した後に、前記曲の調性に基づいて決定された前記背景色を有する前記画像の情報を前記出力インターフェースから出力する、
付記８に記載の情報処理装置。

（付記１０）
前記少なくとも１つのプロセッサは、
受け付けた前記演奏情報に基づいて演奏を採点し、
前記採点結果は、メモリ内に予め記憶されている正解を示すデータと対比する相対的な採点手法に基づかず、リアルタイム演奏において決定される各区間に含まれる演奏情報のみで評価する絶対的な採点手法に基づいている、
ことを特徴とする付記８または９に記載の情報処理装置。

（付記１１）
入力インターフェースと、出力インターフェースと、を有する情報処理装置のコンピュータに、
前記入力インターフェースから演奏情報の入力を受け付けさせ、
受け付けた前記演奏情報に含まれる音高情報に基づいて曲の調性を判定させ、
判定された前記曲の調性に基づいて背景色を決定させ、
決定された前記背景色を有する画像の情報を前記出力インターフェースから出力させる、
情報処理方法。

（付記１２）
入力インターフェースと、出力インターフェースと、を備えるコンピュータに、
前記入力インターフェースから演奏情報の入力を受け付けさせ、
受け付けた前記演奏情報に含まれる音高情報に基づいて曲の調性を判定させ、
判定された前記曲の調性に基づいて背景色を決定させ、
決定された前記背景色を有する画像の情報を前記出力インターフェースから出力させる、
プログラム。

１００…情報処理装置、１１０…制御部、１１１…演奏判定部、１１２…背景色決定部、１１３…イラスト決定部、１１４…画像情報出力部、１２０…入力インターフェース、１３０…表示部、１３１…出力インターフェース、１４０…操作部、１５０…ＲＡＭ、１６０…ＲＯＭ、２００…電子楽器、２１０…制御部、２２０…鍵、２３０…スピーカ、２４０…操作部、２５０…譜面台、２６０…押鍵検出部、２７０…通信部

Claims (12)

1. 入力インターフェースと、
   出力インターフェースと、
   少なくとも１つのプロセッサと、
   を備え、前記少なくとも１つのプロセッサは、
   前記入力インターフェースから演奏情報の入力を受け付け、
   受け付けた前記演奏情報に含まれる音高情報に基づいて曲の調性を判定し、
   判定された前記曲の調性に基づいて背景色を決定し、
   決定された前記背景色を有する画像の情報を前記出力インターフェースから出力する、
   情報処理装置。
2. 前記少なくとも１つのプロセッサは、
   前記演奏情報を受け付ける毎に、前記演奏情報に応じて決定される種類のイラストを含む画像の情報を前記出力インターフェースから出力する、
   請求項１に記載の情報処理装置。
3. 前記少なくとも１つのプロセッサは、
   前記演奏情報に応じてコードを決定し、
   決定された前記コードに応じた種類のイラストを含む画像の情報を前記出力インターフェースから出力する、
   請求項１または２に記載の情報処理装置。
4. 前記少なくとも１つのプロセッサは、
   受け付けた前記演奏情報に応じて前記イラストの大きさを決定し、
   決定された前記イラストの大きさを有する画像の情報を前記出力インターフェースから出力する、
   請求項２または３に記載の情報処理装置。
5. 前記少なくとも１つのプロセッサは、
   前記演奏情報を受け付ける毎に、前記演奏情報に含まれる前記音高情報に応じたディスプレイ上の位置に記号情報が表示されるように前記出力インターフェースから前記記号情報を出力した後に、前記イラストを含む前記画像の情報を前記出力インターフェースから出力する、
   請求項２乃至４のいずれか１項に記載の情報処理装置。
6. 前記少なくとも１つのプロセッサは、
   前記演奏情報に基づいて複数のコード進行のなかからいずれかのコード進行を決定し、
   決定された前記コード進行に応じて決定されているディスプレイ上の位置に前記イラストが表示されるように制御する、
   請求項２乃至５のいずれか１項に記載の情報処理装置。
7. 前記少なくとも１つのプロセッサは、
   受け付けた前記演奏情報から得られる、少なくともユーザにより複数の演奏操作子がそれぞれ操作されたタイミング、及び複数のベロシティ値、のいずれかに基づいて、演奏を評価し、
   評価結果に応じて前記イラストを画像処理し、
   画像処理されたイラストを含む前記画像の情報を前記出力インターフェースから出力する、
   請求項２乃至６のいずれか１項に記載の情報処理装置。
8. 前記少なくとも１つのプロセッサは、
   受け付けた前記演奏情報から得られる、少なくともユーザにより複数の演奏操作子がそれぞれ操作されたタイミング、及び複数のベロシティ値、のいずれかに基づいて、前記演奏を採点し、
   採点結果が或る基準に達しない場合に、輪郭線の内側の領域に色が塗られていない線画のイラストを含む前記画像の情報を前記出力インターフェースから出力し、採点結果が或る基準に達する場合に、前記輪郭線の内側の領域に色が塗られているイラストを含む前記画像の情報を前記出力インターフェースから出力する、
   請求項７に記載の情報処理装置。
9. 前記少なくとも１つのプロセッサは、
   採点結果が或る基準に達するまでは、基準色を前記背景色として有する前記画像の情報を前記出力インターフェースから出力し、前記採点結果が前記或る基準に達した後に、前記曲の調性に基づいて決定された前記背景色を有する前記画像の情報を前記出力インターフェースから出力する、
   請求項８に記載の情報処理装置。
10. 前記少なくとも１つのプロセッサは、
    受け付けた前記演奏情報に基づいて演奏を採点し、
    前記採点結果は、メモリ内に予め記憶されている正解を示すデータと対比する相対的な採点手法に基づかず、リアルタイム演奏において決定される各区間に含まれる演奏情報のみで評価する絶対的な採点手法に基づいている、
    ことを特徴とする請求項８または９に記載の情報処理装置。
11. 入力インターフェースと、出力インターフェースと、を有する情報処理装置のコンピュータに、
    前記入力インターフェースから演奏情報の入力を受け付けさせ、
    受け付けた前記演奏情報に含まれる音高情報に基づいて曲の調性を判定させ、
    判定された前記曲の調性に基づいて背景色を決定させ、
    決定された前記背景色を有する画像の情報を前記出力インターフェースから出力させる、
    情報処理方法。
12. 入力インターフェースと、出力インターフェースと、を備えるコンピュータに、
    前記入力インターフェースから演奏情報の入力を受け付けさせ、
    受け付けた前記演奏情報に含まれる音高情報に基づいて曲の調性を判定させ、
    判定された前記曲の調性に基づいて背景色を決定させ、
    決定された前記背景色を有する画像の情報を前記出力インターフェースから出力させる、
    プログラム。