JP2022075704A - 情報処理装置、情報処理方法、情報処理プログラム、及び、電子楽器 - Google Patents

Abstract

【課題】例えば、演奏全体を視覚的に実感できる情報処理装置を提供する。【解決手段】本発明の情報処理装置ＴＢは、音高情報を含む演奏情報の入力を受付ける受付処理と、受付けた前記演奏情報に応じた第１画像を出力する第１画像出力処理と、受付けた前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定処理と、演奏が終了したと判断した場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力する第２画像出力処理と、を実行する制御部を備える。【選択図】図４

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム、及び、電子楽器に関する。

例えば、ＭＩＤＩ楽曲のような音楽の演奏に同期して踊り手（ダンサ）等の画像オブジェクトを動かし、音楽の曲想のみならず、楽音の進行に応じてこれと一体的に変化する動画像を生成することができるコンピュータグラフィックス動画像生成システムが知られている（特許文献１参照）。

特開平１１－２２４０８４号公報

ところで、単に演奏中にキャラクタを動的に出現させるだけでは、演奏全体としての状態を実感することが難しい。

本発明は、このような事情に鑑みなされたものであり、例えば、演奏全体を視覚的に実感できる情報処理装置を提供することを目的とする。

上記目的を達成するために、本発明の一実施形態である情報処理装置は、音高情報を含む演奏情報の入力を受付ける受付処理と、受付けた前記演奏情報に応じた第１画像を出力する第１画像出力処理と、受付けた前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定処理と、演奏が終了したと判断した場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力する第２画像出力処理と、を実行する制御部を備える。

本発明によれば、例えば、演奏全体を視覚的に実感できる情報処理装置を提供することができる。

本発明に係る第１実施形態の情報処理装置が電子楽器に接続された状態を示す図である。 本発明に係る第１実施形態の情報処理装置に接続されている電子楽器のブロック図である。 本発明に係る第１実施形態の情報処理装置のブロック図である。 本発明に係る第１実施形態の情報処理装置の動作を説明するためのフロー図である。 本発明に係る第１実施形態の第１画像で用いられるキャラクタ等を説明する図である。 本発明に係る第１実施形態の第１画像の出力前に加えられている動画としての演出を説明するための図である。 本発明に係る第１実施形態の第１画像の出力及びその後の動画としての演出を説明するための図である。 本発明に係る第１実施形態の第２画像の一例を示す図である。

（第１実施形態）
以下、添付図面を参照して、本発明に係る第１実施形態の情報処理装置ＴＢについて説明する。
図１は第１実施形態の情報処理装置ＴＢが電子楽器１に接続された状態を示す図であり、図２は第１実施形態の情報処理装置に接続されている電子楽器１のブロック図であり、図３は第１実施形態の情報処理装置ＴＢのブロック図である。

（電子楽器１）
図１に示すように、本実施形態の情報処理装置ＴＢが接続される電子楽器１は、例えば、電子ピアノ、シンセサイザーや電子オルガン等の電子鍵盤楽器である。
電子楽器１は、複数の鍵１０と、表示部２０と、操作部３０と、譜面台ＭＳと、を備えており、本実施形態では、譜面台ＭＳを利用して情報処理装置ＴＢが載置されている。
また、電子楽器１は、図２に示すように、発音部４０と、押鍵検出部５０と、ガイド部６０と、記憶部７０と、制御部８０と、通信部９０と、を備えている。

鍵１０は、演奏者が音高を指定する操作子であり、演奏者が鍵１０を押鍵及び離鍵することで、電子楽器１は、指定された音高に対応する音の発音及び消音を行う。

表示部２０は、例えば、タッチパネル付きの液晶モニタを有し、演奏者の操作部３０の操作に伴うメッセージの表示等を行う部分である。
なお、本実施形態では、表示部２０がタッチパネル機能を有しているため、表示部２０は、操作部３０の一端を担うことができるようになっている。

操作部３０は、演奏者が各種の設定等を行う操作ボタンを有し、音量調整等の各種の設定操作等を行うための部分である。

発音部４０は、音を出力する部分であり、ＳＰアンプ４１（スピーカーアンプ）と、スピーカー４２と、ＨＰアンプ４３（ヘッドホンアンプ）と、ヘッドホンのプラグを差し込むＨＰジャック４４（ヘッドホンジャック）と、ＨＰジャック４４にヘッドホンのプラグが差し込まれたことを検知するＨＰジャック挿入検出部４５と、を有している。

そして、ヘッドホンのプラグがＨＰジャック４４に挿入されると、ＨＰジャック挿入検出部４５がその挿入を検出して、音の出力がＨＰジャック側に行われ、逆に、ＨＰジャック挿入検出部４５がプラグの挿入を検知していないときには、音の出力がスピーカー４２側に行われる。

押鍵検出部５０は、鍵１０の押鍵及び離鍵を検知する部分であり、例えば、各鍵１０の下側にラバースイッチが設けられ、そのラバースイッチによって、押鍵及び離鍵が検出される。

ガイド部６０は、例えば、レッスンモード等が選択されたときに、演奏者の鍵１０の操作を視覚的にガイドするための部分である。
具体的には、ガイド部６０は、各鍵１０の下側に配置されたＬＥＤ６１と、そのＬＥＤ６１の点灯及び消灯等を制御するＬＥＤコントローラドライバ６２と、を備えており、鍵１０のＬＥＤ６１に対向する部分は、光が透過できるようにされている。

記憶部７０は、読み取り専用の記憶部であるＲＯＭ７１と、読み書きが可能な記憶部であるＲＡＭ７２と、を備えている。

ＲＯＭ７１は、例えば、制御部８０が実行する制御プログラム（例えば、レッスンモードプログラム用のプログラム等）や各種データテーブル等を記憶している。
ＲＡＭ７２は、それぞれの鍵１０に対応した楽音データ、楽曲データ等のデータが記憶される記憶領域であるとともに、演奏中に制御部８０が生成するデータや制御用プログラムを展開させるための一時記憶領域としても機能する。

制御部８０は、電子楽器１全体の制御を司る部分であり、制御ＬＳＩを備えている。
そして、制御部８０は、例えば、鍵１０の押鍵に応じて楽音を発音部４０から発音させる制御や鍵１０の離鍵に応じて発音部４０から発音されている楽音を消音する制御等を行う。

また、制御部８０は、レッスンモードが選択されている場合に、ＭＩＤＩデータに基づいて、演奏者の鍵１０の操作をガイドするように、ＬＥＤコントローラドライバ６２を介してＬＥＤ６１の点消灯を実行させる制御等も行う。

通信部９０は、外部機器との間で通信を行うための無線ユニットや有線ユニットを備えており、本実施形態では、情報処理装置ＴＢが有線接続されており、後ほど説明するように、情報処理装置ＴＢにデータの送信が行われる。
ただし、通信部９０は、送信機能だけを行うものに限定される必要はなく、受信機能を併せ持っていてもよい。

そして、上記で説明した各部（表示部２０、操作部３０、発音部４０、押鍵検出部５０、ガイド部６０、記憶部７０、制御部８０及び通信部９０）は、バス１００で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。

（情報処理装置ＴＢ）
次に、情報処理装置ＴＢについて説明する。
情報処理装置ＴＢは、本実施形態では、図１に示すように、タブレット型の携帯端末であり、後述するような画像を表示部ＴＢ２に表示させるためのアプリケーションがインストールされている。
ただし、情報処理装置ＴＢは、タブレット型の携帯端末に限定される必要はなく、ノートＰＣ等であってもよい。

また、情報処理装置ＴＢは、電子楽器１からＭＩＤＩコードを受信して曲データを再生させるシーケンサ等を備えていてもよい。

図３に示すように、情報処理装置ＴＢは、主に、操作部ＴＢ１と、表示部ＴＢ２と、通信部ＴＢ３と、音出力部ＴＢ４と、制御部ＴＢ５（ＣＰＵ）と、記憶部ＴＢ６と、を備えている。
操作部ＴＢ１は、例えば、電源のＯＮ／ＯＦＦを行うための電源スイッチ等のスイッチ類を含む。

表示部ＴＢ２は、タッチパネル付きの液晶モニタを有し、画像を表示できるとともに、タッチパネル機能を有しているため、操作部ＴＢ１の一端を担うことができるようになっている。

通信部ＴＢ３は、他の機器等との間で通信を行うための無線ユニットや有線ユニットを備えており、本実施形態では、先に説明したように、電子楽器１の通信部９０に有線接続され、後ほど説明するように、電子楽器１からのデータを受信する。
なお、通信部ＴＢ３は、受信機能だけを行うものに限定されず、送信機能を併せ持っていてもよいことは言うまでもない。

音出力部ＴＢ４は、音を出力する部分であり、スピーカーやイヤホンジャック等を有しており、ほぼ電子楽器１の発音部４０と同様の構成を有している。

制御部ＴＢ５は、情報処理装置ＴＢ全体の制御を司る部分であり、ＣＰＵを備え、記憶部ＴＢ６に記憶されている制御プログラムやインストールされたアプリケーションに従って、各種の処理等を実行する。

記憶部ＴＢ６は、読み取り専用の記憶部であるＲＯＭ（ＴＢ６１）と、読み書きが可能な記憶部であるＲＡＭ（ＴＢ６２）と、を備えている。

ＲＯＭ（ＴＢ６１）は、例えば、制御部ＴＢ５が実行する制御プログラムや各種データテーブル等を記憶している。
ＲＡＭ（ＴＢ６２）は、制御プログラムを動作させる上で必要なデータが記憶される記憶領域であるとともに、制御部ＴＢ５が生成するデータ、電子楽器１から送られたデータ、及び、アプリケーションを展開させるための一時記憶領域等としても機能する。

そして、上記で説明した各部（操作部ＴＢ１、表示部ＴＢ２、通信部ＴＢ３、音出力部ＴＢ４、制御部ＴＢ５及び記憶部ＴＢ６）は、バスＴＢ７で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。

次に、情報処理装置ＴＢの動作を説明するためのフロー図である図４等を参照しながら、より詳細な説明を行う。
なお、以下の説明では、情報処理装置ＴＢの通信部ＴＢ３と電子楽器１の通信部９０の間は、既に、有線接続されているものとし、また、これから説明するように、画像を表示部ＴＢ２に表示させるためのアプリケーションが起動されているものとする。

ユーザが、演奏のために、電子楽器１の鍵１０を押鍵すると、押鍵検出部５０によって鍵１０の押鍵が検出されることになる。
そして、鍵１０の押鍵が検出されると、電子楽器１の制御部８０（制御ＬＳＩ）は、その押鍵された鍵１０に対応する演奏情報（例えば、音高情報等（ノートナンバーやベロシティ等）を含むノートオン）を生成し、発音部４０から、その演奏情報に応じた音を発音させる制御を行う。

一方、ユーザが、押鍵していた鍵１０を離鍵すると、押鍵検出部５０によって鍵１０の離鍵が検出されることになる。
そして、鍵１０の離鍵が検出されると、電子楽器１の制御部８０は、その離鍵された鍵１０に対応する演奏情報（例えば、ノートオフ）を生成し、発音部４０から、その演奏情報に応じた音を消音させる制御を行う。

そして、この電子楽器１の制御部８０が生成する演奏情報は、電子楽器１の通信部９０から情報処理装置ＴＢの通信部ＴＢ３に送信される。

図４に示すように、情報処理装置ＴＢの制御部ＴＢ５（ＣＰＵ）は、電子楽器１から送信された演奏情報が情報処理装置ＴＢの通信部ＴＢ３で受信され、演奏情報の入力が有ったかを判定（ステップＳ１）し、演奏情報の入力がない場合（ステップＳ１：ＮＯ）、ステップＳ４に進み、制御部８０は、演奏終了判断処理を行う。

具体的には、制御部８０は、演奏情報の入力無しで所定の時間経過した場合（ステップＳ４：ＹＥＳ）、つまり、演奏情報の受付が或る時間検出されない場合、演奏が終了したものと判断し、ステップＳ５に進んで、後述する第２画像を表示部ＴＢ２に出力して表示する第２画像出力処理を行い、全体の処理を終了する。
また、伴奏データを自動再生し、メロディを演奏者に指定させる実施例に本発明を適用した場合には、伴奏データの自動再生が終了した時点で演奏が終了したものと判断して第２画像出力処理を行ってもよい。すなわち、制御部８０が、演奏者による演奏終了を判断する理由はどのような理由であってもよく、制御部８０が、演奏者による演奏終了を判断した時点で、第２画像出力処理が実行されればよい。

一方、制御部ＴＢ５は、演奏情報の入力無しで所定の時間経過していない場合（ステップＳ４：ＮＯ）、再び、ステップＳ１に進み、演奏情報の入力が有ったかを判定する。

そして、電子楽器１から送信された演奏情報が情報処理装置ＴＢの通信部ＴＢ３で受信されると（ステップＳ１：ＹＥＳ）、制御部ＴＢ５は、演奏情報の入力を受付ける受付処理を実行し、ステップＳ２の演奏判定処理を実行する。

具体的には、制御部ＴＢ５は、ステップＳ２の演奏判定処理として、受付けた演奏情報に基づき、例えば、調性（例えば、ハ長調～ロ短調の２４種類）の判定、コード種別（例えば、Ｍａｊｏｒ、ｍｉｎｏｒ、ｓｕｓ、ａｒｇ、ｄｉｍ、７ｔｈ等）の判定、及び、音名（例えば、ド、レ、ミ等）の判定等を行う。

ただし、演奏判定処理としては、調性の判定、コード種別の判定及び音名の判定のうちのいずれかを行うものとしてもよいし、逆に、それらに加え、例えば、シンコペーション、コード進行等と言ったものの判定を行うようにしてもよく、本実施形態の演奏判定処理として、具体的に、どのようなものが判定されているのか等の詳細については、次のステップＳ３のところで説明する。

なお、調性やコード種別等を判定する判定手法は、特に限定されるものではないが、例えば、特許第３２１１８３９号公報等に開示されている手法を用いることができ、音名は、演奏情報に含まれるノートナンバー等によって判定される。

制御部ＴＢ５は、演奏判定処理を終えると、ステップＳ３に進み、演奏情報を受付けたタイミングに合せて、演奏情報に応じた第１画像を表示部ＴＢ２に出力して表示する第１画像出力処理（ステップＳ３）を実行する。
なお、演奏情報を受付けたタイミングに合せてとは、時間的に同時を意味するものではなく、演奏情報を受付けるごとに、を意味する点に留意されたい。

本実施形態では、記憶部ＴＢ６に記憶されている基礎となる画像をコンピュータグラフィックス（ＣＧ）で加工して第１画像を作成して表示部ＴＢ２に表示させるようにしているが、表示部ＴＢ２に表示させる第１画像は、このような手法によるものに限定される必要はなく、演奏情報に応じた第１画像であればよい。

図５は、第１画像で用いられるキャラクタ等を説明する図である。
図５（Ａ）に示すように、メロディ部に対応するキャラクタ画像として、音名（音階）に応じた１２種類の花の画像が記憶部ＴＢ６に記憶されている。
なお、図５（Ａ）では、１２種類の花の画像のうちの３つについて示している。

したがって、演奏判定処理（ステップＳ２）で、受付けた演奏情報の音名（音階）、より詳細にはメロディに対応する音名（音階）が判定されると、その演奏情報に応じた第１画像に使用されるキャラクタとして、受付けた演奏情報の音名（音階）に応じた花の画像が選択される。

そして、制御部ＴＢ５は、その演奏情報に応じた第１画像として、その選択された花の画像を用いた第１画像を作成して表示部ＴＢ２に出力して表示する第１画像出力処理（ステップＳ３）を実行する。
なお、表示部ＴＢ２に出力して表示するときの状態については、後述する。

また、図５（Ｂ）に示すように、コード種別（例えば、Ｍａｊｏｒ、ｍｉｎｏｒ、ｓｕｓ、ａｒｇ、ｄｉｍ、７ｔｈ等）に対応するキャラクタ画像として、１０種類の葉の画像が記憶部ＴＢ６に記憶されている。
なお、図５（Ｂ）では、１０種類の葉の画像のうちの３つについて示している。

したがって、演奏判定処理（ステップＳ２）で、受付けた演奏情報のコード種別が判定されると、その演奏情報に応じた第１画像に使用されるキャラクタとして、受付けた演奏情報のコード種別に応じた葉の画像が選択される。

そして、制御部ＴＢ５は、その演奏情報に応じた第１画像として、その選択された葉の画像を用いた第１画像を作成して表示部ＴＢ２に出力して表示する第１画像出力処理（ステップＳ３）を実行する。
なお、表示部ＴＢ２に出力して表示するときの状態については、後述する。

また、演奏判定処理（ステップＳ２）で、受付けた演奏情報のベロシティ等（例えば、音量やビート等）を判定し、図５（Ｃ）に示すように、その演奏情報に応じた第１画像に使用されるキャラクタの大きさを選択している。

なお、図５（Ｃ）は、ベロシティが小さい（鍵１０の押鍵速度が遅く、弱い音（音量が小さい））状態のときに、キャラクタとしての花の画像の大きさが小さくされ、ベロシティが大きい（鍵１０の押鍵速度が速く、強い音（音量が大きい））状態のときに、キャラクタとしての花の画像の大きさが大きくされることを示したものであるが、葉の画像についても同様である。

したがって、制御部ＴＢ５が第１画像を作成して表示部ＴＢ２に出力して表示する第１画像出力処理（ステップＳ３）は、演奏情報のベロシティ情報に応じた大きさで第１画像を出力する処理になっている。

さらに、本実施形態では、演奏判定処理（ステップＳ２）で、受付けた演奏情報のシンコペーションと拍の規則性等も判定し、図５（Ｄ）に示すように、その演奏情報に応じた第１画像に使用されるキャラクタの状態を変化させるようにしている。

なお、図５（Ｄ）は、演奏判定処理（ステップＳ２）で、シンコペーションが判定されたり、拍の規則性が崩れていると判定されると、キャラクタとしての葉の画像の形状が崩れたもの（図５（Ｄ）の右側参照）になっていくように変化することを示したものになっている。

また、本実施形態では、演奏判定処理（ステップＳ２）で、受付けた演奏情報の拍の規則性、コード進行の正しさも判定し、図５（Ｅ）に示すように、その演奏情報に応じた第１画像に使用されるキャラクタの色の有無の状態（線図とするか色つきとするか）等も選択されるようになっている。

なお、図５（Ｅ）は、演奏判定処理（ステップＳ２）で、受付けた演奏情報の拍の規則性、コード進行の正しさが悪い場合にキャラクタとしての葉の画像が線図となり、逆に、良い場合に色つきになることを示したものになっている。

そして、上述したキャラクタは、図５（Ｆ）に示すように、コード進行に応じた１４種類（図５（Ｆ）では、そのうちの３つを示している。）の軌道パターンＰＳに応じて、情報処理装置ＴＢの表示部ＴＢ２に出現するように位置が決定され、制御部ＴＢ５は、その位置に合うようにキャラクタが適用した第１画像を作成して表示部ＴＢ２に出力して表示する第１画像出力処理（ステップＳ３）を実行する。

上述のように、演奏情報を受付けたタイミングに合せて、どのような第１画像が出力されることになるのかについて、図６及び図７に基づいて、第１画像の出力例を説明する。
なお、本例では、左手でメロディに対応する２つの「ド」、或る１つの「ド」と、その「ド」より１オクターブ高い「ド」に対応する鍵１０が同時に押鍵され、右手で、先の或る「ド」よりも２オクターブ高い「ド、ミ、ソ」（メジャーコード）に対応する鍵１０を同時に押鍵した場合について説明する。

また、本実施形態では、第１画像の出力前後に動画としての演出もあるため、それを含めて説明するが、必ずしも、そのような演出を行うことに限定されるものではなく、少なくとも第１画像が出力されればよい。
ただし、前後の演出が入ることで、演奏者等に対する視覚的な効果を増大させることができるため、前後の演出も行うようにすることが好ましい。

図６は、第１画像の出力前に加えられている動画としての演出を説明するための図である。
なお、動画としての演出は図６（Ａ）から図６（Ｄ）に向かって進行する。
また、図６（Ａ）から図６（Ｄ）は動画としての表示状態の一部を抜き出したものであり、その間にも出力される画像が多数存在する。

図７は、第１画像の出力及びその後の動画としての演出を説明するための図である。
なお、図７（Ａ）は第１画像が出力されたところを示す図であり、図７（Ｂ）及び図７（Ｃ）は、第１画像を出力した後の動画としての演出を示す図である。
図７においても、図６と同様に動画としての進行は、図７（Ａ）から図７（Ｃ）に向かって進行し、また、図７（Ａ）から図７（Ｃ）は、動画としての表示状態の一部を抜き出したものであり、その間にも出力される画像が多数存在する。
また、図６（Ａ）から図７（Ｃ）までの画面遷移の時間は、おおむね数秒（２秒又は３秒）程度である。

図６（Ａ）に示すように、制御部ＴＢ５は、第１画像を出力する前に、まず、押鍵された５つの鍵１０に対応して５枚の花びらのキャラクタを含む画像を表示部ＴＢ２に出力する。

具体的には、制御部ＴＢ５は、先に説明した、或る「ド」に対応する花びらを表示部ＴＢ２の上下方向の中央であって、最も左側に「赤色」に近い色で表示し、１オクターブ高い「ド」に対応した花びらを右側に「緑色」で表示する。

さらに、制御部ＴＢ５は、その緑色の花びらより右側に、２オクターブ高い「ド、ミ、ソ」に対応する３枚の花びらを連続するように緑色から順次青色に近い色に変化させて表示する。

なお、このときの色は、音高に応じて選択されており、低音である、或る「ド」に対応する花びらが赤色であるのに対して高音に近づくにつれて、花びらが青色になっていく。
つまり、本例では、２オクターブ高い「ド、ミ、ソ」に対応する花びらのうち、「ソ」に対応する最も右側の花びらが最も青色に近いものとなっている。

また、上記の説明で既に理解されたと思われるが、花びらが出現する左右方向の位置は音高に対応して選択されている。

次に、制御部ＴＢ５は、図６（Ｂ）に示すように、先ほどの５枚の花びらの位置に、花びらと同じ色で、花びらよりも大きい丸に加えて、その丸に先ほどの花びらを付属させたキャラクタを含む画像を表示部ＴＢ２に出力する。
これによって、どの鍵１０が押鍵されているのかがより見易い状態で表示されることになる。

さらに、制御部ＴＢ５は、図６（Ｃ）及び図６（Ｄ）に示すように、丸を小さくさせていき、最終的には丸を消滅させるとともに、花びらを大きくしていく動画となるように画像を順次表示部ＴＢ２に出力する。
なお、このときの花びら、及び、丸の色は先ほどと同じ色である。

そして、図７（Ａ）に示すように、制御部ＴＢ５は、受付けた演奏情報に応じた第１画像として作成された、メロディの「ド」に対応する花の画像、及び、コード種別（本例ではメジャーコード）に対応する葉の画像を用いた第１画像を表示部ＴＢ２に出力して表示する第１画像出力処理（ステップＳ３）を実行する。

なお、この第１画像での花のキャラクタの大きさや葉のキャラクタの大きさは、先に説明したように、ベロシティ情報等に基づいて決められている。
また、図７（Ａ）では、キャラクタ（花及び葉）が線図で描かれているが、演奏の進行に伴って、演奏判定処理（ステップＳ２）で判定される拍の規則性、コード進行の正しさ等に応じて、線図ではなく、色の付いたキャラクタになり、また、背景色も変化させるようにしてもよく、色の選択としては、演奏判定処理（ステップＳ２）で判定される音高、調性、コード種別等に応じて行われる。

例えば、調性に対応した色については、スクリャービン等によって提案されており、そのような色を背景色に採用してもよく、演奏判定処理（ステップＳ２）で、コード種別としてメジャーが多く判定されていれば、明るい色にしていく（明度をプラスいていく）等を行えばよい。

逆に、演奏判定処理（ステップＳ２）で、コード種別としてマイナーが多く判定されていれば、暗い色にしていく（明度をマイナスにしていく）等を行えばよい。
ただし、このような色の処理は、あくまでも一例であり、これに限定されるものではない。

そして、図７（Ａ）に示した第１画像の出力の後、制御部ＴＢ５は、図７（Ｂ）及び図７（Ｃ）に示すように、その第１画像で使用されているキャラクタ（花及び葉）のサイズを小さくしていき、次の演奏情報に応じた次の第１画像の出力のときに、前に出力された第１画像のために、次の第１画像が見え難くなることがないようにする。

このように演奏中には、受付けた演奏情報に応じた第１画像が次々に表示部ＴＢ２に表示され、演奏を盛り上げるようになっている。
なお、線図が続くことで、演奏者は旨く演奏できていないことがわかり、上達するにつれて、鮮やかな色が付いた画像となるため、このような表示部ＴＢ２への表示は、上達するように練習することの意欲をかきたてるものにもなる。

そして、ステップＳ３で出力された第１画像は、記憶部ＴＢ６に全て記憶されており、演奏が終了して、新しい演奏情報の入力がなくなると、ステップＳ４がＹＥＳとなる。
つまり、制御部ＴＢ５は、受付処理による演奏情報の受付が或る時間検出されない場合、演奏が終了したと判断する演奏終了判断処理を行い（ステップＳ４）、演奏終了判断処理で演奏が終了したと判断されると（ステップＳ４：ＹＥＳ）、ステップＳ５に進んで、演奏判定処理（ステップＳ２）により判定された結果に応じた第２画像を出力する第２画像出力処理を実行する。

本実施形態では、演奏判定処理（ステップＳ２）により判定された結果として作成された第１画像が出力順（演奏の進行順）に記憶部ＴＢ６に全て記憶されているため、制御部ＴＢ５は、それら全ての第１画像を用いて、演奏判定処理（ステップＳ２）により判定された結果に応じた第２画像を作成して、その第２画像を表示部ＴＢ２に出力して表示する第２画像出力処理（ステップＳ５）を実行し、一連の処理を終了する。

図８は、この第２画像の一例を示す図である。
図８に示すように、本実施形態の第２画像は、演奏の進行状況を示す五線譜（進行方向は、矢印で示す方向である。）が、渦巻状に描かれているとともに、その五線譜に沿って演奏中に出力された第１画像が配置されたものとなっている。

つまり、本実施形態では、第２画像出力処理（ステップＳ５）によって、第１画像出力処理（ステップＳ３）によりそれぞれ出力された第１画像を渦巻状に含む第２画像が出力されるものとなっている。
このように、演奏判定処理（ステップＳ２）により判定された結果に応じた第２画像が演奏の終了とともに表示されるため、演奏全体がどのようなものであったのかを演奏者等が視覚的に実感できる。

なお、上記実施形態では、第１画像及び第２画像に用いられるキャラクタが花及び葉であったが、これに限定される必要はなく、別のキャラクタを用いてもよい。
ただし、花や葉は、物悲しい情景や楽しい情景等、いろんな情景を表現し易いキャラクタであるため、物悲しい雰囲気の曲にも、楽しい雰囲気の曲にも合う画像を作成し易いため、いろんな曲に合せ易い良好なキャラクタといえる。

一方、上記では、実際に演奏者が鍵１０を操作して演奏している場合について、説明したが、電子楽器１は、ＭＩＤＩデータに基づく、自動演奏機能を備えているため、そのような自動演奏に対しても、情報処理装置ＴＢを適用するようにしてもよい。

この場合も、電子楽器１からは、演奏の進行に応じて、順次、演奏情報（ＭＩＤＩデータのＭＩＤＩコード）が情報処理装置ＴＢに送信されるため、制御部ＴＢ５が行う処理は、先の説明と基本的には変わらない。
ただし、演奏が終了するときには、演奏終了を告げるデータも送信されてくるため、先のステップＳ４の処理を受付処理による演奏情報の受付が終了した場合に演奏が終了したと判断する演奏終了判断処理としてもよい。

（第２実施形態）
第１実施形態では、情報処理装置ＴＢが電子楽器１とは別のタブレット型の携帯端末であったが、電子楽器１自体が情報処理装置を兼ねるものになっていてもよい。

そして、電子楽器１自体は演奏情報を生成するものであり、先ほどのように、音高情報を含む演奏情報の入力を受付ける受付処理ではなく、電子楽器１の制御部８０が、演奏者に押鍵された鍵１０に応じた音高情報を含む演奏情報を生成させる生成処理を行うことになる点が主に異なる点となる。
なお、電子楽器１自体は、自動演奏用のＭＩＤＩデータを有しており、自動演奏する場合には、生成処理は、ＭＩＤＩデータの各音に対応するＭＩＤＩコード（音高情報を含む演奏情報）を読み込む読込処理となり、詳細な説明は省略するが、この場合、以下に記載の「生成」を「読み込まれた」とすればよい。

このため、第１画像出力処理は、演奏情報が生成されたタイミングに合わせて、演奏情報に応じた第１画像を出力する第１画像出力処理となり、例えば、第１画像出力処理は、電子楽器１の表示部２０に第１画像を出力して表示する出力処理、又は、電子楽器１とは別の表示装置（テレビモニタやプロジェクタ等）に第１画像を電子楽器１の通信部９０を通じて出力する出力処理となる。

なお、第１画像出力処理が電子楽器１とは別の表示装置（テレビモニタやプロジェクタ等）に第１画像を電子楽器１の通信部９０を通じて出力する出力処理の場合、言うまでもないが、第１画像を電子楽器１とは別の表示装置（テレビモニタやプロジェクタ等）が表示するものとなる。

また、演奏判定処理は、生成された演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定処理となり、演奏終了判断処理は、演奏情報の生成の終了によって演奏が終了したと判断する演奏終了判断処理となる。

さらに、第２画像出力処理は、演奏判定処理により判定された結果に応じた第２画像を電子楽器１の表示部２０に出力して表示する出力処理、又は、電子楽器１とは別の表示装置（テレビモニタやプロジェクタ等）に第２画像を電子楽器１の通信部９０を通じて出力する出力処理となる。

なお、第２画像出力処理が電子楽器１とは別の表示装置（テレビモニタやプロジェクタ等）に第２画像を電子楽器１の通信部９０を通じて出力する出力処理である場合も、当然、第２画像を電子楽器１とは別の表示装置（テレビモニタやプロジェクタ等）が表示するものとなる。

そして、その他の点は、第１実施形態で説明したところと、実質的に変わるものではない。

一方、第２実施形態の変形例として、電子楽器１とは別の情報処理装置ＴＢが曲データ（ＭＩＤＩデータ）を記憶しており、自動演奏において、上記で説明した電子楽器１自体が情報処理装置を兼ねるものと同様の動作をするものであってもよい。
つまり、上記のＭＩＤＩデータの各音に対応するＭＩＤＩコード（音高情報を含む演奏情報）を読み込む読込処理の場合と同様であってもよい。

以上、具体的な実施形態に基づき、本発明の情報処理装置（情報処理装置ＴＢ及び情報処理装置としての電子楽器１）について説明してきたが、本発明は、上記の具体的な実施形態に限定されるものではない。
例えば、第１実施形態では、第１画像出力処理（ステップＳ３）及び第２画像出力処理（ステップＳ５）は、情報処理装置ＴＢ自身が備える表示部ＴＢ２に第１画像及び第２画像を出力して表示する出力処理になっていたが、これに限定される必要はない。

第１画像出力処理（ステップＳ３）及び第２画像出力処理（ステップＳ５）は、情報処理装置ＴＢの通信部ＴＢ３を介して接続される情報処理装置ＴＢとは異なる別の表示装置（テレビモニタやプロジェクタ等）に第１画像及び第２画像が出力される出力処理であってもよい。

この場合、第１画像や第２画像は、情報処理装置ＴＢとは異なる別の表示装置（テレビモニタやプロジェクタ等）が表示することになる。

このように、本発明は、具体的な実施形態に限定されるものではなく、本発明の技術的範囲には、本発明の目的が達成される範囲での様々な変形や改良などが含まれるものであり、そのことは当業者にとって特許請求の範囲の記載から明らかである。

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
＜請求項１＞
音高情報を含む演奏情報の入力を受付ける受付処理と、
受付けた前記演奏情報に応じた第１画像を出力する第１画像出力処理と、
受付けた前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定処理と、
演奏が終了したと判断した場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力する第２画像出力処理と、
を実行する制御部を備える情報処理装置。
＜請求項２＞
音高情報を含む演奏情報に応じた第１画像を出力する第１画像出力処理と、
前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定処理と、
演奏が終了したと判断した場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力する第２画像出力処理と、
を実行する制御部を備える情報処理装置。
＜請求項３＞
前記演奏情報はベロシティ情報を含み、
前記第１画像出力処理は、
前記第１画像を前記ベロシティ情報に応じた大きさで出力する、
ことを特徴とする請求項１に記載の情報処理装置。
＜請求項４＞
前記演奏判定処理により音名が判定された場合、前記第１画像出力処理によって、前記判定された音名に対応した前記第１画像が出力されることを特徴とする請求項１から請求項３のいずれか１項に記載の情報処理装置。
＜請求項５＞
前記演奏判定処理によりコード種別が判定された場合、前記第１画像出力処理によって、前記判定されたコード種別に対応した前記第１画像が出力されることを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理装置。
＜請求項６＞
前記第２画像出力処理によって、前記第１画像出力処理によりそれぞれ出力された第１画像を渦巻状に含む前記第２画像が出力されることを特徴とする請求項１から請求項５のいずれかに記載の情報処理装置。
＜請求項７＞
情報処理装置の情報処理方法であって、
音高情報を含む演奏情報の入力を受付ける受付ステップと、
受付けた前記演奏情報に応じた第１画像を出力する第１画像出力ステップと、
受付けた前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定ステップと、
演奏が終了したと判断した場合に、前記演奏判定ステップにより判定された結果に応じた第２画像を出力する第２画像出力ステップと、を少なくとも含む情報処理方法。
＜請求項８＞
情報処理装置の情報処理プログラムであって、
情報処理装置に対して、
音高情報を含む演奏情報の入力を受付させる受付処理と、
受付けられた前記演奏情報に含まれる前記音高情報が示す音高に応じた第１画像を出力させる第１画像出力処理と、
受付けられた前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定させる演奏判定処理と、
演奏が終了したと判断された場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力させる第２画像出力処理と、
を少なくとも実行させる情報処理プログラム。
＜請求項９＞
制御部と、
音高を指定する操作子と、
前記操作子により指定された音高に応じた楽音を発音する発音部と、を備え、
前記制御部が、
前記操作子により指定された音高を示す音高情報を含む演奏情報に応じた第１画像を出力する第１画像出力処理と、
前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定処理と、
演奏が終了したと判断した場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力する第２画像出力処理と、を少なくとも実行する電子楽器。

１ 電子楽器
１０ 鍵
２０ 表示部
３０ 操作部
４０ 発音部
４１ ＳＰアンプ
４２ スピーカー
４３ ＨＰアンプ
４４ ＨＰジャック
４５ ＨＰジャック挿入検出部
５０ 押鍵検出部
６０ ガイド部
６１ ＬＥＤ
６２ ＬＥＤコントローラドライバ
７０ 記憶部
７１ ＲＯＭ
７２ ＲＡＭ
８０ 制御部（制御ＬＳＩ）
９０ 通信部
１００ バス
ＭＳ 譜面台
ＴＢ 情報処理装置
ＴＢ１ 操作部
ＴＢ２ 表示部
ＴＢ３ 通信部
ＴＢ４ 音出力部
ＴＢ５ 制御部（ＣＰＵ）
ＴＢ６ 記憶部
ＴＢ６１ ＲＯＭ
ＴＢ６２ ＲＡＭ
ＴＢ７ バス
ＳＰ 軌道パターン

上記目的を達成するために、本発明の一実施形態である情報処理装置は、ユーザによる演奏中の或る１つのタイミングに応じた演奏情報に基づく第１画像を出力する第１画像出力処理と、前記ユーザによる前記演奏の終了を判定する判定処理と、前記判定処理により前記ユーザによる前記演奏が終了したと判定された後、前記ユーザの演奏中の異なる複数のタイミングに応じた演奏情報に基づく第２画像を出力する第２画像出力処理と、を実行する制御部を備える。

Claims (9)

1. 音高情報を含む演奏情報の入力を受付ける受付処理と、
   受付けた前記演奏情報に応じた第１画像を出力する第１画像出力処理と、
   受付けた前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定処理と、
   演奏が終了したと判断した場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力する第２画像出力処理と、
   を実行する制御部を備える情報処理装置。
2. 音高情報を含む演奏情報に応じた第１画像を出力する第１画像出力処理と、
   前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定処理と、
   演奏が終了したと判断した場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力する第２画像出力処理と、
   を実行する制御部を備える情報処理装置。
3. 前記演奏情報はベロシティ情報を含み、
   前記第１画像出力処理は、
   前記第１画像を前記ベロシティ情報に応じた大きさで出力する、
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記演奏判定処理により音名が判定された場合、前記第１画像出力処理によって、前記判定された音名に対応した前記第１画像が出力されることを特徴とする請求項１から請求項３のいずれか１項に記載の情報処理装置。
5. 前記演奏判定処理によりコード種別が判定された場合、前記第１画像出力処理によって、前記判定されたコード種別に対応した前記第１画像が出力されることを特徴とする請求項１から請求項４のいずれか１項に記載の情報処理装置。
6. 前記第２画像出力処理によって、前記第１画像出力処理によりそれぞれ出力された第１画像を渦巻状に含む前記第２画像が出力されることを特徴とする請求項１から請求項５のいずれかに記載の情報処理装置。
7. 情報処理装置の情報処理方法であって、
   音高情報を含む演奏情報の入力を受付ける受付ステップと、
   受付けた前記演奏情報に応じた第１画像を出力する第１画像出力ステップと、
   受付けた前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定ステップと、
   演奏が終了したと判断した場合に、前記演奏判定ステップにより判定された結果に応じた第２画像を出力する第２画像出力ステップと、を少なくとも含む情報処理方法。
8. 情報処理装置の情報処理プログラムであって、
   情報処理装置に対して、
   音高情報を含む演奏情報の入力を受付させる受付処理と、
   受付けられた前記演奏情報に含まれる前記音高情報が示す音高に応じた第１画像を出力させる第１画像出力処理と、
   受付けられた前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定させる演奏判定処理と、
   演奏が終了したと判断された場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力させる第２画像出力処理と、
   を少なくとも実行させる情報処理プログラム。
9. 制御部と、
   音高を指定する操作子と、
   前記操作子により指定された音高に応じた楽音を発音する発音部と、を備え、
   前記制御部が、
   前記操作子により指定された音高を示す音高情報を含む演奏情報に応じた第１画像を出力する第１画像出力処理と、
   前記演奏情報に基づいて、少なくとも調性、コード種別及び音名のいずれかを判定する演奏判定処理と、
   演奏が終了したと判断した場合に、前記演奏判定処理により判定された結果に応じた第２画像を出力する第２画像出力処理と、を少なくとも実行する電子楽器。

Images