JP2021099460A - プログラム、方法、電子機器、及び演奏データ表示システム - Google Patents

Abstract

【課題】演奏の視覚的な表現力に優れたプログラム、方法、電子機器、及び演奏データ表示システムを提供することを目的とする。【解決手段】プログラムは、情報処理装置のコンピュータに、取得される第１演奏データに基づいて判定できる情報に応じて、第１画像データを表示させ、第１演奏データの取得後に取得される第２演奏データが、設定された条件を満たすか否かを判定させ、設定された条件を満たすと判定された場合に、第２演奏データの取得後に取得される第３演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じであったとしても、前記第１画像データとは異なる態様の第２画像データを表示させる。【選択図】図９

Description

実施形態は、プログラム、方法、電子機器、及び演奏データ表示システムに関する。

例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）楽曲のような音楽の演奏に同期して踊り手（ダンサ）等の画像オブジェクトを動かし、音楽の曲想のみならず、楽音の進行に応じてこれと一体的に変化する動画像を生成することができるコンピュータグラフィックス動画像生成システムが知られている（特許文献１参照）。

特開平１１−２２４０８４号公報

特許文献１に開示されたコンピュータグラフィックス動画像生成システムでは、単に演奏中に踊り手を示すキャラクタを動的に出現させているだけなので、表現力が乏しいという問題がある。

本発明は、このような事情に鑑みなされたものであり、例えば、演奏の視覚的な表現力に優れたプログラム、方法、電子機器、及び演奏データ表示システムを提供することを目的とする。

実施形態に係るプログラムによれば、情報処理装置のコンピュータに、取得される第１演奏データに基づいて判定できる情報に応じて、第１画像データを表示させ、前記第１演奏データの取得後に取得される第２演奏データが、設定された条件を満たすか否かを判定させ、前記設定された条件を満たすと判定された場合に、前記第２演奏データの取得後に取得される第３演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じあったとしても、前記第１画像データとは異なる態様の第２画像データを表示させる。

本発明によれば、例えば、演奏の視覚的な表現力に優れたプログラム、方法、電子機器、及び演奏データ表示システムを提供することができる。

図１は、適用例に係るプログラムを含む演奏データ表示システムの一例を模式的に例示する図である。 図２は、実施形態に係る演奏データ表示システムの概要を示す図である。 図３は、実施形態に係る電子楽器の制御システムのハードウェアを示す図である。 図４は、実施形態に係る情報処理装置のハードウェアを示す図である。 図５は、ＲＯＭのテーブルに、記憶されているテーブルの一例を示す図である。 図６は、画像（キャラクタ）の表示例について示した図である。 図７は、ディスプレイ装置の表示部に表示されるリアルタイム画像における画像（キャラクタ）の軌道パターンの一例について示した図である。 図８は、画像決定部が生成する軌道パターンの一例である渦巻線を示す図である。 図９は、情報処理装置の動作を示すフローチャートである。 図１０は、ユーザが弾く譜面を示している。 図１１は、図９のステップＳ１００４にて、制御部が判定するための「設定された条件」の登録方法の一例を示したフローチャートである。 図１２は、図９のステップＳ１００４における「設定された条件」の判定方法の具体例を示すフローチャートである。 図１３は、ユーザが図１０における第２フレーズを弾いている場合における、リアルタイム画像を示している。 図１４は、ユーザが図１０における第３フレーズを弾いている場合における、リアルタイム画像を示している。 図１５は、ユーザが図１０に示す曲の演奏を終了した後の演奏後画像を示している。

以下、本発明の一側面に係る実施の形態（以下、「実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

＜０＞適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、適用例に係るプログラムを含む演奏データ表示システムの一例を模式的に例示する。演奏データ表示システムは、ユーザ（演奏者）の演奏（音楽）に合わせてリアルタイムに画像（絵）を描画することにより、ユーザの電子楽器の練習意欲を掻き立てることを想定している。

＜０−１＞適用例の概要
演奏データ表示システムの構成を説明する前に、演奏データ表示システムの概要について説明する。演奏データ表示システムは、例えばユーザの演奏を演奏データ（例えばＭＩＤＩデータ）として出力できる電子楽器等から受信した演奏データを解析し、ユーザの演奏を画像に変換する。例えば、演奏データには音名情報やコード種別情報は含まれておらず、演奏データに含まれるノートナンバー情報から音名情報やコード種別情報が判定できる。

＜０−２＞適用例の構成
図１を参照して、適用例の構成について説明する。図１は、適用例に係る演奏データ表示システムの構成の一例を示した図である。

図１に示すように、演奏データ表示システムは、電子楽器と、情報処理装置と、ディスプレイ装置と、を含む。

電子楽器は、ユーザの演奏を演奏データ（例えばＭＩＤＩデータ）に変換する。そして、その電子楽器は、演奏データを情報処理装置に出力する。

より具体的には、電子楽器は、ユーザによる第１演奏操作に応じて第１演奏データを生成するとともに、生成された第１演奏データを出力する。また、電子楽器は、ユーザによる第２演奏操作に応じて第２演奏データを生成するとともに、生成された第２演奏データを出力する。例えば第２演奏操作は、第１演奏操作に続く操作である。電子楽器は、ユーザによる第３演奏操作に応じて第３演奏データを生成するとともに、生成された第３演奏データを出力する。例えば第３演奏操作は、第２演奏操作に続く操作である。電子楽器は、例えば、キーボード、電子ピアノ、エレキギター、または電子バイオリン等である。ただし、電子楽器は、上述したものに限らず、実施の形態に応じて適宜選択されてよい。

情報処理装置は、受信した演奏データを解析し、画像データに変換する。より具体的には、情報処理装置は、取得される第１演奏データに基づいて判定できる情報（例えば、音名、コード種別等）に応じて、第１画像（キャラクタ）データを出力する。また、情報処理装置は、第１演奏データの取得後に取得される第２演奏データが、設定された条件を満たすか否かを判定し、設定された条件を満たすと判定された場合に、第２演奏データの取得後に取得される第３演奏データに基づいて判定できる情報（例えば、音名、コード種別等）が、たとえ第１演奏データに基づいて判定できる情報と同じあったとしても、第１画像データとは異なる態様の第２画像（キャラクタ）データを出力する。情報処理装置は、例えば、ＰＣ（パーソナルコンピュータ）である。なお、「設定」、または「登録」は、基本的には「記憶」と同様の意味である。また、「設定された条件」の具体例については後述する。

ディスプレイ装置は、ユーザの演奏に基づく画像を表示する。より具体的には、ディスプレイ装置は、情報処理装置から受信する画像データを表示部にて表示する。

＜０−３＞適用例の動作
次に、適用例に係る演奏データ表示システムの動作の一例について説明する。

ユーザが電子楽器を用いて演奏を開始すると、情報処理装置は演奏に対して音楽解析を行う。具体的には、情報処理装置は、演奏データに含まれる音名（またはコード）に応じて、第１画像グループ（例えば虫のキャラクタを複数含むキャラクタグループ）のなかに含まれる画像（例えばかぶとむしのキャラクタ）を決定し、設定された第１条件（例えばコード進行に応じた表示）に従った軌道に沿って、リアルタイムに描画する。これにより、ディスプレイ装置には、第１画像グループのなかに含まれる画像（キャラクタ）がリアルタイムに表示される。なお、ここでの「リアルタイム」とは、演奏のタイミングと画像（キャラクタ）の表示タイミングと、は必ずしも同タイミングである必要はない。また、演奏に合わせて画像（キャラクタ）が表示される画像を、例えばリアルタイム画像と記載しても良い。つまり、リアルタイム画像の中に、複数の画像（キャラクタ）が描画されることになる。リアルタイム画像の描画方法については後述する。

ユーザが電子楽器を演奏している最中に、情報処理装置内に設定（記憶、または登録）された条件を満たす演奏を行った場合、情報処理装置は第１画像グループ（例えば虫のキャラクタを複数含むキャラクタグループ）から第２画像グループ（例えば動物のキャラクタを複数含むキャラクタグループ）に切り換え、演奏データに含まれる音名（またはコード）に応じて、第２画像グループ（例えば動物のキャラクタを複数含むキャラクタグループ）のなかに含まれる画像（例えばきりんのキャラクタ）を決定し、設定された第１条件（例えばコード進行に応じた表示）に従った軌道に沿って、リアルタイムに描画する。これにより、ディスプレイ装置には、第２画像グループのなかに含まれる画像（キャラクタ）がリアルタイムに表示される。なお、画像グループを切り替えることを「描画設定変更」などとも記載する。

また、ユーザが電子楽器の演奏を終了した後、情報処理装置は設定された第２条件（例えば渦巻表示）に従って、ディスプレイ装置に画像データを表示させる。なお、このような画像を、例えば演奏後画像と記載しても良い。この演奏後画像としては、ユーザの演奏の始めから終わりまでに解析された画像（キャラクタ）が第２条件（例えば渦巻表示）に従って、描画される画像である。

＜０−４＞適用例の効果
以上のように、適用例に係る演奏データ表示システムによれば、ユーザが電子楽器を演奏している最中に、予め設定された条件を満たすことで、表示する画像のグループを変更できる。換言すると、適用例に係る演奏データ表示システムによれば、ユーザの演奏中に、演奏と無関係な特有な操作を行うことなく、画像に関する設定（描画設定）を適宜行う事ができる。そのため、演奏データ表示システムは、ユーザが演奏に集中したまま、表現力の高い画像を生成することができる。

＜１＞実施形態
＜１−１＞構成
＜１−１−１＞演奏データ表示システム
以下、図２を参照して、実施形態に係る演奏データ表示システムについて説明する。

図２は、実施形態に係る演奏データ表示システムの概要を示す図である。

図２に示すように、演奏データ表示システムは、例えば情報処理装置（電子機器）１と、電子楽器２と、スピーカ３と、ディスプレイ装置４と、を備えている。

＜１−１−２＞電子楽器
以下、図２及び図３を参照して、実施形態に係る電子楽器について説明する。図３は、実施形態に係る電子楽器の制御システムのハードウェアを示す図である。

図２及び図３に示すように、本実施形態の情報処理装置１が接続される電子楽器２は、例えば、電子ピアノ、シンセサイザーや電子オルガン等の電子鍵盤楽器である。

電子楽器２は、複数の鍵１１と、表示部２０と、操作部３０と、発音部４０と、を備えている。

また、電子楽器２は、図３に示すように、押鍵検出部５０と、記憶部６０と、制御部７０と、通信部８０と、を備えている。

鍵１１は、演奏者が音高を指定する操作子であり、演奏者が鍵１１を押鍵及び離鍵することで、電子楽器２は、指定された音高に対応する音の発音及び消音を行う。

表示部２０は、例えば、タッチパネル付きの液晶モニタを有し、演奏者の操作部３０の操作に伴うメッセージの表示等を行う部分である。

なお、本実施形態では、表示部２０がタッチパネル機能を有しているため、表示部２０は、操作部３０の一端を担うことができるようになっている。

操作部３０は、演奏者が各種の設定等を行う操作ボタンを有し、音量調整等の各種の設定操作等を行うための部分である。

発音部４０は、音を出力する部分であり、ＳＰアンプ４１（スピーカーアンプ）と、スピーカ４２と、ＨＰアンプ４３（ヘッドホンアンプ）と、スピーカ３（またはヘッドホン）のプラグを差し込むＨＰジャック４４（ヘッドホンジャック）と、ＨＰジャック４４にスピーカ３（またはヘッドホン）のプラグが差し込まれたことを検知するＨＰジャック挿入検出部４５と、を有している。

スピーカ３（またはヘッドホン）のプラグがＨＰジャック４４に挿入されると、ＨＰジャック挿入検出部４５がその挿入を検出して、音の出力がＨＰジャック側に行われ、逆に、ＨＰジャック挿入検出部４５がプラグの挿入を検知していないときには、音の出力がスピーカ４２側に行われる。

なお、スピーカ３の代わりに発音部４０を用いても良い。

押鍵検出部５０は、鍵１１の押鍵及び離鍵を検知する部分であり、例えば、各鍵１１の下側にラバースイッチが設けられ、そのラバースイッチによって、押鍵及び離鍵が検出される。

記憶部６０は、読み取り専用の記憶部であるＲＯＭ６１と、読み書きが可能な記憶部であるＲＡＭ６２と、を備えている。

ＲＯＭ６１は、例えば、制御部７０が実行する制御プログラム（例えば、レッスンモードプログラム用のプログラム等）や各種データテーブル等を記憶している。

ＲＡＭ６２は、それぞれの鍵１１に対応した楽音データ、楽曲データ等のデータが記憶される記憶領域であるとともに、演奏中に制御部７０が生成するデータや制御用プログラムを展開させるための一時記憶領域としても機能する。

制御部７０は、電子楽器２全体の制御を司る部分である。制御部７０は、例えばＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）である。

そして、制御部７０は、例えば、鍵１１の押鍵に応じて楽音を発音部４０から発音させる制御や鍵１１の離鍵に応じて発音部４０から発音されている楽音を消音する制御等を行う。

通信部８０は、外部機器との間で通信を行うための無線ユニットや有線ユニットを備えており、本実施形態では、情報処理装置１が有線接続されており、後ほど説明するように、情報処理装置１にデータの送信が行われる。

ただし、通信部８０は、送信機能だけを行うものに限定される必要はなく、受信機能を併せ持っていてもよい。

そして、上記で説明した各部（表示部２０、操作部３０、発音部４０、押鍵検出部５０、記憶部６０、制御部７０、及び通信部８０）は、バス１００で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。

＜１−１−３＞情報処理装置
続いて、図２及び図４を参照して、情報処理装置について説明する。図４は、実施形態に係る情報処理装置のハードウェアを示す図である。

情報処理装置１は、本実施形態では、図２に示すように、ＰＣであり、後述するような画像をディスプレイ装置４に表示させるためのアプリケーションがインストールされている。

ただし、情報処理装置１は、ＰＣに限定される必要はなく、タブレット型の携帯端末等であってもよい。

また、情報処理装置１は、電子楽器２からＭＩＤＩコードを受信して曲データを再生させるシーケンサ等を備えていてもよい。

図４に示すように、情報処理装置１は、主に、操作部１０１と、表示部１０２と、通信部１０３と、音出力部１０４と、制御部１０５と、記憶部１０６と、を備えている。

操作部１０１は、例えば、情報処理装置１の電源のＯＮ／ＯＦＦを行うための電源スイッチ等のスイッチ類を含む。

表示部１０２は、液晶モニタを有し、画像を表示できる。表示部１０２は、タッチパネル機能を有しても良い。その場合、表示部１０２は、操作部１０１の一端を担うことができる。なお、ディスプレイ装置４の代わりに表示部１０２を用いても良い。

通信部１０３は、他の機器等との間で通信を行うための無線ユニットや有線ユニットを備えている。通信部１０３は、例えば電子楽器２の通信部に有線接続され、電子楽器２からのデータを受信する。また、通信部１０３は、例えばディスプレイ装置４の通信部に有線接続され、ディスプレイ装置４にデータを送信する。

音出力部１０４は、音を出力する部分であり、スピーカやイヤホンジャック等を有している。

記憶部１０６は、読み取り専用の記憶部である読み書きが可能な記憶部であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０６１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０６２と、を備えている。

ＲＡＭ１０６１は、揮発性メモリを含み、制御プログラムを動作させる上で必要なデータが記憶される記憶領域であるとともに、制御部１０５が生成するデータ、電子楽器２から送られたデータ（音高情報を含む演奏情報）、及び、アプリケーションを展開させるための一時記憶領域等としても機能する。

ＲＯＭ１０６２は、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（登録商標）（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）といった不揮発性の半導体メモリであって、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。

ＲＯＭ１０６２は、プログラム１０６２１及びテーブル１０６２２を記憶する。プログラム１０６２１は、制御部１０５が各種処理を行うために使用する。テーブル１０６２２は、演奏情報と画像とを紐付けしたテーブルである。

制御部１０５は、情報処理装置１全体の制御を司る部分である。制御部１０５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備える。制御部１０５は、記憶部１０６のＲＯＭ１０６２に格納されたプログラム１０６２１を読み出し、記憶部１０６のＲＡＭ１０６１をワークエリアとして用いることにより、情報処理装置１を統括制御する。

次に、実施形態に係る情報処理装置１の制御部１０５の機能構成について説明する。制御部１０５は、ＲＯＭ１０６２に格納されたプログラム１０６２１を読み出して実行することにより、演奏判定部１０５１と、画像決定部１０５２と、画像情報出力部１０５３と、条件判定部１０５４と、演奏終了判定部１０５５と、条件登録部１０５６と、として機能する。なお、演奏判定部１０５１と、画像決定部１０５２と、画像情報出力部１０５３と、条件判定部１０５４と、演奏終了判定部１０５５と、条件登録部１０５６と、は、それぞれプログラムではなく、回路構成によって実現されても良い。

演奏判定部１０５１は、通信部１０３を介して電子楽器２から受け付けた演奏情報（演奏データ）に基づいて、曲の調性（例えば、ハ長調からロ短調の２４種類）、音名（例えば、ド、レ、ミ…）、コード種別（例えば、Ｍａｊｏｒ、Ｍｉｍｏｒ、Ｓｕｓ４、Ａｕｇ、Ｄｉｍ、７ｔｈ等）、ベロシティ値（ＭＩＤＩ規格において音の強弱を表す数値）、音長、シンコペーション、コード機能、及びコード進行を判定する。なお、曲の調性、音名、コード種別、ベロシティ値、音長、シンコペーション、コード機能、及びコード進行の判定方法は、どのようなものでも良い。

画像決定部１０５２は、電子楽器２から演奏情報を受け付ける毎に、演奏判定部１０５１により判定された情報に基づいて、画像グループ（キャラクタグループ）の中に含まれる何れかの画像データ（キャラクタ）を決定する。

ここで、図５を参照して、演奏判定部１０５１により判定された情報と、画像データとの関係について説明する。図５は、ＲＯＭ１０６２のテーブル１０６２２に、記憶されているテーブルの一例を示す図である。

図５に示すように、テーブル１０６２２には、例えば音名（ここでは、ド、レ、ミ、ファ、ソ、ラ、シの例）に対応して画像（キャラクタ）が設定された第１画像グループと、第２画像グループと、が記憶されている。第１画像グループと、第２画像グループの選択方法については後述する。また、テーブル１０６２２には、これに限らず、他の音名（例えば、ド♯等）や、コード種別に応じた画像も記憶されていて良い。例えば、第１画像グループと、第２画像グループと、においては、同じ音名であっても異なる態様の画像が割り当てられている。

例えば、画像決定部１０５２は、受信した演奏情報に含まれる音名が「ド」であると判定すると、テーブル１０６２２の第１画像グループの「蝶」の画像（キャラクタ）を決定する。

ここで、図６を参照して、画像（キャラクタ）の表示方法について説明する。図６は、画像（キャラクタ）の表示例について示した図である。

図６に示すように、テーブル１０６２２に記憶されている画像（キャラクタ）は、例えば、基本形である。画像決定部１０５２は、演奏情報に含まれるベロシティ値に基づいて、ディスプレイ装置４に表示する画像（キャラクタ）のサイズを決定する。基本形のサイズは高さＨＢ、幅ＷＢと決まっている。そして、例えば、ベロシティ値に基づいて、高さＨＢ、及び幅ＷＢのパーセンテージを変更することで、高さＨＣ、及び幅ＷＣへと変更する。また、画像決定部１０５２は、ランダムに画像（キャラクタ）の基本形をＲ度回転させたり、左右反転させたり、色を変更しても良い。なお、ここでは詳細に記載しないが、画像決定部１０５２は、ここに示さない情報に基づいて、サイズ、回転、反転、または色を適宜変更しても良い。

画像決定部１０５２は、リアルタイム画像を表示させる際において、演奏情報（例えばコード進行）に基づいて、ディスプレイ装置４の表示部において画像（キャラクタ）を配置する軌道パターン（第１条件）を決定する。軌道パターン（第１条件）は、例えばＲＯＭ１０６２に記憶されている。ここで、図７を参照して、画像（キャラクタ）を表示する際の軌道パターンの一例について説明する。図７は、ディスプレイ装置４の表示部４０１に表示されるリアルタイム画像における画像（キャラクタ）の軌道パターンの一例について示した図である。

図７に示すように、軌道パターンの一例としては、リアルタイム画像の上半分（１ｓｔ（Ｕ）を参照）においては、矢印Ａ１に沿った仮想の矢印上に画像（キャラクタ）が順に配置され、矢印Ａ１に続いて、リアルタイム画像の下半分（１ｓｔ（Ｌ）を参照）の矢印Ａ２に沿った仮想の矢印上に画像（キャラクタ）が順に配置される。なお、軌道パターンの仮想の矢印（Ａ１、Ａ２）上に各画像（キャラクタ）の少なくとも一部が重なるように、各画像（キャラクタ）が配置される。

画像決定部１０５２は、ユーザの演奏後にディスプレイ装置４に表示させるための演奏後画像の軌道パターン（第２条件）を生成する。画像決定部１０５２は、それぞれの演奏情報に対応付けた画像（キャラクタ）を配置する軌道パターン（第２条件）を生成する。画像決定部１０５２は、演奏判定部１０５１が算出した演奏時間に基づいて演奏の軌道パターン（第２条件）の長さを決定する。例えば、演奏時間が第１演奏時間長の場合の軌道パターン（第２条件）の長さである第１長と、演奏時間が第２演奏時間長の場合の軌道パターン（第２条件）の長さである第２長とについて、第１演奏時間長が第２演奏時間長よりも短い場合、第１長は第２長よりも短くなる。

図８を参照して、画像決定部１０５２が生成する軌道パターン（第２条件）の一例を説明する。図８は、画像決定部１０５２が生成する軌道パターン（第２条件）の一例である渦巻線を示す図である。

画像決定部１０５２は、演奏後画像を生成する際、図８に示すような矢印に沿った仮想の渦巻線上に画像（キャラクタ）が、「演奏の始め」から「演奏の終わり」に向かって順に配置される。

なお、例えば、「演奏の始め」の位置と、「演奏の終わり」の位置と、は固定され、演奏の時間が長くなるにつれて、渦巻線状の軌道パターン（第２条件）の長さが伸びる。

画像情報出力部１０５３は、画像決定部１０５２が生成した軌道パターン（第２条件）上に、演奏情報について対応付けた画像（キャラクタ）を配置してリアルタイム画像または演奏後画像を生成し、画像を表示するための情報である画像情報を生成する。

条件判定部１０５４は、通信部１０３を介して取得される演奏データが、設定された条件を満たすか否かを判定する。条件判定部１０５４は、通信部１０３を介して取得される演奏データが、設定された条件を満たすと判定する場合、その旨を、画像決定部１０５２に通知する。なお、この条件は、例えばＲＡＭ１０６１に設定（記憶）されている。

画像決定部１０５２は、条件判定部１０５４から、条件を満たしたという通知を受信すると、画像グループ（キャラクタグループ）を、第１画像グループから第２画像グループに切り替える。具体的には、画像決定部１０５２は、条件を満たしたと判定された演奏情報に続く演奏情報に関連し、且つ演奏判定部１０５１により判定された情報に基づいて、異なる画像グループ（例えば第２画像グループ）の中に含まれる何れかの画像データ（キャラクタ）を決定する。

演奏終了判定部１０５５は、少なくとも演奏情報の入力を或る時間受け付けないこと、及び通信部１０３を介して演奏終了を示す情報を受け付けたこと、のいずれかにより演奏が終了したか否かを判定する。

条件登録部１０５６は、条件判定部１０５４にて用いられ、ＲＡＭ１０６１に記憶されている条件を任意に変更することができる。

そして、上記で説明した各部（操作部１０１、表示部１０２、通信部１０３、音出力部１０４、制御部１０５及び記憶部１０６）は、バス１０７で通信可能に接続されており、各部間で必要なデータのやり取りが行えるようになっている。

＜１−１−４＞スピーカ
スピーカ３は、発音部４０は、音を出力する部分である。スピーカ３は、電子楽器２のＨＰジャック４４に接続することにより、ＨＰジャック４４から音の信号を受信し、音の出力を行う。

＜１−１−５＞ディスプレイ装置
ディスプレイ装置４は、表示部４０１として液晶モニタを有し、画像を表示できる。ディスプレイ装置４は、情報処理装置１の通信部１０３に有線接続され、情報処理装置１からのデータを受信する。そして、ディスプレイ装置４は、表示部４０１に、データに基づく画像を表示する。

＜１−２＞動作
＜１−２−１＞フローチャート
次に、図９を参照して、情報処理装置１の動作を説明する。図９は、情報処理装置１の動作を示すフローチャートである。

なお、以下の説明では、情報処理装置１の通信部１０３と電子楽器２の通信部８０の間は、接続されているものとする。また、これから説明するように、情報処理装置１の制御部１０５は、画像をディスプレイ装置４に表示させるためのアプリケーションを起動しているものとする。

ユーザが、演奏のために、電子楽器２の鍵１１を押鍵すると、押鍵検出部５０によって鍵１１の押鍵が検出されることになる。

そして、鍵１１の押鍵が検出されると、電子楽器２の制御部７０は、その押鍵された鍵１１に対応する演奏情報（例えば、音高情報等（ノートナンバーやベロシティ値等）を含むノートオン）を生成する。そして、電子楽器２の制御部７０は、スピーカ３（または発音部４０）から、その演奏情報に応じた音を発音させる制御を行う。

一方、ユーザが、押鍵していた鍵１１を離鍵すると、押鍵検出部５０によって鍵１１の離鍵が検出されることになる。

そして、鍵１１の離鍵が検出されると、電子楽器２の制御部７０は、その離鍵された鍵１１に対応する演奏情報（例えば、ノートオフ）を生成する。そして、電子楽器２の制御部７０は、スピーカ３（または発音部４０）から、その演奏情報に応じた音を消音させる制御を行う。

そして、この電子楽器２の制御部７０が生成する演奏情報は、電子楽器２の通信部８０から情報処理装置１の通信部１０３に送信される。

≪Ｓ１００１≫
図９に示すように、情報処理装置１の制御部１０５は、電子楽器２から送信された演奏情報が情報処理装置１の通信部１０３で受信され、演奏情報の入力が有ったかを判定（ステップＳ１００１）する。情報処理装置１の制御部１０５は、演奏情報の入力がない場合（ステップＳ１００１：ＮＯ）、ステップＳ１００６に進む。

≪Ｓ１００２≫
そして、電子楽器２から送信された演奏情報が情報処理装置１の通信部１０３で受信されると（ステップＳ１００１：ＹＥＳ）、情報処理装置１の制御部１０５は、演奏情報の入力を受付ける受付処理を実行し、ステップＳ１００２の演奏判定処理（音楽解析、または音楽解析処理と記載しても良い）を実行する。

具体的には、情報処理装置１の制御部１０５（演奏判定部１０５１）は、ステップＳ１００２の演奏判定処理として、受付けた演奏情報に基づき、例えば、曲の調性、音名、コード種別、ベロシティ値、音長、シンコペーション、コード機能、及びコード進行の判定等を行う。

ただし、ステップＳ１００２の演奏判定処理として、情報処理装置１の制御部１０５（演奏判定部１０５１）は、曲の調性、音名、コード種別、ベロシティ値、音長、シンコペーション、コード機能、及びコード進行の判定のうちのいずれかを行うものとしてもよい。

ステップＳ１００２の演奏判定処理として、具体的に、どのようなものが判定されているのか等の詳細については、次のステップＳ１００３のところで説明する。

≪Ｓ１００３≫
情報処理装置１の制御部１０５（画像決定部１０５２）は、ステップＳ１００２の演奏判定処理を終えると、ステップＳ１００３に進み、演奏情報を受付けたタイミングに合せて、演奏情報に応じたリアルタイム画像を生成する。そして、情報処理装置１の制御部１０５（画像情報出力部１０５３）は、ディスプレイ装置４に出力して表示するリアルタイム画像出力処理を実行する。

なお、上述した「演奏情報を受付けたタイミングに合せて」とは、時間的に同時を意味するものではなく、演奏情報を受付けるごとに、を意味する点に留意されたい。

本実施形態では、情報処理装置１の記憶部１０６に記憶されている基礎となる画像をコンピュータグラフィックス（ＣＧ）で加工してリアルタイム画像を作成してディスプレイ装置４に表示させるようにしているが、ディスプレイ装置４に表示させるリアルタイム画像は、このような手法によるものに限定される必要はなく、演奏情報に応じたリアルタイム画像であればよい。

≪Ｓ１００４≫
情報処理装置１の制御部１０５（条件判定部１０５４）は、演奏データが、設定された条件を満たすか否かを判定する。なお、この設定された条件は、例えば、ＲＡＭ１０６１に記憶されている。この設定された条件を満たすか否かを判定する例としては、ユーザが特定のフレーズをＲＡＭ１０６１等に登録（記憶）し、情報処理装置１の制御部１０５が、演奏情報に基づきＲＡＭ１０６１に登録された登録フレーズの演奏が行われたか否かを判定しても良い。なお、「フレーズ」とは、いくつかの音符からなる単位である。また、「フレーズ」は、複数のノート（またはノート番号）の集合を指しても良い。ノートとは、ＭＩＤＩの用語で、電子楽器２の鍵１１の番号（または音の高さ）を表す。また、この設定された条件を満たすか否かを判定する例としては、演奏中の曲が、転調したか否かを判定しても良い。また、この設定された条件を満たすか否かを判定する例としては、演奏中の曲のリズム（ＢＰＭの急激な変更、直近ベロシティ値の平均の急激な変更、拍子の変更、ブレイクの検出）が変わったか否かを判定しても良い。また、この設定された条件を満たすか否かを判定する例としては、ユーザが電子楽器２に付属されている図示しない特定のペダルを踏んだか否かを判定しても良い。また、この設定された条件を満たすか否かを判定する例としては、演奏中のフレーズが、直前のフレーズと比較して半音上がったか否かを判定しても良い。

≪Ｓ１００５≫
情報処理装置１の制御部１０５（画像決定部１０５２、及び画像情報出力部１０５３）は、演奏データが、設定された条件を満たすと判定する場合（Ｓ１００４：ＹＥＳ）、リアルタイム画像の描画設定を変更する。具体的には、情報処理装置１の制御部１０５（画像決定部１０５２、及び画像情報出力部１０５３）は、設定された条件を満たすと判定された演奏データの取得後に取得される演奏データに基づいて判定できる情報に応じてリアルタイム画像を生成する際に、画像グループを切り替え、異なる画像グループのなかに含まれるいずれかの画像データを表示させる。

≪Ｓ１００６≫
情報処理装置１の制御部１０５（演奏終了判定部１０５５）は、電子楽器２から送信された演奏情報が情報処理装置１の通信部１０３で受信されない場合（ステップＳ１００１：ＮＯ）、または演奏データが設定された条件を満たさないと判定する場合（Ｓ１００４：ＮＯ）、またはステップＳ１００５の後、演奏終了判定処理を行う。具体的には、情報処理装置１の制御部１０５は、演奏情報の入力無しで所定の時間経過するか否かを判定する。情報処理装置１の制御部１０５は、演奏情報の入力無しで所定の時間経過していない場合（ステップＳ１００６：ＮＯ）、再び、ステップＳ１００１に進み、演奏情報の入力が有ったか否かを判定する。

≪Ｓ１００７≫
情報処理装置１の制御部１０５（演奏終了判定部１０５５）は、演奏情報の入力無しで所定の時間経過した場合（ステップＳ１００６：ＹＥＳ）、つまり、演奏情報の受付が所定の時間検出されない場合、演奏が終了したものと判定する。情報処理装置１の制御部１０５（画像決定部１０５２、及び画像情報出力部１０５３）は、演奏が終了したものと判定する場合、ステップＳ１００７に進んで、演奏後画像をディスプレイ装置４に出力して表示する演奏後画像出力処理を行い、全体の処理を終了する。

また、伴奏データを自動再生し、メロディを演奏者に指定させる場合に本実施形態を適用した場合には、伴奏データの自動再生が終了した時点で演奏が終了したものと判定して演奏後画像出力処理を行ってもよい。すなわち、情報処理装置１の制御部１０５が、演奏者による演奏終了を判定する理由はどのような理由であってもよく、情報処理装置１の制御部１０５が、演奏者による演奏終了を判定した時点で、演奏後画像出力処理が実行されればよい。

一方、情報処理装置１の制御部１０５は、演奏情報の入力無しで所定の時間経過していない場合（ステップＳ１００６：ＮＯ）、再び、ステップＳ１００１に進み、演奏情報の入力が有ったか否かを判定する。

＜１−２−２＞具体例
次に、情報処理装置１の動作の具体例を説明する。

具体例では、例えば、ユーザが「エリーゼのために」を弾く場合において、曲の任意のフレーズで画像グループを切り替える場合について説明する。

＜１−２−２−１＞フレーズ
図１０を用いて、ユーザが画像グループを切り替えるフレーズについて説明する。図１０は、ユーザが弾く譜面を示している。

例えば、ユーザが「エリーゼのために」を弾く場合において、図１０に示す第３フレーズにて画像グループを切り替える場合、第３フレーズの直前のフレーズを第２フレーズとして、情報処理装置１に登録する。なお、「登録」とは、「記憶」と同様の意味である。また、第２フレーズよりも前のフレーズを第１フレーズとラベルする。

＜１−２−２−２＞登録方法
続いて、図１１を用いて、フレーズの登録方法について説明する。図１１は、図９のステップＳ１００４にて、情報処理装置１の制御部１０５が判定するための「設定された条件」の登録方法の一例を示したフローチャートである。ユーザが図１０に示した第３フレーズにて画像グループを切り替えるためには、第２フレーズを情報処理装置１に登録する必要がある。

≪Ｓ２００１≫
ユーザは、例えば情報処理装置１の表示部１０２に表示されたアプリケーションのメニュー画面から、登録ボタン（または登録アイコン）を押すことで、描画設定変更フレーズ登録の機能を選択する。描画設定変更フレーズ登録の機能は、例えば条件登録部１０５６で実行される。

≪Ｓ２００２≫
情報処理装置１の制御部１０５は、描画設定変更フレーズ登録の機能が選択されると、電子楽器２から送信された演奏情報が情報処理装置１の通信部１０３で受信され、演奏情報の入力が有ったかを判定（ステップＳ２００２）する。情報処理装置１の制御部１０５は、演奏情報の入力がない場合（ステップＳ２００２：ＮＯ）、ステップＳ２００４に進む。

≪Ｓ２００３≫
情報処理装置１の制御部１０５は、演奏情報の入力がある場合（ステップＳ２００２：ＹＥＳ）、演奏情報を情報処理装置１の記憶部１０６（例えばＲＡＭ１０６１）に記憶する。ＲＡＭ１０６１に記憶される演奏情報としては、例えば「ノート（またはノート番号）」である。

≪Ｓ２００４≫
情報処理装置１の制御部１０５は、「演奏情報なしで所定の時間が経過」したか否か、または「最大ノート数に到達」したか否かを判定する。最大ノート数とは、登録フレーズとして記憶できるノート数の最大値であり、適宜変更可能である。登録フレーズとは、ユーザによって登録された「フレーズ」の総称である。

情報処理装置１の制御部１０５は、「演奏情報なしで所定の時間が経過」していない、または「最大ノート数に到達」していない、と判定する場合（Ｓ２００４：ＮＯ）は、ステップＳ２００２を繰り返す。

≪Ｓ２００５≫
情報処理装置１の制御部１０５は、「演奏情報なしで所定の時間が経過」している、または「最大ノート数に到達」している、と判定する場合（Ｓ２００４：ＹＥＳ）は、ＲＡＭ１０６１に記憶された複数のノートを「フレーズ」としてＲＡＭ１０６１に登録（記憶）する。

そして、例えばユーザが画像グループを選択することで、情報処理装置１の制御部１０５は、ＲＡＭ１０６１に登録された「フレーズ」と、画像設定ファイルと、を関連付ける。換言すると、情報処理装置１の制御部１０５は、「フレーズ」を検出した時の画像グループを指定する。なお、「フレーズ」と、画像グループとの関連付け情報は、例えばＲＡＭ１０６１に記憶される。

＜１−２−２−３＞フレーズ検出方法
続いて、図１２を用いて、フレーズの検出方法について説明する。図１２は、図９のステップＳ１００４における「設定された条件」の判定方法の具体例を示すフローチャートである。フレーズの検出は、図９に示したステップＳ１００４にて行われる。

図９に示したステップＳ１００４においては、情報処理装置１の制御部１０５は、演奏データが、設定された条件を満たすか否かを判定する。本具体例では、設定された条件を満たすか否かを判定する際に、演奏データから設定されたフレーズの演奏が行われたものであるか否かを判定する。以下では、演奏データから設定されたフレーズの演奏が行われたものであるか否かを判定する場合における具体的なフローチャートについて説明する。

≪Ｓ３００１≫
情報処理装置１の制御部１０５は、入力された演奏情報に含まれるノートと、ＲＡＭ１０６１に記憶されている登録フレーズの１音目のノートと、が一致しているか否かを判定する。

≪Ｓ３００２≫
情報処理装置１の制御部１０５は、入力された演奏情報に含まれるノートと、ＲＡＭ１０６１に記憶されている登録フレーズの１音目のノートと、が一致していると判定する場合（Ｓ３００１：ＹＥＳ）、ＲＡＭ１０６１に記憶されている登録フレーズのノートが終了したか否かを判定する。
≪Ｓ３００３≫
情報処理装置１の制御部１０５は、ＲＡＭ１０６１に記憶されている登録フレーズのノートが終了したと判定する場合（Ｓ３００２：ＹＥＳ）、入力された演奏情報は、登録フレーズであると判定する。つまり、情報処理装置１の制御部１０５は、「フレーズ」を検出することとなる。

これにより、図９に示したステップＳ１００４においては、情報処理装置１の制御部１０５は、演奏データが、設定された条件を満たす（Ｓ１００４：ＹＥＳ）と判定することとなる。

≪Ｓ３００４≫
情報処理装置１の制御部１０５は、ＲＡＭ１０６１に記憶されている登録フレーズのノートが終了していないと判定する場合（Ｓ３００２：ＮＯ）、入力された演奏情報（ノート）と、登録フレーズのノートとの誤差（ノート番号の差）を計算する。なお、情報処理装置１の制御部１０５は、ステップＳ３００４を行う度に、誤差を累計する。このような累計を、例えば累計誤差等と記載する。

≪Ｓ３００５≫
情報処理装置１の制御部１０５は、ステップＳ３００４にて計算された累計誤差が、閾値よりも大きい（累計誤差＞閾値）か否かを判定する。この閾値とは、例えば、ＲＡＭ１０６１またはＲＯＭ１０６２に記憶され、適宜設定可能である。

例えば、ユーザが弾いたフレーズは登録フレーズではないが、たまたま登録フレーズと同じ音を含んでいる場合や、ユーザが登録フレーズを弾いているが、ミスしている場合がある。ユーザが弾いたフレーズは登録フレーズでない場合は、画像グループを切り替えるのは、ユーザが望んだ動作ではないので、好ましくない。そのため、情報処理装置１の制御部１０５は、ステップＳ３００５によって、ユーザが弾いたフレーズは登録フレーズでないと適切に判定する必要がある。また、ユーザが登録フレーズを弾いているにも関わらず、ミスしただけで登録フレーズでないと判定するのは、ユーザにとって酷である。演奏データ表示システムは、そもそもユーザの楽器の練習を支援することが目的の一つである。そのため、ユーザが登録フレーズを適切に弾けないことを想定する必要がある。そこで、情報処理装置１の制御部１０５は、ステップＳ３００５によって、ユーザが登録フレーズを弾こうとしたと適切に判定する必要がある。

≪Ｓ３００６≫
情報処理装置１の制御部１０５は、累計誤差が、閾値よりも大きいと判定しない場合（Ｓ３００５：ＮＯ）、登録フレーズの次のノートを選択する。そして、ステップＳ３００２に移行する。

≪Ｓ３００７≫
情報処理装置１の制御部１０５は、累計誤差が、閾値よりも大きいと判定する場合（Ｓ３００５：ＹＥＳ）、入力された演奏情報は、登録フレーズではない、と判定する。

これにより、図９に示したステップＳ１００４においては、情報処理装置１の制御部１０５は、演奏データが、設定された条件を満たさない（Ｓ１００４：ＮＯ）と判定することとなる。つまり、情報処理装置１の制御部１０５は、「フレーズ」を検出できなかったこととなる。

＜１−２−２−４＞リアルタイム画像の描画例
続いて、図１３及び図１４を用いて、ユーザが図１０における第２フレーズを弾き、その後第３フレーズを弾くことで、画像グループが切り替わる様子を説明する。図１３は、ユーザが図１０における第２フレーズを弾いている場合における、リアルタイム画像を示している。図１４は、ユーザが図１０における第３フレーズを弾いている場合における、リアルタイム画像を示している。ここでは、図１０に示す第２フレーズが、図１１に示す動作によって、ＲＡＭ１０６１に登録されているものとする。そして、情報処理装置１の制御部１０５は、図９及び図１２に示す動作を行う。また、ここでは、一例として、登録フレーズを弾くことで第１画像グループから２画像グループに切り替わる例について説明する。

図１３に示すように、ユーザが図１０における第２フレーズを弾く場合、情報処理装置１の制御部１０５は、リアルタイム画像として、第１画像グループに含まれる画像（虫のキャラクタ）をディスプレイ装置４に表示させる（図中のＢ１〜Ｂ１０参照）。この際、例えば、矢印Ａ１に沿って画像（虫のキャラクタ）が表示される。なお、情報処理装置１の制御部１０５は、リアルタイム画像を表示させつつ、図１２で説明した動作を行い、第２フレーズが登録フレーズであることを判定する。

ユーザが第２フレーズを弾くことにより、情報処理装置１の制御部１０５は、画像グループを、第１画像グループから第２画像グループに切り替える。図１４に示すように、ユーザが図１０における第３フレーズを弾く場合、情報処理装置１の制御部１０５は、リアルタイム画像として、第２画像グループに含まれる画像（動物のキャラクタ）をディスプレイ装置４に表示させる（図中のＣ１〜Ｃ１１参照）。この際、例えば、矢印Ａ２に沿って画像（動物のキャラクタ）が表示される。

このように、ユーザは、事前に画像グループを切り替えるフレーズを情報処理装置１に登録することで、情報処理装置１が登録フレーズを認識し、画像グループを切り替える。そのため、ユーザは、任意のタイミングで任意の画像（キャラクタ）を表示することができる。

＜１−２−２−５＞演奏後画像の描画例
続いて、図１５を用いて、ユーザが図１０に示す曲の演奏を終了した後の演奏後画像について説明する。図１５は、ユーザが図１０に示す曲の演奏を終了した後の演奏後画像を示している。ここでは、図１３及び図１４で説明した例と同様に、一例として、登録フレーズを弾くことで第１画像グループから２画像グループに切り替わる例について説明する。

情報処理装置１の制御部１０５は、ユーザが演奏を終了したと判定すると、演奏後画像をディスプレイ装置４に表示させる。 図１５に示すように、情報処理装置１の制御部１０５は、第２フレーズに対応する個所には第１グループの画像（虫のキャラクタ）を配置し（図中のＢ１〜Ｂ１０参照）、第３フレーズに対応する個所には第２グループの画像（動物のキャラクタ）を配置する（図中のＣ１〜Ｃ１１参照）。

これにより、上述した効果と同様の効果を得ることができる。

＜１−３＞効果
上述した実施形態によれば、ユーザの演奏（音楽）に合わせて画像を描く演奏データ表示システムにおいて、演奏データが、設定された条件を満たすと判定する場合、描画する画像に用いられる画像グループを切り替える。

例えば、ユーザの演奏（音楽）に合わせて画像を描く演奏データ表示システムは、ユーザの電子楽器の練習意欲を掻き立てることができる。そこで、更に、上述した実施形態を採用することにより、描画のために演奏と無関係な操作を行うことなく描画設定を変更することができる。そのため、描画のために演奏と無関係な特有の操作を行うことなく、描画表現の幅を広げることが出来るとともに、確実に表現変更の演出が可能となる。その結果、ユーザを演奏に集中させつつ、演奏によって描画される画像の表現力が向上することができる。これにより、ユーザの電子楽器の練習意欲を更に掻き立てることができる。

＜２＞その他
なお、上述した実施形態において、情報処理装置１の制御部１０５は、図９のステップＳ１００５における描画設定変更の際、画像グループの切り替えを行っている。しかし、これに限らず、例えば、「明るさの変更」、「画像（キャラクタ）のサイズの変更」、「背景色（リアルタイム画像、または演奏後画像の背景の色）や、画像（キャラクタ）の色テーブルの変更」、「特定の条件を満たす際に表示される画像（ボーナスキャラクタ）の種類の変更」、または「画像（キャラクタ）の動きを変更」等でも良い。なお、背景色（リアルタイム画像、または演奏後画像の背景の色）や、画像（キャラクタ）の色テーブルは、例えばＲＯＭ１０６２に記憶されている。また、特定の条件を満たす際に表示される画像（ボーナスキャラクタ）とは、例えば情報処理装置１の制御部１０５がユーザの演奏のリズムなどが安定していると判定する場合に、リアルタイム画像に表示される画像である。また、画像（キャラクタ）はアニメーション等で動いても良い。また、複数の画像グループにおいて、同じ画像（キャラクタ）を含んでいても良い。

また、上述した実施形態において、情報処理装置１の制御部１０５は、図９のステップＳ１００４において、演奏中の曲が、転調したか否かを判定しても良いと記載した。この場合、演奏開始直後は調判定の精度が低いので、演奏開始からある時間の間は、転調を検出することによる描画設定の変更は行わなくても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

なお、上記実施形態は、以下の付記を含むものである。

≪付記１≫
情報処理装置のコンピュータに、
取得される第１演奏データに基づいて判定できる情報に応じて、第１画像データを表示させ、
前記第１演奏データの取得後に取得される第２演奏データが、設定された条件を満たすか否かを判定させ、
前記設定された条件を満たすと判定された場合に、前記第２演奏データの取得後に取得される第３演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じであったとしても、前記第１画像データとは異なる態様の第２画像データを表示させる、
プログラム。

≪付記２≫
前記第１画像データは、第１画像グループのなかに含まれ、
前記第２画像データは、第２画像グループのなかに含まれ、
前記第１画像グループ及び前記第２画像グループのなかには、同じ画像データが含まれていてもよい、
付記１に記載のプログラム。

≪付記３≫
前記設定された条件を満たすと判定される場合は、少なくとも取得された前記第２演奏データから設定されたフレーズの演奏が行われたものであると判定される場合、転調したと判定される場合及び、リズムが変わったと判定される場合、のいずれかを含む、
付記１又は２に記載のプログラム。

≪付記４≫
前記判定できる情報は、少なくとも音名及び、コード種別のいずれかを含む、
付記１乃至３のいずれか一項に記載のプログラム。

≪付記５≫
演奏終了か否かを判定させ、
演奏終了と判定されない場合は、設定された第１条件に従って、画像データを表示させ、
演奏終了と判定された場合に、設定された第２条件に従って、画像データを表示させる
付記１乃至４のいずれか一項に記載のプログラム。

≪付記６≫
情報処理装置のコンピュータに、
取得される第１演奏データに基づいて判定できる情報に応じて、第１画像データを表示させ、
前記第１演奏データの取得後に取得される第２演奏データが、設定された条件を満たすか否かを判定させ、
前記設定された条件を満たすと判定された場合に、前記第２演奏データの取得後に取得される第３演奏データに基づいて判定できる情報、たとえ前記第１演奏データに基づいて判定できる情報と同じあったとしても、前記第１画像データとは異なる態様の第２画像データを表示させる、
方法。

≪付記７≫
ディスプレイ装置と、
プロセッサと、を含み、前記プロセッサが、
取得される第１演奏データに基づいて判定できる情報に応じて、第１画像データの前記ディスプレイ装置への表示を指示し、
前記第１演奏データの取得後に取得される第２演奏データが、設定された条件を満たすか否かを判定し、
前記設定された条件を満たすと判定された場合に、前記第２演奏データの取得後に取得される第３演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じであったとしても、前記第１画像データとは異なる態様の第２画像データの前記ディスプレイ装置への表示を指示する、
電子機器。

≪付記８≫
電子楽器と、ディスプレイ装置と、を備え、
前記電子楽器は、
ユーザによる第１演奏操作に応じて第１演奏データを生成するとともに、生成された前記第１演奏データを前記ディスプレイ装置に出力し、
ユーザによる第２演奏操作に応じて第２演奏データを生成するとともに、生成された前記第２演奏データを前記ディスプレイ装置に出力し、
ユーザによる第３演奏操作に応じて第３演奏データを生成するとともに、生成された前記第３演奏データを前記ディスプレイ装置に出力し、
前記ディスプレイ装置は、
取得される前記第１演奏データに基づいて判定できる情報に応じて、第１画像データを表示し、
前記第１演奏データの取得後に取得される前記第２演奏データが、設定された条件を満たすか否かを判定し、
前記設定された条件を満たすと判定された場合に、前記第２演奏データの取得後に取得される前記第３演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じであったとしても、前記第１画像データとは異なる態様の第２画像データを表示する、
演奏データ表示システム。

１…情報処理装置
２…電子楽器
３…スピーカ
４…ディスプレイ装置
１１…鍵
２０…表示部
３０…操作部
４０…発音部
４１…ＳＰアンプ
４２…スピーカ
４３…ＨＰアンプ
４４…ＨＰジャック
４５…ＨＰジャック挿入検出部
５０…押鍵検出部
６０…記憶部
６１…ＲＯＭ
６２…ＲＡＭ
７０…制御部
８０…通信部
１００…バス
１０１…操作部
１０２…表示部
１０３…通信部
１０４…音出力部
１０５…制御部
１０６…記憶部
１０７…バス
４０１…表示部
１０５１…演奏判定部
１０５２…画像決定部
１０５３…画像情報出力部
１０５４…条件判定部
１０５５…演奏終了判定部
１０５６…条件登録部
１０６１…ＲＡＭ
１０６２…ＲＯＭ
１０６２１…プログラム
１０６２２…テーブル

Claims (8)

1. 情報処理装置のコンピュータに、
   取得される第１演奏データに基づいて判定できる情報に応じて、第１画像データを表示させ、
   前記第１演奏データの取得後に取得される第２演奏データが、設定された条件を満たすか否かを判定させ、
   前記設定された条件を満たすと判定された場合に、前記第２演奏データの取得後に取得される第３演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じであったとしても、前記第１画像データとは異なる態様の第２画像データを表示させる、
   プログラム。
2. 前記第１画像データは、第１画像グループのなかに含まれ、
   前記第２画像データは、第２画像グループのなかに含まれ、
   前記第１画像グループ及び前記第２画像グループのなかには、同じ画像データが含まれていてもよい、
   請求項１に記載のプログラム。
3. 前記設定された条件を満たすと判定される場合は、少なくとも取得された前記第２演奏データから設定されたフレーズの演奏が行われたものであると判定される場合、転調したと判定される場合及び、リズムが変わったと判定される場合、のいずれかを含む、
   請求項１又は２に記載のプログラム。
4. 前記判定できる情報は、少なくとも音名及び、コード種別のいずれかを含む、
   請求項１乃至３のいずれか一項に記載のプログラム。
5. 演奏終了か否かを判定させ、
   演奏終了と判定されない場合は、設定された第１条件に従って、画像データを表示させ、
   演奏終了と判定された場合に、設定された第２条件に従って、画像データを表示させる
   請求項１乃至４のいずれか一項に記載のプログラム。
6. 情報処理装置のコンピュータに、
   取得される第１演奏データに基づいて判定できる情報に応じて、第１画像データを表示させ、
   前記第１演奏データの取得後に取得される第２演奏データが、設定された条件を満たすか否かを判定させ、
   前記設定された条件を満たすと判定された場合に、前記第２演奏データの取得後に取得される第３演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じあったとしても、前記第１画像データとは異なる態様の第２画像データを表示させる、
   方法。
7. ディスプレイ装置と、
   プロセッサと、を含み、前記プロセッサが、
   取得される第１演奏データに基づいて判定できる情報に応じて、第１画像データの前記ディスプレイ装置への表示を指示し、
   前記第１演奏データの取得後に取得される第２演奏データが、設定された条件を満たすか否かを判定し、
   前記設定された条件を満たすと判定された場合に、前記第２演奏データの取得後に取得される第３演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じであったとしても、前記第１画像データとは異なる態様の第２画像データの前記ディスプレイ装置への表示を指示する、
   電子機器。
8. 電子楽器と、ディスプレイ装置と、を備え、
   前記電子楽器は、
   ユーザによる第１演奏操作に応じて第１演奏データを生成するとともに、生成された前記第１演奏データを前記ディスプレイ装置に出力し、
   ユーザによる第２演奏操作に応じて第２演奏データを生成するとともに、生成された前記第２演奏データを前記ディスプレイ装置に出力し、
   ユーザによる第３演奏操作に応じて第３演奏データを生成するとともに、生成された前記第３演奏データを前記ディスプレイ装置に出力し、
   前記ディスプレイ装置は、
   取得される前記第１演奏データに基づいて判定できる情報に応じて、第１画像データを表示し、
   前記第１演奏データの取得後に取得される前記第２演奏データが、設定された条件を満たすか否かを判定し、
   前記設定された条件を満たすと判定された場合に、前記第２演奏データの取得後に取得される前記第３演奏データに基づいて判定できる情報が、たとえ前記第１演奏データに基づいて判定できる情報と同じであったとしても、前記第１画像データとは異なる態様の第２画像データを表示する、
   演奏データ表示システム。

Images