JP2015138160A - キャラクタ演奏画像生成装置、キャラクタ演奏画像生成方法、キャラクタ演奏システム及びキャラクタ演奏方法 - Google Patents

Abstract

【課題】 コンピュータに所望の音楽情報を入力するだけで、キャラクタが音楽情報の出力に合わせた楽器演奏動作をするように表示させるための画像情報を生成することができるキャラクタ演奏画像生成装置を提供する。【解決手段】 キャラクタ演奏画像生成装置１０は、音楽演奏部２０及びキャラクタ動作部３０を備えている。音楽演奏部２０は、音楽情報に基づいて、複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報と、該演奏情報に同期してキャラクタが楽器演奏動作または歌唱動作を行っているように表示する動作情報とを生成し、該演奏情報に基づいて演奏命令を出力する。キャラクタ動作部３０は、動作情報に基づいて、キャラクタが楽器を演奏する音楽演奏画像情報を生成し、生成した音楽演奏画像情報を連続して表示する表示信号を表示部１２０に出力する。【選択図】 図２

Description

本発明は、コンピュータを用いて実現される仮想空間内のキャラクタが、音楽情報に合わせた楽器演奏動作または歌唱動作をするように表示させるための画像情報を生成するキャラクタ演奏画像生成装置及びキャラクタ演奏画像生成方法、並びに、キャラクタが音楽情報に合わせた楽器演奏動作または歌唱動作をするように表示するキャラクタ演奏システム及びキャラクタ演奏方法に関する。

ネットワーク等を介して供給される音楽情報をゲーム装置やカラオケ再生装置等のコンピュータにダウンロードして、該コンピュータに内蔵されているシンセサイザ等の楽音合成出力部や、該コンピュータと通信可能な楽音合成出力部から該音楽情報を再生（音楽を出力）する音楽再生システムが提案されている。

また、娯楽性をより高めるために、例えば、カラオケ再生システムにおける音楽情報の再生時に、表示画面上に歌の歌詞を表示させたり、歌のイメージに合わせた映像を表示させたりする音楽再生システムや、コンピュータを用いて実現される仮想空間内のキャラクタに対して、音楽に合わせてダンスを踊らせたり、歌を歌わせたりするシステム等が提案されている。

例えば、引用文献１には、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データファイルに、画像や文字等の画面表示データを内包して、楽曲データ（音楽情報）と画面表示データとの出力タイミングが一致するように予め生成されて、記憶部に記憶されているＭＩＤＩデータファイルを用いて、シーケンス制御によってＭＩＤＩデータファイルの中から、楽曲データと画面表示データを順次読み出しながら、各データの出力タイミングに該データを出力させて、音楽出力と画面表示とのタイミングを一致させるタイミング同期システムが開示されている。また、引用文献２には、歌声合成にあわせて人工的なキャラクタを画面上に表示し、キャラクタが歌を歌っているように思わせることにより、歌声合成音の不自然さを軽減することができるカラオケ再生装置が開示されている。

特開２００１−９２４７２号公報 特開２０００−２４２２８２号公報

しかしながら、特許文献１に開示されているタイミング同期システムでは、音楽出力と画面表示とのタイミングが一致するように予め作成されている楽曲データと画面表示データとから構成されるＭＩＤＩデータファイルが、該システムの記憶部に記憶されている構成になっているため、ユーザ自身がネットワークからダウンロードした楽曲やユーザ自身が作曲した楽曲等の音楽出力に合わせて画面表示をさせることはできなかった。

また、特許文献２に開示されているカラオケ再生装置においても、楽曲に合わせてキャラクタに歌を歌わせるための動作命令データが楽曲毎に予め作成されて、該動作命令データが該楽曲データと組み合わされた状態で楽曲データメモリに格納されている。そのため、ユーザ自身がネットワークからダウンロードした楽曲や、ユーザ自身が作曲した楽曲等については、該楽曲の音楽出力に合わせてキャラクタに歌を歌わせる動作をさせることができなかった。

本発明は、パソコン、携帯ゲーム装置、または携帯電話等のコンピュータに所望の音楽情報を入力するだけで、キャラクタがその音楽情報の出力に合わせた楽器演奏動作または歌唱動作をするように表示させるための画像情報を生成することができるキャラクタ演奏画像生成装置及びキャラクタ演奏画像生成方法、並びに、キャラクタが音楽情報に合わせた楽器演奏動作または歌唱動作をするように表示することができる歌唱動作をする表示させることができるキャラクタ演奏システム及びキャラクタ演奏方法を提供することを目的とする。

上述した従来の問題点を解決すべく下記の発明を提供する。
本発明の第１の態様にかかるキャラクタ演奏画像生成装置は、コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報の中の複数の楽器の演奏または歌唱のいずれかの動作を表示するための画像情報を生成するキャラクタ演奏画像生成装置であって、
入力された前記音楽情報を記憶する記憶手段と、
前記記憶手段によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報と、該演奏情報に同期して前記キャラクタがそれぞれ楽器演奏動作または歌唱動作を行っているように表示する動作情報とを生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する音楽演奏手段と、
前記音楽演奏手段によって生成された前記動作情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力するキャラクタ動作手段と、
を備えていることを特徴とする。

本発明の第２の態様にかかるキャラクタ演奏画像生成装置は、前記音楽演奏手段が、
前記複数のキャラクタがそれぞれ演奏する各楽器または歌唱の演奏イベント情報と該演奏イベント情報に対応した前記演奏命令を出力するタイミングを示す演奏時間情報とを有した前記演奏情報を、前記音楽情報に基づいて生成し、前記演奏イベント情報に同期して前記キャラクタが楽器演奏動作または歌唱動作を行なっているように表示する動作イベント情報と該動作イベント情報に対応した前記表示信号を出力するタイミングを示す動作時間情報とを有した前記動作情報を、前記演奏情報に基づいて生成するデータ生成手段と、
前記データ生成手段によって生成された前記演奏情報の前記演奏イベント情報に対応した前記演奏命令を、前記演奏イベント情報の前記演奏時間情報に従って、順次出力する発音制御手段と、
を備え、
前記キャラクタ動作手段は、前記データ生成手段によって生成された前記動作情報の前記動作イベント情報に基づいて前記音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する該動作イベント情報に対応した前記表示信号を、該動作イベント情報の前記動作時間情報に従って、順次出力することを特徴とする。

本発明の第３の態様にかかるキャラクタ演奏画像生成装置は、前記データ生成手段が、前記楽器または歌唱のそれぞれの前記演奏イベント情報に基づいた前記発音制御手段からの前記演奏命令の出力によって発音される発音タイミングと、該演奏イベント情報に対応した前記動作イベント情報に基づいた前記キャラクタ動作手段からの前記表示信号の出力によって前記キャラクタの楽器演奏または歌唱の発音時動作が表示される発音時動作タイミングとが一致するように、前記演奏イベント情報の前記演奏時間情報と、該演奏イベント情報に対応した前記動作イベント情報の前記動作時間情報と、を生成することを特徴とする。

本発明の第４の態様にかかるキャラクタ演奏画像生成装置は、前記データ生成手段が、
所定の基準タイミングから前記演奏イベント情報に対応した前記演奏命令を出力するタイミングまでの時間を該演奏イベント情報の前記演奏時間情報として、すべての前記演奏イベント情報の前記演奏時間情報を算出し、算出した前記演奏イベント情報の前記演奏時間情報に基づいて、時系列にすべての前記演奏イベント情報に対応した前記演奏命令の出力を管理する前記演奏情報を生成し、
前記所定の基準タイミングから前記動作イベント情報に対応した前記表示信号を出力するタイミングまでの時間を該動作イベント情報の前記動作間情報として、すべての前記動作イベント情報の前記動作時間情報を算出し、算出した前記動作イベント情報の前記動作時間情報に基づいて、時系列にすべての前記動作イベント情報に対応した前記表示信号の出力を管理する前記動作情報を生成し、
前記動作時間情報の算出の際には、前記演奏イベント情報の前記演奏時間情報をΔＴ１とし、該演奏イベント情報に対応する前記動作イベント情報の前記動作時間情報をΔＴ２とし、該動作イベント情報に対応した前記キャラクタの演奏動作の動作開始から発音時動作までの時間を発音到達時間Δｔとしたとき、
前記動作時間情報ΔＴ２が、
ΔＴ２＝ΔＴ１−Δｔ
を満たすように算出されることを特徴とする。

本発明の第５の態様にかかるキャラクタ演奏画像生成装置は、前記キャラクタに楽器演奏動作または歌唱動作をさせる演奏環境状況に応じた前記キャラクタの複数の環境動作画像情報を含んでなる環境動作画像情報群と、前記キャラクタが楽器演奏動作または歌唱動作をするための複数の前記動作イベント情報に対応した前記キャラクタの複数の演奏動作画像情報を含んでなる演奏動作画像情報群と、が予め記憶されており、
前記キャラクタ動作手段は、記憶された前記環境動作画像情報群の中から指定された演奏環境に基づいて取り出した複数の環境動作画像情報と、記憶された前記演奏動作画像情報群の中から前記動作情報の前記動作イベント情報に基づいて取り出した複数の演奏動作画像情報とを合成して複数の音楽演奏画像情報を生成し、生成した前記音楽演奏画像情報を連続して表示する前記表示信号を、該動作イベント情報の前記動作時間情報に従って、順次出力することを特徴とする。

本発明の第６の態様にかかるキャラクタ演奏画像生成装置は、前記音楽演奏画像情報を連続して表示される動画が、前記動作イベント情報に応じて、前記キャラクタの動作が、現在の動作状態から前記楽器毎に予め設定されている基本位置状態に移行し、該基本位置状態から発音時動作状態に移行する動画であることを特徴とする。

本発明の第７の態様にかかるキャラクタ演奏画像生成装置は、前記音楽情報が、ＭＩＤＩ形式のデータであることを特徴とする。

本発明の第１の態様にかかるキャラクタ演奏画像生成方法は、コンピュータに入力させた音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報の中の複数の楽器の演奏または歌唱のいずれかの動作を表示するための画像情報を生成するキャラクタ演奏画像生成方法であって、
（ａ）入力された前記音楽情報を記憶する工程と、
（ｂ）前記工程（ａ）によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報と、該演奏情報に同期して前記キャラクタがそれぞれ楽器演奏動作または歌唱動作を行っているように表示する動作情報とを生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する工程と、
（ｃ）前記工程（ｂ）によって生成された前記動作情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力する工程と、
を備え、
前記工程（ａ）乃至（ｃ）の各工程を実現する処理を前記コンピュータに実行させることを特徴とする。

本発明の第２の態様にかかるキャラクタ演奏画像生成方法は、前記工程（ｂ）が、
（ｂ１）前記複数のキャラクタがそれぞれ演奏する各楽器または歌唱の演奏イベント情報と該演奏イベント情報に対応した前記演奏命令を出力するタイミングを示す演奏時間情報とを有した前記演奏情報を、前記音楽情報に基づいて生成し、前記演奏イベント情報に同期して前記キャラクタが楽器演奏動作または歌唱動作を行なっているように表示する動作イベント情報と該動作イベント情報に対応した前記表示信号を出力するタイミングを示す動作時間情報とを有した前記動作情報を、前記演奏情報に基づいて生成する工程と、
（ｂ２）前記工程（ｂ１）によって生成された前記演奏情報の前記演奏イベント情報に対応した前記演奏命令を、該演奏イベント情報の前記演奏時間情報に従って、順次出力する工程と、
を備え、
前記工程（ｃ）は、前記工程（ｂ１）によって生成された前記動作情報の前記動作イベント情報に基づいて前記音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する該動作イベント情報に対応した前記表示信号を、該動作イベント情報の前記動作時間情報に従って、順次出力することを特徴とする。

本発明の第３の態様にかかるキャラクタ演奏画像生成方法は、前記工程（ｂ１）が、前記楽器または歌唱のそれぞれの前記演奏イベント情報に基づいた前記工程（ｂ２）の前記演奏命令の出力によって発音される発音タイミングと、該演奏イベント情報に対応した前記動作イベント情報に基づいた前記工程（ｃ）の前記表示信号の出力によって前記キャラクタの楽器演奏または歌唱の発音時動作が表示される発音時動作タイミングとが一致するように、前記演奏イベント情報の前記演奏時間情報と、該演奏イベント情報に対応した前記動作イベント情報の前記動作時間情報と、を生成することを特徴とする。

本発明の第４の態様にかかるキャラクタ演奏画像生成方法は、前記工程（ｂ１）が、
所定の基準タイミングから前記演奏イベント情報に対応した前記演奏命令を出力するタイミングまでの時間を該演奏イベント情報の前記演奏時間情報として、すべての前記演奏イベント情報の前記演奏時間情報を算出し、算出した前記演奏イベント情報の前記演奏時間情報に基づいて、時系列にすべての前記演奏イベント情報に対応した前記演奏命令の出力を管理する前記演奏情報を生成し、
前記所定の基準タイミングから前記動作イベント情報に対応した前記表示信号を出力するタイミングまでの時間を該動作イベント情報の前記動作間情報として、すべての前記動作イベント情報の前記動作時間情報を算出し、算出した前記動作イベント情報の前記動作時間情報に基づいて、時系列にすべての前記動作イベント情報に対応した前記表示信号の出力を管理する前記動作情報を生成し、
前記動作時間情報の算出の際には、前記演奏イベント情報の前記演奏時間情報をΔＴ１とし、該演奏イベント情報に対応する前記動作イベント情報の前記動作時間情報をΔＴ２とし、該動作イベント情報に対応した前記キャラクタの演奏動作の動作開始から発音時動作までの時間を発音到達時間Δｔとしたとき、
前記動作時間情報ΔＴ２が、
ΔＴ２＝ΔＴ１−Δｔ
を満たすように算出されることを特徴とする。

本発明の第５の態様にかかるキャラクタ演奏画像生成方法は、前記キャラクタに楽器演奏動作または歌唱動作をさせる演奏環境状況に応じた前記キャラクタの複数の環境動作画像情報を含んでなる環境動作画像情報群と、前記キャラクタが楽器演奏動作または歌唱動作をするための複数の前記動作イベント情報に対応した前記キャラクタの複数の演奏動作画像情報を含んでなる演奏動作画像情報群と、が予め記憶されており、
前記工程（ｃ）は、記憶された前記環境動作画像情報群の中から指定された演奏環境に基づいて取り出した複数の環境動作画像情報と、記憶された前記演奏動作画像情報群の中から前記動作情報の前記動作イベント情報に基づいて取り出した複数の演奏動作画像情報とを合成して複数の音楽演奏画像情報を生成し、生成した前記音楽演奏画像情報を連続して表示する前記表示信号を、該動作イベント情報の前記動作時間情報に従って、順次出力することを特徴とする。

本発明の第６の態様にかかるキャラクタ演奏画像生成方法は、前記音楽演奏画像情報を連続して表示される動画が、前記動作イベント情報に応じて、前記キャラクタの動作が、現在の動作状態から前記楽器毎に予め設定されている基本位置状態に移行し、該基本位置状態から発音時動作状態に移行する動画であることを特徴とする。

本発明の第７の態様にかかるキャラクタ演奏画像生成方法は、前記音楽情報が、ＭＩＤＩ形式のデータであることを特徴とする。

本発明の第１の態様にかかるキャラクタ演奏システムは、コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報中の複数の楽器の演奏または歌唱のいずれかの動作を表示するキャラクタ演奏システムであって、
表示信号に応じて画像情報を表示する表示部と、
合成部及び出力部を備え、演奏命令に基づいて、音を合成して合成音を出力する楽音合成出力部と、
入力された音楽情報を記憶する記憶手段と、
前記記憶手段によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報と、該演奏情報に同期して前記キャラクタがそれぞれ楽器演奏動作または歌唱動作を行っているように表示する動作情報とを生成し、生成した前記演奏情報に基づいて、前記楽音合成出力部に演奏命令を順次出力する音楽演奏手段と、
前記音楽演奏手段によって生成された前記動作情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を、前記表示部に出力するキャラクタ動作手段と、
を備えていることを特徴とする。

本発明の第１の態様にかかるキャラクタ演奏方法は、コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報中の複数の楽器の演奏または歌唱のいずれかの動作を表示するキャラクタ演奏方法であって、
（ａ）入力された前記音楽情報を記憶する工程と、
（ｂ）前記工程（ａ）によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報と、該演奏情報に同期して前記キャラクタがそれぞれ楽器演奏動作または歌唱動作を行っているように表示する動作情報とを生成し、生成した前記演奏情報に基づいて、音を合成して合成音を出力する楽音合成出力部に、演奏命令を順次出力する工程と、
（ｃ）前記工程（ｂ）によって生成された前記動作情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、表示信号に応じて画像情報を表示する表示部に、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力する工程と、
（ｄ）前記工程（ｂ）によって出力された前記演奏命令に基づいて、前記楽音合成出力部に音を合成して合成音を出力させる工程と、
（ｅ）前記工程（ｃ）によって出力された前記表示信号に応じて画像情報を、前記表示部に表示させる工程と、
を備え、
前記工程（ａ）乃至（ｅ）の各工程を実現する処理を前記コンピュータに実行させることを特徴とする。

本発明の第８の態様にかかるキャラクタ演奏画像生成装置は、コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報の中の複数の楽器の演奏または歌唱のいずれかの動作を表示するための画像情報を生成するキャラクタ演奏画像生成装置であって、
入力された前記音楽情報を記憶する記憶手段と、
前記記憶手段によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報を生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する音楽演奏手段と、
前記音楽演奏手段によって生成された前記演奏情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力するキャラクタ動作手段と、
を備えていることを特徴とする。

本発明の第９の態様にかかるキャラクタ演奏画像生成装置は、前記音楽演奏手段が、
前記複数のキャラクタがそれぞれ演奏する各楽器または歌唱の演奏イベント情報と該演奏イベント情報に対応した前記演奏命令を出力するタイミングを示す演奏時間情報とを有した前記演奏情報を、前記音楽情報に基づいて生成するデータ生成手段と、
前記データ生成手段によって生成された前記演奏情報の前記演奏イベント情報に対応した前記演奏命令を、前記演奏イベント情報の前記演奏時間情報に従って、順次出力する発音制御手段と、
を備え、
前記キャラクタ動作手段は、前記データ生成手段によって生成された前記演奏情報の前記演奏イベント情報に基づいて、該演奏イベント情報に対応した楽器演奏動作または歌唱動作をキャラクタが行なっているように表示させるための前記音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する前記表示信号を、該演奏イベント情報の前記演奏時間情報に従って、順次出力することを特徴とする。

本発明の第１０の態様にかかるキャラクタ演奏画像生成装置は、前記キャラクタに楽器演奏動作または歌唱動作をさせる演奏環境状況に応じた前記キャラクタの複数の環境動作画像情報を含んでなる環境動作画像情報群と、前記キャラクタが楽器演奏動作または歌唱動作をするための複数の前記演奏イベント情報に対応した前記キャラクタの複数の演奏動作画像情報を含んでなる演奏動作画像情報群と、が予め記憶されており、
前記キャラクタ動作手段は、記憶された前記環境動作画像情報群の中から指定された演奏環境に基づいて取り出した複数の環境動作画像情報と、記憶された前記演奏動作画像情報群の中から前記演奏情報の前記演奏イベント情報に基づいて取り出した複数の演奏動作画像情報とを合成して複数の音楽演奏画像情報を生成し、生成した前記音楽演奏画像情報を連続して表示する前記表示信号を、該演奏イベント情報の前記演奏時間情報に従って、順次出力することを特徴とする。

本発明の第８の態様にかかるキャラクタ演奏画像生成方法は、コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報の中の複数の楽器の演奏または歌唱のいずれかの動作を表示するための画像情報を生成するキャラクタ演奏画像生成方法であって、
（ａ）入力された前記音楽情報を記憶する工程と、
（ｂ）前記工程（ａ）によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報を生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する工程と、
（ｃ）前記工程（ｂ）によって生成された前記演奏情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力する工程と、
を備え、
前記工程（ａ）乃至（ｃ）の各工程を実現する処理を前記コンピュータに実行させることを特徴とする。

本発明の第９の態様にかかるキャラクタ演奏画像生成方法は、前記工程（ｂ）が、
（ｂ１）前記複数のキャラクタがそれぞれ演奏する各楽器または歌唱の演奏イベント情報と該演奏イベント情報に対応した前記演奏命令を出力するタイミングを示す演奏時間情報とを有した前記演奏情報を、前記音楽情報に基づいて生成する工程と、
（ｂ２）前記工程（ｂ１）によって生成された前記演奏情報の前記演奏イベント情報に対応した前記演奏命令を、前記演奏イベント情報の前記演奏時間情報に従って、順次出力する工程と、
を備え、
前記工程（ｃ）は、前記工程（ｂ１）によって生成された前記演奏情報の前記演奏イベント情報に基づいて、該演奏イベント情報に対応した楽器演奏動作または歌唱動作をキャラクタが行なっているように表示させるための前記音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する前記表示信号を、該演奏イベント情報の前記演奏時間情報に従って、順次出力することを特徴とする。

本発明の第１０の態様にかかるキャラクタ演奏画像生成方法は、前記キャラクタに楽器演奏動作または歌唱動作をさせる演奏環境状況に応じた前記キャラクタの複数の環境動作画像情報を含んでなる環境動作画像情報群と、前記キャラクタが楽器演奏動作または歌唱動作をするための複数の前記演奏イベント情報に対応した前記キャラクタの複数の演奏動作画像情報を含んでなる演奏動作画像情報群と、が予め記憶されており、
前記工程（ｃ）は、記憶された前記環境動作画像情報群の中から指定された演奏環境に基づいて取り出した複数の環境動作画像情報と、記憶された前記演奏動作画像情報群の中から前記演奏情報の前記演奏イベント情報に基づいて取り出した複数の演奏動作画像情報とを合成して複数の音楽演奏画像情報を生成し、生成した前記音楽演奏画像情報を連続して表示する前記表示信号を、該演奏イベント情報の前記演奏時間情報に従って、順次出力することを特徴とする。

本発明の第２の態様にかかるキャラクタ演奏システムは、コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報中の複数の楽器の演奏または歌唱のいずれかの動作を表示するキャラクタ演奏システムであって、
表示信号に応じて画像情報を表示する表示部と、
合成部及び出力部を備え、演奏命令に基づいて、音を合成して合成音を出力する楽音合成出力部と、
入力された前記音楽情報を記憶する記憶手段と、
前記記憶手段によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報を生成し、生成した前記演奏情報に基づいて、前記楽音合成出力部に演奏命令を順次出力する音楽演奏手段と、
前記音楽演奏手段によって生成された前記演奏情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を、前記表示部に出力するキャラクタ動作手段と、
を備えていることを特徴とする。

本発明の第２の態様にかかるキャラクタ演奏方法は、コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報中の複数の楽器の演奏または歌唱のいずれかの動作を表示するキャラクタ演奏方法であって、
（ａ）入力された前記音楽情報を記憶する工程と、
（ｂ）前記工程（ａ）によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報を生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する工程と、
（ｃ）前記工程（ｂ）によって生成された前記演奏情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力する工程と、
（ｄ）前記工程（ｂ）によって出力された前記演奏命令に基づいて、前記楽音合成出力部に音を合成して合成音を出力させる工程と、
（ｅ）前記工程（ｃ）によって出力された前記表示信号に応じて画像情報を、前記表示部に表示させる工程と、
を備え、
前記工程（ａ）乃至（ｅ）の各工程を実現する処理を前記コンピュータに実行させることを特徴とする。

本発明によれば、音楽情報にあった楽器の演奏動作の画像情報を、予め作成しておく必要が無いため、ユーザ自身がネットワークからダウンロードした楽曲やユーザ自身が作曲した楽曲等の所望の音楽情報をコンピュータに入力するだけで、該コンピュータを用いて実現される仮想空間内の楽器を持った複数のキャラクタに、所望の音楽情報に合わせて、該キャラクタに持たせた楽器の演奏動作を実行させることができる。その結果、ユーザは、複数のキャラクタがそれぞれ楽器演奏を行なっているような画像を観ることができる。即ち、ユーザは所望の楽曲を聴覚からだけでなく視覚からも楽しむことができるため、より娯楽性の高いゲームソフトウェアを構築することができる。

本発明の一実施形態に係るにかかるキャラクタ演奏画像生成装置を実行させるコンピュータ１００の概略構成を示す図である。 本発明の一実施形態にかかるキャラクタ生成システム２００におけるシステム構成の一例を示す図である。 単位音楽情報（ＤＴ０［ｉ］）、単位演奏情報（ＤＴ１［ｉ］）及び単位動作情報（ＤＴ２［ｉ］）を説明するための図であり、（ａ）は、単位音楽情報（ＤＴ０［ｉ］）のデータフォーマットの一例を示す図であり、（ｂ）は、単位演奏情報（ＤＴ１［ｉ］）のデータフォーマットの一例を示す図であり、（ｃ）は、単位動作情報（ＤＴ２［ｉ］）のデータフォーマットの一例を示す図である。 音楽情報（ＤＴ０）と演奏情報（ＤＴ１）との関係を説明するための図である。 演奏情報（ＤＴ１）と動作情報（ＤＴ２）との関係を説明するための図である。 演奏情報（ＤＴ１）に基づいた演奏命令の出力タイミングと動作情報（ＤＴ２）に基づいた表示信号の出力タイミングを説明するための図である。 キャラクタの生成を説明するための図である。 演奏動作の状態移行を説明するための図である。 キャラクタの配置の変更を説明するための図である。 本発明の一実施形態にかかるキャラクタ演奏方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。 図１０に示すＳ１０３の演奏処理手順を示すフローチャート図の一例である。 図１０に示すＳ１０５の動作表示処理手順を示すフローチャート図の一例である。 別の本発明の一実施形態にかかるキャラクタ演奏システム３００におけるシステム構成の一例を示す図である。 別の本発明の一実施形態にかかるキャラクタ演奏方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。 図１４に示すＳ５０５の動作表示処理手順を示すフローチャート図の一例である。

本発明の一実施形態を、図面を参照しながら説明する。なお、以下に説明する実施形態は説明のためのものであり、本発明の範囲を制限するものではない。従って、当業者であればこれらの各要素もしくは全要素をこれと同様なもので置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

本発明の一実施形態にかかるキャラクタ演奏システムは、複数の楽器に演奏させたりあるいは歌唱させたりする所望の音楽情報を入力するだけで、音楽出力に同期して複数のキャラクタがそれぞれの楽器の演奏または歌唱をする動作を表示させることができるものである。入力された音楽情報をシンセサイザ等の楽音合成出力部（音源）を介して出力する際に、コンピュータ上で動作するソフトウェアによって実現される仮想空間内において、キャラクタに、該音楽情報に合わせて楽器演奏または歌唱演奏の動作をさせるものである。また、本発明の一実施形態にかかるキャラクタ演奏画像生成装置は、複数の楽器に演奏させたりあるいは歌唱させたりする所望の音楽情報を入力するだけで、音楽出力に同期して複数のキャラクタがそれぞれの楽器の演奏または歌唱をする動作を表示させるための画像情報を生成するものである。

ここで、所望の音楽情報とは、ユーザがネットワークからダウンロードした楽曲やユーザ自身が作曲した楽曲等の音楽情報であり、ＭＩＤＩ形式の音楽情報及びＭＩＤＩ形式の情報に変換できる音楽情報である。尚、所望の音楽情報がＭＩＤＩ形式の情報に変換できる音楽情報の場合は、本発明にかかるキャラクタ演奏システムに内蔵されるデータ形式変換部（図示無し）、または該キャラクタ演奏システムに接続されるデータ形式変換装置等を介して、該音楽情報を一旦、ＭＩＤＩ形式の音楽情報に変換し、変換したＭＩＤＩ形式の音楽情報を改めて、本発明の音楽情報とする。以下、音楽情報がＭＩＤＩ形式の音楽情報であるとして説明する。

まず、本発明の一実施形態にかかるキャラクタ演奏画像生成装置を実行させるコンピュータの概略構成について説明する。図１は、本発明の一実施形態に係るにかかるキャラクタ演奏画像生成装置を実行させるコンピュータ１００の概略構成を示す図である。図１に示すように、コンピュータ１００は、ＣＰＵ（中央処理装置）１０１、ＲＯＭ１０２、ＲＡＭ１０３、入力部１０４等を備えている。

ＣＰＵ２１は、コンピュータ１００で実行させるキャラクタ演奏画像生成装置を実現するためのソフトウェア(ファームウェア及び基本ソフトウェアを含む)および各種制御データ等を記憶しているＲＯＭ１０２、及びＲＡＭ１０３等から、必要な情報を読み出し、実行することにより、キャラクタ演奏画像生成装置を実現する。また、ＲＡＭ１０３は、コンピュータ１００によりキャラクタ演奏システムを実現するために必要なデータの記憶装置及びソフトウェアの実行作業領域として機能する。また、入力部１０４は、例えば、マウス、タッチ操作部、通信装置、外部記憶装置等であり、情報を入力して、入力した情報（例えば、タッチ操作部からの各種入力情報、通信装置等から入力した音楽情報等）を、ＲＡＭ１０３に記憶する。

次に、本発明の一実施形態にかかるキャラクタ演奏画像生成装置及び本発明の一実施形態にかかるキャラクタ演奏システムについて説明する。図２は、本発明の一実施形態にかかるキャラクタ演奏システム２００におけるシステム構成の一例を示す図である。ここでは、本発明の一実施形態にかかるキャラクタ演奏画像生成装置の一例であるキャラクタ演奏画像生成装置１０を備えたキャラクタ演奏システム２００を例に挙げて、キャラクタ演奏画像生成装置１０及びキャラクタ演奏システム２００を説明する。

図２に示すように、キャラクタ演奏システム２００は、キャラクタ演奏画像生成装置１０、シンセサイザ１１０、及び表示部１２０を備えている。
シンセサイザ１１０は、楽音合成出力部（音源）の一例であり、キャラクタ演奏画像生成装置１０から入力した演奏命令に基づいて、合成部（図示無し）で音の合成を行い、出力部（図示無し）より、該合成音を出力する。また、表示部１２０は、キャラクタ演奏画像生成装置１０から入力した表示信号に応じて、複数のキャラクタがそれぞれ楽器の演奏または歌唱をする動作の画像情報を表示する。

次に、本発明の一実施形態にかかるキャラクタ演奏画像生成装置であるキャラクタ演奏画像生成装置１０について、詳細を説明する。
図２に示すように、キャラクタ演奏画像生成装置１０は、音楽演奏部２０及びキャラクタ動作部３０を備えている。音楽演奏部２０は、入力部１０４を介して入力されたＭＩＤＩ形式の音楽情報（ＤＴ０）に基づいて、複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報（ＤＴ１）と、該演奏情報（ＤＴ１）に同期してキャラクタが楽器演奏動作または歌唱動作を行っているように表示する動作情報（ＤＴ２）とを生成し、該演奏情報（ＤＴ１）に基づいて、シンセサイザ１１０に演奏命令を出力する。

ここで、演奏情報（ＤＴ１）は、シンセサイザ１１０から演奏音（合成音）を出力させるための情報であり、音楽情報（ＤＴ０）の中から、複数のキャラクタのそれぞれが担当する楽器の演奏または歌唱の情報を取り出して構成した情報である。例えば、音楽情報（ＤＴ０）の中に、トランペット、サックス、ドラム及びピアノの演奏に関する情報があり、キャラクタがトランペット、サックス及びドラムを担当する３人である場合、演奏情報（ＤＴ１）は、音楽情報（ＤＴ０）の中のトランペット、サックス及びドラムに関する情報だけになる。また、音楽情報（ＤＴ０）の中に、トランペット、サックス、ドラム及びピアノの演奏に関する情報があり、キャラクタがトランペット、サックス、ドラム及びクラリネットを担当する４人である場合、演奏情報（ＤＴ１）を、音楽情報（ＤＴ０）の中のトランペット、サックス及びドラムに関する情報と、ピアノの演奏をクラリネットの演奏に変更した情報とから構成することもできる。あるいは、音楽情報（ＤＴ０）の中に、トランペット、サックス、ドラム及びピアノの演奏に関する情報があり、キャラクタがトランペット、サックス、ドラム及びクラリネットを担当する４人である場合、演奏情報（ＤＴ１）を、音楽情報（ＤＴ０）の中のトランペット、サックス、ドラムに関する情報と、サックスの演奏をクラリネットの演奏に変更した情報とから構成することもできる。

以下、音楽情報（ＤＴ０）の中に含まれる楽器または歌唱の種類と、演奏情報（ＤＴ１）の中に含まれる楽器または歌唱の種類が、同じ場合を例に挙げて説明する。
音楽情報（ＤＴ０）、演奏情報（ＤＴ１）及び動作情報（ＤＴ２）は、それぞれ、複数（ｎ個）の単位音楽情報（ＤＴ０［ｉ］）、複数（ｎ個）の単位演奏情報（ＤＴ１［ｉ］）、及び、複数（ｎ個）の単位動作情報（ＤＴ２［ｉ］）から構成されている。尚、単位音楽情報、単位演奏情報及び単位動作情報は、ｉ（ｉ＝１〜ｎ）によって識別されたイベントに関する情報である。

キャラクタ動作部３０は、音楽演奏部２０によって生成された動作情報（ＤＴ２）に基づいて、演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を生成し、生成した音楽演奏画像情報を連続して表示する表示信号を表示部１２０に出力する。

次に、上述した音楽演奏部２０についての詳細を図２乃至図６を参照して説明する。図２に示すように、音楽演奏部２０は、データ生成部２１、発音制御部２２及び音楽管理部２３を備えている。

データ生成部２１は、入力部１０４を介して入力されたＭＩＤＩ形式の音楽情報（ＤＴ０）を入力情報記憶部５１から取り出す。そして、取り出した音楽情報（ＤＴ０）に基づいて、複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報（ＤＴ１）と、該演奏情報（ＤＴ１）に同期してキャラクタが楽器の演奏動作を行っているように表示する動作情報（ＤＴ２）とを生成する。また、生成した演奏情報（ＤＴ１）をＲＡＭ２３の演奏情報記憶部５２に記憶（格納）し、生成した動作情報（ＤＴ２）をＲＡＭ２３の動作情報記憶部５３に記憶（格納）する。以下の説明では、キャラクタが楽器の演奏または歌唱を行うことを、楽器の演奏をさせることを例に挙げて説明するが、楽器の演奏だけでなく歌唱を行うことも含める。

ここで、音楽情報（ＤＴ０）、演奏情報（ＤＴ１）及び動作情報（ＤＴ２）について、図３乃至図６を参照して説明する。図３は、単位音楽情報（ＤＴ０［ｉ］）、単位演奏情報（ＤＴ１［ｉ］）及び単位動作情報（ＤＴ２［ｉ］）を説明するための図であり、（ａ）は、単位音楽情報（ＤＴ０［ｉ］）のデータフォーマットの一例を示す図であり、（ｂ）は、単位演奏情報（ＤＴ１［ｉ］）のデータフォーマットの一例を示す図であり、（ｃ）は、単位動作情報（ＤＴ２［ｉ］）のデータフォーマットの一例を示す図である。また、図４は、音楽情報（ＤＴ０）と演奏情報（ＤＴ１）との関係を説明するための図である。また、図５は、演奏情報（ＤＴ１）と動作情報（ＤＴ２）との関係を説明するための図である。また、図６は、演奏情報（ＤＴ１）に基づいた演奏命令の出力タイミングと動作情報（ＤＴ２）に基づいた表示信号の出力タイミングを説明するための図である。尚、本明細書では、音楽情報（ＤＴ０）のデータフォーマットとして、ＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）を例に挙げて説明する。

単位音楽情報（ＤＴ０［ｉ］）は、図３（ａ）に示すように、各楽器によって演奏されるＭＩＤＩイベント情報（ＥＤ０［ｉ］）と、該ＭＩＤＩイベント情報（ＥＤ０［ｉ］）に基づいた演奏命令が出力されるタイミングに対応するデルタ・タイムと呼ばれる時間情報（ΔＴ０［ｉ］）とから構成されている。

ＭＩＤＩイベント情報（ＥＤ０［ｉ］）は、楽器の発音・消音を制御するための情報である。例えば、「チャンネル０をサックスに割り当てる」、「チャンネル０に割り当てられた楽器の音階をドにして、音量を５０にする」、「チャンネル１０をドラムに割り当てる」、「チャンネル１０に割り当てられた楽器の音量を５０にする」等の情報が、所定の形式に従って格納されている。また、時間情報（ΔＴ０［ｉ］）は、ＭＩＤＩイベント情報（ＥＤ０［ｉ］）が出力されるタイミングを、前回のイベント発生時（単位音楽情報（ＤＴ０［ｉ−１］）が出力されたタイミング）からの経過時間として表わした情報である。尚、最初のイベントにおいては、所定の基準タイミング（例えば、キャラクタ演奏画像生成装置１０が入力部１０４を介してＭＩＤＩ形式の音楽情報（ＤＴ０）をＲＡＭ１０３に記憶して、シンセサイザ１１０に出力可能な状態になったタイミング等）から演奏開始までの経過時間である。

演奏情報（ＤＴ１）を構成する単位演奏情報（ＤＴ１［ｉ］）は、図３（ｂ）に示すように、各楽器によって演奏される演奏イベント情報（ＥＤ１［ｉ］）と、該演奏イベント情報（ＥＤ１［ｉ］）に基づいた演奏命令が出力されるタイミングに対応する演奏時間情報（ΔＴ１［ｉ］）とから構成されている。演奏イベント情報（ＥＤ１［ｉ］）は、ＭＩＤＩイベント情報（ＥＤ０［ｉ］）と同じ情報である。また、演奏時間情報（ΔＴ１［ｉ］）は、演奏イベント情報（ＥＤ１［ｉ］）に基づいた演奏命令が出力されるタイミングを、所定の基準タイミングからの経過時間として表わした情報である。

例えば、図４に示すように、楽曲の音楽情報（ＤＴ０）が複数（ｎ個）の単位音楽情報（ＤＴ０［ｉ］）から構成されている場合、データ生成部２１によって生成される演奏情報（ＤＴ１）を構成する単位演奏情報（ＤＴ１［ｉ］）は、下記のような情報になる。

（ａ）演奏イベント情報（ＥＤ１［ｉ］）は、ＭＩＤＩイベント情報（ＥＤ０［ｉ］）と同じ内容である。あるいは、一部の楽器を別の楽器に変更して演奏する情報であっても良い。例えば、音楽情報（ＤＴ０）の中に、トランペット、サックス、ドラム及びピアノの演奏に関する情報があり、キャラクタがトランペット、サックス及びドラムを担当する３人である場合、演奏情報（ＤＴ１）は、音楽情報（ＤＴ０）の中のトランペット、サックス及びドラムに関する情報だけになる。また、音楽情報（ＤＴ０）の中に、トランペット、サックス、ドラム及びピアノの演奏に関する情報があり、キャラクタがトランペット、サックス、ドラム及びクラリネットを担当する４人である場合、演奏情報（ＤＴ１）を、音楽情報（ＤＴ０）の中のトランペット、サックス及びドラムに関する情報と、ピアノの演奏をクラリネットの演奏に変更した情報とから構成することもできる。あるいは、音楽情報（ＤＴ０）の中に、トランペット、サックス、ドラム及びピアノの演奏に関する情報があり、キャラクタがトランペット、サックス、ドラム及びクラリネットを担当する４人である場合、演奏情報（ＤＴ１）を、音楽情報（ＤＴ０）の中のトランペット、サックス、ドラムに関する情報と、サックスの演奏をクラリネットの演奏に変更した情報とから構成することもできる。

（ｂ）所定の基準タイミングからの経過時間である演奏時間情報（ΔＴ１［ｉ］）は、

となる。

動作情報（ＤＴ２）を構成する単位動作情報（ＤＴ２［ｉ］）は、図３（ｃ）に示すように、演奏イベント情報（ＥＤ１［ｉ］）に同期してキャラクタが楽器の演奏動作を行っているように表示する動作イベント情報（ＥＤ２［ｉ］）と、該動作イベント情報（ＥＤ２［ｉ］）に基づいた表示信号が出力されるタイミングに対応する動作時間情報（ΔＴ２［ｉ］）とから構成されている。動作イベント情報（ＥＤ２［ｉ］）は、キャラクタの演奏動作を制御するための情報である。例えば、「チャンネル０に割り当てたキャラクタＡをサックス演奏者にする」、「チャンネル０に割り当てられたキャラクタＡに、楽器の音階がド、音量が５０の演奏動作をさせる」、「チャンネル１０に割り当てたキャラクタＢをドラム演奏者にする」、「チャンネル１０に割り当てられたキャラクタＢに、楽器の音量が５０の演奏動作をさせる」等の情報が、所定の形式に従って格納されている。動作時間情報（ΔＴ２［ｉ］）は、動作イベント情報（ＥＤ２［ｉ］）に基づいた表示信号が出力されるタイミングを、所定の基準タイミングからの経過時間として表わした情報である。尚、動作時間情報（ΔＴ２［ｉ］）を決める際の該所定の基準タイミングは、単位演奏情報（ＤＴ１［ｉ］）の演奏時間情報（ΔＴ１［ｉ］）を決める際の所定の基準タイミングと同じタイミングである。

動作イベント情報（ＥＤ２［ｉ］）に基づいた表示信号が出力されるタイミングとは、演奏イベント情報（ＥＤ１［ｉ］）に基づいた演奏命令が出力されてシンセサイザ１１０から演奏音（合成音）が出力（発音）されるタイミング（発音タイミング）と、キャラクタの楽器演奏による音が発する瞬間の動作（発音時動作）が表示されるタイミング（発音時動作タイミング）とが一致するように、キャラクタの演奏動作の動作開始から発音時動作までの時間（発音到達時間）Δｔを考慮して決めたタイミングである。

例えば、演奏イベント情報（ＥＤ１［ｉ］）が、「チャンネル１０に割り当てられた楽器（ドラム）の音量を５０にする」である場合、演奏イベント情報（ＥＤ１［ｉ］）に対応する動作イベント情報（ＥＤ２［ｉ］）は、「チャンネル１０に割り当てたキャラクタＢに、楽器（ドラム）の音量を５０にする演奏動作をさせる」となる。また、該動作イベント情報（ＥＤ２［ｉ］）である「チャンネル１０に割り当てたキャラクタＢに、楽器（ドラム）の音量を５０にする演奏動作をさせる」とは、「キャラクタＢが、ドラムスティックを、基本位置から音量に応じたトップ位置まで振り上げ、トップ位置からドラムヘッド（振動膜）まで振り下ろし、ドラムヘッドから基本位置まで振り上げる動作」をさせることである。

従って、シンセサイザ１１０からドラムの合成音が出力される発音タイミングと、キャラクタＢがドラム演奏による音が発する瞬間の動作（発音時動作）が表示される発音時動作タイミングとを一致させるためには、キャラクタＢの持つドラムスティックが発音位置となるドラムヘッドに到達したときが、シンセサイザ１１０から合成音が出力されたときになるようにすればよい。即ち、演奏イベント情報（ＥＤ１［ｉ］）に基づいた演奏命令の出力よりも、「ドラムスティックを、基本位置から音量に応じたトップ位置まで振り上げ、トップ位置からドラムヘッドまで振り下ろす」動作時間だけ、動作イベント情報（ＥＤ２［ｉ］）に基づいた表示信号の出力を早くさせるようにすればよい。この「ドラムスティックを、基本位置から音量に応じたトップ位置まで振り上げ、トップ位置からドラムヘッドまで振り下ろす」動作時間が、発音到達時間Δｔである。

図５に示すように、楽曲の演奏情報（ＤＴ１）が複数（ｎ個）の単位演奏情報（ＤＴ１［ｉ］）から構成されている場合、データ生成部２１によって生成される動作情報（ＤＴ２）を構成する単位動作情報（ＤＴ２［ｉ］）は、下記のような情報になる。

（ａ）動作イベント情報（ＥＤ２［ｉ］）は、演奏イベント情報（ＥＤ１［ｉ］）に対応づけられ、該演奏イベント情報（ＥＤ１［ｉ］）に同期してキャラクタが楽器の演奏動作を行っているように表示する制御情報となる。

（ｂ）所定の基準タイミングからの経過時間である動作時間情報（ΔＴ２［ｉ］）は、
ΔＴ２［ｉ］＝ΔＴ１［ｉ］−Δｔ［ｉ］
となる。尚、発音到達時間Δｔ［ｉ］は、動作イベント情報（ＥＤ２［ｉ］）に対応づけられて設定される。

例えば、図６に示すように、単位演奏情報（ＤＴ１［５］）に基づいた演奏命令の出力タイミングと単位動作情報（ＤＴ２［５］）に基づいた表示信号の出力タイミング、単位演奏情報（ＤＴ１［１０］）に基づいた演奏命令の出力タイミングと単位動作情報（ＤＴ２［１０］）に基づいた表示信号の出力タイミングは、次のような関係になる。
（１）所定の基準タイミングを時間＝０として、時間がΔＴ２［５］のときに、動作イベント情報（ＥＤ２［５］）に基づいた表示信号が出力される。
（２）ΔＴ２［５］からΔｔ［５］だけ経過したΔＴ１［５］のときに、演奏イベント情報（ＥＤ１［５］）に基づいた演奏命令が出力される。
（３）時間がΔＴ２［１０］のときに、動作イベント情報（ＥＤ２［１０］）に基づいた表示信号が出力される。
（４）ΔＴ２［１０］からΔｔ［１０］だけ経過したΔＴ１［１０］のときに、演奏イベント情報（ＥＤ１［１０］）に基づいた演奏命令が出力される。

尚、ΔＴ１［５］、ΔＴ２［５］、Δｔ［５］、ΔＴ１［１０］、ΔＴ２［１０］、Δｔ［１０］は以下のような内容を示している。
ΔＴ１［５］：ＥＤ１［５］（「チャンネル１０に割り当てられた楽器（ドラム）の音量を５０にする」）に基づいた演奏命令の出力タイミング
ΔＴ２［５］：ＥＤ２［５］（「チャンネル１０に割り当てたキャラクタＢに、楽器（ドラム）の音量を５０にする演奏動作をさせる」）に基づいた表示信号の出力タイミング
Δｔ［５］：「ドラムスティックを、基本位置から音量５０に応じたトップ位置まで振り上げ、トップ位置からドラムヘッドまで振り下ろす」動作時間（発音到達時間）
ΔＴ１［１０］：ＥＤ１［１０］（「チャンネル１０に割り当てられた楽器（ドラム）の音量を１００にする」）に基づいた演奏命令の出力タイミング
ΔＴ２［１０］：ＥＤ２［１０］（「チャンネル１０に割り当てたキャラクタＢに、楽器（ドラム）の音量を１００にする演奏動作をさせる」）に基づいた表示信号の出力タイミング
Δｔ［１０］：「ドラムスティックを、基本位置から音量１００に応じたトップ位置まで振り上げ、トップ位置からドラムヘッドまで振り下ろす」動作時間（発音到達時間）

尚、キャラクタ演奏画像生成装置１０では、複数のチャンネルの各チャンネルに対してそれぞれキャラクタが割り当てられる。また、各キャラクタに対してそれぞれ楽器が割り当てられる。更に、各キャラクタに割り当てられた楽器を、途中で変更することもできる。

次に、図２に示した音楽演奏部２０の発音制御部２２及び音楽管理部２３を説明する。発音制御部２２は、データ生成部２１によって生成された演奏情報（ＤＴ１）を演奏情報記憶部５２から取り出し、演奏情報（ＤＴ１）を構成する単位演奏情報（ＤＴ１［ｉ］）に基づいた演奏命令を、ｉの順番に沿って（時系列に）、シンセサイザ１１０に出力する。即ち、ｉの順番に沿って、演奏イベント情報（ＥＤ１［ｉ］）に基づいて、チャンネル毎にそれぞれ割り当てられた楽器情報を保持しながら、その楽器の発音・消音を行う演奏命令を、演奏時間情報（ΔＴ１［ｉ］）のタイミングに、シンセサイザ１１０に出力する。その結果、シンセサイザ１１０から演奏情報（ＤＴ１）に基づいた合成音が出力されて、楽曲の演奏出力となる。

音楽演奏部２０の音楽管理部２３は、入力部１０４を制御して演奏に関する様々な入力情報（例えば、音楽情報、キャラクタに演奏させる楽器情報等）を入力させ、必要な情報をＲＡＭ２３の入力情報記憶部５１に記憶する。ここで、キャラクタに演奏させる楽器情とは、表示部１２０上に表示されている複数のキャラクタのそれぞれに演奏させる楽器を指定する情報であり、入力部１０４を介して入力されるユーザによって指定された情報のことである。例えば、ドラム、サックス及びトランペットを、キャラクタに演奏させる楽器に指定すると、指定された楽器の音が、入力された音楽情報の中から選択されて演奏される。あるいは、該音楽情報の中の異なる楽器の音を指定された楽器の音に変更して演奏される。尚、本明細書では、音楽管理部２３が、特許請求の範囲に記載の記憶手段に対応する機能を備えている。

また、音楽管理部２３は、データ生成部２１及び発音制御部２２の起動タイミングを制御するとともに、音楽情報の入力から該音楽情報の演奏出力までの、データ生成部２１及び発音制御部２２が実行する各処理の実行タイミングを制御する。

次に、図２に示したキャラクタ動作部３０についての詳細説明をする。まず、キャラクタ動作部３０で処理されるキャラクタの画像生成についての概略説明をする。図７は、キャラクタの画像生成を説明するための図である。図７に示すように、キャラクタの楽器演奏画像７０は、複数の部分画像を合成して生成される。ここでは、２つの部分画像（１つの環境動作画像７１と１つの演奏動作画像７２）に分けられている場合を例に挙げて説明するが、部分画像の個数には制限は無く、キャラクタが演奏する環境情報に基づいた環境動作画像が１つ以上と、キャラクタの演奏の動作情報に基づいた演奏動作画像が１つ以上あれば良い。

楽器演奏画像７０は、ドラムを叩きながら行進する状態を実現させるための複数枚の画像の中の１枚の画像を示したもので、片足を上げて片手のドラムスティックがドラムヘッドに当たった瞬間の画像である。ここで、キャラクタが演奏する環境情報とは、例えば、マーチングバンドのように行進をしながらキャラクタが楽器の演奏を行う環境や、オーケストラのように椅子に座りながらキャラクタが楽器の演奏を行う環境等を示す情報である。また、キャラクタの演奏の動作情報とは、例えば、キャラクタがドラムを演奏している状況やサックスを演奏している状況等を示す情報である。

図７に示すように、行進をする環境で片足を上げた瞬間の環境動作画像７１と、ドラムを演奏する状況で片手のドラムスティックがドラムヘッドに当たった瞬間の演奏動作画像７２と、を合成することによって、キャラクタ７０が、片足を上げて片手のドラムスティックがドラムヘッドに当たった瞬間の画像（楽器演奏画像７０）の情報を生成する。そして、所定の画像出力時間間隔（Δｓ）毎の画像（静止画像）である複数の楽器演奏画像７０の情報を作成して、作成した複数の画像情報を連続して表示する表示信号として表示部１２０に出力することによって、キャラクタが楽器演奏をしている動作となって表示部１２０に表示される。ここで、所定の画像出力時間間隔（Δｓ）とは、複数の画像（静止画像）をΔｓの時間間隔で連続して表示することにより、ユーザが動画として認識できる時間間隔である。

次に、図２に示したキャラクタ動作部３０についての詳細を、図２、図７乃至図９を参照して説明する。図２に示すように、キャラクタ動作部３０は、環境動作制御部３１、演奏動作制御部３２、動作合成部３３及び動作管理部３４を備えている。

環境動作制御部３１は、キャラクタが演奏する環境情報に基づいて、予めＲＡＭ２３の画像情報記憶部５４に記憶されている各種の環境情報に合わせた複数の環境動作画像の情報（環境動作画像情報）を含んでなる環境動作画像情報群の中から、入力部１０４を介して入力されたキャラクタが演奏する環境情報に基づいた複数の環境動作画像情報を取り出す。そして、取り出した複数の環境動作画像情報を動作合成部３３へ送る。

演奏動作制御部３２は、データ生成部２１によって生成された動作情報（ＤＴ２）を、ＲＡＭ２３の動作情報記憶部５３から取り出す。そして、取り出した動作情報（ＤＴ２）を構成する単位動作情報（ＤＴ２［ｉ］）の動作イベント情報（ＥＤ２［ｉ］）に基づいて、予め画像情報記憶部５４に記憶されている各種のキャラクタの演奏の動作情報に合わせた複数の演奏動作画像の情報（演奏動作画像情報）を含んでなる演奏動作画像情報群の中から、それぞれのキャラクタに応じた楽器の複数の演奏動作画像情報を取り出す。そして、取り出した複数の演奏動作画像情報を動作合成部３３に送る。

尚、キャラクタの演奏動作は、現在の動作状態から楽器毎に予め設定されている基本位置状態に移行し、該基本位置状態から発音時動作状態に移行するような動作にする。図８は、演奏動作の状態移行を説明するための図である。図８に示すように、例えば、動作イベント情報（ＥＤ２［ｉ］）が「チャンネル０に割り当てられたキャラクタに、楽器（サックス）の音階がド、音量が５０の演奏動作をさせる」である場合、まず、現在の動作状態（状態Ａ０）から基本位置状態（状態Ａ１）に移行する。尚、基本位置状態とは、予め設定された状態で、例えば、図８では、（状態Ａ１）に示すようなキャラクタの指の位置となる状態を基本位置状態とする。次に、基本位置状態（状態Ａ１）から発音時動作状態（状態Ａ２）に移行する。このような動作の状態移行によって、キャラクタの演奏動作が行われる。

動作合成部３３は、環境動作制御部３１によって取り出された複数の環境動作画像情報と、演奏動作制御部３２によって取り出された動作イベント情報（ＥＤ２［ｉ］）に基づいた複数の演奏動作画像情報とを合成して、複数の音楽演奏画像情報を生成する。そして、生成した複数の音楽演奏画像情報を連続して表示する該動作イベント情報（ＥＤ２［ｉ］）に対応する表示信号を、動作時間情報（ΔＴ２［ｉ］）のタイミングで表示部１２０に出力する。

動作管理部３４は、入力部１０４を制御して演奏動作に関する様々な入力情報（例えば、キャラクタが演奏する環境情報、各キャラクタに対応づけた楽器の指定情報、ポジション変更情報等）を入力させ、必要な情報をＲＡＭ２３の入力情報記憶部５１に記憶する。

ここで、各キャラクタに対応づけた楽器の指定情報とは、表示部１２０上に表示されている複数のキャラクタのそれぞれに演奏させる楽器を指定する情報であり、入力部１０４を介して入力されるユーザによって指定される情報のことである。例えば、キャラクタＡにドラムを持たせて演奏動作を行わせ、キャラクタＢにサックスを持たせて演奏動作を行わせることを指定する情報である。尚、各キャラクタに対応づけた楽器の指定情報は、音楽演奏部２０の音楽管理部２３が管理している「キャラクタに演奏させる楽器情報」と関連づけて記憶される情報である。そのため、音楽管理部２３と動作管理部３４のどちらか一方で、各キャラクタに対応づけた楽器の指定情報とキャラクタに演奏させる楽器情報とを管理させるようにしても良い。

また、ポジション変更情報とは、キャラクタの表示画面上の位置を変更する情報であったり、特定の動作をキャラクタに行わせる情報であったりする。例えば、図９は、キャラクタの配置の変更を説明するための図である。ここで、図９は、キャラクタの配置を上方から観たとき配置を示している。例えば、入力部１０４を介して、「キャラクタＢの位置を後方向に移動させる」位置変更の指示情報が入力された場合、（状態Ｂ１）に示すようにキャラクタＡ，Ｂ，Ｃが１列に並んで行進している状態から、（状態Ｂ２）に示すようなキャラクタＢの位置が後ろにずれて、キャラクタＡ，Ｂ，Ｃが三角形の頂点の位置となるような配置状態に変更される。

また、特定の動作とは、キャラクタにジャンプをさせたり、回転をさせたりする動作のことで、予め設定されている動作のことである。また、特定の動作をキャラクタに行わせる情報とは、上述した複数の動作の中から、入力部１０４を介して選択された動作を、指定されたキャラクタに行わせる情報のことである。

尚、ポジション変更情報及び特定の動作をキャラクタに行わせる情報は、楽曲に対応づけて記憶され、同じ楽曲が再生されるときに再現されるようにする。また、ポジション変更や特定動作が入力された場合は、動作管理部３４からの命令により、動作合成部３３が、ポジション変更や特定動作に対応した画像を生成する。

動作管理部３４は、更に、環境動作制御部３１、演奏動作制御部３２及び動作合成部３３の起動タイミングを制御するとともに、各キャラクタの演奏動作を実現するための環境動作制御部３１、演奏動作制御部３２及び動作合成部３３が実行する各処理の実行タイミングを制御する。

上述した本発明の一実施形態にかかるキャラクタ演奏画像生成装置１０及び本発明の一実施形態にかかるキャラクタ演奏システム２００により、音楽情報にあった楽器の演奏動作の画像情報を、予め作成しておく必要が無いため、ユーザ自身がネットワークからダウンロードした楽曲やユーザ自身が作曲した楽曲等の所望の音楽情報をコンピュータに入力するだけで、該コンピュータを用いて実現される仮想空間内の楽器を持った複数のキャラクタに、所望の音楽情報に合わせて、該キャラクタに持たせた楽器の演奏動作を実行させることができる。その結果、ユーザは、複数のキャラクタがそれぞれ楽器演奏を行なっているような画像を観ることができる。即ち、ユーザは所望の楽曲を聴覚からだけでなく視覚からも楽しむことができるため、より娯楽性の高いゲームソフトウェアを構築することができる。

次に、本発明の一実施形態にかかるキャラクタ演奏方法について説明する。
図１０は、本発明の一実施形態にかかるキャラクタ演奏方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。また、図１１は、図１０に示すＳ１０３の演奏処理手順を示すフローチャート図の一例である。また、図１２は、図１０に示すＳ１０５の動作表示処理手順を示すフローチャート図の一例である。ここでは、上述したキャラクタ演奏システム２００によって実行されるキャラクタ演奏方法を例に挙げて説明する。

図１０に示すように、キャラクタ演奏方法は、まず、入力部１０４を介して、音楽情報を入力（取得）し、ＲＡＭ２３の入力情報記憶部５１に記憶（格納）する（ステップ１０１：Ｓ１０１）。「ステップｘｘｘ：Ｓｘｘｘ」を以降は、「Ｓｘｘｘ」だけで示す。

次に、入力部１０４を介して入力されたＭＩＤＩ形式の音楽情報（ＤＴ０）を入力情報記憶部５１から取り出し、取り出した音楽情報（ＤＴ０）に基づいて、複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報（ＤＴ１）と、該演奏情報（ＤＴ１）に同期してキャラクタが楽器演奏動作または歌唱動作を行っているように表示する動作情報（ＤＴ２）とを生成する。そして、生成した演奏情報（ＤＴ１）をＲＡＭ２３の演奏情報記憶部５２に記憶（格納）し、生成した動作情報（ＤＴ２）をＲＡＭ２３の動作情報記憶部５３に記憶（格納）する（Ｓ１０２）。

ここで、音楽情報（ＤＴ０）、演奏情報（ＤＴ１）及び動作情報（ＤＴ２）は、図３乃至図６を参照して説明した上述の音楽情報（ＤＴ０）、演奏情報（ＤＴ１）及び動作情報（ＤＴ２）と同じ情報である。また、音楽情報（ＤＴ０）、演奏情報（ＤＴ１）及び動作情報（ＤＴ２）は、それぞれ、複数（ｎ個）の単位音楽情報（ＤＴ０［ｉ］）、複数（ｎ個）の単位演奏情報（ＤＴ１［ｉ］）、及び、複数（ｎ個）の単位動作情報（ＤＴ２［ｉ］）から構成されている。尚、単位音楽情報、単位演奏情報及び単位動作情報は、ｉ（ｉ＝１〜ｎ）によって識別されたイベントに関する情報である。

次に、Ｓ１０２によって生成された演奏情報（ＤＴ１）に基づいて、シンセサイザ１１０に演奏命令を出力する（Ｓ１０３）。次に、シンセサイザ１１０は、該演奏命令に基づいて、音の合成を行い、該合成音を出力する（Ｓ１０４）。

また、Ｓ１０２によって生成された動作情報（ＤＴ２）に基づいて、演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を生成し、生成した音楽演奏画像情報を連続して表示する表示信号を表示部１２０に出力する（Ｓ１０５）。次に、表示部１２０は、該表示信号に応じて、複数のキャラクタがそれぞれ楽器の演奏または歌唱をする動作の画像情報を表示する（Ｓ１０６）。

ここで、Ｓ１０３及びＳ１０４と、Ｓ１０５及びＳ１０６とは、Ｓ１０２によって生成された演奏情報（ＤＴ１）及び動作情報（ＤＴ２）に基づいて、並行処理されるステップである。
また、上述した本発明の一実施形態にかかるキャラクタ演奏方法の各工程のうち、Ｓ１０１，Ｓ１０２，Ｓ１０３及びＳ１０５が、本発明の一実施形態にかかるキャラクタ演奏画像生成方法の各工程に対応する。

次に、図１０に示したＳ１０３の演奏処理を、図１１を参照して説明する。図１１に示すように、演奏処理（Ｓ１０３）は、まず、Ｓ１０２によって生成された演奏情報（ＤＴ１）を演奏情報記憶部５２から取り出す（Ｓ２０１）。ここで、演奏情報（ＤＴ１）は、複数（ｎ個）の単位演奏情報（ＤＴ１［ｉ］）から構成されている。

次に、演奏情報（ＤＴ１）を構成する単位演奏情報（ＤＴ１［ｉ］）に基づいた演奏命令を、ｉの順番に沿って（時系列に）、シンセサイザ１１０に出力する（Ｓ２０２）。即ち、ｉの順番に沿って、演奏イベント情報（ＥＤ１［ｉ］）に基づいて、チャンネル毎にそれぞれ割り当てられた楽器情報を保持しながら、その楽器の発音・消音を行う演奏命令を、演奏時間情報（ΔＴ１［ｉ］）のタイミングに、シンセサイザ１１０に出力する。このＳ２０２の処理は、ｉ＝１〜ｎまで行われる。その結果、シンセサイザ１１０から演奏情報（ＤＴ１）に基づいた合成音が出力されて、楽曲の演奏出力となる。

次に、図１０に示したＳ１０５の動作表示処理を、図１２を参照して説明する。図１２に示すように、まず、予めＲＡＭ２３の画像情報記憶部５４に記憶されている各種の環境情報に合わせた複数の環境動作画像の情報（環境動作画像情報）を含んでなる環境動作画像情報群の中から、入力部１０４を介して入力されたキャラクタが演奏する環境情報に基づいた複数の環境動作画像情報を取り出す（Ｓ３０１）。次に、Ｓ３０１で取り出した複数の環境動作画像情報をＳ３０６へ送る（Ｓ３０２）。

次に、Ｓ１０２によって生成された動作情報（ＤＴ２）をＲＡＭ２３の動作情報記憶部５３から取り出す（Ｓ３０３）。次に、取り出した動作情報（ＤＴ２）を構成する単位動作情報（ＤＴ２［ｉ］）の動作イベント情報（ＥＤ２［ｉ］）に基づいて、予め画像情報記憶部５４に記憶されている各種のキャラクタの演奏の動作情報に合わせた複数の演奏動作画像の情報（演奏動作画像情報）を含んでなる演奏動作画像情報群の中から、それぞれのキャラクタに応じた楽器の複数の演奏動作画像情報を取り出す（Ｓ３０４）。次に、取り出した複数の演奏動作画像情報をＳ３０６へ送る（Ｓ３０５）。

次に、Ｓ３０１で取り出された複数の環境動作画像情報と、Ｓ３０３で取り出された動作イベント情報（ＥＤ２［ｉ］）に基づいた複数の演奏動作画像情報とを合成して、複数の音楽演奏画像情報を生成する（Ｓ３０６）。次に、Ｓ３０６で生成した音楽演奏画像情報を連続して表示する該動作イベント情報（ＥＤ２［ｉ］）に対応する表示信号を、動作時間情報（ΔＴ２［ｉ］）のタイミングで表示部１２０に出力する（Ｓ３０７）。

上述した本発明の一実施形態にかかるキャラクタ演奏方法及び本発明の一実施形態にかかるキャラクタ演奏画像生成方法により、音楽情報にあった楽器の演奏動作の画像情報を、予め作成しておく必要が無いため、ユーザ自身がネットワークからダウンロードした楽曲やユーザ自身が作曲した楽曲等の所望の音楽情報をコンピュータに入力するだけで、該コンピュータを用いて実現される仮想空間内の楽器を持った複数のキャラクタに、所望の音楽情報に合わせて、該キャラクタに持たせた楽器の演奏動作を実行させることができる。その結果、ユーザは、仮想空間内で複数のキャラクタがそれぞれ楽器演奏を行なっているような画像を観ることができる。即ち、ユーザは所望の楽曲を聴覚からだけでなく視覚からも楽しむことができるため、より娯楽性の高いゲームソフトウェアを構築することができる。

次に、上述したキャラクタ演奏画像生成装置１０及びキャラクタ演奏システム２００とは別の本発明の一実施形態にかかるキャラクタ演奏画像生成装置３１０及び本発明の一実施形態にかかるキャラクタ演奏システム３００について説明する。図１３は、別の本発明の一実施形態にかかるキャラクタ演奏システム３００におけるシステム構成の一例を示す図である。ここでは、キャラクタ演奏画像生成装置３１０を備えたキャラクタ演奏システム３００を例に挙げて、キャラクタ演奏画像生成装置３１０及びキャラクタ演奏システム３００を説明する。

図１３に示すように、キャラクタ演奏システム３００は、キャラクタ演奏画像生成装置３１０、シンセサイザ１１０、及び表示部１２０を備えている。
シンセサイザ１１０は、楽音合成出力部（音源）の一例であり、キャラクタ演奏画像生成装置１０から入力した演奏命令に基づいて、合成部（図示無し）で音の合成を行い、出力部（図示無し）より、該合成音を出力する。また、表示部１２０は、キャラクタ演奏画像生成装置１０から入力した表示信号に応じて、複数のキャラクタがそれぞれ楽器の演奏または歌唱をする動作の画像情報を表示する。

次に、本発明の一実施形態にかかるキャラクタ演奏画像生成装置であるキャラクタ演奏画像生成装置３１０について、詳細を説明する。
図１３に示すように、キャラクタ演奏画像生成装置３１０は、音楽演奏部３２０及びキャラクタ動作部３３０を備えている。音楽演奏部３２０は、入力部１０４を介して入力されたＭＩＤＩ形式の音楽情報（ＤＴ０）に基づいて、複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報（ＤＴ１）を生成し、該演奏情報（ＤＴ１）に基づいて、シンセサイザ１１０に演奏命令を出力する。

キャラクタ動作部３３０は、音楽演奏部３２０によって生成された演奏情報（ＤＴ１）に基づいて、演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を生成し、生成した音楽演奏画像情報を連続して表示する表示信号を表示部１２０に出力する。

次に、上述した音楽演奏部３２０についての詳細を説明する。図１３に示すように、音楽演奏部３２０は、データ生成部３２１、発音制御部３２２及び音楽管理部３２３を備えている。

データ生成部３２１は、入力部１０４を介して入力されたＭＩＤＩ形式の音楽情報（ＤＴ０）を入力情報記憶部５１から取り出す。そして、取り出した音楽情報（ＤＴ０）に基づいて、複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報（ＤＴ１）を生成する。また、生成した演奏情報（ＤＴ１）をＲＡＭ２３の演奏情報記憶部５２に記憶（格納）する。以下の説明では、キャラクタが楽器の演奏または歌唱を行うことを、楽器の演奏をさせることを例に挙げて説明するが、楽器の演奏だけでなく歌唱を行うことも含める。

ここで、音楽情報（ＤＴ０）及び演奏情報（ＤＴ１）は、図３及び図４を参照して説明した上述の音楽情報（ＤＴ０）及び演奏情報（ＤＴ１）と同じ情報である。また、音楽情報（ＤＴ０）及び演奏情報（ＤＴ１）は、それぞれ、複数（ｎ個）の単位音楽情報（ＤＴ０［ｉ］）及び複数（ｎ個）の単位演奏情報（ＤＴ１［ｉ］）から構成されている。尚、単位音楽情報及び単位演奏情報は、ｉ（ｉ＝１〜ｎ）によって識別されたイベントに関する情報である。

発音制御部３２２は、データ生成部３２１によって生成された演奏情報（ＤＴ１）を演奏情報記憶部５２から取り出し、演奏情報（ＤＴ１）を構成する単位演奏情報（ＤＴ１［ｉ］）に基づいた演奏命令を、ｉの順番に沿って（時系列に）、シンセサイザ１１０に出力する。即ち、ｉの順番に沿って、演奏イベント情報（ＥＤ１［ｉ］）に基づいて、チャンネル毎にそれぞれ割り当てられた楽器情報を保持しながら、その楽器の発音・消音を行う演奏命令を、演奏時間情報（ΔＴ１［ｉ］）のタイミングに、シンセサイザ１１０に出力する。

音楽管理部３２３は、入力部１０４を制御して演奏に関する様々な入力情報（例えば、音楽情報、キャラクタに演奏させる楽器情報等）を入力させ、必要な情報をＲＡＭ２３の入力情報記憶部５１に記憶する。また、音楽管理部３２３は、データ生成部３２１及び発音制御部３２２の起動タイミングを制御するとともに、音楽情報の入力から該音楽情報の演奏出力までの、データ生成部３２１及び発音制御部３２２が実行する各処理の実行タイミングを制御する。

次に、図１３に示したキャラクタ動作部３３０についての詳細を説明する。図１３に示すように、キャラクタ動作部３３０は、環境動作制御部３３１、演奏動作制御部３３２、動作合成部３３３及び動作管理部３３４を備えている。

環境動作制御部３３１は、キャラクタが演奏する環境情報に基づいて、予めＲＡＭ２３の画像情報記憶部５４に記憶されている各種の環境情報に合わせた複数の環境動作画像の情報（環境動作画像情報）を含んでなる環境動作画像情報群の中から、入力部１０４を介して入力されたキャラクタが演奏する環境情報に基づいた複数の環境動作画像情報を取り出す。そして、取り出した複数の環境動作画像情報を動作合成部３３３へ送る。

演奏動作制御部３３２は、データ生成部３２１によって生成された演奏情報（ＤＴ１）を、ＲＡＭ２３の演奏情報記憶部５２から取り出す。そして、取り出した演奏情報（ＤＴ１）を構成する単位演奏情報（ＤＴ１［ｉ］）の演奏イベント情報（ＥＤ１［ｉ］）に基づいて、予め画像情報記憶部５４に記憶されている各種のキャラクタの演奏の動作に合わせた複数の演奏動作画像の情報（演奏動作画像情報）を含んでなる演奏動作画像情報群の中から、それぞれのキャラクタに応じた楽器の複数の演奏動作画像情報を取り出す。そして、取り出した複数の演奏動作画像情報を動作合成部３３３に送る。

尚、キャラクタの演奏動作は、図８を参照して説明したように、現在の動作状態から楽器毎に予め設定されている基本位置状態に移行し、該基本位置状態から発音時動作状態に移行するような動作にする。

動作合成部３３３は、環境動作制御部３３１によって取り出された複数の環境動作画像情報と、演奏動作制御部３３２によって取り出された演奏イベント情報（ＥＤ１［ｉ］）に基づいた複数の演奏動作画像情報とを合成して、複数の音楽演奏画像情報を生成する。そして、生成した音楽演奏画像情報を連続して表示する該演奏イベント情報（ＥＤ１［ｉ］）に対応する表示信号を、演奏時間情報（ΔＴ１［ｉ］）のタイミングで表示部１２０に出力する。

動作管理部３３４は、入力部１０４を制御して演奏動作に関する様々な入力情報（例えば、キャラクタが演奏する環境情報、各キャラクタに対応づけた楽器の指定情報、ポジション変更情報等）を入力させ、必要な情報をＲＡＭ２３の入力情報記憶部５１に記憶する。また、動作管理部３３４は、環境動作制御部３３１、演奏動作制御部３３２及び動作合成部３３３の起動タイミングを制御するとともに、各キャラクタの演奏動作を実現するための環境動作制御部３３１、演奏動作制御部３３２及び動作合成部３３３が実行する各処理の実行タイミングを制御する。

上述した別の本発明の一実施形態にかかるキャラクタ演奏画像生成装置３１０及び本発明の一実施形態にかかるキャラクタ演奏システム３００により、音楽情報にあった楽器の演奏動作の画像情報を、予め作成しておく必要が無いため、ユーザ自身がネットワークからダウンロードした楽曲やユーザ自身が作曲した楽曲等の所望の音楽情報をコンピュータに入力するだけで、該コンピュータを用いて実現される仮想空間内の楽器を持った複数のキャラクタに、所望の音楽情報に合わせて、該キャラクタに持たせた楽器の演奏動作を実行させることができる。その結果、ユーザは、複数のキャラクタがそれぞれ楽器演奏を行なっているような画像を観ることができる。即ち、ユーザは所望の楽曲を聴覚からだけでなく視覚からも楽しむことができるため、より娯楽性の高いゲームソフトウェアを構築することができる。

次に、図１０乃至図１２を参照して説明した上述のキャラクタ演奏方法及びキャラクタ演奏画像生成方法とは別の本発明の一実施形態にかかるキャラクタ演奏方法及びキャラクタ演奏画像生成方法について説明する。
図１４は、別の本発明の一実施形態にかかるキャラクタ演奏方法の各工程をコンピュータに実行させるプログラムの処理手順を示すフローチャート図の一例である。また、図１５は、図１４に示すＳ５０５の動作表示処理手順を示すフローチャート図の一例である。ここでは、上述したキャラクタ演奏システム３００によって実行されるキャラクタ演奏方法を例に挙げて説明する。

図１４に示すように、キャラクタ演奏方法は、まず、入力部１０４を介して、音楽情報を入力（取得）し、ＲＡＭ２３の入力情報記憶部５１に記憶（格納）する（ステップ５０１：Ｓ５０１）。「ステップｘｘｘ：Ｓｘｘｘ」を以降は、「Ｓｘｘｘ」だけで示す。

次に、入力部１０４を介して入力されたＭＩＤＩ形式の音楽情報（ＤＴ０）を入力情報記憶部５１から取り出し、取り出した音楽情報（ＤＴ０）に基づいて、複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報（ＤＴ１）を生成する。そして、生成した演奏情報（ＤＴ１）をＲＡＭ２３の演奏情報記憶部５２に記憶（格納）する（Ｓ５０２）。

ここで、音楽情報（ＤＴ０）及び演奏情報（ＤＴ１）は、図３及び図４を参照して説明した上述の音楽情報（ＤＴ０）及び演奏情報（ＤＴ１）と同じ情報である。また、音楽情報（ＤＴ０）及び演奏情報（ＤＴ１）は、それぞれ、複数（ｎ個）の単位音楽情報（ＤＴ０［ｉ］）及び複数（ｎ個）の単位演奏情報（ＤＴ１［ｉ］）から構成されている。尚、単位音楽情報及び単位演奏情報は、ｉ（ｉ＝１〜ｎ）によって識別されたイベントに関する情報である。

次に、Ｓ５０２によって生成された演奏情報（ＤＴ１）に基づいて、シンセサイザ１１０に演奏命令を出力する（Ｓ５０３）。尚、Ｓ５０３の処理は、上述したＳ１０３の処理と同じ処理である。次に、シンセサイザ１１０は、該演奏命令に基づいて、音の合成を行い、該合成音を出力する（Ｓ５０４）。

また、Ｓ５０２によって生成された演奏情報（ＤＴ１）に基づいて、演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を生成し、生成した音楽演奏画像情報を連続して表示する表示信号を表示部１２０に出力する（Ｓ５０５）。次に、表示部１２０は、該表示信号に応じて、複数のキャラクタがそれぞれ楽器の演奏または歌唱をする動作の画像情報を表示する（Ｓ５０６）。

ここで、Ｓ５０３及びＳ５０４と、Ｓ５０５及びＳ５０６とは、Ｓ５０２によって生成された演奏情報（ＤＴ１）に基づいて、並行処理されるステップである。
また、上述した本発明の一実施形態にかかるキャラクタ演奏方法の各工程のうち、Ｓ５０１，Ｓ５０２，Ｓ５０３及びＳ５０５が、別の本発明の一実施形態にかかるキャラクタ演奏画像生成方法の各工程に対応する。

次に、図１４に示したＳ５０５の動作表示処理を、図１５を参照して説明する。図１５に示すように、まず、予めＲＡＭ２３の画像情報記憶部５４に記憶されている各種の環境情報に合わせた複数の環境動作画像の情報（環境動作画像情報）を含んでなる環境動作画像情報群の中から、入力部１０４を介して入力されたキャラクタが演奏する環境情報に基づいた複数の環境動作画像情報を取り出す（Ｓ６０１）。次に、Ｓ６０１で取り出した複数の環境動作画像情報をＳ６０６へ送る（Ｓ６０２）。

次に、Ｓ５０２によって生成された演奏情報（ＤＴ１）を演奏情報記憶部５２から取り出す（Ｓ６０３）。次に、取り出した演奏情報（ＤＴ１）を構成する単位演奏情報（ＤＴ１［ｉ］）の演奏イベント情報（ＥＤ１［ｉ］）に基づいて、予め画像情報記憶部５４に記憶されている各種のキャラクタの演奏の動作に合わせた複数の演奏動作画像の情報（演奏動作画像情報）を含んでなる演奏動作画像情報群の中から、それぞれのキャラクタに応じた楽器の複数の演奏動作画像情報を取り出す（Ｓ６０４）。次に、取り出した複数の演奏動作画像情報をＳ６０６へ送る（Ｓ６０５）。

次に、Ｓ６０１で取り出された複数の環境動作画像情報と、Ｓ６０３で取り出された演奏イベント情報（ＥＤ１［ｉ］）に基づいた複数の演奏動作画像情報とを合成して、複数の音楽演奏画像情報を生成する（Ｓ６０６）。次に、Ｓ６０６で生成した音楽演奏画像情報を連続して表示する該演奏イベント情報（ＥＤ１［ｉ］）に対応する表示信号を、演奏時間情報（ΔＴ１［ｉ］）のタイミングで表示部１２０に出力する（Ｓ６０７）。

上述した別の本発明の一実施形態にかかるキャラクタ演奏方法及び本発明の一実施形態にかかるキャラクタ演奏画像生成方法により、音楽情報にあった楽器の演奏動作の画像情報を、予め作成しておく必要が無いため、ユーザ自身がネットワークからダウンロードした楽曲やユーザ自身が作曲した楽曲等の所望の音楽情報をコンピュータに入力するだけで、該コンピュータを用いて実現される仮想空間内の楽器を持った複数のキャラクタに、所望の音楽情報に合わせて、該キャラクタに持たせた楽器の演奏動作を実行させることができる。その結果、ユーザは、仮想空間内で複数のキャラクタがそれぞれ楽器演奏を行なっているような画像を観ることができる。即ち、ユーザは所望の楽曲を聴覚からだけでなく視覚からも楽しむことができるため、より娯楽性の高いゲームソフトウェアを構築することができる。

１０，３１０ ： キャラクタ演奏画像生成装置
２０，３２０ ： 音楽演奏部
２１，３２１ ： データ生成部
２２，３２２ ： 発音制御部
２３，３２３ ： 音楽管理部
３０，３３０ ： キャラクタ動作部
３１，３３１ ： 環境動作制御部
３２，３３２ ： 演奏動作制御部
３３，３３３ ： 動作合成部
３４，３３４ ： 動作管理部
５１ ： 入力情報記憶部
５２ ： 演奏情報記憶部
５３ ： 動作情報記憶部
５４ ： 画像情報記憶部
２００，３００ ： キャラクタ演奏システム
ＤＴ０ ： 音楽情報
ＤＴ１ ： 演奏情報
ＤＴ２ ： 動作情報

Claims (24)

1. コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報の中の複数の楽器の演奏または歌唱のいずれかの動作を表示するための画像情報を生成するキャラクタ演奏画像生成装置であって、
   入力された前記音楽情報を記憶する記憶手段と、
   前記記憶手段によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報と、該演奏情報に同期して前記キャラクタがそれぞれ楽器演奏動作または歌唱動作を行っているように表示する動作情報とを生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する音楽演奏手段と、
   前記音楽演奏手段によって生成された前記動作情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力するキャラクタ動作手段と、
   を備えていることを特徴とするキャラクタ演奏画像生成装置。
2. 前記音楽演奏手段は、
   前記複数のキャラクタがそれぞれ演奏する各楽器または歌唱の演奏イベント情報と該演奏イベント情報に対応した前記演奏命令を出力するタイミングを示す演奏時間情報とを有した前記演奏情報を、前記音楽情報に基づいて生成し、前記演奏イベント情報に同期して前記キャラクタが楽器演奏動作または歌唱動作を行なっているように表示する動作イベント情報と該動作イベント情報に対応した前記表示信号を出力するタイミングを示す動作時間情報とを有した前記動作情報を、前記演奏情報に基づいて生成するデータ生成手段と、
   前記データ生成手段によって生成された前記演奏情報の前記演奏イベント情報に対応した前記演奏命令を、前記演奏イベント情報の前記演奏時間情報に従って、順次出力する発音制御手段と、
   を備え、
   前記キャラクタ動作手段は、前記データ生成手段によって生成された前記動作情報の前記動作イベント情報に基づいて前記音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する該動作イベント情報に対応した前記表示信号を、該動作イベント情報の前記動作時間情報に従って、順次出力することを特徴とする請求項１に記載のキャラクタ演奏画像生成装置。
3. 前記データ生成手段は、前記楽器または歌唱のそれぞれの前記演奏イベント情報に基づいた前記発音制御手段からの前記演奏命令の出力によって発音される発音タイミングと、該演奏イベント情報に対応した前記動作イベント情報に基づいた前記キャラクタ動作手段からの前記表示信号の出力によって前記キャラクタの楽器演奏または歌唱の発音時動作が表示される発音時動作タイミングとが一致するように、前記演奏イベント情報の前記演奏時間情報と、該演奏イベント情報に対応した前記動作イベント情報の前記動作時間情報と、を生成することを特徴とする請求項２に記載のキャラクタ演奏画像生成装置。
4. 前記データ生成手段は、
   所定の基準タイミングから前記演奏イベント情報に対応した前記演奏命令を出力するタイミングまでの時間を該演奏イベント情報の前記演奏時間情報として、すべての前記演奏イベント情報の前記演奏時間情報を算出し、算出した前記演奏イベント情報の前記演奏時間情報に基づいて、時系列にすべての前記演奏イベント情報に対応した前記演奏命令の出力を管理する前記演奏情報を生成し、
   前記所定の基準タイミングから前記動作イベント情報に対応した前記表示信号を出力するタイミングまでの時間を該動作イベント情報の前記動作間情報として、すべての前記動作イベント情報の前記動作時間情報を算出し、算出した前記動作イベント情報の前記動作時間情報に基づいて、時系列にすべての前記動作イベント情報に対応した前記表示信号の出力を管理する前記動作情報を生成し、
   前記動作時間情報の算出の際には、前記演奏イベント情報の前記演奏時間情報をΔＴ１とし、該演奏イベント情報に対応する前記動作イベント情報の前記動作時間情報をΔＴ２とし、該動作イベント情報に対応した前記キャラクタの演奏動作の動作開始から発音時動作までの時間を発音到達時間Δｔとしたとき、
   前記動作時間情報ΔＴ２が、
   ΔＴ２＝ΔＴ１−Δｔ
   を満たすように算出されることを特徴とする請求項３に記載のキャラクタ演奏画像生成装置。
5. 前記キャラクタに楽器演奏動作または歌唱動作をさせる演奏環境状況に応じた前記キャラクタの複数の環境動作画像情報を含んでなる環境動作画像情報群と、前記キャラクタが楽器演奏動作または歌唱動作をするための複数の前記動作イベント情報に対応した前記キャラクタの複数の演奏動作画像情報を含んでなる演奏動作画像情報群と、が予め記憶されており、
   前記キャラクタ動作手段は、記憶された前記環境動作画像情報群の中から指定された演奏環境に基づいて取り出した複数の環境動作画像情報と、記憶された前記演奏動作画像情報群の中から前記動作情報の前記動作イベント情報に基づいて取り出した複数の演奏動作画像情報とを合成して複数の音楽演奏画像情報を生成し、生成した前記音楽演奏画像情報を連続して表示する前記表示信号を、該動作イベント情報の前記動作時間情報に従って、順次出力することを特徴とする請求項２乃至４のいずれか１項に記載のキャラクタ演奏画像生成装置。
6. 前記音楽演奏画像情報を連続して表示される動画は、前記動作イベント情報に応じて、前記キャラクタの動作が、現在の動作状態から前記楽器毎に予め設定されている基本位置状態に移行し、該基本位置状態から発音時動作状態に移行する動画であることを特徴とする請求項２乃至５のいずれか１項に記載のキャラクタ演奏画像生成装置。
7. 前記音楽情報は、ＭＩＤＩ形式のデータであることを特徴とする請求項１乃至６のいずれか１項に記載のキャラクタ演奏画像生成装置。
8. コンピュータに入力させた音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報の中の複数の楽器の演奏または歌唱のいずれかの動作を表示するための画像情報を生成するキャラクタ演奏画像生成方法であって、
   （ａ）入力された前記音楽情報を記憶する工程と、
   （ｂ）前記工程（ａ）によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報と、該演奏情報に同期して前記キャラクタがそれぞれ楽器演奏動作または歌唱動作を行っているように表示する動作情報とを生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する工程と、
   （ｃ）前記工程（ｂ）によって生成された前記動作情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力する工程と、
   を備え、
   前記工程（ａ）乃至（ｃ）の各工程を実現する処理を前記コンピュータに実行させることを特徴とするキャラクタ演奏画像生成方法。
9. 前記工程（ｂ）は、
   （ｂ１）前記複数のキャラクタがそれぞれ演奏する各楽器または歌唱の演奏イベント情報と該演奏イベント情報に対応した前記演奏命令を出力するタイミングを示す演奏時間情報とを有した前記演奏情報を、前記音楽情報に基づいて生成し、前記演奏イベント情報に同期して前記キャラクタが楽器演奏動作または歌唱動作を行なっているように表示する動作イベント情報と該動作イベント情報に対応した前記表示信号を出力するタイミングを示す動作時間情報とを有した前記動作情報を、前記演奏情報に基づいて生成する工程と、
   （ｂ２）前記工程（ｂ１）によって生成された前記演奏情報の前記演奏イベント情報に対応した前記演奏命令を、該演奏イベント情報の前記演奏時間情報に従って、順次出力する工程と、
   を備え、
   前記工程（ｃ）は、前記工程（ｂ１）によって生成された前記動作情報の前記動作イベント情報に基づいて前記音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する該動作イベント情報に対応した前記表示信号を、該動作イベント情報の前記動作時間情報に従って、順次出力することを特徴とする請求項８に記載のキャラクタ演奏画像生成方法。
10. 前記工程（ｂ１）は、前記楽器または歌唱のそれぞれの前記演奏イベント情報に基づいた前記工程（ｂ２）の前記演奏命令の出力によって発音される発音タイミングと、該演奏イベント情報に対応した前記動作イベント情報に基づいた前記工程（ｃ）の前記表示信号の出力によって前記キャラクタの楽器演奏または歌唱の発音時動作が表示される発音時動作タイミングとが一致するように、前記演奏イベント情報の前記演奏時間情報と、該演奏イベント情報に対応した前記動作イベント情報の前記動作時間情報と、を生成することを特徴とする請求項９に記載のキャラクタ演奏画像生成方法。
11. 前記工程（ｂ１）は、
    所定の基準タイミングから前記演奏イベント情報に対応した前記演奏命令を出力するタイミングまでの時間を該演奏イベント情報の前記演奏時間情報として、すべての前記演奏イベント情報の前記演奏時間情報を算出し、算出した前記演奏イベント情報の前記演奏時間情報に基づいて、時系列にすべての前記演奏イベント情報に対応した前記演奏命令の出力を管理する前記演奏情報を生成し、
    前記所定の基準タイミングから前記動作イベント情報に対応した前記表示信号を出力するタイミングまでの時間を該動作イベント情報の前記動作間情報として、すべての前記動作イベント情報の前記動作時間情報を算出し、算出した前記動作イベント情報の前記動作時間情報に基づいて、時系列にすべての前記動作イベント情報に対応した前記表示信号の出力を管理する前記動作情報を生成し、
    前記動作時間情報の算出の際には、前記演奏イベント情報の前記演奏時間情報をΔＴ１とし、該演奏イベント情報に対応する前記動作イベント情報の前記動作時間情報をΔＴ２とし、該動作イベント情報に対応した前記キャラクタの演奏動作の動作開始から発音時動作までの時間を発音到達時間Δｔとしたとき、
    前記動作時間情報ΔＴ２が、
    ΔＴ２＝ΔＴ１−Δｔ
    を満たすように算出されることを特徴とする請求項１０に記載のキャラクタ演奏画像生成方法。
12. 前記キャラクタに楽器演奏動作または歌唱動作をさせる演奏環境状況に応じた前記キャラクタの複数の環境動作画像情報を含んでなる環境動作画像情報群と、前記キャラクタが楽器演奏動作または歌唱動作をするための複数の前記動作イベント情報に対応した前記キャラクタの複数の演奏動作画像情報を含んでなる演奏動作画像情報群と、が予め記憶されており、
    前記工程（ｃ）は、記憶された前記環境動作画像情報群の中から指定された演奏環境に基づいて取り出した複数の環境動作画像情報と、記憶された前記演奏動作画像情報群の中から前記動作情報の前記動作イベント情報に基づいて取り出した複数の演奏動作画像情報とを合成して複数の音楽演奏画像情報を生成し、生成した前記音楽演奏画像情報を連続して表示する前記表示信号を、該動作イベント情報の前記動作時間情報に従って、順次出力することを特徴とする請求項９乃至１１のいずれか１項に記載のキャラクタ演奏画像生成方法。
13. 前記音楽演奏画像情報を連続して表示される動画は、前記動作イベント情報に応じて、前記キャラクタの動作が、現在の動作状態から前記楽器毎に予め設定されている基本位置状態に移行し、該基本位置状態から発音時動作状態に移行する動画であることを特徴とする請求項９乃至１２のいずれか１項に記載のキャラクタ演奏画像生成方法。
14. 前記音楽情報は、ＭＩＤＩ形式のデータであることを特徴とする請求項８乃至１３のいずれか１項に記載のキャラクタ演奏画像生成方法。
15. コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報中の複数の楽器の演奏または歌唱のいずれかの動作を表示するキャラクタ演奏システムであって、
    表示信号に応じて画像情報を表示する表示部と、
    合成部及び出力部を備え、演奏命令に基づいて、音を合成して合成音を出力する楽音合成出力部と、
    入力された音楽情報を記憶する記憶手段と、
    前記記憶手段によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報と、該演奏情報に同期して前記キャラクタがそれぞれ楽器演奏動作または歌唱動作を行っているように表示する動作情報とを生成し、生成した前記演奏情報に基づいて、前記楽音合成出力部に演奏命令を順次出力する音楽演奏手段と、
    前記音楽演奏手段によって生成された前記動作情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を、前記表示部に出力するキャラクタ動作手段と、
    を備えていることを特徴とするキャラクタ演奏システム。
16. コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報中の複数の楽器の演奏または歌唱のいずれかの動作を表示するキャラクタ演奏方法であって、
    （ａ）入力された前記音楽情報を記憶する工程と、
    （ｂ）前記工程（ａ）によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報と、該演奏情報に同期して前記キャラクタがそれぞれ楽器演奏動作または歌唱動作を行っているように表示する動作情報とを生成し、生成した前記演奏情報に基づいて、音を合成して合成音を出力する楽音合成出力部に、演奏命令を順次出力する工程と、
    （ｃ）前記工程（ｂ）によって生成された前記動作情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、表示信号に応じて画像情報を表示する表示部に、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力する工程と、
    （ｄ）前記工程（ｂ）によって出力された前記演奏命令に基づいて、前記楽音合成出力部に音を合成して合成音を出力させる工程と、
    （ｅ）前記工程（ｃ）によって出力された前記表示信号に応じて画像情報を、前記表示部に表示させる工程と、
    を備え、
    前記工程（ａ）乃至（ｅ）の各工程を実現する処理を前記コンピュータに実行させることを特徴とするキャラクタ演奏方法。
17. コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報の中の複数の楽器の演奏または歌唱のいずれかの動作を表示するための画像情報を生成するキャラクタ演奏画像生成装置であって、
    入力された前記音楽情報を記憶する記憶手段と、
    前記記憶手段によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報を生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する音楽演奏手段と、
    前記音楽演奏手段によって生成された前記演奏情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力するキャラクタ動作手段と、
    を備えていることを特徴とするキャラクタ演奏画像生成装置。
18. 前記音楽演奏手段は、
    前記複数のキャラクタがそれぞれ演奏する各楽器または歌唱の演奏イベント情報と該演奏イベント情報に対応した前記演奏命令を出力するタイミングを示す演奏時間情報とを有した前記演奏情報を、前記音楽情報に基づいて生成するデータ生成手段と、
    前記データ生成手段によって生成された前記演奏情報の前記演奏イベント情報に対応した前記演奏命令を、前記演奏イベント情報の前記演奏時間情報に従って、順次出力する発音制御手段と、
    を備え、
    前記キャラクタ動作手段は、前記データ生成手段によって生成された前記演奏情報の前記演奏イベント情報に基づいて、該演奏イベント情報に対応した楽器演奏動作または歌唱動作をキャラクタが行なっているように表示させるための前記音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する前記表示信号を、該演奏イベント情報の前記演奏時間情報に従って、順次出力することを特徴とする請求項１７に記載のキャラクタ演奏画像生成装置。
19. 前記キャラクタに楽器演奏動作または歌唱動作をさせる演奏環境状況に応じた前記キャラクタの複数の環境動作画像情報を含んでなる環境動作画像情報群と、前記キャラクタが楽器演奏動作または歌唱動作をするための複数の前記演奏イベント情報に対応した前記キャラクタの複数の演奏動作画像情報を含んでなる演奏動作画像情報群と、が予め記憶されており、
    前記キャラクタ動作手段は、記憶された前記環境動作画像情報群の中から指定された演奏環境に基づいて取り出した複数の環境動作画像情報と、記憶された前記演奏動作画像情報群の中から前記演奏情報の前記演奏イベント情報に基づいて取り出した複数の演奏動作画像情報とを合成して複数の音楽演奏画像情報を生成し、生成した前記音楽演奏画像情報を連続して表示する前記表示信号を、該演奏イベント情報の前記演奏時間情報に従って、順次出力することを特徴とする請求項１８に記載のキャラクタ演奏画像生成装置。
20. コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報の中の複数の楽器の演奏または歌唱のいずれかの動作を表示するための画像情報を生成するキャラクタ演奏画像生成方法であって、
    （ａ）入力された前記音楽情報を記憶する工程と、
    （ｂ）前記工程（ａ）によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報を生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する工程と、
    （ｃ）前記工程（ｂ）によって生成された前記演奏情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力する工程と、
    を備え、
    前記工程（ａ）乃至（ｃ）の各工程を実現する処理を前記コンピュータに実行させることを特徴とするキャラクタ演奏画像生成方法。
21. 前記工程（ｂ）は、
    （ｂ１）前記複数のキャラクタがそれぞれ演奏する各楽器または歌唱の演奏イベント情報と該演奏イベント情報に対応した前記演奏命令を出力するタイミングを示す演奏時間情報とを有した前記演奏情報を、前記音楽情報に基づいて生成する工程と、
    （ｂ２）前記工程（ｂ１）によって生成された前記演奏情報の前記演奏イベント情報に対応した前記演奏命令を、前記演奏イベント情報の前記演奏時間情報に従って、順次出力する工程と、
    を備え、
    前記工程（ｃ）は、前記工程（ｂ１）によって生成された前記演奏情報の前記演奏イベント情報に基づいて、該演奏イベント情報に対応した楽器演奏動作または歌唱動作をキャラクタが行なっているように表示させるための前記音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する前記表示信号を、該演奏イベント情報の前記演奏時間情報に従って、順次出力することを特徴とする請求項２０に記載のキャラクタ演奏画像生成方法。
22. 前記キャラクタに楽器演奏動作または歌唱動作をさせる演奏環境状況に応じた前記キャラクタの複数の環境動作画像情報を含んでなる環境動作画像情報群と、前記キャラクタが楽器演奏動作または歌唱動作をするための複数の前記演奏イベント情報に対応した前記キャラクタの複数の演奏動作画像情報を含んでなる演奏動作画像情報群と、が予め記憶されており、
    前記工程（ｃ）は、記憶された前記環境動作画像情報群の中から指定された演奏環境に基づいて取り出した複数の環境動作画像情報と、記憶された前記演奏動作画像情報群の中から前記演奏情報の前記演奏イベント情報に基づいて取り出した複数の演奏動作画像情報とを合成して複数の音楽演奏画像情報を生成し、生成した前記音楽演奏画像情報を連続して表示する前記表示信号を、該演奏イベント情報の前記演奏時間情報に従って、順次出力することを特徴とする請求項２１に記載のキャラクタ演奏画像生成方法。
23. コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報中の複数の楽器の演奏または歌唱のいずれかの動作を表示するキャラクタ演奏システムであって、
    表示信号に応じて画像情報を表示する表示部と、
    合成部及び出力部を備え、演奏命令に基づいて、音を合成して合成音を出力する楽音合成出力部と、
    入力された前記音楽情報を記憶する記憶手段と、
    前記記憶手段によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報を生成し、生成した前記演奏情報に基づいて、前記楽音合成出力部に演奏命令を順次出力する音楽演奏手段と、
    前記音楽演奏手段によって生成された前記演奏情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を、前記表示部に出力するキャラクタ動作手段と、
    を備えていることを特徴とするキャラクタ演奏画像生成装置。
24. コンピュータに入力された音楽情報の出力タイミングに合わせて、複数のキャラクタが、前記音楽情報中の複数の楽器の演奏または歌唱のいずれかの動作を表示するキャラクタ演奏方法であって、
    （ａ）入力された前記音楽情報を記憶する工程と、
    （ｂ）前記工程（ａ）によって記憶された前記音楽情報から、前記複数のキャラクタの動作を同期させる楽器の演奏または歌唱を含んでなる演奏情報を生成し、生成した前記演奏情報に基づいて、演奏命令を順次出力する工程と、
    （ｃ）前記工程（ｂ）によって生成された前記演奏情報に基づいて、前記演奏命令に同期してキャラクタが楽器演奏動作または歌唱動作を行なっているように表示させるための音楽演奏画像情報を順次生成し、前記生成した音楽演奏画像情報を連続して表示する表示信号を出力する工程と、
    （ｄ）前記工程（ｂ）によって出力された前記演奏命令に基づいて、前記楽音合成出力部に音を合成して合成音を出力させる工程と、
    （ｅ）前記工程（ｃ）によって出力された前記表示信号に応じて画像情報を、前記表示部に表示させる工程と、
    を備え、
    前記工程（ａ）乃至（ｅ）の各工程を実現する処理を前記コンピュータに実行させることを特徴とするキャラクタ演奏方法。

Images