JP2004064191A

JP2004064191A - 通信端末装置

Info

Publication number: JP2004064191A
Application number: JP2002216330A
Authority: JP
Inventors: Masaharu Hirohata; 広幡　将治
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-07-25
Filing date: 2002-07-25
Publication date: 2004-02-26

Abstract

【課題】通信端末装置では、楽曲の演奏とアニメーション表示は個別に行いそれぞれ独立した時間軸上で演奏／表示されて、速度もバラバラでまとまりが無く面白みにかけるという問題があった。
【解決手段】音声や楽曲を再生する音声再生手段と、文字、画像を表示する表示手段と、アニメーションの素材データと、前記素材データをもとに前記表示手段にアニメーションを表示する描画手段と、アニメーションの表示タイミングを記述するシナリオデータと、前記シナリオデータに従い前記音声再生手段による音声や楽曲の再生のタイミングにあわせて、前記描画手段にアニメーション表示を指示する描画制御手段とを備える。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、音声や楽曲の再生と文字や画像の表示が可能な通信端末装置に関する。
【０００２】
【従来の技術】
近年、広く普及している携帯電話端末や通信機能を備えた携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｃｅ）では、電話着信時やメール着信時に楽曲を再生し、さらに表示装置を備えているこれらの通信端末装置では電話番号や発呼者を表示することが一般的となっている。性能に余裕のある端末に至っては画像を表示し、さらにはアニメーション表示するものも存在する。通信端末装置の備えるＰＩＭ（Ｐｅｒｓｏｎａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｍａｎａｇｅｒ）には住所録情報にあわせて個人／登録番号毎に演奏される音楽や表示される画像を指定することができる場合もある。ユーザは演奏される音楽や表示される画像・アニメーションから電話番号や発呼者の識別を補助することも一般的となっている。
【０００３】
【発明が解決しようとする課題】
しかし、従来の通信端末装置では、音声や楽曲の再生とアニメーション表示は個別に行いそれぞれ独立した時間軸上で演奏／表示されて、速度もバラバラでまとまりが無く面白みにかけるという問題があった。
【０００４】
本発明は、音声や楽曲の再生とアニメーション表示との同期再生を行い、ユーザが演奏と表示をより楽しむことができる通信端末装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
第１の発明の通信端末装置は、
音声や楽曲の再生と文字や画像の表示が可能な通信端末装置であって、
音声、楽曲を再生する音声再生手段と、
文字、画像を表示する表示手段と、
アニメーションの素材データと、
素材データをもとに表示手段にアニメーションを表示する描画手段と、
アニメーションの表示タイミングを記述するシナリオデータと、
シナリオデータに従い音声再生手段による音声や楽曲の再生のタイミングに従い、描画手段にアニメーション表示を指示する描画制御手段と、
を備える。
【０００６】
上記第１の発明によれば、適切に記述されたシナリオデータに示される表示タイミングで音声や楽曲の進行に合わせてアニメーションを表示することができるため、音声や楽曲の再生とアニメーション表示を同期させることができる。
【０００７】
第２の発明の通信端末装置は、
音声や楽曲の再生と文字や画像の表示が可能な通信端末装置であって、
音声、楽曲を再生する音声再生手段と、
文字、画像を表示する表示手段と、
アニメーションの素材データと、
素材データをもとに表示手段にアニメーションを表示する描画手段と、
音声や楽曲の指定、アニメーションの指定およびアニメーションの表示タイミングを記述するシナリオデータと、
指定された音声や楽曲およびアニメーションについて、シナリオデータに従い音声再生手段による音声や楽曲の再生タイミングにあわせて、描画手段にアニメーション表示を指示する描画制御手段と、
を備える。
【０００８】
上記第２の発明によれば、音声や楽曲の内容と対応関係の取れたアニメーションを表示できるため、データ製作者は自分の意図した調和の取れた音声や楽曲とアニメーションの同期再生をユーザに提供することができる。
【０００９】
第３の発明の通信端末装置は、
音声や楽曲の再生と文字や画像の表示が可能な通信端末装置であって、
音声、楽曲を再生する音声再生手段と、
文字、画像を表示する表示手段と、
アニメーションの素材データと、
素材データをもとに表示手段にアニメーションを表示する描画手段と、
アニメーションの表示タイミングを記述するシナリオデータと、
ひとつまたは複数のボタン、ダイアル等の操作手段と、
操作手段を所定の手順で操作することにより、シナリオデータ、音声や楽曲、およびアニメーションの対応の指定を行う手段と、
対応が指定されたシナリオデータ、音声や楽曲、およびアニメーションについて、シナリオデータに従い音声再生手段による音声や楽曲の再生タイミングにあわせて、描画手段にアニメーション表示を指示する描画制御手段と、
を備える。
【００１０】
上記第３の発明によれば、ユーザは自ら音声や楽曲とアニメーションの対応を設定できるようになり、たとえば電話着信時に発信者と関係のある楽曲の鳴動やアニメーションを設定しておくことで着信者の識別をより容易に行うことが可能となる。
【００１１】
第４の発明の通信端末装置は、
音声再生手段が描画制御手段の通知する描画時刻情報を元に音声や楽曲の再生タイミングを制御する、あるいは描画制御手段がアニメーション表示の指示をシナリオデータに記述されているアニメーション表示時刻と音声再生手段の通知する音声再生時刻情報を元に制御する。
【００１２】
上記第４の発明によれば、音声再生のタイミングにアニメーション表示が従うことにより、あるいはアニメーション表示のタイミングに音声再生が従うことにより同期表示することが可能となる。
【００１３】
第５の発明の通信端末装置は、
音声再生手段と描画制御手段は同一の元針から供給される時刻情報を元にそれぞれ音声や楽曲の再生タイミングおよびアニメーション表示の指示を制御する。
【００１４】
上記第５の発明によれば、音声再生、アニメーション表示以外の部分から通知される時刻をもとに音声再生とアニメーション表示の同期表示することが可能となる。
【００１５】
【発明の実施の形態】
以下、図１から図６を参照して、本発明の実施の形態について説明する。
（第１の実施形態）
本実施形態で使用するデータについて説明する。
【００１６】
本実施形態では、楽曲データ、アニメーションの素材データ（キャラクタデータ、動作データ）、シナリオデータ、ＰＩＭデータを使用する。
【００１７】
楽曲データとして、一般にＭＩＤＩと呼ばれる楽曲データまたはＭＩＤＩと同様に楽曲表現されたデータを使用する。通信端末装置には複数格納することが可能で、これらを楽曲識別ＩＤで管理する。
【００１８】
素材データとして、３Ｄアニメーションのデータ群を使用する。３Ｄアニメーションの要素であるテクスチャ、ポリゴン、骨格、動作のうち、テクスチャ、ポリゴン、骨格の情報を記述するキャラクタデータと、動作の情報である動作データの２種類のデータが格納されている（図４）。動作データとキャラクタデータとの間で想定する骨格の情報が等しい場合それぞれの差し替えが可能であり、たとえば特定のキャラクタデータに対し複数の動作データを具備することで、複数のアニメーションの表現が可能となる。通信端末装置に動作データを複数格納することが可能で、それぞれを動作識別ＩＤで管理する（図５）。なお、キャラクタデータも複数格納することが可能で、キャラクタ識別ＩＤで管理する。
【００１９】
動作データはキャラクタのポーズ変化の一連をデータ化したものであり、３Ｄアニメーション表示の際には、その一連の変化のうち表示したいポーズのタイミングをパラメータとして指定する必要がある。具体的には動作データには０．０から１００．０のインデックスが振られており（図５）、この値の範囲内で数値を指定することによってポーズが決定する。図６は一例として、動作識別ＩＤが２の動作データに対してインデックス７２．３を指定したときにポーズが一つ決定されたことを示す図である。
【００２０】
シナリオデータはＭＩＤＩと同様、イベント開始時刻、イベント種類、イベントパラメータをイベント発生順に記述する形態のデータである。動作識別ＩＤおよび当該動作データの表示時間をパラメータとする動作データ指定イベントがシナリオデータに記述される。その他、当該シナリオデータに記述されたアニメーション表示順で同期再生を行うことを想定している楽曲識別ＩＤを指定する等の内容についても、記述されている生起時刻を処理対象としないイベントとしてシナリオデータへの記述が可能である。シナリオデータは通信端末装置に複数格納されておりシナリオ識別ＩＤで管理する。
【００２１】
ＰＩＭデータは、通信相手を特定する情報（例えば電話番号、メールアドレス、端末製造番号など）、通信相手名、着信時に鳴動する楽曲識別ＩＤ、アニメーション表示時に使用するキャラクタ識別ＩＤ、アニメーション表示制御に使用するシナリオ識別ＩＤ等が記述されている。また通信端末装置におけるアラーム設定や電池切れなどを伝えるイベント種類、イベント生起時に鳴動する楽曲識別ＩＤ、アニメーション表示時に使用するキャラクタ識別ＩＤ、アニメーション表示制御に使用するシナリオ識別ＩＤ等も同様に記述されている。
【００２２】
次に図２、３を用いて本発明の第１の実施形態に係る通信端末装置の構成と動作の概略を説明する。
【００２３】
図２、図３は、それぞれ本発明の第１の実施形態に係る通信端末装置の構成を示すブロック図および外観を示す図である。図２、図３に示すように、本発明の通信端末装置１００において、１は機能ボタン、２はダイヤルボタン、３はディスプレイ、４はスピーカ、５はマイク、６はディスプレイインタフェイス、７はボタンインタフェイス、８は音声出力インタフェイス、９は音源ＬＳＩ、１０はプログラムメモリ、１１は通信インタフェイス、１２はアンテナ、１３は音声入力インタフェイス、１４はＲＡＭ、１５はマイコン、１７は外部メモリインタフェイス、１６は外部メモリである。また、１０１は電話網である。
【００２４】
機能ボタン１およびダイヤルボタン２はユーザに対する操作手段を提供するためのものである。機能ボタン１およびダイヤルボタン２はボタンインタフェイス７と接続され、機能ボタン１およびダイヤルボタン２の操作状態はボタンインタフェイス７と介して、マイコン１５に伝えられる。通常は、ボタンの操作により割り込み処理等が行われることになるが、このようなボタン入力の処理は機器設計において一般的に用いられる手法であり、ここではその詳細は省略する。
【００２５】
ディスプレイ３は通話の際に相手先電話番号や通信時間などの情報表示およびアニメーションの表示に用いられる。マイコン１５がディスプレイインタフェイス６を制御してディスプレイ３に描画を行う。
【００２６】
スピーカ４はユーザへの受話音声の出力および着信通知の楽曲鳴動時の音声出力として用いられる。マイコン１５が音声出力インタフェイス８を制御し、スピーカ４を通して音声が出力される。
【００２７】
マイク５はユーザからの音声データの入力に用いる。入力された音声データは音声入力インタフェイス１３を介し、マイコン１５に伝えられる。
【００２８】
音源ＬＳＩ９は各種の演奏情報を解釈し、音響データにリアルタイムに変換して、音声出力インタフェイス８に出力する。音声出力インタフェイス８は、マイク５から音声入力インタフェイス１３を介して入力された音声データを必要に応じてＭＩＸしてスピーカ４に出力する。演奏を行う際には、ＲＡＭ１４あるいは外部メモリ１６に保存された楽曲データが読み出される。楽曲データは、マイコン１５によって逐次読み出されて、音源ＬＳＩ９に書き込まれる。
【００２９】
通話やデータ通信を行う際には、マイコン１５が通信インタフェイス１１を制御し、通信インタフェイス１１はアンテナ１２を介して電話網１０１との通信を行う。電話網１０１は、ここでは無線電話網として説明しているが、有線であってもよい。さらには回線交換を行う類の通信以外にもブロードキャストされるデータを選択的に拾い上げることで行う通信方式などであってもよく、すなわちここでは通信方式を特定することを目的としていない。電話網１０１を介したデータ通信については、これも、一般的なプロトコルと暗号化・圧縮・エラー訂正などが行われるものであり、ここではその詳細は省略する。
【００３０】
これらの動作はプログラムメモリ１０に記憶されていて、図２，図３を用いて説明した動作に対応する制御は、プログラムメモリに記憶されている内容に基づいてマイコン１５が処理することによって実現されている。
【００３１】
ＲＡＭ１４および外部メモリ１６は楽曲データ、アニメーションの素材データ、シナリオデータ、ＰＩＭデータを格納する。
【００３２】
次に図１を用いて楽曲とアニメーションの同期を実現するための構成および動作について説明する。
【００３３】
図１は本発明の第１の実施形態に係る通信端末装置において楽曲とアニメーションの同期を実現するための構成を説明する図である。図１において、１８は楽曲データ、１９はシナリオデータ、２０は素材データ、２１はＰＩＭ（Ｐｅｒｓｏｎａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｍａｎａｇｅｒ）データ、２２はシナリオ解析部、２３はアニメーション描画部、２４は通信処理部である。図１で楽曲データ１８、シナリオデータ１９、素材データ２０、ＰＩＭデータ２１は、図２のＲＡＭ１４あるいは外部メモリ１６に格納されたデータであることを示している。データについては再度の説明を省略する。図１に示す構成要素のうち、既に図２で説明したものについては同一番号を付して説明を省略する。
【００３４】
シナリオ解析部２２は内部にタイマを持っている。通信処理部２４から楽曲とアニメーションの同期表示開始要求を受けると、内部のタイマを起動するとともにシナリオデータの解釈を開始する。シナリオデータ１９に記述された時刻タイミングで楽曲鳴動コントロール部２５へ鳴動指示およびアニメーション描画部２３へ描画指示を行う。シナリオデータに記述されている動作データ指定イベントから、動作データの表示開始時刻と表示時間を知ることができ、タイマ値に対して表示すべきインデックス値は
表示すべきインデックス値
＝（タイマ値−表示開始時刻）÷表示時間×動作データの最終インデックス値で算出することができる。
【００３５】
アニメーション描画部２３は素材データ２０をもとに画像を生成し、ディスプレイインタフェイス６を介してディスプレイ３にリアルタイムに画像を描画する。素材データのフォーマットによって、そのままディスプレイインタフェイス６の管理するＶＲＡＭ上にデータを展開する場合、幾何演算の後レンダリングしてＶＲＡＭに書き込む場合など処理が分かれる。本実施形態では素材データとしてキャラクタデータと動作データをもとに３Ｄアニメーションを描画するため、俗に３Ｄグラフィックスエンジンと呼ばれるプログラムを使用して描画処理を行う。３Ｄエンジンによるアニメーション表示に必要なテクスチャ、ポリゴン、骨格、動作の情報として、キャラクタデータと動作データを用いる。キャラクタデータを指定した後、描画したい動作データの動作識別ＩＤおよび表示すべきインデックスを指定することで３Ｄアニメーションのポーズが評価され描画される。
【００３６】
通信処理部２４は、通信インタフェイス１１を介して通話やデータ通信時の相手側通信端末装置との通信方式についてのネゴシエーションを行い、データの送受信を行う。
【００３７】
楽曲鳴動コントロール部２５は楽曲データ１８を読み込み逐次音源ＬＳＩ９へと書き込む。音源ＬＳＩ９が各種の演奏情報を解釈し、音響データにリアルタイムに変換し、音声出力インタフェイス８を介してスピーカから楽曲が出力される。
次に図１に示した構成に基づき楽曲とアニメーションを同期するための動作について説明する。ここでは着信時あるいはアラーム起動や電池切れといったイベント発生時、あるいはユーザのキー入力等をトリガーとする演奏開始イベント発生時に同期表示を行うことを例とする。なお、着信時あるいはアラーム起動や電池切れといったイベントの発生は、たとえばアンテナ１２、通信インタフェイス１１を経由し通信処理部２４で着信イベントとして認識されるように、一般的な通信端末装置で実現されている手法であり、ここではその詳細を省略する。各イベント発生は通信処理部２４へ通知されたものとして以降の説明を行う。またユーザのキー入力は、機能ボタン１、ダイヤルボタン２、ボタンインタフェイス７を経由しマイコン１５でイベントやコマンドとして認識されるといったことについても一般的な通信端末装置で実現されている手法であり、マイコン１５で解釈された楽曲の指定やキャラクタの指定については演奏開始イベントとともに通信処理部２４へ通知されるものとして以降の説明を行う。楽曲やキャラクタの指定は具体的には楽曲識別ＩＤやキャラクタ識別ＩＤ、シナリオ識別ＩＤ等として通信処理部２４へ通知されるものとして以降の説明を行う。
【００３８】
着信時あるいはアラーム起動や電池切れといったイベント発生時に楽曲を鳴動するようあらかじめ設定がなされていた場合、あるいはユーザのキー入力等のトリガーにより演奏開始イベントが発生した場合、イベント発生を通信処理部２４で認識すると、ＰＩＭ２１を参照し当該着信の発信者に対応するシナリオ識別ＩＤ、生起イベントに対応するシナリオ識別ＩＤあるいはユーザの指定したシナリオ識別ＩＤを読み取り、シナリオ解析部２２に対しシナリオ識別ＩＤをパラメータとして楽曲鳴動を指示する。
【００３９】
シナリオ解析部２２は通信処理部２４から特に楽曲識別ＩＤの指定があった場合には、楽曲鳴動コントロール部２５に対し当該楽曲識別ＩＤに対応する楽曲データの読み込みを開始するよう指示する。指定がなかった場合は、シナリオデータ１９に記述された楽曲識別ＩＤを読み込み、楽曲鳴動コントロール部２５に対し当該楽曲識別ＩＤに対応する楽曲データの読み込みを開始するよう指示する。またアニメーション描画部に対しシナリオに記述されたキャラクタ識別ＩＤを読み込み当該キャラクタ識別ＩＤに対応するキャラクタデータ読み込みを開始するように指示する。さらにシナリオデータに楽曲識別ＩＤやキャラクタ識別ＩＤが記述されていなかった場合はあらかじめ別途設定されているデフォルトの楽曲識別ＩＤやキャラクタ識別ＩＤを用いる。
【００４０】
データ読み込みの開始を指示した後、シナリオ解析部２２はその内部に持つタイマを起動する。一定周期ごとに楽曲鳴動コントロール部２５にこのタイマ値を伝えるのとあわせて、タイマ値に対応する時刻までのシナリオデータ１９を順次読み込み、記述された動作識別ＩＤおよび算出されたインデックスをアニメーション描画部２３に伝える。アニメーション描画部２３は指定された動作識別ＩＤに対応する動作データを読み込み指定されたインデックスに対応するアニメーションのポーズの情報を先に指定されたキャラクタに適応し、表示内容を演算し、その結果をディスプレイインタフェイス６を経由してディスプレイ３に対して描画する。これによりタイマ値に対応するアニメーションが描画される。
【００４１】
一方、楽曲鳴動コントロール部２５は伝えられたタイマ値に対応する時刻までの楽曲データを順次音源ＬＳＩ９に書き込まれ、リアルタイムに処理され、音声出力インタフェイス８を介してスピーカ４から出力される。こうすることでタイマ値に対応する時刻位置の楽曲の再生が行われる。つまり楽曲とシナリオデータ１９に指定されたアニメーションが同じタイマ値を参照してリアルタイムに処理されることで同期再生が実現される。
【００４２】
これらの動作はプログラムメモリ１０に記憶されていて、図１を用いて説明した動作に対応する制御は、プログラムメモリに記憶されている内容に基づいてマイコン１５が処理することによって実現されている。
【００４３】
なお、通信処理部２４がＰＩＭ２１を参照した際、当該着信の発信者に対応するシナリオ識別ＩＤ以外に楽曲識別ＩＤやキャラクタ識別ＩＤが記述されていた場合これらを読み取り、シナリオ解析部２２に対しシナリオ識別ＩＤに併せて楽曲識別ＩＤやキャラクタ識別ＩＤをパラメータとして楽曲鳴動を指示する。楽曲識別ＩＤが指定された場合、シナリオデータに記述された楽曲識別ＩＤに優先して楽曲鳴動コントロール部２５に伝えられ、ＰＩＭ２１に記述された楽曲識別ＩＤに対応する楽曲が演奏される。また、キャラクタ識別ＩＤが指定された場合、シナリオデータに記述されたキャラクタ識別ＩＤに優先してアニメーション描画部２３に伝えられ、ＰＩＭ２１に記述されたキャラクタ識別ＩＤに対応するキャラクタでアニメーション描画が行われる。
【００４４】
以上本実施形態によればシナリオデータ１９に記述された動作データの表示順に従いシナリオ解析部２２の具備するタイマをもとにアニメーションを表示するとともに、同じタイマを使用して楽曲を再生したことにより同期再生が実現される。
【００４５】
なお、本実施形態では同期を行うためのタイマをシナリオ解析部２２が具備したが、シナリオ解析２２と楽曲鳴動コントロール部２５が同じタイマ値をもとに動作することが目的であり、例えば楽曲鳴動コントロール部２５がタイマを具備することも考えられる。この場合、楽曲鳴動コントロール部はタイマ値をシナリオ解析部２２に伝えつつ、タイマ値に対応する時刻までの楽曲データを音源ＬＳＩ９に書き込み、シナリオ解析部２２はタイマ値に対応する時刻までのシナリオデータを解釈しアニメーション描画部２３に動作識別ＩＤおよびインデックスを指定することで同期再生が実現される。あるいはシナリオ解析部２２および楽曲鳴動コントロール部２５でもなく、まったく別のコンポーネントがタイマを具備し、シナリオ解析部２２および楽曲鳴動コントロール部２５に対しタイマ値を通知し、楽曲鳴動コントロール部２５は通知されたタイマ値に対応する時刻までの楽曲データを音源ＬＳＩ９に書き込み、シナリオ解析部２２は通知されたタイマ値に対応する時刻までのシナリオデータを解釈しアニメーション描画部２３に動作識別ＩＤおよびインデックスを指定することで同期再生が可能となる。
【００４６】
なお、本実施形態では楽曲データとしてＭＩＤＩおよびＭＩＤＩ相当のデータを使用するとしたが、音声や楽曲であって時刻を指定するあるいは再生時刻を取得することができるデータであればよく、例えばＰＣＭやＭＰ３などで知られる録音音声などでもよい。
【００４７】
なお、本実施形態ではアニメーションの素材データとして３Ｄアニメーションのデータ群を用いたが２Ｄグラフィックス用のデータであってもよく、あるいはベクタデータによるアニメーション用のデータなどでも、あるいはこれらの複合であってもよい。
【００４８】
なお、楽曲データ、アニメーションの素材データ、シナリオデータはあらかじめデータメモリに格納されているばかりでなく、通信端末装置の保有するデータ通信機能によりダウンロードし追加格納が可能である。アンテナ１２、通信インタフェイス１１を経由しダウンロードされたデータはマイコン１５で処理されＲＡＭ１４または外部メモリインタフェイス１７を介して外部メモリ１６に保存される。外部メモリを用いることにより、本体内蔵メモリの容量に制限されることなく記憶容量を増やすことができ、同時に、データを他の機器で演奏・表示させることも可能になる。また逆に、他の機器での演奏やコピーを禁止する場合には外部メモリへの書き込みを不許可とする、あるいは、通信端末装置１００にＩＤを付け、データを記憶する際にＩＤを付与し、演奏・表示時には、付与したＩＤと通信端末装置１００のＩＤが一致した場合のみ再生可能とするなどの方法によって、特定の通信端末装置１００でのみ演奏を可能にすることが可能である。
【００４９】
楽曲データには、さらに歌詞データ、歌詞の表示制御データ（＝文字数、色変りタイミング、行切り替え、ページ切り替え、色指定などの情報を含むデータ）、楽曲データの一部または全部を着信メロディとして設定する際やＡ−Ｂ点のリピート設定などを行うための演奏マーカデータ、演奏を補助する為の画像データおよび背景画像データなどを含ませ、カラオケやプレゼンテーション用途で制作されたものであってもよい。この場合、歌詞データ、歌詞の表示制御データもマイコン１５によって逐次読み出されて、ディスプレイインタフェイス６に書き込まれる。ディスプレイインタフェイスは、書き込まれた歌詞データ、歌詞の表示制御データに基づいてディスプレイ３を制御して、カラオケ演奏に合わせて、歌詞のテロップ表示その他カラオケに付随する各種のディスプレイ表示を行う。シナリオデータの解釈により生成された３Ｄキャラクタを背景画像データに合成するなどしてもよい。
【００５０】
なお、プログラムメモリ１０は、プログラムの書き変えが不可能なＲＯＭ等の固定的なメモリで構成されていても良く、あるいは、外部メモリ１６や電話回線を通じてダウンロードして使用可能なようにフラッシュメモリ等の書き換え可能なメモリで構成されていても良い。プログラムを電話回線等でダウンロード可能な構成とした場合は、楽曲データの配信装置に最新のプログラムを記憶させ、プログラムが更新された場合は、接続時に自動的にプログラムがプログラムメモリ１０にダウンロードして更新される構成としても良い。
【００５１】
また、マイコン１５における処理は、プログラムメモリ１０のプログラムにより制御される必要は必ずしもなく、サーバ装置と通信しながら、その指示により制御される構成としても良い。
【００５２】
なお、本実施形態で示した通信処理部２４からシナリオ解析部２２へと伝えられるイベントのうち着信を除くものについては通信端末装置の通信機能を用いずに実現することも可能である。通信端末装置において音楽再生機能・表示機能（情報端末と呼ぶことにする）と通信機能を分離した類のシステムにおいて、あるいは情報端末単独で、情報端末に各種データを組み込んでおくなどしてアラームや電池切れ等のイベント発生時に楽曲とアニメーションの同期表示も可能である。データの追加として、ダウンロードは通信機能を持つ装置とのシステム構成が必要となるが、外部メモリを用いて他の機器から各種データを追加することも可能であることは言うまでもない。
【００５３】
【発明の効果】
以上詳細に説明したように、本発明は、楽曲の鳴動や情報表示の可能な音声通信あるいはデータ通信を行う通信端末装置であって、
楽曲を鳴動させる音楽鳴動手段と、文字、画像を表示する表示手段と、前記素材データをもとに前記表示手段にアニメーションを表示する描画手段と、アニメーションの表示タイミングを記述するシナリオデータと、シナリオデータを解釈し音楽鳴動手段による楽曲の鳴動のタイミングにあわせて、描画手段にアニメーション表示を指示する手段とを備えたので楽曲とアニメーションの同期再生を楽しむことができる。同期していることで見栄えのよくなるダンスなどのコンテンツや、映像をタイミングのよい音楽再生の効果で高めるように制作されたコンテンツによる表現効果が高まる。
【００５４】
データはダウンロード可能であり、着信者毎やイベント毎に再生・表示内容の設定の変更が可能なので着信者を想像させるような楽曲やアニメーションを設定するなどして着信者の識別をより楽しいものにすることができるようになった。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る通信端末装置において楽曲とアニメーションの同期を実現するための構成を説明する図
【図２】本発明の第１の実施形態に係る通信端末装置の構成を示すブロック図
【図３】本発明の第１の実施形態に係る通信端末装置の外観を示す図
【図４】キャラクタデータと動作データから構成される素材データの説明図
【図５】動作識別ＩＤで管理された複数の動作データの説明図
【図６】動作識別ＩＤが２の動作データに対してインデックス７２．３を指定したときにポーズが一つ決定されたことを示す図
【符号の説明】
１　機能ボタン
２　ダイヤルボタン
３　ディスプレイ
４　スピーカ
５　マイク
６　ディスプレイインタフェイス
７　ボタンインタフェイス
８　音声出力インタフェイス
９　音源ＬＳＩ
１０　プログラムメモリ
１１　通信インタフェイス
１２　アンテナ
１３　音声入力インタフェイス
１４　ＲＡＭ
１５　マイコン
１６　外部メモリ
１７　外部メモリインタフェイス
１８　楽曲データ
１９　シナリオデータ
２０　素材データ
２１　ＰＩＭデータ
２２　シナリオ解析部
２３　アニメーション描画部
２４　通信処理部
２５　楽曲鳴動コントロール部
１００　通信端末装置
１０１　電話網

Claims

音声や楽曲の再生と文字や画像の表示が可能な通信端末装置であって、
音声、楽曲を再生する音声再生手段と、
文字、画像を表示する表示手段と、
アニメーションの素材データと、
前記素材データをもとに前記表示手段にアニメーションを表示する描画手段と、
アニメーションの表示タイミングを記述するシナリオデータと、
前記シナリオデータに従い前記音声再生手段による音声や楽曲の再生のタイミングに従い、前記描画手段にアニメーション表示を指示する描画制御手段と、
を備えたことを特徴とする通信端末装置。
音声や楽曲の再生と文字や画像の表示が可能な通信端末装置であって、
音声、楽曲を再生する音声再生手段と、
文字、画像を表示する表示手段と、
アニメーションの素材データと、
前記素材データをもとに前記表示手段にアニメーションを表示する描画手段と、
音声や楽曲の指定、アニメーションの指定およびアニメーションの表示タイミングを記述するシナリオデータと、
前記指定された音声や楽曲およびアニメーションについて、前記シナリオデータに従い前記音声再生手段による音声や楽曲の再生タイミングにあわせて、前記描画手段にアニメーション表示を指示する描画制御手段と、
を備えたことを特徴とする通信端末装置。
音声や楽曲の再生と文字や画像の表示が可能な通信端末装置であって、
音声、楽曲を再生する音声再生手段と、
文字、画像を表示する表示手段と、
アニメーションの素材データと、
前記素材データをもとに前記表示手段にアニメーションを表示する描画手段と、
アニメーションの表示タイミングを記述するシナリオデータと、
ひとつまたは複数のボタン、ダイアル等の操作手段と、
前記操作手段を所定の手順で操作することにより、シナリオデータ、音声や楽曲、およびアニメーションの対応の指定を行う手段と、
前記対応が指定されたシナリオデータ、音声や楽曲、およびアニメーションについて、前記シナリオデータに従い前記音声再生手段による音声や楽曲の再生タイミングにあわせて、前記描画手段にアニメーション表示を指示する描画制御手段と、
を備えたことを特徴とする通信端末装置。
前記音声再生手段が前記描画制御手段の通知する描画時刻情報を元に音声や楽曲の再生タイミングを制御する、あるいは前記描画制御手段がアニメーション表示の指示を前記シナリオデータに記述されているアニメーション表示時刻時刻と前記音声再生手段の通知する音声再生時刻情報を元に制御する、ことを特徴とする請求項１から３のいずれかに記載の通信端末装置。
前記音声再生手段と前記描画制御手段は同一の元針から供給される時刻情報を元にそれぞれ音声や楽曲の再生タイミングおよびアニメーション表示の指示を制御する、
ことを特徴とする請求項１から３のいずれかに記載の通信端末装置。