JP4077525B2

JP4077525B2 - Multimedia information reproducing apparatus and multimedia information recording apparatus

Info

Publication number: JP4077525B2
Application number: JP19980795A
Authority: JP
Inventors: 眞宏河合; 雅弘大蘆; 雄規楠見; 千尋川原
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1995-08-04
Filing date: 1995-08-04
Publication date: 2008-04-16
Anticipated expiration: 2015-08-04
Also published as: JPH0950437A

Description

【０００１】
【産業上の利用分野】
本発明は、ネットワークを介して接続されているデータサーバなどに備えられた記憶装置に、動画情報、静止画情報、グラフィックおよび音声情報などからなるマルチメディア情報を記録するマルチメディア情報記録装置、および、前記データサーバなどから前記マルチメディア情報を読み出して再生するマルチメディア情報再生装置に関する。
【０００２】
【従来の技術】
近年、読み出し専用のマルチメディア情報再生装置として、ＴＶゲーム機、電子書籍、高級カラオケ装置およびビデオ・オン・デマンド装置などが利用されている。これらのマルチメディア情報再生装置は、光ディスク（ＣＤ−ＲＯＭ）やデジタルビデオディスク（ＤＶＤ）に記録されたマルチメディア情報、および、ネットワークなどを介してデータサーバから伝送されてきたマルチメディア情報などを再生する。
【０００３】
以下、上記のような従来のマルチメディア情報再生装置の一例として、特開平５−２８６４８号公報に開示されている「電子紙芝居」について説明する。図１４は、従来のマルチメディア情報再生装置において画像と音声との同期再生が行われるマルチメディア情報のデータ構成の一例を示す説明図である。
図１４のデータ領域欄および制御情報欄に示すデータおよび情報は、デジタルディスクなどの記録媒体に記録されており、音声データおよび静止画データなどが混在する、データ領域欄に示した所定量のデータから構成されるブロック毎に、制御情報欄に示した制御情報が記録されている。図１４において、データ領域欄のＡｎ（ただし、ｎは、自然数）は音声データを示し、ＶｎＢ、ＶｎＣはそれぞれ静止画Ｂ、静止画Ｃのデータを示し、ＣＬＵＴ（カラールックアップテーブル）はＣＬＵＴデータを示し、ＮＯＰｎは無操作データを示す。制御情報欄の（１）はデータの書き込み命令を示し、（２）はＣＬＵＴデータ命令を示し、（３）はデータ表示命令を示し、（４）はオーディオデータ命令を示し、（５）は無操作命令を示す。表示画面欄のＡ、Ｂはそれぞれ画面に表示している静止画Ａ、Ｂを示す。
【０００４】
制御情報欄の各命令は、左側から右側に向かって順次実行される。まず、ディジタル化された音声情報であるオーディオデータＡ１は、制御情報（４）により、オーディオデータメモリに転送され、オーディオ用Ｄ／Ａ（デジタル／アナログ）変換器を経てアナログオーディオ信号として出力される。ビデオデータＶ１Ｂは、制御情報（１）により静止画の書き込み領域が指定され、Ｖ１ＢからＶ４２Ｂのビデオ用メモリの所定の位置に書き込まれる。ＣＬＵＴデータは、制御情報（２）により表示画面の更新を行う。ＣＬＵＴメモリの内容にしたがって、ビデオ用メモリの内容がビデオ用のＤ／Ａ変換器でアナログビデオ信号に変換され、画面に表示される。図１４に示した例においては、オーディオ信号Ａ４４に同期して表示画面をＡからＢに切り替えることができる。以下、図示しない静止画Ｃ以降、同様の処理を行うことにより、表示画面と音声とを同期させながら再生することができる。
【０００５】
また、以下に、マルチメディア情報再生装置における一般的な再生処理について説明する。マルチメディア情報再生装置は、ＣＲＴ（陰極線管）や液晶ディスプレイなどの表示装置の走査線（通常５００本以上）とページ（通常約１／３０秒毎に表示される１画面分の表示内容）とに対応づけて、ディジタル化された画像信号中にあらかじめ挿入されている行終了信号やページ終了信号等を、前記表示装置の走査線とページとに一致させて表示することにより、前記データサーバから送信されてきた画像情報を、前述のような表示装置の表示面上における所定位置に表示する。
【０００６】
マルチメディア情報再生装置は、前記表示装置の各画素に対応づけて表示される内容を、それぞれ上下、左右に連続する２画素に対応づけて、あるいは、表示内容を補間して表示し、表示される画像の大きさを２×２倍に拡大する。各画素に対応する表示内容を、１画素分ずつ間引いて画素に対応づけ、表示することにより、表示される画像の大きさを１／２倍に縮小する。さらに、マルチメディア情報再生装置は、三角関数を使用して各画素の座標を変換することにより、表示される画像を回転させる。また、前記データサーバ内の記憶装置には、通常、前記表示装置の表示面における画素と比べて、さらに高密度な画素に対応づけて表示内容が記録されており、通常の表示に際しては、表示装置の画素密度に応じて適正な画像が表示されるように所定の調整が施されている。このため、データサーバ内の記憶装置には小さい静止画として記憶されている画像を、表示装置の表示面一杯に拡大して表示する場合にも、実用上の問題はない。
【０００７】
また、マルチメディア情報再生装置は、一般的に、前記データサーバから受信したマルチメディア情報を再生するのに必要なプログラムを装備しているが、そのプログラムに連動して、そのマルチメディア情報に独自に新たに追加あるいは変更された命令などが実行されるように、マルチメディア情報内に別のプログラムをあらかじめ書き込んでおく場合がある。この場合、マルチメディア情報内に書き込まれる別のプログラムには、例えば、「〔」、「〕」などに類似した記号等が付与され、マルチメディア情報再生装置は、その記号等を認識することにより、実行されるべきプログラムを認識する。
【０００８】
さらに、マルチメディア情報再生装置は、約１／３０秒毎に、ＶＲＡＭ（ビデオＲＡＭ）内に記憶されている表示データを読み込んで表示するという動作を繰り返すことにより、表示時間の経過に対して画像が静止している静止画を前記表示装置に表示する。これに対し動画の表示は、約１／３０秒毎に、ＶＲＡＭ内に記憶されている表示データを更新し、更新された表示データを読み込んで表示するという動作を繰り返すことにより行われる。このため、表示装置の各表示面を表す表示データは、動画ならば約１／３０秒で１つの記憶単位を構成する。
【０００９】
動画と同時に再生される音声は、約１／３０秒毎の再生時間に区切って、動画を構成する各表示データと一体的に読み合わせて、前記記録媒体および前記記憶装置に記憶させることが可能である。この場合には、マルチメディア情報再生装置は、音声を動画にあわせて区切れなく再生するために、少なくとも約１／３０秒分の音声データを記憶する記憶部を備えている。
【００１０】
【発明が解決しようとする課題】
しかしながら、上記従来例では、映画、音声等およびそれらの制御等に関するデータは固定的に記憶されている。例えば、画像を表すデータについていえば、一度に画面に表示される静止画のデータは、背景などを含んだ１画面分全体の表示画像を表すデータが１つの静止画データとして記憶される。このため、静止画の一部の画像を画面内の異なる位置に移動して表示したり、静止画の一部の画像を拡大あるいは縮小して表示するなど、表示画像の一部分だけを変更して表示する場合であっても、静止画の一部の画像の表示位置や大きさを変更した１画面分全体の表示画像を表す静止画データを、あらかじめ全て作成してデータサーバ内に格納しておく必要がある。また、これを表示する場合には、その都度、新たにデータサーバから静止画データを読み込まなければならないため、単位時間あたりに表示できる静止画の数が、データサーバとメモリとの間のデータの転送レートにより制限されてしまうという問題点を有していた。
【００１１】
また、オーディオデータ、静止画データ、動画データおよび制御情報などがそれぞれ異なる記憶領域に格納されている場合には、マルチメディア情報再生装置は制御情報を実行する都度、制御情報とそれに用いられる各データを読み出すために、データサーバに対して読み出し要求を発行しなければないため、読み出し効率が悪いという問題点があり、また、マルチメディア情報再生装置に備えられるメモリ内にデータサーバから別々にデータを読み込んでくるために、内部のメモリを管理するためのマルチメディア情報再生装置の負荷が大きいという問題点を有していた。
【００１２】
【課題を解決するための手段】
（１）本発明のマルチメディア情報再生装置は、前記データサーバに１つのファイルとして記憶されている、１画面の表示内容の一部である部分画像を表した部分画像情報と、その表示態様を表す表示態様情報との少なくとも１つの組からなる部分画像リストと、操作者の操作に応じて入力される入力値に対応して、実行されるべき命令が記述され、前記部分画像の表示態様情報を変更するよう指示した表示態様変更命令を含んだ制御情報とを有したページ情報を読み出すページ情報読み出し手段と、読み出されたページ情報内の前記各部分画像情報で表された部分画像を、対応する前記表示態様情報に基づいて１画面内に配置し、１画面分の表示内容を表した表示データを作成する表示データ作成手段と、前記表示データ作成手段によって表示データが作成される都度、新たに作成された表示データを記憶する表示データ記憶手段と、前記表示データ記憶手段の表示データを読み出し、読み出された表示データで表された表示内容を表示する表示手段と、操作者の操作に応じて対応する入力値を入力する入力手段と、前記入力値に応じた命令を実行し、前記表示態様変更命令に対応した入力値に対応して、前記表示データ作成手段に、表示態様変更命令に従って該当する部分画像の表示態様情報を変更し、新たな表示データを作成するよう指示する命令実行手段とを備え、
前記表示データ作成手段は、前記命令実行手段の指示に従って、新たな表示データを作成する。
【００１３】
（２）前記ページ情報読み出し手段は、前記データサーバに１つのファイルとして記憶されている、前記部分画像リストと、時間の経過に対応して前記部分画像の表示態様情報を変化させ表示するよう指示したアニメーション表示命令を含んだ前記制御情報と、さらに、時間の経過に対応した前記部分画像の表示態様情報を示したアニメーション制御情報を含む時系列制御情報とを有したページ情報を読み出し、
前記命令実行手段は、経過時間を計測する第１タイマーと、前記アニメーション表示命令に対応した前記入力値に対して、前記第１タイマーを起動し、所定の時間毎に、前記表示データ作成手段に、前記アニメーション制御情報に示された前記経過時間に対応する表示態様情報に従って、該当する部分画像の表示態様情報を変更し、新たな表示データを作成するよう指示した上、前記アニメーション表示命令実行終了時に前記第１タイマーを停止するアニメーション表示命令実行部とを備え、
前記表示データ作成手段は、前記アニメーション表示命令実行部の指示に従って、新たな表示データを作成する。
【００１４】
（３）前記ページ情報読み出し手段は、前記データサーバに１つのファイルとして記憶されている、前記部分画像情報、および、その表示位置を表すＸＹ座標と、前記部分画像情報と表示されるべき部分画像との大きさのＸ軸方向およびＹ軸方向の比率を表すＸＹ拡大率と、前記部分画像情報と表示されるべき部分画像との回転角度とを含んだ表示態様を表す表示態様情報の少なくとも１つの組からなる前記部分画像リストと、前記アニメーション表示命令を含んだ前記制御情報と、前記表示態様のうち、前記ＸＹ座標と、前記ＸＹ拡大率と、前記回転角度とのうちの少なくとも１つの表示態様情報の所定の経過時間毎の値を表した前記アニメーション制御情報を含む時系列制御情報とを有したページ情報を読み出し、
前記アニメーション表示命令実行部は、所定の時間毎に、前記アニメーション制御情報に基づいて、その時点において計測された前記経過時間に対応するＸＹ座標の値を補間して算出するＸＹ座標算出部と、所定の時間毎に、前記アニメーション制御情報に基づいて、その時点において計測された前記経過時間に対応するＸＹ拡大率の値を補間して算出するＸＹ拡大率算出部と、所定の時間毎に、前記アニメーション制御情報に基づいて、その時点において計測された前記経過時間に対応する回転角度の値を補間して算出する回転角度算出部とを備える。
【００１５】
（４）前記ページ情報読み出し手段は、前記データサーバに１つのファイルとして記憶されている、前記部分画像リストと、時間の経過に対応した時系列処理の実行を開始するよう指示した時系列処理開始命令を含む前記制御情報と、前記データサーバにページ情報とは異なる１つのファイルとして記憶され、時間の経過に対応して再生されるべき情報がその識別名とともに再生の順に書き込まれている時系列情報であって、前記時系列処理開始命令に対応して再生が開始されるべき時系列情報の情報名と、時間の経過に対応して再生されるべき当該時系列情報の内容を示す識別名と、当該内容の再生態様とを示す時系列処理制御情報を含んだ時系列制御情報とを有したページ情報を読み出し、
前記命令実行手段は、経過時間を計測する第２タイマーと、前記時系列処理開始命令に対応した前記入力値に対して、前記第２タイマーを起動し、所定の時間毎に、前記時系列処理制御情報に基づいて、計測された前記経過時間に対応する前記時系列情報の内容の識別名を特定し、前記時系列情報の再生終了時に前記第２タイマーを停止する時系列処理実行部とを備え、
前記マルチメディア情報再生装置は、さらに、前記ページ情報読み出し手段によって読み出された前記ページ情報を記憶するページ記憶手段と、前記データサーバから、前記時系列制御情報に情報名が示されている時系列情報の中から、前記時系列処理実行部によって特定された識別名の内容を読み出す時系列情報読み出し手段と、読み出された時系列情報の内容を再生する再生手段とを備える。
【００１６】
（５）前記ページ情報読み出し手段は、前記データサーバに１つのファイルとして記憶されている、前記部分画像リストと、前記制御情報と、前記時系列処理開始命令に対応して再生が開始されるべき時系列情報の情報名として、前記データサーバ内にページ情報とは異なる１つのファイルとして記憶され、所定のデータサイズ毎に分割された音声情報が、その識別名とともに所定の経過時間に対応して再生の順に書き込まれた第１時系列情報の情報名が示され、当該第１時系列情報の時間の経過に対応して再生されるべき音声情報を示す識別名と、その再生態様とを示す時系列処理制御情報を含んだ時系列制御情報とを有したページ情報を読み出し、
前記時系列処理実行部は、前記時系列処理制御情報に第１時系列情報の情報名が示されているときには、所定の時間毎に、計測された前記経過時間に対応する前記第１時系列情報内の音声情報の識別名を特定する第１時系列処理実行部を備え、
前記再生手段は、読み出された音声情報を再生する音声再生部を備え、
前記時系列情報読み出し手段は、前記データサーバから、前記時系列制御情報に情報名が示された時系列情報である前記第１時系列情報の中から、前記第１時系列処理実行部によって特定された識別名の前記音声情報を読み出す。
【００１７】
（６）前記ページ情報読み出し手段は、前記データサーバから、前記データサーバに１つのファイルとして記憶されている、前記部分画像リストと、前記制御情報と、前記時系列処理開始命令に対応して再生が開始されるべき時系列情報の情報名として、前記データサーバ内にページ情報とは異なる１つのファイルとして記憶され、所定のデータサイズ毎に分割された音声情報と、動画および／またはアニメーションの１画面内の内容を表す画面情報とが所定の経過時間に対応して再生の順に書き込まれた第２時系列情報の情報名が示され、時間の経過に対応して再生されるべき当該第２時系列情報の音声情報と画面情報との組を示す識別名と、前記部分画像リスト内の所定の部分画像情報で表される部分画像に関連した表示領域内に動画および／またはアニメーションが表示されることを示す前記再生態様を含む前記時系列制御情報とを有するページ情報を読み出し、前記時系列処理実行部は、前記時系列処理制御情報に第２時系列情報の情報名が示されているときには、所定の時間毎に、計測された前記経過時間に対応する前記第２時系列情報の音声情報と画面情報との組の識別名を特定するとともに、前記表示データ作成手段に、前記時系列情報読み出し手段によって読み出された画面情報を、前記再生態様に示される表示領域に配置して新たな表示データを作成するよう指示する第２時系列処理実行部を備え、
前記時系列情報読み出し手段は、前記データサーバから、前記時系列制御情報に情報名が示された時系列情報である第２時系列情報の中から、前記第２時系列処理実行部によって特定された識別名の内容である前記音声情報と前記画面情報との組を読み出し、
前記表示データ作成手段は、前記第２時系列処理実行部の指示に従って、新たな表示データを作成する。
【００１８】
（７）また、本発明のマルチメディア情報再生装置は、ネットワークを介して接続されているデータサーバからマルチメディア情報を読み出して再生するマルチメディア情報再生装置であって、
前記データサーバに１つのファイルとして記憶されている、１画面の表示内容の一部である部分画像を表した部分画像情報と、その表示態様を表す表示態様情報との少なくとも１つの組からなる部分画像リストと、前記部分画像の表示態様情報を変更するよう指示した表示態様変更命令を含んだ制御情報とを有したページ情報を読み出すページ情報読み出し手段と、
読み出されたページ情報内の前記各部分画像情報で表された部分画像を、対応する前記表示態様情報に基づいて１画面内に配置し、１画面分の表示内容を表した表示データを作成する表示データ作成手段と、
前記表示データ作成手段によって表示データが作成される都度、新たに作成された表示データを記憶する表示データ記憶手段と、
前記表示データ記憶手段の表示データを読み出し、読み出された表示データで表された表示内容を表示する表示手段と、
前記表示データ作成手段に、表示態様変更命令に従って該当する部分画像の表示態様情報を変更し、新たな表示データを作成するよう指示する命令実行手段とを備え、
前記表示データ作成手段は、前記命令実行手段の指示に従って、新たな表示データを作成する。
（８）本発明のマルチメディア情報記録装置は、１画面の表示内容のうちの一部である部分画像を表した部分画像情報を、１つの部分画像情報を１つの部分画像ファイル内に格納し、ファイル毎に記憶している部分画像記憶手段と、前記部分画像記憶手段内の少なくとも１つの部分画像ファイルのファイル名と、その部分画像ファイル内の部分画像情報によって表される部分画像の表示態様を表す表示態様情報との入力を受け付ける部分画像リスト入力手段と、複数の小記憶領域からなる記憶領域であって、１つのページ情報を記憶する記憶領域を有するページ情報記憶手段と、入力されたファイル名の部分画像ファイルから部分画像情報を読み出して、その部分画像情報と、それに対応して入力された表示態様情報との組を作り、それぞれの組を、識別子とともに、前記ページ情報記憶手段の第１の小記憶領域に書き込む部分画像リスト書き込み手段と、入力信号名と、その入力信号に対応して、前記部分画像の表示態様を変更するよう指示した表示態様変更命令を含む制御情報の入力を受け付ける制御情報入力手段と、入力された制御情報を、前記ページ情報記憶手段の第２の小記憶領域に書き込む制御情報書き込み手段と、前記ページ情報記憶手段の前記各記憶領域にひとつのページ情報として書き込まれた各情報を、その書き込み要求とともにデータサーバに送信し、１つのページ情報の記述内容を前記データサーバ内の１つのファイルに記録するページ情報記録手段とを備える。
【００１９】
（９）前記マルチメディア情報記録装置において、前記制御情報は、時間の経過に対応して前記部分画像の表示態様情報を変化させて表示するよう指示したアニメーション表示命令を含む。前記制御情報入力手段は、さらに、入力信号と前記アニメーション表示命令との組の入力を受け付けるアニメーション表示命令入力部を備え、前記マルチメディア情報記録装置は、さらに、時間の経過に対応して前記部分画像の表示態様がどのように変化するかを表すアニメーション制御情報を含んだ時系列制御情報の入力を受け付ける時系列制御情報入力手段と、入力された時系列制御情報を、前記ページ情報記憶手段の第３の小記憶領域に書き込む時系列制御情報書き込み手段とを備える。
【００２０】
（１０）前記マルチメディア情報記録装置において、前記部分画像リスト入力手段は、さらに、前記各部分画像情報について、その部分画像の表示位置を表すＸＹ座標と、前記部分画像情報と表示される部分画像との大きさの比率を表すＸＹ拡大率と、前記部分画像情報によって表される部分画像と実際に表示される部分画像とのなす角を表す回転角度とを含む表示態様情報の入力を受け付ける表示態様情報入力部を備え、
前記時系列制御情報入力手段は、前記表示態様のうち、前記ＸＹ座標と、前記ＸＹ拡大率と、前記回転角度とのうちの少なくとも１つが時間の経過とともにどのように変化するかを表したアニメーション制御情報の入力を受け付ける。
【００２１】
（１１）前記マルチメディア情報記録装置において、前記制御情報は、時間の経過に対応した時系列処理の実行を開始するよう指示した時系列処理開始命令を含む。前記時系列制御情報は、前記時系列処理開始命令に対応して再生が開始されるべき時系列情報名と、当該時系列情報の時間の経過に対応して各時点で再生されるべき当該時系列情報の内容を示す識別子と、前記部分画像リスト中の部分画像情報によって表される部分画像の表示に関連づけて、時系列情報をどのように再生するかを表した再生態様情報とからなる時系列処理制御情報を含む。前記マルチメディア情報記録装置は、さらに、時間の経過に対応して各時点で再生されるべき情報が再生の順に書き込まれた１つの時系列情報を、ひとつの時系列情報ファイルとしてファイル毎に記憶する時系列情報記憶手段と、前記時系列情報記憶手段内の少なくとも１つの時系列情報ファイルのファイル名の入力を受け付け、入力されたファイル名の時系列情報ファイルから時系列情報を読み出して、当該ファイル名に対応する時系列情報名と関連付けて、その書き込み要求とともにデータサーバに送信し、１つの時系列情報の記述内容を前記データサーバ内の１つのファイルに、時系列情報毎に記録する時系列情報記録手段とを備え、前記制御情報入力手段は、さらに、入力信号と、時系列処理開始命令との組の入力を受け付ける時系列処理開始命令入力部を備え、前記時系列制御情報入力手段は、さらに、前記時系列処理制御情報の入力を受け付ける時系列処理制御情報入力部を備える。
【００２２】
（１２）前記マルチメディア情報記録装置において、前記時系列情報は、所定のデータサイズ毎に分割された音声情報が経過時間に対応して再生の順に、識別子とともに書き込まれた第１時系列情報を含む。前記時系列処理制御情報は、当該ページ情報の時系列処理開始命令に対応して再生が開始されるべき時系列情報として第１時系列情報の情報名を示し、時間の経過に対応して各時点で再生されるべき音声情報の識別子と、前記部分画像リスト中の部分画像情報によって表される部分画像の表示に関連づけて、前記音声情報をどのように再生するかを表した再生態様情報とからなる第１時系列処理制御情報を含む。前記時系列情報記録手段は、第１時系列情報のファイル名が入力された場合には、入力されたファイル名の時系列情報ファイルから、当該第１時系列情報を読み出す第１時系列情報記録部を備え、前記時系列処理制御情報入力部は、第１時系列処理制御情報の入力を受け付ける第１時系列処理制御情報入力部を備える。
【００２３】
（１３）前記マルチメディア情報記録装置において、前記時系列情報は、所定のデータサイズ毎に分割された音声情報と、アニメーションおよび／または動画の１画面毎の表示内容を表す画面情報とが、所定の経過時間に対応して再生の順に、識別子とともに書き込まれた第２時系列情報を含む。前記時系列処理制御情報は、当該ページ情報の時系列処理開始命令に対応して再生が開始されるべき時系列情報として第２時系列情報の情報名を指定し、時間の経過に対応して各時点で再生されるべき音声情報と画面情報との識別子の組と、前記部分画像リスト内の所定の部分画像情報で表される部分画像に関連した領域内に、動画および／またはアニメーションが表示されることを示す前記再生態様情報とからなる第２時系列処理制御情報を含む。前記時系列情報記録手段は、第２時系列情報のファイル名が入力された場合には、入力されたファイル名の時系列情報ファイルから、第２時系列情報を読み出す第２時系列情報記録部を備え、前記時系列処理制御情報入力部は、第２時系列処理制御情報の入力を受け付ける第２時系列処理制御情報入力部を備える。
【００２４】
【作用】
請求項１記載のマルチメディア情報再生装置において、ページ情報読み出し手段は、前記データサーバに１つのファイルとして記憶されている、１画面の表示内容の一部である部分画像を表した部分画像情報と、その表示態様を表す表示態様情報との少なくとも１つの組からなる部分画像リストと、操作者の操作に応じて入力される入力値に対応して、実行されるべき命令が記述され、前記部分画像の表示態様情報を変更するよう指示した表示態様変更命令を含んだ制御情報とを有したページ情報を読み出す。表示データ作成手段は、読み出されたページ情報内の前記各部分画像情報で表された部分画像を、対応する前記表示態様情報に基づいて１画面内に配置し、１画面分の表示内容を表した表示データを作成する。表示データ記憶手段は、前記表示データ作成手段によって表示データが作成される都度、新たに作成された表示データを記憶する。表示手段は、前記表示データ記憶手段の表示データを読み出し、読み出された表示データで表された表示内容を表示する。入力手段は、操作者の操作に応じて対応する入力値を入力する。命令実行手段は、前記入力値に応じた命令を実行し、前記表示態様変更命令に対応した入力値に対応して、前記表示データ作成手段に、表示態様変更命令に従って該当する部分画像の表示態様情報を変更し、新たな表示データを作成するよう指示する。前記表示データ作成手段は、前記命令実行手段の指示に従って、新たな表示データを作成する。また、請求項７記載のマルチメディア情報再生装置もほぼ同様である。
【００２５】
従って、請求項１又は７記載の本発明によれば、データサーバ内の各ファイルに記録されたページ情報に、１画面の表示内容を構成する部分画像の画像情報とその表示態様とが記述されているので、表示画像の一部分だけを変更して表示する場合には、前記制御情報に従って、該当する部分画像の表示態様情報を変更して表示データを作成するだけでよく、変更後の表示データを容易に作成することができる。また、１つのページ情報内には、部分画像リスト内の部分画像を用いて表示画像の一部分だけを変更し、表示するための情報がすべて記述されており、ページ情報内の情報だけで、表示画像の一部分だけを変更した表示データを作成することができるので、表示データをデータサーバからその都度、読み出す必要がない。従って、表示画像の一部分だけを変更した表示データを、あらかじめ作成してデータサーバ内に記録しておく必要が無い。また、このため、データサーバとマルチメディア情報再生装置との間のデータの転送レートにより、単位時間あたりに表示できる表示データの数が制限されてしまうという問題も生じない。さらに、本発明のマルチメディア情報再生装置では、データサーバ内の１つのファイルから１つのページ情報を読み出すので、データサーバ内の複数のファイルから必要な情報を読み出して、メモリ内にロードする場合に比べて、メモリを管理するＣＰＵの負荷が少ない。また、本発明のマルチメディア情報再生装置において、別の部分画像から構成される新たな画面が表示される場合には、その部分画像が記述されている新たなページ情報が読み出され、読み出されたページ情報の記述内容だけから、その画面を表す表示データが作成される。このため、本発明のマルチメディア情報再生装置においては、新たなページ情報の読み出しの際に生じる一回の読み出し要求だけで、新たな表示データを作成することができ、データサーバ内の複数のファイルから（すなわち、何度も読み出し要求を発行して）部分画像情報を読み出してくる場合に比べて、部分画像情報の読み出しをより短時間で行うことができ、より短時間に新たな画面を表示することができる。
【００２６】
請求項２記載のマルチメディア情報再生装置では、請求項１記載のマルチメディア情報再生装置において、前記ページ情報読み出し手段は、前記データサーバに１つのファイルとして記憶されている、前記部分画像リストと、時間の経過に対応して前記部分画像の表示態様情報を変化させ表示するよう指示したアニメーション表示命令を含んだ前記制御情報と、さらに、時間の経過に対応した前記部分画像の表示態様情報を示したアニメーション制御情報を含む時系列制御情報とを有したページ情報を読み出す。前記命令実行手段において、第１タイマーは、経過時間を計測する。アニメーション表示命令実行部は、前記アニメーション表示命令に対応した前記入力値に対して、前記第１タイマーを起動し、所定の時間毎に、前記表示データ作成手段に、前記アニメーション制御情報に示された前記経過時間に対応する表示態様情報に従って、該当する部分画像の表示態様情報を変更し、新たな表示データを作成するよう指示した上、前記アニメーション表示命令実行終了時に前記第１タイマーを停止する。前記表示データ作成手段は、前記アニメーション表示命令実行部の指示に従って、新たな表示データを作成する。
【００２７】
従って、請求項２記載の本発明によれば、上記効果に加えて、１つのページ情報には、前記部分画像リスト内の部分画像情報とその表示態様情報とを用いて、アニメーション表示を行うための情報がすべて記述されているので、データサーバから各画面を表す表示データを表示の都度読み出す必要がないことと、前記表示態様情報を変更するだけで容易に表示データを作成することができることから、各画面の表示内容を表した表示データを表示の都度読み出す場合に比べて、短時間で前記表示データを作成することができ、より品質の高いアニメーション表示を行うことができる。
【００２８】
請求項３記載のマルチメディア情報再生装置は、請求項２記載のマルチメディア情報再生装置において、前記ページ情報読み出し手段は、前記データサーバに１つのファイルとして記憶されている、前記部分画像情報、および、その表示位置を表すＸＹ座標と、前記部分画像情報と表示されるべき部分画像との大きさのＸ軸方向およびＹ軸方向の比率を表すＸＹ拡大率と、前記部分画像情報と表示されるべき部分画像との回転角度とを含んだ表示態様を表す表示態様情報の少なくとも１つの組からなる前記部分画像リストと、前記アニメーション表示命令を含んだ前記制御情報と、前記表示態様のうち、前記ＸＹ座標と、前記ＸＹ拡大率と、前記回転角度とのうちの少なくとも１つの表示態様情報の所定の経過時間毎の値を表した前記アニメーション制御情報を含む時系列制御情報とを有したページ情報を読み出す。前記アニメーション表示命令実行部において、ＸＹ座標算出部は、所定の時間毎に、前記アニメーション制御情報に基づいて、その時点において計測された前記経過時間に対応するＸＹ座標の値を補間して算出する。ＸＹ拡大率算出部は、所定の時間毎に、前記アニメーション制御情報に基づいて、その時点において計測された前記経過時間に対応するＸＹ拡大率の値を補間して算出する。回転角度算出部は、所定の時間毎に、前記アニメーション制御情報に基づいて、その時点において計測された前記経過時間に対応する回転角度の値を補間して算出する。
【００２９】
従って、請求項３記載の本発明によれば、時間の経過に伴って、前記部分画像情報で表される各部分画像の表示位置、表示サイズ、表示角度が変化されて表されるアニメーション表示において、上記効果を得ることができる。
請求項４記載のマルチメディア情報再生装置では、請求項３記載のマルチメディア情報再生装置において、前記ページ情報読み出し手段は、前記データサーバに１つのファイルとして記憶されている、前記部分画像リストと、時間の経過に対応した時系列処理の実行を開始するよう指示した時系列処理開始命令を含む前記制御情報と、前記データサーバにページ情報とは異なる１つのファイルとして記憶され、時間の経過に対応して再生されるべき情報がその識別名とともに再生の順に書き込まれている時系列情報であって、前記時系列処理開始命令に対応して再生が開始されるべき時系列情報の情報名と、時間の経過に対応して再生されるべき当該時系列情報の内容を示す識別名と、当該内容の再生態様とを示す時系列処理制御情報を含んだ時系列制御情報とを有したページ情報を読み出す。
【００３０】
前記命令実行手段において、第２タイマーは、経過時間を計測する。時系列処理実行部は、前記時系列処理開始命令に対応した前記入力値に対して、前記第２タイマーを起動し、所定の時間毎に、前記時系列処理制御情報に基づいて、計測された前記経過時間に対応する前記時系列情報の内容の識別名を特定し、前記時系列情報の再生終了時に前記第２タイマーを停止する。前記マルチメディア情報再生装置において、さらに、ページ記憶手段は、前記ページ情報読み出し手段によって読み出された前記ページ情報を記憶する。時系列情報読み出し手段は、前記データサーバから、前記時系列制御情報に情報名が示されている時系列情報の中から、前記時系列処理実行部によって特定された識別名の内容を読み出す。再生手段は、読み出された時系列情報の内容を再生する。
【００３１】
従って、請求項４記載の本発明によれば、ページ記憶手段に記憶されているページ情報により上記効果を得ることができるとともに、当該ページ情報に基づいた表示内容と時間の経過とに対応づけて、データサーバから時系列情報に記述された内容を順次、読み出し、再生することができる。また、前記時系列情報も１つのファイルとして記録されているので、前記時系列情報内の記述内容を順次読み出す場合に、読み出し要求が発生しない。このため、時系列情報読み出し手段は、時系列情報内の記述内容を速やかに読み出すことができ、次に読み出されるべき記述内容の読み出し開始迄に、前回の読み出し分の記述内容の読み出しを完了することができる。この結果、マルチメディア情報再生装置は、前記時系列情報内に記録されている記述内容を途切れることなく、再生することができる。
【００３２】
請求項５記載のマルチメディア情報再生装置では、請求項４記載のマルチメディア情報再生装置において、前記ページ情報読み出し手段は、前記データサーバに１つのファイルとして記憶されている、前記部分画像リストと、前記制御情報と、前記時系列処理開始命令に対応して再生が開始されるべき時系列情報の情報名として、前記データサーバ内にページ情報とは異なる１つのファイルとして記憶され、所定のデータサイズ毎に分割された音声情報が、その識別名とともに所定の経過時間に対応して再生の順に書き込まれた第１時系列情報の情報名が示され、当該第１時系列情報の時間の経過に対応して再生されるべき音声情報を示す識別名と、その再生態様とを示す時系列処理制御情報を含んだ時系列制御情報とを有したページ情報を読み出す。前記時系列処理実行部において、第１時系列処理実行部は、前記時系列処理制御情報に第１時系列情報の情報名が示されているときには、所定の時間毎に、計測された前記経過時間に対応する前記第１時系列情報内の音声情報の識別名を特定する。前記再生手段において、音声再生部は、読み出された音声情報を再生する。前記時系列情報読み出し手段は、前記データサーバから、前記時系列制御情報に情報名が示された時系列情報である前記第１時系列情報の中から、前記第１時系列処理実行部によって特定された識別名の前記音声情報を読み出す。
【００３３】
従って、請求項５記載の本発明によれば、上記効果に加えて、マルチメディア情報再生装置は、データサーバから読み出された第１時系列情報内の音声情報を、当該ページ情報に基づいた表示内容と時間の経過とに対応づけて、途切れを生じることなく再生することができる。具体的には、マルチメディア情報再生装置は、ページ記憶手段に記憶されているページ情報に基づいて品質の高いアニメーション表示を行ないながら、前記第１時系列情報内の音声情報を精度良く再生することができる。
【００３４】
請求項６記載のマルチメディア情報再生装置では、請求項４または請求項５記載のマルチメディア情報再生装置において、前記ページ情報読み出し手段は、前記データサーバから、前記データサーバに１つのファイルとして記憶されている、前記部分画像リストと、前記制御情報と、前記時系列処理開始命令に対応して再生が開始されるべき時系列情報の情報名として、前記データサーバ内にページ情報とは異なる１つのファイルとして記憶され、所定のデータサイズ毎に分割された音声情報と、動画および／またはアニメーションの１画面内の内容を表す画面情報とが所定の経過時間に対応して再生の順に書き込まれた第２時系列情報の情報名が示され、時間の経過に対応して再生されるべき当該第２時系列情報の音声情報と画面情報との組を示す識別名と、前記部分画像リスト内の所定の部分画像情報で表される部分画像に関連した表示領域内に動画および／またはアニメーションが表示されることを示す前記再生態様を含む前記時系列制御情報とを有するページ情報を読み出す。前記時系列処理実行部において、第２時系列処理実行部は、前記時系列処理制御情報に第２時系列情報の情報名が示されているときには、所定の時間毎に、計測された前記経過時間に対応する前記第２時系列情報の音声情報と画面情報との組の識別名を特定するとともに、前記表示データ作成手段に、前記時系列情報読み出し手段によって読み出された画面情報を、前記再生態様に示される表示領域に配置して新たな表示データを作成するよう指示する。前記時系列情報読み出し手段は、前記データサーバから、前記時系列制御情報に情報名が示された時系列情報である第２時系列情報の中から、前記第２時系列処理実行部によって特定された識別名の内容である前記音声情報と前記画面情報との組を読み出す。前記表示データ作成手段は、前記第２時系列処理実行部の指示に従って、新たな表示データを作成する。
【００３５】
従って、請求項６記載の本発明によれば、上記効果に加えて、第２時系列情報に書き込まれている音声情報と画面情報との組を精度良く再生することができる。具体的には、マルチメディア情報再生装置は、ページ記憶手段に記憶されているページ情報に基づいて品質の高いアニメーション表示を行ないながら、同一画面内の前記部分画像に関連した領域、例えば、１つの部分画像の内部に前記第２時系列情報内の画面情報で表される動画を精度良く表示するとともに、音声情報を精度良く再生することができる。
【００３６】
請求項８記載のマルチメディア情報記録装置において、部分画像記憶手段は、１画面の表示内容のうちの一部である部分画像を表した部分画像情報を、１つの部分画像情報を１つの部分画像ファイル内に格納し、ファイル毎に記憶している。部分画像リスト入力手段は、前記部分画像記憶手段内の少なくとも１つの部分画像ファイルのファイル名と、その部分画像ファイル内の部分画像情報によって表される部分画像の表示態様を表す表示態様情報との入力を受け付ける。ページ情報記憶手段は、複数の小記憶領域からなる記憶領域であって、１つのページ情報を記憶する記憶領域を有する。部分画像リスト書き込み手段は、入力されたファイル名の部分画像ファイルから部分画像情報を読み出して、その部分画像情報と、それに対応して入力された表示態様情報との組を作り、それぞれの組を、識別子とともに、前記ページ情報記憶手段の第１の小記憶領域に書き込む。制御情報入力手段は、入力信号名と、その入力信号に対応して、前記部分画像の表示態様を変更するよう指示した表示態様変更命令を含む制御情報の入力を受け付ける。制御情報書き込み手段は、入力された制御情報を、前記ページ情報記憶手段の第２の小記憶領域に書き込む。ページ情報記録手段は、前記ページ情報記憶手段の前記各記憶領域にひとつのページ情報として書き込まれた各情報を、その書き込み要求とともにデータサーバに送信し、１つのページ情報の記述内容を前記データサーバ内の１つのファイルに記録する。
【００３７】
従って、請求項８記載の本発明によれば、オペレータからの入力に従って、対話的に生成される前記ページ情報を、前記データサーバの各ファイルに記録することができる。これにより、前記データサーバから前記ページ情報を読み出して再生するマルチメディア情報再生装置に対し、請求項１記載の本発明による効果を提供することができる。
【００３８】
請求項９記載のマルチメディア情報記録装置では、請求項８記載のマルチメディア情報記録装置において、前記制御情報は、時間の経過に対応して前記部分画像の表示態様情報を変化させて表示するよう指示したアニメーション表示命令を含む。前記制御情報入力手段において、さらに、アニメーション表示命令入力部は、入力信号と前記アニメーション表示命令との組の入力を受け付ける。前記マルチメディア情報記録装置において、さらに、時系列制御情報入力手段は、時間の経過に対応して前記部分画像の表示態様がどのように変化するかを表すアニメーション制御情報を含んだ時系列制御情報の入力を受け付ける。時系列制御情報書き込み手段は、入力された時系列制御情報を、前記ページ情報記憶手段の第３の小記憶領域に書き込む。
【００３９】
従って、請求項９記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報を記録することができる。これにより、前記データサーバから前記ページ情報を読み出して再生するマルチメディア情報再生装置に対し、請求項２記載の本発明による効果を提供することができる。
請求項１０記載のマルチメディア情報記録装置では、請求項９記載のマルチメディア情報記録装置において、前記部分画像リスト入力手段の表示態様情報入力部は、さらに、前記各部分画像情報について、その部分画像の表示位置を表すＸＹ座標と、前記部分画像情報と表示される部分画像との大きさの比率を表すＸＹ拡大率と、前記部分画像情報によって表される部分画像と実際に表示される部分画像とのなす角を表す回転角度とを含む表示態様情報の入力を受け付ける。前記時系列制御情報入力手段は、前記表示態様のうち、前記ＸＹ座標と、前記ＸＹ拡大率と、前記回転角度とのうちの少なくとも１つが時間の経過とともにどのように変化するかを表したアニメーション制御情報の入力を受け付ける。
【００４０】
従って、請求項１０記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報を記録することができる。これにより、前記データサーバから前記ページ情報を読み出して再生するマルチメディア情報再生装置に対し、請求項３記載の本発明による効果を提供することができる。
請求項１１記載のマルチメディア情報記録装置では、請求項１０記載のマルチメディア情報記録装置において、前記制御情報は、時間の経過に対応した時系列処理の実行を開始するよう指示した時系列処理開始命令を含む。前記時系列制御情報は、前記時系列処理開始命令に対応して再生が開始されるべき時系列情報名と、当該時系列情報の時間の経過に対応して各時点で再生されるべき当該時系列情報の内容を示す識別子と、前記部分画像リスト中の部分画像情報によって表される部分画像の表示に関連づけて、時系列情報をどのように再生するかを表した再生態様情報とからなる時系列処理制御情報を含む。前記マルチメディア情報記録装置において、さらに、時系列情報記憶手段は、時間の経過に対応して各時点で再生されるべき情報が再生の順に書き込まれた１つの時系列情報を、ひとつの時系列情報ファイルとしてファイル毎に記憶する。時系列情報記録手段は、前記時系列情報記憶手段内の少なくとも１つの時系列情報ファイルのファイル名の入力を受け付け、入力されたファイル名の時系列情報ファイルから時系列情報を読み出して、当該ファイル名に対応する時系列情報名と関連付けて、その書き込み要求とともにデータサーバに送信し、１つの時系列情報の記述内容を前記データサーバ内の１つのファイルに、時系列情報毎に記録する。前記制御情報入力手段において、さらに、時系列処理開始命令入力部は、入力信号と、時系列処理開始命令との組の入力を受け付ける。前記時系列制御情報入力手段において、さらに、時系列処理制御情報入力部は、前記時系列処理制御情報の入力を受け付ける。
【００４１】
従って、請求項１１記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報と前記時系列情報とを記録することができる。これにより、前記データサーバから前記ページ情報と前記時系列情報とを読み出して再生するマルチメディア情報再生装置に対し、請求項４記載の本発明による効果を提供することができる。
【００４２】
請求項１２記載のマルチメディア情報記録装置では、請求項１１記載のマルチメディア情報記録装置において、前記時系列情報は、所定のデータサイズ毎に分割された音声情報が経過時間に対応して再生の順に、識別子とともに書き込まれた第１時系列情報を含む。前記時系列処理制御情報は、当該ページ情報の時系列処理開始命令に対応して再生が開始されるべき時系列情報として第１時系列情報の情報名を示し、時間の経過に対応して各時点で再生されるべき音声情報の識別子と、前記部分画像リスト中の部分画像情報によって表される部分画像の表示に関連づけて、前記音声情報をどのように再生するかを表した再生態様情報とからなる第１時系列処理制御情報を含む。前記時系列情報記録手段において、第１時系列情報記録部は、第１時系列情報のファイル名が入力された場合には、入力されたファイル名の時系列情報ファイルから、当該第１時系列情報を読み出す。前記時系列処理制御情報入力部において、第１時系列処理制御情報入力部は、第１時系列処理制御情報の入力を受け付ける。
【００４３】
従って、請求項１２記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報と前記時系列情報とを記録することができる。これにより、前記データサーバから前記ページ情報と前記時系列情報とを読み出して再生するマルチメディア情報再生装置に対し、請求項５記載の本発明による効果を提供することができる。
【００４４】
請求項１３記載のマルチメディア情報記録装置では、請求項１１または請求項１２記載のマルチメディア情報記録装置において、前記時系列情報は、所定のデータサイズ毎に分割された音声情報と、アニメーションおよび／または動画の１画面毎の表示内容を表す画面情報とが、所定の経過時間に対応して再生の順に、識別子とともに書き込まれた第２時系列情報を含む。前記時系列処理制御情報は、当該ページ情報の時系列処理開始命令に対応して再生が開始されるべき時系列情報として第２時系列情報の情報名を指定し、時間の経過に対応して各時点で再生されるべき音声情報と画面情報との識別子の組と、前記部分画像リスト内の所定の部分画像情報で表される部分画像に関連した領域内に、動画および／またはアニメーションが表示されることを示す前記再生態様情報とからなる第２時系列処理制御情報を含む。前記時系列情報記録手段において、第２時系列情報記録部は、第２時系列情報のファイル名が入力された場合には、入力されたファイル名の時系列情報ファイルから、第２時系列情報を読み出す。前記時系列処理制御情報入力部において、第２時系列処理制御情報入力部は、第２時系列処理制御情報の入力を受け付ける。
【００４５】
従って、請求項１３記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報と前記時系列情報とを記録することができる。これにより、前記データサーバから前記ページ情報と前記時系列情報とを読み出して再生するマルチメディア情報再生装置に対し、請求項６記載の本発明による効果を提供することができる。
【００４６】
【実施例】
（実施例１）
図１は、本発明の第１実施例であるマルチメディア情報再生装置１００の構成を示すブロック図である。図２は、図１に示したマルチメディア情報再生装置１００のハードウェア構成を示すブロック図である。
【００４７】
図１に示すように、マルチメディア情報再生装置１００は、ネットワークを介してデータサーバ１５０に接続されており、ネットワークインターフェイス部１０１、ページロード部１０２、入力部１０３、制御情報実行部１０４、クロック部１０５、タイムライン制御部１０７、記憶部１０８、表示部１１２、表示データ作成部１１３、オーディオ用Ｄ／Ａ変換部１１４およびオーディオ出力部１１５を備える。さらに、記憶部１０８は、表示データ記憶部１０９、ページ記憶部１１０およびオーディオデータ記憶部１１１を備える。
【００４８】
また、図２に示すように、マルチメディア情報再生装置１００は、ハードウェアの構成要素として、ＣＰＵ２０１、ＲＡＭ２０２、システムクロック２０３、タイマ２０４、キーボード２０５、ジョイパッド２０６、入力機器インターフェイス２０７、ディスクインターフェイス２０８、ＣＤ−ＲＯＭ２０９、ネットワークインターフェイス２１０、ＭＰＥＧ復号器２１１、音声用Ｄ／Ａ変換器２１２、スピーカ２１３、グラフィックコントローラ２１４、ＶＲＡＭ２１５、映像用Ｄ／Ａ変換器２１６およびＣＲＴ２１７を備える。なお、図２に示すＣＰＵ２０１は、以下に説明する機能以外にも、マルチメディア情報再生装置１００の各構成要素の動作を制御する機能を有する。なお、ディスクインターフェイス２０８およびＣＤ−ＲＯＭ２０９については、マルチメディア情報再生装置１００に備えられていても良いし、備えられていなくても良い。
【００４９】
なお、データサーバ１５０は、ハードディスク装置などの図示しない記憶装置を備えた外部装置である。データサーバ１５０は、図示しない前記記憶装置内に、図３に示す後述のページストリームおよび図４に示す後述のタイムラインストリームを、それぞれ、１つのページストリームを１つのファイルとし、１つのタイムラインストリームを１つのファイルとして記憶している。データサーバ１５０は、ネットワークを介して受信したマルチメディア情報再生装置１００からの読み出し要求に応じて、前記ハードディスク装置から対応するページストリームおよびタイムラインストリームを格納したファイルを読み出し、読み出されたページストリームおよびタイムラインストリームを当該マルチメディア情報再生装置１００に送信する。
【００５０】
図３は、本実施例のマルチメディア情報再生装置１００によって再生されるページストリームのデータ構成を示す説明図である。図３に示すように、一つのページストリームは、部分画像リストと、制御情報と、タイムライン情報とからなり、それぞれのページストリームには、順番号などで表された識別番号が付されている。
【００５１】
なお、ページとは、約１／３０秒に一回表示される個々の画面全体の表示内容をいう。各ページストリームは、１または複数のあらかじめ定められた共通の部分画像によって１画面分の表示内容が構成される複数のページの表示内容を記述する。また、あるページに表示されたうちの部分画像が、別のページにおいて拡大あるいは縮小され、平行移動および／または回転移動されて表示される場合にも、別のページに表示された部分画像が、ページストリームに記述されている同一の後述の部分画像データの表示態様（例えば、表示位置、表示倍率、表示角度、網掛け、色彩など）を変更して表示される部分画像であれば、そのページは、同一のページストリームによって記述される。また、ページストリームに記述されている１または複数の部分画像のうちから１または複数の部分画像が消去されて表示されるページも、同一ページストリームによって記述される。
【００５２】
部分画像リストには、１画面分の表示内容を構成するそれぞれの部分画像の内容が記述される。前記部分画像リストには、個々の部分画像に対応して、部分画像を特定する部分画像ＩＤ、その部分画像がそのページに表示されるときの初期位置を示すＸＹ座標、その部分画像がそのページに最初に表示されるときの拡大あるいは縮小の度合を示すＸＹ拡大率、部分画像データに表されている部分画像に対してその部分画像がそのページに最初に表示されるときの回転角度、およびその部分画像そのものを画素に対応する表示の値で表した部分画像データが記述される。なお、前記部分画像ＩＤは、そのページストリームに記述されている部分画像を用いて１画面分の表示データが作成される際に、部分画像が表示データ内に配置される順を示した順番号で表されている。従って、部分画像の表示位置がそれぞれ部分的に重なっている場合には、重なっている位置の画素に対応する部分画像データは、部分画像ＩＤがより大きい部分画像の部分画像データで更新される。この結果、ページストリームに記述されている部分画像は、部分画像ＩＤの順に、下層から上層に重ね合わされて表示される。また、ページストリームに記述されている部分画像データは、例えば、圧縮符号化されたビットマップデータや、あるいは、幾何学図形であればグラフィックデータなどで表されていてもよい。また、部分画像は、必ずしも図形である必要はなく、各メニュー画面に表示される、入力要求を示す文字列などであっても良い。この場合、文字列は文字コードで記述されていても良い。
【００５３】
制御情報には、そのページストリームに記述されたページが表示されている間の入力部１０３からの入力信号に対して、マルチメディア情報再生装置１００が実行されるべき命令が、入力信号のそれぞれについて記述されている。制御情報として記述される命令は、部分画像のＸＹ座標を変更する、部分画像のＸＹ拡大率を変更する、部分画像の回転角度を変更する、他のページストリームをロードする、タイムライン情報の実行を開始する、複数の部分画像を重ね合わせる、色彩付の画像を白黒で表示する、特定の色彩を強調する、音色の周波数を変更するなどがある。
【００５４】
タイムライン情報には、部分画像リストに記述されたうちの所定の部分画像を、時間の経過に伴って移動して表示するアニメーション表示と、後述のタイムラインストリームに記述されている動画像を表示する動画表示とが記述される。具体的には、アニメーション表示については、アニメーション表示される部分画像（アニメーション表示対象）の部分画像ＩＤと、その部分画像のアニメーション表示の開始から一定時間経過毎に定められた表示位置を示すＸＹ座標と、その部分画像のアニメーション表示終了時刻とが記述される。また、動画表示については、動画表示される動画像が記述されているタイムラインストリームの識別番号と、動画表示開始時刻と終了時刻とが記述される。また、部分画像リストに記述されたうちの所定の部分画像内に前記動画像を表示する場合には、その動画像が表示される部分画像の部分画像ＩＤが記述される。なお、後述のタイムラインストリームに記述されている動画像は、必ずしも部分画像リストに記述されたうちの所定の部分画像内に表示される必要はない。
【００５５】
図４は、本実施例のマルチメディア情報再生装置１００によって再生されるタイムラインストリームのデータ構成を示す説明図である。各タイムラインストリームには、ページストリームと同様、順番号などで表された識別番号が付されている。前述したように、動画やアニメーションは、連続した内容の静止画を、時間の経過にしたがって約１／３０秒の各表示時刻毎に順次、再生することによって表示される。図４に示すタイムラインストリームには、動画を表すそれぞれの静止画を、圧縮符号化されたビットマップデータなどで表した静止画データが、その静止画データに対応したオーディオデータとともに、表示時刻の順に記録されている。また、前記オーディオデータは、それぞれ、静止画データと同様に圧縮符号化され、静止画データの表示時間に対応した所定のサイズに分割されており、そのオーディオデータに対応する静止画データが表示されている間、時間の経過にしたがって、シリアルに再生される。なお、前記各表示時刻は、クロック部１０５が起動されてからの経過時間で表されていても良いし、クロック部１０５が複数のタイムラインストリームについて、その表示開始からの経過時間を計測することができるように構成されている場合には、各タイムラインストリームの実行が開始されてからの経過時間で表されていても良い。また、オーディオデータは、タイムラインストリームに必ずしも記述されている必要はない。さらに、静止画データも、タイムラインストリームに必ずしも記述されている必要はない。例えば、ページストリームに記述されている部分画像を用いて静止画が表示されている間に、タイムラインストリームに記述されているオーディオデータが再生される場合などには、そのタイムラインストリームにはオーディオデータだけが記述されていてもよい。なお、このタイムラインストリームでは、動画のほかにアニメーションも記述されるが、前記ページストリームに記述された部分画像を用いて行われるアニメーション表示と区別するため、以下では、タイムラインストリームに記述された静止画データを用いてアニメーションおよび動画を表示することを動画表示という。
【００５６】
ネットワークインターフェイス部１０１は、ネットワークインターフェイス２１０によって実現され、ページロード部１０２の指示に従って、データサーバ１５０に記録されているページストリームとタイムラインストリームとで表されたマルチメディア情報を読み出す。ネットワークインターフェイス部１０１の読み出し処理の具体的な内容は、ページロード部１０２に指示されたページストリームまたはタイムラインストリームについて、読み出しを要求する情報がページストリームであるかタイムラインストリームであるかを示すＰＴ区分と、その識別番号と、その読み出し要求とを、ネットワークを介してデータサーバ１５０に送信し、前記読み出し要求に応じてデータサーバ１５０から送信されてくるページストリームまたはタイムラインストリームを、ネットワークを介して受信することである。
【００５７】
ページロード部１０２は、ＣＰＵ２０１によって実現される。ページロード部１０２は、マルチメディア情報再生装置１００の起動時には、データサーバ１５０から所定のページストリームをネットワークインターフェイス部１０１に読み出させ、読み出されたページストリームを、ページ記憶部１１０にロードする。また、タイムライン制御部１０７または制御情報実行部１０４の指示に従って、指定されたページストリームおよびタイムラインストリームをデータサーバ１５０に読み出させ、読み出されたページストリームおよびタイムラインストリームを、ページ記憶部１１０にロードする。
【００５８】
ネットワークインターフェイス部１０１は、ネットワークインターフェイス２１０によって実現され、ページロード部１０２の指示に従って、データサーバ１５０に記録されているページストリームとタイムラインストリームとで表されたマルチメディア情報を、マルチメディア情報再生装置１００内に読み込む。
入力部１０３は、例えば、ジョイパッド２０６、キーボード２０５あるいは図示しないマウスなどの操作部を備え、入力機器インターフェイス２０７を介して使用者からの指示の入力を受け付ける。入力部１０３は、受け付けた入力に対応する入力信号を、例えば、ジョイパッド２０６のＡボタン、Ｂボタン、Ｃボタンに対応する入力信号「Ａ」、入力信号「Ｂ」、入力信号「Ｃ」を、制御情報実行部１０４に出力する。
【００５９】
制御情報実行部１０４は、ＣＰＵ２０１によって実現され、入力部１０３からの入力信号に応じて、ページ記憶部１１０にロードされているページストリームに記述された制御情報を、翻訳しながら対話的に実行する。具体的には、制御情報実行部１０４は、制御情報の指示内容に応じて、ページロード部１０２、タイムライン制御部１０７および表示データ作成部１１３の各部に指示を与え、指示内容に対応する処理を実行させる。
【００６０】
クロック部１０５は、システムクロック２０３とタイマ２０４とによって実現される。クロック部１０５において、タイマ２０４は、タイムライン制御部１０７に起動および初期化され、タイムライン情報の実行開始からシステムクロック２０３をカウントし、タイムライン情報の実行開始からの経過時間を計測する。なお、クロック部１０５は、複数のタイマ２０４を備えるようにし、タイムライン情報の実行開始からの経過時間とともに、各タイムラインストリームについてその実行開始からの経過時間を計測するようにしても良い。
【００６１】
タイムライン制御部１０７は、ＣＰＵ２０１によって実現され、制御情報実行部１０４の指示に従って、ロードされたページストリーム中に記述されているタイムライン情報の実行を開始する。タイムライン制御部１０７は、タイムライン情報の実行の開始時に、クロック部１０５を起動する。タイムライン制御部１０７は、タイムライン情報の実行終了時に、クロック部１０５のタイマ２０４を初期化する。また、各タイムラインストリームについて、その実行開始からの経過時間を計測するタイマ２０４が備えられる場合には、各タイムラインストリームの実行終了時に、対応するタイマ２０４が初期化される。
【００６２】
また、タイムライン制御部１０７は、アニメーション表示を指示する内容のタイムライン情報を実行する際には、クロック部１０５によって計測されている、タイムライン情報の実行開始からの経過時間に応じて、その時刻に対応するＸＹ座標で表された表示位置に、指定された部分画像を指定された拡大縮小、回転移動などの処理を施して配置するよう表示データ作成部１１３に指示する。
【００６３】
タイムライン制御部１０７は、動画表示を指示する内容のタイムライン情報を実行する際には、タイムライン情報内で指定されているタイムラインストリームをページ記憶部１１０にロードするよう、ページロード部１０２に指示する。また、タイムライン制御部１０７は、クロック部１０５によって計測されたタイムライン情報の実行開始からの経過時間に応じて、その時刻に対応する静止画データをロードされたタイムラインストリーム中で特定し、特定した静止画データを表示データ作成部１１３に通知する。タイムライン制御部１０７は、その静止画データを所定の位置に、例えば、タイムライン情報中で指定された部分画像の中に配置するよう表示データ作成部１１３に指示する。同時に、その静止画データに対応するオーディオデータをタイムラインストリームから読み出して、オーディオデータ記憶部１１１に転送する。
【００６４】
表示データ記憶部１０９は、ＶＲＡＭ２１５によって実現され、表示データ作成部１１３によって作成された、各ページの１画面分の表示データを記憶する。
ページ記憶部１１０は、ＲＡＭ２０２によって実現され、データサーバ１５０から読み込まれたページストリームおよびタイムラインストリームを記憶する。
オーディオデータ記憶部１１１は、ＲＡＭ２０２によって実現され、約１／３０秒の再生時間の大きさに分割されたオーディオデータを記憶する。
【００６５】
表示部１１２は、映像用Ｄ／Ａ変換器２１６およびＣＲＴ２１７によって実現され、表示データ記憶部１０９に記憶されている表示データを約１／３０秒毎に読み出して、ＣＲＴ２１７に表示する。映像用Ｄ／Ａ変換器２１６は、表示データ記憶部１０９であるＶＲＡＭ２１５から、約１／３０秒毎に表示データを読み出してアナログ信号に変換し、ＣＲＴ２１７に供給する。ＣＲＴ２１７は、アナログ信号に変換された表示データを表示する。なお、ここでは、表示部１１２にＣＲＴ２１７を用いるとしたが、ＣＲＴ２１７の代わりに、液晶表示装置ＬＣＤや、マルチメディア情報再生装置１００に接続されるテレビジョンなどを用いても良い。さらに、表示部１１２への表示内容を紙に印字するようにしてもよい。
【００６６】
表示データ作成部１１３は、ＣＰＵ２０１、ＭＰＥＧ復号器２１１およびグラフィックコントローラ２１４によって実現される。表示データ作成部１１３は、ページ記憶部１１０に新たなページストリームがロードされると、ロードされたページストリームに記述されている部分画像を用いて、初期画面の１画面全体の表示データを作成する。さらに、表示データ作成部１１３は、制御情報実行部１０４の指示に従って、ロードされたページストリームに記述されている部分画像に、指示された処理（例えば、ＸＹ座標の移動、拡大縮小、回転移動など）を施し、その部分画像を用いて、静止画を表す１画面全体の表示データを作成する。また、表示データ作成部１１３は、タイムライン制御部１０７から与えられる指示に従って、ロードされたページストリームに記述されている部分画像に指示された処理（例えば、ＸＹ座標の移動、拡大縮小、回転移動など）を施し、アニメーション表示用の表示データを作成するとともに、指定されたタイムラインストリームに記述されている静止画データのうち、タイムライン制御部１０７に特定される静止画データを用いて、動画表示用の表示データを更新する。これにおいて、ＭＰＥＧ復号器２１１は、ＭＰＥＧに従って圧縮符号化されて記録されている画像データを伸長復号する。ＭＰＥＧに従って圧縮符号化されて記録されている画像データとは、例えば、タイムラインストリームに記述されている静止画データや、ページストリームに記述されている部分画像データなどである。
【００６７】
オーディオ用Ｄ／Ａ変換部１１４は、ＭＰＥＧ復号器２１１と音声用Ｄ／Ａ変換器２１２とによって実現される。ＭＰＥＧ復号器２１１は、オーディオデータ記憶部１１１に記憶されているオーディオデータを順次読み出し、ＭＰＥＧに従って圧縮符号化されて記録されているオーディオデータを伸長復号する。音声用Ｄ／Ａ変換器２１２は、復号されたオーディオデータをアナログ信号に変換し、スピーカ２１３に出力する。なお、オーディオデータもまた、画像データと同様、必ずしもＭＰＥＧに従って圧縮符号化されている必要はなく、他のフォーマットに従って圧縮符号化されていても良い。また、圧縮符号化されていなくても良い。従って、ＭＰＥＧ復号器２１１は、他の復号器でもよく、また、圧縮符号化されていないオーディオデータを取り扱う場合には、無くても良い。
【００６８】
オーディオ出力部１１５は、スピーカ２１３によって実現され、オーディオ用Ｄ／Ａ変換部１１４からのアナログ信号を音声に変換して出力する。
以下に、図５に示すフローチャートと、図６から図９に示すページストリーム１、ページストリーム２およびタイムラインストリームの具体例、およびこれに基づいて表示される表示内容の具体例とを参照しながら、マルチメディア情報再生装置１００におけるマルチメディア情報の再生処理の手順を説明する。
【００６９】
図５は、本実施例のマルチメディア情報再生装置１００におけるマルチメディア情報の再生処理の手順を示すフローチャートである。
マルチメディア情報再生装置１００が起動されると、ページロード部１０２は、データサーバ１５０から、あらかじめ定められているページストリーム、例えば、後述のページストリーム１を、ネットワークインターフェイス部１０１に読み出させ、読み出されたページストリームをページ記憶部１１０にロードする（ステップＳ５０１）。
【００７０】
表示データ作成部１１３は、ロードされたページストリームの部分画像リストに記述されている各部分画像から、初期画面の表示データを作成する（ステップＳ５０２）。作成された表示データは、表示データ記憶部１０９に転送されて記憶され、約１／３０秒毎に表示部１１２に読み出されて表示される。
図６は、図３に示したページストリームの具体例であるページストリーム１の記述内容を示す説明図である。図６に示すように、ページストリーム１の部分画像リストには、部分画像ＩＤの順に、それぞれ、部分画像データの項目にビットマップデータあるいはグラフィックデータで表された、内部を斜線のパターンで塗りつぶされた円と、内部を縦の破線のパターンで塗りつぶされた三角形と、内部が白ぬきの長方形とが、それぞれ、その部分画像の表示位置を示すＸＹ座標と、その部分画像のＸ軸方向およびＹ軸方向の拡大率と、その部分画像の表示における回転角度とともに、記述されている。部分画像ＩＤ「１」の円は、表示データ作成部１１３により、ＸＹ座標「１００、１００」を基準として、部分画像データに記述されているビットマップデータが配置され、Ｘ軸方向およびＹ軸方向に等倍率、回転角度０°で表示データが作成される。次いで、部分画像ＩＤ「１」の円と同様にして、部分画像ＩＤ「２」の三角形の表示データが作成され、さらにこの後、部分画像ＩＤ「３」の長方形の表示データが作成される。これにより、各部分画像同士が重なり合う領域では、部分画像ＩＤの小さい部分画像データは、部分画像ＩＤの大きい部分画像データで更新される。
【００７１】
図７は、ページストリーム１、ページストリーム２およびタイムラインストリーム１に基づいて表示データ作成部１１３に描画された、各画面の表示内容を示す説明図である。図７（ａ）は、図６に示したページストリーム１の部分画像リストに基づいて、表示データ作成部１１３に描画された初期画面の表示内容を示す説明図である。前述のように、表示データ作成部１１３の描画処理において、各部分画像同士が重なり合う領域では、部分画像ＩＤの小さい部分画像データが、部分画像ＩＤの大きい部分画像データに更新されるため、図７（ａ）の初期画面に示すように、部分画像ＩＤの大きい部分画像ほど、上層に重ね合わされて表示される。
【００７２】
ステップＳ５０２の処理が終了すると、制御情報実行部１０４は、入力部１０３からの入力信号があるか否かを検出し（ステップＳ５０３）、否と検出された場合にはステップＳ５０８の処理に移る。
あると検出された場合には、制御情報実行部１０４は、その入力信号を識別し（ステップＳ５０４）、その入力信号が当該ページストリームの制御情報に記述されている入力信号であるか否かを判定する（ステップＳ５０５）。否と判定された場合には、ステップＳ５０８の処理に移る。
【００７３】
識別された入力信号が、当該ページストリームの制御情報に記述されていると判定されれば、制御情報実行部１０４は、その入力信号に対応して記述されている命令を実行する（ステップＳ５０６）。表示データ作成部１１３は、制御情報実行部１０４の実行結果に基づいて、表示データを作成する（ステップＳ５０７）。
【００７４】
以下、マルチメディア情報再生装置１００におけるステップＳ５０５〜ステップＳ５０７の処理について、具体例を参照しながら説明する。
制御情報実行部１０４は、入力信号を識別した後、ページ記憶部１１０にロードされている図６のページストリーム１から制御情報を読み出す。読み出された制御情報には入力信号「Ａ」、「Ｂ」および「Ｃ」が記述されているので、制御情報実行部１０４は入力信号が「Ａ」であるか、「Ｂ」であるか、「Ｃ」であるか、そのいずれでもないかを判定する。
【００７５】
識別された入力信号が「Ａ」であった場合には、制御情報に記述されているので、制御情報実行部１０４は入力信号「Ａ」に対応する「部分画像１のＸＹ座標を（１７０、１００）にする」という命令を実行する。制御情報実行部１０４が命令を実行するという内容は、「部分画像ＩＤ＝１」、「ＸＹ座標＝１７０、１００」というパラメータを、表示データ作成部１１３に渡すことである。制御情報実行部１０４は、当該パラメータに基づいて表示データを作成するよう表示データ作成部１１３に指示する。表示データ作成部１１３は、指示にしたがって表示データを作成する。図７（ｂ）は、ページストリーム１が実行されている間に「Ａ」が入力された場合の表示内容を示す説明図である。図７（ａ）の初期画面と比較して、図７（ｂ）に示すように、ページストリーム１が実行されている間に「Ａ」が入力された場合には、斜線で塗り潰された円である部分画像１が、ＸＹ座標「１００、１００」からＸＹ座標「１７０、１００」に移動されて表示される。
【００７６】
識別された入力信号が「Ｂ」であった場合には、上記と同様に、制御情報実行部１０４は、入力信号「Ｂ」に対応する「タイムラインのクロックを開始する」という命令を実行する。その内容は、ページストリーム１に記述されているタイムライン情報の実行を開始するようタイムライン制御部１０７に指示することである。これに応じて、タイムライン制御部１０７は、クロック部１０５を起動する。さらに、タイムライン制御部１０７は、ページストリーム１のタイムライン情報を読み出し、動画表示を記述したタイムライン情報中に、指定されたタイムラインストリームがあれば、そのタイムラインストリームのロードをページロード部１０２に指示する。さらに、タイムライン制御部１０７は、タイムライン情報に基づいて、後述するパラメータを作成して表示データ作成部１１３に渡し、当該パラメータに基づいて表示データを作成するよう表示データ作成部１１３に指示する。
【００７７】
図６に示すように、ページストリーム１には、アニメーション表示と動画表示とについて、タイムライン情報が記述されている。
アニメーション表示については、アニメーション表示される部分画像（アニメーション表示対象）の部分画像ＩＤ「３」、タイムライン情報の実行開始からの経過時間で表されたアニメーション表示開始時刻「００分００秒０００」とアニメーション表示終了時刻「００分０３秒０００」、所定の経過時間に対応して部分画像３の表示位置を示す「（００分００秒０００）ＸＹ座標＝１５０、１５０」、「（００分０１秒０００）ＸＹ座標＝１７０、１７０」、「（００分０２秒０００）ＸＹ座標＝１９０、１５０」が記述されている。
【００７８】
また、動画表示については、動画表示されるタイムラインストリームの識別番号「１」、タイムライン情報の実行開始からの経過時間で表された動画表示開始時刻「００分００秒０００」と動画表示終了時刻「００分０３秒０００」、タイムラインストリーム１の動画が内部に表示される部分画像である動画表示対象の部分画像ＩＤ「３」が記述されている。
【００７９】
これに対し、タイムライン制御部１０７は、まず、ページロード部１０２にタイムラインストリーム１をページ記憶部１１０にロードするよう指示する。図８は、図４に示したタイムラインストリームの具体例であるタイムラインストリーム１の記述内容を示す説明図である。図８に示すように、タイムラインストリーム１には、タイムライン情報の実行開始後「００分００秒０００」から「００分０３秒０００」までの間の各経過時間に対応して、太陽が山から登って行く動画を表した静止画データと、その静止画データが表示されている間に再生されるオーディオデータとが記述されている。
【００８０】
識別された入力信号が「Ｃ」であった場合には、制御情報実行部１０４は、入力信号「Ｃ」に対応する「ページストリーム２を読み込む」という命令を実行する。その内容は、ページ記憶部１１０にページストリーム２をロードするようページロード部１０２に指示することである。これに応じて、ページロード部１０２は、ページストリーム２の読み出しをネットワークインターフェイス部１０１に指示し、読み出されたページストリーム２をページ記憶部１１０にロードする。表示データ作成部１１３は、ロードされたページストリーム２の部分画像リストに基づいて表示データを作成する。
【００８１】
図９は、図６に示したページストリーム１に続くページストリーム２の記述内容を示す説明図である。図９に示すように、ページストリーム２の部分画像リストには、斜線で塗りつぶされた長方形が、部分画像ＩＤ「１」、ＸＹ座標「１００、１００」、ＸＹ拡大率「１、１」、回転角度「０」とともに、部分画像データにビットマップデータで記述されている。また、ページストリーム２の制御情報には、入力信号「Ａ」に対して、「部分画像１のＸＹ座標を２００、２００にする」という命令が記述されている。すなわち、上記部分画像リストに基づいてページストリーム２が実行されている間に「Ａ」が入力されたときには、部分画像１がＸＹ座標「２００、２００」の位置に表示される。なお、ページストリーム２には、タイムライン情報は記述されていない。
【００８２】
図７（ｆ）は、ページストリーム２がページ記憶部１１０にロードされたときの初期画面の表示内容を示す説明図である。図７（ｆ）に示すように、ページストリーム２の部分画像リストに記述されている、斜線で塗りつぶされた長方形が、ＸＹ拡大率「１、１」、回転角度「０」で、ＸＹ座標「１００、１００」に表示される。
【００８３】
ステップＳ５０７までの処理が終了すると、タイムライン制御部１０７は、クロック部１０５が動作しているか否かを検出する（ステップＳ５０８）。タイムライン制御部１０７は、クロック部１０５が動作中であることを検出すると、クロック部１０５で計測された、タイムライン情報の実行開始からの経過時間を読み出す（ステップＳ５０９）。
【００８４】
タイムライン制御部１０７は、クロック部１０５から読み出した経過時間により、現在、アニメーション表示対象に指定されている部分画像があるか否かを判定し（ステップＳ５１０）、あれば、該当する部分画像の表示位置を示すＸＹ座標を、予め所定の経過時間に対応して指定されているＸＹ座標から算出して、算出されたＸＹ座標を、そのときのＸＹ拡大率、回転角度およびその部分画像の部分画像ＩＤとともに、表示データ作成部１１３にパラメータとして渡す。次いで、タイムライン制御部１０７は、当該パラメータに基づいて表示データを作成するよう表示データ作成部１１３に指示する。表示データ作成部１１３は、当該パラメータに基づいて表示データを作成し、作成された表示データで表示データ記憶部１０９内の表示データを更新する（ステップＳ５１１）。ステップＳ５１０において、指定されている部分画像がなければ、ステップＳ５１２の処理に移る。
【００８５】
例えば、ステップＳ５０９における経過時間が「００分００秒０００」であったとすると、タイムライン情報に記述されているアニメーション表示開始時刻が「００分００秒０００」であるので、タイムライン制御部１０７は、アニメーション表示のパラメータとして、「部分画像ＩＤ＝３」と「（００分００秒０００）ＸＹ座標＝１５０、１５０」とを作成し、表示データ作成部１１３に渡す。これに応じて、表示データ作成部１１３は、パラメータ「（００分００秒０００）ＸＹ座標＝１５０、１５０」で指定されたＸＹ座標に部分画像３を移動して表示データを作成し、表示データ記憶部１０９内の表示データを更新する。
【００８６】
また、例えば、ステップＳ５０９における経過時間が「００分０１秒０００」であったとすると、この時刻にアニメーション表示が指定されている部分画像３があるので、タイムライン制御部１０７は、「００分０１秒０００」に対応するアニメーション表示のパラメータ「部分画像ＩＤ＝３」と「（００分０１秒０００）ＸＹ座標＝１７０、１７０」とを作成し、表示データ作成部１１３に渡す。表示データ作成部１１３は、当該パラメータに基づいて、部分画像３をＸＹ座標「１７０、１７０」に移動して表示データを作成し、表示データ記憶部１０９内の表示データを更新する。
【００８７】
なお、前記経過時間が「００分０１秒０００」のように経過時間に対してではなく、例えば、「００分００秒５００」であったとすると、タイムライン制御部１０７は、タイムライン情報から読み出した「（００分００秒０００）ＸＹ座標＝１５０、１５０」と「（００分０１秒０００）ＸＹ座標＝１７０、１７０」とから、これを補間する「（００分００秒５００）ＸＹ座標＝１６０、１６０」を算出し、表示データ作成部１１３に渡す。表示データ作成部１１３は、当該パラメータに基づいて、部分画像３をＸＹ座標「１６０、１６０」に移動して表示データを作成し、表示データ記憶部１０９内の表示データを更新する。
【００８８】
さらに、タイムライン制御部１０７は、クロック部１０５から読み出した経過時間により、現在、動画表示が指定されているタイムラインストリームがあるか否かを判定し（ステップＳ５１２）、あれば、該当するタイムラインストリームの中から、クロック部１０５から読み出した経過時間に対応する静止画データを特定して表示データ作成部１１３に通知するとともに、その静止画データに対応するオーディオデータをタイムラインストリームから読み出してオーディオデータ記憶部１１１に転送する。表示データ作成部１１３は、指定されたタイムラインストリームから、特定された静止画データを読み出して表示データを作成し、表示データ記憶部１０９内の表示データを更新した後（ステップＳ５１３）、ステップＳ５０３の処理に移る。ステップＳ５１２において、指定されているタイムラインストリームがなければ、ステップＳ５０３の処理に移る。
【００８９】
例えば、ステップＳ５０９における経過時間が「００分００秒０００」であったとすると、タイムライン情報に記述されている動画表示開始時刻は「００分００秒０００」であるので、タイムライン制御部１０７は、タイムライン情報の実行開始時から「００分００秒０００」経過時に対応する動画表示のパラメータとして、「タイムラインストリームの識別番号＝１」と「静止画データ＝００分００秒０００」と「部分画像ＩＤ＝３」とを作成し、表示データ作成部１１３に渡す。同時に、オーディオデータＡ１をタイムラインストリーム１から読み出して、オーディオデータ記憶部１１１に転送する。次いで、タイムライン制御部１０７は、当該パラメータに基づいて表示データを作成するよう表示データ作成部１１３に指示する。これに応じて、表示データ作成部１１３は、部分画像３の中にパラメータ「静止画データ＝００分００秒０００」で指定された静止画データを配置して、表示データを作成し、表示データ記憶部１０９内の表示データを更新する。
【００９０】
図７（ｃ）は、図７（ｂ）に示した画面が表示されている間に「Ｂ」が入力された直後の表示内容を示す説明図である。すなわち、図７（ｃ）は、クロック部１０５に計測されている経過時間が「００分００秒０００」の各パラメータに基づいて描画された画面を示している。アニメーション表示される部分画像３は、「（００分００秒０００）ＸＹ座標＝１５０、１５０」に表示されるが、部分画像１と部分画像２とは、アニメーション表示用のパラメータでＸＹ座標が指定されていないので、図７（ｂ）に示された位置と同一の位置に表示される。また、部分画像３の内部にはタイムラインストリーム１の「静止画データ＝００分００秒０００」の静止画データが表示される。また、この表示と同時に、オーディオデータＡ１が再生される。なお、図７（ａ）に示した初期画面が表示されている間に「Ｂ」が入力された場合の表示内容と、図７（ｃ）の表示内容とが異なる点は、斜線で塗り潰された円の表示位置である。前者では円がＸＹ座標「１００、１００」に表示されるのに対し、後者では円がＸＹ座標「１７０、１００」に表示される。
【００９１】
さらに、例えば、ステップＳ５０９における経過時間が「００分０１秒０００」であったとすると、この時刻に動画表示が指定されているタイムラインストリーム１があるので、タイムライン制御部１０７は、経過時間「００分０１秒０００」に対応する動画表示のパラメータ「タイムラインストリームの識別番号＝１」と「静止画データ＝００分０１秒０００」と「部分画像ＩＤ＝３」とを作成し、表示データ作成部１１３に渡す。同時に、タイムライン制御部１０７は、経過時間「００分０１秒０００」に対応するオーディオデータＡｉを、タイムラインストリーム１から読み出し、オーディオデータ記憶部１１１に転送する。表示データ作成部１１３は、当該パラメータに基づいて、部分画像３の中にタイムラインストリーム１から読み出した「００分０１秒０００」の静止画データを配置して表示データを作成する。
【００９２】
図７（ｄ）は、タイムライン情報の実行開始から経過時間「００分０１秒０００」における表示内容を示す説明図である。図７（ｄ）に示すように、部分画像１と部分画像２とは図７（ｂ）に示された位置と同一の位置に表示されているが、部分画像３はＸＹ座標「１７０、１７０」に移動されて表示されており、その内部に「００分０１秒０００」の静止画データが表示されている。また、この画面が表示されている間に、オーディオデータＡｉが再生される。
【００９３】
さらに、図７（ｅ）は、タイムライン情報の実行開始から経過時間「００分０２秒０００」における表示内容を示す説明図である。タイムライン情報の実行開始から経過時間「００分０１秒０００」における場合と同様の処理によって、部分画像１と部分画像２とは図７（ｂ）に示された位置と同一の位置に表示されているが、部分画像３はＸＹ座標「１９０、１５０」に移動されて表示され、その内部に「００分０２秒０００」の静止画データが表示される。また、「００分０２秒０００」の静止画データが表示されている間、オーディオデータＡｊが再生される。なお、ページストリーム１の制御情報にはアニメーション表示について、経過時間「００分０２秒０００」以降の部分画像３に対するＸＹ座標が示されていないので、経過時間「００分０３秒０００」までアニメーション表示の処理は継続されるが、部分画像３はＸＹ座標「１９０、１５０」に静止して表示される。これに対し、部分画像３の内部には、経過時間「００分０３秒０００」までの静止画データが順次表示されるとともに、表示されている静止画データに対応したオーディオデータが順次再生される。
【００９４】
以上のように本実施例によれば、１画面分の表示内容を１つの画像データとしてデータサーバ１５０から読み出す場合に比べて、マルチメディア情報再生装置１００は、ロードされているページストリームに記述された部分画像の表示を変更する場合には、データサーバ１５０からの画像データの読み出しを必要としないので、データサーバ１５０との間のデータの転送レートにかかわらず、単位時間あたり比較的多数の静止画を表示することができる。各ページストリームの記述内容と各タイムラインストリームの記述内容とは、それぞれ、データサーバ１５０内の１つのファイル内に記録されているので、同一ページストリームあるいは同一タイムラインストリーム内から一部の情報が順次、読み出される際には、読み出される各情報についての読み出し要求が発生しない。このため、同一ページストリームおよび同一タイムラインストリームからのデータ読み出しが速く、再生される音声や動画の途切れを生じることなく、精度良くマルチメディア情報を再生することができる。また、部分画像リストとその部分画像リストに記述されている部分画像に関連した制御情報とタイムライン情報とが、一つのページストリームに記述されているので、画像データ、制御情報、動画情報などが、データサーバ１５０内のそれぞれ別個のファイルに記録されている場合に比べて、それらの情報を内部のＲＡＭ２０２にロードし、管理するＣＰＵ２０１の負荷を軽減することができる。
【００９５】
なお、本実施例では、タイムラインストリームに記述される静止画データおよびオーディオデータは、ＭＰＥＧに従って圧縮符号化されており、これをＭＰＥＧ復号器２１１で伸長復号することとしたが、静止画データ、オーディオデータおよび部分画像データは、それぞれ、必ずしもＭＰＥＧに従って圧縮符号化されている必要はなく、他のフォーマット、例えば、ＶＦＷ（ＶｉｄｅｏｆｏｒＷｉｎｄｏｗｓ）あるいは、ＱＴ（ＱｕｉｃｋＴｉｍｅ）などで圧縮符号化された画像データであっても良い。このため、ＭＰＥＧ復号器２１１は、他のフォーマットに従う復号器であってもよい。また、マルチメディア情報再生装置１００が、圧縮符号化されていないデータだけを取り扱う場合には、復号器は備えられなくても良い。
【００９６】
また、本実施例では、ページロード部１０２は、タイムライン情報の実行開始時に、指定されたタイムラインストリームの記述内容をデータサーバ１５０から一括してページ記憶部１１０にロードし、表示データ作成部１１３は、ロードされたタイムラインストリーム内の特定された静止画データを読み出して表示データを作成することとしたが、前記タイムラインストリームの記述内容は、必ずしも一括してページ記憶部１１０にロードされる必要はない。例えば、ページロード部１０２は、指定されたタイムラインストリーム内の特定された静止画データとオーディオデータとを、動画表示の各表示時刻毎にページ記憶部１１０にロードすることとし、表示データ作成部１１３は、ロードされた静止画データをページ記憶部１１０から読み出して表示データを作成し、タイムライン制御部１０７は、ロードされたオーディオデータをオーディオデータ記憶部１１１に転送するようにしても良い。
【００９７】
このためには、以下の処理が行われる。ネットワークインターフェイス部１０１とデータサーバ１５０とは、まず、動画表示実行時間に対応した一定時間、ネットワークの通信帯域を確保しておく。次いで、データサーバ１５０は、読み出し要求のあったタイムラインストリームを記録したファイルから、各表示時刻に対応して、ＭＰＥＧなどに従って圧縮符号化されたその時刻の静止画データとオーディオデータとを読み出し、ネットワークに送出する。ネットワークを介して、各表示時刻に対応した静止画データとオーディオデータとを受信したマルチメディア情報再生装置１００側では、ページロード部１０２が、受信された静止画データとオーディオデータとをページ記憶部１１０にロードする。ロードされた静止画データとオーディオデータとは、マルチメディア情報再生装置１００の前記各構成要素により、当該表示時刻に再生される。一般に、画像データは、圧縮符号化されていてもデータ量が大きいので、１つのタイムラインストリームに記述されるデータ量は、比較的大きいと考えても良い。このため、ページ記憶部１１０として必要なＲＡＭ２０２の記憶容量を考慮すれば、ページロード部１０２は、動画表示の各表示時刻毎に、特定された静止画データとオーディオデータとをページ記憶部１１０にロードするようにした方が好ましいといえる。なお、すでに説明したように、１つのタイムラインストリームの記述内容は、データサーバ１５０内の１つのファイルに記録されているので、ページロード部１０２が、表示時刻の都度、特定された静止画データとオーディオデータとをデータサーバ１５０からロードすることとしても、読み取り要求を発生しないので、再生される音声や動画の途切れを生じることなく動画表示を行うことができる。
【００９８】
さらに、本実施例では、動画表示の際に、タイムライン制御部１０７が、タイムライン情報内で指定されたタイムラインストリームのロードを、ページロード部１０２に指示し、指示されたページロード部１０２が、さらに、データサーバ１５０からの読み出しをネットワークインターフェイス部１０１に指示することとしたが、必ずしもこのようにタイムラインストリームの読み出しを行う必要はなく、タイムライン制御部１０７が、指定されたタイムラインストリームの読み出しを直接、ネットワークインターフェイス部１０１に指示するようにしてもよい。
【００９９】
さらに、本実施例では、表示部１１２は、各ページを約１／３０秒毎に表示することとして説明したが、品質の高い動画像を表示する場合には、約１／６０秒毎に、あるいは、約１／１５０秒毎に各ページを表示する。このような場合には、タイムラインストリームには、タイムラインストリームの実行開始から約１／６０秒毎、あるいは、約１／１５０秒毎の表示時刻に対応した静止画像データとオーディオデータとが記述される。
【０１００】
また、前記データサーバ１５０のファイルには、必ずしもすべての情報がデジタルデータで記録されている必要はなく、一部のデータ、例えば、タイムラインストリームのオーディオデータなどは、アナログデータでかつ分割されて記録されていても良い。これに対応して、マルチメディア情報再生装置１００には、オーディオデータ記憶部１１１の代わりに、アナログデータ用の記憶部が備えられる。
【０１０１】
なお、本実施例では、データサーバ１５０は、ページストリームとタイムラインストリームとを区別して記憶しているように説明したが、必ずしもその必要はなく、データサーバ１５０は、ページストリームとタイムラインストリームとの区別なく、例えば、順番号などで表された各ファイルの識別番号でページストリームとタイムラインストリームとを記憶しておいても良い。この場合には、ページストリームおよびタイムラインストリーム内の各情報中に記述されるページストリームとタイムラインストリームとの指定、および、制御情報実行部１０４とタイムライン制御部１０７とのパラメータによるページストリームとタイムラインストリームとの指定は、前記各ファイルの前記識別番号で記述される。
（実施例２）
図１０は、本発明の第２実施例であるマルチメディア情報記録装置１０００の構成を示すブロック図である。図１１は、図１０に示したマルチメディア情報記録装置１０００のハードウェア構成を示すブロック図である。
【０１０２】
図１０に示すように、マルチメディア情報記録装置１０００は、通信回線を介してデータサーバ１５０に接続されており、入力部１００１、ストリーム作成部１００２、２次記憶部１００３、データサーバ書き込み部１００９を備える。２次記憶部１００３は、部分画像記憶部１００４、動画記憶部１００５、オーディオ記憶部１００６、ページストリーム記憶部１００７およびタイムラインストリーム記憶部１００８の記憶領域を備える。
【０１０３】
また、図１１に示すように、マルチメディア情報記録装置１０００のハードウェア構成は、ＣＰＵ１１０１、ＲＡＭ１１０２、システムクロック１１０３、タイマ１１０４、キーボード１１０５、入力機器インターフェイス１１０６、ネットワークインターフェイス１１０７、ディスクインターフェイス１１０８、ハードディスク１１１０、ＭＰＥＧ復号器１１１１、音声用Ｄ／Ａ変換器１１１２、スピーカ１１１３、グラフィックコントローラ１１１４、ＶＲＡＭ１１１５、映像用Ｄ／Ａ変換器１１１６およびＣＲＴ１１１７を備える。
【０１０４】
なお、システムクロック１１０３、タイマ１１０４、ＭＰＥＧ復号器１１１１、音声用Ｄ／Ａ変換器１１１２、スピーカ１１１３、グラフィックコントローラ１１１４、ＶＲＡＭ１１１５、映像用Ｄ／Ａ変換器１１１６およびＣＲＴ１１１７は、ページストリームおよびタイムラインストリームの作成および記録には必ずしも必要な構成要素ではないが、オペレータが２次記憶部１００３内の素材データや、作成されたページストリームおよびタイムラインストリームの内容を再生し、確認するために用いられる。
【０１０５】
データサーバ１５０は、データサーバ書き込み部１００９から書き込み要求とともに送信されたページストリームおよびタイムラインストリームを、通信回線を介して受信し、内部に備える図示しないハードディスク装置などの記憶装置に、それぞれ個別のファイルとして記録する。
入力部１００１は、キーボード１１０５および入力機器インターフェイス１１０６によって実現される。なお、入力部１００１は、図示しないスキャナおよびビデオキャプチャー用のボードを備える。スキャナは、紙面などに印字された静止画などを、デジタル化された静止画データとして入力する。また、ビデオキャプチャー用のボードは、接続されているビデオテープレコーダなどから、動画をデジタル化された動画データとして入力する。
【０１０６】
ストリーム作成部１００２は、ＣＰＵ１１０１によって実現される。ストリーム作成部１００２は、処理の手順に応じて、例えば、ＣＲＴ１１１７にメニュー画面および入力要求を表示させ、マルチメディア情報の編集者からの指示の入力や文字情報の入力を受け付ける。さらに、当該表示に応じて入力された指示にしたがって、それぞれ各指示に対応する部分画像ファイル、動画ファイルおよびオーディオファイルを部分画像記憶部１００４、動画記憶部１００５およびオーディオ記憶部１００６から読み出して、図３および図４に示したページストリームおよびタイムラインストリームを対話的に作成する。制御情報の入力は、入力部１００１からの文字入力によって行う。なお、ストリーム作成部１００２の処理動作は、図１２および図１３のフローチャートを用いて、後に詳細に説明する。
【０１０７】
２次記憶部１００３は、ディスクインターフェイス１１０８およびハードディスク１１１０によって実現される。
部分画像記憶部１００４は、１または複数の部分画像ファイルを記憶する。それぞれの前記部分画像ファイルには、静止画を表す素材データのうちから編集処理によってあらかじめ切り出された１つの部分画像が、ＭＰＥＧなどにしたがって圧縮符号化されたビットマップデータあるいはグラフィックデータなどで記述され、記憶されている。各部分画像ファイルに記述されている内容は、ページストリームの部分画像データを記述する内容に対応する。なお、素材データとは、編集処理により、制御情報や他の素材データと関係づけられることによってマルチメディア情報を構成するデータをいう。
【０１０８】
動画記憶部１００５は、１または複数の動画ファイルを記憶する。前記動画ファイルには、動画を表した静止画の素材データのうちから、編集処理によってあらかじめ所定の表示時刻に対応づけて切り出された静止画データが、１画面毎にその表示時刻の順に記録されている。
オーディオ記憶部１００６は、１または複数のオーディオファイルを記憶する。前記オーディオファイルには、音声を表す素材データのうちから、編集処理によって、１つの前記静止画データが表示されている時間の長さに対応した音声のデータ量毎にあらかじめ分割された各オーディオデータが、前記静止画データの表示時刻に対応づけて、表示時刻の順に記録されている。
【０１０９】
ページストリーム記憶部１００７は、ストリーム作成部１００２によって作成されたページストリームを記憶する。
タイムラインストリーム記憶部１００８は、ストリーム作成部１００２によって作成されたタイムラインストリームを記憶する。
データサーバ書き込み部１００９は、ネットワークインターフェイス１１０７によって実現される。データサーバ書き込み部１００９は、ストリーム作成部１００２からの通知に従って、ページストリーム記憶部１００７から該当するページストリームを読み出し、そのページストリームのＰＴ区分「Ｐ」と、識別番号と、ページストリームとをその書き込み要求とともに、通信回線を介してデータサーバ１５０に送信する。同様に、データサーバ書き込み部１００９は、ストリーム作成部１００２からの通知に従って、タイムラインストリーム記憶部１００８から該当するタイムラインストリームを読み出し、そのタイムラインストリームのＰＴ区分「Ｔ」と、識別番号と、タイムラインストリームとを、その書き込み要求とともに、データサーバ１５０に送信する。これに応じて、データサーバ１５０は、ＰＴ区分「Ｐ」と、識別番号とを付したファイルに当該ページストリームを記録し、ＰＴ区分「Ｔ」と、識別番号とを付したファイルに当該タイムラインストリームを記録する。
【０１１０】
図１２および図１３は、本実施例のマルチメディア情報記録装置１０００におけるマルチメディア情報の記録処理の手順を示すフローチャートである。なお、ステップＳ１２１９からステップＳ１２２８までの記録処理の手順については、図１３のフローチャートに示す。
ストリーム作成部１００２は、まず、ページストリームおよびタイムラインストリームの識別番号を「１」に初期化する（ステップＳ１２０１）。
【０１１１】
ストリーム作成部１００２は、当該ページストリームに記述されるべき内容があるか否かを示す指示の入力を要求する。これに応じて入力された指示にしたがって、当該ページストリームに記述されるべき内容があれば（ステップＳ１２０２）、部分画像ＩＤを「１」に初期化する（ステップＳ１２０３）。
さらに、ストリーム作成部１００２は、当該部分画像ＩＤの部分画像として記述されるべき内容があるか否かを示す指示の入力を要求する。これに応じて入力された指示にしたがって、当該部分画像ＩＤの部分画像として記述されるべき内容があれば（ステップＳ１２０４）、対応する部分画像を記述した部分画像ファイルのファイル名の入力を受け付ける（ステップＳ１２０５）。さらに、当該ページストリームの初期画面における当該部分画像の表示位置、拡大率および回転角度を記述するＸＹ座標、ＸＹ拡大率および回転角度の入力を受け付ける（ステップＳ１２０６）。ストリーム作成部１００２は、ページストリーム記憶部１００７内で当該ページストリームの当該部分画像ＩＤの前記各項目に割当てられた記憶領域に、部分画像ＩＤ、ＸＹ座標、ＸＹ拡大率および回転角度を書き込む。続いて、入力されたファイル名の部分画像ファイルを部分画像記憶部１００４から読み出し、読み出された内容を、ページストリーム記憶部１００７内で当該ページストリームの当該部分画像ＩＤを有する部分画像データの項目に割当てられた記憶領域に書き込む（ステップＳ１２０７）。この後、ストリーム作成部１００２は、部分画像ＩＤをインクリメントして（ステップＳ１２０８）、ステップＳ１２０４の処理に戻る。
【０１１２】
ステップＳ１２０４の処理において、入力された指示により、当該部分画像ＩＤの部分画像として記述されるべき内容がなければ、ストリーム作成部１００２は、さらに、当該ページストリームにおいて記述されるべき制御情報があるか否かの指示の入力を要求し、入力された指示により、記述されるべき制御情報があれば（ステップＳ１２０９）、入力信号名の入力を受け付ける（ステップＳ１２１０）。それに続いて、入力された入力信号名に対応して実行されるべき命令の入力を受け付ける（ステップＳ１２１１）。ストリーム作成部１００２は、ページストリーム記憶部１００７内で当該ページストリームの制御情報の項目に割当てられた記憶領域の空き領域に、入力された入力信号名とそれに対応する命令との組を書き込んで（ステップＳ１２１２）、ステップＳ１２０９の処理に戻る。
【０１１３】
ステップＳ１２０９の処理において、入力された指示により、当該ページストリームに記述されるべき制御情報がなければ、ストリーム作成部１００２は、さらに、当該ページストリームにおいて記述されるべきアニメーション表示があるか否かの指示の入力を要求する。これに応じて入力された指示により、記述されるべきアニメーション表示があれば（ステップＳ１２１３）、アニメーション表示されるべき部分画像（アニメーション表示対象）の部分画像ＩＤの入力を受け付ける（ステップＳ１２１４）。さらに、ストリーム作成部１００２は、入力された部分画像ＩＤの部分画像をどのようにアニメーション表示するかを示す１または複数のアニメーション種類の入力を受け付ける（ステップＳ１２１５）。なお、前記アニメーション種類は、例えば、「移動」、「拡大」および「回転」等の中から選ばれる。前記アニメーション種類の入力に応じて、時間の経過に伴って変化するパラメータが指定される。
【０１１４】
さらに、ストリーム作成部１００２は、当該ページストリームに記述されるべき、タイムライン情報の実行開始からの経過時間で表される時刻と、入力されたアニメーション種類に対応するパラメータの前記時刻に対応した値との組があるか否かを示す指示の入力を要求する。これに応じて入力された指示にしたがって、あれば（ステップＳ１２１６）、その入力を受け付ける（ステップＳ１２１７）。具体的には、前記時刻に対応するパラメータの値は、「移動」に対してＸＹ座標の値が、「拡大」に対してＸＹ拡大率の値が、および「回転」に対して回転角度の値が入力される。
【０１１５】
ステップＳ１２１６の処理において、入力された指示にしたがって、当該ページストリームに記述されるべき、時刻とその時刻に対応したパラメータの値との組がなければ、ストリーム作成部１００２は、ページストリーム記憶部１００７内で当該ページストリームのアニメーション表示に関する情報に割当てられた記憶領域の空き領域に、入力されたアニメーション表示対象の部分画像ＩＤと、時刻とその時刻および入力されたアニメーション種類に対応したパラメータの値との組とを書き込み（ステップＳ１２１８）、ステップＳ１２１３の処理に戻る。
【０１１６】
ステップＳ１２１３の処理において、入力された指示により、当該ページストリームに記述されるべきアニメーション表示がなければ、ストリーム作成部１００２は、当該ページストリームに記述されるべき動画表示があるか否かを示す指示の入力を要求する。これに応じて入力された指示により、記述されるべき動画表示があれば（ステップＳ１２１９）、動画表示の開始時刻、終了時刻、およびその動画が表示されるべき部分画像（動画表示対象）の部分画像ＩＤの入力を受け付ける（ステップＳ１２２０）。
【０１１７】
さらに、ストリーム作成部１００２は、入力された部分画像ＩＤで示される部分画像の内部に表示されるべき動画を記述した、動画ファイルのファイル名の入力を受け付ける（ステップＳ１２２１）。
次いで、ストリーム作成部１００２は、入力されたファイル名に記述されている動画に同期して再生されるべき音声を記述した、オーディオファイルがあるか否かを示す指示の入力を要求する。これに応じて入力された指示により、あれば（ステップＳ１２２２）、ストリーム作成部１００２は、そのオーディオファイルのファイル名の入力を受け付ける（ステップＳ１２２３）。次いで、ストリーム作成部１００２は、ファイル名が入力された動画ファイルとオーディオファイルとを、それぞれ動画記憶部１００５とオーディオ記憶部１００６とから読み出して、同一時刻に対応する静止画データとオーディオデータとをそれぞれ組にして、タイムラインストリーム記憶部１００８内で、現在セットされている識別番号を有するタイムラインストリームに割当てられた記憶領域に書き込む（ステップＳ１２２４）。
【０１１８】
ストリーム作成部１００２は、ページストリーム記憶部１００７内で当該ページストリームの動画表示に関する情報に割当てられた記憶領域の空き領域に、入力された動画表示の開始時刻と終了時刻と動画表示対象の部分画像ＩＤとを、該当するタイムラインストリームの識別番号とともに書き込む（ステップＳ１２２５）。
【０１１９】
ステップＳ１２２２の処理において、該当するオーディオファイルがなければ、ファイル名が入力された動画ファイルを、動画記憶部１００５から読み出して、タイムラインストリーム記憶部１００８内で、現在セットされている識別番号を有するタイムラインストリームに割当てられた記憶領域に書き込み（ステップＳ１２２６）、ステップＳ１２２５の処理に移る。
【０１２０】
次いで、ストリーム作成部１００２は、タイムラインストリームの識別番号をインクリメントして（ステップＳ１２２７）、ステップＳ１２１９の処理に戻る。
ステップＳ１２１９の処理において、入力された指示により、当該ページストリームに記述されるべき動画表示がなければ、ストリーム作成部１００２は、ページストリームの識別番号をインクリメントした後（ステップＳ１２２８）、ステップＳ１２０２の処理に戻る。
【０１２１】
ステップＳ１２０２の処理において、入力された指示により、当該ページストリームに記述されるべき内容がなければ、ストリーム作成部１００２は、作成されたページストリームおよびタイムラインストリームを、データサーバ１５０の各ファイルに記録する順序を示す指示の入力を要求するとともに、その入力を受け付ける（ステップＳ１２２９）。ストリーム作成部１００２は、入力された記録順序をデータサーバ書き込み部１００９に通知し、データサーバ書き込み部１００９は、前記通知に従って、ページストリーム記憶部１００７から該当するページストリームを読み出すとともに、タイムラインストリーム記憶部１００８から該当するタイムラインストリームを読み出して、データサーバ１５０に記録する（ステップＳ１２３０）。
【０１２２】
以上のように本実施例によれば、マルチメディア情報記録装置１０００は、図３および図４に示したページストリームおよびタイムラインストリームを、データサーバ１５０内の記憶装置に、それぞれ１ファイルとして記録することができる。これにより、ネットワークを介して当該データサーバ１５０に接続されたマルチメディア情報再生装置１００側では、マルチメディア情報記録装置１０００によって記録されたページストリームおよびタイムラインストリームを再生することにより、第１実施例に示した上記効果を得ることができる。
【０１２３】
なお、本実施例では、タイムラインストリームに記述される静止画データおよびオーディオデータは、ＭＰＥＧに従って圧縮符号化されていることとしたが、静止画データ、オーディオデータおよび部分画像データは、それぞれ、必ずしもＭＰＥＧに従って圧縮符号化されている必要はなく、他のフォーマット、例えば、ＶＦＷ（ＶｉｄｅｏｆｏｒＷｉｎｄｏｗｓ）あるいは、ＱＴ（ＱｕｉｃｋＴｉｍｅ）などで圧縮符号化された画像データであっても良い。
【０１２４】
なお、本実施例において、データサーバ１５０は、ページストリームとタイムラインストリームとの区別なく、例えば、順番号などで表された各ファイルの識別番号でページストリームとタイムラインストリームとを記憶しておいても良い。この場合には、ページストリームおよびタイムラインストリーム内の各情報中に記述されるページストリームとタイムラインストリームとの指定、および、制御情報実行部２０４とタイムライン制御部２０７とのパラメータによるページストリームとタイムラインストリームとの指定は、前記各ファイルの前記識別番号で記述される。
【０１２５】
【発明の効果】
以上のように、請求項１又は７記載の本発明によれば、データサーバ内の各ファイルに記録されたページ情報に、１画面の表示内容を構成する部分画像の画像情報とその表示態様とが記述されているので、表示画像の一部分だけを変更して表示する場合には、前記制御情報に従って、該当する部分画像の表示態様情報を変更して表示データを作成するだけでよく、変更後の表示データを容易に作成することができる。また、１つのページ情報内には、部分画像リスト内の部分画像を用いて表示画像の一部分だけを変更し、表示するための情報がすべて記述されており、ページ情報内の情報だけで、表示画像の一部分だけを変更した表示データを作成することができるので、表示データをデータサーバからその都度、読み出す必要がない。従って、表示画像の一部分だけを変更した表示データを、あらかじめ作成してデータサーバ内に記録しておく必要が無い。また、このため、データサーバとマルチメディア情報再生装置との間のデータの転送レートにより、単位時間あたりに表示できる表示データの数が制限されてしまうという問題も生じない。さらに、本発明のマルチメディア情報再生装置では、データサーバ内の１つのファイルから１つのページ情報を読み出すので、データサーバ内の複数のファイルから必要な情報を読み出して、メモリ内にロードする場合に比べて、メモリを管理するＣＰＵの負荷が少ない。また、本発明のマルチメディア情報再生装置において、別の部分画像から構成される新たな画面が表示される場合には、その部分画像が記述されている新たなページ情報が読み出され、読み出されたページ情報の記述内容だけから、その画面を表す表示データが作成される。このため、本発明のマルチメディア情報再生装置においては、新たなページ情報の読み出しの際に生じる一回の読み出し要求だけで、新たな表示データを作成することができ、データサーバ内の複数のファイルから（すなわち、何度も読み出し要求を発行して）部分画像情報を読み出してくる場合に比べて、部分画像情報の読み出しをより短時間で行うことができ、より短時間に新たな画面を表示することができる。
【０１２６】
請求項２記載の本発明によれば、上記効果に加えて、１つのページ情報には、前記部分画像リスト内の部分画像情報とその表示態様情報とを用いて、アニメーション表示を行うための情報がすべて記述されているので、データサーバから各画面を表す表示データを表示の都度読み出す必要がないことと、前記表示態様情報を変更するだけで容易に表示データを作成することができることから、各画面の表示内容を表した表示データを表示の都度読み出す場合に比べて、短時間で前記表示データを作成することができ、より品質の高いアニメーション表示を行うことができる。
【０１２７】
請求項３記載の本発明によれば、時間の経過に伴って、前記部分画像情報で表される各部分画像の表示位置、表示サイズ、表示角度が変化されて表されるアニメーション表示において、上記効果を得ることができる。
請求項４記載の本発明によれば、ページ記憶手段に記憶されているページ情報により上記効果を得ることができるとともに、当該ページ情報に基づいた表示内容と時間の経過とに対応づけて、データサーバから時系列情報に記述された内容を順次、読み出し、再生することができる。また、前記時系列情報も１つのファイルとして記録されているので、前記時系列情報内の記述内容を順次読み出す場合に、読み出し要求が発生しない。このため、時系列情報読み出し手段は、時系列情報内の記述内容を速やかに読み出すことができ、次に読み出されるべき記述内容の読み出し開始迄に、前回の読み出し分の記述内容の読み出しを完了することができる。この結果、マルチメディア情報再生装置は、前記時系列情報内に記録されている記述内容を途切れることなく、再生することができる。
【０１２８】
請求項５記載の本発明によれば、上記効果に加えて、マルチメディア情報再生装置は、データサーバから読み出された第１時系列情報内の音声情報を、当該ページ情報に基づいた表示内容と時間の経過とに対応づけて、途切れを生じることなく再生することができる。具体的には、マルチメディア情報再生装置は、ページ記憶手段に記憶されているページ情報に基づいて品質の高いアニメーション表示を行ないながら、前記第１時系列情報内の音声情報を精度良く再生することができる。
【０１２９】
請求項６記載の本発明によれば、上記効果に加えて、第２時系列情報に書き込まれている音声情報と画面情報との組を精度良く再生することができる。具体的には、マルチメディア情報再生装置は、ページ記憶手段に記憶されているページ情報に基づいて品質の高いアニメーション表示を行ないながら、同一画面内の前記部分画像に関連した領域、例えば、１つの部分画像の内部に前記第２時系列情報内の画面情報で表される動画を精度良く表示するとともに、音声情報を精度良く再生することができる。
【０１３０】
請求項８記載の本発明によれば、オペレータからの入力に従って、対話的に生成される前記ページ情報を、前記データサーバの各ファイルに記録することができる。これにより、前記データサーバから前記ページ情報を読み出して再生するマルチメディア情報再生装置に対し、請求項１記載の本発明による効果を提供することができる。
【０１３１】
請求項９記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報を記録することができる。これにより、前記データサーバから前記ページ情報を読み出して再生するマルチメディア情報再生装置に対し、請求項２記載の本発明による効果を提供することができる。
請求項１０記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報を記録することができる。これにより、前記データサーバから前記ページ情報を読み出して再生するマルチメディア情報再生装置に対し、請求項３記載の本発明による効果を提供することができる。
【０１３２】
請求項１１記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報と前記時系列情報とを記録することができる。これにより、前記データサーバから前記ページ情報と前記時系列情報とを読み出して再生するマルチメディア情報再生装置に対し、請求項４記載の本発明による効果を提供することができる。
【０１３３】
請求項１２記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報と前記時系列情報とを記録することができる。これにより、前記データサーバから前記ページ情報と前記時系列情報とを読み出して再生するマルチメディア情報再生装置に対し、請求項５記載の本発明による効果を提供することができる。
【０１３４】
請求項１３記載の本発明によれば、前記データサーバの各ファイルに前記ページ情報と前記時系列情報とを記録することができる。これにより、前記データサーバから前記ページ情報と前記時系列情報とを読み出して再生するマルチメディア情報再生装置に対し、請求項６記載の本発明による効果を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１実施例であるマルチメディア情報再生装置１００の構成を示すブロック図である。
【図２】図１に示したマルチメディア情報再生装置１００のハードウェア構成を示すブロック図である。
【図３】本実施例のマルチメディア情報再生装置１００によって再生されるページストリームのデータ構成を示す説明図である。
【図４】本実施例のマルチメディア情報再生装置１００によって再生されるタイムラインストリームのデータ構成を示す説明図である。
【図５】本実施例のマルチメディア情報再生装置１００におけるマルチメディア情報の再生処理の手順を示すフローチャートである。
【図６】図３に示したページストリームの具体例であるページストリーム１の記述内容を示す説明図である。
【図７】ページストリーム１、ページストリーム２およびタイムラインストリーム１に基づいて表示データ作成部１１３に描画された、各画面の表示内容を示す説明図である。
【図８】図４に示したタイムラインストリームの具体例であるタイムラインストリーム１の記述内容を示す説明図である。
【図９】図６に示したページストリーム１に続くページストリーム２の記述内容を示す説明図である。
【図１０】本発明の第２実施例であるマルチメディア情報記録装置１０００の構成を示すブロック図である。
【図１１】図１０に示したマルチメディア情報記録装置１０００のハードウェア構成を示すブロック図である。
【図１２】本実施例のマルチメディア情報記録装置１０００におけるマルチメディア情報の記録処理の手順を示すフローチャートである。
【図１３】本実施例のマルチメディア情報記録装置１０００におけるマルチメディア情報の記録処理の手順を示すフローチャートである。
【図１４】従来のマルチメディア情報再生装置において画像と音声との同期再生が行われるマルチメディア情報のデータ構成の一例を示す説明図である。
【符号の説明】
１００マルチメディア情報再生装置
１０１ネットワークインターフェイス部
１０２ページロード部
１０３入力部
１０４制御情報実行部
１０５クロック部
１０７タイムライン制御部
１０８記憶部
１０９表示データ記憶部
１１０ページ記憶部
１１１オーディオデータ記憶部
１１２表示部
１１３表示データ作成部
１１４オーディオ用Ｄ／Ａ変換部
１１５オーディオ出力部
１５０データサーバ[0001]
[Industrial application fields]
The present invention relates to a multimedia information recording apparatus for recording multimedia information including moving picture information, still picture information, graphics, audio information, and the like in a storage device provided in a data server or the like connected via a network, and The present invention relates to a multimedia information reproducing apparatus that reads out and reproduces the multimedia information from the data server or the like.
[0002]
[Prior art]
In recent years, TV game machines, electronic books, high-end karaoke devices, video-on-demand devices, and the like have been used as read-only multimedia information playback devices. These multimedia information playback devices play back multimedia information recorded on an optical disc (CD-ROM) or digital video disc (DVD), and multimedia information transmitted from a data server via a network or the like. To do.
[0003]
Hereinafter, as an example of the conventional multimedia information reproducing apparatus as described above, “electronic picture-story show” disclosed in Japanese Patent Laid-Open No. 5-28648 will be described. FIG. 14 is an explanatory diagram showing an example of a data configuration of multimedia information in which synchronized playback of images and sounds is performed in a conventional multimedia information playback apparatus.
The data and information shown in the data area column and the control information column in FIG. 14 are recorded on a recording medium such as a digital disc, and a predetermined amount of data shown in the data area column in which audio data and still image data are mixed. The control information shown in the control information column is recorded for each block composed of. In FIG. 14, An (where n is a natural number) in the data area column indicates audio data, VnB and VnC indicate data of still image B and still image C, respectively, and CLUT (color look-up table) indicates CLUT data. NOPn indicates no-operation data. (1) in the control information column indicates a data write command, (2) indicates a CLUT data command, (3) indicates a data display command, (4) indicates an audio data command, and (5) indicates nothing. Indicates an operation instruction. A and B in the display screen column indicate still images A and B displayed on the screen, respectively.
[0004]
Each command in the control information column is executed sequentially from the left side to the right side. First, the audio data A1, which is digitized voice information, is transferred to the audio data memory by the control information (4), and is output as an analog audio signal through an audio D / A (digital / analog) converter. . In the video data V1B, a still image writing area is designated by the control information (1), and the video data V1B is written in a predetermined position in the video memory from V1B to V42B. The CLUT data updates the display screen according to the control information (2). According to the contents of the CLUT memory, the contents of the video memory are converted into analog video signals by a video D / A converter and displayed on the screen. In the example shown in FIG. 14, the display screen can be switched from A to B in synchronization with the audio signal A44. Thereafter, by performing the same processing after the still image C (not shown), the display screen and the sound can be reproduced while being synchronized.
[0005]
In the following, a general reproduction process in the multimedia information reproducing apparatus will be described. The multimedia information reproducing apparatus is composed of scanning lines (usually 500 lines or more) and pages (display contents for one screen normally displayed about every 1/30 seconds) of a display device such as a CRT (cathode ray tube) or a liquid crystal display. The line end signal and the page end signal that are inserted in advance in the digitized image signal are displayed in correspondence with the scanning line and the page of the display device. The transmitted image information is displayed at a predetermined position on the display surface of the display device as described above.
[0006]
The multimedia information reproducing device displays the content displayed in association with each pixel of the display device by associating the displayed content with two consecutive pixels in the vertical and horizontal directions or by interpolating the display content. The image size to be enlarged is enlarged 2 × 2. The display content corresponding to each pixel is thinned out by one pixel, correlated with the pixel, and displayed, thereby reducing the size of the displayed image by a factor of two. Furthermore, the multimedia information reproducing apparatus rotates the displayed image by converting the coordinates of each pixel using a trigonometric function. Further, the storage content in the data server normally records display contents in association with pixels with a higher density than the pixels on the display surface of the display device. A predetermined adjustment is performed so that an appropriate image is displayed according to the pixel density of the device. For this reason, there is no practical problem even when an image stored as a small still image on the storage device in the data server is enlarged and displayed on the display surface of the display device.
[0007]
In addition, the multimedia information playback apparatus is generally equipped with a program necessary for playing back the multimedia information received from the data server. Another program may be written in advance in the multimedia information so that a newly added or changed command is executed. In this case, another program written in the multimedia information is given, for example, a symbol similar to “[”, “]”, etc., and the multimedia information reproducing apparatus recognizes the symbol, etc. , Recognize the program to be executed.
[0008]
Furthermore, the multimedia information reproducing apparatus repeats the operation of reading and displaying the display data stored in the VRAM (video RAM) about every 1/30 seconds, thereby displaying the image over the display time. Is displayed on the display device. On the other hand, the moving image is displayed by repeating the operation of updating the display data stored in the VRAM and reading and displaying the updated display data about every 1/30 seconds. For this reason, the display data representing each display surface of the display device constitutes one storage unit in about 1/30 second if it is a moving image.
[0009]
Audio that is played back simultaneously with a moving image can be divided into playback times of about 1/30 seconds and read together with each display data constituting the moving image and stored in the recording medium and the storage device. is there. In this case, the multimedia information reproducing apparatus includes a storage unit that stores audio data for at least about 1/30 seconds in order to reproduce audio without being divided in accordance with a moving image.
[0010]
[Problems to be solved by the invention]
However, in the above conventional example, data relating to movies, sounds, etc. and their control are stored in a fixed manner. For example, as for data representing an image, the data representing the entire display image for one screen including the background and the like is stored as one still image data. For this reason, only a part of the display image is changed, such as moving and displaying a part of the still image to a different position on the screen or displaying a part of the still image enlarged or reduced. Even in the case of display, all still image data representing the display image of the entire screen for which the display position and size of a part of the still image are changed is created in advance and stored in the data server. It is necessary to keep. In addition, each time this is displayed, it is necessary to newly read still image data from the data server. Therefore, the number of still images that can be displayed per unit time is the number of data between the data server and the memory. There was a problem that it was limited by the transfer rate.
[0011]
In addition, when audio data, still image data, moving image data, control information, and the like are stored in different storage areas, the multimedia information playback apparatus executes the control information and each data used for the control information each time the control information is executed. In order to read data from the data server, a read request must be issued to the data server, so that there is a problem in that the read efficiency is low, and data is separately sent from the data server in the memory provided in the multimedia information reproducing apparatus. In order to read the data, there is a problem that the load on the multimedia information reproducing apparatus for managing the internal memory is large.
[0012]
[Means for Solving the Problems]
(1) of the present inventionThe multimedia information reproducing apparatus includes: partial image information representing a partial image that is a part of display content of one screen, and display mode information representing the display mode, stored as one file in the data server. A partial image list composed of at least one set and an instruction to be executed are described corresponding to an input value input in response to an operation by the operator, and an instruction is given to change the display mode information of the partial image. Page information reading means for reading page information having control information including a display mode change command, and the display mode information corresponding to the partial image represented by the partial image information in the read page information. Display data creation means for creating display data that is arranged in one screen based on the display data and represents the display content for one screen, and display data by the display data creation means Each time created, a display data storage means for storing display data newly created,in frontRead display data from display data storage meansReadDisplay means for displaying the display content represented by the display data that has been read out, input means for inputting an input value corresponding to the operation of the operator, and executing a command according to the input value, Command execution means for instructing the display data creation means to change the display style information of the corresponding partial image according to the display style change command and create new display data in response to the input value corresponding to the mode change command. And
The display data creation means creates new display data in accordance with an instruction from the command execution means.
[0013]
(2)The page information reading means stores the partial image list stored as one file in the data server, and an animation display instructed to change and display the display mode information of the partial image corresponding to the passage of time. Reading out the page information having the control information including the command and the time-series control information including the animation control information indicating the display mode information of the partial image corresponding to the passage of time;
The command execution means starts a first timer for measuring an elapsed time and the input value corresponding to the animation display command, and sends the display data creation means to the display data creation means every predetermined time. In accordance with the display mode information corresponding to the elapsed time indicated in the animation control information, the display mode information of the corresponding partial image is changed to instruct to create new display data, and then the animation display command execution ends. An animation display command execution unit for sometimes stopping the first timer,
The display data creation means creates new display data in accordance with an instruction from the animation display command execution unit.
[0014]
(3)The page information reading means stores the partial image information stored in the data server as one file, XY coordinates representing the display position, and the size of the partial image information and the partial image to be displayed. From at least one set of display mode information representing a display mode including an XY enlargement ratio representing a ratio between the X-axis direction and the Y-axis direction and a rotation angle between the partial image information and the partial image to be displayed The display information of at least one of the partial image list, the control information including the animation display command, the XY coordinates, the XY enlargement ratio, and the rotation angle among the display modes. Read page information having time-series control information including the animation control information representing a value for each predetermined elapsed time,
The animation display command execution unit interpolates and calculates an XY coordinate value corresponding to the elapsed time measured at that time based on the animation control information for each predetermined time; and Based on the animation control information at every predetermined time, an XY enlargement rate calculating unit that interpolates and calculates the value of the XY enlargement rate corresponding to the elapsed time measured at that time, and at every predetermined time, A rotation angle calculation unit that interpolates and calculates a rotation angle value corresponding to the elapsed time measured at that time based on the animation control information.
[0015]
(4)The page information reading means includes the partial image list stored in the data server as one file, and a time-series processing start instruction instructed to start execution of time-series processing corresponding to the passage of time. The control information is time-series information stored in the data server as one file different from page information, and information to be reproduced in accordance with the passage of time is written in the order of reproduction together with its identification name. An information name of time-series information to be reproduced in response to the time-series processing start command, an identification name indicating the content of the time-series information to be reproduced in response to passage of time, Read page information having time-series control information including time-series processing control information indicating the reproduction mode of the content,
The command execution means starts a second timer for measuring elapsed time, and the second timer for the input value corresponding to the time-series processing start command, and performs the time-series processing at every predetermined time. A time series processing execution unit that identifies an identification name of the content of the time series information corresponding to the measured elapsed time based on the control information, and stops the second timer at the end of reproduction of the time series information; Prepared,
The multimedia information reproducing apparatus further includes a page storage unit that stores the page information read by the page information reading unit, and a time information that is indicated in the time series control information from the data server. Time series information reading means for reading out the contents of the identification name specified by the time series processing execution unit from the series information, and reproducing means for playing back the contents of the read time series information.
[0016]
(5)The page information reading means is stored as a single file in the data server, the partial image list, the control information, and time-series information to be played back in response to the time-series processing start command Is stored as a single file different from the page information in the data server, and the audio information divided for each predetermined data size is displayed in the order of reproduction corresponding to a predetermined elapsed time together with the identification name. A time-series process in which the name of the written first time-series information is indicated, an identification name indicating audio information to be reproduced in response to the passage of time of the first time-series information, and a reproduction mode thereof Read page information with time-series control information including control information,
The time-series process execution unit, when the information name of the first time-series information is indicated in the time-series process control information, the first time series corresponding to the measured elapsed time every predetermined time A first time-series processing execution unit that identifies an identification name of audio information in the information;
The reproduction means includes an audio reproduction unit for reproducing the read audio information,
The time-series information reading means is specified by the first time-series processing execution unit from the first time-series information which is time-series information whose information name is indicated in the time-series control information from the data server. The voice information of the identified name is read out.
[0017]
(6)The page information read-out means starts reproduction from the data server in response to the partial image list, the control information, and the time-series processing start command stored as one file in the data server. As the information name of the time series information to be stored in the data server as a single file different from the page information, the audio information divided for each predetermined data size, and the video and / or animation in one screen The information name of the second time-series information in which the screen information representing the content is written in the order of reproduction corresponding to a predetermined elapsed time is indicated, and the second time-series information to be reproduced corresponding to the passage of time An identification name indicating a set of audio information and screen information, and a display area related to the partial image represented by the predetermined partial image information in the partial image list. And / or the time-series control information including the reproduction mode indicating that an animation is displayed, and the time-series process execution unit includes information on second time-series information in the time-series process control information. When the name is shown, the identification data of the set of the voice information and the screen information of the second time-series information corresponding to the measured elapsed time is specified every predetermined time, and the display data creation A second time-series processing execution unit for instructing to create new display data by arranging the screen information read by the time-series information reading unit in the display area shown in the reproduction mode;
The time-series information reading unit is specified by the second time-series processing execution unit from the second time-series information which is time-series information whose information name is indicated in the time-series control information from the data server. A set of the voice information and the screen information, which is the content of the identified name,
The display data creation means creates new display data in accordance with an instruction from the second time series processing execution unit.
[0018]
(7) The multimedia information reproducing apparatus of the present invention is a multimedia information reproducing apparatus that reads and reproduces multimedia information from a data server connected via a network,
A part composed of at least one set of partial image information representing a partial image which is a part of display content of one screen and display mode information representing the display mode, stored as one file in the data server Page information reading means for reading page information including: an image list; and control information including a display mode change instruction instructed to change display mode information of the partial image;
The partial images represented by the partial image information in the read page information are arranged in one screen based on the corresponding display mode information, and display data representing the display content for one screen is created. Display data creation means for
Each time display data is created by the display data creation means, display data storage means for storing newly created display data;
Display means for reading display data from the display data storage means and displaying display contents represented by the read display data;
Instruction display means for instructing the display data creation means to change the display mode information of the corresponding partial image in accordance with a display mode change command and to create new display data,
The display data creation means creates new display data in accordance with an instruction from the command execution means.
(8) of the present inventionThe multimedia information recording apparatus stores partial image information representing a partial image which is a part of display contents of one screen, stores one partial image information in one partial image file, and stores each partial image information for each file. A partial image storage unit, a file name of at least one partial image file in the partial image storage unit, and display mode information representing a display mode of the partial image represented by the partial image information in the partial image file; A partial image list input means for receiving input, a page information storage means having a storage area for storing one page information, and a partial image file having an input file name. The partial image information is read out, and a set of the partial image information and the display mode information input corresponding to the partial image information is created. Both the partial image list writing means for writing to the first small storage area of the page information storage means, the input signal name, and the display mode instructed to change the display mode of the partial image corresponding to the input signal Control information input means for receiving input of control information including a change command, control information writing means for writing the input control information into a second small storage area of the page information storage means, and the page information storage means Page information recording means for transmitting each piece of information written as one page information in each storage area to the data server together with the write request, and recording the description content of one page information in one file in the data server; Is provided.
[0019]
(9) The aboveIn the multimedia information recording apparatus, the control information includes an animation display command instructed to change and display the display mode information of the partial image as time passes. The control information input means further includes an animation display command input unit that receives an input of a set of an input signal and the animation display command, and the multimedia information recording device further includes the part corresponding to the passage of time. Time-series control information input means for receiving input of time-series control information including animation control information indicating how the display mode of the image changes, and the input time-series control information are stored in the page information storage means Time-series control information writing means for writing to the third small storage area.
[0020]
(10) saidIn the multimedia information recording apparatus, the partial image list input means further includes, for each partial image information, an XY coordinate indicating a display position of the partial image, and a size of the partial image information and the displayed partial image. Display mode information input unit that receives input of display mode information including an XY enlargement ratio that represents the ratio of the image and a rotation angle that represents an angle between the partial image represented by the partial image information and the partial image that is actually displayed With
The time-series control information input means is an animation representing how at least one of the XY coordinates, the XY magnification, and the rotation angle of the display mode changes with time. Accepts input of control information.
[0021]
(11) The aboveIn the multimedia information recording apparatus, the control information includes a time-series process start command instructing to start execution of the time-series process corresponding to the passage of time. The time-series control information includes a time-series information name that should be reproduced in response to the time-series process start command, and a time at which the time-series information should be reproduced at each time point corresponding to the passage of time of the time-series information. A time consisting of an identifier indicating the content of the sequence information, and reproduction mode information indicating how to reproduce the time-series information in association with the display of the partial image represented by the partial image information in the partial image list Includes sequence processing control information. The multimedia information recording apparatus further stores, for each file, one time-series information in which information to be reproduced at each time point is written in the order of reproduction corresponding to the passage of time as one time-series information file. Receiving time series information storage means, and input of a file name of at least one time series information file in the time series information storage means, reading time series information from the time series information file of the input file name, When the time series information name associated with the file name is transmitted to the data server together with the write request, and the description content of one time series information is recorded for each time series information in one file in the data server Series information recording means, and the control information input means further receives a set of input signals and a time series processing start command. Comprising a processing start instruction inputting unit, the time-series control information input means further comprises a time-series processing control information input unit that receives an input of the time series processing control information.
[0022]
(12) The aboveIn the multimedia information recording apparatus, the time-series information includes first time-series information in which audio information divided for each predetermined data size is written together with an identifier in the order of reproduction corresponding to the elapsed time. The time-series processing control information indicates the information name of the first time-series information as time-series information to be played back in response to the time-series processing start command of the page information, An identifier of audio information to be reproduced at the time, and reproduction mode information representing how to reproduce the audio information in association with the display of the partial image represented by the partial image information in the partial image list; The first time-series processing control information consisting of When the file name of the first time-series information is input, the time-series information recording means reads out the first time-series information from the time-series information file having the input file name. The time-series process control information input unit includes a first time-series process control information input unit that receives input of the first time-series process control information.
[0023]
(13)In the multimedia information recording apparatus, the time-series information includes audio information divided for each predetermined data size and screen information representing display contents for each screen of animation and / or video at a predetermined elapsed time. Correspondingly, the second time-series information written together with the identifier is included in the order of reproduction. The time-series processing control information designates the information name of the second time-series information as time-series information that should be reproduced in response to the time-series processing start command of the page information, and corresponds to the passage of time. A moving image and / or animation is displayed in an area associated with a partial image represented by a set of identifiers of audio information and screen information to be reproduced at each time point and predetermined partial image information in the partial image list. Second time-series processing control information including the reproduction mode information indicating that the reproduction is performed. When the file name of the second time-series information is input, the time-series information recording unit reads a second time-series information from the time-series information file having the input file name. The time-series process control information input unit includes a second time-series process control information input unit that receives input of second time-series process control information.
[0024]
[Action]
2. The multimedia information reproducing apparatus according to claim 1, wherein the page information reading means is stored as one file in the data server, and includes partial image information representing a partial image that is a part of display content of one screen. A partial image list composed of at least one set of display mode information representing the display mode, and an instruction to be executed corresponding to an input value input in response to an operation by the operator. The page information having the control information including the display mode change command instructed to change the display mode information of the image is read. The display data creating means arranges the partial images represented by the partial image information in the read page information on one screen based on the corresponding display mode information, and displays the display content for one screen. Create the displayed data. The display data storage means stores newly created display data each time display data is created by the display data creation means. Display means,in frontRead display data from display data storage meansReadThe display contents represented by the display data that has been read out are displayed. The input means inputs a corresponding input value according to the operation of the operator. The command execution means executes a command according to the input value, and in response to the input value corresponding to the display mode change command, the display data creation unit displays the corresponding partial image display mode according to the display mode change command. Change the information and instruct to create new display data. The display data creation means creates new display data in accordance with an instruction from the command execution means.The multimedia information reproducing apparatus according to claim 7 is substantially the same.
[0025]
Accordingly, claim 1Or 7According to the described invention, the page information recorded in each file in the data server describes the image information of the partial image constituting the display content of one screen and the display mode thereof. When only a part is changed and displayed, it is only necessary to change the display mode information of the corresponding partial image in accordance with the control information and create display data, and the display data after change can be easily created. it can. Also, in one page information, all the information for changing and displaying only a part of the display image using the partial image in the partial image list is described, and only the information in the page information is displayed. Since display data in which only a part of the image is changed can be created, there is no need to read the display data from the data server each time. Therefore, there is no need to create display data in which only a part of the display image is changed and record it in the data server in advance. For this reason, there is no problem that the number of display data that can be displayed per unit time is limited by the data transfer rate between the data server and the multimedia information reproducing apparatus. Further, in the multimedia information reproducing apparatus of the present invention, one page information is read from one file in the data server. Therefore, when necessary information is read from a plurality of files in the data server and loaded into the memory. In comparison, the load on the CPU that manages the memory is small. Further, in the multimedia information reproducing apparatus of the present invention, when a new screen composed of another partial image is displayed, new page information describing the partial image is read and read. Display data representing the screen is created only from the description contents of the page information. For this reason, in the multimedia information reproducing apparatus of the present invention, new display data can be created by a single read request generated when new page information is read, and a plurality of files in the data server can be created. Compared to reading partial image information from (that is, issuing read requests many times), partial image information can be read in a shorter time, and a new screen can be displayed in a shorter time. can do.
[0026]
The multimedia information reproducing apparatus according to claim 2, wherein the page information reading means is stored as one file in the data server, and the partial image list, The control information including an animation display command instructed to change and display the display mode information of the partial image corresponding to the passage of time, and the display mode information of the partial image corresponding to the passage of time. The page information having the time-series control information including the animation control information is read. In the command execution means, the first timer measures an elapsed time. The animation display command execution unit starts the first timer with respect to the input value corresponding to the animation display command, and is displayed in the display data creation unit at a predetermined time indicated by the animation control information. In accordance with the display mode information corresponding to the elapsed time, the display mode information of the corresponding partial image is changed to instruct to create new display data, and the first timer is stopped at the end of execution of the animation display command. The display data creation means creates new display data in accordance with an instruction from the animation display command execution unit.
[0027]
Therefore, according to the second aspect of the present invention, in addition to the above effect, animation is displayed by using partial image information in the partial image list and display mode information for one page information. Since all the information is described, it is not necessary to read display data representing each screen from the data server every time it is displayed, and display data can be easily created simply by changing the display mode information. The display data can be created in a shorter time than when the display data representing the display content of each screen is read each time it is displayed, and a higher quality animation display can be performed.
[0028]
The multimedia information reproducing apparatus according to claim 3 is the multimedia information reproducing apparatus according to claim 2, wherein the page information reading means is stored as one file in the data server, and The XY coordinates representing the display position, the XY enlargement ratio representing the ratio between the partial image information and the partial image to be displayed in the X-axis direction and the Y-axis direction, and the partial image information are displayed. The partial image list comprising at least one set of display mode information representing a display mode including a rotation angle with a partial image, the control information including the animation display command, The value representing the value for each predetermined elapsed time of at least one display mode information among the XY coordinates, the XY magnification, and the rotation angle. It reads the page information and a series control information when including the automation control information. In the animation display command execution unit, the XY coordinate calculation unit calculates the value of the XY coordinate corresponding to the elapsed time measured at that time based on the animation control information at every predetermined time. . The XY enlargement ratio calculating unit interpolates and calculates the value of the XY enlargement ratio corresponding to the elapsed time measured at that time based on the animation control information at every predetermined time. The rotation angle calculation unit interpolates and calculates a rotation angle value corresponding to the elapsed time measured at that time based on the animation control information at predetermined time intervals.
[0029]
Therefore, according to the third aspect of the present invention, in the animation display represented by changing the display position, display size, and display angle of each partial image represented by the partial image information with the passage of time. The above effects can be obtained.
The multimedia information reproducing apparatus according to claim 4, wherein the page information reading means is stored as one file in the data server, and the partial image list is stored in the data server. The control information including the time-series processing start instruction instructed to start execution of the time-series processing corresponding to the passage of time, and stored in the data server as one file different from the page information, corresponding to the passage of time Information to be reproduced in the order of reproduction along with its identification name, information name of the time series information to be reproduced in response to the time series processing start command, An identification name indicating the content of the time-series information to be reproduced corresponding to the passage of time, and time-series processing control information indicating the reproduction mode of the content It reads the page information and a time-series control information've got.
[0030]
In the command execution means, the second timer measures an elapsed time. The time-series process execution unit starts the second timer for the input value corresponding to the time-series process start command, and is measured based on the time-series process control information every predetermined time. The identification name of the content of the time series information corresponding to the elapsed time is specified, and the second timer is stopped at the end of reproduction of the time series information. In the multimedia information reproducing apparatus, the page storage means further stores the page information read by the page information reading means. The time series information reading means reads the contents of the identification name specified by the time series processing execution unit from the time series information whose information name is indicated in the time series control information from the data server. The reproduction means reproduces the content of the read time series information.
[0031]
Therefore, according to the fourth aspect of the present invention, the above-described effect can be obtained by the page information stored in the page storage means, and the display contents based on the page information and the passage of time are associated with each other. The contents described in the time series information can be sequentially read from the data server and reproduced. Further, since the time series information is also recorded as one file, a read request is not generated when the description contents in the time series information are sequentially read. For this reason, the time-series information reading means can quickly read the description contents in the time-series information, and completes the reading of the description contents for the previous reading until the start of reading the description contents to be read next. be able to. As a result, the multimedia information reproducing apparatus can reproduce the description content recorded in the time series information without interruption.
[0032]
The multimedia information reproducing device according to claim 5, wherein the page information reading means is stored as a single file in the data server, and the partial image list; The control information and the information name of the time series information to be played back in response to the time series processing start command are stored as one file different from page information in the data server, and have a predetermined data size. The information name of the first time series information in which the voice information divided for each time is written in the order of reproduction corresponding to a predetermined elapsed time together with the identification name is shown. A page having an identification name indicating audio information to be reproduced correspondingly and time-series control information including time-series processing control information indicating the reproduction mode It reads the broadcast. In the time-series process execution unit, the first time-series process execution unit is configured to measure the elapsed time every predetermined time when the information name of the first time-series information is indicated in the time-series process control information. An identification name of voice information in the first time series information corresponding to time is specified. In the reproducing means, the audio reproducing unit reproduces the read audio information. The time-series information reading means is specified by the first time-series processing execution unit from the first time-series information which is time-series information whose information name is indicated in the time-series control information from the data server. The voice information of the identified name is read out.
[0033]
Therefore, according to the fifth aspect of the present invention, in addition to the above-described effect, the multimedia information reproducing device uses the audio information in the first time-series information read from the data server based on the page information. Corresponding to the display contents and the passage of time, it is possible to reproduce without interruption. Specifically, the multimedia information reproducing apparatus reproduces the audio information in the first time series information with high accuracy while performing high-quality animation display based on the page information stored in the page storage means. Can do.
[0034]
The multimedia information reproducing apparatus according to claim 6 is the multimedia information reproducing apparatus according to claim 4 or 5, wherein the page information reading means is stored as one file from the data server to the data server. As the information name of the time series information to be played back in response to the time series processing start command, the partial image list, the control information, and one information different from page information in the data server Audio information stored as a file and divided for each predetermined data size and screen information representing the contents of one screen of a moving image and / or animation are written in the order of reproduction corresponding to a predetermined elapsed time. The audio information and the screen information of the second time series information to be reproduced in response to the passage of time are shown. The reproduction mode indicating that a moving image and / or an animation is displayed in a display area associated with a partial image represented by predetermined partial image information in the partial image list Read page information having time-series control information. In the time-series process execution unit, the second time-series process execution unit is configured to measure the progress measured every predetermined time when the information name of the second time-series information is indicated in the time-series process control information. The identification information of the set of the audio information and the screen information of the second time-series information corresponding to the time is specified, and the screen information read by the time-series information reading unit is added to the display data creation unit, An instruction is given to create new display data arranged in the display area shown in the reproduction mode. The time-series information reading unit is specified by the second time-series processing execution unit from the second time-series information which is time-series information whose information name is indicated in the time-series control information from the data server. A set of the voice information and the screen information, which is the content of the identified name, is read out. The display data creation means creates new display data in accordance with an instruction from the second time series processing execution unit.
[0035]
Therefore, according to the present invention described in claim 6, in addition to the above-described effect, it is possible to accurately reproduce a set of audio information and screen information written in the second time-series information. Specifically, the multimedia information reproducing apparatus performs high-quality animation display based on the page information stored in the page storage unit, and performs an area related to the partial image in the same screen, for example, one The moving image represented by the screen information in the second time series information can be accurately displayed inside the partial image, and the audio information can be reproduced with high accuracy.
[0036]
Claim8In the described multimedia information recording apparatus, the partial image storage means stores partial image information representing a partial image which is a part of display contents of one screen, and stores one partial image information in one partial image file. Store and store for each file. The partial image list input means includes a file name of at least one partial image file in the partial image storage means, and display mode information indicating a display mode of the partial image represented by the partial image information in the partial image file. Accept input. The page information storage means is a storage area composed of a plurality of small storage areas, and has a storage area for storing one page information. The partial image list writing means reads partial image information from the partial image file of the input file name, creates a set of the partial image information and display mode information input corresponding thereto, and sets each set. And the identifier are written in the first small storage area of the page information storage means. The control information input means receives input of control information including an input signal name and a display mode change command instructed to change the display mode of the partial image corresponding to the input signal. The control information writing means writes the inputted control information in the second small storage area of the page information storage means. The page information recording means transmits each information written as one page information in each storage area of the page information storage means to the data server together with the write request, and the description content of one page information is sent to the data server In one file.
[0037]
Therefore, the claims8According to the described invention, the page information generated interactively according to the input from the operator can be recorded in each file of the data server. Accordingly, the effect of the present invention according to claim 1 can be provided to a multimedia information reproducing apparatus that reads out and reproduces the page information from the data server.
[0038]
Claim9The multimedia information recording apparatus described in claim8In the multimedia information recording apparatus described above, the control information includes an animation display instruction instructed to change and display the display mode information of the partial image as time passes. In the control information input means, the animation display command input unit further receives an input of a set of an input signal and the animation display command. In the multimedia information recording apparatus, the time-series control information input means further includes time-series control information including animation control information indicating how the display mode of the partial image changes with the passage of time. Accepts input. The time-series control information writing unit writes the input time-series control information in the third small storage area of the page information storage unit.
[0039]
Therefore, the claims9According to the described invention, the page information can be recorded in each file of the data server. Accordingly, the effect of the present invention according to claim 2 can be provided to a multimedia information reproducing apparatus that reads out and reproduces the page information from the data server.
Claim10The multimedia information recording apparatus described in claim9In the multimedia information recording apparatus described above, the display mode information input unit of the partial image list input unit further includes, for each partial image information, XY coordinates indicating a display position of the partial image, the partial image information, and display Display mode information including an XY enlargement ratio that represents a ratio of the size of the partial image to be displayed, and a rotation angle that represents an angle between the partial image represented by the partial image information and the partial image that is actually displayed Accept input. The time-series control information input means is an animation representing how at least one of the XY coordinates, the XY magnification, and the rotation angle of the display mode changes with time. Accepts input of control information.
[0040]
Therefore, the claims10According to the described invention, the page information can be recorded in each file of the data server. Accordingly, the effect of the present invention according to claim 3 can be provided to a multimedia information reproducing apparatus that reads out and reproduces the page information from the data server.
Claim 11The multimedia information recording apparatus described in claim10In the multimedia information recording apparatus described above, the control information includes a time-series process start command instructed to start execution of the time-series process corresponding to the passage of time. The time-series control information includes a time-series information name that should be reproduced in response to the time-series process start command, and a time at which the time-series information should be reproduced at each time point corresponding to the passage of time of the time-series information. A time consisting of an identifier indicating the content of the sequence information, and reproduction mode information indicating how to reproduce the time-series information in association with the display of the partial image represented by the partial image information in the partial image list Includes sequence processing control information. In the multimedia information recording apparatus, the time-series information storage means further includes one time-series information in which information to be reproduced at each time point is written in the order of reproduction in accordance with the passage of time. Each file is stored as an information file. The time series information recording means accepts input of a file name of at least one time series information file in the time series information storage means, reads time series information from the time series information file of the inputted file name, and The time series information name corresponding to the name is associated with the write request and transmitted to the data server, and the description content of one time series information is recorded for each time series information in one file in the data server. In the control information input means, the time series process start command input unit further receives an input of a set of an input signal and a time series process start command. In the time-series control information input means, the time-series process control information input unit further receives an input of the time-series process control information.
[0041]
Accordingly, claim 11According to the described invention, the page information and the time-series information can be recorded in each file of the data server. Thus, the effect of the present invention according to claim 4 can be provided to a multimedia information reproducing apparatus that reads and reproduces the page information and the time-series information from the data server.
[0042]
Claim 12According to the multimedia information recording apparatus described in claim 1,1In the described multimedia information recording apparatus, the time-series information includes first time-series information in which audio information divided for each predetermined data size is written together with an identifier in the order of reproduction corresponding to the elapsed time. The time-series processing control information indicates the information name of the first time-series information as time-series information to be played back in response to the time-series processing start command of the page information, An identifier of audio information to be reproduced at the time, and reproduction mode information representing how to reproduce the audio information in association with the display of the partial image represented by the partial image information in the partial image list; The first time-series processing control information consisting of In the time-series information recording means, the first time-series information recording unit, when the file name of the first time-series information is input, from the time-series information file of the input file name, Read information. In the time-series process control information input unit, the first time-series process control information input unit receives an input of the first time-series process control information.
[0043]
Accordingly, claim 12According to the described invention, the page information and the time-series information can be recorded in each file of the data server. Thus, the effect of the present invention according to claim 5 can be provided to a multimedia information reproducing apparatus that reads and reproduces the page information and the time-series information from the data server.
[0044]
Claim 13According to the multimedia information recording apparatus described in claim 1,1Or claim 12In the multimedia information recording apparatus described above, the time-series information includes audio information divided for each predetermined data size and screen information indicating display contents for each screen of animation and / or moving images. The second time-series information written together with the identifier is included in the order of reproduction corresponding to the time. The time-series processing control information designates the information name of the second time-series information as time-series information that should be reproduced in response to the time-series processing start command of the page information, and corresponds to the passage of time. A moving image and / or animation is displayed in an area associated with a partial image represented by a set of identifiers of audio information and screen information to be reproduced at each time point and predetermined partial image information in the partial image list. Second time-series processing control information including the reproduction mode information indicating that the reproduction is performed. In the time-series information recording means, the second time-series information recording unit receives the second time-series information from the time-series information file having the input file name when the file name of the second time-series information is input. Is read. In the time-series process control information input unit, the second time-series process control information input unit receives an input of the second time-series process control information.
[0045]
Accordingly, claim 13According to the described invention, the page information and the time-series information can be recorded in each file of the data server. Thereby, the effect by this invention of Claim 6 can be provided with respect to the multimedia information reproducing | regenerating apparatus which reads and reproduces | regenerates the said page information and the said time series information from the said data server.
[0046]
【Example】
(Example 1)
FIG. 1 is a block diagram showing a configuration of a multimedia information reproducing apparatus 100 according to the first embodiment of the present invention. FIG. 2 is a block diagram showing a hardware configuration of multimedia information reproducing apparatus 100 shown in FIG.
[0047]
As shown in FIG. 1, a multimedia information reproducing apparatus 100 is connected to a data server 150 via a network, and includes a network interface unit 101, a page load unit 102, an input unit 103, a control information execution unit 104, a clock unit. 105, a timeline control unit 107, a storage unit 108, a display unit 112, a display data creation unit 113, an audio D / A conversion unit 114, and an audio output unit 115. Furthermore, the storage unit 108 includes a display data storage unit 109, a page storage unit 110, and an audio data storage unit 111.
[0048]
As shown in FIG. 2, the multimedia information reproducing apparatus 100 includes, as hardware components, a CPU 201, a RAM 202, a system clock 203, a timer 204, a keyboard 205, a joypad 206, an input device interface 207, and a disk interface 208. CD-ROM 209, network interface 210, MPEG decoder 211, audio D / A converter 212, speaker 213, graphic controller 214, VRAM 215, video D / A converter 216 and CRT 217. 2 has a function of controlling the operation of each component of the multimedia information reproducing apparatus 100 in addition to the functions described below. The disk interface 208 and the CD-ROM 209 may or may not be provided in the multimedia information reproducing apparatus 100.
[0049]
The data server 150 is an external device including a storage device (not shown) such as a hard disk device. In the storage device (not shown), the data server 150 uses a page stream shown in FIG. 3 and a timeline stream shown in FIG. 4 as one file each for one page stream. Are stored as one file. In response to a read request from the multimedia information playback apparatus 100 received via the network, the data server 150 reads a file storing the corresponding page stream and timeline stream from the hard disk device, and reads the read page stream The timeline stream is transmitted to the multimedia information reproducing apparatus 100.
[0050]
FIG. 3 is an explanatory diagram showing a data structure of a page stream reproduced by the multimedia information reproducing apparatus 100 of the present embodiment. As shown in FIG. 3, one page stream includes a partial image list, control information, and timeline information, and each page stream is assigned an identification number represented by a sequential number or the like. .
[0051]
Note that the page refers to the display content of each individual screen displayed once every approximately 1/30 seconds. Each page stream describes the display contents of a plurality of pages whose display contents for one screen are constituted by one or a plurality of predetermined common partial images. In addition, when a partial image displayed on one page is enlarged or reduced on another page and displayed by being translated and / or rotated, the partial image displayed on another page is If it is a partial image displayed by changing the display mode (for example, display position, display magnification, display angle, shading, color, etc.) of the same later-described partial image data described in the page stream, the page Are described by the same page stream. In addition, a page in which one or a plurality of partial images are erased from one or a plurality of partial images described in the page stream is also described by the same page stream.
[0052]
In the partial image list, the contents of the partial images constituting the display content for one screen are described. The partial image list includes a partial image ID for identifying a partial image corresponding to each partial image, XY coordinates indicating an initial position when the partial image is displayed on the page, and the partial image corresponding to the page. XY enlargement ratio indicating the degree of enlargement or reduction when first displayed on the image, the rotation angle when the partial image is first displayed on the page with respect to the partial image represented in the partial image data, and Partial image data representing the partial image itself with a display value corresponding to the pixel is described. The partial image ID is a sequence number indicating the order in which the partial images are arranged in the display data when display data for one screen is created using the partial images described in the page stream. It is represented by Accordingly, when the display positions of the partial images partially overlap, the partial image data corresponding to the pixel at the overlapping position is updated with the partial image data of the partial image having a larger partial image ID. As a result, the partial images described in the page stream are displayed in the order of the partial image ID, superimposed from the lower layer to the upper layer. Further, the partial image data described in the page stream may be represented by, for example, compression-coded bitmap data, or graphic data if it is a geometric figure. The partial image does not necessarily have to be a graphic, and may be a character string indicating an input request displayed on each menu screen. In this case, the character string may be described by a character code.
[0053]
In the control information, a command to be executed by the multimedia information reproducing apparatus 100 is input to each of the input signals from the input unit 103 while the page described in the page stream is displayed. is described. The commands described as control information change the XY coordinates of the partial image, change the XY magnification of the partial image, change the rotation angle of the partial image, load another page stream, execute timeline information , Superimposing a plurality of partial images, displaying a colored image in black and white, emphasizing a specific color, changing the frequency of the timbre, and the like.
[0054]
In the timeline information, an animation display that displays a predetermined partial image described in the partial image list as it moves over time and a moving image that is described in the timeline stream described later are displayed. The moving image display to be described is described. Specifically, for the animation display, the XY coordinates indicating the partial image ID of the partial image to be animated (animation display target) and the display position determined every certain time from the start of the animation display of the partial image. And the animation display end time of the partial image are described. As for moving image display, an identification number of a timeline stream in which a moving image to be displayed as a moving image is described, and a moving image display start time and end time are described. When the moving image is displayed in a predetermined partial image described in the partial image list, the partial image ID of the partial image on which the moving image is displayed is described. Note that a moving image described in a timeline stream to be described later does not necessarily have to be displayed in a predetermined partial image described in the partial image list.
[0055]
FIG. 4 is an explanatory diagram showing a data structure of a timeline stream reproduced by the multimedia information reproducing apparatus 100 of the present embodiment. Each timeline stream is assigned an identification number represented by a sequential number or the like, similar to the page stream. As described above, a moving image or animation is displayed by sequentially reproducing a still image having a continuous content at each display time of about 1/30 seconds as time passes. In the timeline stream shown in FIG. 4, still image data representing each still image representing a moving image by compression-encoded bitmap data is displayed together with audio data corresponding to the still image data at a display time. It is recorded in order. The audio data is compressed and encoded in the same manner as the still image data, and is divided into a predetermined size corresponding to the display time of the still image data, and the still image data corresponding to the audio data is displayed. While it is playing, it is played back serially over time. Each display time may be expressed as an elapsed time after the clock unit 105 is activated, or the clock unit 105 measures an elapsed time from the start of display for a plurality of timeline streams. May be represented by the elapsed time from the start of execution of each timeline stream. Also, the audio data is not necessarily described in the timeline stream. Further, the still image data is not necessarily described in the timeline stream. For example, when audio data described in a timeline stream is played back while a still image is displayed using a partial image described in the page stream, the audio is included in the timeline stream. Only data may be described. In this timeline stream, animation is described in addition to the moving image. However, in order to distinguish it from the animation display performed using the partial image described in the page stream, in the following, it is described in the timeline stream. Displaying animation and moving images using still image data is called moving image display.
[0056]
The network interface unit 101 is realized by the network interface 210 and reads multimedia information represented by a page stream and a timeline stream recorded in the data server 150 in accordance with an instruction from the page load unit 102. The specific content of the reading process of the network interface unit 101 is PT indicating whether the information requesting reading is a page stream or a timeline stream for the page stream or timeline stream instructed to the page load unit 102. The classification, the identification number, and the read request are transmitted to the data server 150 via the network, and the page stream or timeline stream transmitted from the data server 150 in response to the read request is transmitted via the network. Is to receive.
[0057]
The page load unit 102 is realized by the CPU 201. When the multimedia information reproducing apparatus 100 is activated, the page load unit 102 causes the network interface unit 101 to read a predetermined page stream from the data server 150 and loads the read page stream into the page storage unit 110. Further, in accordance with an instruction from the timeline control unit 107 or the control information execution unit 104, the data server 150 is made to read the designated page stream and timeline stream, and the read page stream and timeline stream are stored in the page storage unit. 110.
[0058]
The network interface unit 101 is realized by the network interface 210, and in accordance with instructions from the page load unit 102, multimedia information represented by a page stream and a timeline stream recorded in the data server 150 is converted into a multimedia information reproducing apparatus. Read into 100.
The input unit 103 includes, for example, an operation unit such as a joypad 206, a keyboard 205, or a mouse (not shown), and receives an instruction input from a user via the input device interface 207. The input unit 103 receives an input signal corresponding to the received input, for example, an input signal “A”, an input signal “B”, and an input signal “C” corresponding to the A button, the B button, and the C button of the joypad 206. To the control information execution unit 104.
[0059]
The control information execution unit 104 is realized by the CPU 201 and interactively executes the control information described in the page stream loaded in the page storage unit 110 in response to an input signal from the input unit 103 while translating. . Specifically, the control information execution unit 104 gives an instruction to each of the page load unit 102, the timeline control unit 107, and the display data creation unit 113 according to the instruction content of the control information, and processes corresponding to the instruction content Is executed.
[0060]
The clock unit 105 is realized by a system clock 203 and a timer 204. In the clock unit 105, the timer 204 is activated and initialized by the timeline control unit 107, counts the system clock 203 from the start of execution of the timeline information, and measures an elapsed time from the start of execution of the timeline information. The clock unit 105 may include a plurality of timers 204 and measure the elapsed time from the start of execution of each timeline stream together with the elapsed time from the start of execution of the timeline information.
[0061]
The timeline control unit 107 is realized by the CPU 201 and starts executing the timeline information described in the loaded page stream in accordance with an instruction from the control information execution unit 104. The timeline control unit 107 activates the clock unit 105 at the start of execution of timeline information. The timeline control unit 107 initializes the timer 204 of the clock unit 105 at the end of execution of the timeline information. Further, when a timer 204 for measuring the elapsed time from the start of execution is provided for each timeline stream, the corresponding timer 204 is initialized at the end of execution of each timeline stream.
[0062]
When the timeline control unit 107 executes the timeline information indicating the animation display, the timeline control unit 107 measures the timeline information measured by the clock unit 105 according to the elapsed time from the start of execution of the timeline information. The display data creation unit 113 is instructed to place the designated partial image on the display position represented by the XY coordinates corresponding to the time after performing the designated enlargement / reduction and rotation movement.
[0063]
When the timeline control unit 107 executes the timeline information indicating the moving image display, the timeline control unit 107 loads the timeline stream specified in the timeline information into the page storage unit 110. To instruct. Further, the timeline control unit 107 specifies still image data corresponding to the time in the loaded timeline stream according to the elapsed time from the start of execution of the timeline information measured by the clock unit 105, The specified still image data is notified to the display data creation unit 113. The timeline control unit 107 instructs the display data creation unit 113 to arrange the still image data at a predetermined position, for example, in the partial image specified in the timeline information. At the same time, audio data corresponding to the still image data is read from the timeline stream and transferred to the audio data storage unit 111.
[0064]
The display data storage unit 109 is realized by the VRAM 215 and stores display data for one screen of each page created by the display data creation unit 113.
The page storage unit 110 is realized by the RAM 202 and stores a page stream and a timeline stream read from the data server 150.
The audio data storage unit 111 is realized by the RAM 202, and stores audio data divided into playback times of about 1/30 seconds.
[0065]
The display unit 112 is realized by the video D / A converter 216 and the CRT 217, reads the display data stored in the display data storage unit 109 about every 1/30 seconds, and displays it on the CRT 217. The video D / A converter 216 reads display data from the VRAM 215 that is the display data storage unit 109 about every 1/30 seconds, converts the display data into an analog signal, and supplies the analog signal to the CRT 217. The CRT 217 displays display data converted into an analog signal. Here, although the CRT 217 is used for the display unit 112, a liquid crystal display device LCD, a television connected to the multimedia information reproducing device 100, or the like may be used instead of the CRT 217. Further, the display content on the display unit 112 may be printed on paper.
[0066]
The display data creation unit 113 is realized by the CPU 201, the MPEG decoder 211, and the graphic controller 214. When a new page stream is loaded into the page storage unit 110, the display data creation unit 113 creates display data for the entire initial screen using the partial images described in the loaded page stream. . In addition, the display data creation unit 113 performs an instructed process (for example, movement of XY coordinates, enlargement / reduction, rotation movement, etc.) on the partial image described in the loaded page stream in accordance with an instruction from the control information execution unit 104. ) And the display data of the entire screen representing the still image is created using the partial image. The display data creation unit 113 also performs processing (for example, movement of XY coordinates, enlargement / reduction, rotation movement) instructed to the partial image described in the loaded page stream in accordance with an instruction given from the timeline control unit 107. Etc.) to create display data for animation display, and using the still image data specified by the timeline control unit 107 among the still image data described in the specified timeline stream, Update display data for display. In this case, the MPEG decoder 211 decompresses and decodes image data that has been compressed and recorded in accordance with MPEG. The image data recorded after being compressed and encoded according to MPEG is, for example, still image data described in a timeline stream, partial image data described in a page stream, or the like.
[0067]
The audio D / A converter 114 is realized by an MPEG decoder 211 and an audio D / A converter 212. The MPEG decoder 211 sequentially reads the audio data stored in the audio data storage unit 111, and decompresses and decodes the audio data recorded after being compressed and encoded in accordance with MPEG. The audio D / A converter 212 converts the decoded audio data into an analog signal and outputs the analog signal to the speaker 213. Note that audio data is not necessarily compressed and encoded in accordance with MPEG, as in the case of image data, and may be compressed and encoded in accordance with other formats. Further, it may not be compressed and encoded. Therefore, the MPEG decoder 211 may be another decoder, and may be omitted when handling audio data that has not been compression-encoded.
[0068]
The audio output unit 115 is realized by the speaker 213, and converts the analog signal from the audio D / A conversion unit 114 into sound and outputs the sound.
The flowchart shown in FIG. 5 and specific examples of page stream 1, page stream 2 and timeline stream shown in FIGS. 6 to 9 and specific examples of display contents displayed based on this will be described below. A procedure of multimedia information playback processing in the multimedia information playback apparatus 100 will be described.
[0069]
FIG. 5 is a flowchart showing a procedure of multimedia information playback processing in the multimedia information playback apparatus 100 of the present embodiment.
When the multimedia information playback apparatus 100 is activated, the page load unit 102 causes the network interface unit 101 to read a predetermined page stream, for example, page stream 1 described later, from the data server 150 and read the page stream. The output page stream is loaded into the page storage unit 110 (step S501).
[0070]
The display data creation unit 113 creates display data for the initial screen from each partial image described in the partial image list of the loaded page stream (step S502). The created display data is transferred to and stored in the display data storage unit 109, and is read and displayed on the display unit 112 approximately every 1/30 seconds.
FIG. 6 is an explanatory diagram showing the description content of the page stream 1, which is a specific example of the page stream shown in FIG. As shown in FIG. 6, the partial image list of page stream 1 is filled with a hatched pattern inside the partial image data items represented by bitmap data or graphic data in the order of partial image IDs. Circle, a triangle filled with a vertical broken line pattern, and a white rectangle inside, respectively, an XY coordinate indicating the display position of the partial image, and the X-axis direction and Y of the partial image It is described together with the magnification in the axial direction and the rotation angle in displaying the partial image. For the circle of the partial image ID “1”, the display data creation unit 113 arranges the bitmap data described in the partial image data on the basis of the XY coordinates “100, 100”, and the X-axis direction and the Y-axis direction. Display data is created at the same magnification and a rotation angle of 0 °. Next, similarly to the circle of the partial image ID “1”, the triangular display data of the partial image ID “2” is created, and thereafter, the rectangular display data of the partial image ID “3” is created. Thereby, in the region where the partial images overlap, the partial image data with a small partial image ID is updated with the partial image data with a large partial image ID.
[0071]
FIG. 7 is an explanatory diagram showing the display contents of each screen drawn in the display data creation unit 113 based on the page stream 1, the page stream 2, and the timeline stream 1. FIG. 7A is an explanatory diagram showing the display content of the initial screen drawn in the display data creation unit 113 based on the partial image list of the page stream 1 shown in FIG. As described above, in the drawing process of the display data creation unit 113, in the region where the partial images overlap each other, the partial image data having a small partial image ID is updated to partial image data having a large partial image ID. As shown in the initial screen of (a), a partial image having a larger partial image ID is displayed superimposed on the upper layer.
[0072]
When the process of step S502 is completed, the control information execution unit 104 detects whether or not there is an input signal from the input unit 103 (step S503). If it is detected that the result is NO, the process proceeds to the process of step S508.
If detected, the control information execution unit 104 identifies the input signal (step S504), and determines whether the input signal is an input signal described in the control information of the page stream. Determination is made (step S505). If NO is determined, the process proceeds to step S508.
[0073]
If it is determined that the identified input signal is described in the control information of the page stream, the control information execution unit 104 executes a command described corresponding to the input signal (step S506). . The display data creation unit 113 creates display data based on the execution result of the control information execution unit 104 (step S507).
[0074]
Hereinafter, the processing in steps S505 to S507 in the multimedia information reproducing apparatus 100 will be described with reference to specific examples.
After identifying the input signal, the control information execution unit 104 reads the control information from the page stream 1 of FIG. 6 loaded in the page storage unit 110. Since the read control information describes the input signals “A”, “B”, and “C”, the control information execution unit 104 determines whether the input signal is “A” or “B”. , “C” or none of them.
[0075]
When the identified input signal is “A”, since it is described in the control information, the control information execution unit 104 sets “XY coordinates of the partial image 1 corresponding to the input signal“ A ”to (170, 100) ”is executed. The content that the control information execution unit 104 executes the command is to pass parameters “partial image ID = 1” and “XY coordinates = 170, 100” to the display data creation unit 113. The control information execution unit 104 instructs the display data creation unit 113 to create display data based on the parameters. The display data creation unit 113 creates display data according to the instruction. FIG. 7B is an explanatory diagram illustrating display contents when “A” is input while the page stream 1 is being executed. Compared with the initial screen of FIG. 7A, as shown in FIG. 7B, when “A” is input while the page stream 1 is being executed, the circles are shaded. The partial image 1 is moved from the XY coordinates “100, 100” to the XY coordinates “170, 100” and displayed.
[0076]
If the identified input signal is “B”, the control information execution unit 104 executes the instruction “start clock of timeline” corresponding to the input signal “B”, as described above. . The content is to instruct the timeline control unit 107 to start execution of the timeline information described in the page stream 1. In response to this, the timeline control unit 107 activates the clock unit 105. Further, the timeline control unit 107 reads the timeline information of the page stream 1, and if there is a designated timeline stream in the timeline information describing the moving image display, the page load unit loads the timeline stream. 102 is instructed. Further, the timeline control unit 107 creates a parameter, which will be described later, based on the timeline information, passes it to the display data creation unit 113, and instructs the display data creation unit 113 to create display data based on the parameter. .
[0077]
As shown in FIG. 6, the page stream 1 describes timeline information for animation display and moving image display.
For the animation display, the partial image ID “3” of the partial image to be animated (animation display target), the animation display start time “00 minutes 00 seconds 000” represented by the elapsed time from the start of execution of the timeline information, Animation display end time “00 minutes 03 seconds 000”, “(00 minutes 00 seconds 000) XY coordinates = 150, 150”, “(00 minutes 01 seconds) indicating the display position of the partial image 3 corresponding to a predetermined elapsed time. 000) XY coordinates = 170, 170 ”and“ (00 minutes 02 seconds 000) XY coordinates = 190, 150 ”are described.
[0078]
As for the moving image display, the identification number “1” of the timeline stream displayed as the moving image, the moving image display start time “00 minutes 00 seconds 000” represented by the elapsed time from the start of execution of the timeline information, and the moving image display end A partial image ID “3” of a moving image display target, which is a partial image in which the moving image of the timeline stream 1 is displayed at the time “00 minutes 03 seconds 000”, is described.
[0079]
In response to this, the timeline control unit 107 first instructs the page load unit 102 to load the timeline stream 1 into the page storage unit 110. FIG. 8 is an explanatory diagram showing the description content of the timeline stream 1 which is a specific example of the timeline stream shown in FIG. As shown in FIG. 8, the timeline stream 1 includes a sun corresponding to each elapsed time from “00 minutes 00 seconds 000” to “00 minutes 03 seconds 000” after the start of execution of the time line information. Still image data representing a moving image climbing from a mountain and audio data reproduced while the still image data is displayed are described.
[0080]
When the identified input signal is “C”, the control information execution unit 104 executes an instruction “read page stream 2” corresponding to the input signal “C”. The content is to instruct the page load unit 102 to load the page stream 2 into the page storage unit 110. In response to this, the page load unit 102 instructs the network interface unit 101 to read the page stream 2, and loads the read page stream 2 into the page storage unit 110. The display data creation unit 113 creates display data based on the partial image list of the loaded page stream 2.
[0081]
FIG. 9 is an explanatory diagram showing the description content of the page stream 2 following the page stream 1 shown in FIG. As shown in FIG. 9, in the partial image list of page stream 2, a rectangle filled with diagonal lines is a partial image ID “1”, XY coordinates “100, 100”, XY enlargement ratio “1, 1”, and rotation. Along with the angle “0”, the partial image data is described as bitmap data. Further, the control information of the page stream 2 describes an instruction “set the XY coordinates of the partial image 1 to 200, 200” with respect to the input signal “A”. That is, when “A” is input while the page stream 2 is executed based on the partial image list, the partial image 1 is displayed at the position of the XY coordinates “200, 200”. In the page stream 2, timeline information is not described.
[0082]
FIG. 7F is an explanatory diagram showing the display content of the initial screen when the page stream 2 is loaded into the page storage unit 110. As shown in FIG. 7F, a rectangle filled with diagonal lines described in the partial image list of the page stream 2 has an XY enlargement ratio “1, 1”, a rotation angle “0”, and an XY coordinate “ 100, 100 ".
[0083]
When the processing up to step S507 is completed, the timeline control unit 107 detects whether or not the clock unit 105 is operating (step S508). When the timeline control unit 107 detects that the clock unit 105 is operating, the timeline control unit 107 reads the elapsed time from the start of execution of the timeline information measured by the clock unit 105 (step S509).
[0084]
Based on the elapsed time read from the clock unit 105, the timeline control unit 107 determines whether there is a partial image currently designated as an animation display target (step S510). XY coordinates indicating the display position are calculated from XY coordinates designated in advance corresponding to a predetermined elapsed time, and the calculated XY coordinates are determined based on the XY enlargement ratio, rotation angle, and part of the partial image. Together with the image ID, it is passed to the display data creation unit 113 as a parameter. Next, the timeline control unit 107 instructs the display data creation unit 113 to create display data based on the parameter. The display data creation unit 113 creates display data based on the parameters, and updates the display data in the display data storage unit 109 with the created display data (step S511). If there is no designated partial image in step S510, the process proceeds to step S512.
[0085]
For example, if the elapsed time in step S509 is “00 minutes 00 seconds 000”, the animation display start time described in the time line information is “00 minutes 00 seconds 000”. Then, “partial image ID = 3” and “(00 minutes 00 seconds 000) XY coordinates = 150, 150” are created as parameters for animation display, and passed to the display data creation unit 113. In response to this, the display data creation unit 113 creates the display data by moving the partial image 3 to the XY coordinates specified by the parameter “(00: 00: 000) XY coordinates = 150, 150”, and displays the display data. The display data in the storage unit 109 is updated.
[0086]
For example, if the elapsed time in step S509 is “00 minutes 01 seconds 000”, there is a partial image 3 for which animation display is designated at this time, and therefore the timeline control unit 107 sets “00 minutes 01”. The animation display parameters “partial image ID = 3” and “(00 minutes 01 seconds 000) XY coordinates = 170, 170” corresponding to “second 000” are created and passed to the display data creation unit 113. The display data creation unit 113 creates display data by moving the partial image 3 to the XY coordinates “170, 170” based on the parameters, and updates the display data in the display data storage unit 109.
[0087]
If the elapsed time is not for the elapsed time such as “00 minutes 01 seconds 000” but for example “00 minutes 00 seconds 500”, the timeline control unit 107 reads out from the timeline information. Further, “(00 minutes 00 seconds 000) XY coordinates = 150, 150” and “(00 minutes 01 seconds 000) XY coordinates = 170, 170” are interpolated, “(00 minutes 00 seconds 500) XY coordinates = 160, 160 ”is calculated and passed to the display data creation unit 113. Based on the parameter, the display data creation unit 113 moves the partial image 3 to the XY coordinates “160, 160” to create display data, and updates the display data in the display data storage unit 109.
[0088]
Further, the timeline control unit 107 determines whether or not there is a timeline stream currently designated to display a moving image based on the elapsed time read from the clock unit 105 (step S512). From the line stream, the still image data corresponding to the elapsed time read from the clock unit 105 is specified and notified to the display data creation unit 113, and the audio data corresponding to the still image data is read from the time line stream. The data is transferred to the audio data storage unit 111. The display data creation unit 113 reads the specified still image data from the designated timeline stream, creates display data, updates the display data in the display data storage unit 109 (step S513), and then performs step S503. Move on to processing. In step S512, if there is no designated timeline stream, the process proceeds to step S503.
[0089]
For example, if the elapsed time in step S509 is “00 minutes 00 seconds 000”, the moving image display start time described in the time line information is “00 minutes 00 seconds 000”. , “Timeline stream identification number = 1”, “Still image data = 00 minutes 00 seconds 000”, “ Partial image ID = 3 ”is created and passed to the display data creation unit 113. At the same time, the audio data A 1 is read from the timeline stream 1 and transferred to the audio data storage unit 111. Next, the timeline control unit 107 instructs the display data creation unit 113 to create display data based on the parameter. In response to this, the display data creation unit 113 creates the display data by arranging the still image data specified by the parameter “still image data = 00 minutes 00 seconds 000” in the partial image 3, and displays the display data. The display data in the storage unit 109 is updated.
[0090]
FIG. 7C is an explanatory diagram showing display contents immediately after “B” is input while the screen shown in FIG. 7B is displayed. That is, FIG. 7C shows a screen drawn based on each parameter of the elapsed time measured by the clock unit 105 “00 minutes 00 seconds 000”. The partial image 3 to be displayed in animation is displayed at “(00: 00: 000) XY coordinates = 150, 150”, but the partial images 1 and 2 are designated by the XY coordinates in the parameters for animation display. Since it is not done, it is displayed at the same position as that shown in FIG. In addition, still image data of “still image data = 00 minutes 00 seconds 000” of the timeline stream 1 is displayed inside the partial image 3. Simultaneously with this display, the audio data A1 is reproduced. Note that the display content when “B” is input while the initial screen shown in FIG. 7A is displayed is different from the display content of FIG. The display position of the ellipse. In the former, a circle is displayed at XY coordinates “100, 100”, whereas in the latter, a circle is displayed at XY coordinates “170, 100”.
[0091]
Further, for example, if the elapsed time in step S509 is “00 minutes 01 seconds 000”, the timeline control unit 107 determines that the elapsed time “ The video display parameters “timeline stream identification number = 1”, “still image data = 00 minutes 01 seconds 000”, and “partial image ID = 3” corresponding to “00 minutes 01 seconds 000” are created and displayed data It passes to the creation unit 113. At the same time, the timeline control unit 107 reads the audio data Ai corresponding to the elapsed time “00 minutes 01 seconds 000” from the timeline stream 1 and transfers it to the audio data storage unit 111. The display data creation unit 113 creates display data by arranging still image data “00 minutes 01 seconds 000” read from the timeline stream 1 in the partial image 3 based on the parameters.
[0092]
FIG. 7D is an explanatory diagram showing display contents at the elapsed time “00 minutes 01 seconds 000” from the start of execution of the timeline information. As shown in FIG. 7D, the partial image 1 and the partial image 2 are displayed at the same position as that shown in FIG. 7B, but the partial image 3 has the XY coordinates “170, 170”. ", And still image data of" 00 minutes 01 seconds 000 "is displayed. Also, the audio data Ai is reproduced while this screen is displayed.
[0093]
Further, FIG. 7E is an explanatory diagram showing display contents at an elapsed time “00 minutes 02 seconds 000” from the start of execution of the timeline information. The partial image 1 and the partial image 2 are displayed at the same position as shown in FIG. 7B by the same processing as in the case of the elapsed time “00 minutes 01 seconds 000” from the start of execution of the timeline information. However, the partial image 3 is displayed after being moved to the XY coordinates “190, 150”, and still image data of “00 minutes 02 seconds 000” is displayed therein. Also, the audio data Aj is reproduced while the still image data of “00 minutes 02 seconds 000” is displayed. In addition, since the XY coordinates for the partial image 3 after the elapsed time “00: 02.000” are not shown in the control information of the page stream 1, the animation is displayed until the elapsed time “00: 03.000”. However, the partial image 3 is displayed stationary at the XY coordinates “190, 150”. On the other hand, still image data up to the elapsed time “00: 03.000” is sequentially displayed in the partial image 3, and audio data corresponding to the displayed still image data is sequentially reproduced. .
[0094]
As described above, according to the present embodiment, the multimedia information reproducing apparatus 100 is described in the loaded page stream as compared with the case where the display content for one screen is read from the data server 150 as one image data. When changing the display of the partial image, since it is not necessary to read out the image data from the data server 150, a relatively large number of still images per unit time regardless of the data transfer rate with the data server 150. Can be displayed. Since the description content of each page stream and the description content of each timeline stream are recorded in one file in the data server 150, some information is stored in the same page stream or the same timeline stream. When sequentially reading, a read request for each piece of information to be read does not occur. Therefore, data can be read from the same page stream and the same timeline stream quickly, and multimedia information can be reproduced with high accuracy without causing interruptions in reproduced audio and moving images. Also, since the partial image list and the control information and timeline information related to the partial images described in the partial image list are described in one page stream, image data, control information, moving image information, etc. Compared to the case where each information is recorded in a separate file in the data server 150, the load on the CPU 201 for managing the information can be reduced by loading the information into the internal RAM 202.
[0095]
In this embodiment, still image data and audio data described in the timeline stream are compression-encoded according to MPEG, and this is decompressed and decoded by the MPEG decoder 211. The audio data and the partial image data do not necessarily have to be compression-encoded according to MPEG, and are images that have been compression-encoded in another format, for example, VFW (Video for Windows) or QT (Quick Time). It may be data. For this reason, the MPEG decoder 211 may be a decoder according to another format. In addition, when the multimedia information reproducing apparatus 100 handles only data that has not been compression-encoded, the decoder may not be provided.
[0096]
In this embodiment, the page load unit 102 loads the description contents of the designated timeline stream from the data server 150 to the page storage unit 110 at the start of execution of the timeline information, and displays the display data creation unit. 113 reads the specified still image data in the loaded timeline stream to create display data, but the description content of the timeline stream is not necessarily loaded into the page storage unit 110 in a batch. There is no need to For example, the page load unit 102 loads the specified still image data and audio data in the designated timeline stream to the page storage unit 110 at each display time of the moving image display, and the display data creation unit 113 may read the loaded still image data from the page storage unit 110 to create display data, and the timeline control unit 107 may transfer the loaded audio data to the audio data storage unit 111.
[0097]
For this purpose, the following processing is performed. First, the network interface unit 101 and the data server 150 secure a network communication band for a certain time corresponding to the moving image display execution time. Next, the data server 150 reads out still image data and audio data at that time, which are compression-coded according to MPEG or the like, corresponding to each display time from the file in which the timeline stream requested to be read is recorded, Send to the network. On the multimedia information playback apparatus 100 side that has received still image data and audio data corresponding to each display time via a network, the page load unit 102 stores the received still image data and audio data in a page storage unit. 110. The loaded still image data and audio data are reproduced at the display time by the respective components of the multimedia information reproducing apparatus 100. In general, image data has a large amount of data even if it is compression-encoded, so the amount of data described in one timeline stream may be considered to be relatively large. Therefore, considering the storage capacity of the RAM 202 necessary as the page storage unit 110, the page load unit 102 stores the specified still image data and audio data in the page storage unit 110 at each display time of the moving image display. It can be said that loading is preferable. As already described, since the description content of one timeline stream is recorded in one file in the data server 150, the page load unit 102 specifies the still image data specified at each display time. Even when the audio data is loaded from the data server 150, no read request is generated, so that a moving image can be displayed without interruption of reproduced sound or moving image.
[0098]
Further, in this embodiment, when displaying a moving image, the timeline control unit 107 instructs the page load unit 102 to load the timeline stream specified in the timeline information, and the designated page load unit 102 However, the network interface unit 101 is instructed to read from the data server 150, but it is not always necessary to read out the timeline stream in this way. The network interface unit 101 may be instructed to read the stream directly.
[0099]
Further, in the present embodiment, the display unit 112 has been described as displaying each page about every 1/30 seconds. However, when displaying a high-quality moving image, about every 1/60 seconds, Alternatively, each page is displayed about every 1/150 seconds. In such a case, in the timeline stream, still image data and audio data corresponding to a display time of about 1/60 second or about 1/150 second from the start of execution of the timeline stream are described. Is done.
[0100]
In addition, it is not always necessary to record all information as digital data in the file of the data server 150. Some data, for example, audio data of a timeline stream, is analog data and is divided. It may be recorded. Correspondingly, the multimedia information reproducing apparatus 100 includes a storage unit for analog data instead of the audio data storage unit 111.
[0101]
In the present embodiment, the data server 150 has been described as separately storing the page stream and the timeline stream. However, the data server 150 does not necessarily need to store the page stream and the timeline stream. For example, the page stream and the timeline stream may be stored with the identification number of each file represented by a sequential number or the like. In this case, the page stream and the timeline stream described in each information in the page stream and the timeline stream are designated, and the page stream by the parameters of the control information execution unit 104 and the timeline control unit 107 The designation as a timeline stream is described by the identification number of each file.
(Example 2)
FIG. 10 is a block diagram showing a configuration of a multimedia information recording apparatus 1000 according to the second embodiment of the present invention. FIG. 11 is a block diagram showing a hardware configuration of multimedia information recording apparatus 1000 shown in FIG.
[0102]
As shown in FIG. 10, a multimedia information recording apparatus 1000 is connected to a data server 150 via a communication line, and includes an input unit 1001, a stream creation unit 1002, a secondary storage unit 1003, and a data server writing unit 1009. Prepare. The secondary storage unit 1003 includes storage areas of a partial image storage unit 1004, a moving image storage unit 1005, an audio storage unit 1006, a page stream storage unit 1007, and a timeline stream storage unit 1008.
[0103]
As shown in FIG. 11, the hardware configuration of the multimedia information recording apparatus 1000 includes a CPU 1101, a RAM 1102, a system clock 1103, a timer 1104, a keyboard 1105, an input device interface 1106, a network interface 1107, a disk interface 1108, and a hard disk 1110. MPEG decoder 1111, audio D / A converter 1112, speaker 1113, graphic controller 1114, VRAM 1115, video D / A converter 1116, and CRT 1117.
[0104]
The system clock 1103, timer 1104, MPEG decoder 1111, audio D / A converter 1112, speaker 1113, graphic controller 1114, VRAM 1115, video D / A converter 1116 and CRT 1117 are a page stream and a timeline stream. Although not necessarily required for the creation and recording, the operator uses the material data in the secondary storage unit 1003 and the contents of the created page stream and timeline stream for reproduction and confirmation.
[0105]
The data server 150 receives the page stream and timeline stream transmitted together with the write request from the data server writing unit 1009 via the communication line, and stores the individual file in a storage device such as a hard disk device (not shown) provided therein. Record as.
The input unit 1001 is realized by a keyboard 1105 and an input device interface 1106. The input unit 1001 includes a scanner and a video capture board (not shown). The scanner inputs a still image printed on paper or the like as digitized still image data. The video capture board inputs a moving image as digitized moving image data from a connected video tape recorder or the like.
[0106]
The stream creation unit 1002 is realized by the CPU 1101. The stream creation unit 1002 displays, for example, a menu screen and an input request on the CRT 1117 according to the processing procedure, and receives an input of an instruction or character information from an editor of multimedia information. Further, in accordance with the instructions input according to the display, the partial image file, the moving image file, and the audio file corresponding to each instruction are read from the partial image storage unit 1004, the moving image storage unit 1005, and the audio storage unit 1006, respectively. 3 and the page stream and timeline stream shown in FIG. 4 are created interactively. The control information is input by inputting characters from the input unit 1001. The processing operation of the stream creation unit 1002 will be described in detail later using the flowcharts of FIGS. 12 and 13.
[0107]
The secondary storage unit 1003 is realized by the disk interface 1108 and the hard disk 1110.
The partial image storage unit 1004 stores one or a plurality of partial image files. In each of the partial image files, one partial image cut out in advance by editing processing from material data representing a still image is described in bitmap data or graphic data compressed and encoded according to MPEG or the like. , Remembered. The contents described in each partial image file correspond to the contents describing the partial image data of the page stream. Note that material data refers to data constituting multimedia information by being related to control information and other material data by editing processing.
[0108]
The moving image storage unit 1005 stores one or a plurality of moving image files. In the moving image file, still image data cut out in advance in association with a predetermined display time by editing processing from the material data of the still image representing the moving image is recorded in order of the display time for each screen. ing.
The audio storage unit 1006 stores one or a plurality of audio files. In the audio file, each piece of audio data divided in advance for each amount of audio data corresponding to the length of time during which one still image data is displayed is selected from among material data representing audio by editing processing. Are recorded in order of display time in association with the display time of the still image data.
[0109]
The page stream storage unit 1007 stores the page stream created by the stream creation unit 1002.
The timeline stream storage unit 1008 stores the timeline stream created by the stream creation unit 1002.
The data server writing unit 1009 is realized by the network interface 1107. The data server writing unit 1009 reads the corresponding page stream from the page stream storage unit 1007 in accordance with the notification from the stream creation unit 1002, and writes the PT classification “P”, the identification number, and the page stream of the page stream. Along with the request, it is transmitted to the data server 150 via the communication line. Similarly, the data server writing unit 1009 reads the corresponding timeline stream from the timeline stream storage unit 1008 in accordance with the notification from the stream creation unit 1002, and the PT classification “T” of the timeline stream, the identification number, The timeline stream is transmitted to the data server 150 together with the write request. In response to this, the data server 150 records the page stream in a file with the PT section “P” and the identification number, and records the timeline in the file with the PT section “T” and the identification number. Record the stream.
[0110]
FIG. 12 and FIG. 13 are flowcharts showing the procedure of the multimedia information recording process in the multimedia information recording apparatus 1000 of this embodiment. The procedure of the recording process from step S1219 to step S1228 is shown in the flowchart of FIG.
First, the stream creation unit 1002 initializes the identification numbers of the page stream and the timeline stream to “1” (step S1201).
[0111]
The stream creation unit 1002 requests input of an instruction indicating whether or not there is content to be described in the page stream. If there is content to be described in the page stream according to the instruction input in response thereto (step S1202), the partial image ID is initialized to “1” (step S1203).
Furthermore, the stream creation unit 1002 requests input of an instruction indicating whether or not there is content to be described as a partial image with the partial image ID. If there is content to be described as a partial image of the partial image ID in accordance with the instruction input accordingly (step S1204), the input of the file name of the partial image file describing the corresponding partial image is accepted (step S1204). Step S1205). Further, the input of the XY coordinates describing the display position, the enlargement ratio, and the rotation angle of the partial image on the initial screen of the page stream, the XY enlargement ratio, and the rotation angle is received (step S1206). The stream creation unit 1002 writes the partial image ID, the XY coordinates, the XY enlargement ratio, and the rotation angle in the storage area assigned to each item of the partial image ID of the page stream in the page stream storage unit 1007. Subsequently, the partial image file having the input file name is read from the partial image storage unit 1004, and the read content is the item of partial image data having the partial image ID of the page stream in the page stream storage unit 1007. Is written in the storage area allocated to the (step S1207). Thereafter, the stream creation unit 1002 increments the partial image ID (step S1208), and returns to the process of step S1204.
[0112]
In the process of step S1204, if there is no content to be described as a partial image of the partial image ID according to the input instruction, the stream creation unit 1002 further has control information to be described in the page stream. If there is control information to be described according to the input instruction (step S1209), an input of an input signal name is accepted (step S1210). Subsequently, an input of an instruction to be executed corresponding to the input signal name that has been input is received (step S1211). The stream creation unit 1002 writes a set of an input signal name and an instruction corresponding to the input signal name in a free area of the storage area assigned to the control information item of the page stream in the page stream storage unit 1007 ( Step S1212) and the process returns to step S1209.
[0113]
In the process of step S1209, if there is no control information to be described in the page stream according to the input instruction, the stream creation unit 1002 further determines whether there is an animation display to be described in the page stream. Prompt for instructions. If there is an animation display to be described in accordance with an instruction input in response to this (step S1213), an input of a partial image ID of a partial image to be animated (animation display target) is accepted (step S1214). Further, the stream creation unit 1002 accepts input of one or more animation types indicating how to display the animation of the partial image with the input partial image ID (step S1215). The animation type is selected from, for example, “move”, “enlarge”, and “rotate”. A parameter that changes with the passage of time is designated according to the input of the animation type.
[0114]
Furthermore, the stream creation unit 1002 displays the time represented by the elapsed time from the start of execution of the timeline information to be described in the page stream, and the value corresponding to the time of the parameter corresponding to the input animation type. Requesting an input indicating whether or not there is a pair. If there is an instruction input accordingly (step S1216), the input is accepted (step S1217). Specifically, the value of the parameter corresponding to the time is the value of the XY coordinate for “move”, the value of the XY magnification for “magnify”, and the angle of rotation for “rotation”. A value is entered.
[0115]
In the process of step S1216, if there is no set of time and a parameter value corresponding to the time to be described in the page stream according to the input instruction, the stream creation unit 1002 displays the page stream storage unit 1007. In the free area of the storage area allocated to the information related to the animation display of the page stream, the input partial image ID of the animation display target, the time and the parameter value corresponding to the time and the input animation type, Are written (step S1218), and the process returns to step S1213.
[0116]
In the processing of step S1213, if there is no animation display to be described in the page stream according to the input instruction, the stream creation unit 1002 indicates whether there is a moving image display to be described in the page stream. Require input. If there is a moving image display to be described in accordance with an instruction input in response thereto (step S1219), the start time and end time of the moving image display, and the portion of the partial image (moving image display target) on which the moving image is to be displayed The input of the image ID is accepted (step S1220).
[0117]
Furthermore, the stream creation unit 1002 receives an input of a file name of a moving image file describing a moving image to be displayed inside the partial image indicated by the input partial image ID (step S1221).
Next, the stream creation unit 1002 requests input of an instruction indicating whether there is an audio file describing audio to be reproduced in synchronization with the moving image described in the input file name. If there is an instruction input in response thereto (step S1222), the stream creation unit 1002 accepts an input of the file name of the audio file (step S1223). Next, the stream creation unit 1002 reads the moving image file and the audio file to which the file name is input from the moving image storage unit 1005 and the audio storage unit 1006, respectively, and obtains still image data and audio data corresponding to the same time. Each set is written in the storage area assigned to the timeline stream having the currently set identification number in the timeline stream storage unit 1008 (step S1224).
[0118]
The stream creation unit 1002 stores the input start time and end time of the moving image display and the partial image to be displayed in the free space of the storage area assigned to the information related to the moving image display of the page stream in the page stream storage unit 1007. The ID is written together with the identification number of the corresponding timeline stream (step S1225).
[0119]
If there is no corresponding audio file in the process of step S1222, the moving image file with the file name input is read from the moving image storage unit 1005 and has the identification number currently set in the timeline stream storage unit 1008. Writing to the storage area allocated to the timeline stream (step S1226), the process proceeds to step S1225.
[0120]
Next, the stream creation unit 1002 increments the identification number of the timeline stream (step S1227) and returns to the process of step S1219.
In the process of step S1219, if there is no moving image display to be described in the page stream according to the input instruction, the stream creation unit 1002 increments the page stream identification number (step S1228), and then performs the process of step S1202 Return to.
[0121]
In the processing of step S1202, if there is no content to be described in the page stream according to the input instruction, the stream creation unit 1002 records the created page stream and timeline stream in each file of the data server 150. The input of the instruction indicating the order to be performed is requested and the input is accepted (step S1229). The stream creation unit 1002 notifies the data server writing unit 1009 of the input recording order, and the data server writing unit 1009 reads the corresponding page stream from the page stream storage unit 1007 according to the notification and stores the timeline stream storage. The corresponding timeline stream is read from the unit 1008 and recorded in the data server 150 (step S1230).
[0122]
As described above, according to this embodiment, the multimedia information recording apparatus 1000 records the page stream and timeline stream shown in FIGS. 3 and 4 as one file each in the storage device in the data server 150. be able to. As a result, the multimedia information reproducing apparatus 100 connected to the data server 150 via the network reproduces the page stream and timeline stream recorded by the multimedia information recording apparatus 1000, so that the first embodiment The above effects shown in (1) can be obtained.
[0123]
In the present embodiment, the still image data and audio data described in the timeline stream are compression-encoded according to MPEG. However, still image data, audio data, and partial image data are not necessarily respectively encoded. The image data need not be compression-encoded in accordance with MPEG, and may be image data that has been compression-encoded in another format, for example, VFW (Video for Windows) or QT (QuickTime).
[0124]
In this embodiment, the data server 150 stores the page stream and the timeline stream with, for example, the identification number of each file represented by a sequential number without distinguishing between the page stream and the timeline stream. May be. In this case, the page stream and the timeline stream described in each information in the page stream and the timeline stream are designated, and the page stream by the parameters of the control information execution unit 204 and the timeline control unit 207 The designation as a timeline stream is described by the identification number of each file.
[0125]
【The invention's effect】
As described above, claim 1Or 7According to the described invention, the page information recorded in each file in the data server describes the image information of the partial image constituting the display content of one screen and the display mode thereof. When only a part is changed and displayed, it is only necessary to change the display mode information of the corresponding partial image in accordance with the control information and create display data, and the display data after change can be easily created. it can. Also, in one page information, all the information for changing and displaying only a part of the display image using the partial image in the partial image list is described, and only the information in the page information is displayed. Since display data in which only a part of the image is changed can be created, there is no need to read the display data from the data server each time. Therefore, there is no need to create display data in which only a part of the display image is changed and record it in the data server in advance. For this reason, there is no problem that the number of display data that can be displayed per unit time is limited by the data transfer rate between the data server and the multimedia information reproducing apparatus. Further, in the multimedia information reproducing apparatus of the present invention, one page information is read from one file in the data server. Therefore, when necessary information is read from a plurality of files in the data server and loaded into the memory. In comparison, the load on the CPU that manages the memory is small. Further, in the multimedia information reproducing apparatus of the present invention, when a new screen composed of another partial image is displayed, new page information describing the partial image is read and read. Display data representing the screen is created only from the description contents of the page information. For this reason, in the multimedia information reproducing apparatus of the present invention, new display data can be created by a single read request generated when new page information is read, and a plurality of files in the data server can be created. Compared to reading partial image information from (that is, issuing read requests many times), partial image information can be read in a shorter time, and a new screen can be displayed in a shorter time. can do.
[0126]
According to the second aspect of the present invention, in addition to the above effects, information for performing animation display using partial image information in the partial image list and display mode information thereof as one page information. Since it is all described, it is not necessary to read display data representing each screen from the data server every time it is displayed, and display data can be easily created simply by changing the display mode information. Compared with the case where display data representing the display content of the screen is read each time the display data is displayed, the display data can be created in a short time, and a higher quality animation display can be performed.
[0127]
According to the third aspect of the present invention, in the animation display in which the display position, the display size, and the display angle of each partial image represented by the partial image information are changed as time passes, An effect can be obtained.
According to the fourth aspect of the present invention, the above-described effect can be obtained by the page information stored in the page storage means, and the display contents based on the page information and the passage of time are associated with the data. The contents described in the time series information can be sequentially read from the server and reproduced. Further, since the time series information is also recorded as one file, a read request is not generated when the description contents in the time series information are sequentially read. For this reason, the time-series information reading means can quickly read the description contents in the time-series information, and completes the reading of the description contents for the previous reading until the start of reading the description contents to be read next. be able to. As a result, the multimedia information reproducing apparatus can reproduce the description content recorded in the time series information without interruption.
[0128]
According to the fifth aspect of the present invention, in addition to the above effect, the multimedia information reproducing apparatus displays the audio information in the first time-series information read from the data server as the display content based on the page information. In correspondence with the passage of time and the passage of time, it is possible to reproduce without interruption. Specifically, the multimedia information reproducing apparatus reproduces the audio information in the first time series information with high accuracy while performing high-quality animation display based on the page information stored in the page storage means. Can do.
[0129]
According to the sixth aspect of the present invention, in addition to the above effect, a set of audio information and screen information written in the second time-series information can be reproduced with high accuracy. Specifically, the multimedia information reproducing apparatus performs high-quality animation display based on the page information stored in the page storage unit, and performs an area related to the partial image in the same screen, for example, one The moving image represented by the screen information in the second time series information can be accurately displayed inside the partial image, and the audio information can be reproduced with high accuracy.
[0130]
Claim8According to the described invention, the page information generated interactively according to the input from the operator can be recorded in each file of the data server. Accordingly, the effect of the present invention according to claim 1 can be provided to a multimedia information reproducing apparatus that reads out and reproduces the page information from the data server.
[0131]
Claim9According to the described invention, the page information can be recorded in each file of the data server. Accordingly, the effect of the present invention according to claim 2 can be provided to a multimedia information reproducing apparatus that reads out and reproduces the page information from the data server.
Claim10According to the described invention, the page information can be recorded in each file of the data server. Accordingly, the effect of the present invention according to claim 3 can be provided to a multimedia information reproducing apparatus that reads out and reproduces the page information from the data server.
[0132]
Claim 11According to the described invention, the page information and the time-series information can be recorded in each file of the data server. Thus, the effect of the present invention according to claim 4 can be provided to a multimedia information reproducing apparatus that reads and reproduces the page information and the time-series information from the data server.
[0133]
Claim 12According to the described invention, the page information and the time-series information can be recorded in each file of the data server. Thus, the effect of the present invention according to claim 5 can be provided to a multimedia information reproducing apparatus that reads and reproduces the page information and the time-series information from the data server.
[0134]
Claim 13According to the described invention, the page information and the time-series information can be recorded in each file of the data server. Thereby, the effect by this invention of Claim 6 can be provided with respect to the multimedia information reproducing | regenerating apparatus which reads and reproduces | regenerates the said page information and the said time series information from the said data server.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a multimedia information reproducing apparatus 100 according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a hardware configuration of multimedia information reproducing apparatus 100 shown in FIG.
FIG. 3 is an explanatory diagram showing a data structure of a page stream reproduced by the multimedia information reproducing apparatus 100 of the embodiment.
FIG. 4 is an explanatory diagram showing a data structure of a timeline stream reproduced by the multimedia information reproducing apparatus 100 of the embodiment.
FIG. 5 is a flowchart showing a procedure of multimedia information playback processing in the multimedia information playback apparatus 100 of the present embodiment.
6 is an explanatory diagram showing description contents of a page stream 1, which is a specific example of the page stream shown in FIG. 3;
FIG. 7 is an explanatory diagram showing display contents of each screen drawn in the display data creation unit 113 based on the page stream 1, the page stream 2, and the timeline stream 1;
FIG. 8 is an explanatory diagram showing the description content of a timeline stream 1 that is a specific example of the timeline stream shown in FIG. 4;
9 is an explanatory diagram showing the description content of a page stream 2 following the page stream 1 shown in FIG. 6. FIG.
FIG. 10 is a block diagram showing a configuration of a multimedia information recording apparatus 1000 according to the second embodiment of the present invention.
11 is a block diagram showing a hardware configuration of the multimedia information recording apparatus 1000 shown in FIG.
FIG. 12 is a flowchart illustrating a procedure of multimedia information recording processing in the multimedia information recording apparatus 1000 of the present embodiment.
FIG. 13 is a flowchart showing a procedure of multimedia information recording processing in the multimedia information recording apparatus 1000 of the embodiment.
FIG. 14 is an explanatory diagram showing an example of a data configuration of multimedia information in which synchronized playback of images and sounds is performed in a conventional multimedia information playback apparatus.
[Explanation of symbols]
100 Multimedia information playback device
101 Network interface section
102 Page load section
103 Input section
104 Control information execution unit
105 Clock part
107 Timeline control unit
108 Storage unit
109 Display data storage unit
110 page storage
111 Audio data storage unit
112 Display section
113 Display data creation unit
114 D / A converter for audio
115 Audio output section
150 Data server

Claims

A multimedia information playback apparatus that reads and plays back multimedia information from a data server connected via a network,
A part composed of at least one set of partial image information representing a partial image which is a part of display content of one screen and display mode information representing the display mode, stored as one file in the data server An image list and a command to be executed corresponding to an input value input in response to an operation of the operator are described, and includes a display mode change command instructed to change the display mode information of the partial image Page information reading means for reading page information having control information, and
The partial images represented by the partial image information in the read page information are arranged in one screen based on the corresponding display mode information, and display data representing the display content for one screen is created. Display data creation means for
Each time display data is created by the display data creation means, display data storage means for storing newly created display data;
Reads the display data before Symbol display data storage means, display means for displaying the display contents represented by display data Desa read,
An input means for inputting a corresponding input value according to the operation of the operator;
Executing a command according to the input value, and changing the display mode information of the corresponding partial image in accordance with the display mode change command to the display data creation means in response to the input value corresponding to the display mode change command; Command execution means for instructing to create new display data,
The multimedia information reproducing apparatus, wherein the display data creation means creates new display data in accordance with an instruction from the command execution means.

The multimedia information reproducing apparatus according to claim 1, wherein
The page information reading means stores the partial image list stored as one file in the data server, and an animation display instructed to change and display the display mode information of the partial image corresponding to the passage of time. Reading out the page information having the control information including the command and the time-series control information including the animation control information indicating the display mode information of the partial image corresponding to the passage of time;
The instruction execution means is
A first timer for measuring elapsed time;
The first timer is started for the input value corresponding to the animation display command, and the display corresponding to the elapsed time indicated in the animation control information is displayed on the display data creation means at every predetermined time. An animation display command execution unit that changes the display mode information of the corresponding partial image according to the mode information, instructs to create new display data, and stops the first timer at the end of the execution of the animation display command. ,
The multimedia information reproducing apparatus, wherein the display data creating means creates new display data in accordance with an instruction from the animation display command execution unit.

The multimedia information reproducing apparatus according to claim 2, wherein
The page information reading means stores the partial image information stored in the data server as one file, XY coordinates representing the display position, and the size of the partial image information and the partial image to be displayed. From at least one set of display mode information representing a display mode including an XY enlargement ratio representing a ratio between the X-axis direction and the Y-axis direction and a rotation angle between the partial image information and the partial image to be displayed The display information of at least one of the partial image list, the control information including the animation display command, the XY coordinates, the XY enlargement ratio, and the rotation angle among the display modes. Read page information having time-series control information including the animation control information representing a value for each predetermined elapsed time,
The animation display command execution unit
An XY coordinate calculation unit that interpolates and calculates an XY coordinate value corresponding to the elapsed time measured at that time based on the animation control information for each predetermined time;
An XY enlargement ratio calculating unit that interpolates and calculates a value of an XY enlargement ratio corresponding to the elapsed time measured at that time based on the animation control information at predetermined time intervals;
And a rotation angle calculation unit that calculates a rotation angle value corresponding to the elapsed time measured at that time based on the animation control information at predetermined time intervals. Information playback device.

The multimedia information reproducing apparatus according to claim 3, wherein
The page information reading means includes the partial image list stored in the data server as one file, and a time-series processing start instruction instructed to start execution of time-series processing corresponding to the passage of time. The control information is time-series information stored in the data server as a single file different from page information, and information to be reproduced in accordance with the passage of time is written in the order of reproduction together with its identification name. An information name of time-series information to be reproduced in response to the time-series processing start command, an identification name indicating the content of the time-series information to be reproduced in response to passage of time , time series shown in association with the display of the partial image represented by the partial image information in the serial partial image list, when a what represents how reproduce reproduction manner information series information Reads page information and a time-series control information including the management control information,
The instruction execution means is
A second timer for measuring elapsed time;
The second timer is activated for the input value corresponding to the time-series processing start command, and the time corresponding to the elapsed time measured based on the time-series processing control information every predetermined time. A time series processing execution unit that identifies an identification name of the content of the time series information and stops the second timer at the end of reproduction of the time series information,
The multimedia information reproducing apparatus further includes:
Page storage means for storing the page information read by the page information reading means;
Time series information reading means for reading out the contents of the identification name specified by the time series processing execution unit from the time series information whose information name is indicated in the time series control information from the data server;
A multimedia information reproducing apparatus comprising: reproducing means for reproducing the content of the read time-series information.

The multimedia information reproducing apparatus according to claim 4, wherein
The page information reading means is stored as a single file in the data server, the partial image list, the control information, and time-series information to be played back in response to the time-series processing start command Is stored as a single file different from the page information in the data server, and the audio information divided for each predetermined data size is displayed in the order of reproduction corresponding to a predetermined elapsed time together with the identification name. indicated information name of the written first chronological information was found the identification name indicating audio information to be reproduced in correspondence with the lapse of time of the first time series information, the partial image of the previous SL portions in the image list in association with the display of the partial image represented by the information, the sequence control information when it contains a sequence processing control information when indicating how the re ecology like showing how to reproduce the audio information It reads the page information having a,
The time series processing execution unit
When the information name of the first time-series information is indicated in the time-series processing control information, the identification name of the audio information in the first time-series information corresponding to the measured elapsed time every predetermined time A first time-series processing execution unit for identifying
The reproducing means includes
An audio playback unit for playing back the read audio information;
The time-series information reading means is specified by the first time-series processing execution unit from the first time-series information which is time-series information whose information name is indicated in the time-series control information from the data server. A multimedia information reproducing apparatus, wherein the audio information having the identified name is read out.

The multimedia information reproducing apparatus according to claim 4 or 5,
The page information read-out means starts reproduction from the data server in response to the partial image list, the control information, and the time-series processing start command stored as one file in the data server. As the information name of the time series information to be stored in the data server as a single file different from the page information, the audio information divided for each predetermined data size, and the video and / or animation in one screen The information name of the second time-series information in which the screen information representing the content is written in the order of reproduction corresponding to a predetermined elapsed time is indicated, and the second time-series information to be reproduced corresponding to the passage of time An identification name indicating a set of audio information and screen information, and a moving image and a display area associated with the partial image represented by the predetermined partial image information in the partial image list Or reads the page information having said time-series control information animation including the reproduction mode shown that is displayed,
The time series processing execution unit
When the information name of the second time-series information is indicated in the time-series processing control information, the audio information and the screen information of the second time-series information corresponding to the measured elapsed time for each predetermined time, In addition, the display data creation means creates the new display data by arranging the screen information read by the time-series information reading means in the display area shown in the reproduction mode. A second time-series processing execution unit that instructs to
The time-series information reading unit is specified by the second time-series processing execution unit from the second time-series information which is time-series information whose information name is indicated in the time-series control information from the data server. A set of the voice information and the screen information, which is the content of the identified name,
The multimedia information reproducing apparatus, wherein the display data creating means creates new display data in accordance with an instruction from the second time series processing execution unit.

A multimedia information playback apparatus that reads and plays back multimedia information from a data server connected via a network,
A part composed of at least one set of partial image information representing a partial image which is a part of display content of one screen and display mode information representing the display mode, stored as one file in the data server Page information reading means for reading page information including: an image list; and control information including a display mode change instruction instructed to change display mode information of the partial image;
The partial images represented by the partial image information in the read page information are arranged in one screen based on the corresponding display mode information, and display data representing the display content for one screen is created. Display data creation means for
Each time display data is created by the display data creation means, display data storage means for storing newly created display data;
Display means for reading display data from the display data storage means and displaying display contents represented by the read display data;
Instruction display means for instructing the display data creation means to change the display mode information of the corresponding partial image in accordance with a display mode change command and to create new display data,
The display data creation means creates new display data in accordance with an instruction from the command execution means.
A multimedia information reproducing apparatus.

A multimedia information recording device for recording multimedia information in a data server connected via a network,
Partial image information representing a partial image which is a part of display contents of one screen, partial image information stored in one partial image file, and stored for each file; ,
Partial image list input for receiving input of a file name of at least one partial image file in the partial image storage means and display mode information indicating a display mode of the partial image represented by the partial image information in the partial image file Means,
A page information storage unit having a storage area composed of a plurality of small storage areas and storing one page information;
Partial image information is read out from the partial image file having the input file name, and a set of the partial image information and display mode information input corresponding to the partial image information is created. A partial image list writing means for writing to the first small storage area of the storage means;
A control information input means for receiving input of control information including an input signal name and a display mode change command instructed to change the display mode of the partial image in response to the input signal;
Control information writing means for writing the input control information into a second small storage area of the page information storage means;
Each piece of information written as one page information in each storage area of the page information storage means is transmitted to the data server together with the write request, and the description content of one page information is stored in one file in the data server. A multimedia information recording apparatus comprising: page information recording means for recording.

The multimedia information recording apparatus according to claim 8 , wherein
The control information includes an animation display instruction instructed to change and display the display mode information of the partial image corresponding to the passage of time,
The control information input means further includes
An animation display command input unit that receives an input of a set of an input signal and the animation display command;
The multimedia information recording apparatus further includes:
Time-series control information input means for receiving input of time-series control information including animation control information indicating how the display mode of the partial image changes in response to the passage of time;
A multimedia information recording apparatus comprising: time series control information writing means for writing input time series control information in a third small storage area of the page information storage means.

The multimedia information recording apparatus according to claim 9 , wherein
The partial image list input means further includes:
The partial image information is represented by the XY coordinates representing the display position of the partial image, the XY enlargement ratio representing the size ratio between the partial image information and the displayed partial image, and the partial image information. A display mode information input unit that receives input of display mode information including a rotation angle that represents an angle formed between a partial image and a partial image that is actually displayed;
The time-series control information input means is an animation representing how at least one of the XY coordinates, the XY magnification, and the rotation angle of the display mode changes with time. A multimedia information recording apparatus that receives an input of control information.

The multimedia information recording apparatus according to claim 10 , wherein
The control information includes a time-series processing start instruction instructed to start execution of time-series processing corresponding to the passage of time,
The time-series control information includes a time-series information name that should be reproduced in response to the time-series process start command, and a time at which the time-series information should be reproduced at each time point corresponding to the passage of time of the time-series information. A time consisting of an identifier indicating the content of the sequence information, and reproduction mode information indicating how to reproduce the time-series information in association with the display of the partial image represented by the partial image information in the partial image list Including sequence processing control information,
The multimedia information recording apparatus further includes:
Time-series information storage means for storing, as a single time-series information file, one time-series information in which information to be reproduced at each point in time corresponding to the passage of time is written in the order of reproduction;
Accepts an input of a file name of at least one time-series information file in the time-series information storage means, reads time-series information from the time-series information file of the input file name, and time-series information corresponding to the file name A time-series information recording unit that records the description content of one time-series information in one file in the data server for each time-series information, associating with the name, and sending the data request together with the write request;
The control information input means further includes
A time series processing start instruction input unit that receives an input of a set of an input signal and a time series processing start instruction;
The time series control information input means further includes:
A multimedia information recording apparatus comprising a time-series process control information input unit that receives input of the time-series process control information.

In the multimedia information recording apparatus according to claim 1 1, wherein,
The time-series information includes first time-series information in which audio information divided for each predetermined data size is written together with an identifier in the order of reproduction corresponding to the elapsed time,
The time-series processing control information indicates the information name of the first time-series information as time-series information to be played back in response to the time-series processing start command of the page information, An identifier of audio information to be reproduced at a time, and reproduction mode information representing how to reproduce the audio information in association with the display of the partial image represented by the partial image information in the partial image list; Including first time series processing control information consisting of
The time series information recording means includes:
A first time-series information recording unit that reads out the first time-series information from the time-series information file having the input file name when the file name of the first time-series information is input;
The time-series processing control information input unit is
A multimedia information recording apparatus comprising a first time-series process control information input unit that receives input of first time-series process control information.

In the multimedia information recording apparatus according to claim 1 1 or claim 1 wherein,
The time-series information includes audio information divided for each predetermined data size and screen information representing display contents for each screen of animation and / or video in the order of reproduction corresponding to a predetermined elapsed time. Including second time series information written with the identifier,
The time-series processing control information designates the information name of the second time-series information as time-series information to be reproduced in response to the time-series processing start command of the page information, and corresponds to the passage of time. A video and / or animation is displayed in an area associated with a partial image represented by a set of identifiers of audio information and screen information to be reproduced at each time point and predetermined partial image information in the partial image list. Second time series processing control information comprising the reproduction mode information indicating that,
The time series information recording means includes:
A second time-series information recording unit that reads the second time-series information from the time-series information file having the input file name when the file name of the second time-series information is input;
The time-series processing control information input unit is
A multimedia information recording apparatus comprising a second time-series process control information input unit that receives input of second time-series process control information.