JP2011060070A - 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造 - Google Patents

Abstract

【課題】複雑な画像表示を行うコンテンツの作成、処理を効率化する。
【解決手段】ユーザが情報処理装置１０に対しコンテンツ起動の指示入力を行うと、初期画像が表示される（Ｓ１０、Ｓ１２）。視点移動要求がなされたら（Ｓ１４のＹ）、それに応じて視点座標を算出する（Ｓ１６）。次に視点座標の移動によって、階層画像データのうち用いる階層が変化したか否かを確認する（Ｓ１８）。変化していれば、対応画像データから階層画像のノードを抽出し、当該ノードに対応づけられた座標変換行列を読み出して修正する（Ｓ２０）。新たな素材画像をデコードし（Ｓ２２）、画像対応データに基づき各素材画像の座標変換を行い、ディスプレイ座標系での座標を求める（Ｓ２４）。各素材画像を求めた座標に配置することにより素材画像を統合し表示画像を更新する（Ｓ２６、Ｓ２８）。コンテンツ終了の指示入力がなされたら処理を終了する（Ｓ３０のＹ）。
【選択図】図１４

Description

本発明は、ディスプレイに表示する画像を拡大／縮小、または上下左右に移動させる画像処理技術に関する。

ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。

画像表示の目的に関わらず、画像をいかに効率よく表示するかは常に重要な問題となる。特に高精細な画像を高速に描画するためには様々な工夫が必要となり、例えばテクスチャデータを別に保持しマッピングを効率的に行う手法について提案がなされている（例えば非特許文献１および２参照）。

米国特許第６５６３９９９号公報

Sylvain Fefebvre, et. al., Unified Texture Management for Arbitrary Meshes, Repport de recherche, N5210, May 2004, Institut National De Recherche En Informatique Et En Automatique Martin Kraus, et. al., Adaptive Texture Maps, Graphics Hardware (2002), pp1-10, The Eurographics Association

表示したい画像が高精細になるほど、また複雑になるほど、そのデータの作成には手間と時間を要する。そのため、効率的かつ容易にそのような画像を含むコンテンツを作成したい、という要求は常に存在する。また、ユーザによる操作やあらかじめ定めた設定などによって画像を変化させるような態様にあっても、複雑な動きを効率よく高速に描画できることが求められている。

本発明はこのような課題に鑑みてなされたものであり、その目的は、画像表示を含むコンテンツを容易に生成し、また効率的に処理して画像を表示することのできる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツを処理する情報処理装置であって、表示画像に対する視点の移動要求を受け付け、次に表示すべき画像の視点座標を取得する視点座標取得部と、素材画像を描画する素材画像描画部と、素材画像の配置を別の素材画像との相対位置により表した画像対応データに基づき、各素材画像固有の座標系をディスプレイ座標系に変換し、次に表示すべき画像の視点座標に対応する各素材画像のディスプレイ座標系における位置座標を算出する座標変換部と、位置座標に素材画像描画部が描画した素材画像を配置した表示画像を生成する素材画像統合部と、を備えることを特徴とする。

本発明の別の態様も情報処理装置に関する。この情報処理装置は、同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツの作成を支援する情報処理装置であって、素材画像データと、各素材画像の配置と、表示させた際、視点の移動により他の素材画像に連動して移動する素材画像の指定をユーザより受け付ける入力情報取得部と、素材画像データと、各素材画像の配置を、連動する他の素材画像との相対位置により表した相対位置情報とを対応づけた画像対応データを生成する画像対応データ生成部と、素材画像データと画像対応データとを関連づけたコンテンツファイルを生成するコンテンツファイル生成部と、を備えることを特徴とする。

本発明のさらに別の態様は情報処理方法に関する。この情報処理方法は、同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツを処理する情報処理方法であって、表示画像に対する視点の移動要求を受け付け、次に表示すべき画像の視点座標を取得するステップと、素材画像のデータをメモリより読み出し、描画するステップと、素材画像の配置を別の素材画像との相対位置により表した画像対応データをメモリより読み出し、それに基づき、各素材画像固有の座標系をディスプレイ座標系に変換し、次に表示すべき画像の視点座標に対応する各素材画像のディスプレイ座標系における位置座標を算出するステップと、位置座標に描画した素材画像を配置した表示画像を生成し、表示装置に表示するステップと、を含むことを特徴とする。

本発明のさらに別の態様も情報処理方法に関する。この情報処理方法は、同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツの作成を支援する情報処理方法であって、素材画像データと、各素材画像の配置と、表示させた際、視点の移動により他の素材画像に連動して移動する素材画像の指定をユーザより受け付けるステップと、素材画像データと、各素材画像の配置を、連動する他の素材画像との相対位置により表した相対位置情報とを対応づけた画像対応データを生成し、メモリに格納するステップと、素材画像データと画像対応データとを関連づけたコンテンツファイルを生成しメモリに格納するステップと、を含むことを特徴とする。

本発明のさらに別の態様はコンテンツファイルのデータ構造に関する。このコンテンツファイルのデータ構造は、同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示させるコンテンツファイルのデータ構造であって、前記素材画像のデータと、各素材画像の表示時の配置を、当該素材画像固有の座標系から他の素材画像固有の座標系への座標変換行列により表した画像対応データと、を対応付けたことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、複雑な画像表示を含むコンテンツを容易に生成し効率的に表示させることができる。

本実施の形態を適用できる情報処理システムの使用環境を示す図である。 図１の情報処理システムに適用できる入力装置の外観構成例を示す図である。 本実施の形態において使用する画像データの階層構造を示す図である。 本実施の形態における情報処理装置の構成を示す図である。 本実施の形態における画像データの先読み処理を説明するための図である。 本実施の形態で実現できる画像表示の例を示す図である。 本実施の形態で実現できる画像表示の例を示す図である。 本実施の形態における階層画像データのの座標系とディスプレイ座標系との対応について説明するための図である。 本実施の形態において複数の素材で構成される画像のレイアウト例を示す図である。 図９の位置関係の画像を表示するために作成する画像対応データの概念図である。 本実施の形態において画像を表示させる機能を有する情報処理装置の制御部およびメインメモリの構成を詳細に示す図である。 本実施の形態において解像度が変化しない画像同士の座標変換を説明するための図である。 本実施の形態において階層画像の座標変換を説明するための図である。 本実施の形態における画像表示を伴うコンテンツの処理手順を示すフローチャートである。 本実施の形態においてコンテンツファイルを作成する機能を有する情報処理装置の制御部の構成を詳細に示している。 本実施の形態においてユーザが各種情報を設定する際に表示装置に表示する画面の例を示している。 本実施の形態において特定の階層を用いて画像表示を行うときにのみある素材画像を表示させるようにする設定を行った場合の階層画像データの概念図を示す図である。 本実施の形態において最終的に生成されるコンテンツファイルの内容を概念的に示す図である。

本実施の形態において生成、処理するコンテンツは、原画像を複数段階に縮小して生成した異なる解像度の画像からなる階層構造を有する画像データの出力を含む。各階層の画像は一又は複数のタイル画像に分割する。たとえば最も解像度の低い画像は１つのタイル画像で構成し、最も解像度の高い原画像は、最も多い数のタイル画像で構成する。画像表示時は、描画に使用しているタイル画像を、表示画像が所定の拡大率になったときに、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行う。

まず、このような階層構造を有する画像の基本的な表示態様について説明する。図１は、本実施の形態を適用できる情報処理システム１の使用環境を示す。情報処理システム１は、コンテンツを処理する情報処理装置１０と、情報処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。表示装置１２は、情報処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。

情報処理システム１において、情報処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、コンテンツや表示する画像データをダウンロードして取得してもよい。なお情報処理装置１０は、無線通信により外部ネットワークに接続してもよい。情報処理装置１０は、たとえばゲーム装置やパーソナルコンピュータであってよい。

情報処理装置１０は、ユーザからの要求に応じて、表示装置１２のディスプレイに表示する画像データの変更、当該画像の拡大／縮小処理や、上下左右方向への移動処理など表示領域を変更する処理を行う。ユーザが、表示する画像の選択を行ったりゲームの進捗などによって表示する画像が変化した場合、情報処理装置１０は新たに表示対象となった画像を特定しデータのロード、デコードを行う。またユーザが、ディスプレイに表示された画像を見ながら入力装置を操作すると、入力装置が表示領域の変更要求信号を情報処理装置１０に送信することで、当該要求信号が表示領域に反映される。

図２は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。

情報処理システム１において、入力装置２０の操作手段には、表示画像の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小要求を入力でき、また手前から押すことで、表示画像の拡大要求を入力できる。また、表示領域の移動要求の入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向への移動要求を入力できる。

なお、画像変更要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。さらにコンテンツの内容によって画面上にメニューや指示ボタンなどの表示がされている状態では、画面上のカーソルの移動要求の入力機能を十字キー２１に割り当て、決定入力機能を○ボタン２２に割り当ててもよい。

入力装置２０は、入力された各種要求信号を情報処理装置１０に伝送する機能をもち、本実施の形態では情報処理装置１０との間で無線通信可能に構成される。入力装置２０と情報処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、情報処理装置１０とケーブルを介して接続して、要求信号を情報処理装置１０に伝送してもよい。

図３は、本実施の形態において使用する画像データの階層構造を示す。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。以下、このような階層構造をもつ画像データを「階層画像データ」と呼び、これによって表示される画像を「階層画像」と呼ぶ。

図３に示す階層画像データは４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。

階層画像データは、所定の圧縮形式で圧縮された状態で、コンテンツの処理に必要なその他のデータとともにコンテンツファイルの形式で記録媒体や記憶装置に記憶される。そして情報処理装置１０におけるコンテンツの起動とともに、あるいは処理の途中で、記録媒体や記憶装置から読み出されてデコードされる。本実施の形態の情報処理装置１０は、複数種類の圧縮形式に対応したデコード機能を有し、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式の圧縮データをデコード可能とする。階層画像データにおいて、圧縮処理は、タイル画像単位に行われていてもよく、また同一階層または複数の階層に含まれる複数のタイル画像単位に行われていてもよい。

階層画像データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。情報処理装置１０は、入力装置２０から供給される、拡大縮小や表示領域移動などの視点移動要求信号から視点の移動量を導出すると、その移動量を用いて仮想空間におけるフレームの４隅の座標（フレーム座標）を導出する。仮想空間におけるフレーム座標は、後述するメインメモリへの圧縮データのロードおよび表示画像の生成処理に利用される。なお、仮想空間におけるフレーム座標の代わりに、情報処理装置１０は、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。

図４は情報処理装置１０の構成を示している。情報処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。

スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、コンテンツの実行に必要な画像データやコンテンツファイルを受信できるように構成される。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された各種要求信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。

ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。コンテンツファイルはハードディスクドライブ５０やこれらの記録媒体に格納されていてもよい。

制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（PowerPC Processor Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic Processor Unit）と呼ばれる。

制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。

メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。

本実施の形態の情報処理装置１０は、表示画像の拡大／縮小処理や表示領域の移動処理を行う際に表示画像をスムーズに変更させるために、圧縮画像データの少なくとも一部をハードディスクドライブ５０からメインメモリ６０にロードしておく。このとき、次に述べる先読み処理により、以後に必要となるであろう画像データを予測し、前もってロードしておく。また、メインメモリ６０にロードした圧縮画像データのさらに一部をデコードしてバッファメモリ７０に格納しておく。これらの工夫により、後の必要なタイミングで、表示画像の生成に使用する画像を瞬時に切り替えることが可能となる。

図５は画像データの先読み処理を説明するための図である。図５は、階層画像データの構造を示しており、各階層はＬ０（第０階層）、Ｌ１（第１階層）、Ｌ２（第２階層）、Ｌ３（第３階層）と表現されている。図５に示す階層画像データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、Ｌ０に近い位置ほど解像度が低く、Ｌ３に近い位置ほど解像度は高い。なおディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、拡大率に対応し、Ｌ３の表示画像の拡大率を１とすると、Ｌ２における拡大率は１／４、Ｌ１における拡大率は１／１６となり、Ｌ０における拡大率は１／６４となる。

したがって深さ方向において、表示画像がＬ０側からＬ３側へ向かう方向に変化する場合、表示画像は拡大していき、Ｌ３側からＬ０側へ向かう方向に変化する場合は、表示画像は縮小していく。矢印８０は、ユーザからの視点移動要求信号が、表示画像の縮小を要求しており、拡大率１／４（Ｌ２）をまたいだ様子を示している。情報処理装置１０では、タイル画像３８として用意しているＬ１、Ｌ２の深さ方向の位置を、深さ方向の先読み境界として設定し、視点移動要求信号によって、表示すべき画像が先読み境界をまたぐと、先読み処理を開始する。

表示画像の拡大率がＬ２の近傍にある場合、表示画像は、Ｌ２（第２階層）の画像を用いて作成される。具体的には、表示する画像の拡大率が、Ｌ１の画像とＬ２の画像の切替境界８２と、Ｌ２の画像とＬ３の画像の切替境界８４の間にある場合に、Ｌ２の画像が利用される。したがって、矢印８０に示すように画像の縮小処理が要求されると、Ｌ２の画像が拡大された画像から、縮小された画像に変換されて表示される。一方、視点移動要求信号から予測される将来必要なタイル画像３８を特定して、デコードしておく。図５の例では、視点移動要求信号による要求拡大率がＬ２をまたいだときに、情報処理装置１０は、縮小方向にあるＬ１のタイル画像３８をハードディスクドライブ５０またはメインメモリ６０から先読みしてデコードし、バッファメモリ７０に書き込む。

なお以上は深さ方向の先読み処理について説明したが、上下左右方向の先読み処理についても同様に処理される。具体的には、バッファメモリ７０に展開されている画像データに先読み境界を設定しておき、視点移動要求信号による表示位置が先読み境界をまたいだときに、先読み処理が開始されるようにする。

このような階層画像を表示する場合、上述のとおり階層構造内での座標を定義する仮想空間を導入する。そして視点要求信号から得られる視点の移動量に基づき、仮想空間内でのフレーム座標を求める。視点要求は、ユーザが入力装置２０を用いて入力するほか、あらかじめ視点座標の時間変化を設定したデータ（以後、シナリオデータと呼ぶ）を階層画像データに対応づけておき、表示段階で当該シナリオデータから設定された視点座標を読み出すことにより、自動で表示領域を変化させる。

本実施の形態では、このような階層画像データを含む、複数の画像データを統合した画像を表示するコンテンツの作成および処理を行う。図６、７は本実施の形態で実現できる画像表示の例を示している。同図は、絵画の展示会の図録を表示するコンテンツの表示画像例であり、図６は初期画像、図７は初期画像の一部を拡大する操作を行った場合に表示する画像である。

図６の初期画像２００は、表示内容が「展示品リスト」であることを表す項目表示２０２、展示される絵画のうち、３枚の絵画を画像として示す画像表示２０４ａ、２０４ｂ、２０４ｃ、各画像の題名を示す題名表示２０６ａ、２０６ｂ、２０６ｃ、および、絵画の配列を左右に移動させることで別の絵画の画像を順に表示させるための入力を受け付ける送りボタン表示２０８ａ、２０８ｂを含む。以後、このように表示画像を構成する個々の画像を「素材画像」と呼ぶ。

初期画像２００において、画像表示２０４ａ、２０４ｂ、２０４ｃに表示する画像は、それぞれが階層構造を有する階層画像データであるとする。すなわち図６では比較的小さいサイズの画像が表示されているが、ユーザが入力装置２０を用いてその部分の拡大要求を行うと、例えば一つ一つの筆のタッチを確認できるまでの高解像度の画像表示が可能な素材である。それ以外の、項目表示２０２、題名表示２０６ａ、２０６ｂ、２０６ｃ、表示送りボタン表示２０８ａ、２０８ｂで用いる画像は、階層画像データでない一般的な画像データの構造を有するとする。

このコンテンツは、ユーザが入力装置２０を用いて送りボタン表示２０８ａ、２０８ｂのいずれかをアクティブにした状態で決定の指示入力を行うと、絵画が左右のいずれかに送られる。そして所望の絵画が表示された状態で当該絵画を拡大していくと、絵画の詳細を確認できる、という態様を実現する。図７は、そのようにして図６における画像表示２０４ｂを拡大する途中の画像２１０を示している。画像２１０は、図６の画像表示２０４ｂの拡大画像の画像表示２１２のほか、その題名表示２１４および送りボタン表示２１６ａ、２１６ｂを含む。

図７の画像２１０における題名表示２１４、送りボタン表示２１６ａ、２１６ｂはそれぞれ、図６の初期画像２００における題名表示２０６ｂ、送りボタン表示２０８ａ、２０８ｂに対応する。しかしながら題名表示２１４は画像表示２１２の拡大や平行移動に連動して拡大かつ平行移動しているのに対し、送りボタン表示２１６ａ、２１６ｂはその位置、大きさとも変化していない。このような画像を作成するため、本実施の形態では階層画像を含む素材画像同士の相対関係や連動、非連動を定義する。そして、これらの定義を「画像対応データ」として１つのデータ構造でまとめて管理することにより、コンテンツ作成時、表示時の処理の効率性を向上させる。

なお画像表示２１２のうち額縁部分は、拡大させて詳細を表示する必要がないため、データを階層構造とせず、絵画の画像データと別にしてもよい。このようにすると、例えば図７に示した拡大率をしきい値として設定し、しきい値を超えてさらに拡大する場合は、題名表示２１４と額縁は、絵画の拡大に連動させないようにすることもできる。この場合、額縁内部の領域のみ最大解像度まで拡大可能とする態様が実現できる。

一般に、図６のような画像表示において全ての素材画像が階層構造を持たなければ、素材画像のデータと、画面内での配置を表す座標とを対応づけたデータを作成すればすむ。これは素材画像の一部が動画であっても同様である。一方、本実施の形態では、階層画像データとその他の画像データとを混在させる。それによって図６、図７に示したような複雑な画像表示が可能となるが、この態様は単に画像のデータと画面内での配置情報とを対応づけたのみでは実現できない。それは、階層画像データは幅広い範囲の拡大率変化を実現するために、仮想空間という独自の座標系をもつためである。

図８は階層画像データの座標系とディスプレイ座標系（グローバル座標系）との対応について説明するための図である。同図において下段は階層画像データからデコードした画像がもつ階層画像座標系、上段がディスプレイ座標である。階層画像を表示する場合、階層画像データに含まれるある階層の画像データの一部を視点の位置に応じてデコードする。この処理においては計算は階層画像座標系で行われる。図８の左側は、１００００×１００００ピクセルの階層の画像７１を用いて表示を行う場合を示している。このとき、画像７１の左上を原点とし１００００ピクセルを１．０に正規化した座標系が形成される。そのような座標系に対し、視点の位置に基づき、例えば左上が（０．５，０．３）、右下が（０．７，０．４）、というように表示領域７２のフレーム座標が得られる。

この表示領域を、その上段に表したように、ディスプレイ座標系のＰ０（−１．０，１．０）、Ｐ１（ー１．０，ー１．０）、Ｐ２（１．０，−１．０）、Ｐ３（１．０，１．０）で定義される頂点で囲まれた領域７４に描画する。例えば頂点Ｐ０〜Ｐ３を表示装置の画面の４隅と対応づけると、階層画像がディスプレイ全面に表示されることになる。この描画処理においては、例えばディスプレイ座標系における点Ｑ１（０．２，０．２）は階層画像座標系におけるＱ２（０．６２，０．３４）に対応する。

ここで視点が拡大方向に移動した場合、例えば同図下段右側の階層画像座標系が形成される。この例では、画像７１拡大率の階層画像座標系において左上が（０．４，０．２）、右下が（０．８，０．６）の領域を３００００×３００００ピクセルに拡大した画像７６を用いて表示を行う。画像７１と画像７６は異なる階層の画像データをデコードしたものである。このとき画像７６の左上を原点とし３００００ピクセルを１．０とする座標系が形成される。そのような座標系に対し、拡大した結果表示すべき領域７８のフレーム座標を視点の位置に基づき算出し、ディスプレイ座標系の上述の領域に描画すると、拡大画像がディスプレイ全面に表示される。

このような拡大処理において、１００００×１００００ピクセルの画像７１の階層画像座標系での点Ｑ２（０．６２，０．３４）は、３００００×３００００ピクセルの画像７６の階層画像座標系では点Ｑ３（０．５５，０．３５）となり、それをディスプレイ座標系の座標に変換すると点Ｑ４（０．５，０．５）となる。すなわち拡大、縮小することによって、画像上同一の箇所でも表示上は位置がずれる場合が発生する。

また画像７１の階層画像座標系では１ピクセルが座標上の１／１００００に対応するのに対し、画像７６の階層画像座標系では１ピクセルが座標上の１／３００００に対応する。そのため、画像に対し視点の平行移動がなされた場合、階層画像座標系上の座標変化を、拡大率を考慮せずに連動する他の素材画像の移動量算出にそのまま用いると、相対的な位置がずれていってしまう。このように階層画像は、どの階層の画像データを用いるかによって座標系が変化するため、連動するその他の素材画像もその変化に対応するように座標変換を施す必要がある。

そのため上述のように、画像対応データを導入する。画像対応データは、表示画像を構成する素材画像に相対位置を定義することで、階層画像などある素材画像が移動したら、相対位置を保持するようにその他の素材画像が移動するようにする。また連動しない素材画像は、グローバル座標系であるディスプレイ座標系、あるいはそれに準ずる座標系との相対位置を定義する。図９は複数の素材画像で構成される表示画像のレイアウト例を示しており、図１０は図９の如き配置を有する画像を表示するために作成する画像対応データの概念図を示している。図９のレイアウト例２２０において、「Ｓ２」はディスプレイ、画像「Ｓ３」、「ａ」、「ｂ」、「ｃ」、「ｄ」、「Ｇ」は各素材画像であり、それぞれを囲む矩形の領域に表示する。ここで画像「Ｇ」は階層画像データの構造を有する。

このような配置を実現するため、図１０で示すような画像対応データを作成する。画像対応データ２３０は相対関係を有する素材画像を結ぶツリー構造を有する。そして、ある素材画像を別の素材画像に連動させたい場合、例えばある素材画像を別の素材画像上に貼り付けた場合などは、前者を子ノード、後者を親ノードとしてツリー構造を形成する。

図９、図１０の例では、画像「Ｓ２」をルートノードとし、画像「Ｓ２」を親ノードとする子ノードとして素材画像「Ｓ３」を関連づける。素材画像「Ｓ３」を親ノードとする子ノードとして素材画像「ａ」、「Ｇ」を素材画像「Ｓ３」に関連づける。同様に、素材画像「Ｇ」を親ノードとする子ノードとして素材画像「ｂ」、「ｃ」が、素材画像「ｂ」を親ノードとする子ノードとして素材画像「ｄ」を、それぞれ親ノードに関連づける。

これにより、素材画像「Ｓ３」はいずれの素材画像にも連動させない、素材画像「ａ」は素材画像「Ｇ」と連動させない、素材画像「ｂ」、「ｃ」は素材画像「Ｇ」に連動させる、素材画像「ｄ」は素材画像「ｂ」に連動させる、といった設定を容易に表現できる。またツリー構造として連鎖関係が設定できるため、素材画像「ｄ」は結果的には素材画像「Ｇ」に連動することになる。

画像対応データでは、親ノードと子ノードの相対位置情報を座標変換行列として表す。図１０に示す各ノードの近傍に記された「Ｍ_１２」、「Ｍ_２３」、・・・などが座標変換行列である。座標変換行列は、位置、回転、拡大縮小のパラメータにより作成する。この座標変換行列と各画像の頂点を乗算することにより、ディスプレイ座標系での位置座標、すなわち最終的な画面内での位置が定まる。親ノードが存在する素材画像は、親ノードの座標変換行列を順次、乗算していくことにより、ルートノードへ向けて遡る。

例えば図１０の素材画像「ｄ」の座標系の座標は、座標変換行列「Ｍ_ｂｄ」によってその親ノードである素材画像「ｂ」の座標系に変換される。素材画像「ｂ」の座標系の座標は座標変換行列「Ｍ_Ｇｂ」によって親ノードである素材画像「Ｇ」の座標系に変換される。素材画像「Ｇ」の座標系の座標は座標変換行列「Ｍ_３Ｇ」によって親ノードである素材画像「Ｓ３」の座標系に変換される。素材画像「Ｓ３」の座標系の座標は座標変換行列「Ｍ_２３」によって親ノードである素材画像「Ｓ２」の座標系に変換される。素材画像「Ｓ２」の座標系の座標は座標変換行列「Ｍ_１２」によって図８のディスプレイ座標系に変換される。

ここで上述のとおり階層画像「Ｇ」は、その拡大率の範囲によって親ノードの素材画像への座標変換行列「３Ｇ」が変化する。そこで画像対応データのように各素材画像をツリー構造で関連づけることにより、座標変換行列「Ｍ_３Ｇ」のみを変化させればその子ノード画像の座標変換も対応して変化する。したがって階層画像の座標系が変化しても演算処理の内容はほとんど変化しないため、表示する際の処理効率がよい。

次にこれまで述べた画像表示を伴うコンテンツを処理するための装置構成について説明する。図１１は、コンテンツを処理して画像を表示させる機能を有する情報処理装置１０の制御部１００ａおよびメインメモリ６０の詳細な構成を示している。制御部１００ａは入力装置２０からユーザが入力した情報を取得する入力情報取得部１０２、視点移動要求信号から視点座標を取得する視点座標取得部１０４、視点座標に基づき各素材画像を描画する素材画像描画部１０６、視点座標に基づき座標変換行列を適宜修正したうえ、各素材画像の座標を変換する座標変換部１０８、および各素材画像を統合して一つの表示画像をフレームとして生成する素材画像統合部１１０を含む。

メインメモリ６０には、コンテンツの起動に応じて例えばハードディスクドライブ５０に格納されていたコンテンツファイル１１２をロードしておく。コンテンツファイル１１２は、視点の動きをあらかじめ設定したシナリオデータ１１４、表示対象の画像データである階層画像データ１１６およびその他の素材画像データ１１８、および画像対応データ１２０を含む。実際にはメインメモリ６０には、これらのデータのうちの一部を処理の途中で必要に応じてロードするようにしてもよい。またコンテンツファイル１１２にはさらに、当該コンテンツ処理装置でコンテンツを処理する際に最適な内部パラメータや画像対応データを設定した装置依存データを含めてもよい。この装置依存データについては後に述べる。

シナリオデータ１１４は、表示する素材画像や視点座標と時間とを対応づけたデータであり、自動で視点を変化させるシナリオモードを導入するコンテンツにおいて利用するが、ユーザによる視点移動要求のみにより視点を移動させる場合はコンテンツファイル１１２に含めなくてもよい。同様に、シナリオデータ１１４によってのみ視点を移動させる場合、入力装置２０からの視点移動要求信号は受け付けなくてもよい。これらのモードを切り替え可能なコンテンツとしてもよい。

図１１および後に示す図１５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

入力情報取得部１０２は、ユーザが入力装置２０に対して入力した、コンテンツの起動終了、メニュー選択、視点移動などの要求信号を取得する。視点座標取得部１０４は、入力情報取得部１０２がコンテンツ起動や視点移動要求の信号を取得したことを検知し、対応する視点座標を取得する。視点座標は、コンテンツ起動時は初期画像を表示するためにあらかじめ定めた座標、視点移動要求信号の取得時は、入力装置２０に対する操作量などから取得した視点移動速度に次のフレーム表示までの時間を乗算して得られる移動量分、視点を移動させた座標、といった具合に求めることができる。なおシナリオデータ１１４に基づく視点移動を行う場合は、シナリオデータ１１４に設定されている各時刻に対応する視点座標を読み出せばよい。

素材画像描画部１０６はメインメモリ６０から必要な階層画像データ１１６およびその他の素材画像データ１１８を読み出しデコードする。デコードした画像データはバッファメモリ７０に格納する。以前に同じ画像をデコードしていれば、バッファメモリ７０の画像を再利用すればよいためデコード処理は省略できる。座標変換部１０８は、画像対応データ１２０に設定された座標変換行列のうち、階層画像座標系からその親ノードの座標系への座標変換行列を、表示に用いる階層が切り替わるごとに修正する。

図１０に示した画像対応データ２３０の場合、座標変換行列「Ｍ_３Ｇ」が修正される。具体的な座標変換行列算出手法は後述する。そして画像対応データ１２０の各ノードに設定された各素材画像の、それぞれの座標系における４隅の座標を、ツリー構造のルートノードまで遡るように座標変換していき、ディスプレイ座標系における視点移動後の座標を算出する。素材画像の識別情報とディスプレイ座標系における４隅の座標とを対応づけたデータは素材画像統合部１１０に送られる。素材画像統合部１１０はバッファメモリ７０から素材画像を読み出し、当該画像のディスプレイ座標系における４隅の座標に基づき、最終的に表示するフレームを生成して表示処理部４４のフレームメモリに格納する。

次に変換行列の具体例について説明する。図１２は解像度が変化しない画像同士の座標変換を説明するための図である。同図は図１０に示すように、画像Ｓ３を子ノードとして画像Ｓ２と関連づけた場合の座標変換の様子を示している。ここで画像Ｓ３は幅ｓｗ３ピクセル、高さｓｈ３ピクセルのサイズを有する画像、画像Ｓ２は幅ｓｗ２ピクセル、高さｓｈ２ピクセルのサイズを有する画像とする。各画像の領域は、左上を原点とし、１ピクセルをそのまま座標の単位とした座標系で表される。

すなわち画像Ｓ３の座標系では０≦ｘ≦ｓｗ３、０≦ｙ≦ｓｈ３の領域に画像Ｓ３が存在し、画像Ｓ２の座標系では０≦ｘ≦ｓｗ２、０≦ｙ≦ｓｈ２の領域に画像Ｓ２が存在する。ここで図のように、画像Ｓ２の座標系の（ｘ３，ｙ３）なる座標に左上の角が位置するように画像Ｓ３を配置すると、画像Ｓ３の座標系２４２から画像Ｓ２の座標系２４０への座標変換行列Ｍ_２３は以下のようになる。

そして画像Ｓ２の座標系を、図８に示したような、中央を原点としｘ座標、ｙ座標とも−１．０から１．０までで定義するディスプレイ座標系に変換するための座標変換行列Ｍ_１２は以下のようになる。

したがって、画像Ｓ３の座標系での座標をディスプレイ座標系まで変換するには、図１０のツリー構造を辿り、さらにルートノードの画像Ｓ２からディスプレイ座標系に変換するため、結果的にＭ_１３＝Ｍ_１２・Ｍ_２３の変換行列を乗算すればよい。

次に階層画像データの座標系の処理手法について説明する。図１３は階層画像の座標変換を説明するための図である。階層画像データは上述のように、要求される拡大率の範囲によって用いる画像データの階層を変化させる。そのうえで、視点のｘ座標、ｙ座標によってその階層で表示すべき領域を定める。図１３の画像Ｇはそのようにして定めた表示領域の画像であり、幅がｇｗピクセル、高さがｇｈピクセルのサイズを有するとする。この階層画像座標系２４６は、画像Ｓ３などと同様に、画像の左上を原点とし、１ピクセルをそのまま座標の単位とした座標系で表される。

この画像Ｇを要求される拡大率に変化させるため、画像Ｇのテクスチャを生成する。このとき、画像Ｇの親ノードの画像、図１０においては画像Ｓ３に対する位置に画像Ｇが存在するようなテクスチャを生成する。まず画像Ｇの階層画像座標系２４６をテクスチャ座標系２４８に変換する。すなわち画像Ｓ３をテクスチャ全体と想定しそこに画像Ｇを貼り付ける。一般に知られるようにテクスチャ座標系２４８はｘ方向、ｙ方向のそれぞれに０から１．０の値を有する座標系である。このテクスチャ座標系において、画像Ｓ３に対する画像Ｇの相対位置に基づく座標（ｏｘ，ｏｙ）に左上の角が位置するように画像Ｇを配置すると、階層画像座標系２４６からテクスチャ座標系２４８を介し、テクスチャの画像Ｔの座標系２５０への座標変換行列Ｍ_ＴＧは以下のようになる。

ここでｔｇｗ、ｔｇｈはそれぞれ、テクスチャの画像Ｔの幅、および高さである。テクスチャの画像Ｔの大きさは、階層画像Ｇの解像度とその親ノードである素材画像Ｓ３の相対的な大きさとから定まる。すなわち階層データの画像を拡縮せずにそのまま用いたとき、相対的な大きさを維持した場合に素材画像Ｓ３に必要な大きさである。同図においてテクスチャの画像Ｔの幅ｔｒｗおよび高さｔｒｈはそれぞれｔｒｗ＝ｇｗ／ｔｇｗ、ｔｒｈ＝ｇｈ／ｔｇｈで与えられる。このテクスチャの画像Ｔを画像Ｓ３に貼り付けることにより、元の画像Ｇを素材画像Ｓ３に対して配置することができる。このときのテクスチャの画像Ｔの座標系２５０から、図１２で示した素材画像Ｓ３の座標系２４２への座標変換行列Ｍ_３Ｔは以下のとおりである。

結果として、階層画像Ｇの座標系から素材画像Ｓ３への座標変換行列Ｍ_３Ｇは、Ｍ_３Ｇ＝Ｍ_３Ｔ・Ｍ_ＴＧで与えられる。図１０の対応画像データにおいて、座標変換行列Ｍ_ｂｄ、Ｍ_Ｇｂ、Ｍ_Ｇｃ、Ｍ_３ａは式１で示したＭ_２３と同様に算出できる。このように、視点位置、ひいては要求される拡大率によって、用いる画像データの階層が変化したら、それに応じて階層画像からその親ノードの素材画像への座標変換行列Ｍ_３Ｇを修正するのみで、階層画像データを組み入れた形で画像同士の連動、非連動を設定することができる。

次に、これまで述べた構成によってなされる動作を説明する。図１４は本実施の形態における画像表示を伴うコンテンツの処理手順を示すフローチャートである。同図では、画像表示に係る処理についてのみ示しているが、コンテンツの内容によって様々な別の処理が同時になされ得ることは当業者には容易に理解されるところである。まずユーザが情報処理装置１０に対しコンテンツ起動の指示入力を行うと（Ｓ１０）、初期画像が表示される（Ｓ１２）。

具体的には、表示するために設定した視点に基づき階層画像データ、素材画像データをデコードするとともに、画像対応データに基づき座標変換を行い、各素材画像のディスプレー座標系における位置を決定する。そして素材画像を統合することにより初期画像を表示する。または初期画像用に各素材画像を配置済みの画像を作成しておき、当該画像を表示させるのみでもよい。

ユーザが入力装置２０によって視点移動要求を行うまで画像表示に係る処理を待機し（Ｓ１４のＮ）、視点移動要求がなされたら（Ｓ１４のＹ）、それに応じて視点座標を算出する（Ｓ１６）。なおシナリオデータによって視点の移動があらかじめ設定されている場合は、当該データから逐次視点座標を読み出す。

次に、視点座標の移動によって、階層画像データのうち用いる階層が変化したか否かを確認する（Ｓ１８）。変化していれば、対応画像データから階層画像のノードを抽出し、当該ノードに対応づけられた座標変換行列を読み出して上述のように修正する（Ｓ２０）。なお修正後の行列は図示しないレジスタなどに格納し、以後、当該行列を読み出したり修正したりする場合はレジスタの値を用いてもよい。

Ｓ２０の座標変換行列修正がなされたら、またはＳ１８において階層が変化しなかったら（Ｓ１８のＮ）、必要に応じて新たな素材画像をデコードする（Ｓ２２）。バッファメモリ７０にあらかじめデコード済みのデータが格納してあればそれを用いることができるため、Ｓ２２は省略できる。一方、画像対応データに基づき各素材画像の座標変換を行い、ディスプレイ座標系での座標を求める（Ｓ２４）。

そしてデコードした各素材画像を、求めた座標に配置することにより素材画像を統合し、新たな表示画像を生成する（Ｓ２６）。生成した画像のデータはフレームメモリに格納し、適切なタイミングで表示装置１２に出力することにより表示画像を更新する（Ｓ２８）。Ｓ１４からＳ２８の処理を、コンテンツ終了の指示入力がなされない限り繰り返し（Ｓ３０のＮ）、当該指示入力がなされたら（Ｓ３０のＹ）、画像表示にかかる処理も終了する。

次に、これまで述べたコンテンツのファイルを生成する態様について説明する。図１５は本実施の形態において、上述のコンテンツファイルを作成する機能を有する情報処理装置１０の制御部１００ｂの構成を詳細に示している。情報処理装置１０は図４と同様の構成でよいが、入力装置２０は図２で説明した外観を有する装置の他、キーボート、マウス、トラックボール、タッチペン、ボタンなど一般的な入力装置のいずれでもよく、表示装置１２に表示させた設定画面を見ながらユーザが必要な情報を入力できればよい。

また制御部１００ｂは図１１の制御部１００ａに示した、コンテンツを処理して画像を表示させる機能ブロックなど、他の機能ブロックを備えていてもよいが、ここでは図示を省略している。一方、図１５に示す機能のみを有する制御部１００ｂを備えた情報処理装置１０をオーサリング装置として実現してもよい。

制御部１００ｂは、入力装置２０からユーザが設定した情報を取得する入力情報取得部１３０、ユーザが設定した情報に基づきコンテンツ処理時の画像表示制御に用いる制御データを生成する制御データ生成部１３２、および画像データ、制御データを対応づけたコンテンツファイルを生成するコンテンツファイル生成部１４０を含む。

入力情報取得部１３０は、ユーザが設定すべき情報を入力するためのグラフィックインターフェースとしての機能を有する。入力情報取得部１３０はそのため、表示処理部４４を制御して後に例示するような設定画面を表示装置１２に表示させる。そしてユーザが入力装置２０を操作して入力を行うと、その入力信号を取得し、制御データ生成部１３２に供給する。

制御データ生成部１３２は、ユーザが入力した素材画像の配置に係る情報に基づき画像対応データを生成する画像対応データ生成部１３４、ユーザが入力した、表示領域とその表示順などシナリオに係る情報に基づきシナリオデータを生成するシナリオデータ生成部１３６、ユーザが入力したコンテンツを処理する装置の情報に基づき処理装置に依存した制御データを生成する装置依存データ生成部１３８を含む。なお画像対応データ、シナリオデータ、装置依存データのうち、実際に生成するデータはコンテンツの内容に応じてユーザが選択するようにしてよい。

コンテンツファイル生成部１４０は制御データ生成部１３２の各機能ブロックが生成したデータと、ユーザが設定した表示対象の素材画像のデータとを関連づけ、メインメモリ６０に格納する。最終的なコンテンツファイルは、当該関連づけに従って各種データ自体を格納した記録媒体として提供してもよい。

図１６は、ユーザが各種情報を設定する際に表示装置１２に表示する画面の例を示している。画像構成設定画面２６０は、画像構成作成領域２６２、素材画像選択領域２６４、および装置選択領域２６８を含む。ユーザは素材画像選択領域２６４に所望の素材画像を呼び出し表示させる。そして入力装置２０のポインティングデバイスを用いて、画像構成作成領域２６２内の所望の位置にドラッグアンドドロップ操作などを行うことにより、各素材画像を配置していく。同図では、素材画像２６６ａ、２６６ｂ、２６６ｃが配置されている。

なお図１６では呼び出す素材画像は２次元画像として示しているが、素材画像は動画、テキストなどでもよい。また既述したように、本願発明は画像対応データによって素材画像個別の座標系を容易に変換できるため、２次画像として描画する前に当該個別の座標系内での各種画像処理を施すことができる。

ユーザが、素材画像２６６ｂをカーソルなどで指し示したうえ入力装置２０に対し所定の操作を行うと、当該素材画像を他の素材画像と連動させるか否かを設定する連動設定ウィンドウ２６９が、素材画像２６６ｂの近傍に表示されるようにする。連動設定ウィンドウ２６９には、「連動」、「非連動」の文字列を表示し、いずれかをユーザが選択することで、連動させるか非連動とするかを設定できるようにする。

なお「連動」を設定する素材画像は子ノードとなるため、どの素材画像と連動させるか、すなわちどの素材画像を親ノードとするかをさらに選択させる。同図の場合、「連動」を選択することで、例えば素材画像２６６ｂを素材画像２６６ａの移動に追随するように移動させることができる。「非連動」を選択すると、素材画像２６６ａが移動しても素材画像２６６ｂは同じ位置に表示され続ける。

シナリオデータを生成する場合は、画像構成作成領域２６２における素材画像の配置が終了した後、ユーザの指示によりシナリオデータ設定モードへ移行する。このモードでは、画像構成作成領域２６２に表示した、ユーザが作成した画像に対する視点を、入力装置２０を用いてユーザが移動できるようにする。そして所望の複数の視点で入力装置２０に対し決定操作を行うことにより、その順で表示を移動させるようなシナリオデータが生成されるようにする。場合によっては、各素材画像の表示時間や移動時間、移動経路などの設定ができるように別の設定画面を表示してもよい。

素材画像に階層構造の画像を含める場合、特定の階層を用いて画像表示を行うときにのみ、ある素材画像を併せて表示するようにする設定を受け付けてもよい。この設定は、シナリオ設定モードと同様に、画像構成作成領域２６２に表示させた作成後の画像に対する視点の移動を受け付けることによって実現する。そしてユーザが視点を拡大縮小方向に移動させた際、階層画像の表示に用いる階層が切り替わった時点で、所定時間、視点の移動を停止させる機能を設ける。この時間においてユーザは、素材画像選択領域２６４に新たな素材画像を呼び出し、画像構成作成領域２６２の所望の位置に配置する。

図１７はこのような設定を行った場合の階層画像データの概念図を示している。同図において階層画像データ２７０はＬ０〜Ｌ３の階層で構成されているが、Ｌ２の階層にのみ素材画像２７２が配置されている。素材画像は２次元画像でよいが、Ｌ２の階層のデータを用いて表示がなされている限りは、設定された配置に別の素材画像が表示され、階層画像とともに拡大縮小される。このときの設定や処理は、階層構造を持たない画像同士の場合と同様となる。これにより、画像表示時に階層画像を拡大、縮小していくと、ある拡大率の範囲のときにのみ、一部に別の画像が表示される態様を実現できる。

同様の操作で、複数の階層に対し素材画像を関連づけてもよい。さらに、ある階層を用いる場合は連動させ、その他の階層を用いる場合は非連動とする、などの設定も可能である。そのようにすると、図７で説明した絵画の額縁のように、拡大率がしきい値を超えたら階層画像のみが拡大され、その拡大率へ達するまでは両者が連動するような態様を実現できる。

図１６に戻り、さらに、コンテンツを処理する装置によって表示態様を変化させたい場合は、装置選択領域２６８に表示された装置から１つを選択したうえで、上記のような素材画像の選択、配置、シナリオデータの作成を行う。例えば素材画像として動画像を表示できる装置とできない装置があった場合に、前者の装置を選択して動画の素材を含む表示画像を完成させたあと、後者の装置を選択して、動画の素材を静止画の素材に入れ替える。また後述するように、装置に依存する内部パラメータの最適値を記載したデータを生成する。

以上の入力に応じて制御データ生成部１３２が行う処理について説明する。まず画像対応データ生成部１３４は、ユーザが画像構成作成領域２６２に素材画像を配置し、決定操作を行うなどしたとき、素材画像として選択された画像のファイル名、格納場所などの素材画像情報と、各画像の配置情報を取得し、配置情報から座標変換行列を算出する。そしてそれらの情報をノードとする、図１０で示したようなツリー構造の画像対応データを生成する。このとき、連動設定ウィンドウ２６９において「連動」を選択した素材画像は、連動先の素材画像の子ノードとして追加し、「非連動」を選択した素材画像は、ルートノードの子ノードとして追加する。

また上述のように階層画像の特定の階層の表示時のみ他の素材画像を表示させる場合は、付加する素材画像を当該階層画像のノードの子ノードとして追加する。ただしこの素材画像は「条件付き画像」であり、ある階層の画像のみを親ノードとする。そのため、画像対応データの条件付き画像には、親ノードとする階層と、当該階層の画像に対する相対位置を配置情報として付加する。表示時は、当該配置情報を参照して、条件付き画像の表示、非表示を決定する。

シナリオデータ生成部１３６は、シナリオデータ設定モードにおいてユーザが設定した視点座標、あるいはその視点からみた表示領域内の各素材画像の配置情報を取得し、その時間変化をシナリオデータとして記録する。シナリオデータは例えばＸＭＬなどのマークアップ言語で作成する。以下にシナリオデータの簡単な例を示す。

上記シナリオデータにおいて、５行目および９行目において、「００１．ｊｐｇ」、「００２．ｊｐｇ」なる画像をこの順で表示することが記述されている。６行目および１０行目において、各画像を表示する位置がディスプレイ座標系で記述されている。また７行目および１１行目において、画像「００１．ｊｐｇ」が非連動と設定されており、画像「００２．ｊｐｇ」が連動と設定されていることが、「”ｆａｌｓｅ”」、「”ｔｒｕｅ”」として記述されている。シナリオデータ生成部１３６は、ユーザが視点座標を設定したとき画像対応データを参照して、その表示領域における各素材画像の表示位置をディスプレイ座標系に換算し、上記のようなシナリオデータに記述する。

装置依存データ生成部１３８は、ユーザが、複数のコンテンツ処理装置で異なる素材画像を配置させた場合は、それぞれについて作成した画像対応データの識別情報とコンテンツ処理装置の識別情報との対応を記述したデータを作成する。シナリオデータも同様である。またコンテンツ処理装置ごとに、表示に必要な内部パラメータの最適値を記載したテーブルをあらかじめ準備しておき、ユーザの選択に応じて当該テーブルから読み出した情報を記載した装置依存データを作成する。

例えば、コンテンツ処理装置において、ユーザの視点移動要求によって表示領域を移動させる態様において、表示領域の移動が速すぎることにより画像データのロードやデコードが間に合わない、といった不具合を少なくするため、ユーザが入力した視点移動要求信号をコンボリューションフィルタによって遅延させて表示領域移動に反映させることが考えられる。ロードやデコードの処理能力は装置によって異なるため、最適なコンボリューションカーネルも装置によって異なる。そこでユーザが選択した装置に基づき最適なカーネルを装置依存データに記述する。

内部パラメータはコンボリューションカーネルに限らず、装置の処理性能などによって最適値が異なるパラメータであればよい。例えば、ハードディスクドライブ５０からメインメモリ６０へロードしておく画像データのサイズ、シナリオデータに基づく表示などで表示を切り替える際のエフェクト処理の有無なども内部パラメータとしてよい。内部パラメータはユーザ自らが設定できるようにしてもよい。また、装置が装備する表示装置の解像度によって、ピクセル座標系、スクリーン座標系、正規化座標系のうち用いる座標系を内部パラメータとしてもよい。

図１８は最終的に生成されるコンテンツファイルの内容を概念的に示している。コンテンツファイル生成部１４０は、上記のようにして生成された画像対応データ２８２、シナリオデータ２８４、装置依存データ２８６を取得し、素材画像データ２８８と関連づける。このとき、装置依存データ２８６を生成した場合は、コンテンツ処理装置ごとにコンテンツファイルを生成してもよいし、全てのコンテンツ処理装置で用いるデータをまとめてコンテンツファイルとし、コンテンツ処理装置において処理を行う際、装置依存データ２８６を参照して表示内容や内部パラメータを決定するようにしてもよい。

以上述べた本実施の形態によれば、複数の素材画像の相対位置をツリー構造で設定した画像対応データを導入する。画像対応データにおいて相対位置は座標変換行列で表す。そしてノードのつながりによって、素材画像同士の連動、非連動を定義づける。これにより、複数の素材画像からなる表示画像で、一部の素材画像は視点の移動とともに移動し、一部の素材画像は常に同じ位置に表示される、といった画像のデータを容易に生成したり修正したりできるうえ、表示も効率的に行えるようになる。

例えば素材画像に、表示画像の拡大率の変化によって解像度の異なる画像データのうち表示に用いる画像データを切り替える階層画像が含まれている場合、用いる画像データを切り替えるたびに座標のスケールが変化してしまうため、その他の素材画像を定常的に関連づけることが困難であった。しかし画像対応データを用いることにより、階層画像とその親ノードの画像との対応を定義する座標変換行列のみを書き換えれば、その下のノードの素材画像は、同様の演算によって階層画像の変化を反映させたかたちで座標変換が行われるため、表示時の処理の負荷が少なくなる。

またこのように、表示時に内容が変化するような複雑な素材画像を用いても表示用のコンテンツの作成が容易であるため、コンテンツ作成者の負荷が軽減できるとともに、画像表示を用いたコンテンツの適用例が広がる。画像対応データを利用することで、階層画像データのうち、ある階層にのみ別の素材画像を貼り付けることも容易になるなど、素材画像自体を編集せずに、容易に様々な画像表現手法を実現させることができる。

さらに、視点の移動を定義づけたシナリオデータを、画像対応データを作成するのと同一のオーサリング装置で実現する。これによって、上記のような複雑な画像表示を自動で制御することが容易に可能となる。また、コンテンツ処理装置と最適な内部パラメータ、素材画像などを対応づけた制御データをコンテンツに含めることにより、装置の処理性能とコンテンツの内容の双方を考慮した最適な環境で画像表示を実現することができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１ 情報処理システム、 １０ 情報処理装置、 １２ 表示装置、 ２０ 入力装置、 ３０ 第０階層、 ３２ 第１階層、 ３４ 第２階層、 ３６ 第３階層、 ３８ タイル画像、 ４４ 表示処理部、 ５０ ハードディスクドライブ、 ６０ メインメモリ、 ７０ バッファメモリ、 １００ 制御部、 １０２ 入力情報取得部、 １０４ 視点座標取得部、 １０６ 素材画像描画部、 １０８ 座標変換部、 １１０ 素材画像統合部、 １１２ コンテンツファイル、 １１４ シナリオデータ、 １１６ 階層画像データ、 １１８ 素材画像データ、 １２０ 画像対応データ、 １３０ 入力情報取得部、 １３２ 制御データ生成部、 １３４ 画像対応データ生成部、 １３６ シナリオデータ生成部、 １３８ 装置依存データ生成部、 １４０ コンテンツファイル生成部。

Claims (17)

1. 同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツを処理する情報処理装置であって、
   表示画像に対する視点の移動要求を受け付け、次に表示すべき画像の視点座標を取得する視点座標取得部と、
   前記素材画像を描画する素材画像描画部と、
   前記素材画像の配置を別の素材画像との相対位置により表した画像対応データに基づき、各素材画像固有の座標系をディスプレイ座標系に変換し、次に表示すべき画像の視点座標に対応する各素材画像のディスプレイ座標系における位置座標を算出する座標変換部と、
   前記位置座標に前記素材画像描画部が描画した素材画像を配置した表示画像を生成する素材画像統合部と、
   を備えることを特徴とする情報処理装置。
2. 前記画像対応データは、前記相対位置を、前記別の素材画像の座標系への座標変換行列によって表し、
   前記座標変換部は、視点の移動により、前記階層画像を表示するために用いる画像データの階層が切り替わったとき、前記画像対応データにおける、当該階層画像から別の素材画像の座標系への座標変換行列を修正したうえ、各素材画像のディスプレイ座標系における位置座標を算出することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像対応データは、視点の移動とともに他の素材画像と連動する素材画像の配置を、当該他の素材画像との相対位置により表し、他の素材画像と連動しない素材画像に対しては、ディスプレイとの相対位置が設定されることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記素材画像には前記画像対応データにおいて、前記階層画像のデータのうち一部の階層を指定し、当該階層の画像との相対位置を表した条件付き素材画像が含まれ、
   前記素材画像統合部は、前記条件付き素材画像が指定する階層のデータを用いて前記階層画像を表示するときのみ、当該条件付き素材画像を表示画像内に配置することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記画像対応データは、ディスプレイをルートノード、各素材画像をその他のノードとし、相対位置を表す素材画像同士を関連づけたツリー構造を有することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツの作成を支援する情報処理装置であって、
   前記素材画像の素材画像データと、各素材画像の配置と、表示させた際、視点の移動により他の素材画像に連動して移動する素材画像の指定をユーザより受け付ける入力情報取得部と、
   前記素材画像データと、各素材画像の配置を、連動する他の素材画像との相対位置により表した相対位置情報とを対応づけた画像対応データを生成する画像対応データ生成部と、
   前記素材画像データと前記画像対応データとを関連づけたコンテンツファイルを生成するコンテンツファイル生成部と、
   を備えることを特徴とする情報処理装置。
7. 前記画像対応データ生成部は前記画像対応データにおいて、他の素材画像と連動して移動すると指定されなかった素材画像に、ディスプレイとの相対位置情報を対応づけることを特徴とする請求項６に記載の情報処理装置。
8. 前記入力情報取得部は、コンテンツ処理時に実現させる画像の表示領域および拡大率の時間変化の指定をユーザよりさらに受け付け、
   前記情報処理装置は、
   前記時間変化の指定と、前記画像対応データにおける相対位置情報とに基づき、表示すべき素材画像のディスプレイ座標系における位置座標を算出し、素材画像の表示順と位置座標を含むシナリオデータを生成するシナリオデータ生成部をさらに備えることを特徴とする請求項６または７に記載の情報処理装置。
9. 前記入力情報取得部は、コンテンツを処理する装置の指定をユーザよりさらに受け付け、
   前記情報処理装置は、
   あらかじめ準備した、コンテンツを処理する装置の識別情報と、当該装置でコンテンツを処理する際に用いる、画像表示処理に係る内部パラメータの最適値とを対応づけたテーブルを参照し、ユーザが指定した装置に対応づけられた前記内部パラメータの最適値を記載した装置依存データを生成する装置依存データ生成部をさらに備えることを特徴とする請求項６から８のいずれかに記載の情報処理装置。
10. 前記入力情報取得部は、コンテンツを処理する装置によって前記素材画像を入れ替える旨の指示をユーザよりさらに受け付け、
    前記画像対応データ生成部は、コンテンツを処理する装置ごとに画像対応データを生成することを特徴とする請求項６から９のいずれかに記載の情報処理装置。
11. 同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示画像の表示領域および拡大率を変化させて表示するコンテンツを処理する情報処理方法であって、
    表示画像に対する視点の移動要求を受け付け、次に表示すべき画像の視点座標を取得するステップと、
    前記素材画像のデータをメモリより読み出し、描画するステップと、
    前記素材画像の配置を別の素材画像との相対位置により表した画像対応データをメモリより読み出し、それに基づき、各素材画像固有の座標系をディスプレイ座標系に変換し、次に表示すべき画像の視点座標に対応する各素材画像のディスプレイ座標系における位置座標を算出するステップと、
    前記位置座標に描画した素材画像を配置した表示画像を生成し、表示装置に表示するステップと、
    を含むことを特徴とする情報処理方法。
12. 同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツの作成を支援する情報処理方法であって、
    前記素材画像の素材画像データと、各素材画像の配置と、表示させた際、視点の移動により他の素材画像に連動して移動する素材画像の指定をユーザより受け付けるステップと、
    前記素材画像データと、各素材画像の配置を、連動する他の素材画像との相対位置により表した相対位置情報とを対応づけた画像対応データを生成し、メモリに格納するステップと、
    前記素材画像データと前記画像対応データとを関連づけたコンテンツファイルを生成しメモリに格納するステップと、
    を含むことを特徴とする情報処理方法。
13. 同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツを処理する機能をコンピュータに実現させるコンピュータプログラムであって、
    表示画像に対する視点の移動要求を受け付け、次に表示すべき画像の視点座標を取得する機能と、
    前記素材画像のデータをメモリより読み出し、描画する機能と、
    前記素材画像の配置を別の素材画像との相対位置により表した画像対応データをメモリより読み出し、それに基づき、各素材画像固有の座標系をディスプレイ座標系に変換し、次に表示すべき画像の視点座標に対応する各素材画像のディスプレイ座標系における位置座標を算出する機能と、
    前記位置座標に描画した素材画像を配置した表示画像を生成し、表示装置に表示する機能と、
    を含むことを特徴とするコンピュータプログラム。
14. 同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツの作成を支援する機能をコンピュータに実現させるコンピュータプログラムであって、
    前記素材画像の素材画像データと、各素材画像の配置と、表示させた際、視点の移動により他の素材画像に連動して移動する素材画像の指定をユーザより受け付ける機能と、
    前記素材画像データと、各素材画像の配置を、連動する他の素材画像との相対位置により表した相対位置情報とを対応づけた画像対応データを生成し、メモリに格納する機能と、
    前記素材画像データと前記画像対応データとを関連づけたコンテンツファイルを生成しメモリに格納する機能と、
    を含むことを特徴とするコンピュータプログラム。
15. 同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツを処理する機能をコンピュータに実現させるコンピュータプログラムを記録した記録媒体であって、
    表示画像に対する視点の移動要求を受け付け、次に表示すべき画像の視点座標を取得する機能と、
    前記素材画像のデータをメモリより読み出し、描画する機能と、
    前記素材画像の配置を別の素材画像との相対位置により表した画像対応データをメモリより読み出し、それに基づき、各素材画像固有の座標系をディスプレイ座標系に変換し、次に表示すべき画像の視点座標に対応する各素材画像のディスプレイ座標系における位置座標を算出する機能と、
    前記位置座標に描画した素材画像を配置した表示画像を生成し、表示装置に表示する機能と、
    を含むことを特徴とするコンピュータプログラムを記録した記録媒体。
16. 同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示するコンテンツの作成を支援する機能をコンピュータに実現させるコンピュータプログラムを記録した記録媒体であって、
    前記素材画像の素材画像データと、各素材画像の配置と、表示させた際、視点の移動により他の素材画像に連動して移動する素材画像の指定をユーザより受け付ける機能と、
    前記素材画像データと、各素材画像の配置を、連動する他の素材画像との相対位置により表した相対位置情報とを対応づけた画像対応データを生成し、メモリに格納する機能と、
    前記素材画像データと前記画像対応データとを関連づけたコンテンツファイルを生成しメモリに格納する機能と、
    を含むことを特徴とするコンピュータプログラムを記録した記録媒体。
17. 同じ画像から生成した異なる解像度の画像データを解像度順に階層化して構成されるデータ構造を有する階層画像を含む素材画像で構成される表示画像の表示領域および拡大率を変化させて表示させるコンテンツファイルのデータ構造であって、
    前記素材画像のデータと、
    各素材画像の表示時の配置を、当該素材画像固有の座標系から他の素材画像固有の座標系への座標変換行列により表した画像対応データと、
    を対応付けたことを特徴とするコンテンツファイルのデータ構造。

Images