JP2012063940A

JP2012063940A - 画像処理装置、コンテンツ作成装置、画像処理方法、およびコンテンツファイルのデータ構造

Info

Publication number: JP2012063940A
Application number: JP2010207127A
Authority: JP
Inventors: Aritoki Kawai; 有時河合; Takayuki Shinohara; 隆之篠原; Hidehiko Morisada; 英彦森貞
Original assignee: Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2010-09-15
Filing date: 2010-09-15
Publication date: 2012-03-29
Anticipated expiration: 2030-09-15
Also published as: CN103119543B; WO2012035748A1; CN103119543A; EP2618245A1; JP5389757B2; US9218111B2; EP2618245A4; US20130198686A1; EP2618245B1

Abstract

【課題】所望の情報へ効率的にアクセスすることができるコンテンツを実現する。
【解決手段】ユーザが画像表示開始を指示すると（Ｓ３０）、初期画像を表示する（Ｓ３２）。ユーザが入力装置を操作し視点移動要求を入力したら（Ｓ３４のＹ）、アクティブ画像に対し設定されたリンク領域内に表示領域が包含されたか否かを逐次監視し、包含されたとき当該リンクを有効と判定し（Ｓ３６のＹ）、当該リンク領域に対応づけられたリンク先の画像を表示する（Ｓ４４）。さらにリンク元の画像に対し設定されたリンク領域から表示領域がはみ出したか否かを監視し、一部でもはみ出したとき、当該リンクを無効と判定し（Ｓ３８のＹ）、リンク元画像へ表示を戻す（Ｓ４０）。そのいずれでもないときは、アクティブ画像内で視点移動に応じて表示領域を移動させながら表示を継続する（Ｓ３６のＮ、Ｓ３８のＮ、Ｓ４２）。終了指示がなされたら表示を終了する（Ｓ４６のＹ）。
【選択図】図１１

Description

本発明は、表示画像に対する視点移動を受け付ける画像処理技術に関する。

ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵがポリゴンを用いた三次元画像を生成する（例えば特許文献１参照）。

ゲームなどの三次元画像に限らず、ホームページの画像、書籍、雑誌、新聞、広告など各種コンテンツの文字情報、画像情報は、ネットワークの普及に伴い容易に取得できるようになってきた。またパーソナルコンピュータや携帯端末など装置の大小によらず、高画質で閲覧することも可能になり、画像処理技術は普段の生活において必要不可欠なものとなってきている。

米国特許第６５６３９９９号公報

画像処理技術が身近になるに従い、コンテンツとして表示される画像、ひいてはそれに示される情報の構造が複雑化したり、データサイズが巨大化する傾向が生じている。このような状況においては、ユーザが望む情報へアクセスしづらいコンテンツとなったり、コンテンツの作成や改編に時間を要したりすることが考えられる。したがって内容によらず、所望の情報へ効率的にアクセスすることができるコンテンツの実現が望まれている。

本発明はこのような課題に鑑みてなされたものであり、その目的は、所望の情報へ効率的にアクセスすることができるコンテンツを作成、表示する技術を提供することにある。

本発明のある態様は画像処理装置に関する。この画像処理装置は、ユーザの操作に応じて表示領域を移動させて画像を表示する画像処理装置であって、表示対象の複数の画像のデータと、一の画像を表示中に表示領域と特定のリンク領域との包含関係が所定の条件を満たしたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定された、リンク領域の情報およびリンク先画像の識別情報を記載したリンク設定ファイルと、を対応づけて記憶したコンテンツ記憶部と、表示中の画像における表示領域の移動によって、当該画像に対し設定されたリンク領域との包含関係が所定の条件を満たしたか否かを判定するリンク処理部と、リンク処理部によって所定の条件を満たしたと判定されたとき、リンク先画像の識別情報に基づきその画像データを描画処理することによりリンク先画像へ表示画像を切り換える表示画像処理部と、を備え、リンク処理部はさらに、表示中の画像へ切り換える前の画像に対して設定されたリンク領域と、表示中の画像における表示領域との包含関係を継続して監視し、当該包含関係が所定の条件を満たさなくなったか否かを判定し、表示画像処理部はさらに、リンク処理部によって所定の条件を満たさなくなったと判定されたとき、切り換える前の画像へ表示画像を戻すことを特徴とする。

本発明の別の態様はコンテンツ作成装置に関する。このコンテンツ作成装置は、複数の画像データを生成する画像データ生成部と、ユーザの操作に応じて表示領域を移動させて画像を表示する画像処理装置において、一の画像を表示中に表示領域が特定のリンク領域に包含されたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定するリンク領域を、リンクによって表される画像の仮想的な配列において前後する第１、第２の画像のうち、第１の画像に対して設定された、第２の画像をリンク先とするリンク領域と、当該第２の画像に対し設定された、第１の画像をリンク先とするリンク領域とが重なる領域が、表示領域を包含しない大きさとなるように調整して設定するリンク調整部と、リンク領域の情報およびリンク先画像の識別情報を記載したリンク設定ファイルと、画像データとを対応づけたコンテンツファイルを出力するコンテンツファイル出力部と、を備えたことを特徴とする。

本発明のさらに別の態様は画像処理方法に関する。この画像処理方法は、ユーザの操作に応じて表示領域を移動させて画像を表示する画像処理方法であって、表示対象の複数の画像のデータと、一の画像を表示中に表示領域と特定のリンク領域との包含関係が所定の条件を満たしたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定された、リンク領域の情報およびリンク先画像の識別情報を記載したリンク設定ファイルと、を対応づけたコンテンツファイルを記憶装置より読み出すステップと、表示中の画像における表示領域の移動によって、当該画像に対し設定されたリンク領域との包含関係が所定の条件を満たしたとき、リンク先画像の識別情報に基づきその画像データを描画処理することによりリンク先画像へ表示画像を切り換えるステップと、表示中の画像へ切り換える前の画像に対して設定されたリンク領域と、表示中の画像における表示領域との包含関係を継続して監視し、当該包含関係が所定の条件を満たさなくなったとき、切り換える前の画像へ表示画像を戻すステップと、を含むことを特徴とする。

本発明のさらに別の態様はコンテンツファイルのデータ構造に関する。このコンテンツファイルのデータ構造は、ユーザの操作に応じて表示領域を移動させて画像を表示する画像処理装置において処理されるコンテンツファイルのデータ構造であって、表示対象の複数の画像のデータと、一の画像を表示中に表示領域が特定のリンク領域に包含されたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定されるリンク領域であって、リンクによって表される画像の仮想的な配列において前後する第１、第２の画像のうち、第１の画像に対して設定された、第２の画像をリンク先とするリンク領域と、当該第２の画像に対し設定された、第１の画像をリンク先とするリンク領域とが重なる領域が、表示領域を包含しない大きさとなるように設定されたリンク領域、およびリンク先画像の識別情報を記載したリンク設定ファイルと、を対応づけたことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、情報表示を伴うコンテンツにおいて所望の情報へのアクセスを効率化させることが可能となる。

本実施の形態に適用できる画像処理システムの使用環境を示す図である。図１の画像処理システムに適用できる入力装置の外観構成を示す図である。本実施の形態における画像処理装置の構成を示す図である。本実施の形態において使用できる画像データの階層構造の概念図である。本実施の形態におけるコンテンツを構成する画像に対するリンクの設定例を示す図である。本実施の形態におけるコンテンツの画像を表示する機能を有する制御部の構成を詳細に示す図である。本実施の形態における情報に階層のない画像に対するリンク領域の設定例を示す図である。本実施の形態におけるリンク処理部の構成を詳細に示す図である。本実施の形態におけるリンク設定の規則を説明するための図である。本実施の形態において設定するリンク領域の重なり幅の規則を視点移動の方向に関わらず一般化した図である。本実施の形態においてリンクが設定された画像を表示する処理手順を示すフローチャートである。本実施においてリンクが設定された画像を表示するコンテンツを作成する機能を有する画像処理装置の制御部の構成を詳細に示す図である。

本実施の形態では、書籍、新聞、雑誌、ゲーム画像、メニュー表示画像、ホームページの画像、地図、写真、絵画、広告など視覚的な情報を表示するコンテンツを処理対象とする。その表示目的や後段で実現する機能は限定されない。図１は、本実施の形態を適用できる画像処理システムの使用環境を示す。画像処理システム１は、画像処理のためのソフトウェアを実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよい。

表示装置１２は画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。画像処理システム１において、画像処理装置１０は、ケーブル１４を介してインターネットなどの外部ネットワークに接続し、コンテンツファイルをダウンロードして取得してもよい。なお画像処理装置１０は、無線通信により外部ネットワークに接続してもよい。

画像処理装置１０は、たとえばゲーム装置やパーソナルコンピュータであってよく、画像処理用のアプリケーションプログラムをロードすることで画像処理機能を実現してもよい。画像処理装置１０は、ユーザからの視点移動要求に応じて、表示装置１２のディスプレイに表示する画像の拡大／縮小処理や、上下左右方向へのスクロール処理などを行う。以後、このような拡大／縮小を含めた表示領域の変更処理を「表示領域の移動」と表現する。ユーザが、ディスプレイに表示された画像を見ながら入力装置を操作すると、入力装置が、入力された情報を画像処理装置１０に送信する。

図２は、入力装置２０の外観構成例を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。

画像処理システム１において、入力装置２０の操作手段には、表示画像の拡大／縮小要求、および上下左右方向へのスクロール要求を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小要求の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小要求を入力でき、また手前から押すことで、表示画像の拡大要求を入力できる。

また、スクロール要求の入力機能は、十字キー２１に割り当てられる。ユーザは十字キー２１を押下することで、十字キー２１を押下した方向へのスクロール要求を入力できる。なお、表示領域移動要求の入力機能は別の操作手段に割り当てられてもよく、たとえばアナログスティック２７ａに、スクロール要求の入力機能が割り当てられてもよい。また画像表示の開始／終了指示や、表示された画像上のカーソルを動かしたり、やり直し（Ｕｎｄｏ）操作のためのキーも適宜割り当てる。なお入力装置２０はマウス、キーボード、タッチパネルなど一般的な入力装置またはそれらの組み合わせでもよい。

入力装置２０は、入力された表示領域移動要求の信号を画像処理装置１０に伝送する機能をもち、本実施の形態では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、入力信号を画像処理装置１０に伝送してもよい。

図３は画像処理装置１０の構成を示している。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。

スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ケーブル１４を介して外部ネットワークに接続し、コンテンツサーバからコンテンツファイルなどを受信できるように構成される。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。

ハードディスクドライブ５０は、データを記憶する記憶装置として機能する。コンテンツファイルはハードディスクドライブ５０に格納されてもよい。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよい。コンテンツファイルはこれらの記録媒体に格納されていてもよい。

制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。制御部１００はさらにＧＰＵ（Graphics Processing Unit）を備えていてもよい。

制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。

メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施の形態の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。

本実施の形態の画像処理装置１０は、コンテンツとして表示する画像の表示領域の移動処理をスムーズに行うために、画像データの一部をハードディスクドライブ５０からメインメモリ６０にロードしておく。また、メインメモリ６０にロードした画像データのさらに一部をデコードしてバッファメモリ７０に格納しておく。これにより、後の必要なタイミングで、表示画像の描画に使用する画像を瞬時に切り替えることが可能となる。

本実施の形態において表示対象とする画像のデータ構造は特に限定されないが、ここでは高精細な画像をより効率よく表示することを可能とするため、階層構造を有する階層画像データを用いる例について説明する。階層画像データは、原画像を複数段階に縮小して生成した異なる解像度の画像からなる画像データである。各階層の画像は一又は複数のタイル画像に分割される。たとえば最も解像度の低い画像は１つのタイル画像で構成し、最も解像度の高い原画像は、最も多い数のタイル画像で構成する。

画像表示時は、描画に使用しているタイル画像を、表示画像が所定の解像度になったときに異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行う。以下、このような階層構造をもつ画像データを「階層データ」とよぶ。図４は階層データの構造の概念図を示す。階層データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有する。なお同図においては４階層のみ示しているが、階層数はこれに限定されない。

図４に示す階層データは４分木の階層構造を有し、各階層は１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。各階層の画像データは、一つの画像を異なる解像度で表現しており、最高解像度をもつ第３階層３６の原画像を複数段階に縮小して、第２階層３４、第１階層３２、第０階層３０の画像データが生成される。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。

画像処理装置１０において、階層データは、所定の圧縮形式で圧縮された状態でハードディスクドライブ５０などの記憶装置に格納されており、表示装置１２に表示される前に記憶装置から読み出されてデコードされる。本実施の形態の画像処理装置１０は、複数種類の圧縮形式に対応したデコード機能を有し、たとえばＳ３ＴＣ形式、ＪＰＥＧ形式、ＪＰＥＧ２０００形式の圧縮データをデコード可能とする。

階層データの階層構造は、図４に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。画像処理装置１０は、入力装置２０から供給される視点移動要求の信号から表示領域の変更量を導出すると、その変更量を用いて仮想空間における表示領域の４隅の座標（フレーム座標）を導出する。

仮想空間におけるフレーム座標は、後述するリンク判定や、メインメモリへの圧縮データのロード、表示画像の描画処理などに利用される。なお、仮想空間におけるフレーム座標の代わりに、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出してもよい。以下、階層特定情報およびテクスチャ座標の組み合わせも、フレーム座標と呼ぶ。なお上述のとおり本実施の形態で表示対象とする画像のデータは階層構造でなくてもよいし、コンテンツを構成する複数の画像データの一部のみ階層データでもよい。以後、階層データも含め「画像データ」として説明する。

本実施の形態の画像処理装置１０は、表示中の画像において設定されたある領域に、ユーザの視点移動要求によって移動した表示領域が包含されたことをきっかけとして、当該領域に対応づけておいた別の画像へ表示を切り換える機能を有する。以後、このような画像間の切り替えを「リンク」と呼び、リンクが発生するきっかけとなる設定領域を「リンク領域」と呼ぶ。

図５はコンテンツを構成する画像に対するリンクの設定例を示している。同図に示すコンテンツ１５４は、表紙、目次のページ、および本文のページを有する電子書籍を例として表しており、それぞれに対応する、表紙画像１５６、目次画像１６０、本文画像１６４で構成される。本文画像１６４は書籍のページごとに個別の画像１６６ａ、１６６ｂ、１６６ｃ、・・・、１６６ｎとする。目次画像１６０もまた、複数ページに渡る場合は、各ページに対応させて複数の画像としてもよい。

以後、そのように構成した個々の画像を「ページ画像」と呼ぶが、一つの画像とする単位はページでなく章、記事、項目ごとなど、コンテンツの内容に応じた所定の単位でよい。上述のとおり各画像は階層データであってもよいし、単一の解像度の画像であってもよく、表示に求められる解像度の範囲によってページごとに異なっていてもよい。

まず表紙画像１５６に表された「操作マニュアル」といった題名を囲むようにリンク領域１５８を設定し、そのリンク先を目次画像１６０とする。この場合、表紙画像１５６を表示中、題名付近へ近づくように視点が移動し、表示領域がリンク領域１５８に包含されたとき、表紙画像１５６からリンク先の目次画像１６０へ表示対象を切り替える。

同様に、目次画像１６０に表された「１．ＡＡＡ」、「２．ＢＢＢ」、・・・といった、目次の各項目を囲むようにリンク領域１６２ａ、１６２ｂ、・・・を設定し、そのリンク先を、本文画像１６４に含まれる対応するページ画像とする。そして表示領域が、項目「１．ＡＡＡ」のリンク領域１６２ａに包含されたとき、当該項目に対応するページ画像１６６ａへ表示対象を切り替える。同様に、表示領域が、項目「１．ＢＢＢ」のリンク領域１６２ｂに包含されたとき、当該項目に対応するページ画像１６６ｃへ表示対象を切り替える。

各ページ画像１６６ａ、１６６ｂ、１６６ｃ、・・・、１６６ｎには、前後のページに対するリンクを設定する。このときリンク領域は、ページ画像の外側を含む所定の領域に設定する。例えば同図に示すように、ページ画像１６６ｂの左側に、前のページ画像１６６ａへのリンク領域１６８ａを設定し、右側に後のページ画像１６６ｃへのリンク領域１６８ｂを設定する。図に示すようにリンク領域の一部は設定対象のページ画像１６６ｂの内部に含まれていてもよいし、含まれなくてもよい。

全ページ画像１６６ａ、１６６ｂ、１６６ｃ、・・・、１６６ｎに対しこのような位置にリンク領域を設定することにより、表示領域が右に移動すると後のページ、左に移動すると前のページが表示対象となる。結果として、あたかも画像がページ順に左から右へ配列されているように認識させることができる。同図の例は左から右へ読み進める書籍などに対し自然な視点移動によってページを切り換える順序であったが、言語や演出上で右から左へ読み進める方が自然な場合はリンク先のページを逆の順序とする。また画像の上下にリンク領域を設定してもよい。さらに左右上下にリンク領域を設定することにより画像の２次元配列も演出できる。リンク領域の詳細な設定規則は後に述べる。

このような構成とすることにより、表紙、目次、各項目の本文、といった表示画像の切り替えを、視点の移動のみによってシームレスに実現できる。結果として直感的かつ容易な操作で、ユーザが読みたい項目への直接的なアクセスが可能となる。また本文画像を、ページごとなど所定の単位で分割して別の画像データとすることにより、全ページを羅列した一つの画像データとする場合と比較し、画像データの管理が容易になり、画像表示に必要な処理をページ数によらず同様に行える。

また、写真や絵が載っているページと、文章のみで構成されるページが混在している書籍など、ページによって求められる解像度が異なる場合、本文画像のデータを分割しておくことにより、分割単位で解像度を変化させたり、階層データとしたりすることができる。これにより高解像度画像を必要としないページについてはデータサイズを最小限にしつつ、解像度に幅を持たせたいページは十分なデータを準備するなど、データサイズを増大させずにメリハリのあるコンテンツ表示を実現できる。さらに、一部の内容を変更したり、ページの差し替えや追加、削除をしたり、といった編集、改編作業を画像単位で行うことができる。結果として書籍のベクトルデータをラスタライズして画像データとするなど負荷の重い処理が必要最低限ですみ、作業負担が軽減できる。

図６は本実施の形態において、上述のようなコンテンツの画像を表示する機能を有する制御部１００ａの構成を詳細に示している。制御部１００ａは、入力装置２０からユーザが入力した情報を取得する入力情報取得部１０２、新たに表示すべき領域のフレーム座標を決定するフレーム座標決定部１１０、リンク設定によって表示対象の画像の切り替えが必要か否かを判定するリンク処理部１１６、必要な圧縮画像データをハードディスクドライブ５０からロードするロード部１０８を含む。制御部１００ａはさらに、圧縮画像データをデコードするデコード部１１２、および画像フレームを描画する表示画像処理部１１４を含む。

図６および後に参照する図８、図１２において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

まずハードディスクドライブ５０には、図５に示した表紙画像、目次画像、ページ画像のように、コンテンツを構成する複数の画像データ１０１と、各画像データ１０１に対し設定されたリンクの情報を記載したリンク設定ファイル１１８とを対応づけた構造を有するコンテンツファイルを格納する。リンク設定ファイル１１８には、各画像に対し設定されるリンク領域のフレーム座標と、当該リンクによるリンク先の画像の識別情報とが対応づけて記載される。さらにリンク先の画像の一部の領域をリンク先領域として設定してもよい。画像データ１０１とそれに対応付けられたリンク設定ファイル１１８は必要なタイミングでメインメモリ６０にロードされる。

入力情報取得部１０２は、ユーザが入力装置２０に対して入力した、コンテンツの画像表示の開始／終了、視点移動などの要求内容を取得し、フレーム座標決定部１１０に通知する。フレーム座標決定部１１０は、現在の表示領域のフレーム座標とユーザが入力した視点移動要求に基づく移動量から、次の時刻の表示領域のフレーム座標を決定し、リンク処理部１１６に通知する。ここで「次の時刻」とは、フレームレートに基づく表示更新周期後の時刻などである。

リンク処理部１１６は、メインメモリ６０にロードした、表示対象の画像データに対応するリンク設定ファイル１１８を読み出し、次の時刻の表示領域がリンク領域に包含されるか否かを判定する。包含される場合、そのリンクを有効とし、当該リンク領域に対応づけて設定されているリンク先の画像データの識別情報をリンク設定ファイル１１８から取得する。取得した情報はロード部１０８、デコード部１１２、表示画像処理部１１４に通知する。

またリンク処理部１１６は、現在の表示対象の画像がリンクによって切り換えられた画像である場合、そのきっかけとなったリンク領域から表示領域がはみ出したか否かを判定する。はみ出した場合、リンク元の画像へ表示対象を戻す旨の通知を、ロード部１０８、デコード部１１２、表示画像処理部１１４に通知する。さらに上述した条件のいずれでもない場合、次の時刻の表示領域のフレーム座標のみをロード部１０８、デコード部１１２、表示画像処理部１１４に通知する。

ロード部１０８は、リンク処理部１１６から通知された情報に基づき、ハードディスクドライブ５０からメインメモリ６０へロードすべき圧縮画像データの有無を確認し、必要に応じてロードする。新たにロードすべき圧縮画像データとは、表示対象の画像を切り換えるときのリンク先の画像データ１０１などである。

リンク先の画像が階層データである場合は、最も解像度が低く画像全体を１度に表示できる第０階層の画像データなど、あらかじめ初期画像として定められた画像を表示するのに必要な階層のタイル画像をロードする。新たな画像データ１０１をロードする場合は、それに対応づけられたリンク設定ファイル１１８もロードする。

また階層データのタイル画像など、画像データを所定のブロック単位でロードする場合は、画像切り換えの要否に関わらず、表示領域の移動に応じてその周囲のブロックの画像データをロードする。あるいはそれまでの表示領域の移動経路に従い、以後必要と予測されるブロックの画像データをロードしておく。ロード部１０８は、ユーザが視点移動要求を入力したとき以外にも、所定の時間間隔で必要な画像データをロードしてよい。

デコード部１１２はリンク処理部１１６からの通知に基づき、バッファメモリ７０に格納したデコード済みの画像データに、次の時刻の表示領域に必要な画像データが含まれているか否かを確認する。含まれていなければメインメモリ６０から必要な圧縮画像データを読み出しデコードし、バッファメモリ７０に格納する。バッファメモリ７０には現在の表示領域を含む広範囲の画像のデータをデコードして格納しておくことにより、より円滑な表示領域移動を実現できる。また表示画像の切り換え前に表示されていたリンク元の画像のデータも保持できるようにしておくことにより、後述する表示画像の戻し処理を効果的に実現できる。

表示画像処理部１１４はリンク処理部１１６からの通知に基づき、必要に応じてバッファメモリ７０から次の時刻の表示領域に必要な画像データを読み出し、表示処理部４４のフレームメモリに描画していく。当該フレームメモリも、表示画像の切り換え前に表示されていたリンク元の画像を残せるようにしておくことにより、後述する表示画像の戻し処理を効果的に実現できる。

図５で例示したコンテンツ１５４の表紙画像１５６、目次画像１６０、本文画像１６４のように、表される情報が階層構造を有する画像の場合、表紙に記載された題名や目次の各項目など、階層構造のノードとなる情報が表された領域をリンク領域として設定しておけば、視点移動のみによって所望の下層ノードの情報へ容易に到達することができる。一方、本実施の形態では、図５の本文画像１６４のように、情報に階層のない画像をリンクによって結びつけることにより、個別の画像であっても実際の書籍を読むようにページの連続性を表すことができる。

このときページの連続性を保ちながら、ページを自由に行き来できるようにすることにより、より実際の書籍を読んでいるのと同様の感覚をユーザに与えることができる。図７は、このような態様を実現させるときのリンク領域の設定例を示している。同図では網掛けされたページ画像１６８に対し、その左右にリンク領域１７０ａ、１７０ｂを設定している。

左側のリンク領域１７０ａは、本文画像１６４などのページ列における、ページ画像１６８の一つ前のページへのリンク、右側のリンク領域１７０ｂは、一つ後のページへのリンクを設定する。表示対象のページ画像１６８を表示している表示領域１７２ａが左に移動し、左側のリンク領域１７０ａにその全てが包含されたとき、そのリンクを有効と判定し、表示対象を切り換える。結果としてそのときの表示領域１７２ｂにはリンク先である一つ前のページ画像の少なくとも一部が表示される。

逆に表示領域１７２ａが右に移動し、右側のリンク領域１７０ｂにその全てが包含されたとき、そのリンクを有効と判定し、表示対象を切り換える。結果としてそのときの表示領域１７２ｃにはリンク先である一つ後のページ画像の少なくとも一部が表示される。なお同図の表示領域１７２ａ〜１７２ｃの大きさは、ユーザによる視点操作に応じた視点と画像平面との距離によって変化する。

このように本実施の形態では、表示対象のページ画像の外側も表示領域に含めることができるようにし、そのような移動によって前後のページへの切り替えを実行する。表示対象のページ画像の周囲は、あらかじめ用意された背景画像などとする。表示領域の移動により表示対象の切り替えがなされたら、前の表示対象であったページ画像を非表示として背景画像を表示してもよいし、当該ページ画像を表示したままとしてもよい。以後、表示対象の画像を「アクティブ画像」と呼ぶ。

図７に示すような双方向のリンク領域を全てのページ画像に設定した場合、アクティブ画像が切り替わるたびに同様のリンク処理が必ず行われることになる。この場合、例えば前後のページ画像を何度も行き来して確認するような状況においても、初めてアクティブ画像となったページ画像を表示するときと同じように、リンク先の画像の識別情報を取得したり、データのロード、デコードが行われているか否かを確認するなどの処理が発生する。しかしながら直前にアクティブ画像となっていたページ画像を、切り換え後もすぐに表示できる状態にしておくことは容易である。

そこで本実施の形態では、視点移動による前後のページ画像への表示切り換え、という見かけ上の動作は変化させずに、新たなページ画像へのリンク処理と、元のページ画像への戻り処理を区別することにより、アクティブ画像切り換え処理の効率を向上させる。そのために、現在のアクティブ画像に対して設定されたリンク有効性と、その前にアクティブ画像であった画像に対して設定されたリンクの無効性を同時に判定する。

図８はこの場合のリンク処理部１１６の構成を詳細に示している。リンク処理部１１６は、アクティブ画像のデータに対応づけられたリンク設定ファイルを読み込むリンク設定読込部１２０、読み込んだリンク設定ファイルを記憶するリンク設定記憶部１２４、表示領域のフレーム座標に基づきリンクの有効／無効を判定するリンク判定部１２２、リンク処理によるアクティブ画像の切り換え履歴を記憶する表示履歴記憶部１２６、およびリンクによるアクティブ画像の切り換えを元に戻すＵｎｄｏ処理部１２８を含む。

リンク設定読込部１２０は、画像表示開始時、またはリンクによってアクティブ画像が切り替わるタイミングで、当該アクティブ画像の画像データ１０１に対応づけられたリンク設定ファイル１１８をメインメモリ６０から読み込み、リンク設定記憶部１２４に格納する。リンク設定記憶部１２４は少なくとも、現在のアクティブ画像に対して設定されたリンクの情報と、直前のアクティブ画像に対して設定されたリンクの情報を記憶する。

リンク判定部１２２は、現在のアクティブ画像に対し設定されたリンク領域をリンク設定記憶部１２４から読み出し、表示領域が移動する都度、リンク領域との包含関係を確認して、リンクを有効とするか否かを判定する。表示領域のフレーム座標はフレーム座標決定部１１０から取得する。表示領域がリンク領域に包含され、リンクを有効と判定した場合、当該リンク領域に対応づけられた画像データの識別情報をリンク設定記憶部１２４から読み出し、ロード部１０８、デコード部１１２、表示画像処理部１１４に通知する。

このときリンク設定ファイルにおいて、リンク先の画像データのうち、初期に表示すべき領域がさらに設定されている場合は当該情報も通知する。この通知によってロード部１０８、デコード部１１２、および表示画像処理部１１４がそれぞれ画像データのロード、デコード、描画の処理を必要に応じて実行することにより、リンク先の画像がアクティブ画像となる。

リンク判定部１２２はさらに、現在のアクティブ画像のリンク元である、直前のアクティブ画像に対して設定されたリンク領域をリンク設定記憶部１２４から読み出す。そして表示領域との包含関係を確認して、現在のアクティブ画像へ切り替えたリンクを無効とするか否かを判定する。すなわち、現在のアクティブ画像がアクティブ画像である所以は前のアクティブ画像からのリンクが有効な状態であるため、と考える。

そして当該リンクの有効性を、アクティブ画像の切り換え後も監視し続けることにより、当該リンクを無効とするか否かを判定する。リンクが無効と判定された場合は、リンク元である直前のアクティブ画像へ表示対象を戻す。この場合、直前のアクティブ画像のデータをバッファメモリ７０やフレームメモリなどに常時、残しておくようにすれば、リンク判定部１２２は表示画像処理部１１４のみにそれを通知しすればよくなる。表示画像処理部１１４が当該画像をフレームメモリに描画したり、表示処理部４４に通知して出力画像を切り換えさせるなど最低限の処理によって、アクティブ画像を元に戻すことができる。

このように本実施の形態では、現在のアクティブ画像に設定されたリンクの有効性と、直前のアクティブ画像に設定されたリンクの無効性を同時に判定する。この機能により、表示領域の移動に対し、直前のアクティブ画像への戻し処理、アクティブ画像の継続表示、アクティブ画像から次の画像へのリンク処理、の３パターンに処理を分岐させることができる。

次の画像へのリンクを有効と判定した場合、リンク判定部１２２は表示履歴記憶部１２６にその画像の識別情報を蓄積して記憶させる。すなわち表示履歴記憶部１２６は、リンク処理によって切り替えられたアクティブ画像の変遷を履歴として記憶する。Ｕｎｄｏ処理部１２８は、ユーザによってＵｎｄｏ操作がなされたとき、その旨の情報を入力情報取得部１０２から取得する。この入力機能は例えば、図２で示した入力装置２０の×ボタン２３などに割り付けておく。×ボタン２３が押下される都度、Ｕｎｄｏ処理部１２８は、表示履歴記憶部１２６に最後に記録された識別情報を読み出し、それをロード部１０８、デコード部１１２、表示画像処理部１１４に通知する。

表示履歴記憶部１２６から読み出した識別情報は削除しておく。この通知によって、ロード部１０８、デコード部１１２、および表示画像処理部１１４がそれぞれ、通知された識別情報を有する画像データのロード、デコード、描画の処理を必要に応じて実行することにより、当該画像がアクティブ画像となる。このようなＵｎｄｏ処理は、本実施の形態においては、上述した、直前のアクティブ画像への戻し処理より大きな単位で表示を戻すために行う。

上述したとおりリンクの無効性判断によりアクティブ画像を戻す処理はリンク処理とは異なるため、リンク処理によって切り替えられたアクティブ画像の変遷を記録した表示履歴には記録されない。例えばあるページと次のページを何度も行き来して内容を確認するような場合、そのような行き来を全てリンク処理によって切り換え、履歴を記録すると、表示履歴記憶部１２６の記憶領域がその情報のみで占められてしまうことが考えられる。このとき、そのような行き来の前に表示されていた画像の情報が失われる。結果としてユーザが、行き来する前の表示画像へ戻りたいとしてＵｎｄｏ操作を行っても、同じページを行き来するのみで本来必要としている画像へ戻れなくなる可能性がある。

本実施の形態ではユーザによる操作は同じであっても、装置内部でリンク処理とアクティブ画像を戻す処理の区別がなされ、リンク処理によるアクティブ画像の履歴のみが表示履歴記憶部１２６に記録される。そのため表示履歴として同じページを行き来する処理は記録されず、Ｕｎｄｏ操作によってページの行き来が無駄に再現されることがなくなるとともに、必要な過去の表示画像の情報が失われるのを防止することができる。

上述したとおり本実施の形態では、アクティブ画像に対して設定されたリンク領域と、その直前のアクティブ画像に対して設定されたリンク領域を同時に判定対象とする。このような構成とすることにより、図５の本文画像１６４のように、情報に階層構造のない画像を複数の画像データに分割しても、本のページをめくるような感覚を与えるコンテンツの表示を実現できる。この態様を実現するためには、これまで述べた装置上の構成のほか、適切なリンク領域の設定が必要である。

図９はリンク設定の規則を説明するための図である。同図において上段と下段は同じ複数のページ画像１８０ａ、１８０ｂ、１８０ｃ、１８０ｄの仮想的な配列を表しており、斜線で網掛けされたページ画像がアクティブ画像である。アクティブ画像以外のページ画像は実際には非表示でもよいし、リンク元のページ画像、すなわち直前のアクティブ画像を表示したままとしてもよい。このような仮想的な配列でアクティブ画像を切り換えるため、図７と同様に、各ページ画像の左右には前後のページへのリンク領域を設定する。

例えば図中、上段に示すように、ページ画像１８０ｂの左側に、前のページ画像１８０ａへのリンクを設定したリンク領域１８２ａを、ページ画像１８０ｂの右側に、次のページ画像１８０ｃへのリンクを設定したリンク領域１８２ｂを設定する。当該ページ画像１８０がアクティブ画像であった場合は、これらのリンク領域１８２ａ、１８２ｂがリンクの有効性を判定する対象となり、表示領域１８４ａとの包含関係に応じてアクティブ画像の切り替え要否を判定する。

図９の上段では、ユーザによる視点移動要求によって、アクティブ画像であるページ画像１８０ｂの右端近傍に表示領域１８４ａが寄った状態となっている。ここでさらに表示領域１８４ａが右側へ移動し、次のページへのリンク領域１８２ｂに含まれたとき、リンク判定部１２２は当該リンクを有効と判定する。このときの状態が図９の下段に示されている。すなわち表示領域１８４ｂがページ画像１８０ｂに対し設定されたリンク領域１８２ｂに包含された時点で、次のページ画像１８０ｃがアクティブ画像となっている。

アクティブ画像がページ画像１８０ｃへ切り換えられると同時に、当該ページ画像１８０ｃに対し設定された、前のページ画像１８０ｂへのリンク領域１８６ａ、次のページ画像１８０ｄへのリンク領域１８６ｂが、リンクの有効性を判定する対象となる。したがって、表示領域１８４ｂがリンク領域１８６ａに包含されたときは前のページ画像１８０ｂがアクティブ画像となり、リンク領域１８６ｂに包含されたときは次のページ画像１８０ｄがアクティブ画像となる。

一方、上述のように本実施の形態では、現在のアクティブ画像のリンク元である画像、すなわち図９におけるページ画像１８０ｂに対し設定されたリンク領域１８２ｂもリンク設定記憶部１２４に残しておき、現在のアクティブ画像であるページ画像１８０ｃへのリンクの無効性を同時に判定する。つまりアクティブ画像がページ画像１８０ｂから１８０ｃへ切り替わったときに有効とされたリンクの有効性を、切り替わり後も継続して監視する。そして有効性が保たれなくなったとき、現在のアクティブ画像であるページ画像１８０ｃへのリンクを無効とし、アクティブ画像をリンク元のページ画像１８０ｂへ戻す。

例えば図９の下段の表示領域１８４ｂが左へ移動し、直前にアクティブ画像であったページ画像１８０ｂに設定されたリンク領域１８２ｂに包含されなくなったとき、すなわち表示領域１８４ｂの一部でもリンク領域１８２ｂの外側に出たとき、それまで有効であった、ページ画像１８０ｂからページ画像１８０ｃへのリンクを無効と判定する。そしてアクティブ画像をページ画像１８０ｂへ切り換える。

このように、有効と判定されたリンクによってアクティブ画像が切り替わった後も、当該リンクの有効性を継続監視することにより、アクティブ画像を元に戻すときにはリンク処理を行う必要がなくなる。リンク元のページ画像は直前のアクティブ画像であるため、上述のようにリンク処理の少なくとも一部を省略できる。

このように装置内部での処理は異なるものの、視点の移動によってアクティブ画像が切り替わる、という外見上の動作は、アクティブ画像を戻す場合も進ませる場合も変化しないため、ユーザは同様の操作でページ画像を行き来できる。このように、見た目の動作をリンクと同様とし、かつ内部ではリンク処理を省略できるようにするため、現在のアクティブ画像に対して設定されたリンクの有効性と、直前のアクティブ画像に対して設定されたリンクの無効性は常時、同時進行で判定できるようにする。

この場合、アクティブ画像を元に戻すときであっても、現在のアクティブ画像に対して設定されたリンクの有効性が、直前のアクティブ画像に対して設定されたリンクの無効性より先に判定されてしまうと、通常のリンク処理が開始されてしまう。そこで、各ページ画像に設定するリンク領域の重なり具合を工夫する。すなわち、表示領域が現在のアクティブ画像に対して設定されたリンク領域に包含される前に、直前のアクティブ画像に対して設定されたリンク領域の外側へ、当該表示領域の少なくとも一部が出るようにリンク領域を設定する。

ここでリンク領域の重なりとは、切り換え前後の画像を同時に表示したと仮定した場合の、各画像に対して設定されたリンク領域の重なりであり、アクティブ画像をリンクによって切り換える時点の表示領域に対する、切り換え前の画像と切り換え後の画像の相対位置によって定まる。

図９の下段の例では、表示領域１８４ｂが少しでも左に移動すると、その左側の一部の領域は、直前のアクティブ画像に対して設定されたリンク領域１８２ｂの外側へ出るが、さらに移動しないと、現在のアクティブ画像に対して設定されたリンク領域１８６ａには包含されない。これにより、リンク領域１８６ａのリンクの有効性より先に、リンク領域１８２ｂのリンクの無効性が判定され、アクティブ画像をリンク元であるページ画像１８０ｂに、リンク処理を実行せずに戻すことができる。

このような態様を実現するためには、直前のアクティブ画像から現在のアクティブ画像へのリンク領域１８２ｂと、現在のアクティブ画像から直前のアクティブ画像へのリンク領域１８６ａが重なる領域を、表示領域を包含しない大きさとすればよい。この例のように画像の仮想的な配列を横方向の一次元とした場合、重なり領域の横方向の幅ｘが、表示領域１８４ｂの幅ｗより常に小さくなるように設定すればよい。例えば画像表示の拡大率に上限を設けると、そのときの表示領域の幅が最小値ｗ_ｍｉｎとなるため、ｘ＜ｗ_ｍｉｎとなるようにｘを決める。

一方、表示領域１８４ｂを右側へ移動させ、次のページ画像１８０ｄをアクティブ画像とする場合は、現在のアクティブ画像へのリンクを無効と判定する前に、次のページ画像へのリンクを有効と判定する必要がある。図９の下段の例では、表示領域１８４ｂが右に移動し、直前のアクティブ画像に対して設定されたリンク領域１８２ｂの外側へその一部が出る前に、現在のアクティブ画像に対して設定された次のページ画像１８０ｄへのリンク領域１８６ｂに包含される。これにより、リンク領域１８２ｂの無効性より先に、リンク領域１８６ａの有効性が判定され、アクティブ画像を次のページ画像１８０ｄへ切り換えることができる。

このような態様を実現するためには、直前のアクティブ画像から現在のアクティブ画像へのリンク領域１８２ｂと、現在のアクティブ画像に対し設定された２つのリンク領域のうち、直前のアクティブ画像でない方のページ画像へのリンク領域１８６ｂが重なる領域を、表示領域を包含する大きさとすればよい。この例の場合、重なり領域の横方向の幅ｙが、表示領域１８４ｂの幅ｗ以上となるように設定すればよい。例えば画像表示の拡大率に下限を設けると、そのときの表示領域の幅が最大値ｗ_ｍａｘとなるため、ｘ≧ｗ_ｍａｘとなるようにｘを決める。

上述の例は、ページ画像列に対し視点を右方向へ移動させアクティブ画像を順次切り換えていく途中で、左方向へ戻る場合、右方向へさらに進む場合であったが、逆方向であっても同様である。図１０は、リンク処理および戻し処理を可能にするために設定するリンク領域の重なり幅の規則を、視点移動の方向に関わらず一般化した図である。

図中、各段は、ｎを自然数としたとき、ｎページ、（ｎ＋１）ページ、（ｎ＋２）ページ、（ｎ＋３）ページの各ページ画像に対して設定されたリンク領域を矩形で示している。同図は図９と同様、表示領域の移動が左右のみの一次元である場合を示しており、理解を容易にするため、リンク領域の高さは考慮していない。リンク領域を表す各矩形内の表示は、そのリンクに設定されたリンク元のページ数とリンク先ページ数を表している。例えばｎページのページ画像に設定されたリンク領域１９０ａ、１９０ｂのうち、左のリンク領域１９０ａはｎページから（ｎ−１）ページへのリンク、右のリンク領域１９０ｂはｎページから（ｎ＋１）ページへのリンクである。その他のリンク領域も同様である。

いま、（ｎ＋１）ページがアクティブ画像であり、表示領域１９２が、当該ページ画像に対して設定された２つのリンク領域１９４ａ、１９４ｂの中間の位置にあるとする。このとき（ｎ＋１）ページの内容が主に表示される。このような状況が発生するためには、目次画像など上の階層からのリンクを除外すれば、ｎページからのリンク、または（ｎ＋２）ページからのリンクが考えられる。

ｎページからのリンクによって（ｎ＋１）ページがアクティブ画像となった場合は、ｎページに対し設定されたリンク領域１９０ａ、１９０ｂが、リンクの無効を判定する対象、（ｎ＋１）ページに対し設定されたリンク領域１９４ａ、１９４ｂが、リンクの有効を判定する対象となる。ここでさらに表示対象のページを（ｎ＋２）ページへ進める場合は、表示領域１９２を右に移動させる。すると（ｎ＋１）ページから（ｎ＋２）ページへのリンク領域１９４ｂと、ｎページから（ｎ＋１）ページへのリンク領域１９０ｂの重なり幅ｙ１が、表示領域ｗ以上であるため、（ｎ＋１）ページから（ｎ＋２）ページへのリンクが先に有効と判定され、リンク処理によって（ｎ＋２）ページがアクティブ画像となる。

逆に表示対象のページをｎページへ戻す場合は、表示領域１９２を左へ移動させる。すると（ｎ＋１）ページからｎページへのリンク領域１９４ａと、ｎページから（ｎ＋１）ページへのリンク領域１９０ｂの重なり幅ｘが、表示領域ｗより小さいため、ｎページから（ｎ＋１）ページへのリンクが先に無効と判定され、戻し処理によってｎページがアクティブ画像となる。

一方、（ｎ＋２）ページからのリンクによって（ｎ＋１）ページがアクティブ画像となった場合は、（ｎ＋２）ページに対し設定されたリンク領域１９６ａ、１９６ｂがリンクの無効を判定する対象、（ｎ＋１）ページに対し設定されたリンク領域１９４ａ、１９４ｂがリンクの有効を判定する対象となる。

ここでさらに表示対象のページをｎページへ進める場合は、表示領域１９２を左に移動させる。すると（ｎ＋１）ページからｎページへのリンク領域１９４ａと、（ｎ＋２）ページから（ｎ＋１）ページへのリンク領域１９６ａの重なり幅ｙ２が、表示領域ｗ以上であるため、（ｎ＋１）ページからｎページへのリンクが先に有効と判定され、リンク処理によってｎページがアクティブ画像となる。

逆に表示対象のページを（ｎ＋２）ページへ戻す場合は、表示領域１９２を右に移動させる。すると（ｎ＋２）ページから（ｎ＋１）ページへのリンク領域１９６ａと、（ｎ＋１）ページから（ｎ＋２）ページへのリンク領域１９４ｂの重なり幅ｘが、表示領域ｗより小さいため、（ｎ＋２）ページから（ｎ＋１）ページへのリンクが先に無効と判定され、戻し処理によって（ｎ＋２）ページがアクティブ画像となる。

このように、あるページ画像に設定された、次のページ画像へのリンク領域と、当該次のページ画像に設定された前のページ画像へのリンク領域との重なり幅を表示領域の幅より小さくし、あるページ画像に設定された、次のページ画像へのリンク領域と、当該次のページ画像に設定されたさらに次のページ画像へのリンク領域との重なり幅を表示領域の幅以上とする、という規則に従い各ページ画像のリンク領域を設定することにより、リンク先の画像を表示する場合もリンク元の画像へ戻る場合も、方向に関わらず同じ処理で判定を行え、全てをリンク処理で切り換える場合に比べ、処理の負荷を軽減できる。

次に、これまで述べた構成によってなされる画像処理装置１０の動作について説明する。図１１は画像処理装置１０が、リンクが設定された画像を表示する処理手順を示すフローチャートである。図１１のフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１０のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１０のＮ）と表示する。

図１１のフローチャートは、ユーザが画像表示を開始する指示入力を入力装置２０を介して行ったときに開始される。まずユーザは、コンテンツのファイル名を指定するなどして画像表示開始を指示する（Ｓ３０）。これに応じてロード部１０８、デコード部１１２、表示画像処理部１１４などの協働により、初期画像のデータのロード、デコード、描画の処理を経て初期画像を表示する（Ｓ３２）。

画像処理装置１０は、ユーザが入力装置２０を操作し視点移動要求を入力するまでそのまま待機する（Ｓ３４のＮ）。そして視点移動要求が入力されたら（Ｓ３４のＹ）、リンク処理部１１６はアクティブ画像に対し設定されたリンク領域内に表示領域が包含されたか否かを逐次監視する（Ｓ３６）。この時点のアクティブ画像は初期画像である。表示領域がリンク領域に包含されたとき当該リンクを有効と判定し（Ｓ３６のＹ）、当該リンク領域に対応づけられたリンク先の画像の識別情報をリンク設定ファイルから取得することにより、ロード、デコード、描画を経てリンク先の画像を表示する（Ｓ４４）。このときの画像が次のアクティブ画像となる。

表示領域がリンク領域に包含されないときは（Ｓ３６のＮ）、アクティブ画像である初期画像内で視点移動に応じて表示領域を移動させながら、初期画像の表示を継続する（Ｓ３８のＮ、Ｓ４２）。そしてユーザによる画像表示の終了指示が入力されない期間は、視点移動要求を受け付ける（Ｓ４６のＮ、Ｓ３４）。Ｓ４４においてリンク先の画像表示がなされた場合、Ｓ３６では当該リンク先の画像をアクティブ画像としそれに対して設定されたリンクについて判定を行う。

また、この時点で「リンク元の画像」が発生するため、以後、リンク元の画像に対し設定されたリンク領域から表示領域がはみ出したか否かを監視する（Ｓ３８）。当該リンク領域外へ表示領域の一部でもはみ出したとき、当該リンクを無効と判定し（Ｓ３８のＹ）、リンク元の画像へ表示を戻す（Ｓ４０）。以後、ユーザによって画像表示を終了する指示がなされるまで、表示対象の画像をアクティブ画像としてＳ３６およびＳ３８の判定を行い、表示処理をＳ４０、Ｓ４２、Ｓ４４のいずれかへ分岐させる。終了指示がなされたら画像の表示を終了する（Ｓ４６のＹ）。

次にこれまで述べた画像表示手法を実現するためのコンテンツを作成する画像処理装置について説明する。この場合の画像処理装置も図１で示した画像処理システム１と同様の環境で使用することができ、その構造は図３で示した画像処理装置１０と同様である。以後、このような機能のみを有する画像処理装置１０の制御部１００について説明するが、図７で示した制御部１００ａの機能を同時に備えていてもよい。

図１２は、リンクが設定された画像を表示するコンテンツを作成する機能を有する画像処理装置１０における制御部の構成を詳細に示している。制御部１００ｂは、入力装置２０からユーザが入力した情報を取得する入力情報取得部１０２、コンテンツ作成に必要な情報をユーザに指定させるために表示する画像を生成する表示画像処理部２１２、処理対象の元の電子ファイルから複数の画像データを生成する画像データ生成部２１４、ユーザが設定したリンク領域を調整するリンク調整部２１６、および、画像データとリンク設定ファイルを対応づけ、コンテンツファイルとして出力するコンテンツファイル出力部２１８を含む。

入力情報取得部２１０は、書籍の電子ファイルなど、処理対象となるコンテンツファイルのファイル名の指定、コンテンツ作成開始の指示など、ユーザが入力装置２０を介して入力した情報を取得する。入力情報取得部２１０はさらに、表示画像処理部２１２、表示処理部４４によって表示装置１２に表示された入力画像を見ながらユーザが入力した、リンクの設定などコンテンツの作成に必要な情報も取得する。

表示画像処理部２１２は、元のコンテンツファイルの画像や、処理の途中で作成された画像などを表示装置１２へ表示するための処理を行う。書籍の電子ファイルなどのベクトルデータや、それを変換して生成されたラスタデータの画像の表示には、一般的な技術を用いることができる。表示画像処理部２１２はさらに、各画像に矩形を重ねて表示させるなどしてユーザが画像範囲を指定できるようにする。さらに、メニュー画面や選択画面、数値入力画面などを表示するようにしてもよい。このような画像は表示処理部４４のフレームメモリに描画することにより、表示装置１２へ表示される。

画像データ生成部２１４は、指定された書籍などのコンテンツファイルをハードディスクドライブ５０から読み出す。そして元の画像がベクトルデータであった場合は、それをラスタデータに変換する。このときユーザからの範囲指定に従い、表示画像、目次画像、本文画像に含まれる各ページ画像などを個別の画像データとする。あるいはページごとなどの分割規則をユーザより受け付け、それに従って分割したそれぞれについて画像データを生成してもよい。さらに、生成した画像データを複数段階に縮小して階層データを生成してもよい。

リンク調整部２１６は、画像データ生成部２１４が生成した各画像においてユーザが指定した範囲をリンク領域とし、それに対応づけて指定したリンク先画像の識別情報を当該リンク領域の情報に対応づけたリンク設定ファイルを、対象となる画像のデータごとに生成する。このとき図５の本文画像１６４のように、情報に階層のない複数の画像を仮想的な配列として表示する場合は、図１０を参照して説明したような規則に従い、リンク領域の重なり幅を調整する。ユーザが本文画像の範囲を指定し、リンク調整部２１６自らがリンク領域を発生させ、調整するようにしてもよい。

コンテンツファイル出力部２１８は、画像データ生成部２１４が生成した各画像データに、リンク調整部２１６が生成したリンク設定ファイルを対応づけたデータをまとめ、コンテンツファイルとしてハードディスクドライブ５０に格納する。このような構成により、これまで述べたような画像の切り換えを伴うコンテンツファイルを、ユーザの要望を踏まえつつ容易に作成することができる。

以上述べた本実施の形態によれば、書籍の電子ファイルなど表示したいコンテンツを複数の画像に分けて表示する。このとき元のコンテンツにおける情報の階層構造や順序を表す画像同士のつながりをリンク機能によって表現する。内容ごと、ページごとなどでコンテンツを分割することにより、コンテンツの分量によらずに画像データのロードやデコードなどを同じサイズ単位で処理することができる。これにより静止画を表示するような画像処理装置などにおいても容易に、データサイズの大きいコンテンツを表示することができる。

また個別の画像とすることにより、コンテンツの一部を差し替えたり改編したりするのに全てのデータを作り直す必要がなく、編集処理の手間を軽減できる。さらにページによって解像度を変化させるなど内容に応じて画像の特性を調整することができる。例えばあるページのみ階層データとすれば、解像度の可変範囲を局所的に変化させることができる。

さらに情報に階層構造がなく、順列が規定されているページ画像のような画像は、画像の外側にかかるようにリンク領域を設定することにより、その方向に次の画像が存在するように演出することができる。このような画像においては、ページを進めたり戻したりするように、画像間を行き来することが十分考えられる。このとき仮想的な画像列において隣り合う画像に設定するリンク領域の重なりが所定の規則に従うように各画像のリンク領域を調整して設定する。

そして現在表示対象となっている画像へのリンクの有効性を継続して監視することにより、現段階で有効となっている当該リンクが無効となるタイミングも取得する。このような構成によって、ユーザが操作手法を変えずとも、通常のリンクと前の表示対象への戻し処理とを区別して処理できる。前の表示対象への戻し処理はリンク処理と比較して負荷が軽く、例えば直前の画像のデータをバッファメモリなどに残しておけば即座に表示できるため、切り換え速度を向上させることができる。このような処理の区別は、リンク領域の設定および判定タイミングの延長のみで容易に実現できる。

またリンク処理による画像の切り換えのみを表示履歴として記録することにより、同じページを行き来するような戻し処理による画像切り換えの履歴は記録対象から除外されるため、表示履歴に基づくＵｎｄｏ処理を実行した際、履歴として意味のある画像切り換えの経路を逆に辿ることができる。また履歴を記憶する記憶領域の容量によって、必要な履歴が失われてしまう可能性が低くなる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では主に、横方向の１次元空間に画像を仮想的に配列する場合について述べたが、各画像の上下にもリンク領域を設けることにより２次元空間で配列させることもできる。この場合も本実施の形態で述べた、隣り合う画像に対して設定するリンクの重なり幅に係る規則を、２方向に適用することにより、リンク処理、戻し処理を内部で区別し、表示処理の効率を上げることができる。

また本実施の形態では１つ前にアクティブ画像であった画像に対し設定されたリンクの無効性を判定することにより表示画像の戻し処理を行ったが、２つ以上前にアクティブ画像であった画像に対し設定されたリンクをさらに記憶しておいてもよい。この場合、１つ前の画像への戻し処理後、その前の画像へさらに戻す処理などが可能となる。

１画像処理システム、１０画像処理装置、１２表示装置、２０入力装置、３８タイル画像、４４表示処理部、５０ハードディスクドライブ、６０メインメモリ、１００制御部、１０１画像データ、１０２入力情報取得部、１０８ロード部、１１０フレーム座標決定部、１１２デコード部、１１４表示画像処理部、１１６リンク処理部、１１８リンク設定ファイル、１２０リンク設定読込部、１２２リンク判定部、１２４リンク設定記憶部、１２６表示履歴記憶部、１２８Ｕｎｄｏ処理部、２１０入力情報取得部、２１２表示画像処理部、２１４画像データ生成部、２１６リンク調整部、２１８コンテンツファイル出力部。

Claims

ユーザの操作に応じて表示領域を移動させて画像を表示する画像処理装置であって、
表示対象の複数の画像のデータと、一の画像を表示中に表示領域と特定のリンク領域との包含関係が所定の条件を満たしたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定された、前記リンク領域の情報およびリンク先画像の識別情報を記載したリンク設定ファイルと、を対応づけて記憶したコンテンツ記憶部と、
表示中の画像における表示領域の移動によって、当該画像に対し設定されたリンク領域との包含関係が前記所定の条件を満たしたか否かを判定するリンク処理部と、
前記リンク処理部によって前記所定の条件を満たしたと判定されたとき、リンク先画像の識別情報に基づきその画像データを描画処理することによりリンク先画像へ表示画像を切り換える表示画像処理部と、
を備え、
前記リンク処理部はさらに、表示中の画像へ切り換える前の画像に対して設定されたリンク領域と、前記表示中の画像における表示領域との包含関係を継続して監視し、当該包含関係が前記所定の条件を満たさなくなったか否かを判定し、
前記表示画像処理部はさらに、前記リンク処理部によって前記所定の条件を満たさなくなったと判定されたとき、前記切り換える前の画像へ表示画像を戻すことを特徴とする画像処理装置。
前記リンク設定ファイルにおいて、各画像の端を構成する矩形の四辺のうち向かい合う２辺の外側の領域をそれぞれ含み、異なる画像をリンク先とする２つのリンク領域が設定され、
前記表示画像処理部は、表示中の画像の前記２辺のいずれかへ向かう表示領域の移動によって前記所定の条件を満たしたと判定されたとき、リンク先画像への表示画像の切り替えを行うことにより、リンクによって連結された前記複数の画像の仮想的な配列を表現することを特徴とする請求項１に記載の画像処理装置。
表示領域が前記リンク領域に包含された状態を前記所定の条件とし、
前記仮想的な配列において前後する第１、第２の画像のうち、第１の画像に対して設定された、第２の画像をリンク先とするリンク領域と、当該第２の画像に対し設定された、前記第１の画像をリンク先とするリンク領域とが重なる領域が、表示領域を包含しない大きさとなるように、各画像のリンク領域が設定され、
前記リンク処理部は、前記前の画像である前記第１の画像をリンク先とするリンク領域と表示領域との包含関係が前記所定の条件を満たしたと判定するより先に、表示中の画像である前記第２の画像をリンク先とするリンク領域と表示領域との包含関係が前記所定の条件を満たさなくなったと判定することを特徴とする請求項２に記載の画像処理装置。
表示領域が前記リンク領域に包含された状態を前記所定の条件とし、
前記仮想的な配列において連続する第１、第２、第３の画像のうち、第１の画像に対して設定された、第２の画像をリンク先とするリンク領域と、当該第２の画像に対し設定された、第３の画像をリンク先とするリンク領域とが重なる領域が、表示領域を包含する大きさとなるように、各画像のリンク領域が設定され、
前記リンク処理部は、表示中の画像である前記第２の画像をリンク先とするリンク領域と表示領域との包含関係が前記所定の条件を満たさなくなったと判定するより先に、表示中の画像である前記第２の画像に設定された、前記第３の画像をリンク先とするリンク領域と表示領域との包含関係が前記所定の条件を満たしたと判定することを特徴とする請求項２または３のいずれかに記載の画像処理装置。
前記リンク処理部は、表示中の画像に対し設定されたリンク領域と表示領域との包含関係が前記所定の条件を満たしたと判定したとき、対応するリンク先画像の識別情報を表示履歴として記録し、
前記表示画像処理部は、ユーザがやり直しを要求する操作を行う都度、前記表示履歴に記録されたリンク先画像の識別情報を、記録順と逆の順序で取得し、当該識別情報を有する画像へ表示画像を切り換えることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
複数の画像データを生成する画像データ生成部と、
ユーザの操作に応じて表示領域を移動させて画像を表示する画像処理装置において、一の画像を表示中に表示領域が特定のリンク領域に包含されたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定する前記リンク領域を、リンクによって表される画像の仮想的な配列において前後する第１、第２の画像のうち、第１の画像に対して設定された、第２の画像をリンク先とするリンク領域と、当該第２の画像に対し設定された、前記第１の画像をリンク先とするリンク領域とが重なる領域が、表示領域を包含しない大きさとなるように調整して設定するリンク調整部と、
前記リンク領域の情報およびリンク先画像の識別情報を記載したリンク設定ファイルと、前記画像データとを対応づけたコンテンツファイルを出力するコンテンツファイル出力部と、
を備えたことを特徴とするコンテンツ作成装置。
前記リンク調整部は、前記仮想的な配列において連続する第１、第２、第３の画像のうち、第１の画像に対して設定された、第２の画像をリンク先とするリンク領域と、当該第２の画像に対し設定された、第３の画像をリンク先とするリンク領域とが重なる領域が、表示領域を包含する大きさとなるように前記リンク領域を調整して設定することを特徴とする請求項６に記載のコンテンツ作成装置。
ユーザの操作に応じて表示領域を移動させて画像を表示する画像処理方法であって、
表示対象の複数の画像のデータと、一の画像を表示中に表示領域と特定のリンク領域との包含関係が所定の条件を満たしたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定された、前記リンク領域の情報およびリンク先画像の識別情報を記載したリンク設定ファイルと、を対応づけたコンテンツファイルを記憶装置より読み出すステップと、
表示中の画像における表示領域の移動によって、当該画像に対し設定されたリンク領域との包含関係が前記所定の条件を満たしたとき、リンク先画像の識別情報に基づきその画像データを描画処理することによりリンク先画像へ表示画像を切り換えるステップと、
表示中の画像へ切り換える前の画像に対して設定されたリンク領域と、前記表示中の画像における表示領域との包含関係を継続して監視し、当該包含関係が前記所定の条件を満たさなくなったとき、前記切り換える前の画像へ表示画像を戻すステップと、
を含むことを特徴とする画像処理方法。
ユーザの操作に応じて表示領域を移動させて画像を表示する機能をコンピュータに実現させるコンピュータプログラムであって、
表示対象の複数の画像のデータと、一の画像を表示中に表示領域と特定のリンク領域との包含関係が所定の条件を満たしたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定された、前記リンク領域の情報およびリンク先画像の識別情報を記載したリンク設定ファイルと、を対応づけたコンテンツファイルを記憶装置より読み出す機能と、
表示中の画像における表示領域の移動によって、当該画像に対し設定されたリンク領域との包含関係が前記所定の条件を満たしたとき、リンク先画像の識別情報に基づきその画像データを描画処理することによりリンク先画像へ表示画像を切り換える機能と、
表示中の画像へ切り換える前の画像に対して設定されたリンク領域と、前記表示中の画像における表示領域との包含関係を継続して監視し、当該包含関係が前記所定の条件を満たさなくなったとき、前記切り換える前の画像へ表示画像を戻す機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
ユーザの操作に応じて表示領域を移動させて画像を表示する機能をコンピュータに実現させるコンピュータプログラムを記録した記録媒体であって、
表示対象の複数の画像のデータと、一の画像を表示中に表示領域と特定のリンク領域との包含関係が所定の条件を満たしたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定された、前記リンク領域の情報およびリンク先画像の識別情報を記載したリンク設定ファイルと、を対応づけたコンテンツファイルを記憶装置より読み出す機能と、
表示中の画像における表示領域の移動によって、当該画像に対し設定されたリンク領域との包含関係が前記所定の条件を満たしたとき、リンク先画像の識別情報に基づきその画像データを描画処理することによりリンク先画像へ表示画像を切り換える機能と、
表示中の画像へ切り換える前の画像に対して設定されたリンク領域と、前記表示中の画像における表示領域との包含関係を継続して監視し、当該包含関係が前記所定の条件を満たさなくなったとき、前記切り換える前の画像へ表示画像を戻す機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラムを記録した記録媒体。
ユーザの操作に応じて表示領域を移動させて画像を表示する画像処理装置において処理されるコンテンツファイルのデータ構造であって、
表示対象の複数の画像のデータと、
一の画像を表示中に表示領域が特定のリンク領域に包含されたとき表示中の画像から別の画像へ表示を切り替えるリンク機能を実現するために画像ごとに設定される前記リンク領域であって、リンクによって表される画像の仮想的な配列において前後する第１、第２の画像のうち、第１の画像に対して設定された、第２の画像をリンク先とするリンク領域と、当該第２の画像に対し設定された、前記第１の画像をリンク先とするリンク領域とが重なる領域が、表示領域を包含しない大きさとなるように設定されたリンク領域、およびリンク先画像の識別情報を記載したリンク設定ファイルと、
を対応づけたことを特徴とするコンテンツファイルのデータ構造。
前記リンク領域は、前記仮想的な配列において連続する第１、第２、第３の画像のうち、第１の画像に対して設定された、第２の画像をリンク先とするリンク領域と、当該第２の画像に対し設定された、第３の画像をリンク先とするリンク領域とが重なる領域が、表示領域を包含する大きさとなるように設定されていることを特徴とする請求項１１に記載のコンテンツファイルのデータ構造。