JP2004523036A - 景観の画像ベースのデジタル表現 - Google Patents

Abstract

本発明の一面によると、景観を視覚的に表示するための景観の画像ベースのデジタル表現が画像情報格納構造内に格納される。この格納構造は、各々がデジタル画像を表す頂点と、第一の頂点と第二の頂点とを互いに接続するエッジとを含む。各エッジは第一の頂点内の第一の画像と第二の頂点内の第二の画像間の遷移の情報を表し、第一と第二の画像は景観の異なるビューを描写し、第一の画像は第一のエリアを有し、第二の画像は第二のエリアを有し、第一のエリアの描写は第二のエリアの描写と実質的に対応する。遷移情報は、第一と第二の画像の少なくとも一つの操作を定義し、操作は、少なくとも一つの遷移画像を計算することから成り、遷移画像は第一と第二の画像内に描写される景観の新たなビューを描写する。加えて、景観内のナビゲーションを表示するための方法、画像を表示するための方法、並びに、画像情報格納構造を生成するためのデバイス、方法及びコンピュータプログラムも開示される。

Description

【技術分野】
【０００１】
本発明は、景観の画像ベースのデジタル表現、及びデジタル画像の表示のために用いる画像情報格納構造に係る。本発明は、更に、デジタル画像にて表示される景観内をナビゲーションを表示するための方法、及びデジタル画像を表示するための方法に係る。本発明は、更に、景観の画像ベースのデジタル表現を生成するための方法及びコンピュータプログラムに係る。
【０００２】
発明の背景
今日、コンピュータ網、例えば、インターネット上に情報を表示することに関する関心は急速に高まっている。多量のメモリ空間を必要とする情報、例えば、画像を表示したいという要望も存在する。同時に、インターネットへの接続は、現在、携帯電話機を通じて行なわれるようになっている。携帯電話の接続速度は遅く、このためダウンロードに長時間を要する。従って、ダウンロードをすべきデータパッケトを可能な限り小さくすることと、表示される情報の量を可能な限り多くすることが同時に求められる。この２つの要件を同時に満たすことは非常に困難である。
【０００３】
この問題は、画像がダウンロードされる場合は特に顕著であり、その画像が複雑な物体、例えば、景観内の物体を描写するときは、さらに深刻である。ある会社が自身のホームページ上にある製品を表示（展示）したい場合は、その製品の単純な絵では不十分である。適当な記憶サイズの絵では、その製品の詳細を十分に示すことはできないことがある。このような場合、最初に、第一の絵が低い解像度にて表示され、次に、ユーザが要求する場合にのみ、より大きな絵が高い解像度にてダウンロードされる。ただし、この場合でも、大きなサイズの絵を高い解像度にて表示するためには、ダウンロードのために長い時間が要求される。
【０００４】
風景（landscape）を表示したい場合には、接続速度が遅いと、表示は一層困難となる。風景は多数の細部を含み、非常に大きな画像と、場合によっては、異なるビューイング角度からの多数の画像を必要とする。現在３D景観のコンピュータ表現を生成するための様々な方法が存在する。ただし、景観内の全ての物体をコンピュータ内でモデル化することが必要とされ、これら方法は、生成されたモデルを格納するための大きなメモリ容量を必要とする。さらに、景観のコンピュータ表現の生成は非常に複雑であり、多くの時間を要する。
【０００５】
異なるビューイング角度の数個の画像が得られれば、これら画像を互いに縫い合わせることで一つの非常に大きな画像を生成し、景観をパニングすることができる。このタイプの方法が米国特許第5,963,664号明細書に開示されている。ただし、これら非常に大きな画像は低速な接続を通じてダウンロードには現実的でない。更に、米国特許第6,198,852号明細書は、景観の、異なるビューイング角度からの二つのビューから、景観の、異なるビューイング角度からの新たなビューを生成するための方法を開示する。ただし、これは、単に、景観の新たなビューを生成するための方法を開示し、ユーザは景観内をナビゲートすることはできない。更に、この方法では、より多くのビューが生成され、これらより多くの画像をダウンロードする必要があるために、より長いダウンロード時間が必要となる。
【０００６】
更に、異なるビューイング角度間の遷移を示すためのアニメーションを生成できれば便利である。ただし、アニメーションは、単一の絵より更に大きなサイズを有する。従って、このようなアニメーションを低速な接続を通じてダウンロードすることに対する要求は、あまりにも多くの時間を取るために見られない。
【０００７】
２つの画像間にアニメーションにて示されるべき画像データを生成するための方法が幾つか知られている。これら方法が、S. Fleishman, B. Chen, A. Kaufman及びD. Cohen-OrらによってVRST（Symposium on Virtual Reality Software and Technology）、'99に発表された論文「Navigating Through Sparse Views」、及びT. Beier及びS. NeelyによってSIGGRAPH '92に発表された論文「Feature-Based Image Metamorphosis」において開示されてる。
【０００８】
発明の概要
本発明の一つの目的は、情報の改善された表示（presenntation）を提供することにある。表示は、ダウンロード時間が短くてすみ、それでいて、多くの情報を提示できることが要望される。更に、景観は、景観の異なるビュー間のナビゲーションができるように、デジタル的に容易に表現できることが要望される。
【０００９】
これら及びその他の目的が、請求項１に記載の景観の画像ベースのデジタル表現、請求項22に記載の景観内のナビゲーションを表示するための方法、請求項31及び31に記載の画像情報格納構造、請求項32に記載のデジタル画像を表示するための方法、及び請求項33、42、及び49に記載の画像情報格納構造を生成するためのデバイス、方法及びコンピュータプログラムによって達成される。
【００１０】
本発明の一態様によると、景観を視覚的に表示するための景観の画像ベースのデジタル表現が提供される。この表現は画像情報格納構造内に格納され、この格納構造は各々がデジタル画像を表す頂点と、第一の頂点と第二の頂点とを互いに接続するエッジとを含む。各エッジは第一の頂点内の第一の画像と第二の頂点内の第二の画像間の遷移の情報を表し、第一と第二の画像は景観の異なるビューを描写する。第一の画像は第一のエリアを有し、第二の画像は第二のエリアを有し、第一のエリアの描写は第二のエリアの描写と実質的に対応する。遷移情報は、第一と第二の画像の少なくとも一つの操作を定義し、この操作は、少なくとも一つの遷移画像を計算することから成り、この遷移画像は、第一と第二の画像内に描写される景観の新たなビューを描写する。
【００１１】
この景観の画像ベースの表現の効果として、複雑な景観を容易にモデル化することが可能となる。また、遷移にて定義される操作を通じて、景観の画像を計算することが可能となる。更に、画像及び遷移の情報を画像情報格納構造内に格納する効果として、様々の画像が論理的に配列され、画像間の遷移画像を通じてのナビゲーションを容易に遂行することが可能となる。更に、このようなナビゲーションを見るためには、画像及び遷移情報をロード、例えば、ダウンロードすることのみを要求される。これは、これらが必要とされる全ての情報を含むためである。この効果として、小量のデータをダウンロードするのみで、多くの情報を表示することが可能となる。遷移画像は、表示デバイスの所で、ダウンロードを通じて受信された定義された操作（panipulation）を用いて計算することができる。表示（presentation）は、この画像ベースの表現（representation）への低速な接続を通じて遂行することができ、この接続を通じての多量の情報のダウンロードことは必要とされない。更に、遷移画像は表示デバイスの所で計算できるために、表示デバイスにてどの画像を表示すべきかを制御できる。このため、第一と第二の画像間の自由なナビゲーションが可能となる。例えば、景観の第一のビューを描写する第一の画像が表示されている場合、第二の画像内に描写される景観の第二のビューに向けての遷移を起動したり、この遷移を任意の時点において停止したり、或いは逆転したりすることができる。
【００１２】
更に、画像情報格納構造が数個の頂点を含む場合、従って、接続エッジを含む数個の画像を含む場合は、ダイナッミックな表示が可能となる。これら異なる画像間で前後に何度も遷移を遂行することができ、遷移を行う順番は制限されない。こうして、表示を変えたり、画像を表示する順番を変えたりすることもできる。
【００１３】
本発明の一つの長所は、格納されてない画像を表示でき、このためこれら画像をダウンロードする必要がなくなることである。このため、限られた数の画像にて景観（scene）を表示することが可能となる。更に、景観内のナビゲーションも可能である。つまり、観察者は、第一のビューの表示から第二のビューの表示へと、示される遷移画像を介してガイドされる。これによって、観察者は、第一のビューと第二のビューが互いにどのように関連するかを把握することができる。更に、観察者は、第一の画像と第二の画像の表示間の長い待ち時間にイライラすることから解放される。更に、第一の画像から第二の画像への遷移を停止することもできる。ユーザは、その後、遷移の方向を元の方向に逆転させ、第一の画像を見たり、或いは別の方向に第三の画像に向かってもう一つの遷移を開始しすることもできる。こうして、ユーザは、どの画像が表示されるべきかを制御するための多くの可能性を有する。
【００１４】
この発明の一つの特定の実施例においては、第二の画像は第一の画像内に完全に含まれ、第一の画像と第二の画像間の遷移は、第一の画像をズームインすることから成る。この特定の実施例においては、操作は第一の画像のみを用いて遂行される。このため、この遷移を起動するためには、第一の画像のダウンロードのみが要求とされる。その後、遷移の際に、第二の画像がダウンロードされることもあるが、このダウンロード時間はほとんど気づかない程度である。
【００１５】
本発明の文脈においては、「景観（scenery）」なる語句は、広く３D環境と解されるべきであり、これには、風景（landscape）や部屋のみでなく、３D物体も含まれる。更に、「景観（scenery）」は、現実の、現存する環境であっても、仮想的な、描かれた、或いはコンピュータにて生成された環境であっても構わない。当分野において、このような景観を説明するためによく用いられる他の表現に、シーン（scene）或いは３D-世界などがある。「ビュー（view）」なる語句は、景観の、ある位置（ビューイングポイント）と、角度（ビューイング角度）からの見たときの全体或いは一部の様子（appearance）と解されるべきである。ビューイング角度は、描写平面（depiction plane）の光学軸（optical axis）と３D景観の座標軸との間の角度を定義する。本発明の文脈においては、第二の画像の一部をより大きなスケールにて示す第一の画像は、第二の画像とは異なるビューを描写するものとみなされる。この場合は、第一と第二の画像は、ビューイング角度は同一であるが、異なるビューイングポイントを有することとなる。
【００１６】
遷移画像は、第一と第二の画像のいずれかに描写される景観の一部のみを描写する。遷移画像は、景観を、第一と第二の画像のビューイングポイント及びビューイング角度とは異なるビューイングポイント及び／或いはビューイング角度から描写する。遷移画像は、少なくとも一つの他の画像の操作（manipulation）を通じて生成されるために、遷移画像は景観の完全な描写を提供することはないが、ただし、遷移画像の描写は、人の目には遷移画像内に欠陥はほとんど認められない程度には良好である。遷移は、表示される画像のビューイングポイント及び／或いはビューイング角度を遷移情報に従って変更することで達成される。そして、遷移情報は、表示される画像がどのように変更されるべきか、そして、そのためにはビューイングポイント及び／或いはビューイング角度がどのように変更されるべきかを記述する。
【００１７】
この発明の文脈においては、画像の「エリア（area）」なる語句は、物体或いは景観の画像内に描写される領域（region）ではなく、３D景観を描写する２次元画像表面（two-dimensional image surface）の一部或いはセクションと解されるべきである。ただし、この「エリア（area）」を形成する画像表面（image surface）の部分或いはセクションは、勿論、その画像内の描写（depictions）の部分の情報を保持する。
【００１８】
「実質的に対応する（substantially corresponding）」２つのエリアの描写なる語句は、同一の或いはほとんど同一の物体或いは景観の、同一の或いは主に同一の部分を描写する或いは示す２つのエリアと解されるべきである。例えば、ある絵（painting）のフロントビューを描写する第一のエリアは、その絵をサイドアングルから描写する第二のエリアと実質的に対応する。第二のエリアは、その絵のより多くのフレームを示すが、ただし、第一のエリアと第二のエリア内の情報はそれでも対応する。
【００１９】
ビューを描写する画像は、様々な異なるやり方にて、例えば、カメラにて写真を撮ること、景観のビューを描くこと、或いは景観のビューをコンピュータにて生成すること、などにより得ることができる。画像は、更に、風景或いは部屋を絶えず監視するビデオカメラにて得ることもできる。この場合は画像情報格納構造内の画像は絶えず置換或いは更新されることとなる。この場合はビデオカメラにて監視されている景観内のリアルタイムナビゲーションが可能となる。
【００２０】
更に、画像情報格納構造は画像及び遷移がどのように関連するかの構造を記述するものであり、この構造がどのように実現されるかの記述ではないことに注意する。
【００２１】
本発明の他の態様によると、第一の画像の表示（presentation）を、第二の画像の表示への遷移がなされるように変更するための画像情報格納構造（image information storing structure）が提供される。画像情報格納構造は、表示デバイス（presentation device）によりアクセスすることができ、各々が画像を表す頂点と、第一の頂点と第二の頂点とを互いに接続するエッジとを含む。各エッジは第一の頂点内の第一の画像から第二の頂点内の第二の画像への遷移の情報を表し、第一の画像は第一のエリアを有し、第二の画像は第二のエリアを有し、第一のエリア内の情報は第二のエリアの情報と実質的に対応する。遷移情報は、第一と第二の画像の少なくとも一つの操作（manipulation）を定義し、この操作は、第一の画像の表示を、第二の画像の表示への変換が少なくとも一つの遷移画像の表示を介してなされるように変更するための関数を形成する。
【００２２】
本発明のさらに他の態様によると、表示デバイスにアクセスでき、第一の画像と第二の画像を含む、画像情報格納構造が開示される。第一の画像は第一のエリアを有し、第二の画像は第二のエリアを有し、第一のエリア内の情報は第二のエリア内の情報と実質的に対応する。この画像情報格納構造は、更に、第一の画像から第二の画像への遷移の情報を含む。この遷移情報は、第一と第二の画像の少なくても一つの操作を定義し、この操作は、第一の画像の表示を、少なくとも一つの遷移画像の表示を介して、第二の画像の表示への変換がなされるように変更するための関数を形成する。
【００２３】
本発明の画像情報格納構造によると、第一の画像から第二の画像への遷移の計算は、遷移を開始する段階で行うことが可能となる。このため、録画されたアニメーションを含むファイルをダウンロードする必要はなく、代わりに、開始画像と終端画像を、操作がどのように行なわれるすべきかに関する定義と共に、ダウンロードすることのみが必要とされる。このため、小量のデータをダウンロードするのみで、多量の情報を表示することが可能となる。表示される情報の一部は、表示の際に、定義された操作を介して生成される。
【００２４】
必要とされる情報は画像情報格納構造内に格納され、表示デバイスにアクセスすることができる。そして、操作（manipulation）を用いて、表示デバイス或いはこれに接続されたコンピュータ内で、開始画像から終端画像への遷移を計算及び生成される。遷移は遂行される段階で計算され、絶対に必要とされる情報のみがダウンロードされる。遷移によって生成される情報はダウンロードされず、このためダウンロード時間を短縮することができる。
【００２５】
本発明のさらに他の態様によると、デジタル画像にて表現される景観内のナビゲーションを表示するための方法が開示される。この方法は、第一と第二のデジタル画像にアクセスするステップを含む。ここで、第一と第二の画像は、景観を異なるビューから描写する。第一の画像は第一のエリアを有し、第二の画像は第二のエリアを有し、第一のエリアの描写は第二のエリアの描写に実質的に対応する。この方法は、更に、第一の画像と第二の画像間の、第一と第二の画像の少なくとも一つの操作を定義する遷移の情報にアクセスするステップと、定義された操作を用いて少なくとも一つの遷移画像を決定するステップを含む。遷移画像は、第一と第二の画像内に描写される景観の新たなビューを描写する。この方法は、更に、景観内の視覚的ナビゲーションを、景観のあるビューを描写する画像の表示を景観の異なるビューを描写する別の画像の表示と置換することで、遂行するステップを含む。
【００２６】
オブザーバは景観内をガイドされる。景観の様々な異なる部分が示され、オブザーバは、景観のこれら部分がどのような関係にあるか把握することができる。更に、ナビゲーションは小量のデータをダウンロードするのみで達成することができ、このため低速な接続にて複雑な表示が可能となる。ナビゲーションの際は、第一と第二の画像の表示は必要とされない。ナビゲーションは、遷移画像において表示するのみで十分である。第一と第二の画像は遷移画像を計算するためにのみ用いられる。更に、操作のために第一の画像のみが用いられる場合は、第二の画像には、第二の画像を表示する段階までは、アクセスする必要はない。
【００２７】
本発明のさらに他の態様においては、デジタル画像を表示するための方法が開示される。この方法は、第一の画像及び第二の格納されたデジタル画像にアクセスするステップを含む。第一の画像は第一のエリアを有し、第二の画像は第二のエリアを有し、第一のエリア内の情報は第二のエリア内の情報と実質的に対応する。この方法は、更に、第一の画像から第二の画像への定義された遷移の情報にアクセスするステップと、第一の画像を表示デバイス上に表示するステップと、第一と第二の画像の少なくとも一つの操作を計算することで第一の画像から第二の画像への遷移を遂行するステップと、少なくとも一つの遷移画像を表示デバイス上に表示するステップを含む。遷移画像は操作によって生成される。この方法は、更に、第二の画像を表示デバイス上に表示することで、第一の画像の表示から第二の画像の表示への遷移を完結させるステップを含む。
【００２８】
本発明のこの方法によると、第一の画像から第二の画像への遷移を表示デバイス上で行うことができ、多量の情報をダウンロードする必要はなくなる。
【００２９】
本発明のさらに他の態様によると、景観を視覚的に表示するために景観の画像ベースのデジタル表現を形成するためのデバイスが開示される。このデバイスは、景観の異なるビューを描写する第一と第二のデジタル画像を得るための手段と、第一のエリア内の描写が第二のエリア内の描写と実質的に対応するように第一の画像の第一のエリアと第二の画像の第二のエリアを定義するための手段とを備える。このデバイスは、更に、第一の画像と第二の画像間の遷移の情報を定義するための手段を備える。遷移情報は第一と第二の画像の少なくとも一つの操作を定義する。操作は、少なくとも一つの遷移画像の計算から成り、遷移画像は、第一と第二の画像内に描写される景観の新たなビューを描写する。このデバイスは、更に、第一と第二の画像を、画像情報格納構造のグラフ内に二つの頂点として格納するため、及び第一から第二の画像への定義された遷移情報を、画像情報格納構造のグラフ内にこれら２つの頂点を互いに接続するエッジとして格納するための手段を備える。
【００３０】
このデバイスを用いると、新たな画像情報格納構造を簡単に作成することが可能となり、そして、この格納構造を、第一の画像の表示から第二の画像の表示に変換するための新たな方法に用いることが可能となる。
【００３１】
以下では、本発明のこれら様々な面に従う様々な好ましい実施例について説明する。本発明のある面に対して示される実施の形態を本発明の他の面と組合せることもできる。
【００３２】
本発明の画像ベースのデジタル表現によると、操作（manipulation）は、一つの好ましい実施例によると、景観の異なるビューを描写する数個の遷移画像を計算することから成る。効果として、表示のために利用できる画像がより多く得られるため、景観内のナビゲーションに対する自由度がより大きくなる。
【００３３】
本発明の画像ベースのデジタル表現の一つの好ましい実施例によると、遷移（transition）は、その描写が第一のビューイングポイントからの平坦な面（planar surface）を含む第一の画像の表示から、その描写が第二のビューイングポイントからの平坦な面を含む第二の画像の表示への変更に対する操作（manipulation）を定義する。
【００３４】
第一の画像と第二の画像は両方とも同一の平坦な面を描写するため、異なるビューイングポイントとビューイング角度間のナビゲーションが容易に可能となる。オブザーバは遷移画像によりガイドされる。つまり、景観のビューイング角度を変更することで、景観が別の角度から示される。
【００３５】
効果として、景観のある位置からの表示から景観の別の位置からの表示への変換の録画されたアニメーションをダウンロードする必要性はなくなる。開始画像と終端画像並びに遂行されるべき遷移のみが必要とされる。更に、ナビゲーションは、任意の遷移画像の所で停止することができる。そして、ユーザは、第二の画像の表示への遷移の遂行を継続するか、或いは、代りに、第一の画像の表示に向けて、或いは景観を更に別のビューイングポイント或いはビューイング角度から描写する第三の画像の表示に向けての遷移を開始するかを、自由に選択することができる。
【００３６】
もう一つの好ましい実施例においては、遷移は、景観をあるビューイングポイントから第一のビューイング角度にて描写する第一の画像の表示から、景観を同一のビューイングポイントから第二のビューイング角度にて描写する第二の画像の表示に変更するための操作を定義する。
【００３７】
これは景観を描写するカメラの回転に対応する。もう一つの好ましい実施例においては、これを様々な異なるビューイングポイント間の遷移と組合せることで、景観の表示の変更に対するより一層の自由度が得られる。
【００３８】
さらにもう一つの好ましい実施例においては、遷移は、景観を第一のビューイングポイントからあるビューイング角度にて描写する第一の画像の表示から、景観を第二のビューイングポイントから同一のビューイング角度にて描写する第二の画像の表示に変更するための操作を定義する。
【００３９】
こうして、ある製品を表す第一の画像が表示された場合、その製品に関する詳細を、より高い解像度の第二の画像の表示に向けての遷移を遂行することで表示することができる。この第二の画像は、例えば、その製品（景観）を、より近いビューイングポイントから同一のビューイング角度にて描写し、この第二の画像は細部のみを表す。本発明に従って第一の画像の表示が第二の画像の表示に変換されるとき、ユーザは、遷移画像にて細部へとガイドされ、その細部が製品のどこに位置するか把握できる。細部を表示したい場合、第一の画像を、高い解像度の大きなサイズの画像にて置換すること（このためには長いダウンロード時間が要求される）は必要とされず、代りに、特定の細部の小さなサイズの画像のみが高い解像度にて表示される。これは、景観の他の表現、例えば、景観のコンピュータ生成３Dモデルと比較して大きな長所である。もし、複数の細部を表示することができる場合は、各々が一つ或いは少数の細部を表す数個の別個の画像を用いることもできる。興味のない部分については、高い解像度の画像は不要であるため、興味のない情報は、高い解像度では、ダウンロード或いは格納されない。
【００４０】
一つの好ましい実施例においては、操作は、第一と第二のエリア内の情報に基づいて行われる。そして、操作には、これら２つの画像に共通する情報が用いられる。画像間の相互関係が決定され、第一の画像を第二の画像に変換するために必要とされる操作（manipulations）、例えば、平行移動（translations）或いは回転が得られる。
【００４１】
更にもう一つの好ましい実施例においては、操作には、第一と第二のエリア内の対応点の情報が用いられる。第一の画像の画像平面（image plane）を第二の画像の画像平面に変換する投射変換（projective transformation）によると、画像を互いに関連付けるためには、４つの対応点（correspondence points）を用いることで十分である。さらに変換を、第一の画像と第二の画像の画像平面を遷移画像の画像平面に変換することで、遷移画像を計算するために用いることもできる。
【００４２】
操作は、一つの好ましい実施例においては、投射変換（写像）から成る。投射変換（写像）により、第一の画像が第一の画像の４つの点が任意に選択された位置内に来るように変換される。この位置は、２つの画像の４つの対応点間の中間点を計算する関数によって決定される。この投射変換（写像）は、第一の画像の知覚されるビューイングポイント及び／或いはビューイング角度を変更し、遷移の際に、ビューイングポイント及び／或いはビューイング角度が、第一の画像のビューイングポイント及びビューイング角度から第二の画像のビューイングポイント及びビューイング角度へと連続的に変換される。更に、投射変換（写像）を用いると、遷移を非常に迅速に計算することができる。ただし、この方法では、遂行できる遷移は、同一平面を描写する画像、同一の景観を同一のビューポイントから異なるビューイング角度にて描写する画像、及び景観を異なるビューイングポイントから同一のビューイング角度にて描写するものとして総括できる、異なるズームレベルを有する画像間の遷移に制限される。加えて、上述の様々なケースの組み合わせから成る遷移を遂行することもできる。
【００４３】
遷移情報は、一つの好ましい実施例においては、対応点を第一の画像のある位置から第二の画像の別の位置に移動させるための、遷移の進行の関数を定義する。対応点の移動は、遷移の進行、つまり、ビューイングポイントとビューイング角度がどの程度変化したかに依存する。次に、これら対応点の移動を用いて、画像の全ての他のポイントが、遷移画像内のどこに移動されるべきか計算される。
【００４４】
一つの好ましい実施例においては、遷移は、さらに、ポイントセット（point set）を含み、これはある特定の遷移画像内の対応点の位置を定義する。こうして、遷移の際に、ある特定のビューイングポイントとビューイング角度を有する遷移画像が表示される。このポイントセットの定義は、追加の画像を用いて達成される。この画像は、景観のあるビューを描写し、このビューは、第一と第二の画像内に描写されるビューとは異なる。この場合は、ポイントセットは、追加の画像内の対応点の位置として定義され、第一と第二の画像間の遷移は、この追加の画像のビューを経由して行なわれる。ただし、この追加の画像は、画像情報格納構造内に格納する必要はない。追加の画像内に描写されるビューは、第一及び／或いは第二の画像の操作を通じて計算される。
【００４５】
もう一つの好ましい実施例においては、遷移画像内のポイントは、第一の画像内のポイントの遷移画像内の同一のポイント上への写像と、第二の画像内のポイントの遷移画像内の同一のポイント上への写像を混合（blending）することで計算される。この混合により、両方の画像の情報が用いられることが確保される。この混合（blending）は、画素毎に計算される。つまり、第一と第二の画像からの遷移画像のある一つのポイントへの影響が一つずつ計算される。代替として、第一と第二の画像の全てのポイントを遷移画像の画像平面上に写像（mapping）した後に、これら写像画像（mapped images）を混合することもできる。
【００４６】
遷移情報は、一つの好ましい実施例においては、混合のための重みを規定する。これら重みは、遷移画像を計算するための、第一と第二の画像内の各ポイントの影響を規定する。
【００４７】
遷移情報は、もう一つの好ましい実施例においては、様々な中間画像に対して異なる重みを定義する。これら重みは、遷移画像を計算するための、中間画像の影響を定義する。第一の画像からの遷移画像への影響は、第二の画像からの影響とは異なる。遷移の開始において遷移画像が計算される場合は、第一の画像から計算される中間画像の方が、第二の画像から計算される中間画像より、大きな影響（力）を有する。これは、この遷移画像が、第一の画像と最もよく類似或いは近いことを考えると、妥当なやり方である。中間画像に対する影響或いは重みは、遷移画像は、遷移の開始においては第一の画像に最も類似し、遷移の終端においては第二の画像に最も類似することを考慮し、遷移全体を通じて変化させることもできる。第一と第二の画像の重みは、一つの好ましい実施例においては、遷移の進行の関数として、異なる遷移画像が計算されるように、変化される。
【００４８】
もし、例えば、第一と第二の画像間で輝度が大きく異なる場合は、遷移画像内にエッジ効果（edge effects）が発生する。これは、第一と第二の画像の一方のエッジの遷移画像上への写像が、遷移画像内に、画像のより暗い領域とより明るい領域間のエッジとして現れることによる。重みは、一つの好ましい実施例においては、第一と第二の画像内で所定の関数に従って変えられる。例えば、ポイントの重みを第一と第二の画像のエッジに向かって滑らかに低減することで、第一と第二の画像のエッジの写像は、遷移画像内において鋭くは現れなくなる。
【００４９】
操作は、もう一つの好ましい実施例においては、遷移画像の計算のために、少なくとも一つの追加の画像を用いる。第一、第二及びこの追加の画像は、景観の異なるビューを描写し、第一の画像は第一のエリアを有し、第二の画像は第二のエリアを有し、追加の画像は第三のエリアを有し、第一のエリアの描写は、第二のエリアと第三のエリアの描写と実質的に対応する。こうすることで、表示されるビューを、少なくとも３つの異なるビュー間で、同時に変化させることができるために、景観内のより自由なナビゲーションが可能となる。加えて、遷移画像の計算のために用いる画像内により多くの情報が存在するために、表示される遷移画像の品質も向上する。
【００５０】
遷移は、一つの好ましい実施例においては、第一の画像の少なくとも一部の表示を、少なくとも一つの遷移画像の表示を介して、第二の画像の少なくとも一部の表示に変更するための関数を定義する。そして、ビューポイントとビューイング角度を連続的に変化できるようにアニメーションが示される。第一と第二の画像の一部のみを表示するときは、遷移画像内の、第一の画像或いは第二の画像のいずれからも情報を受けないエリアの表示は回避される。第一の画像と第二の画像の投影（projections）のどのポイントも遷移画像のポイント上に投射されないときが、この場合に相当する。
【００５１】
遷移は、もう一つの好ましい実施例においては、可逆的とされる。この場合は、遷移を第二の画像の少なくとも一部の表示から第一の画像の少なくとも一部の表示に変更するために用いることができる。こうして、同一の遷移を逆方向遷移に用いるでき、このため、画像間にたった一つの遷移を定義するのみで済む。
【００５２】
第一の画像を表現する頂点は、一つの好ましい実施例においては、更に、少なくとも一つの指定されるエッジを介しての、もう一つの頂点に向けてのリンクを含み、これによって、第一の画像の表示から、他方の頂点によって表される画像の表示への遷移が達成される。効果として、景観の様々な異なるビューを描写する数個の画像を通じてのナビゲーションを事前に定義することが可能となる。このリンクを起動すると、ナビゲーションが表示される。
【００５３】
このリンクは、ホットスポット或いはナビゲーションの他の手段、例えば、マウス移動に接続される。ユーザは、ホットスポットをクリックすること、或いはマウスを移動することで、ナビゲーションを起動する。リンクによって、ナビゲーションの際に、ビューイングポイントとビューイング角度がどの方向に変更されるかを示すこともできる。リンクは、ユーザに表示されるグラフオブジェクトに接続することもできる。リンクは、例えば、ボタンやテキストに接続することもできる。
【００５４】
第一と第二のエリアは、一つの好ましい実施例においては、予め定義される。この場合は、画像情報格納構造は、操作のために画像のどのエリアが用いられるべきかの情報を保持し、実際の操作はこれを用いて遂行される。
【００５５】
遷移は、一つの好ましい実施例においては、ユーザからの入力によって始動される。ユーザは、遷移を多くの異なるやり方にて、例えば、ボタンを、ポインティング手段、例えば、マウスにて押すこと、或いはポインティング手段を移動させることで、始動する。
【００５６】
ナビゲーションを表示する方法の一つの好ましい実施例においては、ユーザがどの画像が表示されるべきかを制御する。つまり、ユーザは、ビューイングポイント及びビューイング角度を自由に制御し、表示される画像を変更することができる。
【００５７】
もう一つの実施例によると、アニメーションが表示される。このアニメーションは、ある画像の表示から別の画像の表示に変更するための指定されたパスを形成する。この場合は、一連の指定された画像が表示される。アニメーションのパスは、どの遷移が用いられるべきかを定義する。つまり、第一の画像から第二の画像への遷移、及び場合によっては、追加の画像へのさならる遷移を示す。
【００５８】
本発明のこの方法の一つの好ましい実施例によると、この方法は、更に、第一と第二の画像を表示デバイスにダウンロードするステップを含む。
【００５９】
第一の画像のダウンロードは、遷移が開始される前に遂行される。操作が、遷移画像の生成のために、第一の画像のみを操作する場合は、第二の画像は、遷移を開始するまでは、ダウンロードする必要はない。そして、第二の画像は、第一の画像を遷移及び操作している最中にダウンロードされる。この方法では、第二の画像のダウンロード時間は、このダウンロードの最中に、第一の画像の表示からの遷移が表示されるためにあまり気にならなくなる。これは、遷移が、第一の画像のズームインから成るときは、この場合は、第二の画像は第一の画像内に完全に含まれるために、とりわけ有効である。この方法は、第二の画像の全ての描写が第一の画像の描写内に含まれるときは、ビューイング角度とビューイング位置が変化されるような遷移に対しても有効である。
【００６０】
この方法は、もう一つの好ましい実施例においては、更に、両方の画像の表示デバイスへのダウンロードを終えた段階で、第一の画像から第二の画像への遷移を起動するステップを含む。遷移は、操作を遂行するために必要とされる画像がダウンロードされた段階で起動される。操作の計算は、一つの好ましい実施例においては、表示デバイスの所で遂行される。この場合は、操作の際に生成されるデータは、低速な接続を通じてダウンロードする必要はなく、それが必要とされる所で生成される。
【００６１】
第一と第二の画像及び遷移にアクセスするステップは、一つの実施例においては、コンピュータプログラムにアクセスするステップを含み、コンピュータプログラムは、画像情報格納構造の記述を含むパラメータファイルを読み出す。コンピュータプログラムは、必要とされる或いは要請される画像を見つけ、画像情報格納構造或いはこの構造にてポイントされる位置にアクセスし、或いは、ダウンロードする。コンピュータプログラムは、一つの実施例においては、画像情報格納構造の記述を読み出す。この記述は、例えば、XML（eXtensivie Markup Language）から成る。ただし、任意の他の適当な言語にて書かれた記述を読み出すこともできる。
【００６２】
本発明の画像情報格納情報を作成するためのデバイスの一つの好ましい実施例においては、このデバイスは、更に、画像情報格納構造のグラフの概観を表示するための手段を備える。これにより、画像情報格納構造を作成するオペレータは、作成されている構造の全体像を容易に把握することが可能となる。
【００６３】
このデバイスは、もう一つの好ましい実施例においては、更に、操作において用いるための第一と第二の画像の対応点を定義するための手段を備える。良好な品質の遷移画像を伴う遷移を与える適当なポイント（点）が定義される。
【００６４】
このデバイスは、もう一つの好ましい実施例においては、更に、対応点を定義するためのガイドラインを表示するための手段を備える。これらガイドラインは、ユーザが、ポイントを正しく定義すること、及びそれらポイントが互いにどのように関連するかを把握するのに有効である。
【００６５】
このデバイスは、もう一つの好ましい実施例においては、更に、画像の、対応点がその内部に定義されるべき部分の拡大されたビューを表示するための手段を備える。これにより、オペレータによる対応点の正しい定義が更に容易になる。このデバイスは、好ましくは、更に、得られた画像を解像度においてスケールダウンするための手段を備える。これにより、画像構造内に格納されるべき画像を、小さなフォーマットにパックすることが可能となる。一つの好ましい実施例においては、拡大されたビューを表示するための手段は、高い解像度にて得られたの画像を用いる。
【００６６】
このデバイスは、一つの好ましい実施例においては、更に、定義された遷移を表示するための手段を備える。これにより、オペレータは、定義された遷移の品質を即座にチェックすることが可能となる。
【００６７】
このデバイスは、もう一つの好ましい実施例においては、更に、定義された遷移の表示を任意の点において停止するための手段を備える。これにより、オペレータは、遷移の各部分の品質をチェックすることが可能となる。遷移が凍結されるために、オペレータは、遷移の各部分を入念に調べることができる。
【００６８】
以下に、本発明を単に一例として、添付の図面を参照しながらより詳細に示す。
【発明を実施するための最良の形態】
【００６９】
図1には、画像の表示（presentation）へのアクセスが示される。画像情報格納構造（image information storing structure）1は、表示デバイス（presentation device）3にアクセスできるようなやり方にて格納される。画像情報格納構造は、サーバ2上に格納することも、或いはローカル的に格納ユニット上に格納することもできる。これは、更に、表示デバイス内或いは閲覧アソフトウェア（viewer software）内に埋め込むこともできる。アクセスは、コンピュータ網4、例えば、インターネットを通じて達成することも、或いは画像情報格納構造がローカル的に格納されている場合は、ファイルシステムを通じて達成することもできる。更に、コンピュータ網4は無線であり、表示デバイス3は移動電話から成ることも考えられる。
【００７０】
例えば、ホームページを通じてアクセスされる、サーバ2は、画像情報格納構造1を含む。この画像情報格納構造1は、様々な異なる画像及びこれら画像間の遷移（transitions）へのポインタ（pointers）或いは参照（references）を含む。サーバ2上に実際の画像及び遷移を格納する必要はない。ただし、画像情報格納構造1は、代替として、実際の画像及び遷移を含むこともできる。以下では、画像情報格納構造1は、実際の画像及び遷移を含むものとして説明される。
【００７１】
図2には、本発明による画像情報格納構造1がより詳細に示される。画像情報格納構造1は、少なくとも第一の画像6と第二の画像7、及び第一の画像6の表示（presentation）から第二の画像7の表示（presentation）に変換するための定義された遷移8の情報を含む。ただし、画像情報格納構造1は、好ましくは、数個の画像及びこれら画像間の遷移の情報を含む。この画像情報格納構造1の構成は、グラフとして、つまり、エッジ（edges）にて接続された頂点（vertices）として記述することができる。各頂点は一つの画像を含み、各エッジは、そのエッジにて接続された２つの画像間の遷移の情報を含む。
【００７２】
第一の画像6と第二の画像7は、その情報が実質的に対応する、エリア9、10を含む。対応する情報を有するこれらエリア9、10が、第一の画像6の表示から第二の画像7の表示への変換（transformation）を決定するために用いられる。この対応する情報は、両方の画像内に描写される物体（objects）或いは表面（surface）から構成することも、更に、第一の画像6と第二の画像7内の対応する物体の描写（depictions）から構成することもできる。この対応する情報の全て、或いは一部のみが遷移に対して用いられる。好ましい実施例においては、たった４つの対応点（correspondence points）のみが遷移に対して用いられる。この対応する情報は、好ましくは、平面（plane）、つまり、これら画像の描写（depiction）内に定義される平坦な面から成る。この平面を通じて、第一の画像6と第二の画像7の間のリレーション（relation）が、第一の画像6から第二の画像7への射影写像（projective mapping）を定義する平面を介して決定される。次に、このリレーションを用いて遷移8が定義される。この共通の平坦な面は、画像6、7のほんの小さな部分から成ることで十分である。遷移8は、景観（scenery）を、同一のビューイングポイント（viewing point）からではあるが、ただし、異なるビューイング角度（viewing angles）から描写する画像間に定義することも、或いは画像の一方が他方の画像の細部をより高い解像度にて示す画像間のズーミング（zooming）に対して定義することもできる。
【００７３】
第一の画像6から第二の画像7への遷移は、 第一の画像6の表示から第二の画像７の表示へのなめらかな変換のために、これら画像の少なくとも一つの定義された操作（defined manipulation）から成る。操作（manipulation）が定義されているということは、遷移の意図されるパスが知られていることを意味とする。ただし、実際の計算は、第一の画像6の表示から第二の画像７の表示への遷移が実際に行なわれるまでは遂行されない。この操作は、これら画像の対応する情報を用いる。この対応情報は、一つの実施例においては、これら画像内に描写されるある平面を定義する４つの対応点から成る。
【００７４】
一つの実施例においては、他の画像へのリンク（link）が各画像に接続される。これらリンクは、表示を変換するために特定のエッジを辿るグラフを通じてのパス（path）へのポインタから成る。リンクは、第一の画像6から第二の画像7への遷移8を遷移8を介して起動することも、更に、第一の画像から第三の画像への遷移を、第二の画像への第一の遷移と第三の画像への第二の遷移を介して起動することもできる。リンクは画像間で辿られるべきあるパス、つまり、どのエッジが辿られるべきかを指定する。リンクは、ホットスポット（hotspot）に接続することも、或いはナビゲーションのための他の手段、例えば、マウスの移動（mouse movement）に接続することもできる。ユーザは、リンクが接続されているエリアを起動することで遷移を起動することができる。代替として、リンクは、画像の特定の部分、例えば、その画像内の矢印に接続することも、或いは、その画像の、景観内の遷移がそこに向けて行なわれるべき画像と同一の部分を示すエリアに接続することもできる。更に、リンクは、別の頂点、例えば、その探索の時点において与えられている頂点から、ある頂点へのグラフ探索（graph search）をリクエストすることで形成することもできる。
【００７５】
次に、図3との関連で、操作（manipulation）について説明する。投射平面（projected plane）12が、第一の画像6と第二の画像7内に決定される。平面12は、４つの点13〜16にて定義される。これら４つの点13〜16は、二つの画像6、7内で対応する。これら対応点13〜16は、ホモグラフィー（同質異像：homography）を計算するために用いられる。ホモグラフィーについては、Paul Heckbertによる著書「Projective Mappings for Image Warping」, Rendering, 15-862; 26 Sept 1995においてより詳細に説明されている。これら対応点13〜16は、第一の画像内においては、u_i、v_iと命名され、第二の画像内においてはx_i、y_i と命名される（ここで、iは、0、1、2、3を表す）。ホモグラフィー行列Hは以下の8×8連立方程式を解くことで計算される：
【数１】

このホモグラフィー行列は、第一の画像6内の点を第二の画像7内の点に変換するために用いられる。一つの好ましい実施例においては、この変換は［0、0、1、1］平面12をパスする。図3においては、第一の画像6内の平面12から［0、0、1、1］平面12上への写像と、これに続く第二の画像7内の平面12上への写像が示される。画像を変換するためには他の幾つかの方法も存在する。変換は、対応点以外の情報、例えば、それら画像の対応する情報を含むエリア内の画像内容に基づいて行うこともできる。
【００７６】
第一の画像6から第二の画像7へのなめらかな変換を生成するためには、投射変換（写像）との関連で、内挿（interpolation）が遂行される。各対応点13〜16は、第一の画像6内の位置から第二の画像7内の位置への経路（パス）を辿る。このパスは、例えば、キーポイントセット（key point sets）を用いて指定される。キーポイントセットは、ある特定の遷移画像に対して対応点13〜16が有すべき位置を定義する。この変換においては、第一の画像6と第二の画像7は、最初と最後のキーポイントセットとなるが、対応点13〜16のパスを制御するために、第一と第二のキーポイントセット間により多くのキーポイントセットを挿入することもできる。これらキーポイントセット間の対応点13〜16の内挿のある位置が、幾つかの遷移画像を計算するために用いられ、これらが変換の際に表示される。これら遷移画像を順番に表示することで、なめらかな変換が生成される。
【００７７】
この変換は、カメラの回転に対応する変換が遂行される場合は、好ましくは、対応点13〜16に対する円形或いはアーチ状のパスを記述する。このやり方は、２つの画像間で回転される物体が変換の際に歪んで見えないために効果的である。もし、直線的なパスが用いられた場合は、この物体は変換の際により小さくなるところである。このため、変換がなめらかになる。更に、これらキーポイントセットは、遷移により第一と第二の画像のいずれにも存在しない情報を必要とするような遷移画像は生成されないように定義することもできる。第一の画像6と第二の画像7間で図4に矢印Aにて示されるようなの線形内挿が行なわれた場合は、このような事態が生じる恐がある。代りに、一つのキーポイントセットを用いた場合は、矢印Bにて示される代替パスが定義され、遷移画像は、第一の画像6と第二の画像7内に存在しないような情報は含まくなる。ただし、遷移の他のケースにおいては、線形パスを用いる方が良いこともある。
【００７８】
更に、遷移の際に第一の画像6と第二の画像7の一部のみが示される場合は、第一の画像6と第二の画像7のいずれにも存在しない情報を表示する危険を回避することができる。これは、第一の画像6と第二の画像7をズームインすることに対応する。この場合は、第一の画像6と第二の画像7の写像は、第一の画像6と第二の画像7を表示するときより多くの情報を表示する。この結果、第一の画像6と第二の画像7の少なくとも一つの画素が各遷移画像の各画素上に写像されることが保証される。
【００７９】
遷移画像内の、これらパラメータの位置、つまり、対応点13〜16は、遷移の進行の関数である。これら位置は、内挿等式、例えば、スプライン等式（spline equation）を用いて計算される。
【００８０】
この内挿過程の結果として、３つのポイントセット、つまり、第一の画像6のポイントセット、第二の画像7のポイントセット、及び遷移画像のポイントセットが生成される。これらポイントセットを用いて、一つは第一の画像6から遷移画像への、そしてもう一つは第二の画像7から遷移画像への２つのホモグラフィーが計算される。これらホモグラフィーを、それぞれ、第一の画像6と第二の画像7に適用することで、第一の画像6と第二の画像7の各画素が生成されるべき遷移画像の画像平面上に投射（写像）される。これら投射（写像）は、第一と第二の画像からの投射（写像）を遷移画像の各画素内に混合することで、一つの最終的な遷移画像に結合される。
【００８１】
図5には、第一の画像6と第二の画像7の一つの遷移画像への混合（blending）が示される。第一の画像6と第二の画像7の、各画素、つまり、二次元座標系内の離散点が対応するホモグラフィー行列の乗算によって変換される。次に、第一の画像6と第二の画像7の投射（写像）の結合或いは混合を用いて、遷移画像が計算される。元の画像（未変換の第一と第二の画像）の各画素には、重み値が割当てられる。本発明の一つの好ましい実施例においては、第一の画像6と第二の画像7からの画素の線型結合（linear combination）を用いて、遷移画像内の画素の値が決定される。この混合は、以下のように記述することができる：
【数２】

ここで、Pは遷移画像内の画素の値を表し、P₁は第一の画像6内の、遷移画像内の画素P上に写像される画素の値を表し、P₂は第二の画像7内の、遷移画像内の画素P上に写像される画素の値を表す。第一の画素6及び第二の画素7からの画素の重みは、パラメータα及びβにて決定される。一つの好ましい実施例においては、これら重みは、遷移の進行に依存して変化する。パラメータαは遷移が第一の画像6に近い場合に大きくされ、パラメータβは遷移が第二の画像７に近い場合に大きくされる。これは、以下のように記述することができる：
α＝ｆ（ｕ、ｖ、１−ｔ）
β＝ｆ（ｕ、ｖ、ｔ）
ここで、ｔ＝［0、1］は遷移の進行を記述するパラメータを表す。式からわかるように、パラメータα及びβは、関数ｆにも依存する。これは、第一の画像及び第二の画像内の画素の位置に依存する。こうして、画素の重みは、それが画像内のどこに位置するかに依存する。好ましくは、関数ｆは、二次元ベル曲線（two-dimensional bell-curve）とされるが、これは、画像の中央の画素に大きな重みを与え、画像の端の画素に小さな重みを与える。こうすることで、先に説明したエッジ効果（edge effects）が回避される。関数ｆは、以下のように記述することができる：
ｆ（ｕ、ｖ）＝１−（ｘ^２（３−２ｘ））^２
ｘ＝（（ｕ−０．５）^２＋（ｖ−０．５）^２）^１／２
ここで、ｕ、ｖ＝［１、０］は、変換されるべき画像内の画素の座標を表す。
【００８２】
これら対応点13〜16を、第一の画像6から第二の画像7への全変換に対して用いる必要はない。例えば、遷移のある段階において、別のセットの対応点を、用いられた第一のセットの対応点と置換することもできる。さらに、代替として、各遷移画像の計算に対して、一つではなく、複数のセットの対応点13〜16を用いることもできる。例えば、異なるセットの対応点を用いて、上述のやり方で、複数の中間遷移画像を計算し、これら中間遷移画像を混合することで、最終的な遷移画像を計算することもできる。
【００８３】
画像は、ある景観を、同一のビューポイントから異なるビューイング角度にて示すために、互いに関連することもある。遷移は、この場合は、ビューイング角度の回転から成る。画像は、更に、同一の平面を異なるビューイングポイントから示すために、互いに関連することもある。この平面は、ある湾曲した表面の小さな平坦部であることもある。これら異なるビューポイントが、ある平面を、異なる角度或いは異なる距離から示すこともある。画像は、更に、ある景観が同一のビューポイント及び同一のビューイング角度から示されるが、異なる焦点を有するために互いに関連することもある。例えば、第一の画像は、その景観を、ビューポイントに近い物体に焦点を置いて描写し、第二の画像は、その景観を、ビューポイントに遠い物体に焦点を置いて描写することもある。これら全ての状況において、両方の画像が操作のためには必要となる。画像は、更に、第二の画像が、第一の画像の一部のみを、ただし、より大きな解像度にて示すために、互いに関連することもある。この場合は、遷移は、第一の画像のみを操作することで遂行される。そして、第一の画像のズーミングが、第二の画像内に示される第一の画像のその部分に向かっての行なわれる。この場合は、遷移は、まだ両方の画像のダウンロードを終える前から開始することもできる。上述の様々な遷移を結合することで、様々な形態にて互いに関連する画像間の変換を遂行することもできる。
【００８４】
次に、図6との関連で、画像間の遷移を表示するための方法について説明する。表示（presentation）は、表示デバイス(presentation device)上で遂行される。表示デバイスは、ステップ20において、コンピュータ網、或いはローカルファイル構造を通じて、画像情報格納構造にアクセスする。ステップ22において、画像情報格納構造の画像及び遷移が表示デバイスにダウンロードされる。次に、ステップ24において、第一の画像の一部或いは全体が表示デバイス上に表示される。第二の画像と第一の画像から第二の画像への遷移のダウンロードを終えると、遷移が起動される。ステップ26において、ユーザが遷移をリクエストすると、ステップ28において、表示デバイスの所で、ダウンロードされた遷移を用いて、操作（manipulation）が計算される。次に、ステップ30において、遷移により遷移画像が表示されるが、これはユーザを第一の画像から第二の画像へとガイドする。遷移が終了すると、ステップ32において、第二の画像の一部或いは全体が表示される。第二の画像が表示された段階で、第三の画像への、或いは第一の画像に戻る、新たな遷移を始動することもできる。遷移は、画像情報格納構造の画像間で任意の順番で行うことができる。遷移は、更に、遷移画像が表示されている間に停止することもできる。その後、遷移を再び第一の画像を表示する方向に逆転させたり、第二の画像を表示する方向に継続したり、或いは第三の画像を表示する方向に新たな遷移を開始することもできる。
【００８５】
図7に示すように、画像40は、異なる画像への遷移を導く、複数のエリア41〜43に分割することができる。ポインタをあるエリア内に移動されると、遷移が始動される。一つの好ましい実施例においては、ユーザは、その遷移を開始するためには、ポインタをクリックすることを要求される。ただし、遷移は、ポインタをそのエリアの外側に移動させることで停止することもできる。すると、始動された遷移は、最後に表示された遷移画像の表示（presentation）から元の画像40の表示（presentation）へと逆転される。もう一つの好ましい実施例において、遷移は、ある点に達する前までのみ停止することができる。この場合は、遷移が元の画像40からその点より遠くまで達した場合は、その遷移は、ポインタの移動と関係なく完結される。この点はパラメータtにて指定される。遷移がまだ逆転することが可能な範囲内にあるときは、遷移は、元の画像40から別の画像へと変更することもできる。こうして、図7においては、元の画像40は、３つのエリア41〜43に分割され、元の画像40からの3つの異なる遷移を導く。そして、矢印Cにて示される元の画像40から左に移動する遷移は、左への遷移のパラメータtがこの限界値より小さな場合は、矢印Dにて示される上側方向への遷移に変更することもできる。
【００８６】
複数の画像が互いに重複する場合は、画像内のほとんど自由な移動が可能となる。ただし、これは遷移がこのｔの限界値以下に保たれた場合に限られる。
【００８７】
次に、図8及び9との関連で、画像情報格納構造を生成するためのエディタ（editor）について説明する。ただし、画像情報格納構造を生成する前に、対応する情報を有するエリアを持つ画像をデジタル形式にて捕捉する必要がある。次に、これら画像を用いて画像情報格納構造が生成される。
【００８８】
エディタは、２つのモードを有する。図8に示す第一のモードにおいては、画像が図式的に互いに関連付けられる。このモードにおいては、画像情報格納構造内で用いられる画像が互いに論理的に関連付けられる。つまり、これら画像が示されるように接続される。このモードにおいては、画像情報格納構造を生成するオペレータは、構造の全体を得る。用いられる画像は、寸画（thumnail images）50として示され、可能な遷移を示すライン51にて接続される。
【００８９】
画像或いは遷移を、例えば、マウスポインタにてこれらの任意の一つをクリックすることで、起動することで、オペレータは、図9に示すような、エディタの第二のモードに転送される。このモードにおいては、オペレータは、遷移を調べ、新たな遷移を作成したり、現存の遷移を改善したりする。表示された情報は、第二のモードにおいて４つの部分52−55に分割される。上側の二つの部分52、53においては、現在関心ある遷移に関連する２つの画像が表示される。オペレータは、これら２つの画像をクリックすることで、対応点13−16を定義する。オペレータが対応点を正しく定義できるように、画像内にガイドライン56が示され、これら点によって定義されるエリアが図解される。
【００９０】
オペレータが対応点13‐16を正しく定義するのをさらに助けるために、第二のモードにおける右下部分54内には、アクティブ画像のズームが示される。このズームは、例えば、画像を、画像情報格納構造内に格納される画像より高い解像度にて得ることで用いて行なわれる。次に、この高い解像度にて得られた画像が、その画像を画像情報格納構造内に格納するためにスケールダウンされる。対応点の定義もズームインされた画像内で訂正される。
【００９１】
更に、追加の画像を用いて、ある遷移画像内にキーポイントセット（key point set）、つまり、対応点13‐16のセットの位置が定義される。オペレータは、対応点13‐16の位置を、キーポイントセットとして定義することもできる。すると、第一の画像と第二の画像間の遷移の際に、ある遷移画像は、この追加の画像内に描写されるビューを示す。追加の画像は、画像情報格納構造内に格納する必要はなく、キーポイントセットを定義する目的に対してのみ用いられる。
【００９２】
更に、第二のモードにおける左下部分55内には、定義された対応点の結果として得られる遷移が示される。この遷移はアニメーションとして見ることができる。遷移を通じての自由なナビゲーションも許される。このため、オペレータは、遷移の全ての部分を落ち着いて調べ、遷移の満足できない部分を見つけることができる。
【００９３】
オペレータは、エディタのこれら２つのモード間をシフトし、画像を互いに論理的に関連付け、必要とされる全ての遷移を生成することができる。画像情報格納構造が完成すると、エディタは、画像及び遷移を、画像及び遷移間の必要とされる関係（relations）を維持したまま格納する。
【００９４】
上に説明した好ましい実施例は制限を意図するものではなく、多くの代替の形態がクレームにて定義される保護の範囲内で可能であることに注意する。例えば、画像の表示は、その上に画像情報格納構造が格納されるコンピュータに直接接続された表示デバイス上で遂行することもできる。
【００９５】
更に、画像は、異なるビューポイントから景観を写している生のカメラから捕捉することもできる。景観内のナビゲーションのためにカメラから捕捉された静止画を用いることもできる。そして生のカメラにてナビゲーションに用いられた静止画を絶えず置換することもできる。この場合は、画像の対応情報を含むエリアを事前に定義することは不要となる。ただし、景観が容易に定義できる平面、例えば、壁やドア等を有する場合は、遷移を遂行するとき、これらエリアを自動的に定義することもできる。更に、同一の景観が絶えず監視されている場合は、、絶えず描写（監視）される物体、例えば、ドアに、常に同一の対応点を用いることもできる。
【００９６】
更に、遷移画像を計算するための操作と同時に、画像の他の操作を遂行することもできる。例えば、遷移の際に、画像の輝度や色を操作することもできる。
【００９７】
更に、画像情報格納構造の画像をダウンロードする順番を、ユーザによってある画像が見られる確率の統計を維持することで制御することもできる。例えば、画像情報格納構造が多量の画像を含む場合、最も人気のある画像を最初にダウンロードすることもできる。
【図面の簡単な説明】
【００９８】
【図１】本発明による画像情報格納構造及びこのアクセス性を示す略図である。
【図２】画像情報格納構造の画像の全体像を示す略図である。
【図３】第一の画像内の平面の第二の画像内の平面への写像を示す略図である。
【図４】遷移のパスを示す略図である。
【図５】第一の画像の写像と第二の画像の写像間の混合を示す略図である。
【図６】本発明による画像を表示するための方法を示す流れ図である。
【図７】画像内の遷移を起動するためのエリアを示す略図である。
【図８】本発明による画像格納情報を形成するためのデバイスの第一のモードを示す略図である。
【図９】本発明による画像格納情報を形成するためのデバイスの第二のモードを示す略図である。
【符号の説明】
【００９９】
1 画像情報格納構造
2 サーバ
3 表示デバイス
4 コンピュータ網
6 第一の画像
7 第二の画像
8 定義された遷移
9、10 エリア
12 投射（写像）平面
50 寸画
56 ガイドライン

Claims (55)

1. 景観を視覚的に表示するための景観の画像ベースのデジタル表現であって、この表現が画像情報格納構造内に格納され、この画像情報格納構造が
   各々がデジタル画像を表す頂点と、
   第一の頂点と第二の頂点とを互いに接続するエッジとを含み、
   各エッジが第一の頂点内の第一の画像と第二の頂点内の第二の画像間の遷移の情報を表し、第一と第二の画像が景観の異なるビューを描写し、第一の画像が第一のエリアを有し、第二の画像が第二のエリアを有し、第一のエリアの描写が第二のエリアの描写と実質的に対応し、
   前記遷移情報が第一と第二の画像の少なくとも一つの操作を定義し、この操作が少なくとも一つの遷移画像を計算することから成り、この遷移画像が第一と第二の画像内に描写される景観の新たなビューを描写することを特徴とする画像ベースのデジタル表現。
2. 前記操作が景観の異なるビューを描写する数個の遷移画像を計算することから成ることを特徴とする請求項１記載の画像ベースのデジタル表現。
3. 前記遷移情報が、その描写が第一のビューイングポイントからの平坦な面を含む第一の画像の表示から、その描写が第二のビューイングポイントからの同一の平坦な面を含む第二の画像の表示への変更に対する操作を定義することを特徴とする請求項１或いは２記載の画像ベースのデジタル表現。
4. 前記遷移情報が、景観をあるビューイングポイントから第一のビューイング角度にて描写する第一の画像の表示から、その景観を同一のビューイングポイントから第二のビューイング角度にて描写する第二の画像の表示に変更するための操作を定義することを特徴とする請求項１或いは２記載の画像ベースのデジタル表現。
5. 前記遷移情報が、景観を第一のビューイングポイントからあるビューイング角度にて描写する第一の画像の表示から、その画像を第二のビューイングポイントから同一のビューイング角度にて描写する表示に変更するための操作を定義することを特徴とする請求項１或いは２記載の画像ベースのデジタル表現。
6. 前記操作が投射的変換（写像）から成ることを特徴とする請求項１乃至５のいずれかに記載の画像ベースのデジタル表現。
7. 前記操作が前記第一と第二のエリア内の画像に基づくことを特徴とする請求項１乃至６のいずれかに記載の画像ベースのデジタル表現。
8. 前記操作が前記第一と第二のエリア内の対応点の情報を用いることを特徴とする請求項１乃至７のいずれかに記載の画像ベースのデジタル表現。
9. 前記遷移情報が、前記対応点を前記第一の画像のある位置から前記第二の画像内の別の位置に移動するための遷移の進行の関数を定義することを特徴とする請求項８記載の画像ベースのデジタル表現。
10. 前記遷移情報が、更に、ポイントセットを含み、これがある特定の遷移画像内の対応点の位置を定義することを特徴とする請求項８或いは９記載の画像ベースのデジタル表現。
11. 前記遷移画像内のあるポイントが、第一の画像内のあるポイントの遷移画像内の同一のポイント上への写像と第二の画像内のあるポイントの遷移画像内の同一のポイント上への写像を混合することで計算されることを特徴とする請求項１乃至１０のいずれかに記載の画像ベースのデジタル表現。
12. 前記遷移情報が、前記混合に対する重みを規定し、これら重みが遷移画像の計算に対する第一と第二の画像内の各ポイントの影響を規定することを特徴とする請求項１１記載の画像ベースのデジタル表現。
13. 前記重みが所定の関数に従って第一と第二の画像内で変えられることを特徴とする請求項１２記載の画像ベースのデジタル表現。
14. 第一と第二の画像の重みが異なる遷移画像の計算に対して遷移の進行の関数として変えられることを特徴とする請求項１２或いは１３記載の画像ベースのデジタル表現。
15. 前記操作が、遷移画像を計算するために少なくとも一つの追加の画像を用い、第一、第二及び追加の画像が景観の異なるビューを描写し、第一の画像が第一のエリアを有し、第二の画像が第二のエリアを有し、追加の画像が第三のエリアを有し、第一のエリアの描写が第二のエリアと第三のエリアの描写と実質的に対応することを特徴とする請求項１乃至１４のいずれかに記載の画像ベースのデジタル表現。
16. 前記遷移情報が第一の画像の少なくとも一部の表示を、少なくとも一つの遷移画像の表示を介して、第二の画像の少なくとも一部の表示に変更するための関数を定義することを特徴とする請求項１乃至１５のいずれかに記載の画像ベースのデジタル表現。
17. 前記遷移が可逆的であり、前記遷移を第二の画像の少なくとも一部の表示を第一の画像の少なくとも一部の表示に変更するために用いることができることを特徴とする請求項１６記載の画像ベースのデジタル表現。
18. 前記第一の画像を表す頂点が、更に、もう一つの頂点へのリンクを含み、このリンクが第一の画像の表示からこのもう一つの頂点によって表される画像の表示への遷移に対して指定された少なくとも一つのエッジを介して接続されることを特徴とする請求項１乃至１７のいずれかに記載の画像ベースのデジタル表現。
19. 前記リンクが第一のエリアに接続されることを特徴とする請求項１８記載の画像ベースのデジタル表現。
20. 前記第一と第二のエリアが予め定義されることを特徴とする請求項１乃至１９のいずれかに記載の画像ベースのデジタル表現。
21. 前記遷移がユーザからの入力により制御できることを特徴とする請求項１乃至２０のいずれかに記載の画像ベースのデジタル表現。
22. デジタル画像にて表示される景観内のナビゲーションを表示するための方法であって、
    第一と第二のデジタル画像にアクセスするステップであって、第一と第二のデジタル画像が景観の異なるビューを描写し、第一の画像は第一のエリアを有し、第二の画像は第二のエリアを有し、第一のエリアの描写は第二のエリアの描写に実質的に対応するステップと、
    第一の画像と第二の画像間の遷移の情報にアクセスするステップであって、前記遷移が第一と第二の画像の少なくとも一つの操作を定義するステップと、
    前記定義された操作を用いて少なくとも一つの遷移画像を決定するステップであって、前記遷移画像が第一と第二の画像内に描写される景観の新たなビューを描写するステップと、
    景観内の視覚的ナビゲーションを、景観のあるビューを描写する画像の表示を景観の異なるビューを描写する別の画像の表示と置換することで、遂行するステップと、を含むことを特徴とする方法。
23. ユーザがどの画像が表示されるべきかを制御することを特徴とする請求項２２記載の方法。
24. アニメーションが表示され、このアニメーションがある画像の表示から別の画像の表示に変更するための指定されるパスを形成することを特徴とする請求項２２或いは２３記載の方法。
25. 前記アニメーションの表示がユーザにより制御できることを特徴とする請求項２４記載の方法。
26. 更に、前記第一と第二の画像を表示デバイスにダウンロードするステップを含むことを特徴とする請求項２２乃至２５のいずれかに記載の方法。
27. 前記操作の計算が表示デバイスの所で遂行されることを特徴とする請求項２６記載の方法。
28. 更に、両方画像が表示デバイス上にダウンロードされた段階で、第一の画像から第二の画像への遷移を起動するステップを含むことを特徴とする請求項２６或いは２７のいずれかに記載の方法。
29. 第一と第二の画像及び遷移にアクセスするステップが、コンピュータプログラムにアクセスするステップから成り、コンピュータプログラムが画像情報格納構造にアクセスすることを特徴とする請求項２２乃至２８のいずれかに記載の方法。
30. 第一の画像の表示を、第二の画像の表示への遷移がなされるように変更するための画像情報格納構造であって、この画像情報格納構造が表示デバイスにてアクセスでき、
    各々が画像を表す頂点と、
    第一の頂点と第二の頂点とを互いに接続するエッジとを含み、各エッジが第一の頂点内の第一の画像から第二の頂点内の第二の画像への遷移の情報を表し、第一の画像が第一のエリアを有し、第二の画像が第二のエリアを有し、第一のエリア内の情報が第二のエリアの情報と実質的に対応し、
    前記遷移情報が第一と第二の画像の少なくとも一つの操作を定義し、この操作が、第一の画像の表示を、第二の画像の表示への変換が少なくとも一つの遷移画像の表示を介してなされるように、変更するための関数を形成することを特徴とする画像情報格納構造。
31. 第一の画像の表示を、第二の画像の表示への遷移がなされるように変更するための画像情報格納構造であって、この画像情報格納構造が表示デバイスにてアクセスでき、
    第一の画像及び第二の画像であって、第一の画像が第一のエリアを有し、第二の画像が第二のエリアを有し、第一のエリア内の情報が第二のエリア内の情報と実質的に対応する、第一の画像及び第二の画像と、
    第一の画像から第二の画像への遷移の情報とを含み、この遷移情報が第一と第二の画像の少なくても一つの操作を定義し、この操作が、第一の画像の表示を、第二の画像の表示への変換が少なくとも一つの遷移画像の表示を介してなされるように変更するための関数を形成する、ことを特徴とする画像情報格納構造。
32. デジタル画像を表示するための方法であって、
    第一の画像と第二のデジタル画像にアクセスするステップであって、第一の画像が第一のエリアを有し、第二の画像が第二のエリアを有し、第一のエリア内の情報が第二のエリア内の情報と実質的に対応する、ステップと、
    第一の画像から第二の画像への定義された遷移の情報にアクセスするステップと、
    第一の画像を表示デバイス上に表示するステップと、
    第一と第二の画像の少なくとも一つの操作を計算することで第一の画像から第二の画像への遷移を遂行するステップと、
    前記操作にて生成された少なくとも一つの遷移画像を表示デバイス上に表示するステップと、
    第二の画像を表示デバイス上に表示することで、第一の画像の表示から第二の画像の表示への遷移を完結させるステップと、を含むことを特徴とする方法。
33. 景観を視覚的に表示するために景観の画像ベースのデジタル表現を形成するためのデバイスであって、
    景観の異なるビューを描写する第一と第二のデジタル画像を得るための手段と、
    第一のエリア内の描写が第二のエリア内の描写と実質的に対応するように第一の画像の第一のエリアと第二の画像の第二のエリアを定義するための手段と、
    第一の画像と第二の画像間の遷移の情報を定義するための手段であって、この遷移情報が第一と第二の画像の少なくとも一つの操作を定義し、この操作は少なくとも一つの遷移画像の計算から成り、この遷移画像は第一と第二の画像内に描写される景観の新たなビューを描写する、手段と、
    第一と第二の画像を画像情報格納構造のグラフ内に二つの頂点として格納するためと、第一と第二の画像間の定義された遷移情報を画像情報格納構造のグラフ内にこれら２つの頂点を互いに接続するエッジとして格納するための手段と、を備えることを特徴とするデバイス。
34. 更に、前記画像情報格納構造のグラフの概観を表示するための手段を備えることを特徴とする請求項３３記載のデバイス。
35. 更に、第一と第二の画像の対応点を操作において用いるために定義するための手段を備えることを特徴とする請求項３３或いは３４記載のデバイス。
36. 更に、対応点を定義するためのガイドラインを表示するための手段を備えることを特徴とする請求項３５記載のデバイス。
37. 更に、画像の、その内部に対応点を定義すべき部分の拡大されたビューを表示するための手段を備えることを特徴とする請求項３５或いは３６記載のデバイス。
38. 更に、得られた画像を解像度においてスケールダウンするための手段を備えることを特徴とする請求項３７記載のデバイス。
39. 前記拡大されたビューを表示するための手段が、高い解像度にて得られた画像を用いることを特徴とする請求項３７記載のデバイス。
40. 更に、前記定義された遷移を表示するための手段を備えることを特徴とする請求項３３乃至３９のいずれかに記載のデバイス。
41. 更に、前記定義された遷移の表示を任意の点において停止するための手段を備えることを特徴とする請求項４０記載のデバイス。
42. 景観を視覚的に表現するために景観の画像ベースのデジタル表現を形成するための方法であって、
    景観の異なるビューを描写する第一と第二のデジタル画像を得るステップと、
    第一のエリア内の描写が第二のエリア内の描写と実質的に対応するように第一の画像の第一のエリアと第二の画像の第二のエリアを定義するステップと、
    第一の画像と第二の画像間の遷移の情報を定義するステップであって、この遷移情報が第一と第二の画像の少なくとも一つの操作を定義し、この操作が少なくとも一つの遷移画像の計算から成り、この遷移画像が第一と第二の画像内に描写される景観の新たなビューを描写する、手段と、
    第一と第二の画像を画像情報格納構造のグラフ内の二つの頂点として格納し、更に、第一と第二の画像間の定義された遷移情報を画像情報格納構造のグラフ内のこれら２つの頂点を互いに接続するエッジとして格納するステップと、を含むことを特徴とする方法。
43. 更に、前記画像情報格納構造のグラフの概観を表示するステップを含むことを特徴とする請求項４２記載の方法。
44. 更に、第一と第二の画像の対応点を操作において用いるために定義するステップを含むことを特徴とする請求項４２或いは４３記載の方法。
45. 更に、対応点を定義するためのガイドラインを表示するステップを含むことを特徴とする請求項４４記載の方法。
46. 更に、画像の、その内部に対応点が定義されるべき部分の拡大されたビューを表示するステップを含むことを特徴とする請求項４３或いは４４記載の方法。
47. 更に、定義された遷移を表示するステップを含むことを特徴とする請求項４２乃至４６のいずれかに記載の方法。
48. 更に、定義された遷移の表示を任意の点において停止するステップを含むことを特徴とする請求項４７記載の方法。
49. 景観を視覚的に表示するために景観の画像ベースのデジタル表現を形成するためのコンピュータプログラムであって、
    景観の異なるビューを描写する第一と第二のデジタル画像を得るためのコードと、
    第一のエリア内の描写が第二のエリア内の描写と実質的に対応するように第一の画像の第一のエリアと第二の画像の第二のエリアを定義するためのコードと、
    第一の画像と第二の画像間の遷移の情報を定義するためのコードであって、この遷移情報が第一と第二の画像の少なくとも一つの操作を定義し、この操作が少なくとも一つの遷移画像の計算から成り、この遷移画像が第一と第二の画像内に描写される景観の新たなビューを描写する、コードと、
    第一と第二の画像を画像情報格納構造のグラフ内の二つの頂点として格納するため、及び第一と第二の画像間の定義された遷移情報を画像情報格納構造のグラフ内のこれら２つの頂点を互いに接続するエッジとして格納するためのコードと、含むことを特徴とするコンピュータプログラム。
50. 更に、画像情報格納構造のグラフの概観を表示するためのコードを含むことを特徴とする請求項４９記載のコンピュータプログラム。
51. 更に、第一と第二の画像の対応点を操作において用いるために定義するためのコードを含むことを特徴とする請求項４９或いは５０記載のコンピュータプログラム。
52. 更に、対応点を定義するためのガイドラインを表示するためのコードを含むことを特徴とする請求項５１記載のコンピュータプログラム。
53. 更に、画像の、その内部に対応点が定義されるべき部分の拡大されたビューを表示するためのコードを含むことを特徴とする請求項５１或いは５２記載のコンピュータプログラム。
54. 更に、定義された遷移を表示するためのコードを含むことを特徴とする請求項４９乃至５３のいずれかに記載のコンピュータプログラム。
55. 更に、定義された遷移の表示を任意の点において停止するためのコードを含むことを特徴とする請求項５４記載のコンピュータプログラム。

Images