JP2005149409A - 画像再生方法及び装置 - Google Patents

Abstract

【課題】アノテーションの表示位置を仮想空間内の視点位置からのオブジェクトの見え方に応じて変えることにより、アノテーションとオブジェクトの対応の誤認を防止する。
【解決手段】操作部１０により、実写画像中のオブジェクトに対して、アノテーションを正面位置に表示する正面モードと、アノテーションをオブジェクト上に表示するオブジェクトモードを実行すべき第２視点位置範囲が視点位置の移動経路上に設定される。アノテーション表示位置決定部５０は、移動経路に沿った視点位置の移動に応じて実写画像群を再生する間、視点位置が第１視点範囲にある場合、オブジェクトのアノテーションに対して上記正面モードを実行する。また、視点位置が第２視点範囲にある場合は、上記アノテーションに対してオブジェクトモードを実行する。
【選択図】図１

Description

本発明は、現実空間の撮影によって得られた実写画像データをもとに構築される仮想空間において、実写画像上にアノテーションを表示する機能を備えた画像再生方法及び装置に関する。

移動体に搭載された撮影装置によって撮影された実写画像データをもとに、撮影した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（例えば、非特許文献１、または非特許文献２などを参照）。

実写画像データをもとに撮影した現実空間を仮想空間として表現する手法としては、実写画像データから現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や写実性の点で限界がある。一方、幾何形状モデルの再現を行わずに、実写画像を用いて仮想空間を表現するImage-Based Rendering（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。また、都市や町のような広大な空間の幾何形状モデルを作成するためには膨大な時間や労力が必要とされるが、ＩＢＲ技術ではそのような時間や労力は必要とされないという長所も有する。

ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、体験者の仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各画像フレームと仮想空間内の位置を対応付けて保存しておき、体験者の仮想空間における位置と視線方向に基づいて対応する画像フレームを取得し、これを再生する。

また、このような仮想空間内のウォークスルーにおいては、体験者が各視点位置で所望の方向を見ることができるように、各視点位置に対応する画像フレームを再生時の画角よりも広い範囲をカバーするパノラマ画像で保存しておく。そして、再生時には、体験者の仮想空間内の視点位置に基づいてパノラマ画像を読出し、視線方向に基づいて部分画像をパノラマ画像から切り出して表示する。仮想空間内における視点位置の軌跡が撮影装置を搭載した車輌の軌跡と同一である場合、観察者はあたかも自分がその車輌に乗って走っているかのような感覚を味わうことができる。

さらに、このような仮想空間内のウォークスルーにおいては、表示画像中のビルの上にビルの名前などのアノテーション（注釈）を合成して表示することにより、観察者により豊富な情報を提供することができる。また、実写画像上では暗くて見えにくい標識などをアノテーションとして見やすく表示することも可能である。
遠藤、片山、田村、廣瀬、渡辺、谷川："移動車輌搭載カメラを用いた都市空間の電脳映像化について"（信学ソサイエティ、PA-3-4、pp.276-277、1997年） 廣瀬、渡辺、谷川、遠藤、片山、田村："移動車輌搭載カメラを用いた電脳映像都市空間の構築(2)−実写画像を用いた広域仮想空間の生成−"（日本バーチャルリアリティ学会第2回大会論文集、pp.67-70、1997年）

しかしながら、前述のようなＩＢＲ技術によって構築されているウォークスルーシステムにおいて、アノテーションを常にビルなどのオブジェクトの上に表示しようとすると、アノテーションを表示したいオブジェクトが他のオブジェクトによって隠蔽されている場合には、そのアノテーションがどのオブジェクトに関するアノテーションか識別することができなくなってしまう。或いはアノテーションとオブジェクトとの対応付けを誤認してしまう。また、仮想空間内の視点位置とオブジェクトの距離が遠い場合、オブジェクトが小さく見えるため、オブジェクトがアノテーションに隠れてしまう可能性がある。

本発明は、上記の課題に鑑みてなされたものであり、アノテーションの表示態様を、仮想空間内の視点位置とオブジェクトの位置関係に応じて変更することにより、アノテーションが対象とするオブジェクトの誤認を防止することを目的とする。

上記の目的を達成するための本発明による画像再生方法は、
実写画像群によって構成される仮想空間内でアノテーションを表示可能な画像再生方法であって、
実写画像中のオブジェクトに対して、アノテーションを該オブジェクトの位置にかかわらず所定の位置に表示する第１モードを実行する第１視点位置範囲と、アノテーションを該オブジェクト上に表示する第２モードを実行する第２視点位置範囲が視点位置の移動経路上に設定されたアノテーション情報を読み取る工程と、
前記移動経路に沿った視点位置の移動に応じて前記実写画像群を再生する間、該視点位置が前記第１視点範囲もしくは前記第２視点範囲にあるかを判定する判定工程と、
前記オブジェクトのアノテーションを、前記判定工程により前記視点位置が前記第１視点範囲にあると判定された場合は前記第１モードで表示し、前記第２視点範囲にあると判定された場合は前記第２モードで表示する表示制御工程とを備える。

また、上記の目的を達成するための本発明による画像再生装置は以下の構成を備える。すなわち、
実写画像群によって構成される仮想空間内でアノテーションを表示可能な画像再生装置であって、
実写画像中のオブジェクトに対して、アノテーションを該オブジェクトの位置にかかわらず所定の位置に表示する第１モードを実行する第１視点位置範囲と、アノテーションを該オブジェクト上に表示する第２モードを実行する第２視点位置範囲が視点位置の移動経路上に設定されたアノテーション情報を保持する保持手段と、
前記移動経路に沿った視点位置の移動に応じて前記実写画像群を再生する間、該視点位置が前記第１視点範囲もしくは前記第２視点範囲にあるかを判定する判定手段と、
前記オブジェクトのアノテーションを、前記判定手段により前記視点位置が前記第１視点範囲にあると判定された場合は前記第１モードで表示し、前記第２視点範囲にあると判定された場合は前記第２モードで表示する表示制御手段とを備える。

上記の構成によれば、アノテーションの表示位置を仮想空間内の視点位置とオブジェクトの位置関係に応じて変えることにより、ユーザはアノテーションとオブジェクトとの対応を容易に、正しく認識することができる。

以下、添付図面を参照しながら、本発明の好適な実施形態を説明する。

＜第１実施形態＞
まず、本実施形態による仮想空間のウォークスルーシステムについて説明する。本実施形態のウォークスルーシステムでは、実写画像データからパノラマ画像データを生成し、このパノラマ画像データを、現実空間の位置に対応する地図上の位置と対応付けて保持する。ここで、実写画像データは、例えば自動車などの移動体に搭載された複数の撮影装置によって撮影されたものである。そして、体験者の仮想空間における視点位置（地図上の位置）と視線方向に応じて、保持されているパノラマ画像データから表示画像を生成することにより、仮想空間内のウォークスルーを行う。

図１は、本実施形態によるウォークスルーシステムの機能構成を説明するブロック図である。本ウォークスルーシステムを構成する画像再生装置１は、操作部１０、視点位置・視線方向決定部２０、地図データ保存部３０、画像再生制御部４０、アノテーション表示位置決定部５０、アノテーションデータ保存部６０、画像データ保存部７０、表示部８０を有する。

図２は、本実施形態における画像再生装置１のハード構成を示すブロック図である。図２に示したハード構成は通常のパーソナルコンピュータの構成と同等である。図２において、ディスク１０５はハードディスクやＣＤ−ＲＯＭ等の外部記憶媒体であり、ＣＰＵ１０１が必要に応じて必要なデータを読み取ることができる。画像データ保存部７０、地図データ保存部３０、アノテーションデータ保存部６０はディスク１０５によって構成される。

ＣＰＵ１０１は、ＲＯＭ１０６に格納されたプログラムを実行することにより、或いはディスク１０５または他の外部記憶装置（不図示）等に保存されているプログラムをＲＡＭ１０７へロードして実行することにより、視点位置・視線方向決定部２０、画像再生制御部４０、アノテーション表示位置決定部５０として機能する。

また、ＣＰＵ１０１が表示コントローラ１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２はフレームバッファ１０３を用いて表示器１０４に各種の表示を行なう。ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、上述の表示部８０を構成する。なお、図２では表示部８０の表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示部８０に利用可能な表示器は陰極線管に限らず、液晶表示器等を用いてもよいことはもちろんである。

マウス１０８、キーボード１０９及びジョイスティック１１０は、当該画像再生装置１へのユーザの操作入力を行うためのものであり、上述の操作部１０を構成する。

次に、以上の構成を備えた第１実施形態のウォークスルーシステムにおける、画像再生装置１の動作の概要について説明する。

操作部１０が有するマウス１０８、キーボード１０９、ジョイスティック１１０等へのユーザ操作に基づいて視点位置の移動パラメータ、視線方向の回転パラメータが生成される。なお、第１実施形態では、視点位置・視線方向の制御にジョイスティック１１０を用いているが、ゲームコントローラ等の他の入力装置で行ってもよい。ジョイスティック１１０は、スティックの傾斜角と回転角を独立に制御することができる。なお、本実施形態では、ジョイスティック１１０を傾斜させる操作を仮想空間内での視点位置の移動に、ジョイスティック１１０を左右に回転させる動作を視線方向の回転に対応させる。

地図データ保存部３０は、２次元地図画像データを格納する。視点位置・視線方向決定部２０は、操作部１０からの移動パラメータ、回転パラメータをもとに、地図データ保存部３０に保存されている地図画像上における観察者の視点位置、視線方向を決定する。画像データ保存部７０は、地図上の各位置に対応したパノラマ画像データを格納する。なお、画像データ保存部７０は、画像再生装置１のローカルに存在する必要はなく、ネットワーク上に設置して、ネットワークを介して画像データを読み出すようにしてもよい。画像再生制御部４０は、視点位置・視線方向決定部２０から、観察者の地図上での視点位置及び視線方向を受け取り、その視点位置に対応した画像データを画像データ保存部７０から読み出す。

次に、第１実施形態による、地図上の視点位置と画像データを対応付ける対応付けデータのデータ格納形態について説明する。

本実施形態では、観察者の移動を撮影経路上に限定する。そして、交差点（分岐点）や曲がり角等に区分点を設定し、それら区分点と、２つの区分点に挟まれた道を用いて移動経路を表現する。区分点は２次元地図画像上に設定され、道は区分点に挟まれた線分となる。各区分点や道にはＩＤが割り当てられ、区分点には対応する実空間の位置で撮影されたパノラマ画像が、道には両端の区分点に割り当てられたパノラマ画像に挟まれたパノラマ画像群が割り当てられる。

図３はこの様子を説明する図である。図３において、ＩＤがＣ１である区分点とＣ２である区分点に挟まれた線分（道）にＲ１というＩＤが付与されている。そしてＧＰＳデータ等に基づいて区分点Ｃ１とＣ２に対応するパノラマ画像が特定される。この結果、区分点Ｃ１にはフレーム番号ｎのパノラマ画像が、区分点Ｃ２にはフレーム番号ｎ＋ｍのパノラマ画像が割り当てられる。区分点にパノラマ画像が割り当てられると、区分点Ｃ１とＣ２に挟まれた道Ｒ１には自動的にフレーム番号ｎ＋１からｎ＋ｍ−１までのパノラマ画像群が割り当てられる。

また、図４の（ａ）に示すように、各区分点は、対応するパノラマ画像と地図上での２次元座標を属性として持つ。同様に、図４（ｂ）に示すように、各道は対応するパノラマ画像と各パノラマ画像の地図上での２次元座標を有する。パノラマ画像の地図上での２次元座標は、ＧＰＳデータによって得られる緯度・経度データから求められるが、コンピュータ・ビジョンの技術を利用して画像情報から求めてもよい。また、両端の区分点の座標のみを求め、当該区分点間の道に含まれる各パノラマ画像の地図上の２次元座標は補間によって求めてもよい。

更に、画像再生制御部４０は、アノテーション表示位置決定部５０に地図上の視点位置を与える。アノテーション表示位置決定部５０は、受け取った視点位置情報をもとにアノテーションの表示位置を決定し、画像再生制御部４０にアノテーション表示位置を与える。アノテーションの表示位置の決定方法については後述する。画像再生制御部４０は、表示部８０に表示する画角にあわせてパノラマ画像を切り出して射影変換を行い、アノテーション表示位置に従ってアノテーション画像を合成して表示部８０に表示する画像を生成する。そして、表示部８０は画像再生制御部４０により生成された画像を表示する。

次に、アノテーション表示位置決定部５０の動作について詳細に説明する。図５に示すように、本実施形態では、区分点に挟まれる道上において、パノラマ画像の正面方向は道の方向、つまり撮影時の進行方向であるとする。

図６はアノテーション表示位置決定部５０におけるアノテーション表示位置決定方法を説明する図である。ここでは、建物Ａに関するアノテーションを、区分点Ｃ１からＣ４の間で表示させる。

本実施形態では、３種類のアノテーション表示方法（「正面モード」、「オブジェクトモード」、「補間モード」）を視点位置に応じて使い分ける。例えば、建物Ａ上にアノテーションを表示する場合、図６中に破線で示すように、区分点Ｃ１、Ｃ２及び道Ｒ１上においては、建物Ｂに建物Ａが隠されてしまい、アノテーションが建物Ｂ上に表示されてしまう。そこで、建物Ａに関するアノテーションが建物Ｂ上に表示されないように、区分点Ｃ１とＣ２、道Ｒ１上においては、建物Ａに関するアノテーションを建物Ａの方向にではなく、パノラマ画像の正面方向に表示する。このようにアノテーションを正面方向に表示することにより、アノテーションを看板や標識として利用することができる。このようなアノテーションの表示方法「正面モード」と称する。

また、区分点Ｃ３とＣ４、道Ｒ３上においては、建物Ａが建物Ｂに隠れないので建物Ａ上に表示する。このようなアノテーションの表示方法を「オブジェクトモード」と称する。さらに、アノテーションが突然消えたりせずに連続して見えるように、区分点Ｃ２からＣ３、道Ｒ２上においては、正面方向から徐々に建物Ａの方向に向くようにアノテーションの表示方向を補間する。このようなアノテーションの表示方法を「補間モード」と称する。

なお、区分点Ｃ１〜Ｃ４は、ユーザが実写画像を再生しながらマニュアルで設定するものとする。すなわち、ユーザはアノテーションの表示方法を「正面モード」から「補間モード」へ変化させるべき位置を区分点Ｃ２として、「補間モード」から「オブジェクトモード」へ変化させるべき位置を区分点Ｃ３として設定する。この設定の結果、アノテーションに関して図８のようなデータが生成、格納されることになる。詳細は後述する。

更にアノテーションの表示位置決定方法を詳細に説明する。簡単のために、図６に示すように、区分点Ｃ１をｘｙ平面の原点とし、区分点Ｃ２、Ｃ３、Ｃ４はすべてｘ軸上にあるとする（すなわち道Ｒ１、Ｒ２、Ｒ３はｘ軸の一部である）。

図６において、建物Ａのアノテーションを表示したい位置の座標は（ｘ_a,ｙ_a)である。区分点Ｃ３に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ₁（rad）で表すと、次式で表される。

また、区分点Ｃ４に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θ₂で表すと、次式で表される。

同様にして、道Ｒ３上の点(x,0)に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置は、パノラマ画像の正面方向からの相対角度θで表すと、次式で表される。

区分点Ｃ１及びＣ２、道Ｒ１上では、建物Ａに関するアノテーションを常にパノラマ画像の正面方向に表示するため、アノテーションを表示する水平方向の位置θは次式で表される。

次に、道Ｒ２上におけるアノテーションの表示位置を説明する。建物Ａに関するアノテーションは、区分点Ｃ２上では正面方向（θ＝０）に表示され、道Ｒ２上で徐々に建物Ａの方向へ移動し、区分点Ｃ３上では前述のθ₁の方向に表示される。道Ｒ２上において、アノテーション表示方向は補間によって求められる。道Ｒ２上の点（ｘ,０）に対応するパノラマ画像において、建物Ａのアノテーションを表示する水平方向の位置θは次式で表される。

図７にアノテーションが表示される様子を示す。図７（ａ）は「正面モード」における表示例であり、アノテーションがパノラマ画像の正面方向（進行方向）、すなわちθ＝０の位置に表示される様子を示す。なお、このときのパノラマ画像上の縦方向の位置（図７におけるＺ軸方向位置）は、ｚ_orgとする。すなわち、θ＝０、Ｚ＝ｚ_orgを中心としてアノテーション７０１が表示される。本来のアノテーション位置７１１にアノテーション７０１を表示すると、当該アノテーションが建物Ｂに対するものであると誤認される可能性があるが、図７（ａ）のような表示形態をとることによりそのような誤認を防止できる。

その後、視点位置が区分点Ｃ２、Ｃ３及び道Ｒ２上に到達すると「補間モード」によるアノテーション表示が行なわれ、図７（ｂ）に示されるように、式（５）によって算出されたθ_Tによって画像上の横方向位置が決定される。なお、縦方向位置は、その時点における建物Ａのアノテーション表示位置７１１とｚ_orgを結ぶ直線７１２によって決定する。すなわち、θ_Tの位置を示す直線７１３と直線７１２との交点を中心としてアノテーション７０１を表示する。更に、道Ｒ３上に視点位置が移動すると、図７（ｃ）に示すように、本来のアノテーション表示位置にアノテーション７０１が表示されるようになる。

なお、「補間」におけるアノテーション表示のＺ方向位置ｚ_Tは、「正面モード」におけるアノテーションのＺ方向表示位置をｚ_orgとし、「オブジェクトモード」におけるアノテーションのＺ方向表示位置をｚ₇₁₁とした場合に、以下の式（６）から求めてもよい（式中のｘ、ｘ₁、ｘ₂は式（５）と同じである）。

なお、図７（ａ）のようにアノテーションを表示する場合は、視界を遮る場合があるので、画面中央ではなく、上下方向にずらして表示してもよい。

図８にアノテーションデータの格納形式を示す。アノテーションデータは、オブジェクトごとに記述される。各オブジェクトについて、アノテーションが表示される道と、その道における表示方法を記述する。ここで表示方法とは、パノラマ画像の正面方向に表示する（図７（ａ）の表示状態（正面モード））か、オブジェクトの方向に表示する（図７（ｃ）の表示状態（オブジェクトモード））か、正面方向からオブジェクト方向の間に表示する（図７（ｂ）の表示状態（補間モード））かを表す。

図９に、アノテーション表示位置決定部５０におけるアノテーション表示位置決定のフローチャートを示す。

まずステップＳ１０１において、新たな視点情報（視点位置、視線方向）を獲得する。次にステップＳ１０２において、ステップＳ１０１で獲得した視点情報から決定される道が、前のフレームと同じ道か否かを判定する。前のフレームと異なる新たな道である場合には、ステップＳ１０３に進む。ステップＳ１０３において、該当する道についてアノテーションを表示するオブジェクトを決定する。本実施形態では、複数のオブジェクトに対してアノテーションを表示することができる。例えば、図８のようなアノテーションデータを有する場合に、視点位置が道Ｒ２にあれば、建物Ａ及び建物Ｂがアノテーションを表示すべきオブジェクトに決定される。ステップＳ１０３においてアノテーションを表示するオブジェクトを決定した後、ステップＳ１０４に進む。ステップＳ１０４において、各オブジェクトの表示方法を図８に示したアノテーションデータより決定する。例えば、道Ｒ２にある場合、建物Ａのアノテーションは「正面モード」に、建物Ｂのアノテーションは「オブジェクトモード」に設定される。そして、ステップＳ１０５へ進む。一方、ステップＳ１０２において、同じ道であると判定された場合は、そのままステップＳ１０５に進む。

ステップＳ１０５では、アノテーションを表示するすべてのオブジェクトについて、該当する視点位置及び表示方法に対応したパノラマ画像におけるアノテーションの表示位置（パノラマ画像の正面方向からの相対角度）θを求める。また、表示方法が「補間」となっている場合は、図７（ｂ）で説明した方法によりアノテーションの表示位置を求める。ステップＳ１０６において終了判定を行い、まだ終了しない場合は、ステップＳ１０１において新たに視点情報を獲得する。なお、「正面モード」で複数のアノテーションを表示する場合は、例えば第４実施形態で説明するような方法でアノテーションを表示すればよい。

以上のように、第１実施形態によれば、アノテーションの表示位置を、仮想空間内の視点位置とオブジェクトの位置との相対関係によって変更することにより、アノテーションが別のオブジェクトのものと混同されることを防止できる。また、どのオブジェクトに関するアノテーションかを簡単に、且つ確実に識別することが可能になる。

＜第２実施形態＞
第１実施形態では、視点の位置によりアノテーションの添付対象オブジェクトが見えない場合等、添付対象オブジェクト上にアノテーションを表示するとそのアノテーションの添付対象を誤認する可能性がある場合に、アノテーションの表示位置を変更することにより、誤認を防止した。しかしながら、一般に、アノテーションにはオブジェクトと視点位置との距離を表すような情報は含まれない。このため、第１実施形態によれば、図７の（ａ）に示した表示状態では、「正面モード」で表示されるアノテーションの形状は一定であり、当該アノテーションの付与されたオブジェクトまで近いのか遠いのかはわからない。そこで、第２実施形態では、仮想空間内の視点位置とオブジェクトの位置との相対関係によって表示するアノテーションの見た目（アノテーションの表示の体裁等）を変更することにより仮想空間内の観察者とオブジェクトとの位置関係を観察者が容易に把握できるようにする。

図１０は第２実施形態の一例を示す図である。図１０（ａ）では、アノテーションをパノラマの正面方向に表示しているか、オブジェクト上に表示しているかによって表示するアノテーションの形状を変更している。表示するアノテーションの形状を変更することにより、観察者はすでにオブジェクトを観察できる位置に到達してオブジェクトそのものを観察しているのか、まだオブジェクトに到達していないのかをより明確に知ることができる。特にそのオブジェクトを始めてみる観察者にとっては、アノテーションとオブジェクトの対応を把握し易くなり、有用である。なお、アノテーションがパノラマ画像の正面方向に表示されている場合には、オブジェクトに近づくに従って徐々にアノテーションの矩形枠の縦方向の大きさを大きくしていくことで観察者がオブジェクトとの位置関係を容易に把握することが可能となる。

図１０（ｂ）では、仮想空間内の観察者とオブジェクトとの距離に応じて表示するアノテーションの透明度を変化させている。アノテーションがパノラマ画像の正面方向に表示されている場合には透明度を上げ、オブジェクト上に表示されている場合には透明度を下げる。また、アノテーションがパノラマ画像の正面方向に表示されている場合には、オブジェクトに近づくに従って徐々に透明度を下げることで、観察者がオブジェクトとの位置関係を容易に把握することができる。

図１０（ｃ）では、仮想空間内の観察者とオブジェクトとの距離に応じて表示するアノテーションの大きさを変化させている。アノテーションがパノラマ画像の正面方向に表示されている場合には小さく表示して目立たなくし、オブジェクト上に表示されている場合には大きく表示して目立つようにする。また、アノテーションがパノラマ画像の正面方向に表示されている場合には、オブジェクトに近づくに従って徐々にアノテーションを大きくしていくことで、観察者がオブジェクトとの位置関係を認識することができる。

以上のように、第２実施形態によれば、仮想空間内の視点位置とオブジェクトの位置との相対関係に応じて表示するアノテーションの形状や透明度、大きさ等の表示態様を変更することにより、観察者がアノテーションをもとにオブジェクトとの位置関係を把握することができる。すなわち、仮想空間内の視点位置とオブジェクトの位置との相対関係によって表示するアノテーションを変更することにより、仮想空間内の観察者とオブジェクトとの位置関係を観察者が容易に把握できるようになる。なお、視点位置とオブジェクトとの間の距離は、例えば、仮想空間内の視点位置から各オブジェクトへの直線距離もしくは、経路上の距離によって計算することができる。

また、第１実施形態では、アノテーションが付与されたオブジェクトが視認可能である場合にオブジェクト上にアノテーションが表示されることになるが、視点位置から対象オブジェクトが遠い場合にはオブジェクトの大きさが小さくなり、そのままアノテーションを表示するとオブジェクトがアノテーションによって隠されてしまう可能性がある。第２実施形態によれば、図１０（ｂ）や（ｃ）のように、視点位置から対象オブジェクトが遠い場合に透明度を高くしたり、矩形枠の大きさを小さくすることにより、対象オブジェクトの表示サイズが小さくても、アノテーションによって対象オブジェクトを隠してしまうことを防止できるという効果もある。

＜第３実施形態＞
第２実施形態では、仮想空間内の視点位置とオブジェクトの位置との相対関係に応じてアノテーションの表示形態を変更することによって、観察者がオブジェクトとの位置関係を把握できるようにした。第３実施形態では、例えば図７（ａ）のように正面にアノテーションを表示している場合に、当該アノテーション上に対応するオブジェクトまでの道案内の情報を表示する。これにより、オブジェクトから離れている場合（オブジェクトが観察できない場合）でも、アノテーションの案内情報を頼りにオブジェクトまで到達できるようにする。

図１１は、第３実施形態におけるアノテーション表示の動作を説明する図である。図１１（ａ）の地図上に示す、経路Ａ→Ｂ→Ｃ→Ｄにおいて建物Ａに関するアノテーションが表示されると仮定する。但し、建物Ａは他の建物に隠蔽されているため、経路Ｃ→Ｄ上からしか観察することができない。

経路Ａ→Ｂ上において、観察者がＢの方向を向いているときには、図１１（ｂ）に示すようなアノテーションが表示される。アノテーション上には、次の交差点で右に曲がることを促す矢印が同時に表示されるため、観察者は建物Ａにたどり着くまでの道順を知ることができる。同様に経路Ｂ→Ｃ上において観察者がＣの方向を向いているときには、図１１（ｃ）に示すように、アノテーション上に次の交差点で左に曲がることを促す矢印が同時に表示される。経路Ｃ→Ｄ上では、建物Ａは観察可能であるために、アノテーション上に矢印は特に表示されない。なお、経路Ｃ→Ｄ上においても、他の建物に隠れる等により建物Ａが見えない場合ある。従って、建物Ａが見えていない間、（図７（ａ）の表示状態）では直進を示す矢印を表示するようにしてもよい。

なお、アノテーション上に表示する矢印は、リアルタイムに経路探索を行って表示時にアノテーション上に合成してもよいし、あらかじめオブジェクトまでの経路を決めておき、アノテーション画像上に合成しておいて、それを表示時に読み出してもよい。また、第３実施形態では道案内の情報の表示方法として、次の交差点での進行方向を示したが、他の形態であってもかまわない。

以上のように、第３実施形態によれば、アノテーション上に例えば次の交差点でどちらに曲がれば該当するオブジェクトにたどり着けるかというような案内情報を示すことにより、仮想空間内でオブジェクトから離れていても、観察者が容易にオブジェクトに到達することができる。すなわち、アノテーション上に道案内の情報を表示することで、オブジェクトから離れている場合でも、案内情報を頼りにオブジェクトまで到達することが可能になる。

＜第４実施形態＞
第１実施形態では、アノテーションの表示位置を、仮想空間内の視点位置とオブジェクトの位置との相対関係によって変更することにより、アノテーションが指し示すオブジェクトの誤認識を防止し、どのオブジェクトに関するアノテーションかを簡単に識別できるようにした。第４実施形態では、パノラマ画像の正面方向に複数のアノテーションが表示される場合に、観察者に最も近いオブジェクトのアノテーションを手前に表示することにより、観察者に混乱を生じさせないようにする。

図１２は、第４実施形態におけるアノテーション表示の様子を表す図である。図１２に示すように、パノラマ画像の正面方向に表示される複数のアノテーションが、奥行き順に整列されて表示される。奥行きは、仮想空間内の視点位置から各オブジェクトへの直線距離もしくは、経路上の距離によって計算される。

また、図１３に示すように、ユーザインタフェースからの入力によって、奥行き順に並んでいるアノテーションを切り替えて表示することも可能である。これにより、現在進行中の経路を進んでいくとどのようなオブジェクトを観察できるのかを観察者が知ることができる。

あるいは、図１４に示されるように、奥行き順に並んでいるアノテーションのうち、何枚目のアノテーションを示しているかがわかるように表示してもよい。

以上のように、第４実施形態によれば、奥行き順にアノテーションを表示することにより、観察者が混乱するのを避けたり、さらに奥行き順に並んでいるアノテーションを切替表示することにより、オブジェクトに到達する前に観察者があらかじめ観察可能なオブジェクトを知ることができる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本実施形態におけるウォークスルーシステムの機能構成を説明するブロック図である。 本実施形態における画像再生装置１のハード構成を示すブロック図である。 本実施形態における仮想空間の表現方法を説明する図である。 区分点、道の属性の一例を示す図である。 パノラマ画像と道の方向の対応を説明する図である。 アノテーション表示位置決定部におけるアノテーション表示位置決定方法を説明する図である。 第１実施形態におけるアノテーションが表示される様子を示す図である。 アノテーションデータの格納形式を示す図である。 アノテーション表示位置決定部におけるアノテーション表示位置決定のフローチャートである。 第２実施形態におけるアノテーション表示方法を示す図である。 第３実施形態におけるアノテーション表示の動作を説明する図である。 第４実施形態におけるアノテーション表示の様子を示す図である。 第５実施形態におけるアノテーション切替表示の様子を示す図である。 第５実施形態におけるアノテーション切替表示の様子を示す図である。

Claims (14)

1. 実写画像群によって構成される仮想空間内でアノテーションを表示可能な画像再生方法であって、
   実写画像中のオブジェクトに対するアノテーションと、該アノテーションを該オブジェクトの位置にかかわらず所定の位置に表示させる第１モードを実行すべき第１範囲と、該アノテーションを該オブジェクト上に表示させる第２モードを実行すべき第２範囲とを視点位置の移動経路に沿って規定する規定情報とを含むアノテーション情報を取得する取得工程と、
   前記移動経路に沿った視点位置の移動に応じて前記実写画像群を再生する間、該視点位置が前記第１範囲もしくは前記第２範囲にあるかを判定する判定工程と、
   前記オブジェクトのアノテーションを、前記判定工程により前記視点位置が前記第１範囲にあると判定された場合は前記第１モードで表示させ、前記第２範囲にあると判定された場合は前記第２モードで表示させる表示制御工程とを備えることを特徴とする画像再生方法。
2. 前記アノテーション情報に含まれる前記規定情報は、更に前記移動経路上の前記第１範囲と前記第２範囲との間に設定された第３範囲を規定し、ここで、該第３範囲は前記第１モードによるアノテーションの表示位置から前記第２モードによる表示位置へアノテーションの表示位置を視点位置の移動に従って移動させる第３モードを実行すべき範囲であり、
   前記判定工程は、前記視点位置が前記第３範囲にあるか否かを更に判定し、
   前記表示制御工程は、前記第３範囲に視点位置が存在する場合には、前記第３表示モードにより前記アノテーションの表示位置を決定して表示させることを特徴とする請求項１に記載の画像再生方法。
3. 前記表示制御工程は、前記第１表示モードと前記第２表示モードとで、前記アノテーションの表示形態を変更させることを特徴とする請求項１又は２に記載の画像再生方法。
4. 前記表示制御工程は、前記第１表示モードにおいて、前記視点位置と前記オブジェクトとの距離に基づいて前記アノテーションの表示形態を変更させることを特徴とする請求項１又は２に記載の画像再生方法。
5. 前記表示制御工程は、前記第１表示モードにおいて、アノテーション表示中にオブジェクトへ到達するための経路案内を表示させることを特徴とする請求項１又は２に記載の画像再生方法。
6. 前記表示制御工程は、前記第１表示モードで表示すべきアノテーションが複数存在する場合に、オブジェクトの位置が仮想空間内の観察者の位置に近い順に手前からアノテーションを表示させ、ユーザ操作によって表示するアノテーションを順次切り替えて表示させることを特徴とする請求項１又は２に記載の画像再生方法。
7. 実写画像群によって構成される仮想空間内でアノテーションを表示可能な画像再生装置であって、
   実写画像中のオブジェクトに対するアノテーションと、該アノテーションを該オブジェクトの位置にかかわらず所定の位置に表示させる第１モードを実行すべき第１範囲と、該アノテーションを該オブジェクト上に表示させる第２モードを実行すべき第２範囲とを視点位置の移動経路に沿って規定する規定情報とを含むアノテーション情報を保持する保持手段と、
   前記移動経路に沿った視点位置の移動に応じて前記実写画像群を再生する間、該視点位置が前記第１範囲もしくは前記第２範囲にあるかを判定する判定手段と、
   前記オブジェクトのアノテーションを、前記判定手段により前記視点位置が前記第１範囲にあると判定された場合は前記第１モードで表示させ、前記第２範囲にあると判定された場合は前記第２モードで表示させる表示制御手段とを備えることを特徴とする画像再生装置。
8. 実写パノラマ画像群によって構成される仮想空間内でアノテーションを表示可能な画像再生方法において、
   観察者の位置においてアノテーションを表示するオブジェクトが視界に入る状態では該オブジェクト上をアノテーション表示位置とし、視界に入らない状態では観察者の進行方向をアノテーション表示位置とし、遷移状態では補間によってアノテーション表示位置を決定するアノテーション表示位置決定工程を備える画像再生方法。
9. 進行方向正面に表示されるアノテーションが複数存在する場合、仮想空間内の観察者の位置に最も近いオブジェクトのアノテーションを手前に表示し、ユーザ操作によってアノテーションを順次切り替えて表示することを特徴とする請求項８に記載の画像再生方法。
10. 前記アノテーション表示位置決定工程は、
    仮想空間内における観察者とアノテーションを表示するオブジェクトとの距離に応じて、アノテーションの表示形態を決定することを特徴とする請求項８に記載の画像再生方法。
11. 前記アノテーションの表示形態は、前記観察者とアノテーションを表示するオブジェクトとの距離に応じてアノテーションの形状、透明度、大きさのうち少なくとも一つが変化することを特徴とする請求項１０に記載の画像再生方法。
12. 前記アノテーションの表示形態には、仮想空間内における現在位置から該オブジェクトに到達するまでのガイド情報を付与することを特徴とする請求項１０または１１に記載の画像再生方法。
13. 請求項１乃至６と８乃至１２のいずれかに記載の画像再生方法をコンピュータによって実現させるための制御プログラムを格納する記憶媒体。
14. 請求項１乃至６と８乃至１２のいずれかに記載の画像再生方法をコンピュータによって実現させるための制御プログラム。

Images