JP2002271814A - 画像再生装置及び画像処理装置とそれらの方法 - Google Patents

Abstract

(57)【要約】 【課題】ＩＢＲ技術を用いてウォークスルー可能な仮想
空間を構築するにおいて、状態の異なるパノラマ画像を
任意に切替可能にするとともに、その再生のリアルタイ
ム性を向上する。 【解決手段】対応付けデータ格納部５０は同一経路につ
いて、複数の視点位置に対応する複数のパノラマ画像か
らなる複数のパノラマ画像系列を含む対応付けデータを
格納する。表示中のパノラマ画像系列から他のパノラマ
系列への切り替えが指示されると状態選択部６０１は、
状態間関連付けデータ５１０を参照して切り替え後のパ
ノラマ画像系列を選択する。パノラマ画像復号部６０
２、画像切り出し部６０３、表示制御部６０４は、選択
されたパノラマ画像系列に含まれるパノラマ画像を用い
て、切り替え前のパノラマ画像表示に継続して表示部７
０への表示を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実空間の撮影によ
って得られた画像データをもとにウォークスルーが可能
な仮想空間を表現する画像再生装置及び方法、並びに画
像処理装置及び方法に関する。

【０００２】

【従来の技術】移動体に搭載された撮影装置によって現
実空間を撮影し、撮影された実写画像データをもとに、
撮影した現実空間を計算機を用いて仮想空間として表現
する試みが提案されている（例えば遠藤、片山、田村、
廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市
空間の電脳映像化について”（信学ソサイエティ、PA-3
-4、pp.276-277、1997年）、または廣瀬、渡辺、谷川、
遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳
映像都市空間の構築(2)−実写画像を用いた広域仮想空
間の生成−”（日本バーチャルリアリティ学会第2回大
会論文集、pp.67-70、1997年）などを参照）。

【０００３】移動体に搭載された撮影装置によって撮影
された実写画像データをもとに、撮影した現実空間を仮
想空間として表現する手法としては、実写画像データを
もとに現実空間の幾何形状モデルを再現し、従来のＣＧ
技術で表現する手法が挙げられるが、モデルの正確性や
精密度、写実性などの点で限界がある。一方、モデルを
用いた再現を行わずに、実写画像を用いて仮想空間を表
現するImage-Based Rendering（ＩＢＲ）技術が近年注
目を集めている。ＩＢＲ技術は、複数の実写画像をもと
に、任意の視点から見た画像を生成する技術である。Ｉ
ＢＲ技術は実写画像に基づいているために、写実的な仮
想空間の表現が可能である。

【０００４】このようなＩＢＲ技術を用いてウォークス
ルー可能な仮想空間を構築するためには、体験者の仮想
空間内の位置に応じた画像の生成・呈示を行う必要があ
る。そのため、この種のシステムにおいては、実写画像
データの各フレームと仮想空間内の位置とを対応付けて
保存しておき、体験者の仮想空間における位置と視点方
向に基づいて対応するフレームを取得し、これを再生す
る。

【０００５】現実空間内の位置データを得る手法として
は、カー・ナビゲーション・システムなどにも用いられ
ているＧＰＳ（Global Positioning System）に代表さ
れる人工衛星を用いた測位システムを利用するのが一般
的である。ＧＰＳなどから得られる位置データと、実写
画像データを対応付ける手法としては、タイムコードを
用いて対応付ける手法が提案されている（特開平11-168
754）。この手法では、位置データに含まれる時刻デー
タと、実写画像データの各フレームに付加したタイムコ
ードとを対応付けることで、実写画像データの各フレー
ムと位置データとの対応付けを行う。

【０００６】このような仮想空間内のウォークスルーに
おいては、体験者が各視点位置で所望の方向をみること
ができるようにする。このため、各視点位置の画像を、
再生時の画角よりも広い範囲をカバーするパノラマ画像
で保存しておき、体験者の仮想空間における視点位置と
視線方向とに基づいてパノラマ画像から再生すべき部分
画像を切り出し、これを表示することが考えられる。

【０００７】このようなウォークスルー再生において、
パノラマ画像に仮想の建築物等のコンピュータグラフィ
ックス（ＣＧ）による画像を合成して表示することが試
みられている。パノラマ画像へのＣＧ画像の描画の実
行、停止を切替ることで、状態の異なるパノラマ画像を
任意のタイミングで切り替えて表示することが可能とな
る。

【０００８】

【発明が解決しようとする課題】しかしながら、パノラ
マ画像にＣＧ画像を合成して再生する場合には、当該パ
ノラマ画像データから表示画像を生成し、重畳すべきＣ
Ｇ画像を生成し、表示画像に含まれるオブジェクトとＣ
Ｇ画像とのオクルージョン判定をして表示画像とＣＧ画
像の合成を行うという処理が必要となり、リアルタイム
な表示に支障を来してしまう。

【０００９】本発明は上記の課題に鑑みてなされたもの
であり、ＩＢＲ技術を用いてウォークスルー可能な仮想
空間を構築するにおいて、状態の異なるパノラマ画像を
任意に切替可能とするとともに、その再生のリアルタイ
ム性を向上することを目的とする。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像再生装置は以下の構成を備える。
すなわち、同一経路について、複数の視点位置に対応す
る複数のパノラマ画像からなる複数のパノラマ系列を格
納する格納手段と、１つのパノラマ系列より、視点位置
及び視線方向に対応する画像を抽出して再生表示する表
示手段と、前記表示手段によって表示中のパノラマ系列
から他のパノラマ系列への切り替えを指示する指示手段
と、前記指示手段によって切り替えが指示された場合、
前記表示中のパノラマ系列と同一経路の他のパノラマ系
列を選択する選択手段と、前記選択手段で選択されたパ
ノラマ系列に含まれるパノラマ画像を用いて表示を行う
べく前記表示手段を制御する制御手段とを備える。ま
た、上記の目的を達成するための本発明による画像再生
方法は以下の工程を備える。すなわち、同一経路につい
て、複数の視点位置に対応する複数のパノラマ画像から
なる複数のパノラマ系列を格納装置に格納する格納工程
と、前記格納装置に格納された１つのパノラマ系列よ
り、視点位置及び視線方向に対応する画像を抽出して再
生表示する表示工程と、前記表示工程によって表示中の
パノラマ系列から他のパノラマ系列への切り替えを指示
する指示工程と、前記指示工程によって切り替えが指示
された場合、前記表示中のパノラマ系列と同一経路の他
のパノラマ系列を選択する選択工程と、前記選択工程で
選択されたパノラマ系列に含まれるパノラマ画像を用い
て表示を行うべく前記表示工程を制御する制御工程とを
備える。

【００１１】更に、上記の目的を達成するための本発明
の他の態様による画像処理装置は以下の構成を備える。
すなわち、同一経路について、複数の視点位置に対応す
る複数の画像からなる複数の画像系列を格納する格納手
段と、１つの画像系列より、視点位置及び視線方向に対
応する画像を抽出して表示手段へ表示させる抽出手段
と、前記抽出手段によって抽出され表示中の画像系列か
ら他の画像系列への切り替えを指示する指示手段と、前
記指示手段によって切り替えが指示された場合、前記表
示手段に表示中の画像系列と同一経路の他の画像系列を
選択する選択手段と、前記選択手段で選択された画像系
列に含まれる画像を用いて前記表示手段に表示を行わせ
るべく制御する制御手段とを備える。また、上記の目的
を達成するための本発明による画像再生方法は以下の工
程を備える。すなわち、同一経路について、複数の視点
位置に対応する複数の画像からなる複数の画像系列を格
納装置に格納する格納工程と、前記格納装置に格納され
た１つの画像系列より、視点位置及び視線方向に対応す
る画像を抽出して表示手段へと表示させる抽出工程と、
前記抽出工程によって抽出されて表示中の画像系列から
他の画像系列への切り替えを指示する指示工程と、前記
指示工程によって切り替えが指示された場合、前記表示
手段に表示中の画像系列と同一経路の他の画像系列を選
択する選択工程と、前記選択工程で選択された画像系列
に含まれる画像を用いて前記表示手段に表示を行わせる
べく制御する制御工程とを備える。

【００１２】

【発明の実施の形態】以下、添付図面を参照しながら、
本発明の好適な実施形態を説明する。

【００１３】＜第１実施形態＞まず、本実施形態による
仮想空間のウォークスルーシステムについて説明する。
本実施形態では、例えば自動車などの移動体に搭載され
た複数の撮影装置によって撮影して得られた実写画像デ
ータからパノラマ画像データを生成し、このパノラマ画
像データを現実空間の位置としての地図データと対応付
けて保持する。そして、体験者の仮想空間における視点
位置と視線方向に応じて、保持されているパノラマ画像
データから表示画像を生成することにより、仮想空間内
のウォークスルーを実現する。

【００１４】図１は本実施形態によるウォークスルーシ
ステムの機能構成を説明するブロック図である。本ウォ
ークスルーシステムは、画像データ収集システム９０と
画像再生装置１とを含んで構成される。画像再生装置１
は、画像データ保存部１０、地図データ保存部２０、画
像・地図対応付け部３０、操作部４０、対応付けデータ
保存部５０、画像再生制御部６０、表示部７０を有す
る。

【００１５】画像データ保存部１０は、後で詳述する画
像データ収集システム９０によって得られた実写画像デ
ータとしてのフレームデータを格納する。地図データ保
存部２０は、地図のイメージ情報と該地図イメージ上の
各位置を経度と緯度に関連した座標で表すための座標情
報を含む地図データを格納する。地図データ保存部２０
には、少なくとも画像データ収集システム９０によって
撮影され、画像データ保存部１０に保存されたフレーム
データの現実空間位置に対応した範囲の地図データが保
存されている。なお、地図データは、不図示のハードデ
ィスク、ＲＡＭまたは他の外部記憶装置に保存される。

【００１６】画像・地図対応付け部３０は、画像データ
保存部１０に保存されているフレームデータから各視点
位置のパノラマ画像データを生成し、これを地図データ
保存部２０に保存されている地図データと対応付ける。
こうして対応付けされたパノラマ画像データと地図デー
タは、対応付けデータとして対応付けデータ保存部５０
に保存される。なお、画像・地図対応付け部３０では、
同一時刻において複数の撮影装置から得られたフレーム
データからパノラマ画像を生成し、その時刻におけるＧ
ＰＳ情報から対応する地図データ（地図上の位置デー
タ）を特定し、これらを対応付け、対応付けデータ保存
部５０に保存する。後述するように、ＧＰＳ情報と複数
の撮影装置から得られたフレームデータの各々にはタイ
ムコードが付加され、このタイムコードにより同一時刻
のフレーム、ＧＰＳ情報が取得される。

【００１７】操作部４０は、マウス、キーボード、ジョ
イスティック等を備える。なお、上述の画像・地図対応
付け部３０において、操作部４０からの操作入力に従っ
て、画像データ保存部１０に保存されたフレームと地図
データ保存部２０に保存された地図データとの対応付け
を編集可能としてもよい。

【００１８】画像再生制御部６０は、操作部４０からの
操作入力に従って体験者の視点位置（地図上の位置）、
視線方向を決定し、対応付けデータ保存部５０で保存さ
れたデータから必要な画像データを読み出し、表示部７
０で表示を行うための画像データを生成する。

【００１９】図２は、画像データ保存部１０に保存され
るフレームデータを収集するための画像データ収集シス
テム９０の構成例を示す図である。図２に示されるよう
に、この画像データ収集システム９０は、撮影部９１、
記録部９２、Ａ／Ｄ変換部９３の３つの部分に分けられ
る。以下、各部について、図３〜図５を参照して詳細に
説明する。

【００２０】図３は、撮影部９１の構成を詳細に示すブ
ロック図である。本実施形態では、撮影部９１は車輌な
どの移動体に搭載して用いられる。撮影部９１は、ｎ台
（ｎ≧１）のビデオカメラ（９１−１〜ｎ）と同期信号
発生部９４から成る。ビデオカメラ９１−１〜ｎにはそ
れぞれ同期信号発生部９４からの外部同期信号を入力す
ることが可能であり、本実施形態では、同期信号発生部
９４より出力される外部同期信号を用いてビデオカメラ
９１−１〜ｎのｎ台の撮影タイミングを一致させてい
る。

【００２１】図４は、記録部９２の構成を詳細に示すブ
ロック図である。記録部９２はタイムコード発生部９５
と、ビデオカメラ９１−１〜ｎに対応する録画部（本例
ではビデオカセットレコーダＶＣＲ）９２−１〜ｎとを
備える。撮影部９１のｎ台のビデオカメラ９１−１〜ｎ
からの画像出力は、それぞれ録画部９２−１〜ｎの入力
となる。また、タイムコード発生部９５は、撮影時刻を
表すタイムコードを各ＶＣＲ９２−１〜ｎに供給する。
ＶＣＲ９２−１〜ｎは、対応するビデオカメラからの画
像入力とタイムコード発生部９５からのタイムコードを
取り込み、タイムコードつきのビデオデータとして記録
する。

【００２２】以上のようにしてＶＣＲ９２−１〜ｎのそ
れぞれに収集された画像情報は、Ａ／Ｄ変換部９３によ
ってディジタルの画像データに変換され、画像データ保
存部１０に保存される。図５は、Ａ／Ｄ変換部９３の構
成を詳細に示すブロック図である。Ａ／Ｄ変換部９３
は、パーソナルコンピュータ（以下ＰＣ）９６と、ＶＣ
Ｒ９２−１〜ｎの各々に対応するビデオ・キャプチャ・
ボード（以下、キャプチャ・ボード）９３−１〜ｎを有
する。キャプチャ・ボードは必ずしもビデオカメラの台
数分必要ではなく、ＰＣに搭載できる数のキャプチャ・
ボードを共有してもよい。Ａ／Ｄ変換部９３は、各ＶＣ
Ｒから供給されるアナログ画像データをディジタル画像
データ（例えばＡＶＩフォーマット）に変換し、ＰＣ９
６に接続された、ハードディスク等を含んで構成される
画像データ保存部１０またはその他の記憶媒体に保存す
る。

【００２３】更に、本システムにおいては、タイムコー
ド発生部９５からタイムコードが発生するタイミングで
ＧＰＳ９７より位置データを取得し、取得した位置デー
タをその時点のタイムコードと対応付けて保持する。

【００２４】図６は画像データ保存部１０におけるビデ
オデータと位置データ（ＧＰＳ測定結果データ）の格納
状態例を示す図である。図６に示すように、画像データ
保存部１０には、タイムコードが付加されたフレームと
タイムコードが付加された位置データとが格納されるこ
とになる。よって、このタイムコードを介して、フレー
ムと位置データが対応付けられる。なお、図６では１つ
のビデオカメラからのビデオデータしか示していない
が、ビデオデータは上述したようにビデオカメラの台数
分（ｎ台分）が存在する。

【００２５】なお、ＧＰＳにおける３次元位置の算出は
公知であり、ここでは詳細な説明を省略する。以上のよ
うにして、ｎ台のビデオカメラによって画像を撮影しな
がら、ＧＰＳによって逐次得られる緯度、経度データＰ
（θ，φ）をタイムコード発生部７２からのタイムコー
ドに対応付けて格納していく。従って、このタイムコー
ドを介して、ビデオデータの各フレームと、ＧＰＳから
得られた緯度，経度データを対応付けることができる。

【００２６】なお、画像データがキャプチャ・ボード９
３−１〜ｎを通じてＰＣ９６内に取り込まれる際には、
記録されているタイムコードを用いてキャプチャ開始部
分、終了部分を決定し、ｎ台のＶＣＲおよびキャプチャ
・ボードを介して取得されるディジタル画像データがす
べて同時刻に撮影された、同じ長さのキャプチャデータ
で構成されるようにする。

【００２７】次に、画像再生装置１について説明する。
図７は、本実施形態による画像再生装置１のハード構成
を示すブロック図である。図７に示したハード構成は通
常のパーソナルコンピュータの構成と同等である。図７
において、ディスク１０５は画像データ保存部１０を構
成するものであり、図２〜図６に関連して説明した画像
データ収集システム９０によって得られたフレームデー
タと位置データが記憶されている。なお、ディスク１０
５は上述の画像データ保存部１０のみならず、図１に示
した地図データ保存部２０、対応付けデータ保存部５０
をも構成するものである。

【００２８】ＣＰＵ１０１は、ディスク１０５またはＲ
ＯＭ１０６、または外部記憶装置（不図示）に保存され
ているプログラムを実行することにより、画像データと
地図データとを対応付けて格納する画像・地図対応付け
部３０として、また、対応付けデータ保存部５０に保存
された画像データをもとに画像再生を行う画像再生制御
部６０として機能する。

【００２９】ＣＰＵ１０１が表示コントローラ１０２に
対して各種の表示指示を行うことにより、表示コントロ
ーラ１０２およびフレームバッファ１０３によって表示
器１０４に所望の表示がなされる。なお、図では表示コ
ントローラ１０２としてＣＲＴＣ、表示器１０４として
ＣＲＴを示したが、表示器としては陰極線管に限らず、
液晶表示器等を用いてもよいことはもちろんである。な
お、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲ
Ｔ１０４は、上述の表示部７０を構成する。マウス１０
８、キーボード１０９及びジョイスティック１１０は、
当該画像保持・再生装置１へのユーザの操作入力を行う
ためのものであリ、上述の操作部４０を構成する。

【００３０】次に、以上の構成を備えた本実施形態のウ
ォークスルーシステムにおける、画像再生装置１の動作
の概要について説明する。図８は本実施形態のウォーク
スルーシステムにおける、画像再生装置１の処理内容を
説明する図である。

【００３１】画像データ保存部１０には、上述した画像
データ収集システム９０によって、ｎ台のビデオカメラ
９１−１〜ｎによって得られたビデオデータに基づくタ
イムコード付のフレームデータと、ＧＰＳ９７によって
得られた位置データに基づくタイムコード付の位置デー
タが格納されている。

【００３２】画像・地図対応付け部３０は、同一のタイ
ムコードのフレームデータを接合してパノラマ画像を生
成するとともに、地図データ保存部２０に保持されてい
る地図データを参照して当該タイムコードに対応する位
置データを地図上の位置に変換する。そして、得られた
パノラマ画像と、地図上の位置とを対応付けた対応付け
データ２１０を生成し、対応付けデータ保存部５０に格
納する。

【００３３】なお、対応付けデータ格納部５０におい
て、本実施形態では次のデータ格納形態をとる。すなわ
ち、交差点や曲がり角を区分点とし、区分点と区分点で
挟まれた線分を道として、各区分点、道にＩＤを割り当
て、このＩＤを対応するパノラマ画像に付加する。１つ
の道に対応するパノラマ画像群には、先頭から順に番号
が振られる。

【００３４】図９はこの様子を説明する図である。図９
において、例えばＩＤがＣ１である区分点とＣ２である
区分点に挟まれた線分（道）にＲ１というＩＤが付与さ
れている。なお、これらＩＤや地図との対応は、地図デ
ータ保存部２０に保存されている。

【００３５】ＧＰＳデータ等に基づいて区分点Ｃ１とＣ
２に対応するフレームが特定されると、それらフレーム
に挟まれたパノラマ画像群が道Ｒ１に対応することとな
る。図では、このパノラマ画像群にはｎ個のパノラマ画
像が存在する。そして、区分点Ｃ１とＣ２に対応するフ
レームにはそれぞれＣ１、Ｃ２のＩＤが付与され、パノ
ラマ画像群の各パノラマ画像には、順番にＲ１−１〜Ｒ
１−ｎが付与されている。

【００３６】なお、区分点とパノラマ画像との対応付け
は、ＧＰＳデータに従って自動的に行われるものとした
が、ユーザが画像データ保存部に保持されたビデオフレ
ームを再生しながら、フレームと対応する地図上の交差
点を指定することによって、上述のような対応付けをす
ることも可能である。この場合、区分点に挟まれたパノ
ラマ画像群の各パノラマ画像の位置を、例えば、当該区
分点を結ぶ線分上に等間隔に割り当てる（上記例では、
Ｃ１とＣ２を結ぶ線分をｎ＋１等分して、各分割位置に
順番にｎ個のパノラマ画像を割り当てる）ようにすれ
ば、ＧＰＳを用いずに上述のような対応付けデータを生
成、保持することが可能である。

【００３７】以上のようにして格納された対応付けデー
タを用いてウォークスルー再生が行われる。ウォークス
ルー再生では、操作部４０よりジョイスティック１１０
等を用いたウォークスルーのための操作が行われると、
画像再生制御部６０がこの操作入力に応じて体験者の地
図上の視点位置（地図上の道における位置）と視線方向
を生成する。更に画像再生制御部６０は、この生成され
た視点位置と視線方向、及び表示部７０に表示される画
像の画角に基づいて、表示部７０に表示すべき画像を、
対応付けデータ２１０に格納されたパノラマ画像に基づ
いて生成し、表示部７０に表示させる。例えば、視点位
置が地図上のａ地点であり、視線方向が進行方向に対し
て１５度の方向を向いている場合は、ａ地点に対応する
パノラマ画像中の１５度の方向に対応する部分画像が抽
出されることになる。こうして、体験者の視点位置の地
図上における移動と視線方向に対応するように、画像再
生制御部６０が表示画像の取得と、表示部７０への表示
を行うことにより、ウォークスルー再生が実現されるこ
とになる。

【００３８】さて、上記の構成において、対応付けデー
タ保存部５０によって保持されたパノラマ画像（本実施
形態では３６０度の全周画像とする）をメモリ上に読み
出し、表示部７０への表示画角に対応した任意の視線方
向の画像を生成し、これにＣＧ画像を重畳して表示する
ことが可能である。このようにすることで、ウォークス
ルー再生にバリエーションを持たせることができる。し
かしながら、表示画角及び視線方向に対応して切り出し
た画像にＣＧ画像を重畳描画する際に、切り出し画像と
ＣＧ画像との間で画素単位でのオクルージョン判定を行
う必要が生じる。このため、ＣＧ画像の描画処理に時間
がかかり、表示タイミングの遅れを招いてしまう。

【００３９】一方、最初からＣＧが描画されたパノラマ
画像を用いようとした場合は、ＣＧ画像の描画処理によ
る表示タイミングの遅れは解決するが、任意のタイミン
グでＣＧ画像の描画を実行／停止するといったような、
パノラマ画像の状態を任意のタイミングで切り替えると
いう柔軟な表示操作ができなくなってしまう。

【００４０】本実施形態のウォークスルーシステムで
は、同一経路に対応したパノラマ画像系列を、表示した
い状態に応じて複数種類用意しておき、これらを必要に
応じて切り替えてウォークスルー再生に用いることで、
任意のタイミングでのパノラマ画像の状態の切り替えを
可能としつつ、リアルタイムな画像表示を確実に行える
ようにする。

【００４１】図１０は第１実施形態によるパノラマ画像
の再生処理機能を説明する図である。図１０に示してい
るのは画像再生制御部６０の機能構成である。画像再生
制御部６０は、対応付けデータ保存部５０に保持され
た、複数の状態に対応した同一経路のパノラマ画像系列
から切替指示に応じて所望のパノラマ画像系列を選択し
て、ウォークスルー再生を行う。

【００４２】図１０において、対応付けデータ格納部５
０にはｓ個のそれぞれ異なる状態のパノラマ画像と地図
データが対応付けられた、ｓ個の対応付けデータが格納
されている。本例では、状態１〜ｓの対応付けデータ５
０１〜５０ｓが格納されている。状態１の対応付けデー
タ５０１が実写画像から得られたパノラマ画像を含み、
他の状態２〜ｓの対応付けデータ５０２〜５０ｓは、状
態１のパノラマ画像にそれぞれ異なるＣＧが重畳描画さ
れているものとする。なお、本実施形態では、各状態毎
の対応付けデータに含まれるパノラマ画像の集合をパノ
ラマ画像系列と称する。図１０の例の場合、ｓ個のパノ
ラマ画像系列が存在することになる。

【００４３】画像再生制御部６０において、６０１は状
態選択部であり、操作部４０より与えられる操作信号
（状態変更指示信号）と、後述の状態間関連付けデータ
５１０に従って、対応付けデータ保存部５０に保持され
ている複数のパノラマ画像系列のうちの一つを画像再生
に用いるパノラマ画像系列として選択し、後段へ通知す
る。

【００４４】６０２はパノラマ画像復号部であり、状態
選択部６０１で選択されたパノラマ画像系列から、現在
の視点位置に対応するパノラマ画像を復号する。視点位
置生成部６０５は、状態選択部６０１によってパノラマ
画像系列の変更があった場合に、それまでのパノラマ画
像系列に対する視点位置に基づいて、変更後のパノラマ
画像系列に対する適切な視点位置を決定する。６０３は
切り出し部であり、パノラマ画像復号部６０２で復号さ
れたパノラマ画像から、視線方向と表示画角に応じた部
分画像を切り出す。表示制御部６０４は、切り出し部６
０３で切り出された画像を表示部７０に表示させるべく
制御する。

【００４５】なお、対応付けデータ格納部５０は、状態
１〜ｓの対応付けデータ５０１〜５０ｓが同一の経路の
パノラマ画像で構成されていることを示す状態間関連付
けデータ５１０を格納している。本例では、１つの経路
にｓ種類の状態のパノラマ画像系列（ｓ個の対応付けデ
ータ）がある場合を説明しているが、複数の経路と、そ
れぞれの経路に複数種類の状態のパノラマ画像が存在す
るようにすることも可能である。この場合、状態間関連
付けデータ５１０は、各経路毎にどのパノラマ画像系列
（対応付けデータ）が属しているかを示すことになる。

【００４６】また、本実施形態の場合、状態間関連付け
データ５１０は、複数の状態のパノラマ画像の切り替え
順序を示す情報を有する。この情報を持つことにより、
状態選択部６０１に入力される状態変更指示信号は、状
態の切り替えを指示するだけで、状態間関連付けデータ
５１０に登録された切り替え順序で、パノラマ画像系列
が順次選択され、切り替わることになる。もちろん、状
態変更指示は、状態３のパノラマ画像に切り替えるとい
ったように、具体的に状態を指定する信号であってもよ
い。

【００４７】図１１は第１実施形態によるパノラマ系列
の切り替え処理を説明するフローチャートである。操作
部４０より状態変更指示が入力されると、画像再生制御
部６０の状態選択部６０１は状態変更イベントの発生を
検出する。状態変更イベントの発生が検出されると、ス
テップＳ１０２へ進み、切り換え後に表示すべきパノラ
マ画像の状態を決定する。上述したように、本実施形態
では状態間関連付けデータ５１０に状態変更指示による
切り替え順序が登録されており、例えば、状態１→状態
２…→状態ｓ→状態１→…というよに切り替わるものと
する。従って、例えば現在状態２のパノラマ画像系列が
選択されているとすると、状態変更イベントにより状態
３のパノラマ画像系列を用いることになる。

【００４８】次にステップＳ１０３において、視点位置
生成部６０５は、ステップＳ１０２で決定した新しい状
態のパノラマ画像系列における最初の視点位置を決定す
る。ここでは、変更直前に表示されたパノラマ画像の視
点位置に基づいて、新しい状態のパノラマ画像系列に切
り替えた後の最初に表示すべき視点位置を決定する。具
体的には、変更前のパノラマ画像系列の視点位置に最も
近い変更後のパノラマ画像系列の視点位置を求め、これ
を最初に表示すべき視点位置に決定する。或いは、変更
後のパノラマ画像系列において、上記求めた視点位置の
次の視点位置を最初に表示すべき視点位置に決定する。

【００４９】このような処理を行うのは、次の理由によ
る。すなわち、１つのパノラマ画像系列を基に、コンピ
ュータグラフィックス描画を重畳して複数のパノラマ画
像系列を生成した場合は、各パノラマ画像の視点位置が
完全に一致するので、変更直前のパノラマ画像の視点位
置と変更後のパノラマ画像の視点位置を一致させること
ができる。

【００５０】しかしながら、同一経路について異なる実
写画像データを用いた場合、例えば朝、昼、夜において
撮影された実写画像データを基に、それぞれ状態１、状
態２、状態３のパノラマ画像系列を作成した場合は、交
通事情等により状態１、２、３の対応付けデータは、そ
れぞれ個別にパノラマ画像と視点位置との対応付けがな
されたものとなるので、完全には一致しない。従って、
それまで表示していたパノラマ画像の視点位置に最も近
い視点位置を変更後の対応付けデータから取り出すとい
う処理を行うことで、ウォークスルー再生中の状態変更
をより自然に見せるようにする。

【００５１】ステップＳ１０４では、パノラマ画像復号
部６０２において、ステップＳ１０２で選択されたパノ
ラマ画像系列より、ステップＳ１０３で決定された視点
位置に対応するパノラマ画像を選択し、これを復号す
る。そして、ステップＳ１０５において、画像切り出し
部６０３は、復号されたパノラマ画像から、視線方向と
表示画角に基づいてパノラマ画像から対応する部分を切
り出して表示用画像を生成し、表示制御部６０４がこれ
を表示部７０に表示させる。

【００５２】なお、ステップＳ１０１で状態変更イベン
トが発生していな場合は、ステップＳ１１０へ進み、視
点位置生成部６０５が現在使用中のパノラマ画像系列に
おける次の視点位置を決定し、ステップＳ１０４へ進
む。以上のステップＳ１０１からＳ１０５、Ｓ１１０の
処理を、終了操作があるまで繰り返す（ステップＳ１０
６）。

【００５３】以上のように第１実施形態によれば、状態
の異なるパノラマ画像系列への切り替えを、ウォークス
ルー再生を継続させながら、状態変更指示を行うだけで
行うことができる。また、ＣＧを重畳描画させた画像再
生を行う場合でも、予めＣＧが描画されたパノラマ画像
への切り換えを行うだけなので、画像再生のリアルタイ
ム性を損なうことがなく、ＣＧ描画の有無を自在に切り
替えることも可能である。

【００５４】＜第２実施形態＞第１実施形態では、対応
付けデータが、地図上の位置とパノラマ画像系列の各パ
ノラマ画像とが対応付けられたものである場合を説明し
た。第２実施形態では、図９を用いて説明したような、
地図上の区分点と道によって地図上の位置とパノラマ画
像とを対応付けた場合に特化させて説明する。

【００５５】図９で説明したように、図１２は第２実施
形態による対応付けデータ保存部５０のデータ構成例を
示す図である。状態１〜状態ｓのそれぞれの状態毎に、
地図上の道（１〜ｎ）、区分点（１〜ｍ）との対応づけ
がなされている。状態間関連付けデータ５１０は、状態
１〜状態ｓのパノラマ画像系列を関連づけるものであ
り、本実施形態では、画像系列の切り換え順序をも含
む。

【００５６】図１３は第２実施形態によるパノラマ系列
の切り替え処理を説明するフローチャートである。操作
部４０より状態変更指示が入力されると、画像再生制御
部６０の状態選択部６０１は状態変更イベントの発生を
検出する（ステップＳ２０１）。状態変更イベントの発
生が検出されると、ステップＳ２０１からステップＳ２
０２へ進み、切り換え後に表示すべきパノラマ画像系列
を決定する。上述したように、第２実施形態では状態間
関連付けデータ５１０には、状態変更指示による切り替
え順序が登録されており、例えば、状態１→状態２…→
状態ｓ→状態１→…というように切り替わるものとす
る。従って、例えば現在状態２のパノラマ画像が再生さ
れているとすると、状態変更イベントにより状態３のパ
ノラマ画像を用いることになる。

【００５７】次にステップＳ２０３において、ステップ
Ｓ２０２で決定した新しい状態のパノラマ画像系列を用
いて表示すべき最初の視点位置を決定する。ここでは、
変更直前に表示されたパノラマ画像の視点位置、すなわ
ち、どの「道」の何番目のパノラマ画像であるか（フレ
ーム順位）に基づいて、新しい状態のパノラマ系列に切
り替えた後の最初に表示すべきパノラマ画像の視点位置
（どの道の何番目のフレーム）を決定する。このように
することで、各道に含まれる画像数が対応付けデータ毎
に異なっていても、より正しく次の視点位置を決定でき
る。例えば、現在選択されているパノラマ画像系列にお
いて、ある道に１０枚のパノラマ画像が存在し、現在の
視点位置がその道の６番目のパノラマ画像を示してお
り、切り替え後のパノラマ画像系列の対応する道には１
５枚のパノラマ画像が存在する場合、９番目のパノラマ
画像が選択されることになる（１５×６／１０）。

【００５８】ステップＳ２０４では、ステップＳ２０２
で選択されたパノラマ画像系列より、ステップＳ２０３
で決定された視点位置（「道」と「フレーム順位」）に
対応するパノラマ画像を選択する。そして、ステップＳ
２０５において、選択したパノラマ画像が符号化されて
いる場合はこれを復号し、視線方向と表示画角に基づい
てパノラマ画像から対応する部分を切出して表示用画像
を生成し、これを表示部７０に送って表示させる。

【００５９】なお、ステップＳ２０１で状態変更イベン
トが発生していな場合は、ステップＳ２１０へ進み、現
在使用中のパノラマ画像系列における次の視点位置
（「道」と「フレーム順位」）を決定し、ステップＳ２
０４へ進む。以上のステップＳ２０１からＳ２０５、Ｓ
２１０の処理を、終了操作があるまで繰り返す（ステッ
プＳ２０６）。

【００６０】以上のように第２実施形態によれば、第１
実施形態と同様の効果を奏する他、区分点と、道によっ
てパノラマ画像と地図データが対応付けられて保存され
ている場合でも、迅速且つ自然に状態を変更することが
できる。

【００６１】なお、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００６２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００６３】

【発明の効果】以上説明したように、本発明によれば、
ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構
築するにおいて、状態の異なるパノラマ画像を任意に切
替可能になるとともに、その再生のリアルタイム性が向
上する。

【図面の簡単な説明】

【図１】本実施形態によるウォークスルーシステムの機
能構成を説明するブロック図である。

【図２】画像データ保存部１０に保存されるフレームデ
ータを収集するための画像データ収集システム９０の構
成例を示す図である。

【図３】撮影部９１の構成を詳細に示すブロック図であ
る。

【図４】記録部９２の構成を詳細に示すブロック図であ
る。

【図５】Ａ／Ｄ変換部９３の構成を詳細に示すブロック
図である。

【図６】画像データ保存部１０におけるビデオデータと
位置データ（ＧＰＳ測定結果データ）の格納状態例を示
す図である。

【図７】本実施形態による画像再生装置１のハード構成
を示すブロック図である。

【図８】本実施形態のウォークスルーシステムにおけ
る、画像再生装置１の処理内容を説明する図である。

【図９】道と区分点を用いたパノラマ画像の地図データ
への対応付けを説明する図である。

【図１０】第１実施形態によるパノラマ画像の再生処理
機能を説明する図である。

【図１１】第１実施形態によるパノラマ系列の切り替え
処理を説明するフローチャートである。

【図１２】第２実施形態による対応付けデータ保存部５
０のデータ構成例を示す図である。

【図１３】第２実施形態によるパノラマ系列の切り替え
処理を説明するフローチャートである。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 AA08 BA06 BA07 BA09 BA10 BA11 BA15 CA07 DA07 EA19 EA24 FA02 FA09 5B057 AA20 BA02 CA12 CA16 CB12 CB16 CC01 CE08 5C061 AA29 AB08 AB12 AB16 AB17 AB21 5C082 AA27 BA12 BA42 BA46 BB25 BB42 CA56 CA76 CB01 DA61 DA86 MM05 MM10

Claims (30)

【特許請求の範囲】
1. 【請求項１】 同一経路について、複数の視点位置に対
   応する複数のパノラマ画像からなる複数のパノラマ系列
   を格納する格納手段と、 １つのパノラマ系列より、視点位置及び視線方向に対応
   する画像を抽出して再生表示する表示手段と、 前記表示手段によって表示中のパノラマ系列から他のパ
   ノラマ系列への切り替えを指示する指示手段と、 前記指示手段によって切り替えが指示された場合、前記
   表示中のパノラマ系列と同一経路の他のパノラマ系列を
   選択する選択手段と、 前記選択手段で選択されたパノラマ系列に含まれるパノ
   ラマ画像を用いて表示を行うべく前記表示手段を制御す
   る制御手段とを備えることを特徴とする画像再生装置。
2. 【請求項２】 前記格納手段において、同一経路につい
   て格納される複数のパノラマ系列は、異なるコンピュー
   タグラフィックスが重畳描画されたものを含むことを特
   徴とする請求項１に記載の画像再生装置。
3. 【請求項３】 前記格納手段において、同一経路につい
   て格納される複数のパノラマ系列は、それぞれ異なる時
   間帯で撮影されたパノラマ画像からなることを特徴とす
   る請求項１に記載の画像再生装置。
4. 【請求項４】 前記複数のパノラマ系列を関連付ける関
   連付けデータを有し、 前記選択手段は、前記指示手段による指示により、前記
   関連付けデータで関連付けされた複数のパノラマ系列の
   一つを選択することを特徴とする請求項１に記載の画像
   再生装置。
5. 【請求項５】 前記関連付けデータは、前記関連付けさ
   れた複数のパノラマ系列における選択順序を示す順序情
   報を含み、 前記選択手段は、前記指示手段による指示により、前記
   関連付けデータで関連付けされた複数のパノラマ系列の
   一つを、前記順序情報に従った順序で選択することを特
   徴とする請求項４に記載の画像再生装置。
6. 【請求項６】 前記格納手段は、前記複数のパノラマ系
   列毎に、各パノラマ画像と実空間にける視点位置とを対
   応付ける対応付けデータを含み、 前記制御手段は、前記指示手段によって切り替えが指示
   された場合に、切り替え直前に表示した画像の視点位置
   と、切り替え後のパノラマ系列に含まれる対応付けデー
   タとに基づいて、切り換え直後に表示すべきパノラマ画
   像を決定することを特徴とする請求項１に記載の画像再
   生装置。
7. 【請求項７】 同一経路について、複数の視点位置に対
   応する複数のパノラマ画像からなる複数のパノラマ系列
   を格納装置に格納する格納工程と、 前記格納装置に格納された１つのパノラマ系列より、視
   点位置及び視線方向に対応する画像を抽出して再生表示
   する表示工程と、 前記表示工程によって表示中のパノラマ系列から他のパ
   ノラマ系列への切り替えを指示する指示工程と、 前記指示工程によって切り替えが指示された場合、前記
   表示中のパノラマ系列と同一経路の他のパノラマ系列を
   選択する選択工程と、 前記選択工程で選択されたパノラマ系列に含まれるパノ
   ラマ画像を用いて表示を行うべく前記表示工程を制御す
   る制御工程とを備えることを特徴とする画像再生方法。
8. 【請求項８】 前記格納工程において、同一経路につい
   て格納される複数のパノラマ系列は、異なるコンピュー
   タグラフィックスが重畳描画されたものを含むことを特
   徴とする請求項７に記載の画像再生方法。
9. 【請求項９】 前記格納工程において、同一経路につい
   て格納される複数のパノラマ系列は、それぞれ異なる時
   間帯で撮影されたパノラマ画像からなることを特徴とす
   る請求項７に記載の画像再生方法。
10. 【請求項１０】 前記格納工程は、更に前記複数のパノ
    ラマ系列を関連付ける関連付けデータを前記格納装置に
    格納し、 前記選択工程は、前記指示工程による指示により、前記
    関連付けデータで関連付けされた複数のパノラマ系列の
    一つを選択することを特徴とする請求項７に記載の画像
    再生方法。
11. 【請求項１１】 前記関連付けデータは、前記関連付け
    された複数のパノラマ系列における選択順序を示す順序
    情報を含み、 前記選択工程は、前記指示工程による指示により、前記
    関連付けデータで関連付けされた複数のパノラマ系列の
    一つを、前記順序情報に従った順序で選択することを特
    徴とする請求項１０に記載の画像再生方法。
12. 【請求項１２】 前記格納工程は、前記複数のパノラマ
    系列毎に、各パノラマ画像と実空間にける視点位置とを
    対応付ける対応付けデータを含み、 前記制御工程は、前記指示工程によって切り替えが指示
    された場合に、切り替え直前に表示した画像の視点位置
    と、切り替え後のパノラマ系列に含まれる対応付けデー
    タとに基づいて、切り換え直後に表示すべきパノラマ画
    像を決定することを特徴とする請求項７に記載の画像再
    生方法。
13. 【請求項１３】 請求項７乃至１２のいずれかに記載の
    画像再生方法をコンピュータによって実現するための制
    御プログラム。
14. 【請求項１４】 請求項７乃至１２のいずれかに記載の
    画像再生方法をコンピュータによって実現するための制
    御プログラムを格納する記憶媒体。
15. 【請求項１５】 同一経路について、複数の視点位置に
    対応する複数の画像からなる複数の画像系列を格納する
    格納手段と、 １つの画像系列より、視点位置及び視線方向に対応する
    画像を抽出して表示手段へ表示させる抽出手段と、 前記抽出手段によって抽出され表示中の画像系列から他
    の画像系列への切り替えを指示する指示手段と、 前記指示手段によって切り替えが指示された場合、前記
    表示手段に表示中の画像系列と同一経路の他の画像系列
    を選択する選択手段と、 前記選択手段で選択された画像系列に含まれる画像を用
    いて前記表示手段に表示を行わせるべく制御する制御手
    段とを備えることを特徴とする画像処理装置。
16. 【請求項１６】 前記格納手段において、同一経路につ
    いて格納される複数の画像系列は、異なるコンピュータ
    グラフィックスが重畳描画されたものを含むことを特徴
    とする請求項１５に記載の画像処理装置。
17. 【請求項１７】 前記格納手段において、同一経路につ
    いて格納される複数の画像系列は、それぞれ異なる時間
    帯で撮影された画像からなることを特徴とする請求項１
    ５に記載の画像処理装置。
18. 【請求項１８】 前記複数の画像系列を関連付ける関連
    付けデータを有し、 前記選択手段は、前記指示手段による指示により、前記
    関連付けデータで関連付けされた複数の画像系列の一つ
    を選択することを特徴とする請求項１５に記載の画像処
    理装置。
19. 【請求項１９】 前記関連付けデータは、前記関連付け
    された複数の画像系列における選択順序を示す順序情報
    を含み、 前記選択手段は、前記指示手段による指示により、前記
    関連付けデータで関連付けされた複数の画像系列の一つ
    を、前記順序情報に従った順序で選択することを特徴と
    する請求項１８に記載の画像処理装置。
20. 【請求項２０】 前記格納手段は、前記複数の画像系列
    毎に、各画像と実空間にける視点位置とを対応付ける対
    応付けデータを含み、 前記制御手段は、前記指示手段によって切り替えが指示
    された場合に、切り替え直前に表示した画像の視点位置
    と、切り替え後の画像系列に含まれる対応付けデータと
    に基づいて、切り換え直後に表示すべき画像を決定する
    ことを特徴とする請求項１５に記載の画像処理装置。
21. 【請求項２１】 前記画像系列は複数のパノラマ画像に
    よって構成されていることを特徴とする請求項１５乃至
    ２０のいずれかに記載の画像処理装置。
22. 【請求項２２】 同一経路について、複数の視点位置に
    対応する複数の画像からなる複数の画像系列を格納装置
    に格納する格納工程と、 前記格納装置に格納された１つの画像系列より、視点位
    置及び視線方向に対応する画像を抽出して表示手段へと
    表示させる抽出工程と、 前記抽出工程によって抽出されて表示中の画像系列から
    他の画像系列への切り替えを指示する指示工程と、 前記指示工程によって切り替えが指示された場合、前記
    表示手段に表示中の画像系列と同一経路の他の画像系列
    を選択する選択工程と、 前記選択工程で選択された画像系列に含まれる画像を用
    いて前記表示手段に表示を行わせるべく制御する制御工
    程とを備えることを特徴とする画像処理方法。
23. 【請求項２３】 前記格納工程において、同一経路につ
    いて格納される複数の画像系列は、異なるコンピュータ
    グラフィックスが重畳描画されたものを含むことを特徴
    とする請求項２２に記載の画像処理方法。
24. 【請求項２４】 前記格納工程において、同一経路につ
    いて格納される複数の画像系列は、それぞれ異なる時間
    帯で撮影された画像からなることを特徴とする請求項２
    ２に記載の画像処理方法。
25. 【請求項２５】 前記格納工程は、更に前記複数の画像
    系列を関連付ける関連付けデータを前記格納装置に格納
    し、 前記選択工程は、前記指示工程による指示により、前記
    関連付けデータで関連付けされた複数の画像系列の一つ
    を選択することを特徴とする請求項２２に記載の画像処
    理方法。
26. 【請求項２６】 前記関連付けデータは、前記関連付け
    された複数の画像系列における選択順序を示す順序情報
    を含み、 前記選択工程は、前記指示工程による指示により、前記
    関連付けデータで関連付けされた複数の画像系列の一つ
    を、前記順序情報に従った順序で選択することを特徴と
    する請求項２５に記載の画像処理方法。
27. 【請求項２７】 前記格納工程は、前記複数の画像系列
    毎に、各画像と実空間にける視点位置とを対応付ける対
    応付けデータを含み、 前記制御工程は、前記指示工程によって切り替えが指示
    された場合に、切り替え直前に表示した画像の視点位置
    と、切り替え後の画像系列に含まれる対応付けデータと
    に基づいて、切り換え直後に表示すべき画像を決定する
    ことを特徴とする請求項２２に記載の画像処理方法。
28. 【請求項２８】 前記画像系列は複数のパノラマ画像に
    よって構成されていることを特徴とする請求項２２乃至
    ２７のいずれかに記載の画像処理方法。
29. 【請求項２９】 請求項２２乃至２８のいずれかに記載
    の画像処理方法をコンピュータによって実現するための
    制御プログラム。
30. 【請求項３０】 請求項２２乃至２８のいずれかに記載
    の画像処理方法をコンピュータによって実現するための
    制御プログラムを格納する記憶媒体。