JP2006053694A - 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 - Google Patents

Abstract

【課題】 現実感ある仮想空間を容易に生成できる空間シミュレータを提供する。
【解決手段】 対象空間についての複数の画像から該対象空間に関する視差情報を抽出する視差情報抽出部５（視差情報抽出手段）と、上記視差情報から距離情報を算出する距離情報算出部６（距離情報算出手段）と、該距離情報に基づいて上記対象空間を複数のレイヤに分割するレイヤ分割部８（レイヤ分割手段）と、上記画像から得られる画像データおよび上記距離情報に基づいて、レイヤ毎にレイヤ表現データを生成するレイヤ表現データ生成部１０（レイヤ表現データ生成手段）と、上記各レイヤ表現データに基づいて上記対象空間の空間表現データを作成する空間表現データ作成部１１（空間表現データ作成手段）とを備える。
【選択図】 図１

Description

本発明は、都市空間や建築物等を表現する空間シミュレータに関する。

近年、建築物や都市等の広域の実空間をコンピュータ上で仮想空間として表現する研究が行われている。このような仮想空間を生成するためにはコンピュータグラフィクス技術が用いられている。

この仮想空間の表現方法として、ある視点における周囲情報をパノラマ画像として記録しておき、人間の視点位置に応じ画像を変形することによって仮想空間を生成する方法がある。この方法によれば、人間を取り囲む環境を仮想空間として表現することが可能となる。

しかしながら、上記の方法では、任意視点における仮想空間を表現する場合、膨大な周囲情報が必要となる。このため、人間の動きや複雑な形状を有する自然物を写実的で任意視点可能な仮想空間に表現することが容易でない。すなわち、実空間の情報を反映させた現実的な仮想空間の表現とそれに伴う処理データ量とはトレードオフの関係にあり、現実感ある仮想空間を生成するためには、実空間の情報を簡略化あるいは削除することによって仮想空間の表現効率を向上させ、処理データ量を削減する必要がある。

本発明の画像処理装置は、上記課題を解決するためになされたものであり、その目的は、現実感ある仮想空間を容易に生成することのできる空間シミュレータを提供することにある。

本発明の空間シミュレータは、上記課題を解決するために、対象空間についての複数の画像から該対象空間に関する視差情報を抽出する視差情報抽出手段と、上記視差情報から上記対象空間に関する距離情報を算出する距離情報算出手段と、該距離情報に基づいて上記対象空間を複数のレイヤに分割するレイヤ分割手段と、上記画像から得られる画像データおよび上記距離情報に基づいて、レイヤ毎にレイヤ表現データを生成するレイヤ表現データ生成手段と、上記各レイヤ表現データに基づいて上記対象空間の空間表現データを作成する空間表現データ作成手段とを備えることを特徴としている。

視差情報抽出手段は、対象空間に関する複数の画像（例えば、ステレオ画像）から視差情報を抽出する。なお、ステレオ画像（同一対象を異なる２視点からとった２枚１組の画像）では、視点から対象までの距離に応じて視差が生じる。この視差値の情報を視差情報とする。

距離情報算出手段は、視差情報抽出手段からの視差情報をもとに対象空間の距離情報を算出する。この算出には、例えば、ステレオ法を用いる。ステレオ法とは、三角測量の原理に基づいて距離を推定する手法であり、左右２枚の画像中の同一物体を見つけ、それぞれの画像上での位置の違い（視差情報）からその対象までの距離情報を得る手法である。

レイヤ分割手段は、距離情報算出手段からの距離情報に基づいて、対象空間を複数のレイヤ（例えば、地面レイヤ、近接レイヤ、背景レイヤ）に分割する。

レイヤ表現データ生成手段は、対象空間の画像（複数の実画像やパノラマ画像）から得られる画像データおよび上記距離情報に基づいて、レイヤ毎にレイヤ表現データを生成する。

空間表現データ作成手段は、レイヤ表現データ生成手段で得られた各レイヤ表現データを統合し、上記対象空間の空間表現データを作成する。

このように、本発明の空間シミュレータでは、対象空間の画像から対象空間の距離情報を算出し、該距離情報によって区別されたレイヤ毎に、レイヤ表現データを生成する。したがって、人間の視覚特性（空間認知特性）に応じたレイヤ表現データを生成することができる。この結果、シミュレートに伴う処理データ量を徒に増加させることなく、現実感ある（写実性の高い）仮想空間を生成することができる。

本発明の空間シミュレータでは、上記画像データは、上記対象空間のパノラマ画像データであることが好ましい。当該構成によれば、多くの視点からの空間表現データを作成することができ、より現実感のある仮想空間を生成することができる。

また、上記レイヤ分割手段は、上記距離情報と画像撮影の条件（予め算出可能な一定の条件）とに基づいて、上記対象空間から地面レイヤを識別することが好ましい。また、上記レイヤ分割手段は、上記地面レイヤ以外の領域を、所定の距離条件に従って、撮影地点に近接する近接レイヤと、該近接レイヤ以外の背景レイヤとに区別することが好ましい。これらの構成によれば、地面レイヤ、近接レイヤおよび背景レイヤの区別を容易に行うことができる。

また、上記レイヤ表現データ生成手段は、上記距離情報に基づいて生成される平面モデルに上記パノラマ画像データを対応付けることで地面レイヤについてのレイヤ表現データを生成することが好ましい。また、上記レイヤ表現データ生成手段は、上記距離情報に基づいて生成される３次元メッシュモデルに上記パノラマ画像データを対応付けることで、近接レイヤについてのレイヤ表現データを生成することが好ましい。また、上記レイヤ表現データ生成手段は、上記距離情報に基づいて得られる円筒状３次元モデルと上記パノラマ画像データとを対応付けることで、背景レイヤについてのレイヤ表現データを生成することが好ましい。これらの構成によれば、シミュレートに伴う処理データ量を徒に増加させることなく、より一層現実感ある（写実性の高い）仮想空間を生成することができる。

上記レイヤ表現データ生成手段は、対象空間に対する各視点について、レイヤ毎のレイヤ表現データを生成することが好ましい。さらに、上記仮想表現データ作成手段は、上記各視点におけるレイヤ毎のレイヤ表現データから上記対象空間の仮想表現データを作成することが好ましい。これらの構成により、一層現実感ある（写実性の高い）仮想空間を生成することができる。

また、対象空間の異なる時間での画像データから該対象空間の動領域を抽出する動領域抽出手段と、上記対象空間の画像データおよび距離情報に基づいて、動領域表現データを生成する動領域表現データ生成手段とを備え、空間表現データ作成部は、この動領域表現データにも基づいて空間表現データを生成することが好ましい。

上記構成によれば、動領域を他の領域とは別に処理する（動領域表現データを生成する）ことで、動領域の表現に伴う処理データ量の増加を抑制することができる。

また、上記動領域表現データ生成手段は、動領域が存在するレイヤ毎に、動領域表現データを生成することが好ましい。当該構成によれば、動領域をより高い写実性をもって表現することができる。

また、上記動領域データ生成手段は、近接レイヤに存在する動領域につき、対象空間の一方位撮影によって得られる画像データと上記距離情報から得られる形状情報とに基づいて動領域表現データを生成することが好ましい。さらに、動領域データ生成手段は、背景レイヤに存在する動領域につき、対象空間の一方位撮影によって得られる画像データを用いて動領域表現データを生成することが好ましい。これらの構成によれば、動領域の表現に伴う処理データ量の増加を抑制することができる。

また、本発明の空間シミュレート方法は、対象空間についての複数の画像から該対象空間に関する視差情報を抽出する視差情報抽出工程と、上記視差情報から距離情報を算出する距離情報算出工程と、該距離情報に基づいて上記対象空間を複数のレイヤに分割するレイヤ分割工程と、上記画像から得られる画像データおよび上記距離情報に基づいて、レイヤ毎にレイヤ表現データを生成するレイヤ表現データ生成工程と、上記各レイヤ表現データから上記対象空間の空間表現データを作成する空間表現データ作成工程とを備えることを特徴とする。

また、対象空間の異なる時間での画像データから該対象空間の動領域を抽出する動領域抽出工程と、上記対象空間の画像データおよび距離情報に基づいて、動領域表現データを生成する動領域表現データ生成工程とを含み、上記空間表現データ作成工程では、この動領域表現データにも基づいて空間表現データを生成することが好ましい。

本発明の空間シミュレートプログラムは、上記各手段をコンピュータに実現させることを特徴とする。

また、本発明の記録媒体は、上記空間シミュレートプログラムがコンピュータに読み取り可能に格納されていることを特徴とする。

本発明の空間シミュレータは、以上のように、対象空間の画像から対象空間の距離情報を算出し、該距離情報によって区別されたレイヤ毎に、レイヤ表現データを生成する。したがって、人間の視覚特性（空間認知特性）に応じたレイヤ表現データを生成することができる。この結果、シミュレートに伴う処理データ量を徒に増加させることなく、現実感ある（写実性の高い）仮想空間を生成することができる。

本発明の実施の一形態を図１〜図８３に基づいて説明すれば以下のとおりである。ここで、図１は本実施の形態における空間シミュレータの構成を示すブロック図であり、
図１に示されるように、空間シミュレータ１は、制御部２と、記憶部３と、表示部２２とを備える。

制御部２は、パノラマ処理部４と、視差情報抽出部５（視差情報抽出手段）と、距離情報算出部６（距離情報算出手段）と、動領域抽出部７（動領域抽出手段）と、レイヤ分割部８（レイヤ分割手段）と、動領域表現データ生成部９（動領域表現データ生成手段）と、レイヤ表現データ生成部１０（レイヤ表現データ生成手段）と、空間表現データ作成部１１（空間表現データ作成手段）と、表示制御部１９とを備える。また、レイヤ分割部８は、地面レイヤ識別部１３と、近接・背景レイヤ判別部１２とを備える。また、レイヤ表現データ生成部１０は、地面レイヤデータ生成部１７と、近接レイヤデータ生成部１５と、背景レイヤデータ生成部１６とを備える。

撮影カメラ２０（ステレオカメラ等）は対象空間を回転撮影する。これにより、複数の実画像およびステレオ実画像が取得される。

記憶部３は、撮影カメラ２０によって取得された実画像およびステレオ実画像から得られる画像データを記憶する。

パノラマ処理部４は、記憶部３から撮影カメラ２０によって取得された実画像およびステレオ実画像から対象空間のパノラマ画像データを生成し、これを記憶部３に記憶させる。

動領域抽出部７は、対象空間の異なる時間での画像データから該対象空間の動領域を抽出する。すなわち、時系列的に０からＮまで実画像を取得したとすると、０フレーム目の実画像とＮフレームの実画像とを比べることで動きのある領域を画像の差として認識する。なお、動領域以外は静止領域とする。

視差情報抽出部５は、記憶部３から実画像データやパノラマ画像データを取得し、これから対象空間の視差情報を生成する。

距離情報算出部６は、視差情報算出部５からの視差情報から距離情報を算出する。ここでは、左右２枚の画像中の同一物体を見つけ、それぞれの画像上での位置の違い（視差情報）から対象までの距離情報を得るステレオ法（左方法）を用いる。参考として、図８３において、視差ｄと３次元空間中でのその点までの距離Ｚとの間には、カメラ間の距離（基線長）をｂ、カメラの焦点距離をｆ、左画像の画像座標を（ｕ，ｖ）とすると、Ｘ＝ｕｂ／ｄ，Ｙ＝ｖｂ／ｄ，Ｚ＝ｆｂ／ｄ，ｄ＝ｕ−ｕ’のような関係が成立する。

レイヤ分割部８は、距離情報算出部６から算出された距離情報に基づいて、対象空間を複数のレイヤに分割する。

まず、地面レイヤ識別部１３は、距離情報算出部６からの距離情報および画像撮影の条件に基づいて、対象空間から地面レイヤを識別する。その方法を図７８を用いて以下に説明する。カメラモデルにはピンホールカメラモデルを用い、カメラの地上からの距離をＨ、カメラ位置をＯ、焦点距離をｆとする。そして、地上のある地点Ｐはカメラレンズを通って画像投影面上の点Ｐ’に結像される。そのときのカメラ位置Ｏから地上の任意地点Ｐまでの距離をＤ、画像投影面上の光軸から結像点Ｐ’までの距離をｘとすると、カメラ位置Ｏから地上のある地点Ｐまでの距離Ｄは、Ｄ＝ｆＨ／ｘと表される。以上の原理に基づいて推定される地面のある地点までの距離と、上記ステレオ法によって得られる距離との比較を行い、両者の距離の差が閾値未満であれば、その地点は地面であると判定する。

近接・背景レイヤ判別部１２は、上記地面レイヤ以外の領域を、距離情報算出部６からの距離情報および所定条件（距離条件）に従って、撮影地点に近接する近接レイヤと、該近接レイヤ以外の背景レイヤとに分割する。ここでは、上記距離条件を撮影地点から１０ｍの距離とする。人間の両眼で奥行きを知覚できる距離の限界は１０ｍと考えられるからである（後述）。すなわち、撮影地点から１０ｍ以内の領域を近接レイヤとし、１０ｍ以上の領域を背景レイヤとする。

ここで、近接・背景レイヤ判別部１２で用いる距離情報について以下に説明を加える。まず、視差情報から濃淡値のヒストグラムを作成する。ヒストグラムとは、図７９に示すように、濃淡値ｘの画素が画像中にどの程度の頻度で存在するかを表すものである。すなわち、ここでは、視差値のヒストグラムを作成することにより、視点から対象物体までの距離の頻度分布を求める。ついで、上記のヒストグラムの谷になっている位置の濃淡値を検出する。図７９の矢印で示す位置の濃淡値である。検出の際には、あらかじめ前処理としてヒストグラムの平滑化を行う。ついで、検出された谷の位置の濃淡値間を１つの領域として視差画像（視差情報を濃淡値で表現した画像）を分割する。これにより、該視差画像をある一定の距離にある対象物体の領域に分割することができる。

さらに、分割された視差画像のノイズをラベリング処理により除去する。このラベリング処理とは図８０に示すように、つながっているすべての画素に同じ番号（ラベル）を付け、異なった連結成分には異なった番号をつける処理のことである。連結成分の面積を求め、その面積がある閾値より小さければ、その成分をノイズとして除去する。これをすべての連結成分に対して行う。最後に、各々、分割された視差画像の濃淡値（視差値）をもとにして、視点から対象物体までの距離を求め、所定の距離条件（撮影地点から１０ｍ）に基づき、近接レイヤもしくは背景レイヤに分類する。

レイヤ表現データ生成部１０は、レイヤ分割部８からのレイヤ識別情報と、距離情報算出部６からの距離情報と、画像データとに基づいて、レイヤ毎（地面レイヤ、近接レイヤ、背景レイヤ）に、全領域（静止領域および動領域）のレイヤ表現データを生成し、これを空間表現データ作成部１１に出力する。レイヤ表現データ生成部１０でのレイヤ別の表現手法は、図７７のとおりである。

地面レイヤデータ生成部１７は、図８２に示す円盤状の３次元モデルに地面レイヤの画像データを組み合わせることで地面レイヤについてのレイヤ表現データを生成する。すなわち、視点位置（カメラ位置）Ｏから地面上のある任意地点Ｐまでの距離Ｄを求める。そして、全方位画像の撮影開始方向を０°（図８２のＸ軸方向）とし、その０°の方向ベクトルと、視点位置Ｏから任意地点Ｐを見たときのベクトルとのなす角度θを求める。そして、この距離情報Ｄおよび角度情報θを用いて、円盤状の３次元モデルを生成し、該３次元モデルにパノラマ実画像データを対応づける（円盤状の３次元形状モデルにパノラマ実画像テクスチャを貼り付ける）。これにより、レイヤ表現データが生成される。

近接レイヤデータ生成部１５は、距離情報から得られる３次元メッシュモデルに、近接レイヤの静止領域についてのパノラマ実画像データを対応づける（３次元メッシュモデルにパノラマ実画像テクスチャを貼り付ける）ことによってレイヤ表現データを生成する。なお、距離情報から３次元メッシュモデルを生成する一手法として、例えば、William E.Lorensen,Harvey E.cline,''Marching cubus:A high resolution 3D surface construction algorithm'',Proc.SIGGRAPH'87,pp.163-170,ACM,1987に開示された手法を挙げることができる。


背景レイヤデータ生成部１６は、図８１に示す円筒状の３次元モデルに背景レイヤの画像データを組み合わせることで背景レイヤについてのレイヤ表現データを生成する。ここで用いる円筒状の３次元モデルは、視点位置（カメラ位置）０を中心とし、半径Ｒ、高さＨの３次元形状モデルである。ここで、半径Ｒとして、視差情報（視差値の平均値）から得られる距離情報を用いる。円筒の高さＨは、実画像を撮影したときの画角θを用いて、Ｈ＝２×Ｒｔａｎθの関係式により決定する。そして、生成された円筒状の３次元形状モデルに背景レイヤのパノラマ実画像データを対応づける（円筒状の３次元モデルに背景部分のテクスチャを貼り付ける）。これにより、レイヤ表現データが生成される。

動領域表現データ生成部９は、レイヤ分割部８からのレイヤ情報に基づいて、近接レイヤの動領域部分の動領域表現データと、背景レイヤの動領域部分の動領域表現データとを生成する。この動領域表現データ生成部９では、近接レイヤに関して、距離情報算出部６からの距離情報に基づいて形状情報が生成され、この形状情報と動領域部分の画像データとの対応付けによって動領域表現データが生成される。また、背景レイヤに関しては動領域部分の画像データから動領域表現データが生成される。

空間表現データ作成部１１は、レイヤ表現データ生成部１０からの静止領域のレイヤ表現データと、動領域表現データ生成部９からの動領域表現データとを統合して空間表現データを作成する。

また、表示制御部１９は、空間表現データ作成部１１からの空間表現データに基づいて、表示部２２に仮想空間を表示する。

図２に、本空間シミュレータにおける処理工程を示すフローチャートを示す。

同図に示されるように、シミュレートがスタートすると、まず、動領域抽出部７によって記憶部３から対象空間の画像データが取得され、該対象空間内の動領域が判別される（Ｓ１）。ついで、パノラマ処理部４によって記憶部３から対象空間の画像データ（ステレオカメラ等による対象空間の回転撮影によって得られたデータ）が取得され、パノラマ画像データが生成される（Ｓ２）。

ついで、視差情報抽出部５にて、実画像の画像データおよびパノラマ画像データから対象空間の視差情報が抽出され（Ｓ３）、ついで、距離情報算出部６によって、視差情報から対象空間の距離情報が算出される（Ｓ４）。

ついで、地面レイヤ識別部１３において、距離情報算出部６からの距離情報に基いて地面レイヤが判別される（Ｓ５）。ついで、近接・背景レイヤ判別部１２において、所定の距離条件に従って、近接レイヤと背景レイヤとが判別される（Ｓ６）。

ついで、レイヤ表現データ生成部１０にて、静止領域について、レイヤ毎（地面レイヤ近接レイヤ、背景レイヤ）にレイヤ表現データが生成される。また、動領域表現データ生成部９にて、動領域について、レイヤ毎（近接レイヤ、背景レイヤ）に動領域表現データが生成される（Ｓ７）。

ついで、空間表現データ作成部１１にて、静止領域についての各レイヤ表現データと、動領域についての各動領域表現データとが統合され、空間表現データが生成される（Ｓ８）。

最後に、表示制御部１９によって表示部２２に仮想空間が表示される（Ｓ９）。

なお、制御部２の各部の機能は、処理原稿検索プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ、ＤＳＰ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

この場合、記録媒体から読み出されたプログラムコード自体が上述した機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

具体的には、制御部２が、記憶部３等のメモリに格納された所定のプログラムを、図示しないマイクロプロセッサなどが実行することにより実現される。

上記プログラムコードを供給するための記録媒体は、システムあるいは装置と分離可能に構成することができる。また、上記記録媒体は、プログラムコードを供給可能であるように固定的に担持する媒体であってもよい。そして、上記記録媒体は、記録したプログラムコードをコンピュータが直接読み取ることができるようにシステムあるいは装置に装着されるものであっても、外部記憶装置としてシステムあるいは装置に接続されたプログラム読み取り装置を介して読み取ることができるように装着されるものであってもよい。

例えば、上記記録媒体としては、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、上記プログラムコードは、コンピュータが記録媒体から読み出して直接実行できるように記録されていてもよいし、記録媒体から主記憶のプログラム記憶領域へ転送された後コンピュータが主記憶から読み出して実行できるように記録されていてもよい。

さらに、空間シミュレータ１を通信ネットワークと接続可能に構成し、上記プログラムコードが通信ネットワークを介して供給されてもよい。そして、通信ネットワークとしては、特に限定されず、具体的には、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、具体的には、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された搬送波あるいはデータ信号列の形態でも実現され得る。

なお、プログラムコードを記録媒体から読み出して主記憶に格納するためのプログラム、および、通信ネットワークからプログラムコードをダウンロードするためのプログラムは、コンピュータによって実行可能にあらかじめシステムあるいは装置に格納されているものとする。

上記した制御部２の機能は、コンピュータが読み出した上記プログラムコードを実行することによって実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行うことによっても実現される。

さらに、上述した機能は、上記記録媒体から読み出された上記プログラムコードが、コンピュータに装着された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことによっても実現される。

以下に、図３〜図８３を参照して、本実施の形態における空間の表現法をその技術思想とともに詳細に説明する。

実空間と人間の視覚の関係を考えると、人間は実空間の対象をその対象までの距離に応じ詳細度を変化させ知覚していると言われている。この知覚特性と、パノラマ表現とを組合わせることで現実感のある仮想空間を容易に生成することができる。本実施の形態では、ステレオ画像から得られる視差情報（距離情報）を用いて対象空間を複数のレイヤに分割し、レイヤ別に生成した画像データを、仮想空間上で階層的に統合することによって仮想空間を表現する。

視差情報とは、人間の目のように２つある入力情報を統合する時に知覚される情報であ
り、これらは空間の広がりや対象の形状を知覚する場合に用いられる。本実施の形態での視差情報とはステレオカメラから得られる視差画像を基にした情報のことである。

本実施の形態では、実空間を静止領域と動領域から成立しているものとし、仮想空間は近接レ
イヤ、背景レイヤ、地面レイヤを用いて表現する。動領域は、人間、動物、車などの時間経過に伴い形状が変化、移動するものである。また、静止領域は、動きのない建物、植木、地面、道路などである。

本実施の形態では、パノラマ画像（視差画像）を用いて実空間の対象と視点との距離を算出し、これに基づいてレイヤ分割（近接レイヤ、背景レイヤ、地面レイヤ）を行う。近接レイヤ、背景レイヤに関してはさらに図３に示すように動領域と静止領域とから成り立っている。すなわち、近接レイヤは静止領域＋動領域である。背景レイヤは静止領域+動領域である。地面レイヤは静止領域である。

各レイヤの静止領域に関して、地面レイヤには平面形状を用いて表現する。近接レイヤおよび背景レイヤにはパノラマ画像を円柱投影することでパノラマ表現を行う。ただし、近接レイヤに関しては形状情報を付加したパノラマ表現を用いる。動領域の表現は、近接レイヤでは実時間で取得した実画像に視差情報を用いて特定した形状情報を付加し表現する。背景レイヤでは実時間で実画像を取得し、それを円柱投影することで表現する（図４参照）。すなわち、近接レイヤの静止領域は、形状情報＋パノラマ表現である。近接レイヤの動領域は、形状情報＋実画像表現である。背景レイヤの静止領域はパノラマ表現である。背景レイヤの動領域は実画像表現である。地面レイヤ（静止領域のみ）は平面表現である。

これらの表現を視差情報を用いて視点から順に配置し階層化パノラマ表現することで写
実性、現実感、容易さを兼ね合わせた仮想空間を表現することができる。

仮想空間とは、実空間から対象物体の形状や位置情報を取り出し擬似的に空間上に、物
体や音や感触などの人間の感覚を取り入れ表現したものである。近年では、実空間と仮想
空間の融合をめざした研究が行われており映像メディアにおいては欠かせない情報表現の
１つになってきている。このような仮想空間に求められることは、現実的であることが必要条件となっている。そのため仮想空間を実空間に近づけるためには写実性、現実感を高めることが必要であり、本実施の形態では、特に視覚情報に焦点をあて仮想空間の生成方法について考えている。

実空間から仮想空間を生成する場合、実空間が図５（ａ）のように、建物、噴水、人、雲、山、木々、地面、空などから構成されているとすると、実空間をカメラなどの撮影機を用いて２次元へ投影した画像には、実空間での動物体が投影される動領域と、静止物が投影された静止領域が混在したものとなる。以下に本実施の形態に用いる実空間中の静止領域と動領域について述べる。

静止領域とは実世界の中では建物、植木、地面、道路などを２次元へ投影した画像内で
の領域にあたる（図５（ｂ）参照）。時間経過に伴い形状が変化しないものをこの領域にする。同図では建物、噴水、山、地面、空などがこれにあたる。

動領域とは実世界の中では、人間、動物、車、木々などの時間経過に伴い形状が変化、移動する物である（図５（ｃ）参照）。同図では雲、人、噴水の水しぶきなどがこれにあたる。この様に実空間内には静止領域と動領域が混在するため、形状や動きを持った仮想空間の生成過程が複雑となる。従来では動領域を除いた仮想空間か動領域を無視した生成方法をとっているが、実空間から仮想空間の構成要素として不十分である。現実感をもった仮想空間を表現するためには、仮想空間上で表現する視覚情報を増やす必要があり、動領域の生成は欠かせない情報である。しかし、これら動領域、静止領域を考慮し仮想空間を生成するためには時間などコストが多くかかることになる。

一方、２次元画像の表現方法を見るとアニメーションや符号化標準活動MPEG4(Moveing Picture Experts Group Version-4)などに見られるレイヤ領域という画像を空間距離や対
象物体の形状情報をもとに一定領域ごとで分割し、このレイヤを階層的に重ねる方法を用
いることで、容易に実空間の広がりや、物体の動き等を表現している。

そこで本実施の形態ではレイヤ表現を用いて仮想空間を表現する。方法としては実空間をカメ
ラ撮影地点(視点)をもととした一定の距離を用いレイヤ領域に分割し、仮想空間内に各レ
イヤを階層的に配置するものとする。

階層的に配置するレイヤを生成する際にはパノラマ画像を用いる。パノラマ画像を用い
て仮想空間を表現した場合、利用する者の視界を取り囲むことができ、臨場感を表現できる。また、実画像を用いるため写実性の高い仮想空間を生成し易い。さらにコンピュータグラフィクスを用いて生成する方法に比べて、データ量が少ないということから実用的である。次にパノラマ画像の撮影方法およびレイヤ分割方法、これらの表現方法について述べる。

図６（ａ）のような実空間がある場合、その配置関係は図６（ｂ）のようになる。パノラマ画像は図６（ａ）においてカメラを中心に３６０度回転させ撮影する。得られたパノラマ画像をレイヤ分割するには図６（ｂ）のカメラ撮影地点を０から∞を一定の距離で分割する。ここでカメラ撮影地点に近接した分割レイヤを近接レイヤ、それ以外を背景レイヤとする。更に実空間中で地面にあたる領域を撮影したパノラマ画像中から地面レイヤとして分割する。得られた３つの近接レイヤ、背景レイヤおよび地面レイヤは、図７に示すように、仮想空間内に、視点(撮影地点)からの距離にあわせて配置する。すなわち、地面レイヤは距離０から∞にかけて配置する。近接レイヤは視点からの距離が小さい領域（近接領域）に配置する。背景レイヤは視点からの距離が大きい領域（遠方領域）に配置する。

近接レイヤおよび背景レイヤは、それぞれ動領域と静止領域とに分割することによって実空間内の移動物体などが仮想空間内で表現できる。また、仮想空間を生成する際に静止領域だけからなる空間として生成しておき、静止領域からなる仮想空間を生成した撮影地点と同地点から動領域部を撮影し、これを後から付加することで、新たな仮想空間を生成することができる。

本実施の形態ではこのような空間を生成することにより、背景レイヤの動領域を使い雲の動きなど部分的に使用することによって空間に動きを付加した表現を行う。また、人間は近いものに対して対象物体の形状を認識することができることから、人間の視覚機能に適した仮想空間を表現するためには、視点位置から近い近接レイヤにおいては形状情報を付加する必要がある。そこで本実施の形態では近接レイヤに関して形状情報を付加している。

本実施の形態での各レイヤ表現は図８に示す通りである。すなわち、近接レイヤは、形状情報＋パノラマ表現である。背景レイヤはパノラマ表現である。地面レイヤは平面表現である。ここで、パノラマ表現は、距離をもとに取得された領域を円柱投影した表現方法である。また、形状情報＋パノラマ表現とは、上記の円柱投影した領域に、対象の形状情報を付加した表現方法である。また、平面表現とは、地面において詳細な形状は必要とせずに、３次元平面に投影した表現方法である。

以下に画像情報を用いた仮想空間の表現手法を説明する。

画像情報を用いた仮想空間の生成手法は、実空間を仮想空間として生成するための最も
一般的な手法であり、従来から様々な分野で研究がなされてきた。研究の方向性を大きく
分けるとノンフォトリアリスティックとフォトリアリスティックとに分けることができる。

ノンフォトリアリスティックは、実物体を捉えた画像に対して抽象化や輪郭線、ハイライトの強調を行い非写実的な画像を生成する手法であり、人間に認知しやすい画像情報を提示することができる。主として、アニメーションや絵画をコンピュータグラフィクスで生成する際等に用いられている。しかし、実空間を高精細アーカイブする目的や写実性や現実感を持つ仮想空間を生成し人間へ提示する表現としては利用できない。

一方フォトリアリスティックは写真のような現実感を持った画像を生成する手法である。
写実性の高い仮想空間を生成するには、フォトリアリスティック技法を用いることで生成することが可能である。フォトリアリスティックの分野で研究されている主な手法としてはモデルベースドレンダリングとイメージベースドレンダリングの２つがあり、モデルベースドレンダリングは、実空間の情報をあらかじめ計算機内に蓄積し、蓄積した情報を基に実空間の現象を計算することで仮想空間を再現するものである。イメージベースドレンダリングは、実世界を捉えらえた画像から対象の形状や色情報を取得し、その情報を画像に付加することで仮想空間を生成するものである。この２つの方法を統合することで実空間を写実的な仮想空間として構築することができる。

そこで、画像情報を用いた仮想空間の生成方法として、以下に、モデルベースドレンダリングおよびイメージベースドレンダリングの２つについて詳しく述べる。さらに本実施の形態において、仮想空間を表現するために必要である実空間のレイヤ分割する方法や時間と共に変化する情報を統合する方法についても述べる。

まず、モデルベースドレンダリング（Model Based Rendering）について説明する。モデルベースドレンダリング(以下、ＭＢＲと称する)は、物体や仮想空間を生成する際に実空間を計測器を用いて距離を求める能動的手法と、物体や仮想空間を生成する際にカメラレンズの焦点を用いた方法やステレオ法を用いることで物体の形状や反射特性を取得する受動的方法との２つに分けることができる。

これらの方法を用いて空間内にある物体の表面形状、反射特性を取得し、３次元ＣＧを用いて光源、視線、法線の３方向を幾何学的関係及びその物体の陰影を計算処理することで、任意光源、任意視点での画像を生成することができる。図９は、コンピュータグラフィクスにおけるモデルベースドレンダリングの説明図である。

同図に示されるように、モデルベースドレンダリングでは、まず、対象物体の形状情報(Geometry)と物理情報(Physics)情報とを取得する。ついで、得られた情報を基に対象の形状を生成(Rendering)する。ついで、生成(Rendering) 結果を計算機画面に投影する。

近年では、デジタルアーカイブを目的にした研究に活用されており、コンテンツとして
ドキュメント、写真などの情報に限られていた状況に人間の裁量が加わらない情報コンテ
ンツとして注目されている。主な研究としては、対象物の形状情報の取得にレンジファイ
ンダを用いた、ミケランジェロプロジェクトやピエタプロジェクトあるいはグレートブッタプロジェクトなどがある。しかし、この様な研究の手法で仮想空間を生成することを考えた場合、空間内にある全ての物の表面形状や反射特性を取得する必要がある。しかしながら人間の手により全ての物体の表面形状、反射特性を取得するには膨大な時間が必要であり現実的でない。また、その際、現実空間内には形状情報を容易に取得できない物体が数多くある。特に動物の毛や木葉などの形状情報を詳細に取得する事は困難である。

これらを解決する方法としては、イメージベースドモデリング(Image Based Modeling-
以下、ＩＢＭと称する) アプローチが挙げられる。ＩＢＭは実世界を捉えた画像から対象物の形状情報、反射特性を容易に求めることができる手法である。これにより最も時間の掛かる対象物体の形状情報の取得時間が大幅に短縮されることになる。特に最近では写真から任意対象の形状情報を求めるためのフォトモデリングツールなどが開発され、映像作成の現場で活用されている。

フォトモデリングツールの中で開示された手法は、形状情報を画像対象に対して任意に変化させ、適応させることで人間による物体形状の取得時間を大幅に削減させるものである。当該手法は一般的な人工物は左右対称的な形状を保持していることを利用した物で、人間が画像から任意に指定する形状情報に多くの誤差が含まれたとしても、このフォトモデリングツールにより形状情報を補正するものである。

また、開示されている別の手法は、任意画像に形状情報を付加することで容易に３次元空間を生成可能なものである。この手法では仮想空間は地面、背景より成り立っているものと仮定し、画像から地面にあたる部分、背景にあたる部分を任意に指定する。それらを３次元空間に配置することにより任意視点での画像を生成する。これにより、上記手法に比べノンフォトリアリスティックな画像が生成される。

しかし、これらの手法を用いるためには、画像から任意に形状情報を指定するために、形状が容易に判別できる対象である等の複雑でない風景を選択しなければならない。また人間により形状を指定するために多くの誤差を含むことがある。

次に、イメージベースドレンダリング（Image Based Rendering）について説明する。

イメージベースドレンダリング(以下、ＩＢＲと称する)は、実写画像を用いて任意の視点から画像を生成する手法である。図１０は、コンピュータビジョンにおけるイメージベースドレンダリングの説明図である。同図に示すように、ＩＢＲでは、まず、カメラ等を用いて対象画像(Images)を取得し、物理情報(Physics)を付加する。ついで、得られた情報を基に新たな画像(Image)を生成する。ＩＢＲは、画像の情報をそのまま用いて新たな任意視点での画像を生成するため、画像中の物体の形状情報が不要である。また実写画像を用いるため、写実性が高い任意視点での画像を得ることができる。そのため、上記したＭＢＲでは困難な表現が容易にできる。

ＩＢＲの基本概念として、Plenoptic Functionが挙げられる。これは物体を任意視点方向からの見え方は、物体表面から視点位置に到達する光線群により構成されるという考え方である。入力画像を基に光線群空間を定義し配置することで、任意視点での画像を光線群空間より導くことができる。すなわち、空間中に存在する光線を７次元で表しデータ化することで空間中の全ての光線群を記述することができる。

しかし、対象物について全ての方向の情報が必要であり、入力画像が膨大量に必要となる問題がある。そこで、光線空間法、LumigraphおよびLight Field等の４次元へ次元数を減らした方法や、Quick Time VRおよびConcentric Mosaics等の３次元へ次元を減らした方法が考え出されている。以下に次元表現ごとにまとめ記述する。図１１（ａ）は光線空間法の概念図であり、図１１（ｂ）はLumigraphおよびLight-Fieldの概念図であり、図１１（ｃ）はConcentric Mosaicsの概念図である。

Plenoptic Function は実空間に存在する光線を、光線の向き、光線の波長、時間、観察者の視点の４要素により表現できると仮定したものである。各要素を光線の向き(x,y)、波長λ、時間t、視点位置(Vx,Vy,Vz) とすると、光軸Ｐは以下の式３１により表す事ができる。

光線空間法は、光線が実空間内を減衰せずに直進するという仮定のもとで式３１の７次
元表現から波長λ、時間tを引いた５次元の空間表現を行ったものである。さらにVzを引
いたP(x，y,θ,φ) の４次元に減らすことで、入力画像の枚数を減らした方法である(図１１（ａ）参照)。LumigraphおよびLight Fieldにおいては、空間の光線群を２つの並行な平面に通過させる。任意の光線を表現するには、各平面の座標を求めればよい。平面の座標をそれぞれ(u，v)および(s,t)とすると、光線はこれら４次元で表すことができる。（図１１（ｂ）参照）
Concentric Mosaicsは、LumigraphやLight Fieldの手法と同様の考えに立っているが、円周上に光線を捉らえ、光線を(x,ｙ,θ）で表すことによって、任意の光線を表現している。しかし、円周上の上の光線群しか表すことができない(図１１（ｃ）参照）。

以上のように、ＩＢＲでは、次元数を減らし任意画像を生成する研究が盛んに行われている。少ない画像数から任意の画像生成する方法としてはＩＢＲの手法に形状情報を付加することで、現実感の高い仮想空間を生成する研究が行われている。

次に、形状情報の投影について説明する。

上記にようにして得られた形状情報(Geometry)を計算機内に蓄積し、その情報を幾何学変換することにより任意視点での画像を生成できる。ここで、形状情報の投影の流れを説明し、幾何学変換(Transform)、および３次元形状から２次元画像への投影(Project)について述べる。図１２は、基本的な形状情報の投影方法を示した図である。同図に示されされように、この投影方法では、まず、形状情報(Geometry)を蓄積する。ついで、取得した形状情報(Geometry)を人間が入力する視点位置情報をもとに幾何学変換(Transform)する。
ついで、得られた幾何学変換(Transform)後の形状情報を画面に投影(Project)する。ついで、投影された結果画像(Image)を人間が観察し、さらに視点移動が必要である場合視点位置情報を変化させる。

以下に、取得した形状情報を幾何学変換(Transform)する方法と、幾何学変換後の形状情報を２次元画面に投影(Project)する方法とについて述べる。

形状情報を持ったオブジェクトの幾何学変換は回転と平行移動により表現できる。この場合の回転はＸ軸周りの回転角ψ、Ｙ軸周りの回転角θ、Ｚ軸周りの回転角φにより３×３行列の回転行列Ｒにより次式（式３２）の様に表すことができる。

また、並行移動はＸ軸方向の移動tx、Ｙ軸方向の移動ty、Ｚ軸方向の移動tzにより１×３行列の平行移動行列Ｔは次式（式３３）のように表すことができる。

以上の様な変換行列を用いて３次元形状情報を回転、移動することで任意視点での３次元形状を提示することができる。

形状情報から２次元平面への投影は射影行列を用い以下の様に表すことができる。図１３は、形状情報の２次元平面への投影を示す説明図である。３次元座標を(X,Y,Z)、この３次元座標の２次元平面への投射位置座標を(x,y)、スケールをs、射影変換行列をΠで表すと以下の式（式３４）になる。

また、３次元座標(X,Y,Z)を座標ベクトルＰ、２次元平面座標(x,y)を座標ベクトルpで表すと以下の式（式３５）のようになる。

更に投射変換行列Πはカメラ内部パラメータ行列Ａ、式３２の回転行列Ｒ、式３３の並行移動行列Ｔを用いて表すと以下の式（式３６）のようになる。

この時３×３行列のカメラ内部パラメータ行列Ａは画像の中心(lx,ly)、カメラ焦点距離f、さらにカメラ内部のスケール(sx,sy)とすると式３７で表すことができる。

最後にまとめると次式（式３８）となる。

ただしＩは単位行列とする。以上の計算式を用いることでＩＢＭ手法などを用いて生成した３次元形状を任意視点での画像に投影することで仮想空間を生成することができる。

以下に、広域な仮想空間の生成手法について述べる。

仮想空間生成に関する技術において、都市のような大規模な空間を仮想空間として生成
しようとする試みがなされてきている。大規模な空間の生成は、実空間と仮想空間とを融合する複合現実感を実現する１つの方法である。複合現実感は、Mixed Realityの訳語であるが、現実世界と仮想世界を融合する技術全体を指して言う。複合現実感は現実世界を電子的に増強、拡張するか、または仮想空間を我々の住む現実世界の情報で強化するかの２つの方法を統合した概念である。現在においてこの概念は現実世界と仮想世界の融合が実時間で処理され、さらに融合された空間とのインタラクションが可能であることを目指すものとなっている。複合現実感を人間に提示する方法には空間的・時間的利用により図１４のように分類できる。図１４は、複合現実感の掲示方法を示す表である。すなわち、（広義の）実時間方式として、光学方式、ビデオ方式および（狭義の）実時間方式があり、蓄積再生方式として蓄積方式がある。ここで、光学方式は、実時間、実空間で現実世界と仮想世界を融合する方式である。ビデオ方式は、実時間で本来自分の目で眺める風景をカメラ等で撮影した現実世界と仮想世界を融合する方式である。（狭義の）実時間方式は、実時間で遠隔地の風景と仮想空間を融合する方式である。蓄積再生方式は、あらかじめ現実世界をカメラ等を用いて撮影し、画像を蓄積しておき、必要時に仮想空間と融合する方式である。

現在、光学方式やビデオ方式は、投影機やヘッドマウントディスプレイなどを用いて研究が進められている。これらは環境や機材などのコストがかかる上、実空間に仮想空間を統合する難しさがあり、現実的でない。

一方、実時間方式や蓄積再生方式は、コンピュータ上で再現でき容易に仮想空間を生成できる。そこで本実施の形態では実時間方式や蓄積再生方式を行うことで複合現実感を備えた仮想空間を生成する。

複合現実感を持った仮想空間を生成するために仮想空間内の写実性を高め、生成するこ
とが必要となる。このような仮想空間を生成するには、上記したＩＢＭやＩＢＲ手法が多く用いられ、ＩＢＭやＩＢＲ手法の研究において広域な仮想空間を生成するために必要な情報・条件は以下の３つである。すなわち、実写画像、実写画像内の対象物の形状情報および仮想空間生成における時間・データなどコストの削減である。

このような研究には、実写画像やその対象の形状情報を同時に取得する方法が多く用いられる。レンジファインダやＧＰＳなどの計測装置を用いて実世界の形状情報を記録し、コンピュータグラフィクスを用いて広域な空間を生成する方法や、ビデオカメラを自動車に搭載し、そこから得られる画像と道路などの位置情報とから都市を仮想空間上に生成するなどの工夫、そして大規模な装置が必要となる。

大規模な実空間を仮想空間上に表現するために必要な情報をいかに取捨選択するかによって時間・データなどにかけるコストに差がでることはいうまでもない。特にQuick Time VR
は、実空間を円筒状に多数の実写画像を貼り付けることによってパノラマ表現したもので
視点位置は移動できないが、全方位自在に見渡すことができる。これはデータ量の削減の観点から有効である。またこのパノラマ表現に画像中の形状情報を付加できればデータ量
は増えるが任意の視点移動可能な仮想空間の生成へとつながる。

そこで以下に本実施の形態で用いるパノラマ表現の詳細を述べる。

全周パノラマ画像を撮影するためにビデオカメラを用いて全方位撮影し、そこから任意または全フレーム画像を貼り合わせることで全方位のパノラマ画像を生成する方法や、円錐鏡の反射を利用し１つのカメラで全方位を撮影し幾何学変換により全方位パノラマ画像を得る方法を用いると、円錐鏡を用いるため全方位のパノラマ画像に幾何学変換をした時、上下の解像度にばらつきが生じる。

これに対し、カメラで画像が重なる様に一方向ずつ撮影し貼り合わせることで全周パノラマ画像を生成する方法を用いると、カメラの解像度次第で高精細な全方位パノラマ画像を取得することができる。この全方位パノラマ画像を使い仮想空間上に投影させる方法には、球投影、正立方体投影、円柱投影の３つがあり全周囲を表現するには円柱投影が適している。

そこで本実施の形態では、全方位パノラマ画像の取得には、カメラの方位を変えながら撮影する方法を適用し、パノラマ表現には円柱投影を用いることとする。以下に円柱投影の詳細を述べる。

図１５はこの円柱投影の方法を示す説明図である。同図に示すように、Ｎ枚の実写画像を撮影しそれぞれを貼り合わせることでパノラマ画像を生成する。ここで、ある１枚の画像に注目した場合以下のように表すことができる。円柱投影に用いる画像の中心を(Xc,Yc)、焦点距離をfとし円柱に投影する各画像中の点を(X,Y)とすると、次式(式３９)により円柱中心を０とした時の角度θと高さｈが求められる。

式３９の角度θおよび高さｈを基に、画像中の各画素は、以下の式（式３１０）で表される円柱面（X_Cylinder,Y_Cylinder,Z_Cylinder）を、次の式３１１によって２次元へ投影することで得られる。

次に、効率的な仮想空間の生成手法について述べる。

全周のパノラマ画像を用いてパノラマ表現を行うことにより広域かつ写実的な表現する
ことは可能であるが、任意視点での表現方法としては適切な技法選択とは言いにくい。そ
れは、画像中の対象の形状情報が不足しているためである。そのため何らかの方法により
形状情報を付加することで広域かつ写実的であり任意視点画像を生成可能な方法を選択す
る必要がある。

また、実空間の対象の形状情報をすべて求め対象画像に付加した場合、データ量の増加へとつながり容易に広域な仮想空間を生成できたとは言えない。そのため取得する形状情報を削減しなければならない。この形状情報を削減する考えとして、Level of Detail(以下、ＬＯＤと称する)やLayereds Depth Images(以下、ＬＤＩと称する)が上げられる。

ＬＯＤは形状情報を削減する１つの方法である。これは、視点からの距離に応じてポリゴン数を増減させるものがある。つまり視点から対象までの距離が近い時には物体の形状情報を密に表現し視点から遠くなるにつれて物体の形状情報を粗く表現するものである。そのため、あらかじめ実空間の対象に対しての形状情報を密に取得する必要がある。

一方ＬＤＩでは、視点からの距離に応じて異なる表現方法を用いることで形状情報を削減する方法がある。これは視点からの距離に近い順に、画素、画素の集合であるポリゴン、ポリゴンの集合である平面へ表現方法を変化させる。

本実施の形態においては、実空間を図１６に示すように近距離の対象に対しては形状情報を付加したものを用い、遠距離の対象に対しては平面画像を用いるものとする。ここで、図１６は、視点からの距離による異なった表現方法を示す説明図である。

以下に人間の視知覚について説明する。

実空間を近距離領域と遠距離領域に分け仮想空間を生成する場合、視点からの距離をも
とに領域分割する閾値を求めなければならない。実空間と人間の視覚の関係を考えると、人間は視差により実空間の対象までの距離を知覚し、その距離に応じ対象の詳細度を変化させ知覚していると言われている。そこで人間の視覚機能に注目しその詳細を述べる。

実空間を人間が観察した場合、視点から対象までの距離が近いほど対象物体の形状情報
を詳細に理解することができる。これは人間が物を知覚し奥行きを感じる時には様々な要
因により起こることである。また、各要因相互の関連を奥行き感度という量で定義する手法も開示されている。図１７（ａ）は両眼視差による奥行き感度を示す説明図であり、図１７（ｂ）は、 奥行き感度を示す説明図である（長田昌次郎、‘’視覚の奥行距離情報とその奥行き感度’’、テレビジョン学会誌、ｖｏｌ３１、Ｎｏ８、ｐｐ６４９−６５５（１９７７）参照）。

この手法においては、対象までの距離Ｄとし、対象が前後へ移動したと知覚する距離変化をΔＤとした時、奥行き感度をＤ／ΔＤで定義する。ここで、両眼視差によるＤ、ΔＤの関係は以下（式３１２）のようになる。なお、図１７（ａ）に示す両眼視差をΔθとする。

これよりΔＤは次式（式３１３）により表される。

図１７（ｂ）より、人間が両眼で対象を奥行きある物として知覚できるのは１０ｍ以内が限界であることが解る。本実施の形態では、ここから得られた人間の知覚限界距離１０ｍを使用することで実空間を視点からの距離１０ｍ以内を近距離領域（近接領域）とし、１０ｍ以上を遠距離領域（遠方領域）とし仮想空間を表現する。

人間が実空間での物体の配置などからも奥行きを知覚する。１つは隠蔽と言われ実空間
で物体が互いに重なりあっている時、その隠蔽されている部分を想像し、前後の関係を知
覚する。他に運動視差と言われ遠距離にある物体と近距離にある物体の相対運動速度が異
なって知覚されるため前後の関係がわかる。両眼視差では遠距離に対して奥行き知覚が働
かないため、この運動視差を用いて人間は奥行きを知覚している。

以下に、画像情報を用いた動物体の表現手法について説明する。

仮想空間に現実感を持たすためには、実時間で実空間の情報を反映する必要がある。例
えば、人間は実空間を見たとき車が遠ざかる場面では、遠くに繋がる空間を認識し物と物が重なれば奥行きを感じる。このように物の動きだけでも奥行きを知覚することができるのである。そのため仮想空間の生成する上で、実時間中での動きの変化が原因で表面情報を変化する必要がある対象や動物体の場合、それらの形状情報と同時に時系列画像を取得し統合しなければならない。

形状情報の取得には、レンジファインダなどの距離計測器を用いることで精度良く形状
情報を取得することができる。物体などを表現するためには表面の色情報などを取得する
必要があり、距離計測器だけでは取得することができない。さらに動きある物を表現する
場合、容易にはできないのが現状である。

時系列画像データとその画像対象の距離情報を一度に取得方法としてはステレオカメラ
を用いたステレオマッチング技法がその方法の１つとして挙げられる。ステレオ法は形状
情報の取得が主な研究であった。近年では動的な環境に置いて動物体の形状を時系列デー
タとして取得する試みがなされてきている。この方法においても単視点、多視点でカメラ
映像を用いて正確な対象の形状情報を求め任意での視点映像を生成するものと、単視点で
一定の精度の形状情報を用いて計算コストやデータ量の少ない生成方法ものとがある。

正確な形状情報を求める手法として、３ＤＤｏｍｏと呼ばれる半球状の格子に複数のカメラを円の中心に向けて取り付け、各カメラのステレオマッチング問題を解くことによって半球内に存在する人間や物の形状情報を時系列データとして取得する方法がある。

また、格子状の光を対象物体に投射して得られる画像をステレオマッチングを用いて形状情報を精度良く時系列に取得する手法もある。しかし、これらの手法では対象空間が限られ形状取得対象の大きさも制限される。室内空間を対象とした研究では、ステレオカメラを用いて、形状情報および画像から対象となる実空間内の形状を生成し、仮想空間を表現する手法が用いられる。

以下に、本実施の形態における仮想空間の表現について説明する。

実空間を動領域と静止領域から構成されているとすると、静止領域とは実空間の中での建物、植木、地面、道路などである。また動領域とは実世界の中では、人間、動物、車などの時間経過に伴い形状が変化、移動する物であるとする。これらを表現するため視差情報にはステレオ法により取得した視差画像を用いた。静止領域に関してはパノラマ画像および視差情報をもとにレイヤ表現し、動領域に関してはステレオカメラを用いて実時間で実画像と視差情報とを取得し、視差情報から形状を推定し表現を行った。

静止領域静止領域は、パノラマ表現と奥行き知覚によるレイヤ分割を用いて表現する。上記したように、ＩＢＭやＩＢＲを用いることにより容易に写実性の高い仮想空間を生成することが可能である。さらに実空間の対象の形状情報を適した領域に付加することで、任意視点での仮想空間表現も可能である。

このように、生成する仮想空間の構成要素は、対象となる実空間を近接領域、遠距離領域、地面領域の３つに分割したものとする。また、この３つの構成要素を近接レイヤ、背景レイヤ、地面レイヤと呼ぶことにする。

実空間を対象に撮影したパノラマ画像を、この３つのレイヤに分割すると近接レイヤは
パノラマ画像を人間の知覚限界距離１０ｍ以下の距離を用いてレイヤ分割したもので、対象の形状情報を付加したパノラマ表現を行うものとする。また背景レイヤはパノラマ画像の近接レイヤ以外の領域であり、パノラマ画像を用いて表現する。地面レイヤはパノラマ画像より地面にあたる部分を領域分割し、平面形状情報を与え表現する。これら３つの表現を距離をもとに統合することで静止領域を表現する。

動領域動領域は、実時間で得られる実画像と形状情報を用いて表現する。これにより実時間での実空間の状況変化にも対応した仮想空間表現が可能である。表現方法は、静止領域での近接レイヤと同じであるが、実時間で得られた実画像に対象の形状情報を付加した表現を用いる点が異なる。この実画像では、静止領域の背景レイヤや地面レイヤにあたる領域が含まれるが、人間の知覚限界距離１０ｍ以下の距離にのみ形状情報を付加する。

これら静止領域、動領域を視差情報から得られる距離をもとに階層的に配置することで
仮想空間を表現する。

以下に、本実施の形態での仮想空間表現手法の流れを説明する。

本実施の形態での仮想空間を図１８に示す手順に従って生成し表現する。図１８は本実施の形態での仮想空間表現手法の流れを示す説明図である。

第１に、静止領域として以下に示す方法により仮想空間を生成する。

まず、ステレオカメラを用いて全周の画像を撮影し、その撮影された画像より視差画像を生成する（工程１）。ついで、全周の実画像と視差画像をそれぞれ貼りあわせることによってパノラマ画像とパノラマ視差画像を生成する（工程２）。ついで、この生成されたパノラマ画像およびパノラマ視差画像を用いて地面レイヤを領域分割し、さらに残りの領域を近接レイヤ、背景レイヤの２つにレイヤ分割する（工程３）。ついで、各レイヤごとに適した視差画像をもとに推定した形状情報を用いて、３次元形状を生成する（工程４）。ついで、各レイヤの画像を工程４で生成した３次元形状にマッピングする（工程５）。

次に動領域として以下に示す方法により仮想空間を生成する。

まず、実時間でステレオカメラを用いて実画像と撮影された画像より視差画像を生成する（工程６）。ついで、工程６で得られた視差画像から形状情報を取得し、３次元形状を生成する（工程７）。ついで、工程６で得られた実画像を３次元形状にマッピングする（工程８）。最後に以下のようにして静止領域と動領域を統合することにより仮想空間を表現する
(工程９)。すなわち、 実時間で静止領域と動領域を視差情報から得られる距離をもとに階層的に配置、統合した後、実時間で仮想空間内の視点位置に応じて選択・透視投影することによって任意視点での画像を生成する。

以上の手順によって階層化パノラマ表現を用いて仮想空間を表現する。

以下に、視差情報による動領域の表現について説明する。

現実感のある仮想空間を生成するためには実空間上で時間と共に変化する情報を仮想空
間上で再現する必要がある。そこで実時間で実空間の動領域を取得しそれをテクスチャと
し、そこに視差情報より求められる距離を付加することで３次元形状を生成する。生成し
た形状情報を仮想空間上に配置することで動領域の表現を行う。図１９は、動領域取得工程の流れを示す説明図である。

同図に示されるように、まず、ステレオカメラを用いて実画像、視差画像を取得する。ついで、取得した視差画像をもとに距離を求める。安定した距離を得るため数フレーム前までの距離の平均を用いる。ついで、取得した実画像をもとに背景差分を用いて動領域部を推定する。最後に、推定した実画像に視差情報より求めた距離を付加し動物体を表現する。

以下に、ステレオカメラからの視差情報の取得について述べる。

ステレオカメラは撮影カメラが並行に配置され、そのカメラから取得した画像をステレ
オマッチングすることにより距離情報を取得できるものである。本実施の形態では図２０に示すPoint Grey Research 社製のステレオカメラシステムを用いて実写画像、視差画像を取得した。このステレオカメラを用いることにより実時間で視差画像、実画像を取得することが可能である。

本実施の形態で用いるステレオカメラはデジタルカメラである。そのためカメラはレンズとＣＣＤ面のずれが生じやすく、取得された画像には歪みが生じる。この歪みが生じると、視差画像の取得精度やパノラマ画像を生成する際に精度が低下する。一般にレンズの歪みを補正するために歪みと投影中心を求めるキャリブレーションを行う必要がある。レンズにより結像する際に歪曲収差の影響によって生じた画像の歪を図２１に示す。被写体が光軸からＹの距離にある物点がレンズを通し結像面上でＨの位置に結像する時、歪曲率Ｄは次式(式４１)を用いて示すことができる。そのためこのＤが解れば歪みを補正することが可能となる。以上の原理を用いてレンズの歪みを補正する。図２２（ａ）は、レンズの歪曲収差の影響によって歪みが生じた画像であり、（ｂ）は該歪みを補正した後の画像である。

視差画像から距離情報を求めるためにステレオ法を用いる。ステレオ法とは、三角測量の原理に基づいて距離を推定する方法である。画像から距離を得るためには、２台のカメラを平行に配置し撮影した画像、または１台のカメラを平行移動させて撮影した画像２枚を用い、左右２枚の画像中の同一物体を見つけ、それぞれの画像上での位置の違いから、その対象までの距離を得ようとするものである。図２３は、標準ステレオモデルを示す説明図であり、視差ｄと対象までの距離Zとの間にはｄ＝ｆｂ／ｚ（式４２）の反比例の関係がある。なお、カメラ間の距離（基線長）をｂ、カメラの焦点距離をｆとしている。

式４２より視差が大きい程その点は近い位置にあり、視差が小さい程その点は遠い位置
にあることになる。このステレオ法によって得られる画像は視差画像と呼ばれ、視差の大
きさを濃淡値で表したもので、輝度が高い程視点から物体までの距離が近く、低い程遠い
ことを表す。

以下に、視差情報による動領域の表現について述べる。

動領域の表現は、実時間で得られる視差画像からステレオ法を基に求めた対象までの距離を実画像に付加することで形状を推定し表現する。ここで、図２４は、実時間での情報取得を示す説明図であり、図２５は形状情報の付加を示す説明図である。図２４に示されるように、時間tが流れる中で、視差画像ｄ、実画像ｃをそれぞれ取得する。同時刻で得られた視差画像をｄＮ、実画像ｃＮとすると、視差画像ｄＮ中の１画素の濃淡値を用いて、図２５に示すＺ軸方向の距離Ｚｎは、ステレオカメラの基線長b、焦点距離fとして、Ｚｎ＝ｂｆ／ｄｎと推定できる。この推定を視差画像内のすべての画素に対して行い、実画像内の対応する点に距離から得られる形状情報として表現する。しかし、実時間で得られる視差画像は実空間の光りの変化により安定して得ることはできない。そこで実時間で得た視差画像ｄ_Ｎとｎフレーム前の視差画像d_Ｎ−ｎまでの画素ごとに濃淡値の平均を行うことで安定した距離を得る。画像内の１画素の平均濃淡値をＺｎとすると、Ｚｎは以下の式(式４３)で示すことができる。

仮想空間上では、実時間で視差画像濃淡値全画素に対して平均を用いて推定した対象の形状情報を実画像に付加し表現する。

動領域部の推定には、実画像から背景差分を用いる。時系列的に連続に０からＮまで実画像を取得したとすると、０フレーム目の実画像Ｃ_０とＮフレームの実画像Ｃ_Ｎを比べることで動きのある領域を画像の差として認識する。差分後の実画像の大きさをｉ，ｊとし、その画像中の１画素をｍ(i,j)とすると以下の次式（式４５）が成り立つ。

この差に実時間で視差画像濃淡値の平均を用いて推定した対象の形状情報を実画像に付加し、表現する。ここで、上記の手法を用いて動領域を表現した結果を図面に示す。ここでは、実験環境を図５９（ａ）（ｂ）とし、図６０（ａ）（ｂ）に示す振り子を左右に動かした時の動領域表現を図６１（ａ）〜（ｃ）および６２（ａ）〜（ｃ）に示す。

以下に、視差情報による階層化パノラマレイヤ表現を説明する。図２６に階層パノラマ取得の流れ図を示す。本実施の形態では同図に示す手順で静止領域を表現する。まず、パノラマ画像をパノラマ視差画像から得る距離によりレイヤ分割する。ついで、各レイヤに対して距離から推定される形状情報を付加する。ついで、これらを視点からの距離により配置、統合する。

パノラマ画像を生成するため、図２７、図２８に示すように画像を三脚に固定したカメラを３６０度右周りに水平に回転させ撮影する。図２７・２８は、パノラマ画像の撮影原理を示す説明図である。撮影地点を０とすると右回りに撮影された画像はｎ_０，ｎ_１，・・・ｎ_ｎとなる。撮影された画像はパノラマ画像を生成する際に結合し易いように隣接する画像の領域を含むように撮影する。この時パノラマ画像の生成に用いる画像は右のカメラから取得される画像を用い、それと同時に視差画像も取得する。ここで、この画像および視差画像の一例を、それぞれ図６３（ａ）〜（ｌ）および図６４（ａ）〜（ｌ）にそれぞれ示す。

得られた画像をパノラマ画像へ変換するためにそれぞれを円柱座標平面に投影し結合する。図２７においてＰｎをパノラマ画像の円柱座標平面とすると、０を中心に撮影した画像ｎ_０は円柱面Ｐｎに投影される。この時、ｎ_０中の点(x,y)は円柱座標(θ,h)へ以下の式（式４４）により変換される。

ここで、図２９（ａ）は円柱座標変換前の画像であり、図２９（ｂ）は円柱座標変換後の画像である。なお、fは焦点距離とする。このようにして得られたｎ_０，ｎ_１，・・・，ｎ_ｎは水平カメラを回転させ撮影した画像を円柱座標へ変化したものであるので、隣接する画像の領域を見ながら平行に移動させ貼り合わせることができる。すなわち、得られた画像および視差画像をそれぞれ円柱座標に投影し結合させることで、パノラマ画像、パノラマ視差画像を生成する。ここで、図６３（ａ）〜（ｌ）で撮影された空間に対応するパノラマ画像を図６５（ａ）（ｂ）に示し、パノラマ視差画像を図６６（ａ）（ｂ）に示す。

本実施の形態での仮想空間の構成要素は、近接レイヤ、背景レイヤ、地面レイヤの３つである。この分割には視差画像を用いてステレオ法により距離情報を求める。具体的には、撮影し結合したパノラマ視差画像を用いて地面領域にあたる部分を分割する。続いて残りの領域をパノラマ視差画像をもとに導いた距離情報を使い近接レイヤと背景レイヤに分割する。以下に地面レイヤと近接レイヤ、背景レイヤの領域分割の詳細を述べる。

地面レイヤへ分割するには、パノラマ画像より推定される地面領域までの距離とパノラマ視差画像により推定される距離の比較により行う。図３０は、地面レイヤの推定原理を示す説明図である。パノラマ画像より推定される地面領域内の点は、図３０に示すように、カメラの地上からの距離をｈ、カメラ位置を０、焦点距離ｆとすると、地面領域内の点Ｐはレンズを通して点Ｐ’で結像される。このカメラ位置０から地面領域内の点Ｐまでの距離ｚは、光軸から点Ｐ’までの距離yを用いて次式（式４６）で示すことができる。

式４６を用いてパノラマ画像から推定される地面領域の距離と、パノラマ視差画像より推定される距離とを比較することで地面領域を特定する。この分割により求めた領域を地面テクスチャと呼ぶ。ここで、図６７（ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する地面レイヤ画像であり、図６８（ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する地面レイヤ視差画像の一例である。

分割パノラマ画像から地面テクスチャを取り除いた残りの領域から、パノラマ視差画像をもとに求めた距離情報を用いて、視距離１０ｍ以内を近接レイヤ、他を背景レイヤとして分割する。また求めた領域をそれぞれ近接テクスチャ、背景テクスチャと呼ぶ。ここで、図６９（ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する近接レイヤ画像であり、図７０（ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する近接レイヤ視差画像である。また、図７１（ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する背景レイヤ画像であり、図７２（ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する背景レイヤ視差画像である。

以上の様にして求めた各レイヤを仮想空間に配置する時、それぞれに３次元形状を与え
配置することで任意視点において表示が可能となる。以下にそれぞれ与える３次元形状に
ついて詳細を述べる。

地面レイヤは地面テクスチャと円盤型の３次元形状から成り立っていると仮定する。ここで、図３１は、地面テクスチャを示す説明図であり、図３２は、円盤型の３次元形状を示す説明図である。円盤型の３次元形状は図３０に示すようなＸ−Ｚ平面で視点中心をＯとした時、直線距離ｈまで円盤状に広がる形状をもった３次元形状である。この円盤型の３次元形状への投影は、図３１のθ-h平面に画像があるとすると、その画像内の点θ、hは、図３２のX-Z平面の円盤内の点(x,z)によって、それぞれ以下の次式(式４８)で表すことができる。

この変換式（式４８）にパノラマ視差画像から得られる距離ｈと角度θとをそれぞれ使うことで３次元形状を求め、地面テクスチャをこの３次元形状にマッピングする。これにより、地面レイヤを表現することができる。ここで、図７３（ａ）に、地面レイヤの形状推定結果を示し、図７３（ｂ）に、地面テクスチャのマッピング結果を示す。

背景レイヤは背景テクスチャと円筒型の３次元形状から成り立っていると仮定する。ここで、図３３は、背景テクスチャを示す説明図であり、図３４は円筒型の３次元形状を示す説明図である。円筒型の３次元形状は図３４に示すような形状であり、Ｘ-Ｙ-Ｚの３次元空間のＸ-Ｚ平面上に視点０からの半径距離ｘで円を描き、Ｚ軸に長さｈを持ったものである。図３３の背景テクスチャを円筒型の３次元形状への投影に使用するＹ軸の長さｈは、Ｘ軸への距離がｘの点から垂直にテクスチャ上端までの角度をαとして、ｈ＝２ｘtanαによって求めることができる。

これらを使いパノラマ視差画像から得られる距離ｘおよび角度θをそれぞれ使うことで形状情報を求め、背景テクスチャをこの形状情報にマッピングすることで背景レイヤを表現する。ここで、図７５（ａ）に、背景レイヤの形状推定結果を示し、図７５（ｂ）に、背景テクスチャのマッピング結果を示す。

近接レイヤは、近接テクスチャとパノラマ視差画像から距離を用いて形状を推定する。さらに距離を用いて生成した形状情報に近接テクスチャを貼り付けることで近接レイヤを表現する。ここで、図７４（ａ）に、近接レイヤの形状推定結果を示し、図７４（ｂ）に、近接テクスチャのマッピング結果を示す。

これまでに説明してきた各静止領域と動領域を視差情報より推定した距離をもとに実時
間で仮想空間に撮影視点位置Ｏを中心に階層的に配置する。図３５は、静止領域と動領域との配置を示す説明図である。図３５に示すように、各レイヤの配置は視点Ｏから動領域、近接レイヤ、背景レイヤの順で、地面レイヤは下部に配置されている。動領域においては動領域部以外に関し透過にする。近接レイヤ、背景レイヤ、地面レイヤにおいても同じように各レイヤにおいてテクスチャ以外の領域は透過する。これらを視点の位置から見た場合、２次元画像のアニメーションのような透明なセルに描かれたものを重ね合わせることで奥行き表現したように表現できる。ここで、図７６（ａ）に、図６３（ａ）〜（ｌ）で撮影された空間に対応する静止領域の形状結果を示し、図７６（ｂ）に、図６３（ａ）〜（ｌ）で撮影された空間に対応する静止領域の表現結果を示す。

以下では、実際に階層化パノラマ表現を用いて仮想空間を表現する。仮想空間の表現実験は屋内で行った。今回行った実験環境は図３６に示すように、対象の部屋の大きさはＸ軸、Ｙ軸、Ｚ軸方向に、それぞれ、6.7ｍ、3.0ｍ、15.0ｍの大きさを持つ。その中にカメラ位置は対象の部屋の角を原点Ｏとした時Ｘ軸方向に3.7ｍ、Ｚ軸方向に1.1ｍの位置に配置した。カメラからＺ軸に並行で物体表面までの距離は3.7ｍである。実験で使用したステレオカメラのパラメータは、焦点距離ｆが0.006ｍ、基線長ｂが0.12ｍである。このカメラを高さ1.0ｍで三脚に固定し、360度右周りに回転させ画像を得た。今回屋内の環境で撮影を行ったため、パノラマは半円180度のパノラマ画像を得る。

ここでは、上記したように、静止領域の処理、動領域の処理および統合の処理を行う。

静止領域の処理では、まず、カメラを回転させて半円１８０度のパノラマ画像とパノラマ視差画像とを得る。得られた実画像を図３７（ａ）〜（ｇ）に示し、視差画像を図３８（ａ）〜（ｇ）に示す。この実画像からレンズ歪みを取りパノラマ画像、パノラマ視差画像を生成した。その結果をそれぞれ図３９、図４０に示す。

ついで、得られたパノラマ視差画像を視差情報として推定した距離からパノラマ画像を地面レイヤとそれ以外のレイヤに分割する。さらにそれ以外のレイヤに対して近接レイヤ、背景レイヤの２つに分割する。地面レイヤのテクスチャを図４１に示し、近接レイヤ、背景レイヤのテクスチャをそれぞれ図４２、４３に示す。パノラマ視差画像のレイヤ分割結果においても、図４４に地面レイヤの結果を示し、図４５に近接レイヤの結果を示し、図４６に背景レイヤの結果を示す。これらの結果より、地面レイヤ、近接レイヤ、背景レイヤは適切にレイヤ分割されていることがわかる。

地面レイヤは平面形状情報を与え表現する。平面形状を図４７、そのテクスチャマッピング結果を図４８に示す。結果より扇上に形状が推定され表現されていることがわかる。

視差情報をもとに近接レイヤの形状を推定し、これをレイヤに付加することで形状情報を伴ったパノラマ表現を行う。推定した形状を図４９、そのテクスチャマッピング結果を図５０に示す。結果より近接部の形状が詳細に表現されていることがわかる。

得られた視差情報をもとに空間の奥行きを円筒型形状で表現し、それに背景レイヤのパノラマ画像をテクスチャとして貼り付ける。その円筒型形状を図５１に示し、そのテクスチャマッピング結果を図５２に示す。図５２に示されるように、背景にあたる部分が円筒状に表現されている。

動領域処理では、まず、静止領域を生成するために画像撮影した視点位置と同じ視点で実時間で実画像と視差画像を得る。動領域では、実時間で得られた視差情報と実画像をもとに形状情報を伴った動きを表現する。ここで、図５３に撮影された実画像を示す。また、図５４に実時間で推定した形状を示す。また、図５５に実時間でのテクスチャマッピング結果をそれぞれ示す。

最後に、動時間で得られる静止領域処理および動領域処理で得た２つの領域を視差情報より得られる距離に基づいて仮想空間内に配置することで階層化パノラマを表現する。この表現結果を図５６（a）〜（ｔ）に示す。これは図５６（a）から順に図５６（ｔ）まで時系列的に連続に取得された画像である。これらの結果より、静止領域および動領域が適切に統合され、階層化パノラマが表現されていることがわかる。

以上の表現結果（図５６（ａ）〜（ｔ））により、静止領域による仮想空間の表現と動領域の表現とにより、動きの表現が可能なことがわかる。これは、データコストが低く、現実感のある仮想空間を表現できることを意味している。

また、図５７（ａ）に、時間順（０からｔ）に撮影された各フレームを示し、（ａ）のＮフレームとＮ＋１フレームとを統合した結果を図５７（ｂ）に示す。５７（ａ）の０フレームのサークルは椅子の位置を示す。図５８（ａ）は、実時間で静止領域と動領域とを統合させたものであり、図５８（ｂ）および（ｃ）は、時間とともに変化する対象を表現したものである。ここで、Ｎフレームには椅子と人間の重なりが、椅子が前で人間が後ろに表現されている。Ｎ＋１フレームは椅子と人間の重なりについて、人間が椅子より前に位置しているため、椅子の領域が隠された表現となる。これにより、仮想空間の奥行きの確かさは正しいといえる。

以上のように、従来では実空間の時間と共に変化する情報を仮想空間内で表現することが困難であったが、本発明で提案した階層化パノラマ表現を用いることで仮想空間を容易に表現することが可能となる。

なお、本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施の形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明の空間シミュレータは、建築物や都市空間あるいは動体物を含む空間等のシミュレートに利用可能である。

本実施の形態における空間シミュレータの構成を示すブロック図である。 本空間シミュレータにおける処理工程を示すフローチャートである。 仮想空間を構成する各レイヤの領域表現方法を示す図である。 仮想空間を構成する各レイヤの表現方法を示す図である。 （ａ）は、実空間からの２次元画像への投影図であり、（ｂ）は、静止領域の説明図であり、（ｃ）は、動領域の説明図である。 （ａ）は実空間の分割を示す説明図であり、（ｂ）は、実空間の配置図である。 実空間のレイヤ分割を示す説明図である。 各レイヤの表現方法を示す表である。 コンピュータグラフィクスにおけるモデルベースドレンダリングの説明図である。 コンピュータビジョンにおけるイメージベースドレンダリングの説明図である。 （ａ）は光線空間法の概念図であり、（ｂ）はLumigraphおよびLight-Fieldの概念図であり、（ｃ）はConcentric Mosaicsの概念図である。 形状情報の基本的な投影方法を示す説明図である。 形状情報の２次元平面への投影を示す説明図である。 複合現実感の掲示方法を示す表である。 この円柱投影の方法を示す説明図である。 視点からの距離による異なった表現方法を示す説明図である。 （ａ）は両眼視差による奥行き感度を示す説明図であり、（ｂ）は、奥行き感度を示す説明図である。 本実施の形態での仮想空間表現手法の流れを示す説明図である。 動領域取得工程の流れを示す説明図である。 本実施の形態に用いるステレオカメラシステムである。 レンズの歪曲収差の影響によって生じる歪を示す説明図である。 （ａ）は、レンズの歪曲収差の影響によって歪みが生じた画像であり、（ｂ）は上記歪みを補正した後の画像である。 標準ステレオモデルを示す説明図である。 実時間での情報取得を示す説明図である。 形状情報の付加を示す説明図である。 本実施の形態にかかる階層パノラマ表現の示す説明図である。 パノラマ画像の撮影原理を示す説明図である。 （ａ）は円柱座標変換前の画像であり、（ｂ）は円柱座標変換後の画像である。 （ａ）は円柱座標変換前の画像であり、（ｂ）は円柱座標変換後の画像である。 地面レイヤの推定原理を示す説明図である。 地面テクスチャを示す説明図である。 円盤型の３次元形状を示す説明図である。 背景テクスチャを示す説明図である。 円筒型の３次元形状を示す説明図である。 静止領域と動領域との配置を示す説明図である。 本実施の形態にかかる実験環境を示す説明図である。 （ａ）〜（ｇ）は、カメラを回転させて撮影した実画像である。 （ａ）〜（ｇ）は、カメラを回転させて撮影した視差画像である。 パノラマ画像を示す図である。 パノラマ視差画像である。 地面レイヤのテクスチャを示す図である。 近接レイヤのテクスチャを示す図である。 背景レイヤのテクスチャを示す図である。 パノラマ視差画像の地面レイヤの分割結果を示す図である。 パノラマ視差画像の近接レイヤの分割結果を示す図である。 パノラマ視差画像の背景レイヤの分割結果を示す図である。 地面レイヤの平面形状を示す図である。 地面レイヤにおけるテクスチャマッピング結果を示す図である。 近接レイヤの平面形状を示す図である。 近接レイヤにおけるテクスチャマッピング結果を示す図である。 パノラマ画像をテクスチャとして貼り付ける円筒型形状を示す図である。 背景レイヤのテクスチャマッピング結果を示す図である。 実時間で撮影された実画像を示す図である。 撮影対象を実時間で推定した形状を示す図である。 実時間でのテクスチャマッピング結果を示す図である。 （a）〜（ｔ）は、階層化パノラマ表現の結果を示す図である。 （ａ）は、時間順（０からｔ）に撮影された各フレームを示す図であり、（ｂ）は、（ａ）に示すＮフレームとＮ＋１フレームとを統合した結果を示す図である。 （ａ）は、実時間での静止領域と動領域との統合を示す図であり、（ｂ）および（ｃ）は、時間とともに変化する対象を表現した図である。 （ａ）（ｂ）は実験環境を示す図である。 （ａ）（ｂ）は撮影対象（振り子）を説明する図である。 （ａ）〜（ｃ）は上記振り子（撮影対象）を左右に動かした時の動領域表現を示す図である。 （ａ）〜（ｃ）は上記振り子（撮影対象）を左右に動かした時の動領域表現を示す図である。 （ａ）〜（ｌ）は実画像を示す図である。 （ａ）〜（ｌ）は、図６３（ａ）〜（ｌ）に対応する視差画像を示す図である。 （ａ）（ｂ）は、図６３（ａ）〜（ｌ）に対応するパノラマ画像を示す図である。 （ａ）（ｂ）は、図６３（ａ）〜（ｌ）に対応するパノラマ視差画像を示す図である。 （ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する地面レイヤ画像を示す図である。 （ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する地面レイヤ視差画像の一例を示す図である。 （ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する近接レイヤ画像を示す図である。 （ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する近接レイヤ視差画像を示す図である。 （ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する背景レイヤ画像を示す図である。 （ａ）（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する背景レイヤ視差画像を示す図である。 （ａ）は、地面レイヤの形状推定結果を示す図であり、（ｂ）は、地面テクスチャのマッピング結果を示す図である。 （ａ）は、近接レイヤの形状推定結果を示す図であり、（ｂ）は、近接テクスチャのマッピング結果を示す図である。 （ａ）は、背景レイヤの形状推定結果を示す図であり、（ｂ）は、背景テクスチャのマッピング結果を示す図である。 （ａ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する静止領域の形状結果を示す図であり、（ｂ）は、図６３（ａ）〜（ｌ）で撮影された空間に対応する静止領域の表現結果を示す図である。 各レイヤの表現手法を示す図である。 地面レイヤの識別に用いる原理を示す図である。 近接・背景レイヤの判別に用いる原理を示す図である。 近接・背景レイヤの判別に用いるラベリング処理の原理を示す図である。 背景レイヤの表現に用いる３次元モデルの形状を示す図である。 地面レイヤの表現に用いる３次元モデルの形状を示す図である。 視差情報から距離情報を算出する原理を示す図である。

符号の説明

１ 空間シミュレータ
２ 制御部
３ 記憶部
４ パノラマ処理部
５ 視差情報抽出部（視差情報抽出手段）
６ 距離情報算出部（距離情報算出手段）
７ 動領域抽出部（動領域抽出手段）
８ レイヤ分割部（レイヤ分割手段）
９ 動領域表現データ生成部
１０ レイヤ表現データ生成部（レイヤ表現データ生成手段）
１１ 空間表現データ作成部（空間表現データ作成手段）
１２ 近接・背景レイヤ判別部
１３ 地面レイヤ識別部
１５ 近接レイヤデータ生成部
１６ 背景レイヤデータ生成部
１７ 地面レイヤデータ生成部
１９ 表示制御部
２０ 撮影カメラ
２２ 表示部

Claims (17)

1. 対象空間についての複数の画像から該対象空間に関する視差情報を抽出する視差情報抽出手段と、
   上記視差情報から距離情報を算出する距離情報算出手段と、
   該距離情報に基づいて上記対象空間を複数のレイヤに分割するレイヤ分割手段と、
   上記画像から得られる画像データおよび上記距離情報に基づいて、レイヤ毎にレイヤ表現データを生成するレイヤ表現データ生成手段と、
   上記各レイヤ表現データに基づいて、上記対象空間の空間表現データを作成する空間表現データ作成手段とを備えることを特徴とする空間シミュレータ。
2. 上記画像データは、上記対象空間のパノラマ画像データであることを特徴とする請求項１記載の空間シミュレータ。
3. 上記レイヤ分割手段は、上記距離情報と画像撮影の条件とに基づいて、上記対象空間から地面レイヤを識別することを特徴とする請求項１記載の空間シミュレータ。
4. 上記レイヤ分割手段は、上記地面レイヤ以外の領域を、所定の距離条件に従って、撮影地点に近接する近接レイヤと、該近接レイヤ以外の背景レイヤとに区別することを特徴とする請求項１記載の空間シミュレータ。
5. 上記レイヤ表現データ生成手段は、上記距離情報に基づいて生成される平面モデルと上記パノラマ画像データとを対応付けることで地面レイヤについてのレイヤ表現データを生成することを特徴とする請求項２記載の空間シミュレータ。
6. 上記レイヤ表現データ生成手段は、上記距離情報に基づいて生成される３次元メッシュモデルと上記パノラマ画像データと対応付けることで、近接レイヤについてのレイヤ表現データを生成することを特徴とする請求項２記載の空間シミュレータ。
7. 上記レイヤ表現データ生成手段は、上記距離情報に基づいて得られる円筒状３次元モデルと上記パノラマ画像データとを対応付けることで、背景レイヤについてのレイヤ表現データを生成することを特徴とする請求項２記載の空間シミュレータ。
8. 上記レイヤ表現データ生成手段は、対象空間に対する各視点について、レイヤ毎のレイヤ表現データを生成することを特徴とする請求項２記載の空間シミュレータ。
9. 仮想表現データ作成手段は、上記各視点におけるレイヤ毎のレイヤ表現データから上記対象空間の仮想表現データを作成することを特徴とする請求項８記載の空間シミュレータ。
10. 対象空間の異なる時間での画像データから該対象空間の動領域を抽出する動領域抽出手段と、
    上記対象空間の画像データおよび距離情報に基づいて、動領域表現データを生成する動領域表現データ生成手段とを備え、
    上記空間表現データ作成手段は、この動領域表現データにも基づいて空間表現データを作成することを特徴とする請求項４記載の空間シミュレータ。
11. 上記動領域表現データ生成手段は、動領域が存在するレイヤ毎に、動領域表現データを生成することを特徴とする請求項１０記載の空間シミュレータ。
12. 動領域データ生成手段は、近接レイヤに存在する動領域につき、対象空間の一方位撮影によって得られる画像データと上記距離情報から得られる形状情報とに基づいて動領域表現データを生成することを特徴とする請求項１１記載の空間シミュレータ。
13. 動領域データ生成手段は、背景レイヤに存在する動領域につき、対象空間の一方位撮影によって得られる画像データを用いて動領域表現データを生成することを特徴とする請求項１１記載の空間シミュレータ。
14. 対象空間についての複数の画像から該対象空間に関する視差情報を抽出する視差情報抽出工程と、
    上記視差情報から距離情報を算出する距離情報算出工程と、
    該距離情報に基づいて上記対象空間を複数のレイヤに分割するレイヤ分割工程と、
    上記画像から得られる画像データおよび上記距離情報に基づいて、レイヤ毎にレイヤ表現データを生成するレイヤ表現データ生成工程と、
    上記各レイヤ表現データから上記対象空間の空間表現データを作成する空間表現データ作成工程とを備えることを特徴とする空間シミュレート方法。
15. 対象空間の異なる時間での画像データから該対象空間の動領域を抽出する動領域抽出工程と、
    上記対象空間の画像データおよび距離情報に基づいて、動領域表現データを生成する動領域表現データ生成工程とを含み、
    上記空間表現データ作成工程では、この動領域表現データにも基づいて空間表現データを生成することを特徴とする請求項１４記載の空間シミュレート方法。
16. 請求項１〜１３記載の各手段をコンピュータに実現させることを特徴とする空間シミュレートプログラム。
17. 請求項１５記載の空間シミュレートプログラムがコンピュータに読み取り可能に格納されていることを特徴とする記録媒体。

Images