JP2012053896A - 画像情報出力方法 - Google Patents

Abstract

【課題】 実画像を用いた都市景観３次元映像を提供するシステムを提供する。
【解決手段】 航空機搭載および車載等の複数のディジタルカメラにより都市を上空ないし地上から高密度に多方向から撮影するシステムと、これらの画像をデータベース化すると同時に、任意の都市の位置に対して任意の視点経路と視線方向に対応した画像を検索するシステムと、検索した画像を実際の視点と撮影済み画像との視差に対応してモーフィング処理により連続した滑らかな３次元映像を生成するシステムを含むことを特徴とする都市景観３次元映像生成システム。
【選択図】 図１

Description

本発明は、画像情報を生成し出力する方法に関する。特に、市街地を含む地上の景観について３次元映像を生成するシステムにおいて、航空機等において上空から撮影した航空写真、あるいは路上において地上で撮影した写真を利用してするシステムおよび動画像情報を生成する方法に関し、また、地上を様々な角度から撮像した写真を利用して３次元都市景観の映像を生成表示するシステムおよび画像情報を出力する方法に関するものである。

従来、都市景観を３次元で映像表示する方式には、レーザプロファイラにより都市の建造物の３次元情報を計測して立体モデルを作成したうえで建造物の壁面画像をテクスチャ貼り付け処理により貼り付け、このようにして得られた３次元都市モデルに対して任意の視点経路とこの視線経路に沿った任意の視線方向の画像を３次元画像処理により生成し、時間的に連続表示することにより３次元映像を得るものがある。都市建造物の３次元情報を得る別の方法としては地上の同一地点を異なった方向より撮影した画像を用い、ステレオ画像処理により高さ方向の情報を抽出して３次元都市モデルを生成する方法もある。この他に、必ずしも実際の都市には一対一に対応しないが都市空間３次元モデルを構築して３次元画像処理により映像を生成する方法もある。

これらの方法はいずれも都市の立体構造諸元すなわち３次元モデルを生成するために時間とコストを要し、さらに建物等の立体の外壁を実際と同一にするためには、外壁のパターン情報または、画像情報を張り付ける（テクスチャ貼り付け）必要があった、このテクスチャ貼り付け情報、言い換えるとテクスチャ貼り付けのための情報としては３次元物体の全ての方向からの情報が不可欠であり、その取得とテクスチャ貼り付けに多大の労力とコストを要するものであった。このように、任意の空中経路と視線から任意の都市部分の景観を３次元映像で表示することは強く望まれていたにもかかわらず、テクスチャ貼り付けの精度を十分に現実的にできない、あるいは、情報の更新周期が長くなり、表示する映像の新鮮度、正確さに難点が生じることが多かった。また、３次元情報を間接的に行うものとして特許文献４による方法がある。すなわち２枚のパノラマ画像に共通な撮影対象物を対応点させて、三角測量法により該対象物の３次元情報を得ている。特許文献４でいう中間パノラマ画像を生成するとは、３次元情報を必要とする全ての点について、該パノラマ画像で対応点を求め、三角測量により３次元情報を計算することである。（１）対応点を毎回求めるか、あるいは、（２）予め対応点を登録しておく必要がある。（１）の方法を自動的に行うとすると画像認識のプロセスが必要になり、３次元座標としてポリゴンの頂点となる点を自動的に求めることは極めて困難である。また、（２）は通常行われる写真測量により、３次元座標を予め求めておく処理を、使用するパノラマ写真の組み合わせが変化するごとに計算するということで、処理の先送りに過ぎなく、表示時点での計算負荷は従来のCG技術に比べて反って多くなる。表示対象の３次元情報を計算し、テクスチャを貼り付けるという点でも従来方法と変わらず、本発明と根本的に異なる技術である。

３次元模擬視界を使用する映像生成および閲覧システムとしては、特許文献５は航空写真を用いたインターネットによる空中遊覧システムを開示しており、建物情報を追加できる特徴があるが、一貫して「写真データに対してステレオ処理が施され生成された３次元オブジェクトデータ」または、建物に対して変更手段により変更された「３次元オブジェクトデータ」を利用する方式であり、本発明と根本的に異なる技術である。非特許文献１のエースコンバットのように衛星より撮影した地表画像を加工して利用するものもあるが、あくまでもゲームに現実味をもたせることを目的としており実際の３次元景観とは必ずしも一致しない。また、非特許文献２のセカンドライフに見られる都市空間３次元模擬視界は、仮想都市を３次元的に表現するが現実の地図には対応していない。セカンドライフに対して都市空間をより現実的に表現するものとして現実の地図に対応した仮想都市空間の３次元映像生成および閲覧システムとして非特許文献３のCOCORによるmeet-meがあるが建造物の外壁景観、細部構造については現実とは一致しない。また、本発明になる技術は極めて大量かつ多視点、多視線方向の航空写真を事前に撮影蓄積することにあるが、航空写真を取得する従来技術として、最近はディジタル技術の急速な進歩によりアナログ式航空カメラからディジタル方式の１次元ラインセンサないし2次元撮像素子を用いた航空写真用カメラが実用化されている。さらに汎用ディジタルカメラの高性能化により、航空写真分野へも適用可能となってきている。専用ソフトウェアによりディジタルカメラで撮影した斜め写真からオルソ画像を作成するシステムが特許文献１では提案されている。また、測量目的の航空写真では地上に基準点を予め設定し、該基準点を参照してカメラ位置と姿勢を計算し、地物の座標を求めていたが、航空機にGPS（Global Positioning System）及びIMU（Inertial Measurement Unit）を装備し、撮像時点のカメラの位置と姿勢を測定することできる（特許文献２）。撮像方向が異なる３台のＣＣＤラインセンサで測量用航空写真を撮像する技術が特許文献３で提案されている。

特開2002-357419号公報 特開2004-245741号公報 特許第2807622号公報 特開2006-350852号公報 特開2002-185981号公報

http://www.acecombat.jp/ http://www.secondlife.com/ http://www.mmet-me.jp/

しかしながら、非特許文献１の方法およびシステムは、景観の材料として、高分解能衛星画像を使用してリアリズムを追求した３次元映像生成および閲覧システムであるが、対象は海外の戦場でありまた、画像自体も制作時から更新されないので都市景観３次元映像の実現とは異なるものである。非特許文献２において提案されているシステムでは、人間目線の都市景観３次元映像表示を行っているがすべての表示は計算機上で生成された架空の世界であり現実世界と異なり、現実に則した都市景観を３次元表示する目的とは合致しないものである。非特許文献３の方法は非特許文献２の方法に改善を加えたもので現実の都市の地図に対応して建造物等を構築しているが景観自体としては現実との同一性を追求しておらず、現実とは異なるものである。

航空写真の取得に関した特許文献として以下のものがある。特許文献２において提案されているシステムでは斜め画像を２枚取得するが、斜め画像１枚だけでは本発明で必要とされる多量かつ多方向の画像を高密度で取得するのは困難である。特許文献３において提案されているシステムは、異なる３方向のＣＣＤラインセンサにより撮像するが、これらの３台のＣＣＤラインセンサは、平行かつ直線的に配置されているので測量用にステレオ画像を取得するには適しているが、本発明の目的のように都市景観の３次元映像を生成するための原画像取得のためには情報量が圧倒的に不足する。

特許文献１，２の技術において、地上を多方向、大量かつ高密度で撮像するために、カメラを増設することが考えられる。しかし、航空写真用の航空機の床面にある撮影用開口部は寸法と位置が耐空証明の対象として厳しく規定されており、開口部を拡大したり、開口部から機外に突出する形でカメラを増設したりすることはできない。したがって、地上を高密度に多方向から撮像する必要のある実画像による都市景観３次元映像生成および閲覧システムに適した実現手段はこれまで考えられていなかった。

本発明は、このような実情に鑑みてなされたものである。

本発明の一実施形態として、航空機等において空中で高密度のメッシュ点で多方向の画像を広範囲に撮像できるシステムが提供され、これら大量の画像をデータベース化し、都市の任意の位置を任意の視点で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな映像を生成するモーフィングシステムが提供される。

さらに本発明の一実施形態として、地上においても人間目線のリアルな映像を作るために、都市のあらゆる道路上ないし通路上であらゆる方向の画像を高密度に取得する専用の車載等のシステムが提供され、取得した大量の画像をデータベース化し、都市の路上の任意の位置を任意の人間目線で任意の方向から見た場合の最も視差の少ない画像を高速に検索するシステムを構築し、さらに指定した視点、視線、都市中の位置に対応して最も視差の少ない画像から連続的になめらかな映像を生成するモーフィングシステムが提供される。

また、本発明の一実施形態として、撮影装置による撮影であって、複数の撮影位置それぞれにおいて複数の方向への、複数のサブ領域に分割される撮影領域の撮影を行い複数の画像情報を取得してメモリに記憶し、前記複数の画像情報それぞれを前記メモリに記憶する際に、前記画像情報が取得された時の撮影位置情報と撮影方向情報とを前記画像情報に関連付けて前記メモリに記憶し、前記メモリに記憶された前記画像情報に関連付けられた撮影位置情報と撮影方向情報とを参照して前記画像情報が取得されたときに撮影されたサブ領域を特定し、前記特定されたサブ領域に、前記画像情報と、前記撮影位置情報と、前記撮影方向情報とを関連付けてデータベースに記憶し、前記撮影領域上に設定される視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定し、前記サブ領域に関連付けられ前記データベースに記憶されている撮影方向情報を参照し、前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域を含む画像情報を検索して前記順番にて読出し、前記順番にて読出された前記画像情報を出力することを含む画像情報出力方法が提供される。

また、本発明の一実施形態として、複数の撮影位置それぞれにおいて複数の方向への、複数の複数のサブ領域に分割される撮影領域が撮影装置により撮影されて得られる複数の画像情報を記憶するデータベースであり、前記データベースには、記憶される画像情報に、その画像情報が前記撮影装置により撮影により取得された時の撮影位置情報と撮影方向とを関連付けて記憶され、さらに前記データベースには、記憶される画像情報に、その画像情報が取得されたときに撮影されたサブ領域が関連付けて記憶されるデータベースと、前記撮影領域上に設定される視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定する経路視点指定装置と、前記経路視点指定装置により指定された視点経路上の位置から指定された視線方向の画像情報を前記順番にて検索し映像情報を出力する画像検索エンジンであって、前記データベースに記憶されている、前記サブ領域に関連付けられている撮影方向情報を参照し、前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域を含む画像情報を検索する画像検索エンジンとを備える画像情報出力システムが提供される。

以上のように、本発明によれば、コストのかかる都市空間の３次元数値モデルの生成および建造物表面に対するテクスチャ貼り付け処理を行うことなしに、空中で撮影した実画像を用いて都市の任意の場所に対して空中における任意の視点経路と視点方向に対する３次元映像を生成することができる。また、路上ないし通路上で撮影した実画像を用いて都市の任意の路上ないし通路上の地点に対し人間目線で任意の視点経路と視点方向に対する３次元映像を生成することができる。３次元数値モデル生成と建造物の表面に対するテクスチャ貼り付け処理を行わないことにより処理を自動化することができて、画像取得から短時間で３次元映像を生成し閲覧することができる。

本発明の都市景観３次元映像生成および閲覧システム全体構成を概略的に示す図である。 図１に示す都市景観３次元映像生成および閲覧システムにおける空中画像取得の概念を示す図である。 ３次元映像におけるモーフィングの概念図である。 本発明の都市景観３次元映像生成および閲覧システムにおける実画像を用いたモーフィングによる映像生成の概念について説明する図である。 本発明の航空機による空中画像取得システムの運用例について説明する図である。 本発明の空中画像取得システムの処理フローについて説明する図である。 本発明の航空機搭載ディジタルカメラ集合体の例について説明する図である。 本発明の航空機による空中画像取得システムの航路および撮影ポイントの設定例を示す図である。 本発明の空中画像取得システムの構成例を示す図である。 本発明の空中搭載画像取得システムのフライトナビゲーションシステム部の処理フローを示す図である。 本発明の空中画像取得計画ファイルの構成例を示す図である。 本発明の空中画像取得システムのフライトナビゲーションシステム部の表示画面の例を示す図である。 本発明の空中画像取得システムのデータ取得記録システム部の情報フローを示す図である。 本発明の空中画像取得システムの撮影制御システムの処理フローを示す図である。 本発明の空中画像一次ファイルの構造を示す図である。 本発明の空中画像データベース生成登録システムの処理フローを示す図である。 本発明の空中画像データベース構成を示す図である。 本発明のモヤ影響除去処理における画像と視野の関係を示す図である。 本発明のモヤ影響除去処理における画像特性パラメータグラフ例を示す図である。 本発明のモヤ影響除去処理の処理フローを示す図である。 本発明のモヤ影響除去処理の処理結果例を示す図である。 本発明の空中画像データベース生成登録システムの空中画像インデクス生成登録処理フローを示す図である。 本発明の空中画像インデクス機構の構造と用語の定義を示す図である。 本発明の空中画像インデクス機構の構造を示す図である。 本発明の立体角セルのインデックス構造を示す図である。 本発明の空中画像インデクスと関連テーブルの相互関連を示す図である。 本発明のディジタルカメラ集合体の３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す図である。 本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の構成例を示す図である。 本発明の３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲図を示す図である。 本発明の航空機搭載用安定プラットフォームの構造例を示す図である。 本発明の安定プラットフォームの信号情報フローを示す図である。 本発明の都市景観３次元映像生成および閲覧システムにおける実画像を用いたモーフィングによる映像生成の変数を説明する図である。 本発明の都市景観３次元映像生成および閲覧システムにおける空中映像生成処理フローを示す図である。 本発明の都市景観３次元映像生成および閲覧システムにおける実画像を用いた３次元映像生成処理の原画像検索の処理フローを示す図である。 本発明の３次元映像生成処理の原画像選択論理を示した図である。 本発明の３次元映像生成処理での視点における視野と原画像の関係を示す図である。 本発明の視線ベクトルとTerrainの交点の関係を示す図である。 本発明の視点における視野と原画像の関係を示す図である。 本発明の視点Ｐ（ｔ_i）からの視野を示す図である。 本発明の路上画像取得システムの処理フローを示す図である。 本発明の車載ディジタルカメラ集合体構成例を示す図である。 本発明の路上画像取得システムの経路および撮影ポイントの設定例と撮影範囲を示す図である。 本発明の路上画像取得システム鉛直方向撮影パターンと画像投影面の関係を示す図である。 本発明のグラフによる道路の記述を説明する図である。 本発明の緯度・経度による道路検索方式を説明する図である。 本発明の道路グラフデータベースの構造を説明する図である。 本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。 本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。 本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。 本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。 本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。 本発明の道路グラフデータテーブルRDGDTの構成例を示す図である。 本発明の路上画像取得システムの構成例を示す図である。 本発明の路上画像取得システムのカーナビゲーションシステム部の処理フローを示す図である。 本発明の路上画像取得計画ファイルの構成例を示す図である。 本発明の路上画像取得システムのカーナビゲーションシステムの表示画面例を示す図である。 本発明の路上画像取得システムのデータ取得記録システム部の情報フローを示す図である。 本発明の路上画像取得システムのデータ取得記録システム部の処理フローを示す図である。 本発明の路上画像一次ファイルの構造を示す図である。 本発明の車載用安定プラットフォームの構造例を示す図である。 本発明の路上画像データベース生成登録システムの処理フローを示す図である。 本発明の路上画像データベースの構成を示す図である。 本発明の画像データベース生成登録システムの路上画像インデクス生成処理フローを示す図である。 本発明の路上画像インデクス機構の構造を示す図である。 本発明の道路グラフの方向と視線ベクトルの方向による映像生成処理を説明する図である。 本発明の路上画像データベース生成登録システムおよび路上３次元映像生成システムにおいて視線方向が投影面を向いている場合の処理を説明する図である。 本発明の路上画像データベース生成登録システムおよび路上３次元映像生成システムにおいて視線方向が投影面にほぼ平行な場合の処理を説明する図である。 本発明の路上画像データベース生成登録システムおよび路上３次元映像生成システムにおいて投影面と原画像撮影光軸の関係を示す図である。 本発明の路上画像データベースの撮影パラメタの計算法を示す図である。 本発明の路上３次元映像生成システムにおける原画像の選択について説明する図である。 本発明の路上３次元映像生成システムにおける投影面に対するモーフィングの方式を示す図である。 本発明の路上３次元映像生成システムにおける投影面にほぼ平行な視界に対するモーフィングの方式を示す図である。 本発明の路上３次元映像生成システムの処理フローを示す図である。 本発明の路上３次元映像生成システムの処理フローを示す図である。 本発明の路上３次元映像生成システムの処理おける原画像検索の処理フローを示す図である。 本発明の車載ディジタルカメラ集合体のもうひとつの構成例を示す図である。 本発明のグラフィックユーザインターフェイスシステムの処理フローを示す図である。 本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの処理フローを示す図である。 本発明のグラフィックユーザインターフェイスシステムの処理の空中グラフィックユーザインターフェイスシステムの表示例を示す図である。 本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの表示例を示す図である。 本発明のグラフィックユーザインターフェイスシステムの処理の路上グラフィックユーザインターフェイスシステムの方向盛業カーソル機能を示す図である。

以下、本発明を実施するための形態について、図面を参照しながら詳細に説明を行なう。なお、本発明は以下の説明に限定されることはなく、その要旨を逸脱しない範囲において種々に変形を加えて実施することが可能である。

本願発明者は都市景観３次元映像生成および閲覧システムの実現において最大の障壁となるのは、都市の建物等建造物および構築物の３次元情報を安価かつ頻繁に取得する手段がないこと、さらにこれらの３次元物体の表面に張り付ける画像の取得と貼り付けを安価かつ頻繁に行う手段を欠いていることを認識するに至った。なお、本願において、画像及び映像とは、液晶画面を含む電子的表示装置に動画および静止画を表示されるコンテンツを意味するものとする。また、本願においては、コンテンツは景観情報を専ら意味するが、景観情報に限定されることはない。

このため、本願発明者はこれらの手段を踏まずに任意の経路から任意の視線で都市の任意の部分の３次元映像を得る方法として都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておき、選択された視点経路、視線方向および目標位置に対応して最適な撮影済み画像を選択し、画像を撮影したカメラの位置および光軸方向と、選択された視点と視線の相違をモーフィング処理により補償し、なめらかな映像を得る方法を着想するに至った。

しかしながら、都市のあらゆる部分の景観をあらゆる方向から事前に撮影しておくことはきわめて困難である。本願発明者は、この目的を達成するためには立体角を円錐で表現すると半頂角で最小２度から最大２５度の範囲の方向ごとの写真を全ての都市地点に対して準備しなければならないことを経験上知っている。立体角はステラジアンを単位として表記するので、半頂角θ度に対してステラジアンは２π(1-cosθ)で計算されるので、ステラジアンとして最小0.004から最大0.59の範囲となる。この問題を解決するために小型のディジタルカメラを多数用い、配列方法と制御方法とに想到した。

すなわち、第一に多数の小型ディジタルカメラをディジタルカメラ集合体として形成し、従来から航空測量用航空機の床面に存在する航空測量用カメラの穴に機外に張り出すことなく収納して耐空証明取得上の問題を回避すること、第二に多方向からの写真を効率的に撮影するために、ディジタルカメラ集合体の中心部に直下撮影用のカメラを配し、その周囲に放射状に斜め方向撮影用のディジタルカメラを８ないし２５あるいは、スペース的に余裕があればそれ以上配置するのである。

第三に、地上を各方面から撮影したとしても、画像の分解能が地上を見る俯角によって変化することは好ましくない。鉛直方向よりなす角を一般的に称するオフナディア角を用いて以下説明する。小さいオフナディア角の斜め写真用ディジタルカメラには短い焦点距離の望遠レンズを用い、大きいオフナディア角の斜め写真用ディジタルカメラには長い焦点距離の望遠レンズを用い、さらにそれらを各々放射状に同心円状に配列することにより航空機などの飛翔体の直下からかなり大きなオフナディア角の領域まで、分解能を劣化させることなく広範囲に画像を取得するディジタルカメラ集合体に本願発明者は想到した。

第四に、本願発明者は、該ディジタルカメラ集合体を効率的に運用し広範な都市空間上空であらゆる地点に対して一定の立体角ごとの画像を得るために航空機にGPS装置と慣性航法装置よりなるガイダンスシステムを導入し空中に緻密なメッシュ状の撮影ポイントを構成したうえで、該撮影ポイントで自動的にディジタルカメラ集合体に撮影司令を発し撮影記録するシステムに想到した。

第五に、本願発明者は、大量頻繁に撮影を行う必要性から撮影コストを削減する目的で一般に航空測量が不適当な曇天に雲の下の低高度より撮影することを着想し、曇天の空中モヤによる画像劣化をディジタル画像処理により自動的に補償する方法に想到した。

さらに、本発明者は、ステラジアンとして最小0.004から最大0.59の範囲の立体角（円錐半頂角で２度から25度の範囲）で撮影済み画像を任意の対象地点に対して映像生成のために高速に検索する必要があることに鑑み、本システムに適した高速画像検索機構に想到した。例えば、撮影領域としての地表を緯度経度あるいはXY座標により正方形の網目状に区分する。正方形の１辺は十分小さく、たとえば５０ｍから２０ｍ程度に設定する。この網目上の正方形の各々に２次元のアドレスを付して管理する。各撮影済みの画像には、地表を撮影した画像範囲内に含まれる該網目状正方形群が存在して、撮影時のカメラ位置と該網目状正方形の中心とを結ぶベクトルが定義できる。これを正規化して原画像ベクトルと定義するが、該原画像ベクトルは指定された地表網目に対する画像を表現するインデクスとして使用できる。

すなわち直上を示す天頂ベクトルと該原画像ベクトルのなす角度を量子化して天頂インデックスを定義する、該なす角の量子化の基準は５度以下である。各天頂インデックスには、水平方向成分として３６０度分の全方位が含まれているので、これを立体角数度単位のセルに小分割し、該原画像ベクトルと天頂ベクトルのなす角、該原画像ベクトルの水平方向成分によりインデクシングする。この３段階のインデクシングにより必要な原画像を高速に検索することができる。３次元映像に必要な原画像は任意の都市位置に対して立体角で最小0.004ステラジアンから最大0.59ステラジアンごとに準備されている。この近傍を視点が通過するので、実際の視点および視線と該原画像ベクトルの立体角のずれが最小0.004ステラジアンから最大0.59ステラジアン以下であれば、原画像に対するモーフィング処理により滑らかに接続することができる。なお、接続される２つの画像の立体角が所定の値よりも小さい場合には、モーフィング処理を行わずに該原画像を切り替えるだけでもよい。

本発明は都市景観をリアルに映像で表示することができる。このため、３次元映像に使用される原画像は地上でも取得されなくてはならない。地上での都市景観３次元映像をリアルに表現するとは、人間の目線で景観を再現することであると本願発明者は考察し、あらゆる場所の都市景観を人間目線で事前に撮影し、空中からの景観と類似の方法で３次元映像を生成する方法、システムに想到した。地上における人間目線は人間が道路ないし通路上を移動すること、さらに目の位置が地上1.5-2.0mであるという制約があり、視点の自由度は空中からの景観に比べて相当に小さい。

本願発明者は、車載用のディジタルカメラ集合体であって、航空機搭載と類似の複数のディジタルカメラを搭載したディジタルカメラ集合体に想到した。すなわち、水平方向に全周８ないし１２方向、水平より仰角を付した斜め上方向を全周８ないし１２方向にわたって撮影するカメラをディジタルカメラ集合体として構成し、車両の屋根上などに設置し、車両をカーナビゲーションシステムにより予め定められた道路上を移動させ、GPSとIMSによる詳細な位置計測結果に基づき1mから10m間隔でディジタルカメラ集合体を構成する全カメラに対して撮影司令を発し、その結果を位置データとともに記録するのである。このようにして路上画像データベースを構築したうえで、都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元映像を生成する方法に想到した。該方法は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィング処理により滑らかな映像を生成するプロセスより構成される。なお、モーフィング処理を省略し、該原画像を切り替えるだけでもよい。

しかしながら完全な自由空間に視点を置き自由に視線方向を指定できる空中と異なり、道路ないし通路上では視点の存在し得る場所が通路ないし道路上に限定される。さらに、本発明の一実施形態に係る方法は、都市空間の構造物に関する３次元モデルを生成することなしに３次元映像を生成する方法であるから、路上ないし通路上で撮影した画像を空中写真の場合にTerrainに貼り付けたように、貼り付ける対象を選定しモデル化しなくてはならない。人間目線での都市空間の表現として都市の構造を考慮して、この目的に合致するモデルとして道路ないし通路とそれ以外の市街地の境界線に沿って鉛直に主として平面で構成される厚さゼロの壁を立て、該壁を原画像の投影面とすることとした。

この道路ないし通路に沿った投影面を数学的に表現することは、空中写真においてDEMを地表のモデルとして用いるのと同等の位置付けとなるが、道路ないし通路はグラフ構造を有しており、グラフ表現によりモデル化する。さらに、画像投影上重要なのは道路ないし通路の境界線上に存在する該壁あるいは投影面である、さらに道路ないし通路は、屈折し、分岐し、交差し、合流し、開始し、終了する。本願発明者は、原画像の投影という目的に適した道路ないし通路の数学的表現方法をグラフ表現することに想到した。この結果、道路ないし通路上の任意の位置の人間目線からの任意の市街景観を撮影済みの原画像からモーフィングによりリアルに映像で表現することに成功した。

このように本発明に係る都市景観３次元映像生成方法および閲覧システムでは、空中を任意に飛び回り任意の視線で任意の場所を見られるだけでなく、任意の路上ないし通路から任意の人間目線で市街の３次元映像を得ることができる。このため、グラフィックユーザインターフェイスとしてインターネットを介して、空中を模擬飛行するための模擬コックピットを設け、方位、昇降および速度を自由に操縦し指定できるほか、模擬カメラに切替えてカメラの方位角、ティルト角、ズーム量を自由に変更して３次元映像を表示することもできるようにした。路上ないし通路上においてはグラフィックユーザインターフェイスを介して人間目線で前進後退、及び左折、右折による自由な位置変更ができるほか、視線の向きを変えて自由な方向の視界を３次元映像で表現することができる。さらに、本発明の都市景観３次元映像生成および閲覧システムの特徴は空中から自由に地上に舞い降り、路上ないし通路上を歩行し、また、地上から上空に舞い上がって空中を自由に飛び回れる自由さにある。このため、空中模擬視界から地上の着地点を指定して着地するグラフィックユーザインターフェイスおよび、逆に地上から空中に飛び上がるためのグラフィックユーザインターフェイスを導入して操作性と臨場感を高めた。

図１は、本実施形態における都市景観３次元映像生成方法が用いられる閲覧システムの全体構成を概略的に示す図である。該都市景観３次元映像生成方法が用いられる閲覧システムは、視点が空中にある場合の３次元映像生成を行うための部分80と、視点が路上にある場合の３次元映像生成を行うための部分90とに分けられる。部分80と部分90とは、以下に述べるように同一の技術思想である「該都市の任意の場所に対して0.004以上0.59以下のステラジアンの立体角ごとに見込む画像（以下、「原画像」という）を画像データベースとして事前に準備し、該都市の３次元数値モデルの生成および建造物および地表の表面に対するテクスチャ貼り付け処理を行うことなしに、指定された視点経路と指定された視線方向の時間変化に応じて該画像データベースから視点および視線が近い原画像を順次取り出し、該視点経路と該視線に対応して画像モーフィングを行いつつ滑らかにつなぎ合わせる方法で表示する」ことを実現する。さらに部分80と部分90との双方に共通的なグラフィックユーザインターフェイスシステム180より構成され、ユーザ191にはインターネット190を介してサービスが提供される。

なお、部分80と部分90との両方が本発明に係るシステムに備わっている必要はない。部分80のみ、あるいは、部分90のみが本発明に係るシステムに備わっていてもよい。

視点が空中にある場合の３次元映像生成を行うための部分80は、航空機により空中で航空写真を取得するための画像取得システム（以下、空中画像取得システム100と呼ぶ）と、取得した航空写真を３次元映像生成に使いやすいように加工しデータベース化するための空中画像データベース生成登録システム120と、データベース化された空中画像データベース140と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元映像を生成する空中３次元映像生成システム160とにより構成される。

視点が路上にある場合の３次元映像生成を行うための部分90は、車両等により路上で写真を取得するための画像取得システム（以下、路上画像取得システム110と呼ぶ）と、取得した写真を３次元映像生成に使いやすいように加工しデータベース化するための路上画像データベース生成登録システム130と、データベース化された路上画像データベース150と、グラフィックユーザインターフェイスシステム180を通して要求されるユーザ191の要求に基づき３次元映像を生成する路上３次元映像生成システム170とにより構成される。

空中画像取得システム100と路上画像取得システム110との双方に共通的なグラフィックユーザインターフェイスシステム180では、視点が空中にある場合の視界生成と視点が路上にある場合の視界生成をユーザ191の要求に基づき切り替える機能も有している。以下、本発明になる３次元映像生成の基本原理を解説した後、本発明になる該都市景観３次元映像生成および閲覧システムを構成する各システムについて詳述する。

図２は、都市景観３次元映像生成および閲覧システムにおける空中画像取得の概念を示す図である。本発明の最大のかつ共通の技術的特徴の一つは、第１に、都市景観３次元映像生成において第一に都市の３次元モデルを生成する必要がないことであり、第二に、生成した３次元モデルに外壁面パターンないし外壁面写真をテクスチャ貼り付けする必要がないことである。人手とコストが必要なモデル生成とテクスチャ貼り付けの作業を排除する代わりに、都市景観のあらゆる位置について事前にあらゆる方向から画像を取得しておき、これを必要に応じて選択、変形して利用することができる。しかしながらこの方法は膨大な画像を事前に撮影する必要があるだけでなく、最適な撮影済み画像を高速に検索する必要があり、近年のディジタルカメラの進歩、各種メモリの大容量低コスト化と処理能力と通信能力の向上によって実現の条件が整ったところに、本発明による新方式の完成によって初めて実現が可能となったのである。

図２では都市200の上空天球222を充分小さい立体角の範囲ｉ221あるいは立体角の範囲１220で示すように半頂角２度から４０度の円錐ないし正６角柱で天球を立体角で分割する。この立体角は半頂角θ度に対して2π(1-cosθ)で計算され、最小0.04ステラジアンから最大0.59ステラジアンの範囲で、地表近くを除く天球222を分割し、地表のあらゆる場所の画像を該立体角ごとに準備するための空中画像取得システム100の概念を示している。

図３は図２と同一の技術的方式を、視点が路上にある場合の３次元映像生成をおこなう場合90に適用した場合を示しており、隣接する該充分小さい立体角の範囲ｉ221で撮影された同一地点に対する画像は視差のため見え方が若干異なるが、この若干異なった画像間の視界を線形変換により画像を連続的に変形させて補間し、滑らかな３次元映像を得るためのモーフィング処理の概念を示したものである。建物および視線方向の関係図230で示される建造物を視差が比較的小さい視線方向１240と視線方向２250より見た視界は、視線方向１より見た画像241および視線方向２より見た画像251で示される。視線方向１240と視線方向２250のなす角は半頂角２０度の立体角を図示したものである。そのなす角が1.47ステラジアン以下の値より小さい場合、あるいは対象物が平面的である場合には画像を線形変換によるモーフィング処理によって相互に近似することができる。このモーフィング処理を隣接する視点の実画像の補間処理に使用するのが本発明の特徴の一つである。なお、モーフィング処理を行わずに画像を切り替えるだけでもよく、これも本発明の特徴の一つである。

図４は本発明になる都市景観３次元映像生成および閲覧システムにおける模擬飛行による模擬視界発生の概念を説明した図である。視点経路P(t) 270に沿って視点が時刻ｔの経過とともに順番に移動し、その間、地表を目標トラジェクトリT(t) 280に沿って視界にとらえる。該目標トラジェクトリT(t) 280は該視点経路P(t) 270上の位置から、時刻ｔ の視線271、時刻ｔ+δｔの視線272、時刻ｔ+2δｔ
の視線273、時刻ｔ+3δｔの視線 274、時刻ｔ+4δｔ の視線275、および時刻ｔ+5δｔの視線276によりδｔごとにとらえられた地表上の軌跡である。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t) 280に対する都市景観３次元映像を生成する方法として、時刻ｔの視線271から時刻ｔ+5δｔの視線276に近く視差の少ない空中画像ｉ260および空中画像ｉ+1 261を空中画像データベース143より検索し、時刻ｔ の視線271、時刻ｔ+δｔの視線272、および時刻ｔ+2δｔ
の視線273の間は最も視線が近い空中画像ｉ260を原画像として使用して、時刻ｔ
の視線271、時刻ｔ+δｔの視線272、および時刻ｔ+2δｔ の視線273と空中画像ｉ260の視線の間の視点の相違による視差を空中画像ｉ260に対するモーフィング処理で補正し、時刻ｔ+3δｔの視線 274からは空中画像ｉ260よりも空中画像ｉ+1 261の方が視点の相違による視差が少ないと判断して空中画像ｉ+1 261を原画像に切り替え、時刻ｔ+3δｔの視線 274、時刻ｔ+4δｔ
の視線275、時刻ｔ+5δｔの視線276と空中画像ｉ+1 261の視線の間の視点の相違による視差を空中画像ｉ+1 261に対するモーフィング処理で補正することにより滑らかな該目標トラジェクトリT(t)280に沿った都市景観の３次元映像生成を行うのである。なお、モーフィング処理を行わずに空中画像ｉ260と空中画像ｉ+1 261を切り替えるだけでもよい。

本発明に係る空中画像の取得方法についての例を示したのが図５である。航空機301に図７に示すような多数のディジタルカメラを収容したディジタルカメラ集合体を搭載し、飛行経路300に沿って一定間隔ごとの撮影ポイント310で地表を撮影する。飛行経路300と撮影ポイント310を網目状に濃密に設定し、複数のディジタルカメラを搭載してディジタルカメラ集合体光軸方向320に示すように同時に多方向の画像を撮影することにより、図２に示す該充分小さい立体角の範囲ｉ221ごとの画像を取得する。

図６は空中画像取得システム100の処理フローを記したもので、以下、図１５まで、該空中画像取得システム100の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス330で、一定距離間隔で網目状に空中画像を撮影できるように、飛行航路と撮像ポイントを設定する。この撮影計画は、例えば、図１１に構成が示される空中画像取得計画ファイル101の形で飛行航路と航路上の撮影ポイントが定義される。次に撮影プロセス331では、航空機301が空中画像取得計画ファイル101に規定された撮影ポイント310に到達したことを判断して図９に示す空中撮影制御システム393により撮影を行う。撮影されたディジタルカメラ内の画像は空中撮影制御システム393により予め決められたタイミングごとに撮像プロセスで取得した撮影の位置およびディジタルカメラの姿勢データを含むメタデータとともに空中画像一次ファイル102に蓄積される。

図７は本発明になる空中画像取得システム100を構成するディジタルカメラ集合体360の構成例を示した図である。地表をあらゆる視点から効率よく高密度に撮影する目的で、直下方向のディジタルカメラ350aの周辺に水平全周方向が放射状に等間隔に分割されるように複数の斜め方向ディジタルカメラ350bから350iまでの8台を光軸が重力方向となす角が同一となるように配置してディジタルカメラ集合体360を形成したものである。とくに航空機に搭載して撮影する場合には、耐空証明を取得する必要があり、航空写真撮影用に航空機床面にあいている穴を変更したり、あるいは該床面穴から機体外にカメラが飛び出す形で利用したりすることは法令等による許認可を得ることが困難である。このため、ディジタルカメラ集合体360をCanon社製のPowerShotなどの小型ディジタルカメラを利用して該ディジタルカメラ集合体が該航空機床面穴内に収まるよう工夫したものである。ディジタルカメラ集合体 360を構成するディジタルカメラ350a〜i以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。

図８は、航空機による空中画像取得システムの航路および撮影ポイントの設定例を示したものである。図８(ｂ)にて撮影ポイント310の設定例を示している。飛行経路300は空中に撮影ポイント310の網目を構成するために等間隔で平行な飛行航路300を、図８(ｂ)において点線で結んであるようにＵターンして往復しながら飛行する。この間、撮影ポイント310で撮影を行う。撮影ポイント310の相互間隔は、飛行航路間撮影間隔372と飛行方向撮影間隔371により規定される。飛行高度を約８００ｍと設定すると、飛行航路間撮影間隔372および飛行方向撮影間隔371は、図２の充分小さい立体角の範囲 ｉ221内に少なくとも１枚の画像を得るためには約８０ｍ以下に設定するのが好ましい。ディジタルカメラ集合体360で撮影した場合、図８(ａ)のディジタルカメラ350a〜iの撮影範囲375a〜iで示す範囲が撮影される。なお、飛行高度は、８００ｍに限定されることはなく、２００ｍ以上２５００ｍ以下の範囲に設定が可能である。飛行高度が２００ｍより低いと撮影画像の量が増大し、処理量が増大する。また、飛行高度が２５００ｍより高いと地上の詳細な画像の取得が困難となる。

飛行高度、斜め方向ディジタルカメラ350ｂ〜iの鉛直方向となす角度、およびレンズの焦点距離の設定によって、該ディジタルカメラ350a〜iの撮影範囲375a〜iの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。なお、直下方向を撮影するディジタルカメラ350aの飛行経路300に対する向きは、図８(ａ)では画像フレームの横方向を飛行経路300の進行方向にしている。ただし、これに限定されることはなく、直下方向を撮影するディジタルカメラ350aの飛行経路300に対する向きは、画像フレームの縦方向を飛行経路300の進行方向にしてもよい。

図９は空中画像取得システムの構成例を示した図である。空中画像取得システムは、フライトナビゲーションシステム部385とデータ取得記録システム部390とにより構成される。フライトナビゲーションシステム部385は図８(ｂ)で規定される撮影ポイント310に航空機301を飛行経路300に沿って誘導するための装置であり、ＧＰＳ380より航空機位置データが周期的に得られ、航空計装388より航空機の姿勢、高度、速度などのアビオニクス情報387が得られる。これらの信号インターフェイスは航空機用バス信号として標準化されているので新規性はない。航空機の姿勢と、航空機に対する各ディジタルカメラの相対的な位置、向きから、各ディジタルカメラの姿勢の情報を計算することができる。

フライトナビゲーションシステム部385の機能は、図１１の空中画像取得計画ファイル101の内容に従い、図１０の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって図１２の空中画像取得システムのフライトナビゲーションシステム部の表示画面例によってパイロットを誘導するものである。フライトナビゲーションシステム自体は既に公然実施されていて何ら新規性はないかもしれないが、本発明の目的を実現するために撮影ポイント310に効率的に航空機を誘導する部分が本発明に関係する部分である。まず飛行前に都市のどの部分の上空画像を取得するかを決定する。地図上で撮影範囲を決定し、飛行プランを策定する。飛行プランは飛行経路300を航空地図上で設定することによって行われる。

撮影ポイント310は本発明の目的を達成するように高密度な網目状に地表から200m以上2500m以下、好ましくは500m以上2000m以下の範囲の高さで設定するのがよい。その設定の結果に基づき飛行経路300を平行線で構成されるように設定する。各直線部分に図１１の空中画像取得計画ファイル101に示される航路No.を割り振り、航路ごとに全体として網目を構成するように撮影ポイント310を割付け、各航路の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度および高度で設定する。このようにして図１１の空中画像取得計画ファイル101が構築される。該空中画像取得計画ファイル101の構築に関わるグラフィックユーザインターフェイスは地図情報システムとして実施することができる。

フライトナビゲーションシステム部385の機能は図１０に記載の空中画像取得システムのフライトナビゲーションシステム部の処理フローによって示される。処理ブロック420で空中取得計画ファイル101に登録されている航路No.の中から飛行予定の航路No.についてすべての撮影が終了するまで図１２に示される表示を順次に行う。指定された航路No.には開始座標があるので、処理ブロック421で該航路NO.を開始するために航路開始点の位置、高度、進行方向、速度を指定して図１２の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック421で規定された条件を一定の誤差範囲、たとえば位置誤差で１０ｍから３０ｍ以下の精度、飛行方向誤差で５°以下の精度で満足するのが好ましい。もし、満足しない場合には再度飛行航路をやり直してもよい。やり直す場合には、処理ブロック423で処理ブロック421のガイダンスを再度行う。処理ブロック422の条件を満足した場合には処理ブロック420で選択された航路No.の空中画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック424および処理ブロック425によりガイダンスする。図１２に空中画像取得システムのフライトナビゲーションシステム部の表示画面例を示す。

航空機301を処理ブロック420で指定された航路No.の開始点に誘導するためには図１２の撮影ガイダンス表示437と位置偏差表示446を用いる。航空機位置373の飛行航路300からの偏差を知ることができ、航空機を操縦して偏差の解消を行う。航空機の位置に関するデータはＧＰＳ380より得られるほか、航空機計装388よりアビオニクス情報387として高度、進行方位、速度、ピッチ・ヨー・ロールの姿勢データが得られ、図１２の表示に使用される。撮影ガイダンス表示437では、航路No.表示439により飛行中の航路が示されるほか、航路内残撮影ポイント数表示438により、航路内で今後撮影しなければならない撮影ポイント数が示される。撮影ガイダンス表示437では、撮影ポイント310を飛行航路300に沿って、撮影ポイントNo.と撮影許容範囲440が表示されるので、パイロットは各撮影ポイントに対して撮影許容範囲440内を航空機が通過するように操縦する。航空機ガイダンス表示437は飛行にしたがって上から下へローリング表示することにより、常に直近の撮影ポイントととるべき飛行経路300と航空機位置373の関係が示される。航空機位置表示373は常時画面左下部となる。なお、図１２の方位表示442、姿勢表示443、位置偏差表示446としては、いずれも現在の航空計装では公然実施されているものを使用することができる。

つぎに図９を参照し、データ取得記録システム部 390につき詳述する。図９において、航空機301には機体下方に航空写真機設置用の航空機床穴397がある。この穴にディジタルカメラ集合体360を機外に張り出さないように設置するのが好ましい。図９の例では後述する安定プラットフォーム装置395により航空機床穴397に吊下する構造を採用している。これにより、安定プラットフォーム制御システム394および安定プラットフォーム装置395は航空機301の姿勢に拘らずディジタルカメラ集合体360が常に地上直下に指向され、かつ方位が規定方向に固定される。なお、航空機のピッチ・ロールを常時５°以内に操縦で保てるのであれば安定プラットフォーム装置395を省略してもよい。ＩＭＵは慣性計測装置の英語表現の頭文字である。ＩＭＵ396を、安定プラットフォーム装置395に乗せることによりディジタルカメラ集合体360の姿勢を計測することができる。ディジタルカメラ集合体360の上面は航空機床398より上に出てもよい。

データ取得記録システム部390には航空機301の姿勢を観測するＩＭＵ400と、ディジタルカメラ350の制御と撮像データ処理のためのプログラムを含む空中撮影制御システム393と、画像データを含む各種データを記憶する大容量ディスク装置などのメモリ装置で構成される空中画像一次ファイル102と、ディジタルカメラ350に対する撮影指令を出すための撮影ポイントを記憶している空中画像取得計画ファイル101を機内に搭載している。航空機301の位置計測用のＧＰＳ380のアンテナを機外への視界の開ける場所に有している。

図１３は、図９のデータ取得記録システム部 390の構成機器間の情報の流れを示している。図１４は撮影制御システム393の処理フローを説明している。撮影制御システム393はＣＰＵを用いて構成される。撮影制御システム393はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、航空機301の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。航空機301に固定されたＩＭＵ400は航空機の姿勢データ451を、ＧＰＳ380はＧＰＳアンテナの位置データ452を周期的に撮影制御システム393に送り込む。撮影制御システム393の処理は図１４に詳説しているが、空中画像取得計画ファイル101の内容と得られたＧＰＳアンテナの位置データ452と航空機の姿勢データ451を処理ブロック460と処理ブロック461で順次照合し、航路No.を特定し、当該航路No.の撮影終了ないし、航路離脱まで、順次処理ブロック462で指定航路の撮影点の直近点を通過中かを判定し、撮影許容範囲440内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ350に処理ブロック463で一斉に撮影指令457を送ると同時に図１５に示す空中画像一次データファイル内の航空機データ部分472を処理ブロック464で書き込む。

ディジタルカメラ350は内部に本発明の時点では、３２ＧＢのメモリを保有できる。このため、撮影した空中画像データ455を少なくともひとつの航路No.が終了するまで保持することができる。航空機301は、ひとつの航路No.を終了し、次の航路No.に入るまでの間、Ｕターン飛行をするが、この間は撮影を行わないので、ディジタルカメラ350内の空中画像データ455を航空機搭載の大容量ディスク装置などのメモリ装置で構成される空中画像一次ファイル102に処理ブロック465で転送するか、ディジタルカメラ350の保有するメモリ自体を交換することによりディジタルカメラ350内部のメモリに記憶されている画像情報を消去する。

図１５に空中画像一次ファイル102の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した画像ごとに用意される。ヘッダ部のカメラＩＤはディジタルカメラ集合体360を構成する各ディジタルカメラ350a〜iを識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は航空機データ部分472と対応する撮影時刻であり、空中画像データベース生成登録処理120において、統合して各ディジタルカメラ350a〜iの光軸方向を算定するのに用いられる。画像データ部分471は特にこの段階では加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は飛行中固定であるので、同一設定値を書き込む。

空中画像データベース生成登録システム120について図１６から図２６までを用いて詳細に説明する。図１６は全体の処理フローを記載しており、処理ブロック480では、空中画像取得システム100で1日の飛行中に蓄積した空中画像一次ファイル102を飛行が終了した後、すべての画像について順次処理する。処理ブロック481では図１７の空中画像データベースの画像ヘッダ部490のヘッダーを作成する。このとき、作成するヘッダーは、図１５の空中画像一次ファイル102の画像ヘッダ部470のヘダーをそのまま転記することができる。処理ブロック482についても通常は空中画像一次ファイル102の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。

処理ブロック483では、画像ヘッダ部490の撮影パラメタを画像ごとに計算する処理について以下に詳述する。カメラ位置は緯度、経度、高度で規定することができる。通常航空機搭載ＧＰＳ380による位置測定がＤＧＰＳである場合には、飛行高度が低いこともあってそのまま正確な位置が得られるとは限らない。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむ場合があるので、着陸後に飛行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行うことができる。

撮影パラメタの計算は線形代数を使用して行う。以下、図２３を参照しながら説明する。明細書中にスミ付き括弧で記載した数式は通常の数学記法に従うが、本文中では記号の記述に制約があるので下記原則に従う。３次元または２次元の点は大文字のローマ字で表記し、３次元または２次元の成分を有する。時間的変化のある場合は（）を後につけ、その中に時間情報を記す。画像として記載した数式では、ベクトルをイタリックスの大文字ローマ字で記載し、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に"（ベクトル）"と付記する。３次元または２次元の点は原点に対するベクトルでも表記できる。画像として記載した数式では、行列を太字の大文字ローマ字で記載し、本文中では大文字ローマ字で記載し、識別が必要な場合には文字の前に"（行列）"と付記する。角度についてはギリシャ文字を用い、平面、線等を示す記号については記号の前に平面、線等の記述を付記する。北方の水平方向を指す直交座標系での単位ベクトルを（ベクトル）Ｎとし基準軸とする。（ベクトル）Ｎを基準とした機体のピッチ・ヨー・ロールによる座標変換を（行列）Ａとする。また、空中画像一次ファイル102における航空機データ部分472の位置を直交座標系でＸとし、機体内のＧＰＳアンテナ380からディジタルカメラ集合体360への位置偏差をベクトル表現で（ベクトル）Ｄとする。さらに基準軸（ベクトル）Ｎに対する各カメラ（添字k=ａ〜ｉで示す）の光軸、および４隅の方向ベクトルを単位ベクトルで下記と表現する。下記は常数であり、カメラの焦点距離と、ディジタルカメラ集合体360のディジタルカメラ350ａ〜ｉの取り付ける向きにより決まる。
撮影画像中心光軸方位ベクトル（正規化） Ｇ_kc=^ｔ(G_kcx G_kcy G_kcz)
撮影画像右下端方位ベクトル（正規化） Ｇ_k1=^ｔ(G_k1x G_k1y G_k1z)
撮影画像右上端方位ベクトル（正規化） Ｇ_k2=^ｔ(G_k2x G_k2y G_k2z)
撮影画像左上端方位ベクトル（正規化） Ｇ_k3=^ｔ(G_k3x G_k3y G_k3z)
撮影画像左下端方位ベクトル（正規化） Ｇ_k4=^ｔ(G_k4x G_k4y G_k4z)
と定義すると、撮影位置Ｓは

となり、図１７撮影パラメタの撮影位置（緯度,経度,高度）が求まる。正規化画像ベクトル（Ｘ，Ｙ，Ｚ）は（行列）Ａと（ベクトル）Ｇ_kＣにより、ＡＧ_kＣ，により求まる。

航空機の基準方向に対する姿勢変換（行列）Ａを加味した画像４端の方向の正規化ベクトルは各カメラに対して、それぞれ、（行列）Ａと（ベクトル）Ｇ_k1からＧ_k4 を用いて、ＡＧ_k1，ＡＧ_k2 （ＡＧ_k3，ＡＧ_k4となる。地表のTerrainデータは緯度、経度、標高で地表の格子点に対して与えられているから、その直近の隣接する３点ずつで３角形を構成してその頂点座標をＴ₁,Ｔ₂,Ｔ₃とし,Ｔ_cを三角形Ｔ₁Ｔ₂Ｔ₃ の平面と（ベクトル）Ｇ_kcの交わる座標とする。ｘは外積を表し、


であればＴ_cは三角形Ｔ₁Ｔ₂Ｔ₃内部にあるといえる。すなわち交わる。撮影位置Ｓ=(x,y,z)からの画像ベクトル（正規化）Ｇ_kc がＴ_cで三角形Ｔ₁Ｔ₂Ｔ₃と交わるとすると

ここでa,bは任意のスカラー定数となる。ここでＲは図１７の撮影パラメタの画像距離である。画像距離とは撮影位置から撮影光軸がTerrain580に交わるまでの距離をいう。ここで、

とすると、

となり、図１７の撮影パラメタのTerrain上中心点座標（緯度,経度,標高）がＴ_ｃとして求まる。ただし三角形Ｔ₁Ｔ₂Ｔ₃の内部にあるかは、外積を計算してチェックする。

同様に（ベクトル）Ｇ_ｋｃの代わりに（ベクトル）Ｇ_k1,Ｇ_k2,Ｇ_k3,Ｇ_k4に対して計算することにより、Terrain上最近右座標（緯度,経度,標高）、Terrain上最遠右座標（緯度,経度,標高）、Terrain上最遠左座標（緯度,経度,標高）、Terrain上最近左座標（緯度,経度,標高）がそれぞれ求まる。次に、図１７に示す撮影パラメタのフレーム回転角を求める。航空機の姿勢が基準方向であると、各ディジタルカメラのフレームの光軸を通る水平線は地球の水平線と平行であるが、機体のピッチ・ヨー・ロールによる座標変換が（行列）Ａであると地球の水平線から回転角が生じる。機体の姿勢が基準方向であるときの画面フレームの水平線は下記で与えられる。

機体のピッチ・ヨー・ロールによる座標変換が（行列）Ａであると、画面フレームの水平線は下記で与えられる。

したがって、フレーム回転角は、

となる。ここで“・”は内積を表し、縦に２本線で囲んだ部分はノルムを表す。

次に処理ブロック484で空中のモヤの影響除去の処理を行う。本発明の一実施形態に係る空中３次元動画生成システム150では、異なる視点から撮影した原画像を使用して都市のさまざまな方向からの映像を表現する。このため原画像に直射日光による影が存在すると、撮影時刻は原画像ごとに異ならざるを得ないため動画を合成したとき極めて見づらいものとなる。これを避けるため、直射日光のない曇天に雲の下から撮影し空中画像を取得するのが好ましい。このため、空中画像取得計画ファイル101では飛行高度を積雲または層雲が出現する高度より低い７００〜８００ｍに設定して撮影を行うのが好ましい。曇天での撮影は航空測量に航空機が使用できない条件下であるので、航空機の余剰時間を安価に利用できるという利点がある。一方、空中の水分が多いため視程が晴天時より短くなる欠点がある場合がある。

水分は微小な水滴として直進光を乱反射、乱屈折させるため、空中の通過距離に応じて影響が発生する。特に斜め航空写真の場合には、オフナディア角が大きい程水分の影響が大きくなる。図１８はモヤの影響除去処理における画像と視野の関係を示した図で、撮影画像495の下端は近景部分ａ496で撮影地表部分499のもっとも直近部分である。撮影画像495の上端部分は遠景部分498であり、撮影地表部分499の最遠部に位置する。近景部分ａ496から遠景部分498に向けて光が空気中を通過する距離が増える結果、微小水滴による光の散乱が増え、コントラストが減少し白濁する。この結果、図１９（ａ）に示すように微小水滴（モヤ）のない場合の画像のピクセルの明度のヒストグラムが輝度下限値から輝度上限値507まで分布した正規化ヒストグラム500であった場合、近景部分ａ496では近景部分ａヒストグラム501となり、上限値と下限値の幅が狭くなり中央値も白い方、すなわち輝度の高いほうに偏移する。

この傾向は遠景部分ヒストグラム502で最も顕著となり、ヒストグラム上限値504とヒストグラム下限値503の差である値幅 505が最小となり中央値506が最大となる。図１８の撮影画像495で、ヒストグラムをとる範囲を画面横方向は全範囲で縦方向は近景部分ａ496、近景部分ｂ497のように一定幅の短冊状にして、１ラインずつずらしながら上方に向けてピクセルの明度のヒストグラムを計算すると、図１９（ｂ）のような特性が得られる。モヤの濃度は高度によって濃淡があるが、水平方向には濃度の差がないとしてよいので、値幅フィッティング曲線513は単調減少、中央値フィッティング曲線512は単調増加として近似してよい。これらの曲線はモヤの高度による分布が不明であるので、実測値からフィッティングで求めた上で各行ごとに、フィッティング曲線から求めた値幅と中央値の補正係数で各画素値を補正する。各画素の輝度の補正は、水平ラインごとに
（数９）
正規化ヒストグラム中央値＋（画素輝度―中央値フィッティング値）
＊正規化ヒストグラム値幅／値幅フィッティング値
で求められる。以上説明した処理は、図２０で処理ブロック520から処理ブロック524で記された処理である。図２１は本発明のモヤ影響除去処理の処理結果例を示すものであり、モヤ影響除去前画像530を処理した結果、モヤ影響除去後画像531が得られている。

次に処理ブロック485で処理ブロック481から484で求めた結果を図１７に示す空中画像データベース143の該当画像データ部分に格納する。図１６の空中画像データベース生成登録システムの処理フローの最後の処理ブロック486で、処理ブロック485で登録した空中画像データを用いた動画生成のために高速に該空中画像データを検索する目的でインデクスを生成する。処理ブロック486の内容は図２２の空中画像データベース登録システムの空中画像インデクス生成登録処理フローでさらに詳細に述べられている。以下、図２２にしたがって説明する。処理ブロック540の内容を図２３の空中画像インデクス機構の構造と用語の定義を参照しながら説明する。撮影位置550で撮影された画像には、図１７の空中画像データベース133の撮影パラメタとして撮影位置（緯度,経度,高度）550、正規化画像ベクトルＧ＝^ｔ(X Y Z) 551、フレーム回転角553、画像距離552,Terrain上中心点座標（緯度,経度,標高）554、Terrain上最近右座標（緯度,経度,標高）555、Terrain上最遠右座標（緯度,経度,標高）556、Terrain上最遠左座標（緯度,経度,標高）557、Terrain上最近左座標（緯度,経度,標高）558が既に格納されており、図２３はそれを図示したものである。撮影位置550で撮影した画像は地表画像範囲549を捉えている。地表、Terrain580には緯度経度が定義されるので、１秒ごとにメッシュ化すると東京地方の緯度３５°付近では緯度方向で３０ｍ、経度方向で２５ｍのセルが構成できる。０．４秒ごとにメッシュ化すれば緯度方向で１２ｍ、経度方向で１０ｍのセルが構成できる。６５ｋｍ四方の都市領域を考えると、このセル数は３５Ｍセルに過ぎない。地表画像範囲549に含まれる地表セル559は地表画像範囲549の４端点が緯度経度で判明しているから容易に求めることができる。

各地表セルに対して、図２に示す天球222のあらゆる方向に対し、十分小さい立体角の範囲i221で画像を検索できなくてはならない。この目的で図２４（ａ）に示すように天球を地表セル559の中心から鉛直に上を向いている天頂ベクトル570を定義し、以下、該天頂ベクトルを基準に同心円状に天球を輪切りにして天頂インデクスI 572を定義する。天頂インデクスｉはi=0,1,2,...と順次定義され、i=0は天頂ベクトルであり、順次ｉが大きくなるに従い、天頂ベクトルとなす角度が同一幅で増加し、同一同心円状に天頂から水平線まで定義される。天頂インデクス572を通過して地表セル559から立体角セル中心ベクトルが定義される。立体角セル中心ベクトル574は、必ず天頂インデクス572上に一定方位角間隔で定義される。

図２４（ａ）で立体角セル573とは図２の十分小さい立体角の範囲I 221に対応するもので、地表セル559からの画像検索の基本単位となる。図２４（ｂ）では立体角セル573を立体角セル中心ベクトル574に対してなす半頂角２０度の円錐であり、立体角が0.4ステラジアン以下であるベクトルの収まる円錐と定義される。図２４は天頂方向から地表セル559を見た図である。立体角セル573は天頂インデクスI 572に対して相互に重複しながら隣接して定義され、天頂インデクスｉ572の全周をうめる。天頂ベクトル570と天頂インデクスI 570を通過する立体角セル中心ベクトル574のなす角を天頂離角571といい、天頂インデクスI 572を定義する数値となる。

図２５は立体角セル573のインデクス構造を示したものである。図２５（ｂ）は天頂方向から地表セル中心点575を見下ろした図である。2次元の添字のある立体角セルアドレス（ｉ，ｊ）を定義して、ｉは天頂インデクスｉ572を示し、jは天頂インデクスｉの同心円上のｊ番目の方向の立体角セルを表す。立体角セルアドレス(0,0) 584の立体角セル中心ベクトルは天頂ベクトル570であり、これを囲んで、同心円状に天球上で立体角セルアドレス(1,0) 585、立体角セルアドレス(1,1) 586、立体角セルアドレス(1,2) 587が以下、天頂インデクス１の全周を埋めるまで定義される。天頂インデクス１581の外側に天頂インデクス２に沿って、立体角セルアドレス(2,0) 588、立体角セルアドレス(2,1) 589、立体角セルアドレス(2,2) 590が天頂インデクス２の全周を埋めるまで定義される。立体角セル573は相互に重複し、天球を空隙が無いように埋め尽くされる。立体角セルの立体角は３次元動画生成が滑らかに行われるように、設定される。立体角セルアドレス数は天頂インデクスが地表に近づくにつれて多くなる。このようにしてすべての地表セルに対して、該地表セルを撮影した画像を、天球上の方向によって検索できるのである。

図２６に空中画像インデクススの関連テーブルの構造と相互関連を示す。天頂インデクスと天頂セルアドレスの構造は、地表セルに依存せず同一であり、この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597と方位インデクスパラメタテーブルＤＲＰＲＭＴ598で定義する。この構造を天頂インデクスパラメタテーブルＺＮＰＲＭＴ597は天頂インデクス０から順次、天頂インデクスｉ572に対する天頂離角571を定義し、さらに天頂インデクスｉ572に対応する中心ベクトル574が正規化ベクトルであった場合の鉛直方向成分を縦方向成分として格納する。天頂インデクスi 572に含まれる立体角セルの数は天頂から水平線に近づくにつれ増大するので、各天頂インデクスに対応した方位数ＮＤＲｉとして規定する。方向インデクスパラメタテーブルＤＲＰＲＭＴ598は天頂インデックスに対応して定義される方位数ＮＤＲｉに対応する立体角セルアドレスにつき、その立体角セル中心ベクトルの方位Ｘ成分と方位Ｙ成分を規定する。天頂インデックスパラメタテーブルＺＮＰＲＭＴ597記載の縦方向成分とあわせてベクトルノルムが１となるように正規する。

次に、地表セルに対応した画像データインデクステーブルの構造について説明する。図２６の地表セル位置インデックステーブルＴＣＩＮＸＴ600はすべての地表セル559に対して定義され、地表セルに対応して天頂インデックステーブルアドレスＡＤＤＲ_ｉｊ 603が指定される。ＡＤＤＲ_ｉｊの添え字は地表上の位置に対応して経度インデックスＬＯＮＩＮＸ 601がｉ、緯度インデックスＬＡＴＩＮＸ 602がｊであることを示している。天頂インデックステーブルアドレスＡＤＤＲ_ｉｊ（603）は、地表セルijに対応した天頂インデックステーブルＺＮＩＮＸＴ604を示す。天頂インデックステーブルＺＮＩＮＸＴには選択された天頂インデクスｋに対応して方位インデックステーブルアドレスＡＤＤＲ_ijk （605）が定義され、これに従い方位インデックステーブルＤＲＩＮＸＴ606が規定される。ここには天頂インデックスパラメタテーブルＺＮＰＲＭＴ597で指定される数の方位数があるので方位インデクスがｍであれば画像アドレステーブル608のアドレスとしてＡＤＤＲ_ｉｊｋｍが指定される。このように選択された画像アドレステーブルとは、地表セルｉｊに対して立体角セルアドレス（ｋ，ｍ）の立体角セルに含まれる画像データ数と画像データアドレスを示しているのである。このように図２６に従い、空中画像インデクスと関連テーブルの相互関連を定義すると地表の位置から空中の任意の方向から撮影した画像を検索できるのである。

以上の画像データインデクス機構の説明に基づき、図２２に示す空中画像データベース登録システムの空中画像インデクス生成登録処理フローの説明を以下に行う。処理ブロック540では図２３で示されるような1枚の画像があると、地表画像範囲549に含まれるすべての地表セルを求める。処理ブロック541では処理ブロック540で求めた地表セルすべてについて処理を順次行う。処理ブロック542では地表セル中心座標から撮影位置550を見込むベクトルを求める。処理ブロック543と処理ブロック544ではでは天頂インデックスパラメタテーブルZNPRMT597と方位インデックスパラメタテーブルDRPRMT598の定義から内積演算により該地表セル中心座標から撮影位置550を見込むベクトルをふくむ立体角セルアドレス（ｋ，ｍ）を求める。この情報に基づき処理ブロック545で画像データテーブルＡＤＤＲ_ijkmの画像データ数を１つ増加して画像データアドレスを追記する。

図２７に３種類の焦点距離の異なるディジタルカメラによる視野の構成例を示す。本発明の都市景観の３次元動画生成では、俯角が少ない場合の原画像はオフナディア角の大きな画像となるため必然的に航空機より遠方の画像となる。このことは、俯角が少ない場合の動画像を、分解能を低下させずに生成させるためにはオフナディア角の大きな場合の画像撮影時に分解能を悪化させない配慮が必要である。このため、図２７に示すようにオフナディア角が大きくなるに従い望遠レンズの焦点距離を大きくし、分解能を維持すると同時に、３種類のオフナディア角のディジタルカメラを採用してオフナディア角が大きくなるほど焦点距離を大きくして地表分解能が均一になるように工夫した例である。図２８に直下点撮影用にディジタルカメラ350ａを用い、ディジタルカメラ350ｂ〜ｉまでの８台を放射上に同一の小さいオフナディア角を持たせて配置し、その外側にディジタルカメラ620ｊ〜ｙまでの１６台を放射上に同一の大きいオフナディア角を持たせて配置する。近年のディジタルカメラの小型高性能化は著しく、既存の航空写真カメラ用航空機床穴398に充分収納することができる。図２９に３種類の焦点距離の異なるディジタルカメラによるディジタルカメラ集合体の撮影範囲例を図示する。代表的実施例としてはディジタルカメラ350ａを３５ｍｍフィルム換算焦点距離５０ｍｍ相当で直下指向、ディジタルカメラ350ｂ〜ｉを焦点距離７０ｍｍ相当でオフナディア角３５°指向、ディジタルカメラ620ｊ〜ｙを焦点距離１０５ｍｍ相当でオフナディア角６０°指向という組み合わせがある。

図３０に航空機搭載用安定プラットフォーム装置395のもっとも単純な構成例を示す。安定プラットフォーム装置395は航空機床穴397をまたぎ、上部にふさぐ形で設置され、下から固定部635、上下動部636、回転部637より構成される。回転部637は回転テーブル構造をなしており、その上に密着して姿勢検出用のＩＭＵ396が設置され、回転部637の下部にはディジタルカメラ集合体360が吊下されて航空機床穴397より機外に張り出すことなくすべての下方視界をすべてのディジタルカメラ350a〜iに収めることができる。該安定プラットフォーム装置395はディジタルカメラ集合体360または621を吊下してディジタルカメラ350a〜iおよびディジタルカメラ620j〜yを用いて同様に撮影することもできる。なお、回転部637とディジタルカメラ集合体360または621の接合方法は剛性を持たせて固定することが必要である。安定プラットフォーム装置395は航空機姿勢の擾乱に対して一定の姿勢を保持することを目的としているが、対処可能な航空機の姿勢擾乱はピッチ角およびロール角で最大７から１０°、ヨー角については最大２０°を想定しておけばよい。固定部635は航空機床398に固着される。上下駆動機構Ａ〜Ｄ641〜644を介して上下動部636を保持する。上下駆動機構Ａ〜Ｄ641〜644は各々独立に上下に動きピッチ角とロール角の擾乱を補正する。上下駆動は油圧機構でも、ウォーム歯車による回転運動の上下運動への変換方式を採用してもよい。上下動部645にはさらにベアリング機構645に保持される形で回転部637が搭載される。回転駆動機構640は上下動部636に固定され、かつ回転部637が外延部に接する形で設置される。回転部637と回転駆動機構640との間は回転運動を伝達すればよく、回転部637を回転させて航空機のヨー角に対する擾乱を打ち消す。図３１に安定プラットフォーム装置の信号情報フローを示す。安定プラットフォーム制御システム394はＩＭＵ396よりピッチ角、ヨー角、ロール角を周期的に入力し、基準値からの偏差を求めてピッチ角、ロール角の偏差を打ち消すために上下駆動機構Ａ〜Ｄ641〜644を制御して上下運動649を行わせる。ヨー角の偏差を打ち消すためには回転機構640を制御して回転運動650を行わせる。

次に、都市景観３次元動画アミューズメントシステムにおける空中動画生成処理につき図３２から図３９を用いて説明する。モーフィングによる空中動画像生成の概念と変数の説明を図３２で説明し、全体の処理のフローを図３３の都市景観３次元動画アミューズメントシステムにおける空中動画生成処理フローに基づき説明する。図３２において、視点経路P(t) 270に沿って視点が時刻ｔとともに移動し、その間、地表を目標トラジェクトリT(t)280に沿って該視点経路P(t)270上の位置から時刻ｔ₁からｔ_４、ｔ_ｉまで、視線ベクトルＶ（ｔ_１）からＶ（ｔ_４）、Ｖ（ｔ_ｉ）でとらえる。本発明では該視点経路P(t) 270からの該目標トラジェクトリT(t)280に対する都市景観の３次元動画を生成する方法として、時刻ｔ_１、ｔ_２、ｔ_３では視点Ｐ（ｔ_１）675、視点Ｐ（ｔ_２）676、視点Ｐ（ｔ_３）677の視線に近く視差の少ない空中画像_ｍ−１666を空中画像データベース130より検索し、時刻ｔ_１、ｔ_２、ｔ_３ の視線ベクトルＶ（ｔ_１）681、Ｖ（ｔ_２）682、Ｖ（ｔ_３）683の間は、画像ベクトルＧ_ｍ−１672との視差の相違を空中画像_ｍ−１666に対するモーフィング処理で補正して接続し、滑らかな動画像を生成する。時刻ｔ_４ の視線ベクトルＶ（ｔ_４）684からは空中画像_ｍ−１666よりも空中画像_ｍ667の方が視点の相違による視差が少ないと判断して空中画像_ｍ667を原画像に切り替え、時刻ｔ_４の視線ベクトルＶ（ｔ_４）684以降次の原画像が選ばれるまで空中画像_ｍ667との視差の相違を空中画像_ｍ667に対するモーフィング処理で補正することにより滑らかな都市景観の３次元動画生成を行うのである。

以上の処理を処理フローで示したのが図３３で、処理ブロック690では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック691では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック692では、次コマの地表インデクス位置が現コマと同一か現コマ、次コマの中心点で判断する。同一でない場合は、最適な原画像を求めなおす必要があり、処理ブロック694へ行く。同一な場合は、処理ブロック693で次コマの視線ベクトルが現コマと同じ立体角セル内か判定する。これは視線の向きが現コマとある程度変化したかを判定するもので、同一立体角セル内でないと判断された場合には処理ブロック694で最適な原画像を求めなおす必要がある。同一立体角セル内であると判断された場合には現コマの原画像を引き続き使用する。

処理ブロック694の処理内容は、より詳しく図３４の空中動画像生成における原画像検索の処理フローと図３５の３次元動画生成処理の原画像選択論理図に示される。処理ブロック700では、次コマの中心に存在する地表セルアドレス（ｉ,ｊ）を求めその中心点と次コマの視点を結ぶ視線ベクトルをつくりこれを正規化する。処理ブロック701から703では、この正規化視線ベクトルから天頂インデクスパラメタテーブルＺＮＰＲＭＴ597および方位インデクスパラメタテーブルＤＲＰＲＭＴ598を参照して立体角セルアドレス（ｋ，ｍ）を求め、地表セルアドレス（ｉ,ｊ）と併せて画像アドレステーブルのアドレスＡＤＤＲ_ｉｊｋｍが求まる。同一地表セルアドレスに対する同一立体角セルアドレスには画像アドレステーブルのはじめのデータで示される原画像候補が存在するので、処理ブロック704と処理ブロック705でその中から視点Ｐ（ｔ_ｉ）からの視野の4隅の点を原画像がすべて撮影しているかを判定する。図３５で（ａ）で視点Ｐ（ｔ_ｉ）の視野の地表上の４端点Ｔ_ｉ１715、Ｔ_ｉ２716、Ｔ_ｉ３717、Ｔ_ｉ４718のすべてが原画像撮影位置Ｓ_Ａ710、原画像撮影位置Ｓ_Ｂ711、原画像撮影位置Ｓ_Ｃ712からの画像に撮影されているかを判定するのが処理ブロック705の判定であり、ベクトル外積演算で容易にできる。図３５（ｂ）の例で言えば、原画像撮影位置Ｓ_Ａ710、原画像撮影位置Ｓ_Ｂ711からの画像のみが視点Ｐ（ｔ_ｉ）の視野の地表上の４端点Ｔ_ｉ１715、Ｔ_ｉ２716、Ｔ_ｉ３717、Ｔ_ｉ４718のすべてを画像に捕らえている。処理ブロック705の条件を満足する原画像をすべて求めた後、処理ブロック706で地表セルアドレス（ｉ，ｊ）に最も近い画像距離の最短の画像を原画像として選択する。画像距離は図１７に示される空中画像データベースの撮影パラメタの１データとして計算されており、画像距離が最短の原画像を選択するとは視点と目標の間の視界をさえぎる障害物を排除する処置である。

次に図３３に戻り、処理ブロック697のモーフィング処理の内容について図３６を参照しつつ以下の文章と式で説明する。なお、処理ブロック697を省略することによりモーフィングを行わずに原画像のみを切り替え表示することもできる。原画像_ｍに対して原画像撮影位置Ｓ_ｍ671と画像ベクトルＧ_m673（ノルム=1）とTerrain（地表面）が決まると、画像ベクトルＧ_m 673とDEMの交点Ｚ_mcと画像の四隅とTerrainの交点Ｚ_m1、Ｚ_m2、Ｚ_m3、Ｚ_m4が決まる。図３７に示すように、一般にＺ_m1、Ｚ_m2、Ｚ_m3、Ｚ_m4は同一平面上にないので、Ｚ_mcを通りＺ_m2、Ｚ_m3の中点Ｚ_m23と、Ｚ_m1、Ｚ_m4の中点Ｚ_m41を通るベクトルと平行なベクトルをＺ_mＶと定義し、

Ｚ_mcを通りＺ_m1とＺ_m2の中点Ｚ_m12と、Ｚ_m3とＺ_m4の中点Ｚ_m34を通るベクトルと平行なベクトルをZ_ｍHと定義する。

Ｚ_mcを通り（ベクトル）Ｚ_mVと（ベクトル）Ｚ_mHで張られる面をTerrain平面といい（平面）Ｚ_ｍであらわす。（平面）Ｚ_ｍの垂線を（ベクトル）ｎ_m（ノルム=1）とする。Ｚ_mcを通り、画像ベクトルG_ｍに垂直な平面を（平面）N_ｍという。（平面）N_ｍは原画像撮影位置視点S_ｍ671より撮影した画像(視野)である。（平面）Ｚ_ｍ-->（平面）N_ｍへの変換が存在して、これをΦ_Ａという。これは原画像_ｍの撮影行為である。視点Ｐ_ｉに対して、視点座標Ｐ_ｉと視線ベクトルＶ_ｉ（ノルム=1）とTerrain平面Ｚ_ｍ（共通）が決まると同様にＴ_iCとＴ_i1、Ｔ_i2、Ｔ_i3、Ｔ_i4が決まる。Ｔ_iCを通り視線ベクトルＶ_ｉに垂直な平面をN_ｉという。平面Ｔ_miとはTerrain面Ｚ_ｍの中で、視点Ｐ_ｉによる視野でＺ_ｍの一部を構成する。視点Ｐ_ｉの視野（平面）N_ｉと（平面）Ｔ_miは視点Ｐ_ｉと（ベクトル）Ｖ_ｉと視野角θ_ｉが決まれば一意に決まる。（平面）Ｔ_miの（平面）N_ｍへの写像は原画像撮影位置視点Ｓ_ｍと（ベクトル）Ｇ_mと原画像ｍの画角θ_ｍが決まれば一意に決まる。（平面）N_ｉ―＞（平面）Ｔ_mi―＞（平面）N_ｍの対応により（平面）N_ｉのθ_ｉに対応する各画素が、（平面）N_ｍのθ_ｍに対応する画素に対応付けられればモーフィングアルゴリズムは完成する。

一般にTerrain平面Ｚ_ｍ上の任意の点Ｘは、

であらわされる。ここで垂線条件である、

を代入すると、

が得られる。ここで・はベクトル内積をあらわす。視界の中心線V_iCとTerrain平面Z_mの交点Ｔ_iCは、Ｔ_iCが

を満足することからこれに代入して、

より

となり、

より、視点P_iの画像中心点のTerrain平面Z_mでの座標が求められる。同様に、視点P_iの視界の４隅の正規化視線ベクトルをV_i1、V_i2、V_i3、V_i4とし、これらとTerrain平面Z_mの交点Ｔ_i1、Ｔ_i2、Ｔ_i3、Ｔ_i4のTerrain平面Z_mでの座標を求めることができる。さらにこの座標のN_ｍ面上への変換を求める。Terrain平面Z_m上の任意の点Xは、

であらわされ、垂線条件である、

より、４隅の正規化視線ベクトルをV_i1、V_i2、V_i3、V_i4に対して、

ただしk=1,4を満足する

より

となり、

で、視点P_iの画像の４隅の点のTerrain平面Z_mでの座標が求められる。この平面Z_m上での座標を平面N_ｍ上での座標に対応付けることにより原画像である平面Z_m上のどの点を視点P_iの画面に映せばよいか分かる。（平面）Z_m上での視点P_iの画面の中心および四隅の点の座標Ｔ_iC、Ｔ_i1、Ｔ_i2、Ｔ_i3、Ｔ_i4（まとめてＴ_ik、k=1,2,3,4,cとする）が（平面）N_ｍ上でQ_iC、Q_i1、Q_i2、Q_i3、Q_i4（まとめてQ_ik、k=1,2,3,4,cとする）に対応する。（平面）N_ｍ面上での画面の水平ラインを（ベクトル）N_H、垂直ラインを（ベクトル）N_VとするとN_ｍ面上の任意の点Yは任意定数a,bに対して

で表される。画像ベクトルG_mは（ベクトル）N_H、（ベクトル）N_Vに垂直だから

となり、また、Q_ikとＴ_ikは画像撮影位置S_mより見て同一線上にあるから

であるので、

となり、G_mとの内積をとって

となるから

となる。

で既にＴ_ikは求まっているから、これで、視点P_iの視界の原画面mの画面との対応が完成した。

次に、（ベクトル）G_mをｚ軸に移す変換を求める。ここで、

として、ｚ軸周りに回転させてyz平面に載せてからｙ軸周りに回転させてｚ軸と一致させる。ｚ軸周りの回転は、

で与えられる。次に、y軸周りの回転は、

で与えられる。両方の回転を合成すると、

となる。平面Ｎ_ｍの交点Ｑ_ik(k=1,2,3,4,C)に対してＧ_ｍをｚ軸に移す変換を施せば、Ｑ_ik(k=1,2,3,4,C)はxy面上の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。

以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの空中３次元動画生成に関する説明を終了して、同一の技術を都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に適用した場合の説明に移行する。

都市の任意の場所に対して路上ないし通路上の任意の場所、任意の視線方向からの人間目線での３次元動画を生成する。路上３次元動画生成においても空中３次元動画生成と同様に都市空間の構造物に関する３次元モデルを生成することなしに実画像を用いて３次元動画を生成する。路上では自由空間で自由に視線を指定できる空中に比べて視点の自由度は小さく、存在場所が通路上の地上１．７m程度に限定される一方、通路はDEMによるTerrainモデルと異なった構造を持っているので通路はグラフ表現によりモデル化する。空中写真の場合にTerrainを画像の投影面としたように、本発明の方式では、事前に撮影した実画像の投影面を設定しなくてはならない。

人間目線としての視点および視線の動きうる範囲を検討した結果、通路とそれ以外の市街地の境界線に沿う鉛直な平面を路上で撮影した原画像の主たる投影面とし、通路上での前方視ないし後方視に対しては通路に直交し一定距離はなれた鉛直面を補助的に投影面とするのが好ましい。本発明の方法は、通路上で人間目線の存在しうる任意の点から任意の視線で市街景観を事前に撮影するため、水平方向に全周８ないし１６方向、水平より仰角を付した斜め上方向を全周８ないし１６方向にわたって撮影するディジタルカメラ集合体を車両の屋根上に設置し、路上画像データベースを構築する。なお、斜め上方は広角レンズを用いることで省略できる。

動画像生成は最適な原画像を選択するプロセスと、視点の移動状態と視線方向および都市内の位置によりモーフィングプロセスにより滑らかな動画像を生成するプロセスより構成される。

以下、図１都市景観３次元動画アミューズメントシステム構成図に従い、順次、路上画像取得システム110、路上画像データベース生成登録システム130、路上画像データベース150および路上３次元動画生成システム170につき詳細に説明する。図４０は路上画像取得システムの処理フローを記したもので、以下、図５９まで、該路上画像取得システム110の詳細な実現方法を説明する。まず、撮影ポイント設定プロセス741で都市内の道路および通路に沿って一定距離間隔で撮影できるように、移動経路と撮像ポイントないし間隔を設定し、図５５に構成が示される路上画像取得計画ファイル111とする。この撮影計画は道路ID No.と道路上の撮影ポイントが定義される。道路の構造に関する記述は道路ID No.を含め厳密に定義する必要があるので後述する。次に撮影プロセス742では、車両803が路上画像取得計画ファイル111に規定された図４２に示す撮影ポイント766に到達したことを判断して図５３に示す路上撮影制御システム806により撮影を行う。撮影されたディジタルカメラ内の画像は予め決められたタイミングごとに撮像プロセスで取得した位置および姿勢データとともに路上画像一次ファイル112に蓄積される。

図４１は本発明になる路上画像取得システム110を構成するディジタルカメラ集合体755の構成例を示した図である。路上であらゆる視点から効率よく高密度に撮影する目的で、水平方向のディジタルカメラ750a〜ｈが全周を等間隔になるように放射状に配置され、ディジタルカメラ750a〜ｈの斜め上方を撮影する目的でディジタルカメラ750ｉ〜ｐが配置され、ディジタルカメラ集合体が形成される。ディジタルカメラ集合体755を構成するディジタルカメラ750a〜ｐ以外の支持構造は、撮影方向精度が高いことを要求されるので、軽量かつ剛性の高いものであればどのようなものでもよく、ハニカム構造アルミニウム板あるいは炭素樹脂などで構成することができる。

図４２は、車両による路上画像取得システムの経路および撮影ポイントの設定例を示したものである。図４２(ｂ)に撮影ポイント766の設定例を示している。路上画像取得システム765は路上画像取得計画ファイル111で路上に列状にくまなく構成された撮影ポイント766に従い、道路を移動しながら撮影ポイント766で撮影を行う。撮影ポイント766の相互間隔は撮影された画像が路上３次元動画生成システムでモーフィングによって滑らかな動画になるように選定される。ディジタルカメラ集合体755で撮影した場合、図４２(ａ)のディジタルカメラ750a〜ｐの撮影範囲760a〜pで示す範囲が撮影される。レンズの焦点距離の設定によって、該ディジタルカメラ750a〜ｐの撮影範囲760a〜ｐの各ディジタルカメラが撮影する範囲と相互の重複度は変化する。本発明の目的からは、相互に若干の重複しながら地表をほぼ連続的に覆うように設定することが望ましい。

図４３は路上画像取得システムの鉛直方向撮影パターンと画像投影面の関係を示したものである。空中３次元動画生成では撮影した画像の投影面をTerrainとしたが、路上３次元動画生成では人間目線を実現対象としておりTerrainを投影面とすることはできない。また撮影する画像も水平方向および仰角つきの情報であるため、路上から撮影した画像の投影面を図４３に示すように道路と建物の境界線に鉛直に立つ面とする。道路と建物の境界面は近似的に道路の境界面としてもよい。画像投影面の定義は道路の定義とともに厳密に行いデータベース化する必要があるので後述する。またこの方式は人間目線の通路であれば車両の通行可能性とは関係なくどこでもよく、地下通路あるいは建造物内部でも人間の通路があれば適用可能である。図４３ではディジタルカメラ750ｉ〜pの撮影範囲と方向およびディジタルカメラ750ａ〜ｈの撮影範囲と方向を例示した。

本発明の都市景観３次元動画アミューズメントシステムの路上３次元動画生成システムでは、道路ないし通路の境界面を画像の投影面とする関係上、道路のいかなる場所からでも動画像の原画像が検索できなければならず、また登録できなくてはならない。検索には高速性が要求され、また人間目線でのあらゆる方向からの画像を登録・検索できなくてはならない。この目的に沿う道路データベースシステムを図４４から図５２に説明する。ここでの記述が路上３次元動画生成システムの技術的な基礎となる。

図４４にグラフによる道路の記述方法を記載する。あらゆる道路は幅があり、その中心線でグラフを形成して道路表現の基本とする。この道路の中心線を中心線グラフ780といい。端点と辺から構成される。道路の交差点、合流点、分岐点、変針点には必ず端点が存在する。道路は必ず両端が端点である連続した辺と端点の集合として定義され、道路ID No．777が一意に付与される。図４５は緯度経度から道路を検索する方法を示したものである。緯度経度で例えば０．１秒単位でメッシュを作ると、東京地方では、経度方向で２．５ｍ、緯度方向で３ｍのメッシュとなる。このようにメッシュを作ると各メッシュには必ず道路が存在するかしないかのいずれかとなる。このメッシュを地表セル781と呼ぶ。道路が存在する場合には道路ID No.を地表セル781に割り当てることにより緯度経度が判明する任意の地点より道路があれば道路にアクセスできる。このように定義すると１つのメッシュが複数の道路ID No.に関係を持つ場合が発生する。地表セル中心点782から中心線グラフに垂線を下ろし、その足との距離が最短の道路ID Noを該地表セルの道路ID Noと定義する。図４５右下に拡大した交差点の図の例では、垂線を中心線グラフ780に２本下ろすことができ、この場合は垂線の足Ａ783aと垂線の足B783ｂの垂線の短いほうである垂線の足B783ｂの道路ID No．を選定する。

図４６は道路の構造を記述するための道路データベースの構造を規定している。地表セル道路インデクステーブルＣＬＬＲＤＩＮＸＴはメッシュ化された緯度経度のインデックス（ｉ，ｊ）から道路ID No.と、道路ID No.に対応した道路グラフデータを記載した道路グラフデータテーブルの該当グラフ部分を示すための相対レコードアドレスを検索できる。道路グラフアドレステーブルＲＤＧＲＡＤＲＴは道路ID No.に対応して道路グラフデータテーブルＲＤＧＤＴ内での開始アドレスを指定する。これは、道路グラフデータテーブルＲＤＧＤＴが道路ID No.によって端点と辺のサイズがことなるためである。道路グラフデータテーブルＲＤＧＤＴは道路の構造をグラフとして記述する。第１レコードは道路ID No.であり、第２レコードは全部の端点数である。道路は開始点から順次、端点座標および次の端点までの辺の属性を記述する形で道路ID No.で指定される道路の範囲が尽きるまで繰り返される。属性には下記の３種類がある。

タイプ１属性 次の端点までの辺に関する属性で、サブ属性として下記ａ投影面コードとｂ幅員がある。
ａ投影面コード：
０ 辺の両側に投影面がない。
１ 辺の進行方向左側だけに投影面がある。
２ 辺の進行方向右側だけに投影面がある。
３ 辺の進行方向両側に投影面がある。
ｂ幅員 道路の両端の中心線グラフからの距離を示す。

タイプ２属性 端点における道路接続に関する情報で、サブ属性として下記ａ、ｂがある。
ａ接続先道路ID No.
ｂ接続先道路ID No.に対応した道路グラフデータテーブルＲＤＧＤＴにおける接続点の相対レコードアドレス この情報は道路の接続が交叉か分岐か合流かを判別するために使用する。

タイプ３属性 端点における道路終了を示す。

以下、実際に存在するケースに対応して道路グラフデータテーブルの構築方法を説明する。図４７では直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル）777lが交差点の中央にある端点k,i+2 792k,i+2と端点l,j+2 793l,j+2で交差している。端点の表記で添え字を2個用いるのは、最初の添え字が道路ID No.を表し、２番目の添え字が同一道路ID No.内における端点の順番を示すためである。なおこの端点は同一の端点を双方の道路で別々に名づけたものである。道路ID No.=k 777kの構造記述を図４７−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図４７に即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗ_ｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点k,i＋１)。端点k,i+2792k,i+2で道路ID No.=ｌ(エル) 777lと交叉し（属性コード=ｌ(エル)）属性の２は道路ID No.=ｌ（エル） 777lのレコードアドレスが２の端点で交叉していることを示す（端点k,i＋２)。端点k,i+3
792k,i+3で交叉点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗ_ｋとなる（端点k,i＋３)。さらに端点k,i+4
792k,i+4以降に続く。道路ID No.=ｌ(エル)777ｌの構造記述を図４７−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)795lと図４７に即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ
793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗ_lである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋１)。端点l,j+2 793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の２は道路ID No.=k 777kのレコードアドレスが２の端点で交差していることを示す（端点l,j＋２)。端点l,j+3793l,j+3で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗ_lとなる（端点l,j＋３)。さらに端点l,j+4
793l,j+4以降に続く。

図４８では３叉路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル） 777lが３叉路の中央にある端点k,i+2 792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図４８−１道路グラフデータテーブルＲＤＧＤＴｋ（795k）と図４８に即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗ_ｋである（端点k,i)。端点k,i+1 792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗ_ｋである（端点k,i＋１)。端点k,i+2792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル）
777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3792k,i+3で３叉路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗ_ｋとなる（端点k,i＋３)。さらに端点k,i+4792k,i+4以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図４８−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)795ｌと図４８に即して説明する。道路ID No.=ｌ 777ｌは３叉路の端点ｌ,ｊ793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは３叉路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で３叉路を出た結果両側に投影面が存在するようになり（属性コード=3）、幅員はｗ_ｌとなる（端点l,j＋１)。さらに端点l,j+2 793l,j+2以降に続く。

図４９では分岐路の記述方法を示す。道路ID No.=k 777kから道路ID No.=ｌ（エル）777lが分岐路の中央にある端点k,i+2 792k,i+2と端点l,j 793l,jで分岐している。道路ID No.=k 777kの構造記述を図４９−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図４９に即して説明する。

道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗ_ｋである（端点k,i)。端点k,i+1 792k,i+1で３叉路に入った結果投影面は右側のみとなり（属性コード=2）、幅員がｗ_ｋである（端点k,i＋１)。端点k,i+2792k,i+2で道路ID No.=ｌ(エル) 777lと分岐し（属性コード=ｌ(エル)）、属性の0は道路ID No.=ｌ（エル）
777lのレコードアドレスが0の端点すなわち開始点で分岐していることを示す（端点k,i＋２)。端点k,i+3792k,i+3で分岐路を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗ_ｋとなる（端点k,i＋３)。さらに端点k,i+4792k,i+4以降に続く。道路ID No.=ｌ(エル)777ｌの構造記述を図４９−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)795ｌと図４９に即して説明する。道路ID No.=ｌ 777ｌは分岐路の端点ｌ,ｊ793l,jよりスタートし、道路ID
No.=k 777kから分岐し（属性コード=k）,属性の２は道路ID No.=k777kのレコードアドレスが２の端点で分岐していることを示す（端点l,j)、次の端点l,j+1 793l,j+1までは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点l,j)。端点l,j+1 793l,j+1で左側に投影面が存在するようになり（属性コード=１）、幅員はｗ_ｌとなる（端点l,j＋１)。端点l,j+2 793l,j+2で分岐路を抜け出し両側に投影面が存在するようになり（属性コード=３）、幅員はｗ_ｌとなる（端点l,j＋2)。さらに端点l,j+3 793l,j+3以降に続く。

図５０では道路変針の記述方法を示す。道路ID No.=k 777kの構造記述を図５０−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５０に即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗ_ｋである（端点k,i)。端点k,i+1 792k,i+1で向きを変えるが投影面は両側のままで（属性コード=3）、幅員がｗ_ｋである（端点k,i＋１)。さらに端点k,i+2 792k,i+2以降に続く。

図５１では非直交交差点の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル）777lが交叉点の中央にある端点k,i+3 792k,i+3と端点l,j+3 793l,j+3で交叉している。道路ID No.=k 777kの構造記述を図５１−１道路グラフデータテーブルＲＤＧＤＴｋ795kと図５１に即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗ_ｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗ_ｋである（端点k,i＋１)。端点k,i+2
792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3
792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の3は道路ID No.=ｌ（エル）777lのレコードアドレスが3の端点で交差していることを示す（端点k,i＋3)。端点k,i+3792k,i+3で右側に投影面が出現し（属性コード=3）、幅員がｗ_ｋである（端点k,i＋４)。端点k,i+5792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗ_ｋとなる（端点k,i＋5)。さらに端点k,i+6792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５１−２道路グラフデータテーブルＲＤＧＤＴｌ(エル) 795lと図５１に即して説明する。道路ID No.=ｌ 777ｌは左下端の端点ｌ,ｊ 793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗ_lである（端点l,j)。端点l,j+1793l,j+1で交差点に入った結果左側の投影面が無くなり（属性コード=2）、幅員はｗ_lである。端点l,j+3 793l,j+3で両側の投影面が無くなり（属性コード=0）、幅員は未定義でブランクとなる（端点l,j＋3)。端点l,j+3
793l,j+3で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k
777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋3)。端点l,j+4793l,j+4で左側に投影面が出現し（属性コード=1）幅員がｗ_ｌとなる（端点ｌ,ｊ＋4)。端点l,j+5793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗ_lとなる（端点l,j＋5)。さらに端点l,j+6
793l,j+6以降に続く。

図５２では５叉路の記述方法を示す。道路ID No.=k 777kと道路ID No.=ｌ（エル）777lが交差点の中央にある端点k,i+3 792k,i+3と端点l,j+2 793l,j+2で交差している。道路ID No.=m 777mが道路ID No.=ｌ（エル） 777lへ端点l,j+3 792l,j+3で合流している。道路ID No.=k 777kの構造記述を図５２−１道路グラフデータテーブルＲＤＧＤＴｋ 795kと図５２に即して説明する。道路ID No.=k 777kは左端の端点k,ｉ 792k,iよりスタートし、次の端点k,i+1 792k,i+1までは両側に投影面を持ち（属性コード=3）、幅員がｗ_ｋである（端点k,i)。端点k,i+1 792k,i+1で交差点に入った結果投影面が左側のみとなり（属性コード=1）、幅員はｗ_ｋである（端点k,i＋１)。端点k,i+2792k,i+2で両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる（端点k,i＋２)。端点k,i+3 792k,i+3で道路ID No.=ｌ(エル) 777lと交差し（属性コード=ｌ(エル)）属性の2は道路ID No.=ｌ（エル）777lのレコードアドレスが2の端点で交差していることを示す（端点k,i＋3)。端点k,i+4792k,i+4で左側に投影面が出現し（属性コード=1）、幅員がｗ_ｋである（端点k,i＋４)。端点k,i+5792k,i+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗ_ｋとなる（端点k,i＋5)。さらに端点k,i+6792k,i+6以降に続く。道路ID No.=ｌ(エル) 777ｌの構造記述を図５２−２道路グラフデータテーブルＲＤＧＤＴｌ(エル)795lと図５２に即して説明する。道路ID No.=ｌ 777ｌは下端の端点ｌ,ｊ793l,jよりスタートし、次の端点l,j+1 793l,j+1までは両側に投影面を持ち（属性コード=3）、幅員がｗ_lである（端点l,j)。端点l,j+1 793l,j+1で交差点に入った結果両側の投影面が無くなり（属性コード=0）、幅員はブランクとなる。端点l,j+2 793l,j+2で道路ID No.=k 777kと交差し（属性コード=k）,属性の３は道路ID No.=k 777kのレコードアドレスが３の端点で交差していることを示す（端点l,j＋2)。端点l,j+3793l,j+3で道路ID No.=m 777mと合流し（属性コード=m）,属性のnは道路ID No.=m
777mのレコードアドレスがnの端点で合流していることを示す（端点l,j＋3)。端点l,j+4793l,j+4で右側に投影面が出現し（属性コード=2）幅員がｗ_ｌとなる（端点ｌ,ｊ＋4)。端点l,j+5793l,j+5で交差点を抜けた結果、両側に投影面を持つようになり（属性コード=3）幅員がｗ_lとなる（端点l,j＋5)。さらに端点l,j+6
793l,j+6以降に続く。道路ID No.=m 777mの構造記述を図５２−３道路グラフデータテーブルＲＤＧＤＴｍ 795mと図５２に即して説明する。道路ID No.=m 777mは合流路の端点m,n 793m,nで終了し、道路ID No.=l 777lへ合流し（属性コード=ｌ）,属性の３は道路ID No.=ｌ 777ｌのレコードアドレスが３の端点で合流していることを示す（端点m,n)、前の端点m,n-1 793m,n-1からは分岐路内で両側に投影面が無く（属性コード=0）、幅員も無定義でブランクである（端点m,n-1)。その前の端点m,n-2 793m,n-2からは右側のみに投影面が存在しており（属性コード=２）、幅員はｗ_mとなる（端点m,n-2)。その前の端点m,n-3 793m,n-3からは両側に投影面が存在し（属性コード=３）、幅員はｗ_mである（端点m,n-3)。

図５３は路上画像取得システム110の構成例を示した図であり、カーナビゲーションシステム部801とデータ取得記録システム部800より構成される。カーナビゲーションシステム部803は図４２(ｂ)で規定される撮影ポイント766に車両803を移動経路765に沿って誘導するための装置であり、ＧＰＳ380より車両位置データが周期的に得られる。カーナビゲーションシステム部803の機能は、図５５の路上画像取得計画ファイル111の内容に従い、図５４の路上画像取得システムのカーナビゲーションシステム部の処理フローによって図５６の路上画像取得システムのカーナビゲーションシステム部の表示画面例によって車両を誘導するものである。カーナビゲーションシステム自体は既に公然実施されていて何ら新規性はないものを用いることができる。本発明の目的を実現するために撮影ポイント766に効率的に車両を誘導することが好ましい。。まず走行前に都市のどの部分の道路の路上を取得するか決定する。地図上で撮影範囲を決定し、走行プランを策定する。撮影ポイント766は本発明の目的を達成するように均一かつ高密度に道路ないし通路に沿って設定しなくてはならず、その結果に基づき指定撮影経路825を設定する。各道路に図５５の路上画像取得計画ファイルに示される道路ID No.を割り振り、撮影ポイント766を割付け、各道路ID No.の開始座標と終了座標、さらにその間の撮影ポイント数と各撮影ポイント座標を緯度経度で設定する。このようにして図５５の路上画像取得計画ファイルは構築される。路上画像取得計画ファイルの構築に関わるグラフィックユーザインターフェイスは地図情報システムとして公然実施されているものを用いることができる。

カーナビゲーションシステム部801の機能は図５４に記載の路上画像取得システムのカーナビゲーションシステム部の処理フローによって示される。処理ブロック810で路上取得計画ファイルに登録されている道路ID No.の中から撮影予定の道路ID No.についてすべての撮影が終了するまで図５６の表示を順次に行う。指定された道路IDNo.には開始座標があるので、処理ブロック811で該道路IDNo.を開始するために走行開始点の位置、進行方向、速度を指定して図５６の内容をモニタ上に表示してガイダンスを行う。撮影を行うには、処理ブロック811で規定された条件を一定の誤差範囲、たとえば位置誤差で１ｍから５ｍ以下の精度で満足するのが好ましい。もし、満足されない場合には再度走行をやり直すことが好ましい。処理ブロック810で選択された道路ID No.の路上画像取得計画ファイル記載の撮影ポイント座標から最終撮影ポイントまで撮影ポイントをひとつずつ順次処理ブロック812および処理ブロック813によりガイダンスする。

データ取得記録システム部 800には車両803の姿勢を観測するＩＭＵ400と、ディジタルカメラ750の制御と撮像データ処理のためのプログラムを含む路上撮影制御システム806と、画像データをふくむ各種データを記憶する大容量ディスク装置などのメモリ装置で構成される路上画像一次ファイル112と、ディジタルカメラ750に対する撮影指令を出すための撮影ポイントを記憶している路上画像取得計画ファイル121を搭載している。車両803の位置計測用のＧＰＳ380のアンテナを機外に有している。

図５７は図５３のデータ取得記録システム部800の構成機器間の情報の流れを示している。図５８は路上撮影制御システム806の処理フローを説明している。路上撮影制御システム806はＣＰＵで構成される。路上撮影制御システム806はＩＭＵ396より安定プラットフォーム装置395の姿勢データ450を周期的に取り込む。安定プラットフォーム395が正常に動作している場合には、車両803の姿勢によらず慣性空間に対して常に一定の姿勢を保っている。車両803に固定されたＩＭＵ400は車両の姿勢データ828を、ＧＰＳ380はＧＰＳアンテナの位置データ830を周期的に路上撮影制御システム806に送り込む。路上撮影制御システム808の処理は図５８に詳説しているが、路上画像取得計画ファイル111の内容と得られたＧＰＳアンテナの位置データ380と車両の姿勢データ828を処理ブロック834と処理ブロック835で順次照合し、道路ID No.を特定し、当該道路ID No.の撮影終了ないし、経路離脱まで、順次処理ブロック836で指定道路ID No.の撮影点の直近点を通過中かを判定し、撮影許容範囲内で撮影ポイントに最近接したタイミングにディジタルカメラ集合体を構成する各ディジタルカメラ750に処理ブロック837で一斉に撮影指令457を送ると同時に図５９に示す路上画像一次ファイル内の車両データ部分840を処理ブロック838で書き込む。ディジタルカメラ750は内部に本発明の時点では３２ＧＢのメモリを保有できる。このため、撮影した路上画像データ827を少なくともひとつの道路ID No.が終了するまで保持することができる。車両803は、ひとつの道路ID No.を終了し、次の道路ID No.に入るまでの間にディジタルカメラ750内の路上画像データ827を車載の大容量ディスク装置で構成される路上画像一次ファイル112に処理ブロック839で転送し、ディジタルカメラ750内部のメモリに記憶された画像情報を削除する。

図５９に路上画像一次ファイル112の構成例を記したが、画像ヘッダ部470と画像データ部471は撮影した画像ごとに用意される。ヘッダ部のカメラＩＤはディジタルカメラ集合体755を構成する各ディジタルカメラ750a〜ｐを識別する番号である。画像データＩＤは相互に画像が識別できるように付す認識番号であり、撮影日時刻は車両データ部分840と対応する撮影時刻であり、路上画像データベース生成登録処理130において、統合して各ディジタルカメラ750a〜iの光軸方向を算定するのに用いられる。画像データ部分471は加工を施さない。また、画像ヘッダ部470のカメラパラメタは通常は走行中固定であるので、同一設定値を書き込む。

図６０に車載用安定プラットフォーム装置395のもっとも単純な構成例を示す。安定プラットフォーム装置395は図３０の航空機搭載用安定プラットフォームと同一構造である。車載用の場合には、車両天井板上に設置され、安定プラットフォーム装置395上に車載用のディジタルカメラ集合体755が設置される。

路上画像データベース生成登録システム130と路上画像データベース150について図６１から図６９までを用いて詳細に説明する。路上画像データベースは画像投影面と視線と視点から検索する関係上、まず画像投影面の構造と道路グラフデータベース151の構造関係を定義しなくてはならない。図６５に道路グラフの方向と視線ベクトルの方向による画像投影面について説明する。路上で通路に沿って全周を撮影した路上画像は道路の境界線にある投影面に投影し、視線と視点の位置関係によってモーフィング処理を行う。このとき、進行方向または進行反対方向の映像は道路が細長いため画像を投影するためには極めて長い道路境界面を必要とし実現が困難となる場合がある。

この問題を解決するために、進行方向または進行反対方向ないしそれに近い方向の映像については道路の左右境界面ではなく図６５において点線で示したように前方仮想投影面878と後方仮想投影面879を設けてこれに実画像を投影する。なお、前方仮想投影面878と後方仮想投影面879の位置は路上視点によって移動する。図６５の例では道路の進行方向すなわち道路グラフと視線のなす角882が左右２０°の範囲であれば前方仮想投影面878を使用し、路上画像取得システム110で撮影した前方画像を使用し、道路グラフと視線のなす角882が左右１６０°から１８０°の範囲であれば後方仮想投影面879を使用し、路上画像取得システム110で撮影した後方画像を使用する。道路グラフと視線のなす角882が左側２０°から１６０°の範囲であれば左投影面880を使用し、路上画像取得システム110で撮影した進行方向に対して左斜め前方、左、左後方画像を使用し、道路グラフと視線のなす角882が右側２０°から１６０°の範囲であれば右投影面881を使用し、路上画像取得システム110で撮影した進行方向に対して右斜め前方、右、右後方画像を使用する。

ここでは道路グラフと視線のなす角882が前方左右２０℃、後方左右１６０°で投影面を切り替える例を述べたが、この度数は現実のリアリティーに応じて可変とすることもできるし、実地でのリアリティーにより増減させることができるが、以下では具体例として２０°を選定している。以下、路上画像データベース生成登録システム130、路上画像データベース150、路上３次元動画生成システム170は以上に説明した投影面の方式に沿って構築されている。

次に画像投影面の構造について図６６を用いて説明する。本発明の路上３次元動画生成システムは視点と視線が定まると、投影面を定めて、最適な実画像を検索し、視差に応じてモーフィングを行う。このため与えられた視点と視線に対して視差の少ない実画像が存在し、かつ該実画像を高速に検索できなくてはならない。道路ID No.ｍの任意の点を指定するために、端点列を定義してグラフで道路の先頭からｍ番目の端点とそれに続く辺の区間上の位置に対して、「端点ｍ，ｉ座標（ｘ_ｍｉ，ｙ_ｍｉ）」と表現するが、該区間は道路の形態により決まっており投影面の定義には長すぎる。このため図６６に記すように、投影面区分として道路グラフの方向に対して左側と右側、さらに該辺に対応する左右の投影面を「投影面区分」と定義して端点と辺で構成されるグラフとして細分する。端点ｍ，ｉ座標（ｘ_ｍｉ，ｙ_ｍｉ）890に対応する道路グラフの方向883の左側の投影面区分を、
第０番目を 投影面区分ｍｉｌ０座標（ｘ_ｍｉｌ０，ｙ_ｍｉｌ０）891
第１番目を 投影面区分ｍｉｌ１座標（ｘ_ｍｉｌ１，ｙ_ｍｉｌ１）892
第２番目を 投影面区分ｍｉｌ２座標（ｘ_ｍｉｌ２，ｙ_ｍｉｌ２）893
第３番目を 投影面区分ｍｉｌ３座標（ｘ_ｍｉｌ３，ｙ_ｍｉｌ４）894
以下同様と名づけて定義する。添え字ｌは左側を示す。同様に道路グラフの方向883の右側の投影面区分を、
第０番目を 投影面区分ｍｉｒ０座標（ｘ_ｍｉｒ０，ｙ_ｍｉｒ０）895
第１番目を 投影面区分ｍｉｒ１座標（ｘ_ｍｉｒ１，ｙ_ｍｉｒ１）896
第２番目を 投影面区分ｍｉｒ２座標（ｘ_ｍｉｒ２，ｙ_ｍｉｒ２）897
第３番目を 投影面区分ｍｉｒ３座標（ｘ_ｍｉｒ３，ｙ_ｍｉｒ４）898
以下同様と名づけて定義する。添え字ｒは右側を示す。各投影面区分は上記に示された端点座標に引き続く道路グラフの方向883の辺で表現される。

次に、路上画像取得システム110で撮影された画像は原画像として、始点の緯度経度が指定されると下記検索手順で検索されるようインデクス体系を構築する。緯度経度−＞道路ID No.−＞端点座標―＞投影面区分座標投影面区分座標と視線方向―＞原画像図６６において、原画像撮影位置Ｒ903にディジタルカメラ集合体755が存在してその中のディジタルカメラ750のひとつがカメラ光軸を表す正規化ベクトルである画像ベクトルＲ904の画像を撮影し、画像ベクトル904と画像右端Ｒ906が投影面区分ｍｉｒ２座標（ｘ_ｍｉｒ２，ｙ_ｍｉｒ２）897と交差し、画像左端Ｒ905が投影面区分ｍｉｒ２座標（ｘ_ｍｉｒ２，ｙ_ｍｉｒ２）897と交差する。該画像ベクトルと道路グラフの方向883のなす角により、図６５における投影面の使用法が異なるため、下記原則で原画像を投影面区分にリンクさせて登録する。

（１）０°≦道路グラフの方向883に対する画像ベクトルとのなす角≦左２０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（２）左２０°≦道路グラフの方向883に対する画像ベクトルとのなす角≦左１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（３）左１６０°≦道路グラフの方向883に対する画像ベクトルとのなす角≦左１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
（４）０°≦道路グラフの方向883に対する画像ベクトルとのなす角≦右２０°
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
（５）右２０°≦道路グラフの方向883に対する画像ベクトルとのなす角≦右１６０°
道路グラフの方向883の左側で画像ベクトルが交差する投影面区分
（６）右１６０°≦道路グラフの方向883に対する画像ベクトルとのなす角≦右１８０°
道路グラフの方向883の左側で視点の投影面区分への垂線の足が存在する投影面区分
道路グラフの方向883の右側で視点の投影面区分への垂線の足が存在する投影面区分
すなわち（１）（３）（４）（６）は道路グラフの方向883の前後方向に対する画像であるため左右両側の投影面区分に登録する。

上記原則に従い、図６６の原画像撮影位置Ｒ903からの画像ベクトルＲ904は上記（５）の場合に該当し、原画像が投影面区分mir2座標(x_mｉr2,y_mｉr2)897にリンクして登録される。図６６の原画像撮影位置Ｌ899からの画像ベクトルＬ900は上記（２）の場合に該当し、原画像が投影面区分mil2座標(x_mｉl2,y_mｉl2)893にリンクして登録される。また、図６７の原画像撮影位置Ｆ907からの画像ベクトルＦ908は上記（４）の場合に該当し、原画像が投影面区分mir１座標(x_mｉr1,y_mｉr1)896と投影面区分mil１座標(x_mｉl1,y_mｉl1)892にリンクして登録される。図６７の原画像撮影位置Ｂ911からの画像ベクトルＢ912は上記（３）の場合に該当し、原画像が投影面区分mil2座標(x_mｉl2,y_mｉl2)893と投影面区分mir2座標(x_mｉr2,y_mｉr2)907にリンクして登録される。

次に図６８を用いて原画像を投影面区分に登録する場合、画像ベクトルと道路グラフの方向883のなす角により区分する方式を説明する。投影面区分917にリンクして登録される原画像はどのような視線ベクトルで該投影面区分917を見込むかによってさらに区分する。すなわち該投影面区分917を視野に入れる画像について該原画像位置と該投影面区分中心点918を結んだ線が931から937のどのセクタに入るかを区分する。原画像撮影位置a 916aは角度140-160°セクタ
937に、原画像撮影位置c 916cは角度80-120°セクタ934に区分される。画像ベクトルが道路グラフの方向883とのなす角が前方左右２０°の範囲920に存在する画像ベクトルd 919dは原画像撮影位置d 916dからの垂線の足が投影面区分917に存在するので角度20-40°セクタ 930に原画像を区分する。画像ベクトルが道路グラフの方向883とのなす角が後方左右２０°の範囲921に存在する画像ベクトルe（919e）は原画像撮影位置d916dからの垂線の足が投影面区分 917に存在するので角度160-180°セクタ938に原画像を区分する。図６８では、該都市の任意の通路に沿って、該通路に面する任意の場所を人間目線位置から見込む複数の該原画像の位置関係を示しており、原画像撮影位置ｂ（916b）と原画像撮影位置c（916c）からそれぞれ画像ベクトルｂ（919b）と画像ベクトルc（919c）で投影面区分917を見込んで撮影している。投影面区分917上の任意の点から原画像撮影位置ｂ（916b）と原画像撮影位置c（916c）を見込む角度（立体角）は図６８では最大５０度であり、該通路に沿った任意の場所から最大５０度（半頂角２５度）の立体角ごとに見込む角度で該３次元映像の原画像を準備する。立体角はステラジアンで半頂角θ度に対して2π(1-cosθ)で計算され、0.59ステラジアンとなり、これを該立体角の上限とする。

以上、道路に対する投影面と画像のインデクス方式について説明した。図６４に具体的な路上画像インデクス機構の構造を説明する。図４６で説明した道路グラフデータテーブルＲＤＧＤＴ 790を拡張して属性コラムの次に投影面原画像インデクステーブルアドレス873を追加して道路グラフデータテーブル ＲＤＧＤＴm 790mを構成する端点と辺ごとに路上原画像投影用の投影面区分にさらに細分化して記述できるようにする。すなわち道路ID No.ｍの相対レコードアドレスがiの端点に対して投影面原画像インデクステーブルＰＪＩＮＸＴ871のアドレスＰＪＩＮＸＴＡＤＲmiがリンクされ、該端点m,iに属する投影面区分が開始点より順次、相対コードアドレス874に対応して道路グラフの方向883の左側（左壁）と右側（右壁）に分けて記述される。セル数とは該端点m,iに属する投影面区分の数である。投影面区分の表現は各投影面区分に対してその開始座標で示される。投影面原画像インデクステーブルＰＪＩＮＸＴ871には左右両壁の各投影面区分に対して投影面原画像アドレステーブルアドレス875 ＰＪＡＤＲＴＡＤＲがあり、図６８に対応した投影面原画像アドレステーブルＰＪＡＤＲＴ872にリンクする。投影面区分に対応した路上原画像が投影面区分を見込む視線角に応じて区分化されて、各区分に含まれる原画像数が路上画像データ数869として、原画像が路上画像データアドレス870として記載される。このようにして、下記の高速検索機構が完成する。
緯度経度−＞道路ID No.−＞端点座標―＞投影面区分座標
投影面区分座標と視線方向―＞原画像

次に図６２に従い路上画像データベース153の構造を説明する。路上画像データベース153は路上画像一次ファイル112に取得された情報に基づき、路上画像インデクス機構152と道路グラフデータベース151と整合性を持って構成されなくてはならない。図６２の路上画像データベース153は図６１の路上画像データベース生成登録システムの処理フローに従って生成登録される。処理ブロック843では、路上画像取得システム110で1日の走行中に蓄積した路上画像一次ファイル112を撮影が終了した後、すべての画像について順次処理する。処理ブロック844では図６２の路上画像データベースの画像ヘッダ部850のヘッダーを作成するが図５９の路上画像一次ファイル112の画像ヘッダ部470のヘダーをそのまま転記する。処理ブロック845についても通常は路上画像一次ファイル112の画像ヘッダ部470のカメラパラメタをそのまま転記すればよい。処理ブロック846では、画像ヘッダ部850の撮影パラメタを画像ごとに計算するがその処理について以下に詳述する。

カメラ位置は緯度、経度、高度で規定されるが、通常車載ＧＰＳ380による位置測定がＤＧＰＳである場合には、地表であることもあってそのまま正確な位置が得られるとしてよい。ＧＰＳ380による位置測定がＧＰＳである場合には誤差をふくむので、走行後に走行時刻と同時刻に測定した付近のＤＧＰＳ局から座標補正データを入手して撮影日時刻にあわせて補正を行う。路上画像取得システム110の場合、路上を２次元的に移動するのみであることと、画角に比べて撮影点と撮影対象物の距離が近いことから撮影パラメタの計算は空中画像の場合と異なり平面幾何で近似して計算してもよい。第２レコードのカメラ位置（道路ID No.端点相対レコードアドレス,端点座標(x,y),端点距離,中心線左右距離）は道路ＩＤ No，が判明していなければ図４６の地表セル道路インデックステーブルＣＬＬＲＤＩＮＸＴ785より検索して道路ＩＤ No，相対レコードアドレスより道路グラフアドレステーブルＲＤＧＲＡＤＲＴ788、さらに道路グラフデータテーブルＲＤＧＤＴ 790を検索して、道路ID No.端点相対レコードアドレス,端点座標(x,y)までは直ちに判明する。

道路グラフの方向（ベクトル）Ｒ883は(x_m,i+1−x_m,i,y_m,i+1−y_m,ｉ)を正規化して求められ、車両進行方向（ベクトル）Ｖ853は路上画像一次ファイルの車両データ部分840より得られる正規化ベクトルである。任意のディジタルカメラαの車両進行方向に対する設定方位を（ベクトル）Ｖに対する回転行列で表し、ディジタルカメラ設定方位φ_ａ859 とするとこの数値はディジタルカメラ集合体755の構造が決まれば決まる。端点距離Ds 852は原画像撮影位置Ｓ916に対して

で求められる。中心線左右距離Dv 853は

で求められ、道路グラフの左右いずれかにあるかは

の正負で判定する。原画像撮影位置Ｓ 916からの画像ベクトルＧ_ｃ904が投影面上で交わる点は、任意のスカラーａ、nに対して、

これを解くと、


投影面区分の長さは通常同一とするが、投影面区分の座標が規定されているので、任意の投影面区分miri座標(xmｉri,ymｉri)までの投影面区分mir0座標(xmｉr0,ymｉr0)895からの総投影面長は判明する。上記nより投影面区分相対アドレスと画像ベクトル投影面区分内位置dc 856は単純な引き算でもとまる。同様に画像左端投影面区分内位置dl 857および画像右端投影面区分内位置dr 858も求めることができる。

次に処理ブロック847で処理ブロック844から846で求めた結果を図６２に示す路上画像データベース153の該当画像データ部分851に格納する。図６１の路上画像データベース生成登録システムの処理フローの最後の処理ブロック848で、処理ブロック847で登録した路上画像データを用いた動画生成のための図６４に示す路上画像インデクス機構を生成する。処理ブロック848の内容は図６３の路上画像データベース生成登録システム130の路上画像インデクス生成処理フローに述べられている。処理の内容は図６４から図６８の説明で詳細に述べた路上画像インデクス機構に基づくものであるが、処理ブロック861で道路グラフデータテーブル内の端点No.より道路グラフの方向を求め、画像ベクトル（撮影光軸）とのなす角度により分岐する。画像ベクトル方向が道路グラフの方向に対して左側０°から２０°および右側０°から２０°のとき処理ブロック862で前方投影面処理として、直近の左投影面の投影面原画像アドレステーブルの角度160-180°区部分と直近の右投影面の投影面原画像アドレステーブルの角度0-２0°区部分に原画像データアドレスを登録する。画像ベクトル方向が道路グラフの方向に対して左側１６０°から１８０°および右側１６０°から１８０°のとき処理ブロック863で後方投影面処理として直近の左投影面の投影面原画像アドレステーブルの角度0-２0°区部分と直近の右投影面の投影面原画像アドレステーブルの角度160-180°区部分に原画像データアドレスを登録する。画像ベクトル方向が道路グラフの方向に対して左側２０°から１６０°のとき処理ブロック864で左投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック865で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じて投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。画像ベクトル方向が道路グラフの方向に対して右側２０°から１６０°のとき処理ブロック866で右投影面処理として撮影画像が視野に入れている左側投影面を選出し、処理ブロック867で選出された投影面につき、カメラ位置と投影面中点のなす角に対応じて、投影面原画像アドレステーブル内の該当角度部分に原画像データアドレスを登録する。

次に、都市景観３次元動画アミューズメントシステムにおける路上動画生成処理システムにつき説明する。路上動画の生成は図６５のモデルに従い、視点と視線に最も近い原画像を選択して、画像投影面に対する視差を計算してモーフィング処理を行う。原理的には空中３次元動画生成システムにおける１６０におけるアルゴリズムと同様である。ただし、この場合には、人間目線であるので視線は水平面上を動き、垂直軸も傾かないとしてよい。このためモーフィングは２次元的に処理する。全体の処理を図７４に示す。

処理ブロック940では、グラフィックユーザインターフェイスシステム180より次の動画フレーム（次コマ）として計算すべき移動方向、移動速度、位置、視線方向ベクトルを取り込む。処理ブロック941では、この値に基づき次コマの視点位置、視線ベクトル、地表上の目標点座標を計算する。処理ブロック942では、次コマの視野が現コマの原画像に含まれる範囲か路上画像データベースの原画像の撮影パラメタと比較して判断する。含まれていない場合は、最適な原画像を求めなおす必要があり、処理ブロック944へ行く。含まれている場合は、処理ブロック943で現コマの原画像を引き続き使用する設定をおこなう。図７０の例で見ると、視点Ｒ903は原画像撮影位置a 916aで撮影した右前方視の画像が右側の投影面の原画像になりうることを示している。

処理ブロック944の処理内容はより詳しく図７５の路上３次元動画生成システムの処理おける原画像検索の処理フローと図６５に示される。以下図６５を参照しながら図７５により説明する。処理ブロック950では道路グラフと視線のなす角882により図６５の区分に従い前後の仮想投影面に画像を生成するか、道路に沿った左右の投影面に画像を生成するか判定する。左右投影面視が選択された場合は、処理ブロック953で前回位置と今回位置より、道路ID No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、図６５の基準に従い、左投影面か右投影面かを決定する。さらに、処理ブロック954では、前回の位置と今回の位置の変化量、前回視線ベクトルと今回視線ベクトルの変化量より、今回の視線ベクトルと視野左端ベクトル、視野右端ベクトルが交叉する投影面区分を予測する。通常は現コマの投影区分を継続使用するか隣接する投影区分である。処理ブロック955では今回視線ベクトルが交叉する投影面区分を予測値の周辺で探索して求める。処理ブロック956では図６８の区分に従い、図６４の検索機構で投影面原画像アドレステーブルＰＪＡＤＲＴにより今回視線ベクトルと交叉する投影面区分のなす角にもっとも近い角度区分の原画像アドレスを検索して求める。処理ブロック950で図６５の判定により前後の仮想投影面に画像を生成すると判定された場合は、処理ブロック951にて、前回位置と今回位置より、道路ID No. 端点アドレス、座標が求まるので、さらに視点位置、視線ベクトル方向と道路グラフベクトルの関係から、左投影面か右投影面かを決定する。前後視の場合は投影面としては左右の投影面を使用しないが、原画像撮影位置により左右投影面にリンクして登録されているのでこの判定を行う。処理ブロック９５２では図６５の区分意従い、視線ベクトル方向と道路グラフベクトルの関係から、前方視か後方視かを判定し、直近の投影面区分を求めて、投影面原画像アドレステーブルの角度０ー２０°(前方視)または角度１６０ー１８０°(前方視)の区分にある画像を原画像として検索する。図７４の処理ブロック945にもどり、検索した新しい原画像を原画像とする。

処理ブロック946では図６５の基準により分岐し、処理ブロック948の左右投影面モーフィング処理または、処理ブロック947の前後視界モーフィング処理を行う。処理ブロック948の左右投影面モーフィング処理の内容について図７０と図７１を参照しつつ以下の文章と式で説明する。原画像mに対して原画像撮影位置S_m671と画像ベクトルG_m673（ノルム=1）と投影面が決まると、画像ベクトルG_m 673と投影面の交点Z_mCと画像の左端、右端と投影面の交点Z_mLとZ_mRが決まる。投影面を表すベクトルZ_mは道路グラフの方向R883と同一な正規化ベクトルである。Z_mの垂線をn_m（正規化）とする。Z_mCは画像ベクトルG_m 673が投影面Z_mと交わる点であるが、Z_mCを通り、画像ベクトルG_mに垂直な平面をN_mという。N_mは原画像撮影位置視点S_m671より撮影した画像(視野)である。（平面）Z_m-->
（平面）N_mへの変換が存在して、これをΦ_Aという。これは原画像mの撮影行為である。視点P_iに対して、視点座標P_iと視線ベクトルV_i（ノルム=1）と投影面Z_m（共通）が決まると同様にT_iCとT_iL、T_iRが決まる。T_iCを通り視線ベクトルV_iに垂直な平面をN_iという。（平面）T_miとは投影面Z_mの中で、視点P_iによる視野でZ_mの一部を構成する。視点P_iの視野（平面）N_iと（平面）T_miは視点座標P_iと視線ベクトルV_iと視野角θ_iが決まれば一意に決まる。平面T_miの平面N_mへの写像はS_mとG_mと原画像ｍの画角θ_mが決まれば一意に決まる。（平面）N_i―＞（平面）T_mi―＞（平面）N_mの対応によりN_iのθ_iに対応する各画素が、（平面）N_mのθ_mに対応する画素に対応付けられればモーフィングアルゴリズムは完成する。一般に平面Z_m上の任意の点Xは、道路グラフの方向（ベクトル）Ｒ883を用いて

であらわされる。ここで垂線条件である、

を代入すると、

が得られる。ここで・はベクトル内積をあらわす。視界の中心線V_iCと投影面Z_mの交点T_iCは、T_iCが

を満足することからこれに代入して、

より

となり、

で、視点Ｐ_iの画像中心点の投影面Z_mでの座標が求められた。

同様に、視点Ｐ_iの視界の左端、右端の正規化視線ベクトルをＶ_iL、Ｖ_iRとし、これらと投影面Ｚ_ｍの交点T_{iL ,} T_iRの投影面Ｚ_ｍでの座標を求めることができる。投影面Ｚ_ｍ上の任意の点Ｘは、

であらわされ垂線条件である、

より、（数４４）がV_iCの代わりに左右端の正規化視線ベクトルＶ_iL、Ｖ_iRに対して成り立つ。(k=L,R)

より

となり、

で、視点Ｐ_iの画像の左右端の投影面Ｚ_ｍでの座標が求められた。この平面Ｚ_ｍ上での座標を平面N_ｍ上での座標に対応付けることにより原画像である平面Ｚ_ｍ上のどの点を視点Ｐ_iの画面に映せばよいか分かる。Ｚ_ｍ上での視点Ｐ_iの画面の中心と左右端点の座標T_iC、T_iL、T_iR（まとめてT_iｋ、k=Ｌ,Ｒ,Ｃとする）がN_ｍ上でQ_iC、Q_iL、Q_iR（まとめてQ_ik、k=Ｌ,Ｒ,Ｃとする）に対応する。N_ｍ面上での画面の水平ラインをNとするとN_ｍ面上の任意の点Yは任意定数aに対して

で表される。画像ベクトルG_ｍはNに垂直だから

なり、また、Q_ikとT_iｋは画像撮影位置Ｓ_ｍより見て同一線上にあるから

であるので、

となり、Ｇ_mとの内積をとって

となるから

となる。

で既にT_iｋは求まっているから、これで、視点Ｐ_iの視界の原画面ｍの画面との対応が完成する。

次に、G_mをｙ軸に移す変換を求める。ここで、

として、ｚ軸周りに回転させるとN_mはｘ軸に載る。ｚ軸周りの回転は、

で与えられる。平面N_mの交点Q_ik(k=L,R,C)に対してG_mをｚ軸に移す変換を施せば、Q_ik(k=L,R,C)はx軸の点に変換される。これは、原画像ｍの画面上の位置に対応する。すなわちモーフィングである。以上は２次元モーフィングであるので、図７３に水平線上の対応が画素単位で求められた。視点における視野731の原画像730における対応が水平線上で示される。垂直方向は上下対称で拡大縮小比率は水平線上と同比率である。なお、視線の動きを水平面内に限定しないのであれば、空中３次元動画生成における３次元モーフィング処理を私用してもよい。なお、図７４の処理ブロック947の前後視界モーフィング処理は、視点F 907の視界を撮影点a 916a での原画像から２次元モーフィングで処理ブロック948で述べたのと同様のアルゴリズムで生成する。以上で本発明になる都市景観の３次元動画生成アミューズメントシステムの路上３次元動画生成に関する説明を終了する。

図７３に車載用のディジタルカメラ集合体973のもうひとつの構成例を示す。本発明の都市景観の３次元動画生成では、都市の道路構造のため撮像目標とディジタルカメラ集合体の距離が短くなり、隣接する原画像間で視差が大きくなる傾向がある。その結果、生成した動画の滑らかさが劣化することがある。この問題を解決するために進行方向976に対する側方のディジタルカメラの角度ピッチを半分にし、なおかつ全体に広角レンズを採用することにより、より３次元動画生成に適した原画像を収集することができる。

次に、都市景観の３次元動画生成アミューズメントシステムのグラフィックユーザインターフェイスシステム180に関する説明を図７７を用いて行う。図７７は該グラフィックユーザインターフェイスシステム180の全体構造を示している。図７７と図７８の処理フローと図７９、８０、８１のモニタ表示と入力機能によりグラフィックユーザインターフェイスシステム180が構成される。本発明になる都市景観の３次元動画生成アミューズメントシステムでは空中模擬飛行と路上歩行を自由に切り替えられることが特徴であり、処理ブロック974で空中から地上または地上から空中に切り替えられたか判定する。空中から地上への着地が選択された場合には処理ブロック975で着地点と着地後の進行方向を読み取る。図７９の空中３次元動画用グラフィックユーザインターフェイスで着地ボタン996を短く押した場合には進行方向の斜め下４５度など指定した斜め角の地上に着地し、長く押した場合には押した時間に応じて直下地点に近づくという方法もある。S地上での視線方向は飛行中の向きを維持するのが常識的である。前回から路上模擬で変化がない場合とあわせて処理ブロック974に行き、地上用グラフィックユーザインターフェイスである図８０で進行方向、速度指示を画面より読み込み、位置と速度ベクトルを更新して路上３次元動画生成システム170へ伝える。処理ブロック974で路上３次元動画生成から空中３次元動画生成に切り替わったと判定された場合は処理ブロック977にいく。地上から空中に切り替わるのは図８０でジャンピングボタン984を押された場合であり、押される時間の長さにより、時間が短い場合は進行方向斜め後方一定角度、たとえば４５°の一定高度、たとえば１００ｍ上空とし、押される時間が長いほど前方上空にするなどの方法がある。

次に、前回から空中３次元動画生成であった場合とあわせて処理ブロック978の空中グラフィックユーザインタフェースシステムに行く。この内容は図７８にさらに記されている。処理ブロック979では図７９の空中グラフィックユーザインターフェイスより、進行方向、スロット、昇降指示を画面より読み込み、位置と速度ベクトルを更新する。空中３次元動画生成ではコックピット表示を３次元映像表示990に行うだけでなく、機能ボタン1001による選択によりカメラ表示に切り替えることができる。これは空中３次元動画生成システム160が始点位置のトラジェクトリと視線ベクトルのトラジェクトリを自由に取れることに対応している。処理ブロック980でコックピット表示が選択された場合には処理ブロック983に進み、視線ベクトルを進行方向に設定、視野角は規定値に設定し、空中３次元動画生成システム160に情報を伝達する。処理ブロック980でカメラが選択されたと判定された場合は、処理ブロック981で図７９の空中グラフィックユーザインターフェイスよりカメラ方向、ティルト角、ズーム設定値を取り込み、処理ブロック982で視点、視線、およびズームによる視野角を計算して空中３次元動画生成システム160に情報を伝達する。

以下、図７９、８０、８１について今までに説明していない部分を説明する。図７９の方位インジケータ991は飛行方向を示し、高度インジケータは飛行高度を示す。地図表示988は現在の飛行位置を地図で表示する。この機能はGISとして公然実施されている。図７９は路上３次元動画生成の映像表示であり人間目線で市街を表示する。機能ボタン1001は後日に備えて機能追加を可能とするほか、地図表示983を中央の道路の上に配置してガイド機能がよくなるように工夫している。コメント表示ウィンドウ1000は地域に依存した広告などの表示が可能である。図８１は路上3次元動画生成の進行方向と視線指定の別の方法であり、画面を領域に分割しておき、マウスやジョイスティックなどによるカーソルの画面上の位置で操作入力の意味を変えるもので、前後進998の場所を指定された場合は矢印の方向に前進ないし後退し、左折右折997の場所を指定された場合は矢印の方向に左折ないし右折進行し、左右視線変更999の場所を指定された場合は矢印の方向に視線を左向きないし右向きに変更する。

なお、視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定するには、上述のように画面を表示しておき、マウスやジョイスティックなどの入力装置を操作してインターラクティブに行なうことができる。また、あらかじめマウスやジョイスティックなどの入力装置により、視点経路を指定しながら、あるいは視線経路を指定した後に、視点経路上の位置において視点方向を指定してもよい。以上の場合には、入力装置や入力装置のデバイスドライバなどが経路視点指定装置の一例となる。あるいは、視点方向を先に指定して、視点経路を指定してもよい。あるいは視点経路上の位置、その位置における視線方向を算出するプログラムを用いることができる。この場合には、プログラムを実行する処理装置が経路視点指定装置の一例となる。

また、飛翔体としては、航空機に限らずヘリコプタや模型飛行機などを用いることができる。

本発明の航空写真撮像システムは、航空機に搭載されるカメラの制御装置及び撮像データ処理装置として産業上利用することができる。さらに本発明の３次元動画生成および閲覧システムは、都市空間の景観模擬、動画による案内、状況把握および監視、広告、商業活動、およびアミューズメントのインフラとして広範囲な分野で産業上利用できるほか、事前に特定対象物を限定せず一定の領域を高密度に撮影しておき、画像表示時に特定対象についてさまざまな視点と方向から観察できる特徴を生かして防災、治安維持の目的に使用することができる。

100 空中画像取得システム
101 空中画像取得計画ファイル
102 空中画像一次ファイル
110 路上画像取得システム
111 路上画像取得計画ファイル
112 路上画像一次ファイル
120 空中画像データベース生成登録システム
121 ＤＥＭファイル
122 ＤＧＰＳファイル
130 路上画像データベース生成登録システム
140 空中画像データベース
142 空中画像インデクス機構
143 空中画像データベース
150 路上画像データベース
151 道路グラフデータベース
152 路上画像インデクス機構
153 路上画像データベース
160 空中３次元映像生成システム
165 空中画像検索エンジン
170 路上３次元映像生成システム
175 路上画像検索エンジン
180 グラフィックユーザインターフェイスシステム
190 インターネット
191 ユーザ

Claims (12)

1. 撮影装置により、複数の撮影位置それぞれにおいて複数の方向への、複数のサブ領域に分割される撮影領域の撮影を行い複数の画像情報を取得してメモリに記憶し、
   前記複数の画像情報それぞれを前記メモリに記憶する際に、前記画像情報が取得された時の撮影位置情報と撮影方向情報と画角情報とを前記画像情報に関連付けて前記メモリに記憶し、
   前記メモリに記憶された前記画像情報に関連付けられた撮影位置情報と撮影方向情報と画角情報とを参照して前記画像情報が取得されたときに撮影されたサブ領域を特定し、
   前記特定されたサブ領域に、前記画像情報と、前記撮影位置情報と、前記撮影方向情報と、前記画角情報とを関連付けてデータベースに記憶し、
   前記撮影領域上に設定される視点経路上において順番に配置される複数の位置と前記複数の位置それぞれにおける視線の前記撮影領域へ向かう方向とを指定し、
   前記サブ領域に関連付けられ前記データベースに記憶されている撮影方向情報と画角情報とを参照し、前記視点経路上の前記複数の位置それぞれにおける前記視線の前記方向に位置する前記サブ領域を含む画像情報を検索して前記順番にて読出し、
   前記視点経路上の前記複数の位置における視線方向と視野情報に対応して前記順番にて読出された前記画像情報を出力することを含む画像情報出力方法。
2. 請求項１の画像情報出力方法の撮影装置により予め撮影された地表の画像情報と画像情報に関連付けて記憶した情報に対して、地表の位置を指定することにより、指定された地表の位置に対して異なる視線方向からの画像情報を、指定された画像倍率で縮小または拡大または撮影時の倍率で表示することができる画像情報出力装置。
3. 請求項１の画像情報出力方法の撮影装置により予め撮影された地表の画像情報と画像情報に関連付けて記憶した情報に対して、撮影された地表の上空の視点位置を指定することにより、指定された視点位置からの異なる方向の画像情報を、指定された画像倍率で縮小または拡大または撮影時の倍率で表示することができる画像情報出力装置。
4. 請求項２において指定された地表の位置あるいはまた指定された上空の視点位置をモニタ画面を含む表示装置でカーソルあるいはキーパッドを含む位置指示装置により任意に変更でき、あるいはまた、指定された地表の位置に対する異なる視線方向あるいは指定された上空の視点位置に対する視線方向をモニタ画面を含む表示装置でカーソルあるいはキーパッドを含む位置指示装置により任意に変更できることを特徴とする画像情報出力装置。
5. 請求項２および請求項４において、複数の異なる時点において前記撮影装置により撮影された地表の画像に対して、前記画像情報表示装置の複数の表示画面に対して、同一の地表の位置と同一の視線方向と同一の画像倍率で表示することができる画像情報出力装置。
6. 請求項３および請求項４において、複数の異なる時点において前記撮影装置により撮影された地表の画像に対して、前記画像情報表示装置の複数の表示画面に対して、同一の視点位置と同一の視線方向と同一の画像倍率で表示することができる画像情報出力装置。
7. 請求項１の画像情報出力方法の撮影装置により予め撮影された地表の画角情報と画像情報に関連付けて記憶した情報に対して、撮影された地表の上空の位置と撮影された地表の位置を指定することにより、指定された地表の上空の位置を出発点として、指定された地表の位置を到達点とする進行経路に沿う前方画像を生成する画像情報出力装置。
8. 請求項１の画像情報出力方法の撮影装置により予め撮影された地表の上空の位置を指定することにより、指定された視点位置からの異なる方向の画像情報を、指定された画像倍率で縮小または拡大または撮影時の倍率で表示することができる画像情報出力装置。
9. 請求項８の画像情報表示装置において進行経路の方向および視線方向およびの画像倍率のすべてまたは一部をモニタ画面を含む表示装置でカーソルあるいはキーパッドを含む位置支持装置により任意に変更できることを特徴とする画像情報出力装置。
10. 請求項１の画像情報出力方法の装置において、モニタ画面を含む表示装置上に表示される視点移動経路指定用地図を参照し、モニタ画面を含む表示装置上でカーソルあるいはキーパッドを含む位置指示装置により視点移動経路を任意に変更でき、請求項１の画像情報出力方法の画像情報出力装置で生成される視界画像を見ながらカーソルあるいはキーパッドを含む指示入力装置を操作して移動経路方位および高度および移動速度を操作して前方視界をモニタ上または専用の模擬装置に表示することを特徴とする画像情報出力装置。
11. 請求項１０の画像情報出力方法の装置において、モニタ画面を含む表示装置上に視点位置からの任意の視線方向と画角情報と任意の画像倍率の視界画像を切り替え表示する機構を有し、視線方向と画角情報と画像倍率の制御を行えることを特徴とする画像情報出力装置。
12. 請求項１０およびの請求項１１の画像情報出力方法の装置において、
    視点位置の高度が一定値より下がった場合、地表上に視点を移行するランディング地点を視界前方斜め下に指定して該ランディング地点の路上地点に視点位置を移行し、以降、該路上での視界画像出力に切替え移行する。また、路上で視界画像出力中に離陸アイコンをクリックすると該アイコンの選択に応じて該離陸路上点の直上または該離陸路上点を下方に見る一定高度の上空に視点位置を移行して空中における視界画像出力に切替えること特徴とする画像情報出力装置。