JP2005251035A

JP2005251035A - ３次元モデル作成装置、３次元モデル作成方法および３次元モデル作成プログラム

Info

Publication number: JP2005251035A
Application number: JP2004063163A
Authority: JP
Inventors: Hisao Furukawa; 久雄古川
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2004-03-05
Filing date: 2004-03-05
Publication date: 2005-09-15
Anticipated expiration: 2024-03-05
Also published as: JP4099776B2

Abstract

【課題】
壁面画像の撮影や切り出しの作業を必要とすることなく、航空写真のみから建物壁面の情報を反映した都市モデルを自動的に生成することができるシステムを提供する。
【解決手段】
連続撮影された複数の画像を電子データ化した画像データを格納する画像データ格納部と、前記画像の隣り合う画像データは、同一の被写体の画像を含むものを使用する。そして、前記画像データから、前記被写体の奥行き方向を構成する面に対応する側面データを抽出して出力する側面データ出力部と、前記側面データを使用してテクスチャを生成し、前記テクスチャを前記画像データに基づいて生成された３次元ポリゴンデータに添付するテクスチャ生成部とを具備する３次元モデル作成装置によって、３次元立体画像を生成し、カーナビゲーションの画面などに利用する。
【選択図】図２

Description

本発明は、３次元モデル作成装置、３次元モデル作成方法および３次元モデル作成プログラムに関し、特に航空写真を用いてステレオ処理を行うことで建物の３次元ポリゴンを作成するシステム、方法およびプログラムに関する。

航空写真から生成された画像データをステレオ処理することにより、建物の高さを算出し、都市の３次元ポリゴンモデルを自動的に生成する技術が知られている（例えば、特許文献１参照。）。図１は、上記特許文献１に記載された、従来の都市モデル生成システムの構成を示すブロック図である。図１を参照すると、従来の都市モデル生成システムは、衛星画像データを蓄積する衛星画像蓄積部１０１と、その衛星画像蓄積部１０１から得られる衛星画像データに対してステレオマッチング処理を行い、３次元データを生成するステレオ処理部１０２と、ステレオ処理部１０２によって得られた３次元データ中の雑音や欠損等の誤ったデータを、地図データから得られる建造物等の外形情報を用いて自動的に補正するＤＥＭデータ自動補正部１０３と、そのＤＥＭデータ自動補正部１０３に対して建造物の外形などの地図データを提供する地図データ蓄積部１０４とで構成されている。

この都市モデル生成システムは、衛星画像蓄積部１０１には衛星から地上の同地点を異なった視点から撮影した複数枚の画像、つまり衛星ステレオ画像が蓄積され、それらの衛星ステレオ画像はステレオ処理部１０２に与えられる。ステレオ処理部１０２は得られた衛星ステレオ画像に対し、ステレオマッチング処理を自動的に行い、撮影された地点周辺の地形を示す３次元データを生成する。これは具体的には、２次元の地図上の各点に対応する高さの値で示されるものである。

ここで、ステレオマッチング処理とは、異なる視点から撮影した２枚の画像について、同一の点を撮像している各画像中の対応点を求め、その視差を用いて三角測量の原理によって対象までの奥行きや形状を求めることである。一般的には特徴量を求めて対応付ける方法や、左右画像の相関を用いる相関法等の様々な手法が提案されている。

ＤＥＭデータ自動補正部１０３は、ステレオマッチング処理にて得られた３次元データに対して、地図データ蓄積部１０４に記憶されかつ３次元データに対応する領域に含まれる建造物の外形情報を主とする地図データを用いて、３次元データ中の誤ったデータを自動的に補正する。ＤＥＭデータ自動補正部１０３において、位置合わせ手段３１は３次元データと地図データとを、同じ座標を示す点が一致するよう重ね合わせる。３次元データ及びその元となる衛星画像で採用されている測地系と、地図データで用いられる測地系とが異なる場合、同一点の経緯度の値が異なってしまうため、同等のものとなるように変換し、経緯度が一致する所定の点の情報を用いて変換パラメータを求め、アフィン変換等の変換をどちらかに適用し、３次元データと地図データとにおける同一点が一致するように重ね合わせる。その重ね合わせた地図データ中の各建造物領域毎に、内部に含まれる３次元データを建物候補領域として設定する。さらに、その設定された各建物候補領域に対し、その領域内に含まれる３次元データの値についてヒストグラムを得る等の統計的な解析を行う。

各領域について、高い頻度を示す値をいくつか選択し、それら選択した点の値を、領域内の３次元データのうち、それら選択した点の近傍の３次元データにおいて最も頻度の高い値に置き換えて３次元データの修正を行う。すなわち、各領域のヒストグラムから頻度の高いいくつかの値をその領域の代表値として選択し、領域内の各画素のうち、代表値から所定の閾値の範囲のＤＥＭデータの値を持つものについて、代表値に対応するラベルを付加する。

その後に、代表値に関連付けられることなく残った各画素について、近傍の画素に付加されたラベルの分布を調べ、頻度の高いラベルを当該画素のラベルとして選択する。建造物領域中の全ての画素についてラベルが決定されると、各画素の値をラベルに設定されている代表値で置換する。上記のように、ステレオ処理部１０２及びＤＥＭデータ自動補正部１０３によって全てコンピュータ上で自動的に３次元データが得られるため、オペレータの操作を必要としない。従来の技術で生成された３次元の建物ポリゴンは、実景観との乖離が大きく、作成された３次元の建物ポリゴンを可視化応用に用いるためには、建物壁面の画像を入手して、その３次元の建物ポリゴンに貼り付ける作業が必要である。

作成された３次元の建物ポリゴンを可視化応用に用いるために、建物壁面の画像データを自動的に生成する技術が望まれる。

特開２００２−１５７５７６号公報

本発明が解決しようとする課題は、壁面画像の撮影や切り出しの作業を必要とすることなく、航空写真のみから建物壁面の情報を反映した都市モデルを自動的に生成することができるシステムを提供することにある。

以下に、［発明を実施するための最良の形態］で使用される番号を用いて、課題を解決するための手段を説明する。これらの番号は、［特許請求の範囲］の記載と［発明を実施するための最良の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。

連続撮影された複数の画像を電子データ化した画像データ（１ａ）を格納する画像データ格納部（１）と、ここで、前記画像の隣り合う画像データ（１ａ）は、同一の被写体の画像を含むものを使用する。そして、前記画像データ（１ａ）から、前記被写体の奥行き方向を構成する面に対応する部分の画像データである側面データ（７ａ）を抽出して出力する側面データ出力部と、前記側面データ（７ａ）を使用してテクスチャを生成し、前記テクスチャを前記画像データ（１ａ）に基づいて生成された３次元ポリゴンデータに添付するテクスチャ生成部とを具備する３次元モデル作成装置によって、人間の視覚がとらえる映像に対応する３次元立体画像を生成する。

その３次元モデル作成装置において、前記側面データ出力部は、ステレオ処理部（２）とオルソ化処理部（３１）とを含み、前記ステレオ処理部（２）は、前記被写体の奥行き情報を算出する。そして、前記オルソ化処理部（３１）は、前記画像データ（１ａ）と前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成し、前記画像データ（１ａ）の前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データ（７ａ）を生成する。また、前記テクスチャ生成部は、ラベル画像生成部（８）と、側面情報作成部（１０）と、壁面テクスチャ生成部（１２）とを含み、前記ラベル画像生成部（８）は、前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータ（６ａ）に基づいて基準画像データを生成し、前記基準画像データにおいて前記３次元ポリゴンデータ（６ａ）の側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像（９ａ）を生成する。前記側面情報作成部（１０）は、前記側面データ（７ａ）と前記ラベル画像（９ａ）とに基づいて、前記テクスチャの生成に使用される側面情報（１１ａ）を生成する。そして、前記壁面テクスチャ生成部（１２）は、前記側面情報（１１ａ）に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータ（６ａ）の側面に添付する３次元モデル作成装置によって、３次元立体画像を生成し、その３次元立体画像をカーナビゲーションの画面などに利用する。

その３次元モデル作成装置において、前記側面データ出力部は、ステレオ処理部（２）とオルソ化処理部（３１）とを含み、前記ステレオ処理部（２）は、前記被写体の奥行き情報を算出する。そして、前記オルソ化処理部（３１）は、前記画像データ（１ａ）と前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成し、前記画像データ（１ａ）の前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データ（７ａ）を生成する。また、前記テクスチャ生成部は、ラベル画像生成部（８）と、側面情報作成部（１０）と、壁面テクスチャ生成部（１２）とを含み、前記ラベル画像生成部（８）は、前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータ（６ａ）に基づいて基準画像データを生成し、前記基準画像データにおいて前記３次元ポリゴンデータ（６ａ）の側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像（９ａ）を生成する。前記側面情報作成部（１０）は、前記ラベル画像（９ａ）に基づいて、前記テクスチャの生成に使用される側面情報（１１ａ）を生成する。前記壁面テクスチャ生成部（１２）は、前記側面情報（１１ａ）に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータ（６ａ）の側面に添付する３次元モデル作成装置によって、３次元立体画像を生成し、その３次元立体画像をカーナビゲーションの画面などに利用する。

その３次元モデル作成装置において、前記テクスチャ生成部はさらに、標準側面画像格納部（１３）を備え、前記標準側面画像格納部（１３）は、複数の側面画像データ（１３ａ）を予め格納する。前記側面情報作成部（１０）は、前記複数の側面画像データ（１３ａ）から、前記側面情報（１１ａ）に最も類似するデータを最類似データとして選択し、前記テクスチャは、前記最類似データに基づいて生成されるものを使用する３次元モデル作成装置によって、３次元立体画像を生成し、その３次元立体画像をカーナビゲーションの画面などに利用する。

その３次元モデル作成装置において、前記ステレオ処理部（２）は、隣接する画像データ（１ａ）の各々を第１画像と第２画像とに特定し、前記第１画像と前記第２画像とをステレオマッチング処理することで前記奥行き情報を算出する。そして、前記オルソ化処理部（３１）は、前記第１画像に対応する第１側面データ（７ａ）と、前記第２画像に対応する第２側面データ（７ａ）を生成する。さらに、前記ラベル画像生成部（８）は、前記第１画像に対応する第１ラベル画像と、前記第２画像に対応する第２ラベル画像とを生成する。前記側面情報作成部（１０）は、前記第１側面データ（７ａ）と前記第１ラベル画像とに基づいて、第１側面情報を作成し、前記第２側面データ（７ａ）と前記第２ラベル画像とに基づいて、第２側面情報を作成し、前記第１側面情報と前記第２側面情報とを比較して、前記側面情報を作成する３次元モデル作成装置によって、３次元立体画像を生成し、その３次元立体画像をカーナビゲーションの画面などに利用する。

連続撮影された複数の画像を電子データ化した画像データ（１ａ）から、同一の被写体の画像を含む隣り合う画像データ（１ａ）を読み出すステップと、前記被写体の奥行き方向を構成する面に対応する側面データ（７ａ）を抽出して出力するステップと、前記側面データ（７ａ）を使用してテクスチャを生成するステップと、前記テクスチャを前記画像データ（１ａ）に基づいて生成された３次元ポリゴンデータ（６ａ）に添付するステップを具備する方法をコンピュータで実行可能なプログラムによって、上述の３次元立体画像を生成する。

そのプログラムにおいて、前記被写体の奥行き情報を算出するステップと、前記画像データ（１ａ）と前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成するステップと、前記画像データ（１ａ）の前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データ（７ａ）を生成するステップと、前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータ（６ａ）に基づいて基準画像データを生成するステップと、前記基準画像データにおいて前記３次元ポリゴンデータ（６ａ）の側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像（９ａ）を生成するステップと、前記側面データ（７ａ）と前記ラベル画像（９ａ）とに基づいて、前記テクスチャの生成に使用される側面情報（１１ａ）を生成するステップと、前記側面情報（１１ａ）に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータ（６ａ）の側面に添付するステップを具備する方法をコンピュータで実行可能なプログラムによって、３次元立体画像を生成する。

そのプログラムにおいて、前記被写体の奥行き情報を算出するステップと、前記画像データ（１ａ）と前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成するステップと、前記画像データ（１ａ）の前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データ（７ａ）を生成するステップと、前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータ（６ａ）に基づいて基準画像データを生成するステップと、前記基準画像データにおいて前記３次元ポリゴンデータ（６ａ）の側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像（９ａ）を生成するステップと、前記ラベル画像（９ａ）に基づいて、前記テクスチャの生成に使用される側面情報（１１ａ）を生成するステップと、前記壁面テクスチャ生成部（１２）は、前記側面情報（１１ａ）に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータ（６ａ）の側面に添付するステップを具備する方法をコンピュータで実行可能なプログラムによって、３次元立体画像を生成する。

そのプログラムにおいて、予め格納された複数の側面画像データ（１３ａ）から、前記側面情報（１１ａ）に最も類似するデータを最類似データとして選択するステップと、前記最類似データに基づいて生成するステップを具備する方法をコンピュータで実行可能なプログラムによって、３次元立体画像を生成する。

そのプログラムにおいて、隣接する画像データ（１ａ）の各々を第１画像と第２画像とに特定し、前記第１画像と前記第２画像とをステレオマッチング処理することで前記奥行き情報を算出するステップと、前記第１画像に対応する第１側面データ（７ａ）と、前記第２画像に対応する第２側面データ（７ａ）を生成するステップと、前記第１画像に対応する第１ラベル画像と、前記第２画像に対応する第２ラベル画像とを生成するステップと、前記第１側面データ（７ａ）と前記第１ラベル画像とに基づいて、第１側面情報を作成し、前記第２側面データ（７ａ）と前記第２ラベル画像とに基づいて、第２側面情報を作成し、前記第１側面情報と前記第２側面情報とを比較して、前記側面情報を作成するステップを具備する方法をコンピュータで実行可能なプログラムによって、３次元立体画像を生成する。

連続撮影された複数の画像を電子データ化した画像データ（１ａ）から、同一の被写体の画像を含む隣り合う画像データ（１ａ）を読み出すステップと、前記被写体の奥行き方向を構成する面に対応する側面データ（７ａ）を抽出して出力するステップと、前記側面データ（７ａ）を使用してテクスチャを生成するステップと、前記テクスチャを前記画像データ（１ａ）に基づいて生成された３次元ポリゴンデータ（６ａ）に添付するステップを具備する３次元モデル作成方法によって、３次元立体画像を生成する。

その３次元モデル作成方法において、前記被写体の奥行き情報を算出するステップと、前記画像データ（１ａ）と前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成するステップと、前記画像データ（１ａ）の前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データ（７ａ）を生成するステップと、前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータ（６ａ）に基づいて基準画像データを生成するステップと、前記基準画像データにおいて前記３次元ポリゴンデータ（６ａ）の側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像（９ａ）を生成するステップと、前記側面データ（７ａ）と前記ラベル画像（９ａ）とに基づいて、前記テクスチャの生成に使用される側面情報（１１ａ）を生成するステップと、前記側面情報（１１ａ）に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータ（６ａ）の側面に添付するステップを具備する３次元モデル作成方法によって、３次元立体画像を生成する。

その３次元モデル作成方法において、前記被写体の奥行き情報を算出するステップと、前記画像データ（１ａ）と前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成するステップと、前記画像データ（１ａ）の前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データ（７ａ）を生成するステップと、前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータ（６ａ）に基づいて基準画像データを生成するステップと、前記基準画像データにおいて前記３次元ポリゴンデータ（６ａ）の側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像（９ａ）を生成するステップと、前記ラベル画像（９ａ）に基づいて、前記テクスチャの生成に使用される側面情報（１１ａ）を生成するステップと、前記壁面テクスチャ生成部（１２）は、前記側面情報（１１ａ）に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータ（６ａ）の側面に添付するステップを具備する３次元モデル作成方法によって、３次元立体画像を生成する。

その３次元モデル作成方法において、予め格納された複数の側面画像データ（１３ａ）から、前記側面情報（１１ａ）に最も類似するデータを最類似データとして選択するステップと、前記最類似データに基づいて生成するステップを具備する３次元モデル作成方法によって、３次元立体画像を生成する。

その３次元モデル作成方法において、隣接する画像データ（１ａ）の各々を第１画像と第２画像とに特定し、前記第１画像と前記第２画像とをステレオマッチング処理することで前記奥行き情報を算出するステップと、前記第１画像に対応する第１側面データ（７ａ）と、前記第２画像に対応する第２側面データ（７ａ）を生成するステップと、前記第１画像に対応する第１ラベル画像と、前記第２画像に対応する第２ラベル画像とを生成するステップと、前記第１側面データ（７ａ）と前記第１ラベル画像とに基づいて、第１側面情報を作成し、前記第２側面データ（７ａ）と前記第２ラベル画像とに基づいて、第２側面情報を作成し、前記第１側面情報と前記第２側面情報とを比較して、前記側面情報を作成するステップを具備する３次元モデル作成方法によって、３次元立体画像を生成する。

その３次元モデル作成装置、プログラムおよび３次元モデル作成方法において、前記連続撮影された複数の画像は、空を飛ぶ飛翔体、特に固定翼または回転翼を備えた航空機に搭載された撮像装置で撮影されたものを使用する。また、前記被写体は、その撮像器で撮影された地上の構造体であり、前記奥行き情報は、その構造体の高さを示す情報である。さらに、前記側面データ（７ａ）は、前記構造体の壁面の状態、特に色や質感などを示すデータである３次元モデル作成装置、プログラムおよび３次元モデル作成方法によって、３次元立体画像を生成し、その３次元立体画像をカーナビゲーションの画面などに利用する。

その３次元モデル作成装置、プログラムおよび３次元モデル作成方法において、前記被写体の奥行き方向を構成する面は、前記画像を撮影する光軸方向に平行な面である３次元モデル作成装置、プログラムおよび３次元モデル作成方法によって、３次元立体画像を生成し、その３次元立体画像をカーナビゲーションの画面などに利用する。

本発明によると、壁面画像の撮影や切り出しの作業を必要とすることなく、航空写真のみから建物壁面の情報を反映した都市モデルを自動的に生成することができる。

次に、発明を実施するための最良の形態について図面を参照して詳細に説明する。
［第１の実施の形態の構成］
本発明は、２次元画像として、都市を上空から撮影した航空写真を用いた例で説明する。
図２を参照すると、本発明の第１の実施の形態は、航空写真データ格納部１と、ステレオ処理部２と、オルソ化処理部３１と、ポリゴン作成部４と、地図データ格納部５と、３次元ポリゴンデータ格納部６と、壁面候補画像格納部７と、ラベル画像生成部８と、ラベル画像格納部９と、壁面領域情報抽出部１０と、建物壁面属性格納部１１と、壁面テクスチャ生成部１２とから構成されている。

航空写真データ格納部１は、情報記憶機能ブロックである。オーバラップを設けて連続撮影された複数の航空写真を格納する。格納される航空写真は、各々が画像データ化された航空写真データ１ａとして格納される。以下の説明では航空写真データ格納部１に格納される航空写真データ１ａは航空機に搭載された撮影装置によって撮影された航空写真から生成された画像データである場合を例に述べるが、これは本発明の写真を撮影する撮影装置、およびそれを搭載する物体を特定するものではない。

ステレオ処理部２は、航空写真データ格納部１に格納された航空写真データ１ａを読み込み、重複領域のステレオマッチングを行って画素単位のＤＥＭ（Digital Elevation Model：高さ情報画像）を生成する情報処理機能ブロックである。ステレオマッチング処理とは、異なる視点から撮影した２枚の画像について、同一の画像を撮像している各画像中の対応点を求め、その視差を用いて三角測量の原理によって、対象までの奥行きや形状を求める処理である。使用されるステレオマッチング処理を行うための手法には、一般的な特徴量を求めて対応付けるものや、左右画像の相関を求めるものなど、様々なものが存在するが、本実施の形態におけるステレオマッチング処理に使用される手法に制限は無い。

オルソ化処理部３１は、そのステレオ処理部２により生成されたＤＥＭを元に、航空写真データに対してオルソ化処理を実行する情報処理機能ブロックである。ステレオ処理部２により算出されたＤＥＭは、元の航空写真データと共にオルソ化処理部３１に与えられる。オルソ化処理部３１は、ＤＥＭにより各画素の３次元位置が求められるので、これを地面に対して正射影となるよう画素単位に再配置する変換を実行して、ＤＥＭおよび航空写真の双方について、航空写真データを画像中の全ての点で鉛直上方から見たように再投影した新たな画像データを生成する。以下、この変換をオルソ化と呼び、オルソ化処理後のＤＥＭをオルソ化ＤＥＭ、オルソ化処理後の航空写真データをオルソ画像と呼ぶ。

また、オルソ化処理部３１は、そのオルソ画像を生成すると共に、オルソ画像において利用されなかった元画像中の領域を壁面候補領域として示す壁面候補データ７ａを生成する。ここでいう壁面候補領域とは、オルソ化を行う際に求めた元画像とオルソ画像間との対応関係において、重複するため利用されない元画像の領域のことである。

壁面候補画像格納部７は、そのオルソ化処理部３１により作成された壁面候補データ７ａを記憶する情報記憶機能ブロックである。地図データ格納部５は地図データ５ａを格納する情報記憶機能ブロックである。ポリゴン作成部４は、そのステレオ処理部２により作成されたＤＥＭと、建物の形状を平面ポリゴンで表している地図データ５ａとを重ね合わせ、各建物領域内部のＤＥＭデータの高さを統計処理してポリゴンの高さとすることにより、建物の３次元ポリゴンデータ６ａを生成する。３次元ポリゴンデータ格納部６は３次元ポリゴンデータ６ａを格納する情報記憶機能ブロックである。

ラベル画像生成部８は、３次元ポリゴンデータ６ａに対応するラベル画像データ９ａを作成する情報処理機能ブロックである。ラベル画像生成部８は、ポリゴン作成部４により作成された建物の３次元ポリゴンデータ６ａと、図示しない地形情報を用いて、航空写真に合致する視点で都市モデル画像を描画し、各建物ポリゴンモデルの壁面領域に個別のラベルを記入したラベル画像データ９ａを作成し、ラベル画像格納部９に出力する。ラベル画像格納部９はラベル画像生成部８から出力されたラベル画像データ９ａを格納する情報記憶機能ブロックである。

壁面領域情報抽出部１０は、その壁面候補画像格納部７に記憶された壁面候補データ７ａと、そのラベル画像生成部８により作成されたラベル画像データ９ａを重畳して、建物毎の壁面領域を確定し、各建物壁面のテクスチャ画像、または代表色などの壁面属性を抽出する情報処理機能ブロックである。壁面領域情報抽出部１０はその抽出した壁面属性を壁面属性データ１１ａとして建物壁面属性格納部１１に出力する。ここでいう属性とは、テクスチャ画像、あるいは領域代表色のことである。建物壁面属性格納部１１は、その壁面領域情報抽出部１０により得られる各建物の代表色、またはテクスチャ画像などの壁面属性である壁面属性データ１１ａを記憶する情報記憶機能ブロックである。

壁面テクスチャ生成部１２は、建物壁面属性格納部１１に含まれる建物壁面属性情報を参照して、そのポリゴン作成部４により作成された３次元ポリゴンデータ６ａを加工する情報処理機能ブロックである。具体的には、対応する建物のモデルに対して壁面テクスチャを添付する、あるいは着色するなどの操作を行う。

［第１の実施の形態の動作］
次に、図３のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
ステップＳ１０１において、航空写真データ格納部１に格納される複数の航空写真データ１ａから、オーバーラップを設けて撮影された対応する２つの航空写真データ１ａがステレオ処理部２に与えられる。ステレオ処理部２は、取得した対応点を元に、撮影位置・方向などの幾何を算出する標定計算を経て、２枚の画像中のすべての対応点が同一走査線上に来るよう変換（平行化）され、ＤＰマッチングにより対応計算を行い、画素単位のＤＥＭを算出する。

ステップＳ１０２において、ステレオ処理部２により算出されたＤＥＭは、元の航空写真データ１ａと共にオルソ化処理部３１に与えられる。ＤＥＭにより各画素の３次元位置が求められるので、これを地面に対して正射影となるよう画素単位に再配置する変換を、ＤＥＭおよび航空写真の双方について行う。このオルソ化処理と併せて、オルソ画像において利用されなかった元画像中の領域を壁面候補領域として抽出し、これを示す画像として壁面候補データ７ａを生成する壁面候補画像作成処理を行う（ステップＳ１０３）。

ＤＥＭが正しく得られている状況でオルソ化を行うと、地面に鉛直な側面を持つ建物については、屋上面が底面と重なる位置に移動し、側面が画像中では見えなくなるように変換される。側面を構成する画素は、建物屋上面の辺上に集中して移動するため、オルソ画像中においては不要なものとなる。このような画素に有意な画素値として例えば１を与え、他の画素に異なる画素値として例えば０を与えて作成した２値画像を生成し、これを壁面候補データ７ａとする。生成された壁面候補データ７ａは、壁面候補画像格納部７に記憶される。

ステップＳ１０４において、そのステレオ処理部２により作成されたＤＥＭと、建物の形状を平面ポリゴンで表している地図データ５ａを用いて、建物の３次元ポリゴンデータ６ａを生成する処理が行われる。具体的には、ＤＥＭ上に各建物形状を示す平面ポリゴンを重畳し、各建物領域内部のＤＥＭデータから最頻値をとるなどの統計処理を行って各建物の高さとする。この高さを反映させ、平面形状は地図のポリゴンを流用することにより、多角柱として各建物の３次元ポリゴンを生成する。

ステップＳ１０５において、生成された３次元の建物ポリゴンと、別途用意した周辺地域の地形を示す地形ポリゴンを用いて、航空写真の撮影視点と同視点で各ポリゴンを描画した画像を生成し、各建物ポリゴンの壁面が描画される位置の画素について、個別のラベル値を書き込んだ画像を生成するラベル画像生成処理を行う。この際に用いる地形モデルデータは、建物周辺の形状を示す３次元ポリゴンであり、たとえば国土地理院発行の数値地図５０ｍメッシュ標高などをもとにポリゴン化したものや、レーザプロファイラによる計測データから作成されたものなどを用いることができる。また、航空写真の撮影視点位置情報は、ステレオ処理時に行われる標定処理により決定された値を用いる。

ステップＳ１０６において、ステップＳ１０３で作成された壁面候補データ７ａと、ステップＳ１０５で作成されたラベル画像データ９ａを重ね合わせて、各建物の壁面画素領域を決定し、属性情報を抽出する壁面領域情報抽出処理が行われる。具体的には、ラベル画像中で各建物に対応するラベルを持ち、かつ壁面候補データ７ａ中で有意な値を持つ領域を、その建物の壁面画素領域として確定し、その領域からテクスチャ生成に有用な属性を取得する。ここでいう属性とは、テクスチャ画像、あるいは領域代表色のことをさし、領域の面積や色分布に応じていずれかあるいは複数の属性を取得して建物壁面属性格納部１１に記憶する。

ステップＳ１０７において、ステップＳ１０６で作成され、建物壁面属性格納部１１に記憶された壁面属性情報を用いて、３次元ポリゴンデータ６ａ中の対応する建物ポリゴンデータの加工を行い、実景観に近いポリゴンとする壁面テクスチャ生成処理が行われる。具体的な加工方法は、得られている壁面属性データに応じて選択される。たとえばテクスチャが得られている建物については、航空写真に映らない方向の壁面を含め、テクスチャをポリゴンにそのまま添付する。また属性として代表色のみが得られている建物は、直接建物ポリゴンのマテリアルデータを代表色に応じ変更してポリゴンそのものを着色するか、事前に用意した既定の建物壁面画像を代表色で着色したテクスチャを上記と同様に添付してポリゴンを加工する。

これにより、航空写真からステレオ処理して得られる画素単位の密なＤＥＭを用いてオルソ化する際に利用されない画素領域と、ＤＥＭおよび地図データにより生成した３次元都市モデルを用いて航空写真と同視点のラベル画像により、各建物の壁面領域を特定し、その領域から抽出した壁面属性を用いて建物の３次元ポリゴンデータの壁面を加工するように構成されているため、航空写真中の壁面画像の属性を生かした壁面テクスチャあるいは色を持つ建物の３次元ポリゴンデータを自動的に得ることができ、実景観に近い都市モデルを生成できる。

以下に、具体的な例を用いて上記の動作を詳細に説明する。図４は、本実施の形態に用いられる航空写真の撮影方法を示す模式図である。図４を参照すると、対象とする都市領域上空から、航空測量に用いる場合と同様の航空写真を撮影する。この際には図４に示されるように、一定高度を保ち、針路、速力一定で飛行しながら連続して撮影を行い、対象領域を含む撮像範囲が全体の６０％程度重複した航空写真対を得る。これらが銀塩写真として得られる場合には、同一の解像度でスキャンし画像データとする。

得られた航空写真画像対に対して、航空写真の撮影角度を決定する標定処理に必要な対応点の座標を取得する。具体的には、左右の画像における重複領域において、同一の物体が存在する点の組を６組選択してそれぞれの画像における座標値を取得する。これらの座標対はたとえば重複領域の４隅や端など、できるだけ分散して取得するのが望ましい。また、これらの点のうち４組については、たとえば東京測地系で経緯度座標を表示できる地図ソフトウェアを用いるなどして、対応する地点における経緯度値を取得し記憶する。

これらの標定点情報を元に、航空測量と同様の標定計算を行うことにより、標定情報、すなわち航空写真対の撮影視点位置、および撮影視点間のベクトルや、地上座標系に対する撮影軸の方向などの幾何的な数値を求めることが可能である。この標定計算方法については特に制限はない。

得られた撮影位置関係を用いて、航空写真対を任意の対応点対が同一走査線上に位置するよう変換する。この操作は平行化と呼ばれ、視点間のベクトルに平行な共有面を考えて、その面に元の航空写真対を射影変換するなどして適用される。平行化の方法はこれに限定されるものではなく、たとえば画像中の各点についてエピポーラ線を求め、これを画素単位で平行になるよう再配置を行っても良い。

平行化された画像対は、対応探索を同一走査線上の１次元に限定することができるので、走査線単位のステレオマッチングを適用できる。マッチングの際に用いる手法についても制限はないが、たとえばＤＰ（Dynamic Programming：動的計画法）を用いれば、左右の画像の走査線毎に画素単位の対応を画像対の間で求めることができる。このＤＰマッチングにより画素単位で定められた視差を用いて、３次元空間内における各点の位置を算出し、地表面に平行な画像として再配置して画素単位のＤＥＭ（Digital Elevation Model）を生成する。

この画素単位のＤＥＭにより、元の航空写真における各画素の３次元位置を得ることができるので、各画素を地面に対して正射影になるよう再配置を行うことができる。この変換はオルソ化と呼ばれる操作であり、オルソ化処理後の航空写真はオルソ画像と呼ぶ。
航空写真は単一の視点から撮影された中心投影の画像であるため、撮影された建物はカメラ中心から遠ざかるように倒れこんで撮影されており、地図との重ね合わせなどの応用ができない。上記のようなオルソ化処理を画素単位で行うことで、地図と重畳することのできる画像が生成でき、地面や建物屋上のテクスチャを得るなどのコンピュータグラフィックス用途にも利用可能である。

ＤＥＭが正しく得られている状況で、画素単位のオルソ化処理を行う際に、元画像中で地面に鉛直な建物壁面が撮像されている画素は、図５に示すように、建物の輪郭部に重複して写像されるため、ほとんどの画素はオルソ画像で使用されないこととなる。こうしたオルソ化の際に重複のため写像されない画素を壁面候補とみなし、オルソ化時に検出して、壁面候補画素に有意な画素値としてたとえば１を、それ以外の画素にたとえば０を与えるなどして２値画像を作成し記憶する。この元画像に準拠して作成される２値画像を、壁面候補データ７ａと呼ぶ。

また、画素単位で得られたＤＥＭそのものも、地上面に対して正射影に配置されており、地図データとの重ねあわせることができる。このため、建物の形状を平面ポリゴンデータとして持つベクトル地図データと重畳し、各領域内部のＤＥＭ値を用いてそれぞれの建物の高さを得ることが可能である。具体的には、ＤＥＭ上に各建物形状を示す平面ポリゴンを重畳し、各建物領域内部のＤＥＭデータについて、たとえば最頻値を求めるなどの統計処理を行い、各建物の高さとする。この高さを地図データの平面形状を底面とする多角柱の高さとして、各建物の３次元ポリゴンを生成することができる。

この各建物のポリゴンと併せて、周辺地域の地形を示すポリゴンデータを用いることで、都市を３次元ポリゴンで表現したモデルを生成できる。この際に用いる地形モデルデータは、建物周辺の形状を示す３次元ポリゴンであり、たとえば国土地理院発行の数値地図５０ｍメッシュ標高などの地形を表す数値データを元に、座標の得られている点を順次接続して３角形パッチをつくり、地形ポリゴン化したものを用いることができる。上記のＤＥＭと地図データから、都市モデルデータを作成するまでの処理の模式図を図６に示す。
これらの都市モデルデータを元に、航空写真の撮影視点と同視点で各ポリゴンを描画した画像を生成し、各建物ポリゴンの壁面が描画される位置の画素について、建物毎に異なる個別のラベル値を書き込んだ画像を生成する。これをラベル画像と呼ぶ。このときの航空写真の撮影視点位置情報は、ステレオ処理時に行われる標定処理により決定された値を用いる。

このラベル画像と、既に作成済みの壁面候補データ７ａを、図７に示すように重畳し、ラベル画像中で個別の建物に対応付けられた画素を持ち、かつ壁面候補データ７ａで有意な値を持つ画素が存在する領域を、各建物の壁面画素領域として確定する。その領域に対応する元の航空写真の画素について解析を行い、テクスチャ画像や領域代表色などのテクスチャ生成に有用な属性を取得する。解析手段やその選択規則について制限はないが、たとえば所定の画素数以上の壁面画素領域が得られた場合には、壁面領域全体を矩形に変換して適宜補間しテクスチャ画像とし、壁面画素領域が所定の画素数を超えない場合には、領域内画素の画素値分布を調べて平均値を算出し領域代表色とするという構成とすることができる。また、複数の解析手段により複数の画素属性を取得してもよい。こうした方法で得られた各建物の壁面領域情報は、それぞれの建物と対応付けられる形で建物壁面属性格納部１１に記憶される。

最後に、上記の方法で得られた壁面属性情報に従って、作成した建物ポリゴンを加工し、実景観に近いデータとする処理が行われる。具体的な加工方法については、得られている壁面属性データに依存して選択されるが、たとえばテクスチャ画像が得られている建物の場合には、航空写真に映らない方向の壁面を含めて、テクスチャを当該ポリゴンの壁面にそのまま添付する。またテクスチャ画像が得られておらず、代表色のみが得られている建物に対しては、直接建物ポリゴンの材質を示すマテリアルデータを代表色に応じ変更してポリゴンそのものを着色するか、あるいは事前に用意した既定の建物壁面画像を代表色で着色してテクスチャ画像を作成し、建物壁面に添付するなどの方法でポリゴンデータを加工する。これによって航空写真のみから建物壁面の情報を反映した都市モデルを自動的に生成することができる。

［第２の実施の形態の構成］
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。図８は本発明の第２の実施の形態の構成を示すブロック図である。図８を参照すると、第２の実施の形態の構成は、第１の実施の形態と同様の構成に、標準壁面画像格納部１３を追加した構成である。標準壁面画像格納部１３は、高層ビル、オフィスビル、マンション、個別の住宅などに対応する複数の種類の標準壁面テクスチャ画像を、各々の標準壁面テクスチャ画像に対応するＩＤと共に、あらかじめ記憶しておく情報記憶機能ブロックである。

壁面領域情報抽出部１４は、第１の実施の形態の場合と同様に、壁面候補画像格納部７に記憶された壁面候補データ７ａと、ラベル画像データ９ａとを重畳して、建物毎の壁面領域を確定し、各領域の代表色を決定すると共に、各壁面領域と、その標準壁面画像格納部１３に記憶された標準壁面テクスチャ画像とを比較し、各壁面領域にもっとも類似する標準壁面テクスチャ画像を決定する。決定したテクスチャ画像のＩＤは、各領域の代表色と併せて、それぞれの建物の属性として建物壁面属性格納部１１に記憶する。建物壁面属性格納部１１は、その壁面領域情報抽出部１４により得られた各建物の属性情報、すなわち代表色と、最も類似する標準壁面テクスチャ画像のＩＤを記憶する。

壁面テクスチャ生成部１２は、その壁面領域情報抽出部１０により決定された標準壁面テクスチャ画像のＩＤから、標準壁面テクスチャ画像を、同じく壁面領域情報抽出部１４により決定された各領域の代表色により着色して、３次元ポリゴンデータ６ａにおける当該建物の３次元ポリゴン壁面に添付する。その他の本発明の第２の発明を実施するための最良の形態における各機能ブロックは、第１の実施の形態において対応する各機能ブロックと同様の動作をする。

［第２の実施の形態の動作］
次に、図９のフローチャートを参照して第２の実施の形態の動作について詳細に説明する。
ステップＳ２０１からステップＳ２０５までの処理は、第１の実施の形態におけるステップＳ１０１からステップＳ１０５と同様であるため説明を省略する。

ステップＳ２０５に引き続き、壁面候補データ７ａと、ラベル画像データ９ａを重ね合わせて、各建物の壁面画素領域を決定し、属性情報を抽出する壁面領域情報抽出処理が行われる（ステップＳ２０６）。ステップＳ２０６において、壁面領域情報抽出部１４は、全ての建物について領域代表色の属性を必ず抽出する処理を行う。抽出された代表色属性は、建物壁面属性格納部１１に記憶される。

ステップＳ２０７において、そのステップＳ２０６で対応付けられた各建物の壁面画素領域と、標準壁面画像格納部１３にあらかじめ記憶された標準壁面テクスチャ画像群との比較を行い、当該壁面領域に最も類似すると思われる標準壁面テクスチャ画像を決定する標準壁面画像比較処理が行われる。標準壁面画像格納部１３に含まれる標準壁面テクスチャ画像は、高層ビル、数階程度のオフィスビル、マンション、個別の住宅などの種別毎に１つないし複数の画像が存在し、それぞれに一意のＩＤと対応付けられてあらかじめ記憶されている。これらの各画像と、矩形に変換した壁面画素領域を、テクスチャ解析を行って比較し、もっとも類似すると思われる標準壁面テクスチャ画像のＩＤを、当該建物に対応するものとして建物壁面属性格納部１１に記憶する。この際に用いるテクスチャ解析手法には特に制限はなく、たとえば濃淡ヒストグラムから求められる平均や分散などの統計量がもっとも近い標準壁面テクスチャ画像を選択するなどの手法を用いて良い。

ステップＳ２０８において、ステップＳ２０６およびステップＳ２０７で作成され、建物壁面属性格納部１１に記憶された壁面属性情報を用いて、３次元ポリゴンデータ６ａ中の対応する建物ポリゴンデータの加工を行い、実景観に近いポリゴンとする壁面テクスチャ生成処理が行われる。具体的には、各領域に最も近い標準壁面テクスチャ画像における代表色に近い値を持つ画素を、壁面属性における代表色に置換したテクスチャ画像を生成し、当該建物の３次元ポリゴンに、航空写真に映らない方向の壁面を含めて添付する。

これによって、あらかじめ容易した標準壁面画像を、航空画像の壁面領域から得られる代表色属性により着色して、建物ポリゴンに壁面テクスチャとして添付するよう構成されているため、壁面領域がテクスチャの生成に十分な解像度を持たない場合でも、各建物ポリゴンに違和感を与えない十分な解像度のテクスチャを実景観に応じて添付することができ、より自然な都市景観モデルを作成できる。

［第３の実施の形態の構成］
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。図１０は本発明の第３の実施の形態の構成を示すブロック図である。図１０を参照すると、本発明の第３の実施の形態は、本発明の第１の発明を実施するための形態とほぼ同様の構成であるが、一部の構成要素が第１の実施の形態と異なる動作をする。

オルソ化処理部３２は、そのステレオ処理部２により生成されたＤＥＭを元に、航空写真データに対してオルソ化処理を実行する情報処理機能ブロックである。ステレオ処理部２により算出されたＤＥＭは、元の航空写真データと共にオルソ化処理部３２に与えられる。オルソ化処理部３２は、ＤＥＭにより各画素の３次元位置が求められるので、これを地面に対して正射影となるよう画素単位に再配置する変換を実行して、ＤＥＭおよび航空写真の双方について、航空写真データを画像中の全ての点で鉛直上方から見たように再投影した新たな画像データを生成する。以下、この変換をオルソ化と呼び、オルソ化処理後のＤＥＭをオルソ化ＤＥＭ、オルソ化処理後の航空写真データをオルソ画像と呼ぶ。

また、オルソ化処理部３２は、そのオルソ画像を生成すると共に、オルソ画像において利用されなかった元画像中の領域を壁面候補領域として示す壁面候補データ７ａをステレオ処理された左右の元画像それぞれについて生成する。ここでいう壁面候補領域とは、オルソ化を行う際に求めた元画像とオルソ画像間の対応関係を元に、重複するため利用されない元画像の領域のことである。

ラベル画像生成部３３は、３次元ポリゴンデータ６ａに対応するラベル画像データ９ａを作成する情報処理機能ブロックである。ラベル画像生成部３３は、ポリゴン作成部４により作成された建物の３次元ポリゴンデータ６ａと、図示しない地形情報を用いて、航空写真に合致する視点で都市モデル画像を描画し、各建物ポリゴンモデルの壁面領域に個別のラベルを記入したラベル画像データ９ａを、左右の航空写真それぞれについて作成する。

壁面領域情報抽出部３４は、壁面候補画像格納部７に記憶された壁面候補データ７ａと、そのラベル画像生成部３３により作成されたラベル画像データ９ａを重畳して、左右の画像それぞれにおける建物毎の壁面領域を確定し、さらに左右の壁面領域を比較し、より壁面属性情報を含む領域を選択して、各建物壁面のテクスチャ画像、または代表色などの壁面属性を抽出して建物壁面属性格納部１１に記憶する。その他の本発明の実施の形態における各機能ブロックは、第１の実施の形態において対応する各機能ブロックと同様の動作をする。

［第３の実施の形態の動作］
次に、図１１のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
ステップＳ３０１およびステップＳ３０２の処理は、第１の実施の形態におけるステップＳ１０１およびステップＳ１０２と同様であるため詳細な説明は省略する。

ステップＳ３０２のオルソ化処理と併せて、オルソ画像において利用されなかった元画像中の領域を壁面候補領域として抽出し、これを示す画像として壁面候補データ７ａを生成する壁面候補画像作成処理を、ステレオ処理された左右の元画像それぞれに行う（ステップＳ３０３）。この処理により、左画像の壁面候補データ７ａと、右画像の壁面候補データ７ａがそれぞれ作成される。これらの壁面候補データ７ａは全て壁面候補画像格納部７に記憶される。

ステップＳ３０４におけるポリゴン作成処理は、第１の実施の形態におけるステップＳ１０４と同様に、ステレオ処理部２により作成されたＤＥＭと、建物の形状を平面ポリゴンで表している地図データ５ａを用いて、建物の３次元ポリゴンデータ６ａを生成する処理が行われる。具体的には、ＤＥＭ上に各建物形状を示す平面ポリゴンを重畳し、各建物領域内部のＤＥＭデータから最頻値をとるなどの統計処理を行って各建物の高さとする。この高さを反映させ、平面形状は地図のポリゴンを流用することにより、多角柱として各建物の３次元ポリゴンを生成する。

ステップＳ３０５において、ステップＳ３０４で生成された３次元の建物ポリゴンと、別途用意した周辺地域の地形を示す地形ポリゴンを用いて、左右の各元画像の撮影視点と同視点で各ポリゴンを描画した画像を生成し、各建物ポリゴンの壁面が描画される位置の画素について、個別のラベル値を書き込んだ画像を生成するラベル画像生成処理を行う。この際に用いる地形モデルデータは、第１の実施形態と同様に、建物周辺の形状を示す３次元ポリゴンであり、たとえば国土地理院発行の数値地図５０ｍメッシュ標高などをもとにポリゴン化したものや、レーザプロファイラによる計測データから作成されたものなどを用いることができる。また、航空写真の撮影視点位置情報は、ステレオ処理時に行われる標定処理により決定された値を用いる。このラベル画像生成処理により、左画像のラベル画像と、右画像のラベル画像が作成される。

ステップＳ３０６において、ステップＳ３０３で作成された左右の壁面候補データ７ａと、ステップＳ３０５で作成された左右のラベル画像データ９ａを重ね合わせて、各建物の壁面画素領域を決定し、左右の壁面画素領域から属性情報を多く含む方を選択する壁面領域選択処理を実行する。ステップＳ３０７において、属性情報を抽出する壁面領域情報抽出処理が行われる。具体的には、第１の実施形態と同様の方法により、左右の航空写真に対応する壁面候補データ７ａとラベル画像から、左右それぞれの航空写真における、各建物の壁面画素領域を得る。さらに同一建物についての左右画像中の壁面画素領域を比較し、壁面属性情報を多く含むと思われるより画素数が多いほうを、当該建物の壁面画素領域として確定する。その領域からテクスチャ生成に有用な属性を、第１の実施形態と同様の方法で取得する。ここでいう属性とは、テクスチャ画像、あるいは領域代表色のことをさし、領域の面積や色分布に応じていずれかあるいは複数の属性を取得して建物壁面属性格納部１１に記憶する。

以後のステップＳ３０８の処理は、第１の実施形態におけるステップＳ３０７と同様であるため、詳細な説明は省略する。このような構成、動作を行うことにより、左右の元画像それぞれについて、各建物の壁面領域を定める処理を行ったのち、十分な画素数を持つ方を選択して壁面属性情報を抽出するように構成されているため、視点の直下にあるため、航空写真中で壁面が見えないなど、片方の画像において壁面領域が小さく属性抽出が困難な建物についても、他方の画像の情報を利用して壁面領域の属性を抽出し、生成する都市モデルに反映させることができる。

［第４の実施の形態の構成］
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。図１２を参照すると、本発明の第４の実施の形態は、第１の実施の形態の構成から、壁面候補画像格納部７を除いた構成となっている。

壁面領域情報抽出部１０は、ラベル画像生成部８により作成されたラベル画像データ９ａのみから、建物毎の壁面領域を確定し、各建物壁面のテクスチャ画像、または代表色などの壁面属性を抽出して建物壁面属性格納部１１に出力する。その他の本発明の第４の実施の形態における各機能ブロックは、第１の実施の形態において対応する各機能ブロックと同様の動作をする。

［第４の実施の形態の動作］
次に、図１３のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
ステップＳ４０１およびステップＳ４０２の処理は、第１の実施の形態におけるステップＳ１０１およびステップＳ１０２と同様であるため詳細な説明は省略する。また、ステップＳ４０３およびステップＳ４０４の処理についても、第１の実施の形態におけるステップＳ１０４およびステップＳ１０５と同様であるため詳細な説明は省略する。

ステップＳ４０５において、ステップＳ４０４で作成されたラベル画像データ９ａ中において、各建物の壁面画素領域を決定し、属性情報を抽出する壁面領域情報抽出処理が行われる。具体的には、ラベル画像中で各建物に対応するラベルを持つ領域を、その建物の壁面画素領域として確定し、その領域からテクスチャ生成に有用な属性を取得する。ここでいう属性とは、テクスチャ画像、あるいは領域代表色のことをさし、領域の面積や色分布に応じていずれかあるいは複数の属性を取得して建物壁面属性格納部１１に記憶する。

ステップＳ４０６において、第１の実施の形態におけるステップＳ１０７と同様に、建物壁面属性格納部１１に記憶された壁面属性情報を用いて、３次元ポリゴンデータ６ａ中の対応する建物ポリゴンデータの加工を行い、実景観に近いポリゴンとする壁面テクスチャ生成処理が行われる。

これによって、建物の３次元ポリゴンデータから作成したラベル画像を用いて航空写真中の壁面領域を特定し、属性を抽出して生成した建物ポリゴンにテクスチャを添付するよう構成しているため、鉛直でない壁面を持ち、オルソ化処理時にオルソ画像中で壁面画素が利用される建物についても、壁面属性を取得することができる。

なお、上記にいくつかの本発明の実施の形態を示したが、本発明の実施の形態はこれらに限定されるものではなく、様々な条件での実施が可能である。例えば対象となる画像は航空写真に限定されるものではなく、たとえば衛星画像に対しても適用が可能である。また、上記にいくつかの本発明の実施の形態は矛盾が発生しない範囲内で組合せて適用が可能である。
また本発明の第３の実施の形態において、左右の画像それぞれについて壁面領域を決定し、どちらかを選択して壁面属性を取得しているが、同一領域を撮影した２組以上の航空写真対を用いて、上記の方法で壁面領域の抽出を行い、ある建物に対し３ないし４つ以上の壁面領域を求め、それらを用いて壁面情報の抽出を行う形態での実施も可能である。

また、ある建物に対する複数の壁面領域からの情報抽出方法に関しても特に制限はなく、単純に面積が最大のものを選択して属性抽出を行うのみならず、個別に属性を求めた後テクスチャデータの画素分布などを比較してより利用しやすく信頼度の高いものを選択する方法や、そのまま複数の領域に含まれる全画素を用いて代表色などの統計的属性を得る方法を用いて良く、あるいは属性毎に個別の情報抽出方法を選択し、それらを組みあわせて使用することも可能である。

図１は、従来の航空写真ステレオ処理による都市モデル生成の構成を示すブロック図である。図２は、第１の実施の形態の構成を示すブロック図である。図３は、第１の実施の形態の動作を示す流れ図である。図４は、本実施の形態に用いられる航空写真の撮影方法を示す模式図である。図５は、航空写真のオルソ化処理を示す模式図である。図６は、ＤＥＭデータと地図データからの都市モデル作成処理を示す模式図である。図７は、壁面候補データ７ａとラベル画像による壁面領域決定処理を示す模式図である。図８は、第２の実施の形態の構成を示すブロック図である。図９は、第２の実施の形態の動作を示す流れ図である。図１０は、第３の実施の形態の構成を示すブロック図である。図１１は、第３の実施の形態の動作を示す流れ図である。図１２は、第４の実施の形態の構成を示すブロック図である。図１３は、第４の実施の形態の動作を示す流れ図である。

符号の説明

１…航空写真データ格納部、１ａ…航空写真データ
２…ステレオ処理部
３…オルソ化処理部
４…ポリゴン作成部
５…地図データ格納部、５ａ…地図データ
６…３次元ポリゴンデータ格納部、６ａ…３次元ポリゴンデータ
７…壁面候補画像格納部、７ａ…壁面候補画像データ
８…ラベル画像生成部
９…ラベル画像格納部、９ａ…ラベル画像
１０…壁面領域情報抽出部
１１…建物壁面属性格納部、１１ａ…建物壁面属性データ
１２…壁面テクスチャ生成部
１３…標準壁面画像格納部、１３ａ…標準壁面画像データ
１４…壁面領域情報抽出部
３１、３２…オルソ化処理部
３３…ラベル画像生成部
３４…壁面領域情報抽出部
１０１…衛星画像蓄積部
１０２…ステレオ処理部
１０３…ＤＥＭデータ自動補正部
１０４…地図データ蓄積部

Claims

連続撮影された複数の画像を電子データ化した画像データを格納する画像データ格納部と、前記画像の隣り合う画像は、同一の被写体の画像を含み、
前記画像データから、前記被写体の奥行き方向を構成する面に対応する側面データを抽出して出力する側面データ出力部と、
前記側面データを使用してテクスチャを生成し、前記テクスチャを前記画像データに基づいて生成された３次元ポリゴンデータに添付するテクスチャ生成部と
を具備する
３次元モデル作成装置。
請求項１に記載の３次元モデル作成装置において、
前記側面データ出力部は、ステレオ処理部とオルソ化処理部とを含み、
前記ステレオ処理部は、前記被写体の奥行き情報を算出し、
前記オルソ化処理部は、前記画像データと前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成し、前記画像データの前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データを生成し、
前記テクスチャ生成部は、ラベル画像生成部と、側面情報作成部と、壁面テクスチャ生成部とを含み、
前記ラベル画像生成部は、前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータに基づいて基準画像データを生成し、前記基準画像データにおいて前記３次元ポリゴンデータの側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像を生成し、
前記側面情報作成部は、前記側面データと前記ラベル画像とに基づいて、前記テクスチャの生成に使用される側面情報を生成し、
前記壁面テクスチャ生成部は、前記側面情報に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータの側面に添付する
３次元モデル作成装置。
請求項１に記載の３次元モデル作成装置において、
前記側面データ出力部は、ステレオ処理部とオルソ化処理部とを含み、
前記ステレオ処理部は、前記被写体の奥行き情報を算出し、
前記オルソ化処理部は、前記画像データと前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成し、前記画像データの前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データを生成し、
前記テクスチャ生成部は、ラベル画像生成部と、側面情報作成部と、壁面テクスチャ生成部とを含み、
前記ラベル画像生成部は、前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータに基づいて基準画像データを生成し、前記基準画像データにおいて前記３次元ポリゴンデータの側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像を生成し、
前記側面情報作成部は、前記ラベル画像に基づいて、前記テクスチャの生成に使用される側面情報を生成し、
前記壁面テクスチャ生成部は、前記側面情報に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータの側面に添付する
３次元モデル作成装置。
請求項２または３に記載の３次元モデル作成装置において、
前記テクスチャ生成部は、標準側面画像格納部を備え、
前記標準側面画像格納部は、複数の側面画像データを予め格納し、
前記側面情報作成部は、前記複数の側面画像データから、前記側面情報に最も類似するデータを最類似データとして選択し、
前記テクスチャは、前記最類似データに基づいて生成される
３次元モデル作成装置。
請求項２から４の何れか１項に記載の３次元モデル作成装置において、
前記ステレオ処理部は、隣接する画像データの各々を第１画像と第２画像とに特定し、前記第１画像と前記第２画像とをステレオマッチング処理することで前記奥行き情報を算出し、
前記オルソ化処理部は、前記第１画像に対応する第１側面データと、前記第２画像に対応する第２側面データを生成し、
前記ラベル画像生成部は、前記第１画像に対応する第１ラベル画像と、前記第２画像に対応する第２ラベル画像とを生成し、
前記側面情報作成部は、前記第１側面データと前記第１ラベル画像とに基づいて、第１側面情報を作成し、前記第２側面データと前記第２ラベル画像とに基づいて、第２側面情報を作成し、前記第１側面情報と前記第２側面情報とを比較して、前記側面情報を作成する
３次元モデル作成装置。
請求項２から５の何れか１項に記載の３次元モデル作成装置において、
前記連続撮影された複数の画像は、空を飛ぶ飛翔体に搭載された撮像装置で撮影され、
前記被写体は、地上の構造体であり、
前記奥行き情報は、前記構造体の高さを示す情報であり、
前記側面データは、前記構造体の壁面の状態を示すデータである
３次元モデル作成装置。
請求項１から６の何れか１項に記載の３次元モデル作成装置において、
前記被写体の奥行き方向を構成する面は、前記画像を撮影する光軸方向に平行な面である
３次元モデル作成装置。
連続撮影された複数の画像を電子データ化した画像データから、同一の被写体の画像を含む隣り合う画像データを読み出すステップと、
前記被写体の奥行き方向を構成する面に対応する側面データを抽出して出力するステップと、
前記側面データを使用してテクスチャを生成するステップと、
前記テクスチャを前記画像データに基づいて生成された３次元ポリゴンデータに添付するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項８に記載のプログラムにおいて、
前記被写体の奥行き情報を算出するステップと、
前記画像データと前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成するステップと、
前記画像データの前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データを生成するステップと、
前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータに基づいて基準画像データを生成するステップと、
前記基準画像データにおいて前記３次元ポリゴンデータの側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像を生成するステップと、
前記側面データと前記ラベル画像とに基づいて、前記テクスチャの生成に使用される側面情報を生成するステップと、
前記側面情報に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータの側面に添付するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項８に記載のプログラムにおいて、
前記被写体の奥行き情報を算出するステップと、
前記画像データと前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成するステップと、
前記画像データの前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データを生成するステップと、
前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータに基づいて基準画像データを生成するステップと、
前記基準画像データにおいて前記３次元ポリゴンデータの側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像を生成するステップと、
前記ラベル画像に基づいて、前記テクスチャの生成に使用される側面情報を生成するステップと、
前記壁面テクスチャ生成部は、前記側面情報に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータの側面に添付するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項９または１０に記載のプログラムにおいて、
予め格納された複数の側面画像データから、前記側面情報に最も類似するデータを最類似データとして選択するステップと、
前記最類似データに基づいて生成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項９から１１の何れか１項に記載のプログラムにおいて、
隣接する画像データの各々を第１画像と第２画像とに特定し、前記第１画像と前記第２画像とをステレオマッチング処理することで前記奥行き情報を算出するステップと、
前記第１画像に対応する第１側面データと、前記第２画像に対応する第２側面データを生成するステップと、
前記第１画像に対応する第１ラベル画像と、前記第２画像に対応する第２ラベル画像とを生成するステップと、
前記第１側面データと前記第１ラベル画像とに基づいて、第１側面情報を作成し、前記第２側面データと前記第２ラベル画像とに基づいて、第２側面情報を作成し、前記第１側面情報と前記第２側面情報とを比較して、前記側面情報を作成するステップ
を具備する方法をコンピュータで実行可能なプログラム。
請求項９から１２の何れか１項に記載のプログラムにおいて、
前記連続撮影された複数の画像は、空を飛ぶ飛翔体に搭載された撮像装置で撮影され、
前記被写体は、地上の構造体であり、
前記奥行き情報は、前記構造体の高さを示す情報であり、
前記側面データは、前記構造体の壁面の状態を示すデータである
プログラム。
請求項８から１３の何れか１項に記載のプログラムにおいて、
前記被写体の奥行き方向を構成する面は、前記画像を撮影する光軸方向に平行な面である
プログラム。
連続撮影された複数の画像を電子データ化した画像データから、同一の被写体の画像を含む隣り合う画像データを読み出すステップと、
前記被写体の奥行き方向を構成する面に対応する側面データを抽出して出力するステップと、
前記側面データを使用してテクスチャを生成するステップと、
前記テクスチャを前記画像データに基づいて生成された３次元ポリゴンデータに添付するステップ
を具備する３次元モデル作成方法。
請求項１５に記載の３次元モデル作成方法において、
前記被写体の奥行き情報を算出するステップと、
前記画像データと前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成するステップと、
前記画像データの前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データを生成するステップと、
前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータに基づいて基準画像データを生成するステップと、
前記基準画像データにおいて前記３次元ポリゴンデータの側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像を生成するステップと、
前記側面データと前記ラベル画像とに基づいて、前記テクスチャの生成に使用される側面情報を生成するステップと、
前記側面情報に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータの側面に添付するステップ
を具備する３次元モデル作成方法。
請求項１５に記載の３次元モデル作成方法において、
前記被写体の奥行き情報を算出するステップと、
前記画像データと前記奥行き情報に基づいて前記被写体の正射影画像であるオルソ画像を生成するステップと、
前記画像データの前記被写体の輪郭部分の画素と、前記オルソ画像の前記被写体の輪郭部分の画素とに基づいて前記側面データを生成するステップと、
前記奥行き情報に基づいて生成された前記被写体の３次元ポリゴンデータに基づいて基準画像データを生成するステップと、
前記基準画像データにおいて前記３次元ポリゴンデータの側面に対応する側面領域を特定し、前記側面領域の画素に個別のラベル値を付加してラベル画像を生成するステップと、
前記ラベル画像に基づいて、前記テクスチャの生成に使用される側面情報を生成するステップと、
前記壁面テクスチャ生成部は、前記側面情報に基づいて前記テクスチャを生成し、前記テクスチャを前記３次元ポリゴンデータの側面に添付するステップ
を具備する３次元モデル作成方法。
請求項１６または１７に記載の３次元モデル作成方法において、
予め格納された複数の側面画像データから、前記側面情報に最も類似するデータを最類似データとして選択するステップと、
前記最類似データに基づいて生成するステップ
を具備する３次元モデル作成方法。
請求項１６から１８の何れか１項に記載の３次元モデル作成方法において、
隣接する画像データの各々を第１画像と第２画像とに特定し、前記第１画像と前記第２画像とをステレオマッチング処理することで前記奥行き情報を算出するステップと、
前記第１画像に対応する第１側面データと、前記第２画像に対応する第２側面データを生成するステップと、
前記第１画像に対応する第１ラベル画像と、前記第２画像に対応する第２ラベル画像とを生成するステップと、
前記第１側面データと前記第１ラベル画像とに基づいて、第１側面情報を作成し、前記第２側面データと前記第２ラベル画像とに基づいて、第２側面情報を作成し、前記第１側面情報と前記第２側面情報とを比較して、前記側面情報を作成するステップ
を具備する３次元モデル作成方法。
請求項１６から１９の何れか１項に記載の３次元モデル作成方法において、
前記連続撮影された複数の画像は、空を飛ぶ飛翔体に搭載された撮像装置で撮影され、
前記被写体は、地上の構造体であり、
前記奥行き情報は、前記構造体の高さを示す情報であり、
前記側面データは、前記構造体の壁面の状態を示すデータである
３次元モデル作成方法。
請求項１５から２０の何れか１項に記載の３次元モデル作成方法において、
前記被写体の奥行き方向を構成する面は、前記画像を撮影する光軸方向に平行な面である
３次元モデル作成方法。