JP2004038514A

JP2004038514A - 建物３次元形状復元方法と装置、及び建物３次元形状復元プログラムと該プログラムを記録した記録媒体

Info

Publication number: JP2004038514A
Application number: JP2002194068A
Authority: JP
Inventors: Shiro Ozawa; 小澤　史朗; Isao Miyagawa; 宮川　勲; Yuji Ishikawa; 石川　裕治; Yoshiori Wakabayashi; 若林　佳織; Tomohiko Arikawa; 有川　知彦
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-07-03
Filing date: 2002-07-03
Publication date: 2004-02-05

Abstract

【課題】地上系からの撮影によって、建物外形と高さをもった立体的な建物の３次元形状モデルを低いコストで自動的に復元する。
【解決手段】全方位画像取得部１０１により全方位カメラによる全方位画像を取得し、位置情報取得部１０２により、全方位画像を撮影した際の位置情報を取得する。建物同定部１０７は、この位置情報を基に２次元ディタル地図から建物を同定する。建物シルエット投影部１０８は、同定した建物レイアウト情報に任意高さを与えて全方位画像上にシルエットを投影する。建物高さ算出部１０９は、全方位画像から建物輪郭抽出部１０５が抽出した建物輪郭と建物シルエットを前記高さを変化させながら比較し、最も類似度の高い時の高さを建物の高さとして算出する。建物形状モデル獲得部１１１は、算出された高さを基に建物側面平面獲得部１１０が獲得した建物側面平面から建物の３次元モデルを獲得する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像入力装置等により取得した画像データから、都市空間での建物の３次元形状または構造を、自動計測または自動獲得するコンピュータビジョン分野、画像計測並びに測量分野に関係する。
【０００２】
【従来の技術】
従来、建物の３次元形状を自動で復元する手法には、ヘリコプターや航空機などにカメラや距離センサなどを搭載して測量する上空系からの手法と、車両などにカメラや距離センサなどを搭載して測量する地上系からの手法の大きく２つが存在した。
【０００３】
地上系からの手法においては、建物外形情報を補うために２次元ディジタル地図を利用して建物の３次元形状を求めるような手法も行われている（信学論Ｊ８４−Ｄ−ＩＩ，ｐｐ．１９２１−１９２４，２００１−８、情報処理学会研究報告ＣＶＩＭ−１１９，ｐｐ．２５−３２，１９９９−９など）。
【０００４】
【発明が解決しようとする課題】
しかしながら、上空系からの手法では、建物外形と高さを同時にかつ、大域的に獲得できるメリットがあるが、データ獲得時に航空機等を利用する費用などのコストが大きいという問題がある。一方、地上系からの手法では、上空系からの手法と比較して低いコストでデータ獲得が可能であるが、道路に面した建物側面のみのモデル獲得しか行えず、建物外形を含めた立体的なモデル構築が困難であるという問題がある。
【０００５】
図１３に、地上系からでは建物外形を含めた建物すべての側面の形状を獲得することが困難である例を示す。図１３におけるカメラの位置から建物を撮影した際に、右下の建物を例にとると、向かって右側面、下側面は画像上に投影されるため、形状復元が可能だが、上側面、左側面に関しては、そもそも画像上に投影されないため、形状を復元することができない。
【０００６】
地上系からの手法において、建物外形情報を補うために２次元ディジタル地図を利用して建物の３次元形状を求めるような手法では、建物の位置と画像撮影位置のマッチングによる側面テクスチャの切り出しにのみ用いており、建物の高さとしては一定値を与えるものであった。
【０００７】
本発明は、上記従来技術の問題点を解決するためのものであり、地上系からの撮影によって、建物外形と高さをもった立体的な建物の３次元形状モデルを低いコストで自動的に復元する方法と装置を提供することを課題としている。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、本発明は、画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する３次元的幾何情報を自動的に獲得、復元する方法であって、建物に関する２次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する第一のステップと、第一のステップで同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成し、さらに、全方位画像中において、その建物の輪郭情報を抽出し、双方の情報の差分を最小とするときの高さ情報を算出する第二のステップと、算出された高さ情報により、建物の３次元幾何情報を獲得して建物モデルを復元する第三のステップと、を有することを特徴とする建物３次元形状復元方法を解決手段とする。
【０００９】
あるいは、上記の建物３次元形状復元方法において、第一のステップの前に、全方位画像中において、対象とする建物の輪郭情報を抽出し、その抽出した輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出し、この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を第一のステップの位置情報とするステップを有することを特徴とする建物３次元形状復元方法を解決手段とする。
【００１０】
あるいは、画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する３次元的幾何情報を自動的に獲得、復元する装置であって、建物に関する２次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する手段と、同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成する手段と、全方位画像中において、その建物の輪郭情報を抽出する手段と、シルエット情報および建物の輪郭情報双方の差分を最小とするときの高さ情報を算出する手段と、算出された高さ情報により、建物の３次元幾何情報を獲得して建物モデルを復元する手段と、を有することを特徴とする建物３次元形状復元装置を解決手段とする。
【００１１】
あるいは、上記の建物３次元形状復元装置において、全方位画像中において、抽出された対象とする建物の輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出する手段と、この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を同定する手段での位置情報とする手段を有することを特徴とする建物３次元形状復元装置を解決手段とする。
【００１２】
あるいは、上記の建物３次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとしたことを特徴とする建物３次元形状復元プログラムを解決手段とする。
【００１３】
あるいは、上記の建物３次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする建物３次元形状復元プログラムを記録した記録媒体を解決手段とする。
【００１４】
本発明では、地上系の全方位カメラによる全方位画像を利用し、全方位画像を撮影した際の位置情報を用い、既存の２次元の建物レイアウト情報を全方位画像に投影して得られる曲線と、全方位画像中の建物の輪郭とを比較して高さを獲得し、建物外形と得られた高さから建物の３次元形状を復元することにより、低コスト、高速、かつ簡易的に都市の３次元モデルを獲得、復元する。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１６】
『実施形態例１』
本発明の第１の実施形態例について説明する。以下では、説明上、建物を底面から垂直方向に高さを与えた多角柱と仮定し、全方位カメラは、魚眼レンズをマウントしたものとし、この全方位カメラを車両に搭載して、移動しながら全方位画像を取得するものとする。また、建物レイアウト情報の一例としては、２次元ディジタル地図を用いる場合について説明する。魚眼レンズは、図２に示す等距離投影（投影式は、ｙ＝ｆθ）を用いるものとする。なお、本発明は、全方位カメラが魚眼レンズをマウントしたもの以外であっても、その投影式をあてはめることで実施可能である。
【００１７】
図１は、実施形態例１の装置構成を示すブロック図である。
【００１８】
本実施形態例は、全方位画像を取得する全方位画像取得部１０１、全方位画像撮影時の位置情報を取得する位置情報取得部１０２、取得された全方位画像を蓄積する全方位画像蓄積部１０３、取得された位置情報を蓄積する位置情報蓄積部１０４、撮影された全方位画像から建物輪郭を抽出する建物輪郭抽出部１０５、２次元ディジタル地図情報を蓄積する２次元ディジタル地図蓄積部１０６、全方位画像が撮影された位置情報を基に２次元ディジタル地図から建物を同定する建物同定部１０７、同定された建物レイアウト情報に任意の高さを与えて全方位画像上にシルエットを投影する建物シルエット投影部１０８、抽出された建物輪郭と投影された建物シルエットを高さを変化させながら比較して最も類似度の高い時の高さを建物の高さとして算出する建物高さ算出部１０９、算出された高さを基に建物側面平面を獲得する建物側面平面獲得部１１０、獲得された建物側面平面を建物の立体形状モデルとして獲得する建物形状モデル獲得部１１１、獲得された建物形状モデルを蓄積する建物形状モデル蓄積部１１２とから構成されている。
【００１９】
本発明を説明する準備として、図３に示す座標系ｘ−ｙ−ｚを設定し、選択された建物平面形状を構成する線分をＰ_１（Ｘ_１，Ｙ_１，０）−Ｐ_２（Ｘ_２，Ｙ_２，０）、全方位画像が撮影された時の位置をＡ（Ｘ_ａ，Ｙ_ａ，Ｚ_ａ）、車両の進行方向軸に対する線分Ａ−Ｐ_１，Ａ−Ｐ_２の角度をそれぞれφ_１，φ_２とする。また、空間中の点が全方位画像上に投影される時の座標系をｉ−ｊとする。以降では、空間中の点の座標を示すときにはｘ−ｙ−ｚ、全方位画像上に投影される点を示すときにはｉ−ｊの座標系を用いることとする。
【００２０】
まず、処理が開始すると、位置Ａをセンシングして、全方位カメラの座標値（Ｘ_ａ，Ｙ_ａ，Ｚ_ａ）を取得する。このとき同時に、全方位画像Ｉ_ａを取得する。
【００２１】
図４に位置Ａから放射状に直線をのばして建物を同定する例を示す。２次元ディジタル地図上で位置Ａを中心として、放射状に０゜から３６０゜まで直線をのばし、直線に当たる建物を対象とする建物として同定する。図４の例では。位置Ａから放射上に直線をのばして建物を探索した結果、網掛けのされている１１戸の建物が同定されている。
【００２２】
次に、輪郭抽出を行う。図５に全方位画像（左側）に対する輪郭抽出例（右側）を示す。全方位画像を画素の輝度の勾配値を利用した方法などで建物輪郭を求め、輪郭に当たる画素の値を１、輪郭にあたらない画素の値を０とする。図５では黒い画素の値を１、白い画素の値を０としている。
【００２３】
図６に建物シルエットが投影される例を示す。同定された建物を構成する線分Ｐ_１−Ｐ_２に対して任意の高さｈを与えて平面とし、その平面を全方位画像上にマッピングしたときの輪郭部分をシルエットと呼び、そのシルエットを全方位画像上の座標系ｉ−ｊに投影する。投影されるシルエットにおいて点Ｐ_１−Ｐ_２に対応する点ｐ_１，ｐ_２の全方位画像上での位置（ｉ_１，ｊ_１）、（ｉ_２，ｊ_２）は、魚眼レンズの投影式より
ｉ_１＝ｆ×（ｔａｎ^−１（（（Ｘ_１−Ｘ_ａ）^２−（Ｙ_１−Ｙ_ａ）^２）^１／２／ｈ−Ｚ_ａ））×ｃｏｓφ_１）
ｊ_１＝ｆ×（ｔａｎ^−１（（（Ｘ_１−Ｘ_ａ）^２−（Ｙ_１−Ｙ_ａ）^２）^１／２／ｈ−Ｚ_ａ））×ｓｉｎφ_１）
ｉ_２＝ｆ×（ｔａｎ^−１（（（Ｘ_２−Ｘ_ａ）^２−（Ｙ_２−Ｙ_ａ）^２）^１／２／ｈ−Ｚ_ａ））×ｃｏｓφ_２）
ｊ_２＝ｆ×（ｔａｎ^−１（（（Ｘ_２−Ｘ_ａ）^２−（Ｙ_２−Ｙ_ａ）^２）^１／２／ｈ−Ｚ_ａ））×ｓｉｎφ_２）
となる。
【００２４】
図７に類似度の算出と高さＨの導入の例を説明する。建物のシルエット上にあたる輪郭抽出画像における画素の値を累積して得られる値を、建物シルエットと輪郭との類似度Ｓ_ｎとし、高さｈ_ｎを０からｈ_ｍａｘまで微少高さΔｈずつ、ずらした時の類似度を求める。最も高い類似度Ｓ_ｍａｘをとる高さＨを求め、そのときのＨを建物の高さとして、３次元建物形状モデルを獲得する。図７における類似度算出の例の場合、輪郭画像と建物シルエットを比較した時、両画像上で１（黒）を示す画素の位置が一致する数は４つであるため、類似度Ｓ_ｎは４となる。
【００２５】
ｈ_ｍａｘの設定に関しては、例えば日本における建物の高さがすぺて１００［ｍ］以下だと仮定した場合、ｈ_ｍａｘの値を３００に設定して処理を行う。これにより、２０ｍの建物も１００ｍの建物も高さを求めることが可能となる。
【００２６】
図８に実施形態例１の処理フローを示す。なお、処理は図４で示した建物の同定において、同定された複数の建物すべてに対して繰り返し行われる。
【００２７】
処理が開始すると、全方位画像取得部１０１において、全方位画像取得８０１により全方位カメラで撮影される全方位画像を取得する。取得された全方位画像は全方位画像蓄積部１０３に蓄積され、以下で用いられる。
【００２８】
位置情報取得８０２では、位置情報取得部１０２において、全方位カメラで全方位画像が撮影された位置を一例としてＧＰＳなどの位置情報をセンシングできる装置などで取得する。取得された位置情報は位置情報蓄積部１０４に蓄積され、以下で用いられる。２次元ディジタル地図８０３は、２次元ディジタル地図蓄積部１０６に建物レイアウト情報として保持される。建物同定８０４では、建物同定部１０７において、位置情報取得８０２で得られた位置情報から対象となる建物の同定を行い、同定された建物の数をＣ_ｍａｘとして保持し、同定された建物に対して順番に高さを算出する際の対象ＩＤを開始番号として１を代入する。
【００２９】
建物輪郭抽出８０５では、建物輪郭抽出部１０５において、全方位画像取得８０１で取得された全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る。
【００３０】
初期設定、最大値設定８０６では、処理の初期値として高さｈ_ｎと類似度の最大値Ｓ_ｍａｘに０を代入し、最大値設定として変化させる高さの最大値ｈ_ｍａｘの値を設定する。
【００３１】
建物シルエット投影８０７では、建物シルエット投影部１０８において、建物同定８０４で同定された建物を構成する線分に対して高さｈ_ｎを与えた時の建物シルエット情報を取得する。以下、建物高さ算出部１０９において、類似度Ｓ_ｎ算出８０８では、建物輪郭抽出８０５で得られた輪郭抽出画像と、建物シルエット投影８０７で取得された建物シルエット情報とを比較し、類似度Ｓ_ｎを算出する。Ｓ_ｎとＳ_ｍａｘの比較８０９では、類似度Ｓ_ｎ算出８０８で算出された類似度Ｓ_ｎと保持している類似度の最大値Ｓ_ｍａｘとを比較して、Ｓ_ｎがＳ_ｍａｘより大きいかを判定する。判定の結果がＹｅｓであれば類似度の最大値Ｓ_ｍａｘと建物の高さＨの更新８１０に、Ｎｏであれば高さ加算８１１に処理が継統する。Ｓ_ｍａｘとＨの更新８１０では、Ｓ_ｎとＳ_ｍａｘの比較８０９においてＳ_ｎがＳ_ｍａｘよりも大きい場合にＳ_ｍａｘにＳ_ｎの値を代入してＳ_ｍａｘを更新し、求める建物の高さＨに保持されている高さｈ_ｎの値を導入する。
【００３２】
高さ加算８１１では、現在のｈ_ｎに微少高さΔｈを加算して処理を続行する。ｈ_ｎとｈ_ｍａｘの比較８１２では、保持している高さｈ_ｎと最大値設定８０６で設定された変化させる高さの最大値ｈ_ｍａｘとを比較して、ｈ_ｎがｈ_ｍａｘより小さいかを判定する。判定の結果がＹｅｓであれば建物シルエット投影８０７へ、Ｎｏであれば高さ決定８１３に処理が継続する。高さ決定８１３では保持されている高さＨを類似度が最大値Ｓ_ｍａｘであった時の高さとして建物の高さを決定する。
【００３３】
以下、建物側面平面獲得部１１０および建物形状モデル獲得部１１１において、３次元建物形状復元８１４では、高さ決定８１３で決定した高さＨを建物同定８０４で同定された建物の高さとし、３次元の建物形状を復元する。ｃとＣ_ｍａｘとの比較８１５では、高さを算出する対象ＩＤであるｃと建物同定８０４で同定された建物の数Ｃ_ｍａｘとを比較してｃがＣ_ｍａｘと等しいかを判定する。判定の結果がＹｅｓであれば対象ＩＤの加算９１７へ、Ｎｏであれば処理終了８１６へ処理が継続する。対象ＩＤの加算８１７では、高さを算出する対象ＩＤであるｃに１を加算して、対象を次の建物に移す。処理終了８１６では、ｃとＣ_ｍａｘとの比較８１５で同定されたすべての建物に関して高さが算出された場合に処理を終了する。
【００３４】
以上により建物外形を含んだ立体的な３次元都市空間を効率的に獲得することが可能となる。立体的な３次元都市空間を構成する建物の形状モデルは、例えば、建物形状モデル蓄積部１１２に蓄積されて利用される。
【００３５】
『実施形態例２』
本発明の第２の実施形態例について説明する。ここでは、実施形態例１と異なる箇所のみ、記載している。
【００３６】
図９は実施形態例２の装置構成を示すブロック図である。
【００３７】
本実施形態例は、全方位画像を取得する全方位画像取得部１０１、全方位画像撮影時の位置情報を取得する位置情報取得部１０２、取得された全方位画像を蓄積する全方位画像蓄積部１０３、取得された位置情報を蓄積する位置情報蓄積部１０４、撮影された全方位画像から建物輪郭を抽出する建物輪郭抽出部１０５、２次元ディジタル地図情報を蓄積する２次元ディジタル地図蓄積部１０６、全方位画像が撮影された位置情報を基に２次元ディジタル地図から建物を同定する建物同定部１０７、同定された２次元ディジタル地図蓄積部１０６に蓄積されている建物レイアウト情報に任意の高さを与えて全方位画像上にシルエットを投影する建物シルエット投影部１０８、抽出された建物輪郭と高さを変化させながら投影された建物シルエットを比較して最も類似度の高い時の高さを建物の高さとして算出する建物高さ算出部１０９、算出された高さを基に建物側面平面を獲得する建物側面平面獲得部１１０、獲得された建物側面平面を元の建物レイアウトとし建物の立体形状モデルとして獲得する建物形状モデル獲得部１１１、獲得された建物形状モデルを蓄積する建物形状モデル蓄積部１１２、取得された建物輪郭から光学中心に向かう直線のみを抽出する輪郭垂線抽出部９０１、同定された建物レイアウト情報を構成する点に任意の高さを与えて得られる垂直線分のシルエットを取得する垂直シルエット投影部９０２、輪郭垂線と垂直シルエットの差が最小になるように位置情報を最適化する位置情報最適化部９０３とから構成されている。
【００３８】
図１０に実施形態例２を説明するための座標系を示す。選択された建物を構成する点をＰ_ｎ（Ｘ_ｎ，Ｙ_ｎ，０）、全方位画像が撮影された時の位置をＡ（Ｘ_ａ，Ｙ_ａ，Ｚ_ａ）、進行方向の角度をρ_ａ、垂直シルエットの傾きをμ_ｎ、輪郭垂線の傾きをξ_ｍとする。
【００３９】
図１１に垂直シルエットと輪郭垂線の例を示す。処理が開始すると、まず全方位画像を画素の輝度の勾配値を利用した方法などで建物輪郭を求め、輪郭に当たる画素の値を１、輪郭にあたらない画素の値を０とする。その二値画像に対してＨｏｕｇｈ変換などによる直線検出処理を行い画像中の直線を検出する。検出された直線の中から光学中心を向いているものだけを輪郭垂線として抽出し、それらの直線の角度をξ_１ξ_２…ξ_Ｍとする。
【００４０】
次に、同定されたすべての建物を構成する点Ｐ_ｎ（Ｘ_ｎ，Ｙ_ｎ，０）（ｎ＝１，２…Ｎ）に適当な高さを与えて得られる平面の垂直な線分を垂直シルエットとして取得する。取得された垂直シルエットの角度をμ_ｎとして獲得する。
【００４１】
次に、直線の角度ξ_１ξ_２…ξ_Ｍと直線の角度μ_１μ_２…μ_Ｎとを比較し、最も角度が近いもの同士をそれぞれの直線に対応する直線とする。そして、対応する各々の直線について角度の差を算出し、それら角度の差の絶対値の合計を算出する。この時、必ずしもすべての直線が正しく対応付けされるとは限らないが、その場合において対応づけられている直線のみから算出しても、良好な結果を得ることができる。
【００４２】
位置情報Ａ（Ｘ_ａ，Ｙ_ａ，Ｚ_ａ，ρ_ａ）を変化させて角度の差の合計が最小となるような位置情報Ａ（Ｘ_ａｆ，Ｙ_ａｆ，Ｚ_ａｆ，ρ_ａｆ）を一般的な多次元の最適化手法（Ｎｕｍｅｒｉｃａｌ　Ｍｅｔｈｏｄｓ　Ｔｈａｔ　Ｗｏｒｋ，ｐｐ．４６４−４６７，１９７０、Ａｌｇｏｒｉｔｈｍｓ　ｆｏｒ　Ｍｉｎｉｍｉｚａｔｉｏｎｗｉｔｈｏｕｔ　Ｄｅｒｉｖａｔｉｖｅｓ，Ｃｈａｐｔｅｒ７，１９７３、Ｔｈｅ　Ｓｔａｔｅ　ｏｆ　ｔｈｅ　Ａｒｔ　ｉｎ　Ｎｕｍｅｒｉｃａｌ　Ａｎａｌｙｓｉｓ，ｐｐ．２５９−２６２，１９７７など）を用いて求める。
【００４３】
図１２に実施形態例２の処理フローを示す。
【００４４】
処理が開始すると、全方位画像取得部１０１において、全方位画像取得１２０１により全方位カメラで撮影される全方位画像を取得する。取得された全方位画像は、全方位画像蓄積部１０２に蓄積されて、以下で用いられる。
【００４５】
位置情報取得１２０２では、位置情報取得部１０２において、全方位カメラで全方位画像が撮影された位置を取得する。取得された位置情報は、位置情報蓄積部１０４に蓄積されるとともに、以下で更新され、用いられる。２次元ディジタル地図１２０３は、２次元ディジタル地図蓄積部１０６において、建物レイアウト情報として保持されている。
【００４６】
建物輪郭抽出１２０４では、建物輪郭抽出部１０５において、全方位画像取得１２０１で取得された全方位画像に対して輪郭抽出処理を行い、輪郭抽出画像を得る。以下、輪郭垂線抽出部９０１において、直線検出１２０５では、建物輪郭抽出１２０４で得られた輪郭抽出画像に対して直線検出を行う。フィルタリング１２０６の処理では、直線検出１２０５で得られた直線の中から、空間中で高さ方向の直線のみを選択するようにフィルタリング処理を行う。輪郭垂線算出１２０７では、フィルタリング１２０６で選択された直線の角度ξ_ｍ（ｍ＝１，２，…Ｍ）を算出する。
【００４７】
建物同定１２０８では、建物同定部１０７において、位置情報取得１２０２で得られた位置情報から対象となる建物の同定を行う。垂直シルエット算出１２０９では、建物シルエット投影部１０８において、建物同定１２０８で同定されたすべての建物を構成する点に高さを与えて得られる線分の垂直シルエットの角度μ_ｎ（ｎ＝１，２，…Ｎ）を算出する。
【００４８】
以下、位置情報最適化部９０３において、対応直線算出１２１０では、輪郭垂線算出１２０７で算出された直線の角度ξ_ｍと垂直シルエット算出部９０２での垂直シルエット算出１２０９で算出された直線の角度μ_ｎの角度を比較して、最も近い角度の直線を対応する直線として取得する。垂線の角度差算出１２１１では、対応直線算出１２１０で求めた対応する直線同士の角度の差を求め、すべての直線に関する角度差の絶対値の合計を算出する。最適化収束判断１２１２では、最適化処理１２１３とあわせて、垂線の角度差算出１２１１で算出される角度差の合計が最小になるように位置情報を最適化し、最適化が収束したかどうかを判断する。判断の結果がＹｅｓの場合は位置情報補正終了１２１４へ、Ｎｏの場合は最適化処理１２１３を継続する。
【００４９】
位置情報補正終了１２１４では、最適化された位置情報を、補正された位置情報として決定し、補正処理を終了する。その後、実施形態例１における建物高さ算出と同様の処理を行う。
【００５０】
これにより、位置情報獲得時の誤差などから発生するズレを補正することが可能となり、より高精度な３次元建物モデルを構築することができる。
【００５１】
以上の方法により、道沿いに建物の画像を取得していくことにより、道沿いの建物すべての３次元形状を復元できることが容易にわかる。
【００５２】
なお、ある建物に着目したとき、複数の地点から該当建物のＨを求めることになるが、例として、該当建物から最も近い距離で求めたＨを選択することができ、これにより、精度の高い高さ情報が取得できる。
【００５３】
なお、図１および図９で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図８および図１２で示した処理のステップをコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理のステップを実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フレキシブルディスク））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００５４】
【発明の効果】
本発明によれば、地上系の測定技術であるため、航空機等を使用して３次元建物モデルを生成する従来の上空系の測定技術に比べ、低コストに３次元建物モデルを生成することができる。また、２次元電子地図等の建物レイアウト情報を用いているので、建物の画像上に投影されない側面まで復元することができる。
【図面の簡単な説明】
【図１】本発明の実施形態例１の装置構成を示すブロック図である。
【図２】魚眼レンズの投影式を説明する図である。
【図３】実施形態例１の座標系を示す図である。
【図４】建物選択を説明する図である。
【図５】全方位画像に対する輪郭抽出の例を示す図である。
【図６】建物シルエットの例を示す図である。
【図７】建物高さＨの算出方法を説明する図である。
【図８】本発明による方法の実施形態例１の処理フローを示す図である。
【図９】本発明の実施形態例２の装置構成を示すブロック図である。
【図１０】実施形態例２の座標系を示す図である。
【図１１】垂直シルエットと輪郭垂線の例を示す図である。
【図１２】本発明による方法の実施形態例２の処理フローを示す図である。
【図１３】地上系からは建物外形の獲得が困難であることを示す図である。
【符号の説明】
１０１…全方位画像取得部
１０２…位置情報取得部
１０３…全方位画像蓄積部
１０４…位置情報蓄積部
１０５…建物輪郭抽出部
１０６…２次元ディジタル地図蓄積部
１０７…建物同定部
１０８…建物シルエット投影部
１０９…建物高さ算出部
１１０…建物側面平面獲得部
１１１…建物形状モデル獲得部
１１２…建物形状モデル蓄積部
９０１…輪郭垂線抽出部
９０２…垂直シルエット投影部
９０３…位置情報最適化部

Claims

画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する３次元的幾何情報を自動的に獲得、復元する方法であって、
建物に関する２次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する第一のステップと、
第一のステップで同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成し、さらに、全方位画像中において、その建物の輪郭情報を抽出し、双方の情報の差分を最小とするときの高さ情報を算出する第二のステップと、
算出された高さ情報により、建物の３次元幾何情報を獲得して建物モデルを復元する第三のステップと、を有する
ことを特徴とする建物３次元形状復元方法。
請求項１に記載の建物３次元形状復元方法において、
第一のステップの前に、
全方位画像中において、対象とする建物の輪郭情報を抽出し、その抽出した輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出し、この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を第一のステップの位置情報とするステップを有する
ことを特徴とする建物３次元形状復元方法。
画像入力手段の位置情報と、全方位を一度に撮像する画像入力手段を用いて景観を撮影して得た全方位画像を使って、被写体である建物に関する３次元的幾何情報を自動的に獲得、復元する装置であって、
建物に関する２次元の形状や位置を表す建物レイアウト情報、画像入力手段の位置情報、並びに画像入力手段のカメラパラメータを使って、全方位画像に対して個々の建物を同定する手段と、
同定した個々の建物に対し、高さ情報を与えて建物の外観を表現するシルエット情報を生成する手段と、
全方位画像中において、その建物の輪郭情報を抽出する手段と、
シルエット情報および建物の輪郭情報双方の差分を最小とするときの高さ情報を算出する手段と、
算出された高さ情報により、建物の３次元幾何情報を獲得して建物モデルを復元する手段と、を有する
ことを特徴とする建物３次元形状復元装置。
請求項３に記載の建物３次元形状復元装置において、
全方位画像中において、抽出された対象とする建物の輪郭情報の中で、空間中での高さ方向の輪郭情報のみを輪郭垂線として抽出する手段と、
この輪郭垂線を、対象としている建物レイアウト情報に高さ情報を与えて生成したシルエット情報と比較して、その差分が最小となるように、画像入力手段の位置情報を補正し、このときの補正した位置情報を同定する手段での位置情報とする手段を有する
ことを特徴とする建物３次元形状復元装置。
請求項１または２に記載の建物３次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとした
ことを特徴とする建物３次元形状復元プログラム。
請求項１または２に記載の建物３次元形状復元方法におけるステップを、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする建物３次元形状復元プログラムを記録した記録媒体。