JP2004030462A

JP2004030462A - 画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2004030462A
Application number: JP2002188582A
Authority: JP
Inventors: Masafumi Nakagawa; 中川　雅史; Ryosuke Shibazaki; 柴▲崎▼　亮介
Original assignee: Starlabo Corp
Current assignee: Starlabo Corp
Priority date: 2002-06-27
Filing date: 2002-06-27
Publication date: 2004-01-29

Abstract

【課題】撮影対象物を含む所定エリアを異なる視点から撮影して得られた複数の２次元画像に基づいて、容易に３次元画像を生成することができる画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体を提供する。
【解決手段】飛翔体に搭載されるラインセンサ２０１〜２０３から得られる画像データＤ１〜Ｄ３に基づいて、領域抽出手段１０３が特徴領域を、エッジ抽出手段１０６が特徴線分を、それぞれ抽出する。領域対応手段１０４は、同一の撮影対象物に関する特徴領域を画像データ間で対応付ける。エッジ対応手段１０７も同様に、特徴線分を対応付ける。そして、対応付けられた特徴領域及び特徴線分に基づいて、３次元領域及び３次元線分が生成される。３次元領域及び３次元線分が統合されて３次元画像が生成される。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
近年、ＧＩＳ（Ｇｅｏｇｒａｐｈｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）分野において、特に都市部における３次元地図の需要が高まっている。その利用形態としては、カーナビゲーションなどに用いる道路情報、都市災害ＧＩＳなどが挙げられる。また、電波の伝播解析、氾濫解析等の解析にも詳細かつ精度が高い３次元地図が求められている。
【０００３】
【発明が解決しようとする課題】
３次元地図の作成方法としては、航空写真測量による写真に基づき、地図作成者が建造物の１つ１つを作成するといった方法が考えられる。しかしながら、そういった方法では精度のよい３次元地図を得ることは困難である。特に、多様な建造物が存在する都市部の３次元地図を精度よく作成する困難性は極めて高いものである。
【０００４】
そこで、本発明は、撮影対象物を含む所定エリアを異なる視点から撮影して得られた複数の２次元画像に基づいて、精度よく３次元画像を生成することができる画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
このような目的を達成するために、本発明による画像処理方法は、撮影対象物を含む所定エリアを異なる視点から撮影して得られた複数の２次元画像に基づいて３次元画像を生成する画像処理方法であって、２次元画像それぞれから、撮影対象物に対応する特徴領域を抽出する領域抽出ステップと、領域抽出ステップにより抽出された特徴領域のうち、同一の撮影対象物に対応する特徴領域を、２次元画像間で対応付ける領域対応ステップと、領域対応ステップにより対応付けられた特徴領域から撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元領域を生成する第１演算ステップと、２次元画像それぞれから、撮影対象物に対応する特徴線分を抽出するエッジ抽出ステップと、エッジ抽出ステップにより抽出された特徴線分のうち、同一の撮影対象物に対応する特徴線分を、２次元画像間で対応付けるエッジ対応ステップと、エッジ対応ステップにより対応付けられた特徴線分から撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元線分を生成する第２演算ステップと、３次元領域と３次元線分とを統合して特徴面を生成する統合ステップと、統合ステップにより生成された特徴面に基づいて、該特徴面を有する撮影対象物の３次元画像を生成する画像生成ステップとを備えることを特徴とする。
【０００６】
また、本発明による画像処理装置は、撮影対象物を含む所定エリアを異なる視点から撮影して得られた複数の２次元画像に基づいて３次元画像を生成する画像処理装置であって、２次元画像それぞれから、撮影対象物に対応する特徴領域を抽出する領域抽出手段と、領域抽出手段により抽出された特徴領域のうち、同一の撮影対象物に対応する特徴領域を、２次元画像間で対応付ける領域対応手段と、領域対応手段により対応付けられた特徴領域から撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元領域を生成する第１演算手段と、２次元画像それぞれから、撮影対象物に対応する特徴線分を抽出するエッジ抽出手段と、エッジ抽出手段により抽出された特徴線分のうち、同一の撮影対象物に対応する特徴線分を、２次元画像間で対応付けるエッジ対応手段と、エッジ対応手段により対応付けられた特徴線分から撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元線分を生成する第２演算手段と、３次元領域と３次元線分とを統合して特徴面を生成する統合手段と、統合手段により生成された特徴面に基づいて、該特徴面を有する撮影対象物の３次元画像を生成する画像生成手段とを備えることを特徴とする。
【０００７】
上記した画像処理方法及び画像処理装置は、異なる視点から撮影して得られた複数の２次元画像に基づいて、３次元領域及び３次元線分を生成している。そして、３次元領域と３次元線分とを用いて特徴面を生成し、特徴面から３次元画像（ソリッドモデル）を生成している。特徴面を特定することが容易な３次元領域と、位置精度が良い３次元線分とを特徴面の生成に用いることによって、３次元画像を精度よく生成することができる。
【０００８】
また、画像処理方法（装置）は、エッジ対応ステップ（手段）が、同一の撮影対象物に対応する特徴線分を２次元画像間で対応付ける際に、第１演算ステップ（手段）により生成された、３次元領域の３次元座標の高さ成分を利用することを特徴としてもよい。これによって、特徴線分を対応付ける処理に要する時間を短縮することができる。
【０００９】
また、画像処理方法（装置）は、統合ステップ（手段）により生成された特徴面のうち、近接する位置関係にある特徴面同士を対応付けて特徴面群を生成する結合ステップ（手段）をさらに備え、画像生成ステップ（手段）が、結合ステップ（手段）により生成された特徴面群に基づいて、特徴面群を有する撮影対象物の３次元画像を生成することを特徴としてもよい。これによって、複雑な形状を有する撮影対象物に対しても好適に３次元画像を生成することができる。
【００１０】
また、画像処理方法（装置）は、画像生成ステップ（手段）により生成された撮影対象物の３次元画像に該撮影対象物のテクスチャを合成するテクスチャ合成ステップ（手段）をさらに備えることを特徴としてもよい。これによって、実際に上空から見た景色と同様の３次元画像を生成することができる。
【００１１】
また、本発明による画像処理プログラムは、上記した画像処理方法をコンピュータに実行させることを特徴とする。
【００１２】
また、本発明による記録媒体は、上記した画像処理方法をコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１３】
【発明の実施の形態】
以下、図面とともに本発明による画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１４】
図１は、本発明による画像処理装置の実施形態を示すブロック図である。図１に示す画像処理装置１００は、第１のラインセンサ２０１により撮影された２次元画像である第１画像データＤ１、第２のラインセンサ２０２により撮影された２次元画像である第２画像データＤ２、及び第３のラインセンサ２０３により撮影された２次元画像である第３画像データＤ３を入力し、これらの画像データに基づいて３次元画像を作成する装置である。
【００１５】
ここで、第１画像データＤ１ないし第３画像データＤ３について説明する。これらの画像データは、第１のラインセンサ２０１ないし第３のラインセンサ２０３によって生成される。第１のラインセンサ２０１ないし第３のラインセンサ２０３は、撮影装置２００を構成している。そして、撮影装置２００は、図２に示すような飛翔体２０４下部の所定の位置に取り付けられる。
【００１６】
図３は、撮影装置２００が上空から下方を撮影する概念を示す図である。第１のラインセンサ２０１ないし第３のラインセンサ２０３は、複数の画素ｂが一列に並べて構成されている。また、各ラインセンサは飛翔体２０４の進行方向に対する垂直方向を長手方向として、所定の間隔をあけて設置されている。また、第１のラインセンサ２０１の撮影方向ベクトルＡ１と、第２のラインセンサ２０２の撮影方向ベクトルＡ２と、第３のラインセンサ２０３の撮影方向ベクトルＡ３とは、ある一点で交わっている。この結果、第１のラインセンサ２０１は飛翔体２０４の前寄りの下方の画像である第１画像データＤ１を、第２のラインセンサ２０２は飛翔体２０４の直下の画像である第２画像データＤ２を、第３のラインセンサ２０３は飛翔体２０４の後ろ寄り下方の画像である第３画像データＤ３をそれぞれ取得することができる。
【００１７】
図４は、建造物３００上のある点Ｐを撮影する瞬間の各ラインセンサの位置を示している。図４に示すように、第１のラインセンサ２０１は、飛翔体２０４の進行方向（図４の矢印ａ）に対して前寄りの下方（撮影方向ベクトルＡ１）に建造物３００を捉える。第２のラインセンサ２０２は、飛翔体２０４直下（撮影方向ベクトルＡ２）に建造物３００を捉える。第３のラインセンサ２０３は、飛翔体２０４の進行方向に対して後ろ寄りの下方（撮影方向ベクトルＡ３）に建造物３００を捉える。図５（ａ）は、こうして撮影された画像データのうち、第２画像データＤ２の一例である。第２画像データＤ２は、建造物３００を図４の撮影方向ベクトルＡ２の方向から撮影して得られた画像３００ａを含んでいる。また、図５（ｂ）は、第３画像データＤ３の一例である。第３画像データＤ３は、建造物３００を図４の撮影方向ベクトルＡ３の方向から撮影して得られた画像３００ｂを含んでいる。なお、図５（ａ）、図５（ｂ）ともに、図中の矢印ａは飛翔体２０４の進行方向を示す。
【００１８】
図１に示す画像処理装置１００は、記憶部１０１及び演算部１０２を有している。記憶部１０１は、上記した第１画像データＤ１、第２画像データＤ２、及び第３画像データＤ３を入力し、記憶する。そして、画像処理装置１００は、第２画像データＤ２及び第３画像データＤ３を、演算部１０２に含まれる領域抽出手段１０３とエッジ抽出手段１０６とへ出力する。記憶部１０１としては、例えばメモリなどの記録素子や、ハードディスクなどの記録装置、あるいはフロッピーディスクなどの記録媒体を用いるとよい。
【００１９】
演算部１０２は、ＣＰＵといった処理装置、及びメモリやハードディスクなどの記録装置を備えている。記録装置に記録された画像処理プログラムをＣＰＵが読み込み、このプログラムを実行することによって、演算部１０２は、領域抽出手段１０３、領域対応手段１０４、第１演算手段１０５、エッジ抽出手段１０６、エッジ対応手段１０７、第２演算手段１０８、統合手段１０９、画像生成手段１１０、結合手段１１１、及びテクスチャ合成手段１１２を実現する。
【００２０】
図６は、領域抽出手段１０３によって生成される（ａ）第２領域データＤ２ａ及び（ｂ）第３領域データＤ３ａを示す図である。領域抽出手段１０３は、記憶部１０１から第２画像データＤ２及び第３画像データＤ３を入力する。領域抽出手段１０３は、第２画像データＤ２に含まれている画像３００ａといった撮影対象物の画像から、一定の濃淡レベルで特徴付けられる特徴領域を抽出する。このとき、特徴領域の抽出方法として次の２種類のいずれか一方の方法を用いるとよい。１つの方法は、画像データを特徴が一様と考えられる小領域に分割しておき、その後に隣接する小領域間の特徴を調べ、類似した特徴を持つ小領域に逐次統合する領域拡張法である。他の方法は、画像データに基づく濃淡ヒストグラムの谷部を特徴領域の境界とすることでクラスタリングを行うレベルスライシング法である。図６（ａ）では特徴領域の一例として、略一定の濃淡レベルである画像３００ａの屋根部分を特徴領域３０１ａとしている。
【００２１】
このようにして、領域抽出手段１０３は、第２画像データＤ２に特徴領域に関する情報を付加した第２領域データＤ２ａを領域対応手段１０４へ出力する。また、領域抽出手段１０３は、第３画像データＤ３についても第２画像データＤ２と同様に、例えば図６（ｂ）に示す画像３００ｂといった撮影対象物の画像から特徴領域３０１ｂといった特徴領域を抽出する。そして、領域抽出手段１０３は、第２画像データＤ３に特徴領域に関する情報を付加した第３領域データＤ３ａを領域対応手段１０４へ出力する。
【００２２】
領域対応手段１０４は、領域抽出手段１０３から第２領域データＤ２ａ及び第３領域データＤ３ａを入力する。そして、領域対応手段１０４は、第２領域データＤ２ａと第３領域データＤ３ａとの双方に含まれる、同一の撮影対象物の特徴領域をデータ間で対応付ける。例えば、図６（ａ）に示した第２領域データＤ２ａには、画像３００ａから抽出された特徴領域３０１ａが含まれている。一方、図６（ｂ）に示した第３領域データＤ３ａには、画像３００ｂから抽出された特徴領域３０１ｂが含まれている。画像３００ａ及び画像３００ｂは、同一の撮影対象物である建造物３００（図４に示す）に関する画像であるので、これらの画像から抽出された特徴領域３０１ａ及び３０１ｂは、その形状や大きさ、色、明るさなどによって対応付けられる。このとき、対応する特徴領域を探索する方法として、２つの画像の投影中心と対象点とが同一平面内に含まれる（共面条件）ことを利用して、該平面と画像とが交わる直線（エピポーラライン）上を探索する方法を用いるとよい。こうして、特徴領域３０１ａ及び３０１ｂは同一の撮影対象物の特徴領域として互いに対応付けられる。そして、領域対応手段１０４は、第２領域データＤ２ａ及び第３領域データＤ３ａそれぞれに、特徴領域の対応関係に関する情報を付加して第２領域対応データＥ２、及び第３領域対応データＥ３を生成する。領域対応手段１０４は、第２領域対応データＥ２及び第３領域対応データＥ３を、第１演算手段１０５へ出力する。
【００２３】
第１演算手段１０５は、領域対応手段１０４から第２領域対応データＥ２及び第３領域対応データＥ３を入力する。そして、第１演算手段１０５は、領域対応手段１０４により対応付けられた特徴領域から、対象領域の３次元座標を算出する。
【００２４】
図７は、特徴点の３次元座標を算出する原理を説明する図である。ここでは、座標系としては地上座標系を用い、撮影対象物の特徴点Ｐの３次元座標（Ｘ，Ｙ，Ｚ）を撮影方向ベクトルＡ２及びＡ３を用いて前方後会法により算出する。撮影方向ベクトルＡ２は、第２のラインセンサ２０２の位置姿勢データ及びレンズの焦点距離と、撮影対象物の特徴点Ｐの画像データＤ２上での位置とに基づいて求まる。撮影方向ベクトルＡ３も、撮影方向ベクトルＡ２と同様に求まる。ここで、撮影方向ベクトルＡ２及びＡ３は、理論的には交わることになるが、一般的には、撮影方向ベクトルの誤算によりこれらのベクトルは交わらない。したがって、撮影方向ベクトルＡ２及びＡ３が最も近い距離になる、撮影方向ベクトルＡ２上の点Ｐ_Ｂと撮影方向ベクトルＡ３上の点Ｐ_Ｃとの中点Ｐ_Ａの座標を、求める特徴点Ｐの座標とする。
【００２５】
撮影方向ベクトルＡ２及びＡ３を次の（１）式及び（２）式
【数１】

のように表す。ここで、（Ｘ_ａ０，Ｙ_ａ０，Ｚ_ａ０）は第２のラインセンサ２０２の位置座標、（Ｘ_ｂ０，Ｙ_ｂ０，Ｚ_ｂ０）は第３のラインセンサ２０３の位置座標、（Ｖ_ａｘ，Ｖ_ａｙ，Ｖ_ａｚ）は撮影方向ベクトルＡ２の単位ベクトル、（Ｖ_ｂｘ，Ｖ_ｂｙ，Ｖ_ｂｚ）は撮影方向ベクトルＡ３の単位ベクトル、ｔ_ａは撮影方向ベクトルＡ２のパラメータ、ｔ_ｂは撮影方向ベクトルＡ３のパラメータである。
【００２６】
ここで、次の（３）式ないし（８）式
【数２】

のようにＡ〜Ｆを定義すると、撮影方向ベクトルＡ２と撮影方向ベクトルＡ３との間隔が最小となるこれらのベクトル上の点Ｐ_Ｂ、Ｐ_Ｃの位置を示すパラメータｔ_ａ、ｔ_ｂは次の（９）式及び（１０）式のように求まる。
【数３】

したがって、そのときの点Ｐ_Ａの座標（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）は次の（１１）式
【数４】

となる。そして、この（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）が、求める特徴点Ｐの３次元座標（Ｘ，Ｙ，Ｚ）となる。
【００２７】
第１演算手段は、上記の各数式を演算することによって特徴点Ｐの３次元座標を求める。そして、複数の特徴点Ｐの３次元座標から、２次元画像上の特徴領域に対応する３次元領域を求める。そして、第１演算手段は、特徴領域の３次元領域データＧ１をエッジ対応手段１０７及び統合手段１０９に出力する。
【００２８】
図８は、エッジ抽出手段１０６によって生成される（ａ）第２線分データＤ２ｂ及び（ｂ）第３線分データＤ３ｂを示す図である。エッジ抽出手段１０６は、記憶部１０１から第２画像データＤ２及び第３画像データＤ３を入力する。エッジ抽出手段１０６は、第２画像データＤ２及び第３画像データＤ３に基づいて、特徴線分を抽出する。特徴線分の抽出方法としては、Ｇａｕｓｓｉａｎフィルタの微係数を使って画像の濃淡レベルの勾配の極大を求めること等によるＣａｎｎｙ法などを用いて得た結果に対し、テンプレートを用いること等をして、この結果に含まれる直線線分の抽出をするとよい。図８（ａ）では特徴線分の一例として、画像３００ａにおいて濃淡レベルの変化が大きい屋根部分の周囲の直線成分であるところの辺を特徴線分３０２ａ１〜３０２ａ４としている。
【００２９】
このようにして、エッジ抽出手段１０６は、第２画像データＤ２に特徴線分に関する情報を付加した第２線分データＤ２ｂをエッジ対応手段１０７へ出力する。また、エッジ抽出手段１０６は、第３画像データＤ３についても第２画像データＤ２と同様に、例えば図８（ｂ）に示す画像３００ｂといった撮影対象物の画像から特徴線分３０２ｂ１〜３０２ｂ４といった特徴線分を抽出する。そして、エッジ抽出手段１０６は、第２画像データＤ３に特徴線分に関する情報を付加した第３線分データＤ３ｂをエッジ対応手段１０７へ出力する。
【００３０】
エッジ対応手段１０７は、エッジ抽出手段１０６から第２線分データＤ２ｂ及び第３線分データＤ３ｂを入力する。そして、エッジ対応手段１０７は、第２線分データＤ２ｂと第３線分データＤ３ｂとの双方に含まれる、同一の撮影対象物の特徴線分を対応付ける。例えば、図８（ａ）に示した第２線分データＤ２ｂには、画像３００ａから抽出された特徴線分３０２ａ１〜３０２ａ４が含まれている。一方、図８（ｂ）に示した第３線分データＤ３ｂには、画像３００ｂから抽出された特徴線分３０２ｂ１〜３０２ｂ４が含まれている。画像３００ａ及び画像３００ｂは、同一の撮影対象物である建造物３００（図４に示す）に関する画像であるので、これらの画像から抽出された特徴線分３０２ａ１〜３０２ａ４と３０２ｂ１〜３０２ｂ４とは、同一の撮影対象物の、同一箇所の特徴線分として互いに対応付けられる。この対応付けの方法としては、特徴線分の形状、特徴線分の両側の濃淡レベル、特徴線分の傾き、周囲の特徴領域との位置関係、特徴線分の長さ等が一致するような特徴線分同士を対応付ける。このとき、特徴領域の対応付けと同様に、対応する特徴線分をエピポーララインを用いて探索するとよい。
【００３１】
このとき、エッジ対応手段１０７は、第１演算手段１０５によって生成された、３次元領域データＧ１を利用して特徴線分を対応付ける。すなわち、特徴線分は画像データ中に比較的多く存在するため、その対応付けに時間がかかり、対応付けの間違いも多い。これを解決するため、エピポーラライン上を探索するときに特徴線分に対応する３次元領域の３次元座標の高さ成分を利用して探索範囲を狭めるとよい。
【００３２】
このようにして、エッジ対応手段１０７は、第２線分データＤ２ｂ及び第３線分データＤ３ｂそれぞれに、特徴線分の対応関係に関する情報を付加して第２線分対応データＦ２、及び第３線分対応データＦ３を生成する。エッジ対応手段１０７は、第２線分対応データＤ２ｂ及び第３線分対応データＤ３ｂを、第２演算手段１０８へ出力する。
【００３３】
第２演算手段１０８は、エッジ対応手段１０７から第２線分対応データＤ２ｂ及び第３線分対応データＤ３ｂを入力する。そして、第２演算手段１０８は、線分対応手段１０７により対応付けられた特徴線分から、撮影対象物の特徴点（線分の端点など）を抽出する。そして、第２演算手段１０８は、特徴点の３次元座標を算出する。第２演算手段１０８における特徴点の３次元座標の算出方法は、第１演算手段１０５における特徴点の３次元座標の算出方法と同様なので説明を省略する。第２演算手段１０８は、複数の特徴点の３次元座標に基づいて３次元線分データＧ２を生成する。そして、３次元線分データＧ２を統合手段１０９へ出力する。
【００３４】
統合手段１０９は、第１演算手段１０５から特徴領域の３次元領域データＧ１を、第２演算手段１０８から特徴線分の３次元線分データＧ２を、それぞれ入力する。そして、統合手段１０９は、これらのデータに基づいて、同一の撮影対象物に関する３次元領域と３次元線分とを統合して特徴面を生成する。ここで、特徴面とは、撮影対象物の３次元画像を生成する際の基準となる面である。多くの場合、この特徴面は撮影対象物の上面となる。
【００３５】
図９は、３次元領域と３次元線分とを統合したときの一例を示す図である。３次元領域３０１は、領域抽出手段１０３によって抽出された特徴領域３０１ａ（図６（ａ））と特徴領域３０１ｂ（図６（ｂ））とに基づいて生成された３次元領域である。また、３次元線分３０２１〜３０２４は、エッジ抽出手段１０６によって抽出された特徴線分３０２ａ１〜３０２ａ４（図８（ａ））と特徴線分３０２ｂ１〜３０２ｂ４（図８（ｂ））とに基づいて生成された３次元線分３０２１〜３０２４である。これらの３次元領域３０１及び３次元線分３０２１〜３０２４は、その３次元座標位置によって同一の撮影対象物に関するものであると判定されて統合され、特徴面３０３が生成される。そして、統合手段１０９は、特徴面に関する情報を含む統合データＧ３を、結合手段１１０へ出力する。
【００３６】
結合手段１１０は、統合手段１０９から統合データＧ３を入力する。そして、結合手段１１０は、近接する位置関係にある特徴面同士を対応付けた特徴面群を生成する。すなわち、複数の特徴面がＸ方向及びＹ方向に近接しているような場合、それらの特徴面は同一の撮影対象物に関するものであると言える。結合手段１１０は、そういった特徴面同士を対応付けて、１つの撮影対象物に関する特徴面群を生成する。そして、結合手段１１０は、特徴面及び特徴面群に関する情報を含む結合データＧ４を画像生成手段１１１へ出力する。
【００３７】
画像生成手段１１１は、結合手段１１０から結合データＧ４を入力する。そして、画像生成手段１１１は、結合データＧ４に含まれる特徴面及び特徴面群から、該特徴面及び該特徴線分を有する撮影対象物の３次元画像（ソリッドモデル）を生成する。例えば、画像生成手段１１１は、図９に示すように、特徴面３０３を含み、地面（Ｚ＝０の平面）に垂直な平面である側壁３０４を加えた撮影対象物の３次元画像３０５を生成する。そして、画像生成手段１１１は、３次元画像に関する情報を含む３次元画像データＧ５をテクスチャ合成手段１１２へ出力する。
【００３８】
テクスチャ合成手段１１２は、画像生成手段１１１から３次元画像データＧ５を、記憶部１０１から第２画像データＤ２及び第３画像データＤ３をそれぞれ入力する。そして、テクスチャ合成手段１１２は、３次元画像データＧ５に含まれる３次元画像に対応する撮影対象物のテクスチャを第２画像データＤ２もしくは第３画像データＤ３から切り取って、このテクスチャを３次元画像に合成する。こうして、テクスチャ合成手段１１２は、視覚により認識する撮影対象物の外見と略同様の外見を有する３次元画像データＧ６を生成する。
【００３９】
図１０は、テクスチャを合成した撮影対象物の３次元画像の一例を示す図である。図１０に示す３次元画像３０５には、第２画像データＤ２もしくは第３画像データＤ３から切り取られた、窓などのテクスチャ３０６が貼り付けられている。テクスチャ合成手段１１２は、このようにテクスチャが合成された３次元画像データＧ６を画像処理装置１００の外部へ出力する。
【００４０】
図１１は、上記した実施形態による画像処理装置の動作を示すフローチャートである。図１１を用いて、上記した実施形態による画像処理方法について説明する。
【００４１】
まず、撮影装置２００が有する第１のラインセンサ２０１、第２のラインセンサ２０２、及び第３のラインセンサ２０３が上空から撮影対象物を含む地上の所定領域を撮影する（Ｓ１）。そして、第１のラインセンサ２０１から、飛翔体２０４の進行方向に対して前寄り下方の画像である第１画像データＤ１を得る。また、第２のラインセンサ２０２から、飛翔体２０４の直下の画像である第２画像データＤ２を得る。また、第３のラインセンサ２０３から、飛翔体２０４の進行方向に対して後ろ寄り下方の画像である第３画像データＤ３を得る。そして、これらの画像データが画像処理装置１００に入力される（Ｓ２）。
【００４２】
画像処理装置１００に入力された第１画像データＤ１ないし第３画像データＤ３は、記憶部１０１に記憶される（Ｓ３）。そして、第２画像データＤ２及び第３画像データＤ３が、領域抽出手段１０４及びエッジ抽出手段１０６へ送られる。
【００４３】
領域抽出手段１０４によって、第２画像データＤ２及び第３画像データＤ３から一定の濃淡レベルで特徴付けられる特徴領域が抽出される（領域抽出ステップ、Ｓ４）。そして、特徴領域に関する情報を含む第２領域データＤ２ａ及び第３領域データＤ３ａが、領域対応手段１０４へ送られる。この領域対応手段１０４によって、第２領域データＤ２ａ及び第３領域データＤ３ａに含まれる、同一の撮影対象物の特徴領域がデータ間で対応付けられる（領域対応ステップ、Ｓ５）。
【００４４】
対応付けられた特徴領域に関する情報を含む第２領域対応データＥ２及び第３領域対応データＥ３が、第１演算手段１０５へ送られる。そして、これらの領域対応データに基づいて、対応付けられた特徴領域から、撮影対象物の特徴点を抽出する。そして、この特徴点の３次元座標を算出し、複数の特徴点の３次元座標から３次元領域を求める（第１演算ステップ、Ｓ６）。３次元領域に関する情報を含む３次元領域データＧ１が、エッジ対応手段１０７と統合手段１０９とに送られる。
【００４５】
また、エッジ抽出手段１０６によって、第２画像データＤ２及び第３画像データＤ３に基づいて濃淡レベルの変化の度合い、及び直線部に細分化することによって特徴付けられる特徴線分が抽出される（エッジ抽出ステップ、Ｓ７）。そして、特徴線分に関する情報を含む第２線分データＤ２ｂ及び第３線分データＤ３ｂが、エッジ対応手段１０７へ送られる。このエッジ対応手段１０７によって、第２線分データＤ２ｂ及び第３線分データＤ３ｂに含まれる、同一の撮影対象物の特徴線分がデータ間で対応付けられる（エッジ対応ステップ、Ｓ８）。このとき、当該撮影対象物に対応する特徴領域の３次元座標の高さ成分が、特徴線分を対応付ける際の基準値として利用される。
【００４６】
対応付けられた特徴線分に関する情報を含む第２線分対応データＦ２及び第３線分対応データＦ３が第２演算手段１０８に送られる。そして、これらの線分対応データに基づいて、対応付けられた特徴線分から、撮影対象物の特徴点を抽出する。そして、この特徴点の３次元座標を算出し、複数の特徴点の３次元座標から３次元線分を求める（第２演算ステップ、Ｓ９）。３次元線分に関する情報を含む３次元線分データＧ２が、統合手段１０９へ送られる。
【００４７】
統合手段１０９では、３次元領域データＧ１、及び３次元線分データＧ２に基づいて、同一の撮影対象物に関する３次元領域と３次元線分とが統合され、特徴面が生成される（統合ステップ、Ｓ１０）。そして、特徴面に関する情報を含む統合データＧ３が、結合手段１１０へ送られる。
【００４８】
結合手段１１０では、近接する位置関係にある特徴面同士を対応付けた特徴面群が生成される（結合ステップ、Ｓ１１）。そして、特徴面群に関する情報を含む結合データＧ４が、画像生成手段１１１へ送られる。
【００４９】
画像生成手段１１１では、結合データＧ４に含まれる特徴面及び特徴面群に関する情報から、該特徴面及び該特徴面群を有する撮影対象物の３次元画像が生成される（画像生成ステップ、Ｓ１２）。そして、３次元画像に関する情報を含む３次元画像データＧ５がテクスチャ合成手段Ｓ１３へ送られる。
【００５０】
テクスチャ合成手段では、３次元画像データＧ５に含まれる３次元画像に対応する撮影対象物のテクスチャが第２画像データＤ２もしくは第３画像データＤ３から切り取られて、３次元画像に合成される。そして、視覚により認識する撮影対象物の外見と略同様の外見を有する３次元画像データＧ６が生成される（テクスチャ合成ステップ、Ｓ１３）。こうして生成された３次元画像データＧ６が、画像処理装置の外部へ出力される。
【００５１】
ここで、上記した実施形態に係る画像処理プログラム、および当該画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体（以下、単に記録媒体という）について説明する。ここで、記録媒体とは、コンピュータのハードウェア資源に備えられている読み取り装置に対して、プログラムの記述内容に応じて、磁気、光、電気等のエネルギーの変化状態を引き起こして、それに対応する信号の形式で、読み取り装置にプログラムの記述内容を伝達できるものである。このような記録媒体としては、例えば、磁気ディスク、光ディスク、ＣＤ−ＲＯＭ、コンピュータに内蔵されるメモリなどが該当する。
【００５２】
図１２は、本発明による記録媒体の構成図である。記録媒体４００は、プログラム領域４００ａを備えている。このプログラム領域４００ａには、画像処理プログラム４０１が記録されている。画像処理プログラム４０１は、撮影対象物を含む所定エリアを異なる視点から撮影して得られた複数の２次元画像に基づいて３次元画像を生成するプログラムである。
【００５３】
図１２に示すように、画像処理プログラム４０１は、処理を統括するメインモジュール４０１ａと、２次元画像それぞれから、撮影対象物に対応する特徴領域を抽出する領域抽出処理をコンピュータに実行させる領域抽出モジュール４０１ｂと、特徴領域のうち、同一の撮影対象物に対応する特徴領域を２次元画像間で対応付ける領域対応処理をコンピュータに実行させる領域対応モジュール４０１ｃと、対応付けられた特徴領域から撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元領域を生成する第１演算処理をコンピュータに実行させる第１演算モジュール４０１ｄと、２次元画像それぞれから、撮影対象物に対応する特徴線分を抽出するエッジ抽出処理をコンピュータに実行させるエッジ抽出モジュール４０１ｅと、特徴線分のうち、同一の撮影対象物に対応する特徴線分を第１演算処理により生成された３次元領域の３次元座標の高さ成分を利用して２次元画像間で対応付けるエッジ対応処理をコンピュータに実行させるエッジ対応モジュール４０１ｆと、対応付けられた特徴線分から撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元線分を生成する第２演算処理をコンピュータに実行させる第２演算モジュール４０１ｇと、３次元領域と３次元線分とを統合して特徴面を生成する統合処理をコンピュータに実行させる統合モジュール４０１ｈと、特徴面のうち、近接する位置関係にある特徴面同士を対応付けて特徴面群を生成する結合処理をコンピュータに実行させる結合モジュール４０１ｉと、特徴面及び特徴面群に基づいて、該特徴面及び該特徴面群を有する撮影対象物の３次元画像を生成する画像生成処理をコンピュータに実行させる画像生成モジュール４０１ｊと、撮影対象物の３次元画像に該撮影対象物のテクスチャを合成するテクスチャ合成処理をコンピュータに実行させるテクスチャ合成モジュール４０１ｋとを備えて構成される。
【００５４】
以上に詳述した画像処理装置（方法、及びプログラム）は、以下の効果を有する。すなわち、異なる視点から撮影して生成された複数の２次元画像データに基づいて、３次元領域及び３次元線分を生成している。そして、これら３次元領域及び３次元線分に基づいて特徴面を生成し、特徴面から３次元画像（ソリッドモデル）を生成している。
【００５５】
３次元領域データに含まれている３次元領域は、３次元線分に較べて数が非常に少ないため、３次元領域データを用いることで特徴面を特定すること、及び特徴面を構成する３次元線分を特定することが容易になる。また、３次元線分データに含まれる３次元線分は位置精度が３次元領域の位置精度と較べて良いため、３次元線分データを用いることで特徴面の３次元座標を精度よく求めることができる。こうして求められた特徴面を用いて３次元画像を生成することにより、３次元画像を精度よく生成することができる。
【００５６】
また、画像処理装置（方法、またはプログラム）は、エッジ対応手段（ステップ、または処理）が、特徴線分を画像データ間で対応付ける際に、当該特徴線分に対応する３次元領域の高さ成分を利用している。特徴線分を対応付ける際にはこのようにすることが好ましく、これによって特徴線分を対応付ける処理に要する時間を短縮することができる。
【００５７】
また、画像処理装置（方法、またはプログラム）は、近接する位置関係にある特徴面同士を対応付けて特徴面群を生成する結合手段（ステップ、または処理）を備えている。そして、画像生成手段（ステップ、または処理）は、特徴面及び特徴面群に対応する撮影対象物の３次元画像を生成している。３次元画像を生成する際にはこのようにすることが好ましく、これによって複雑な形状を有する撮影対象物に対しても好適に３次元画像を生成することができる。
【００５８】
また、画像処理装置（方法、またはプログラム）は、撮影対象物の３次元画像にテクスチャを合成するテクスチャ合成手段（ステップ、または処理）を備えることが好ましい。これによって、視覚により認識する撮影対象物の外見と略同様の外見を有する、すなわち実際に上空から見た景色と同様の３次元画像を生成することができる。
【００５９】
本発明による画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体は、上記した実施形態に限られるものではなく、様々な変形が可能である。例えば、複数の２次元画像データとして撮像装置に含まれる３つのラインセンサにより得られる２次元画像データを用いているが、これに限らず、他の撮影機材によって２次元画像データを得ても良い。
【００６０】
また、上記した実施形態においては、第１のラインセンサないし第３のラインセンサによって得られる、第１画像データないし第３画像データのうち第２画像データ及び第３画像データを用いている。特徴線分および特徴領域の対応付け、ならびに３次元線分及び３次元領域の生成にはこのように２つの２次元画像データがあればよい。すなわち、第１画像データないし第３画像データのうち任意の２つを選択して用いることができる。また、ラインセンサの個数は２つ以上の任意の個数とすることができる。
【００６１】
【発明の効果】
本発明による画像処理方法、画像処理装置、画像処理プログラム及びそれを記録したコンピュータ読み取り可能な記録媒体は、異なる視点から撮影して生成された複数の２次元画像データに基づいて、３次元領域及び３次元線分を生成している。そして、これら３次元領域及び３次元線分に基づいて特徴面を生成し、特徴面から３次元画像（ソリッドモデル）を生成している。
【００６２】
３次元領域に基づくことで特徴面を特定することが容易になり、また、３次元線分に基づくことで特徴面の３次元座標を精度よく求めることができる。こうして求められた特徴面を用いて３次元画像を生成することにより、３次元画像を精度よく生成することができる。
【図面の簡単な説明】
【図１】本発明による画像処理装置の実施形態を示すブロック図である。
【図２】撮像装置が取り付けられる飛翔体を示す図である。
【図３】撮影装置が上空から下方を撮影する概念を示す図である。
【図４】建造物上のある点を撮影する瞬間の各ラインセンサの位置を示す図である。
【図５】図５（ａ）は、第２画像データの一例である。図５（ｂ）は、第３画像データの一例である。
【図６】図６（ａ）は、領域抽出手段によって抽出される第２領域データを示す図である。図６（ｂ）は、領域抽出手段によって抽出される第３領域データを示す図である。
【図７】特徴点の３次元座標を算出する原理を説明する図である。
【図８】図８（ａ）は、エッジ抽出手段によって抽出される第２線分データを示す図である。図８（ｂ）は、エッジ抽出手段によって抽出される第３線分データを示す図である。
【図９】３次元領域と３次元線分とを統合したときの一例を示す図である。
【図１０】テクスチャを合成した３次元画像の一例を示す図である。
【図１１】画像処理装置の動作を示すフローチャートである。
【図１２】本発明による記録媒体の構成図である。
【符号の説明】
１００…画像処理装置、１０１…記憶部、１０２…演算部、１０３…領域抽出手段、１０４…領域対応手段、１０５…第１演算手段、１０６…エッジ抽出手段、１０７…エッジ対応手段、１０８…第２演算手段、１０９…統合手段、１１０…結合手段、１１１…画像生成手段、１１２…テクスチャ合成手段、２００…撮像装置、２０１…第１のラインセンサ、２０２…第２のラインセンサ、２０３…第３のラインセンサ。

Claims

撮影対象物を含む所定エリアを異なる視点から撮影して得られた複数の２次元画像に基づいて３次元画像を生成する画像処理方法であって、前記２次元画像それぞれから、前記撮影対象物に対応する特徴領域を抽出する領域抽出ステップと、
前記領域抽出ステップにより抽出された前記特徴領域のうち、同一の前記撮影対象物に対応する前記特徴領域を、前記２次元画像間で対応付ける領域対応ステップと、
前記領域対応ステップにより対応付けられた前記特徴領域から前記撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元領域を生成する第１演算ステップと、
前記２次元画像それぞれから、前記撮影対象物に対応する特徴線分を抽出するエッジ抽出ステップと、
前記エッジ抽出ステップにより抽出された前記特徴線分のうち、同一の前記撮影対象物に対応する前記特徴線分を、前記２次元画像間で対応付けるエッジ対応ステップと、
前記エッジ対応ステップにより対応付けられた前記特徴線分から前記撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元線分を生成する第２演算ステップと、
前記３次元領域と前記３次元線分とを統合して特徴面を生成する統合ステップと、
前記統合ステップにより生成された前記特徴面に基づいて、該特徴面を有する前記撮影対象物の３次元画像を生成する画像生成ステップと
を備えることを特徴とする画像処理方法。
前記エッジ対応ステップは、同一の撮影対象物に対応する特徴線分を前記２次元画像間で対応付ける際に、前記第１演算ステップにより生成された、前記３次元領域の３次元座標の高さ成分を利用することを特徴とする請求項１に記載の画像処理方法。
前記統合ステップにより生成された前記特徴面のうち、近接する位置関係にある前記特徴面同士を対応付けて特徴面群を生成する結合ステップをさらに備え、
前記画像生成ステップは、前記結合ステップにより生成された前記特徴面群に基づいて、前記特徴面群を有する撮影対象物の３次元画像を生成することを特徴とする請求項１に記載の画像処理方法。
前記画像生成ステップにより生成された前記撮影対象物の３次元画像に該撮影対象物のテクスチャを合成するテクスチャ合成ステップをさらに備えることを特徴とする請求項１に記載の画像処理方法。
撮影対象物を含む所定エリアを異なる視点から撮影して得られた複数の２次元画像に基づいて３次元画像を生成する画像処理装置であって、前記２次元画像それぞれから、前記撮影対象物に対応する特徴領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された前記特徴領域のうち、同一の前記撮影対象物に対応する前記特徴領域を、前記２次元画像間で対応付ける領域対応手段と、前記領域対応手段により対応付けられた前記特徴領域から前記撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元領域を生成する第１演算手段と、
前記２次元画像それぞれから、前記撮影対象物に対応する特徴線分を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出された前記特徴線分のうち、同一の前記撮影対象物に対応する前記特徴線分を、前記２次元画像間で対応付けるエッジ対応手段と、
前記エッジ対応手段により対応付けられた前記特徴線分から前記撮影対象物の特徴点を抽出し、該特徴点の３次元座標を算出して３次元線分を生成する第２演算手段と、
前記３次元領域と前記３次元線分とを統合して特徴面を生成する統合手段と、前記統合手段により生成された前記特徴面に基づいて、該特徴面を有する前記撮影対象物の３次元画像を生成する画像生成手段と
を備えることを特徴とする画像処理装置。
請求項１〜４のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
請求項１〜４のいずれか１項に記載の画像処理方法をコンピュータに実行させる画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。