JP2008203991A - 画像処理装置 - Google Patents

Abstract

【課題】カメラ位置といった特定の情報を必要とせずに空撮画像と地理情報との合成画像を得ることのできる画像処理装置を得る。
【解決手段】空撮画像取得手段１は空撮画像を出力し、形状情報抽出手段３は、空撮画像から３次元形状の形状情報を抽出する。位置特定手段５は、空撮画像に基づく形状情報と、地理情報記憶手段４から取り出した３次元形状の地理情報とを照合して空撮画像の地理情報上の位置を特定する。合成表示制御手段６は、特定された位置に基づき地理情報と空撮画像とを合成した表示データを出力し、表示装置７はこれを表示する。
【選択図】図１

Description

この発明は、例えば、大規模地震などの災害発生時に情報収集や人命救助の目的で運用される防災ヘリコプタにおいて、ヘリコプタに搭載されたカメラ画像を処理する画像処理装置に関するものである。

従来、ヘリコプタ等の航空機によって上空から撮影した画像を地図上に合成して表示する画像表示方法として、例えば特許文献１に示すものがあった。この特許文献１に示された画像表示方法は、上空から撮影した撮影画像の撮影位置を３次元地理形状モデル空間内に特定し、この３次元地理形状モデル上での撮影位置から、３次元地理形状モデルをモデル構成面に関連付けて２次元投影するようにしたものであった。

特開２００４−２２０５１６号公報

しかしながら、上記従来の画像処理方法では、航空測量用の機材を用い、撮影位置や撮影高度といった値が高精度に得られるのが前提の画像処理方法である。一方、防災ヘリコプタといった一般の航空機では自己位置や高度等の値を検出する手段を有してはいても、例えば、その値を用いて、上空から撮影した撮影画像の撮影位置を３次元地理形状モデル空間内に特定するといった処理には不十分なものであり、従って、従来のような画像表示方法をそのまま用いることはできなかった。

この発明は上記のような課題を解決するためになされたもので、カメラ位置といった特定の情報を必要とせずに空撮画像と地理情報との合成画像を得ることのできる画像処理装置を得ることを目的とする。

この発明に係る画像処理装置は、空撮画像から３次元形状の形状情報を抽出する形状情報抽出手段と、形状情報を３次元形状の地理情報と照合して空撮画像の地理情報上の位置を特定する位置特定手段と、特定された位置に基づき地理情報と空撮画像とを合成した表示データを出力する合成表示制御手段を備えたものである。

この発明の画像処理装置は、空撮画像から３次元形状の形状情報を抽出し、この形状情報と、３次元の地理情報とを照合して空撮画像の地理情報上の位置を特定してこれら空撮画像と地理情報とを合成するようにしたので、カメラ位置といった特定の情報を必要とせずに空撮画像と地理情報との合成画像を得ることができる。

実施の形態１．
図１は、この発明の実施の形態１による画像処理装置を示す構成図である。
図において、画像処理装置は、空撮画像取得手段１、傾斜角度取得手段２、形状情報抽出手段３、地理情報記憶手段４、位置特定手段５、合成表示制御手段６、表示装置７からなる。

空撮画像取得手段１は、図示省略したカメラを用いて取得した空撮画像を出力する手段である。ここで、カメラは、例えばヘリコプタ等の航空機に搭載されており、デジタルカメラ等が用いられる。また、傾斜角度取得手段２は、航空機に搭載される傾斜センサからなり、撮影時のカメラの地表面に対する角度を測定し、この値を出力するよう構成されている。

形状情報抽出手段３は、空撮画像取得手段１から出力された空撮画像から画像中の物体の形状情報を抽出する手段である。地理情報記憶手段４は、例えばハードディスク装置といった記憶装置からなり、本発明の画像処理装置が表示対象とする広域の地理情報を３次元形状で表す３次元都市モデルを記憶する手段である。位置特定手段５は、形状情報抽出手段３で抽出された形状情報を、地理情報記憶手段４から取り出した地理情報と照合して、空撮画像の地理情報上の位置を特定する手段である。合成表示制御手段６は、位置特定手段５で特定された位置に基づき、地理情報と空撮画像とを合成した表示データを生成する３次元コンピュータグラフィクス処理手段である。表示装置７は、合成表示制御手段６で生成された表示データを表示するディスプレイである。また、形状情報抽出手段３〜表示装置７は、コンピュータ１００によって実現されており、形状情報抽出手段３、位置特定手段５及び合成表示制御手段６は、それぞれの機能に対応したソフトウェアと、これらのソフトウェアを実行するためのＣＰＵやメモリといったハードウェアから構成されている。

次に、実施の形態１の画像処理装置におけるデータについて説明する。
図２は、地理情報記憶手段４に記憶されている地理情報に相当する３次元都市モデルを示す説明図である。
図示のように、３次元都市モデルは、オフィスビルなどの建造物が多角柱で表現された地理情報であり、ここでは斜視図として表現されている。
図３は、空撮画像取得手段１のカメラによって取得された空撮画像の例である。
図３において、空撮画像１１は、特定のカメラによってある所定時刻に取得された画像であり、空撮画像１２は、同じカメラによって空撮画像１１の撮影時刻の１秒前に取得された画像を表している。

以下、実施の形態1の画像処理装置の動作について説明する。
図４は、実施の形態１の画像処理装置の動作を示すフローチャートである。
先ず、空撮画像取得手段１によって、図３に示すような空撮画像１１，１２が取得され、形状情報抽出手段３入力される（ステップＳＴ１）。次に、形状情報抽出ステップとして、形状情報抽出手段３は、入力された空撮画像１１および空撮画像１２をステレオ視の原理によって処理し、これら画像１１，１２中の地物の３次元形状を推定する（ステップＳＴ２）。この結果の例を図５に示す。

図５に示した例は、空撮画像１１中の地物の３次元形状を推定したものであり、ここ示されている点群は、空撮画像１１中の建物の角などの特徴的な画素を示している。図中、濃淡値はカメラからの距離（黒に近いほどカメラに近く、白に近いほどカメラから遠い）を示している。尚、ステレオ視の原理により、撮影時のカメラ位置が未知であっても画像から３次元形状を推定する技術は広く知られているので、ここでは詳しい説明を省略する。この技術に関する文献としては、例えば「P. A. Beardsley, A. Zisserman, D. W. Murray: "Sequential Updating of Projective and Affine Structure from Motion", International Journal of Computer Vision, 23(3), pp235-259, 1997」等がある。

次に、位置特定ステップとして、位置特定手段５は、第１に、地理情報記憶手段４から図２に示すような３次元都市モデルを取り出し（ステップＳＴ３）、図６に示すようなオルソ距離画像を生成する（ステップＳＴ４）。尚、オルソ距離画像とは、３次元都市モデルを天頂方向から平行投影撮影した画像において、各画素の相当する地点の標高をその画素の濃度値に対応付けたものである。例えば、高層の建物ほど暗く、低層の建物ほど明るく表示される。また、位置特定手段５は、第２に、傾斜角度取得手段２によって計測された撮影時のカメラと地表面との角度情報に基づき、形状情報抽出手段３によって抽出された図５の３次元形状から、図６に示す例と同様にオルソ距離画像を生成する（ステップＳＴ５）。このオルソ距離画像を図７に示す。

更に、位置特定手段５は、第３に、二つのオルソ距離画像が最もよくマッチングする位置を探す（ステップＳＴ６）。この様子を図８に示す。この処理には、例えば、広く知られている正規化相互相関テンプレートマッチングアルゴリズムを用いることができる。尚、このマッチング処理では、図７に示す空撮画像に基づくオルソ距離画像と、広域の３次元都市モデルのオルソ距離画像とのマッチングを行うが、例えば、空撮画像取得時の位置情報（緯度、経度、標高）が得られる場合は、マッチングを行う３次元都市モデルの範囲をある程度絞り込んでもよい。

次に、合成表示データ生成ステップとして、合成表示制御手段６は、第１に、図２の３次元都市モデルを３次元コンピュータグラフィクス処理する。また、合成表示制御手段６は、第２に、位置特定手段５の処理結果に基づき、３次元コンピュータグラフィクスの表示が、図３の空撮画像と一致するように、コンピュータグラフィクスにおける視点を設定する（ステップＳＴ７）。
図９は、視点の設定を示す説明図であり、画像４１は、空撮画像１１の視点に合わせて視点を設定した３次元コンピュータグラフィックスの画像を示している。
このようにコンピュータグラフィクスの視点が定まれば、３次元都市モデルのどの面に、空撮画像をマッピングすればよいかを計算できる。そこで、合成表示制御手段６は、第３に、図２の３次元都市モデルに図３の空撮画像を合成し（ステップＳＴ８）、これを表示装置７で表示する。この表示例を図１０に示す。

尚、上記実施の形態１では、形状情報抽出手段３に入力する空撮画像として、１台のカメラにより所定時刻に撮影した空撮画像と、所定時刻から１秒前に撮影した空撮画像を用いたが、航空機に予め２台以上のカメラを備えておき、所定時刻に複数のカメラから撮影した複数の空撮画像を用いるよう構成してもよい。このように構成することにより、対象とする領域の空撮画像として、より精度の高い空撮画像を得ることができる。

また、実施の形態１では、位置特定手段５が、形状情報抽出手段３で抽出された形状情報からオルソ距離画像を生成する際、カメラと共に航空機に備え付けられた傾斜センサの計測結果を用いたが、抽出された形状情報を平面近似することによって地表面に対するカメラの傾斜を推定した結果を用いるよう構成してもよい。このように構成することによって、傾斜角度取得手段２からの情報がなくても本発明の画像処理装置を実現することができる。

以上のように、実施の形態１の画像処理装置によれば、地理情報を３次元形状として記憶する地理情報記憶手段と、カメラを用いて取得した空撮画像を出力する空撮画像取得手段と、空撮画像から３次元形状の形状情報を抽出する形状情報抽出手段と、形状情報を地理情報と照合して空撮画像の地理情報上の位置を特定する位置特定手段と、特定された位置に基づき地理情報と空撮画像とを合成した表示データを出力する合成表示制御手段を備えたので、カメラ位置といった特定の情報を必要とせずに、空撮画像と地理情報との合成画像を容易に得ることができる。

また、実施の形態１の画像処理装置によれば、空撮画像取得手段は、異なる位置から撮影した複数の空撮画像を出力し、形状情報抽出手段は、複数の空撮画像に対してステレオ視の原理により、複数の空撮画像中の地物の形状を推定し、位置特定手段は、空撮画像中の地物の形状と、地理情報記憶手段に記憶されている３次元形状の地理情報とを照合し、３次元形状が一致した領域を、空撮画像の地理情報上の位置として特定するようにしたので、空撮画像のみでその３次元形状の形状情報を得ることができ、システム上の制約に影響されず、ほとんどの空撮画像を対象として地理情報との合成表示を行うことができる。

また、実施の形態１のプログラムによれば、コンピュータに、空撮画像を地理情報と合成した表示データを生成させるためのプログラムであって、空撮画像から３次元形状の形状情報を抽出する形状情報抽出ステップと、形状情報を、３次元形状で表される地理情報と照合して、空撮画像の地理情報上の位置を特定する位置特定ステップと、特定された位置に基づき地理情報と空撮画像とを合成した表示データを生成する合成表示データ生成ステップとを実行させるようにしたので、コンピュータを用いて、カメラ位置といった特定の情報を必要とせずに、空撮画像と地理情報との合成画像を容易に得ることができる画像処理装置を実現することができる。

この発明の実施の形態１による画像処理装置を示す構成図である。 この発明の実施の形態１による画像処理装置の３次元都市モデルを示す説明図である。 この発明の実施の形態１による画像処理装置の空撮画像の一例を示す説明図である。 この発明の実施の形態１による画像処理装置の動作を示すフローチャートである。 この発明の実施の形態１による画像処理装置の空撮画像の３次元形状推定処理の説明図である。 この発明の実施の形態１による画像処理装置の３次元都市モデルのオルソ距離画像を示す説明図である。 この発明の実施の形態１による画像処理装置の空撮画像から生成した３次元形状のオルソ距離画像を示す説明図である。 この発明の実施の形態１による画像処理装置の二つのオルソ距離画像のマッチングを示す説明図である。 この発明の実施の形態１による画像処理装置の合成表示における視点の設定を示す説明図である。 この発明の実施の形態１による画像処理装置の合成表示の説明図である。

符号の説明

１ 空撮画像取得手段、３ 形状情報抽出手段、４ 地理情報記憶手段、５ 位置特定手段、６ 合成表示制御手段、１１，１２ 空撮画像、１００ コンピュータ。

Claims (3)

1. 地理情報を３次元形状として記憶する地理情報記憶手段と、
   カメラを用いて取得した空撮画像を出力する空撮画像取得手段と、
   前記空撮画像から３次元形状の形状情報を抽出する形状情報抽出手段と、
   前記形状情報を前記地理情報と照合して前記空撮画像の地理情報上の位置を特定する位置特定手段と、
   特定された位置に基づき前記地理情報と前記空撮画像とを合成した表示データを出力する合成表示制御手段を備えた画像処理装置。
2. 空撮画像取得手段は、異なる位置から撮影した複数の空撮画像を出力し、
   形状情報抽出手段は、前記複数の空撮画像に対してステレオ視の原理により、当該複数の空撮画像中の地物の形状を推定し、
   位置特定手段は、前記空撮画像中の地物の形状と、地理情報記憶手段に記憶されている３次元形状の地理情報とを照合し、３次元形状が一致した領域を、前記空撮画像の地理情報上の位置として特定することを特徴とする請求項１記載の画像処理装置。
3. コンピュータに、空撮画像を地理情報と合成した表示データを生成させるためのプログラムであって、
   空撮画像から３次元形状の形状情報を抽出する形状情報抽出ステップと、
   前記形状情報を、３次元形状で表される地理情報と照合して、前記空撮画像の前記地理情報上の位置を特定する位置特定ステップと、
   特定された位置に基づき前記地理情報と前記空撮画像とを合成した表示データを生成する合成表示データ生成ステップとを実行させるためのプログラム。

Images