JP2015114147A - 画像合成装置及び画像合成方法 - Google Patents

Abstract

【課題】地上解像度が１ｍ以下の物体を被写体とする場合でも、ＳＡＲ画像とＥＯ画像を合成することができるようにする。【解決手段】奥行き推定処理部２により推定された各画素の奥行きを基準にして、ＳＡＲ画像及びＥＯ画像を複数の領域に分割して、そのＳＡＲ画像の各領域とＥＯ画像の各領域との対応付けを実施し、対応付けた領域毎に、当該領域におけるＳＡＲ画像の明度と、当該領域におけるＥＯ画像の色相及び彩度とを合成するように構成する。【選択図】図１

Description

この発明は、電波地球観測衛星等に搭載されているレーダ装置によって撮像されるＳＡＲ（Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）画像と、光学地球観測衛星等に搭載されているレーダ装置によって撮像されるＥＯ（Ｅｌｅｃｔｒｏ Ｏｐｔｉｃａｌ）画像とを合成する画像合成装置及び画像合成方法に関するものである。

以下の特許文献１には、視認性が高いＳＡＲ画像を得るために、レーダ装置によって撮像されたＳＡＲ画像に対して、電子光学的な方法でＳＡＲ画像と同一地点が撮像された画像であるＥＯ画像を合成している画像合成装置が開示されている。
この画像合成装置では、同一地点を撮像している合成対象の画像（ＳＡＲ画像、ＥＯ画像）を取得すると、例えば、ＤＥＭ（Ｄｉｇｉｔａｌ Ｅｌｅｖａｔｉｏｎ Ｍｏｄｅｌ）などの地表面の高低差を示す数値標高データを利用して、ＳＡＲ画像を正射投影画像に変換するとともに、ＥＯ画像を正射投影画像に変換する。
そして、正射投影画像に変換したＳＡＲ画像と、正射投影画像に変換したＥＯ画像とを合成する。
なお、数値標高データは、地表面の高低差を表す情報であるため、数値標高データの分解能は一般的に１ｍ以上である。

特開２００９−０４７５１６号公報（段落番号［００３９］から［００４５］）

従来の画像合成装置は以上のように構成されているので、ＳＡＲ画像及びＥＯ画像における被写体が山や谷などであれば、数値標高データの分解能が１ｍ以上であっても、ＳＡＲ画像及びＥＯ画像を正射投影画像に変換することができる。しかし、ＳＡＲ画像及びＥＯ画像における被写体が建造物や車両などの物体（地上解像度が１ｍ以下の物体）である場合、分解能が１ｍ以上の数値標高データを利用しても、正確にＳＡＲ画像及びＥＯ画像を正射投影画像に変換することができず、ＳＡＲ画像とＥＯ画像を合成することができない課題があった。

この発明は上記のような課題を解決するためになされたもので、地上解像度が１ｍ以下の物体を被写体とする場合でも、ＳＡＲ画像とＥＯ画像を合成することができる画像合成装置及び画像合成方法を得ることを目的とする。

この発明に係る画像合成装置は、合成開口レーダ画像を構成している各画素の奥行きを推定するとともに、その合成開口レーダ画像と同一地点の撮像画像である光学画像を構成している各画素の奥行きを推定する奥行き推定手段と、奥行き推定手段により推定された合成開口レーダ画像を構成している各画素の奥行きを基準にして、その合成開口レーダ画像を複数の領域に分割するとともに、奥行き推定手段により推定された光学画像を構成している各画素の奥行きを基準にして、その光学画像を複数の領域に分割する画像領域分割手段と、画像領域分割手段により分割された合成開口レーダ画像の各領域と光学画像の各領域との対応付けを行う領域対応付け手段とを設け、画像合成手段が、領域対応付け手段により対応付けられた領域毎に、当該領域における前記合成開口レーダ画像の明度と、当該領域における前記光学画像の色相及び彩度とを合成するようにしたものである。

この発明によれば、合成開口レーダ画像を構成している各画素の奥行きを推定するとともに、その合成開口レーダ画像と同一地点の撮像画像である光学画像を構成している各画素の奥行きを推定する奥行き推定手段と、奥行き推定手段により推定された合成開口レーダ画像を構成している各画素の奥行きを基準にして、その合成開口レーダ画像を複数の領域に分割するとともに、奥行き推定手段により推定された光学画像を構成している各画素の奥行きを基準にして、その光学画像を複数の領域に分割する画像領域分割手段と、画像領域分割手段により分割された合成開口レーダ画像の各領域と光学画像の各領域との対応付けを行う領域対応付け手段とを設け、画像合成手段が、領域対応付け手段により対応付けられた領域毎に、当該領域における前記合成開口レーダ画像の明度と、当該領域における前記光学画像の色相及び彩度とを合成するように構成したので、地上解像度が１ｍ以下の物体を被写体とする場合でも、合成開口レーダ画像と光学画像を合成することができる効果がある。

この発明の実施の形態１による画像合成装置を示す構成図である。 画像合成装置をコンピュータで構成する場合の構成図である。 この発明の実施の形態１による画像合成装置の処理内容（画像合成方法）を示すフローチャートである。 画像記憶部１により記憶されているＳＡＲ画像の一例を示す説明図である。 画像記憶部１により記憶されているＥＯ画像の一例を示す説明図である。 図４のＳＡＲ画像の奥行きを示す説明図である。 図５のＥＯ画像の奥行きを示す説明図である。 ＳＡＲ画像の各分割領域を示す説明図である。 ＥＯ画像の各分割領域を示す説明図である。 領域対応付け処理部４による対応付け結果を示す説明図である。 ＥＯ画像の色相及び彩度をＳＡＲ画像に転写している様子を示す説明図である。 画像合成処理部５によりＳＡＲ画像とＥＯ画像が合成された画像を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による画像合成装置を示す構成図である。
図１において、画像記憶部１は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、電波地球観測衛星等に搭載されているレーダ装置によって撮像されるＳＡＲ画像（合成開口レーダ画像）や、光学地球観測衛星等に搭載されているレーダ装置によって、電子光学的な方法でＳＡＲ画像と同一地点が撮像されたＥＯ画像（光学画像）を記憶している。

奥行き推定処理部２は例えばＣＰＵを実装している半導体集積回路、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、あるいは、ワンチップマイコンなどから構成されており、画像記憶部１により記憶されているＳＡＲ画像を構成している各画素の奥行きを推定するとともに、画像記憶部１により記憶されているＥＯ画像を構成している各画素の奥行きを推定する処理を実施する。
ここで、各画素の奥行きは、レーダ装置から被写体までの距離を意味し、距離が近いほど、被写体の高さが高いと言える。なお、奥行き推定処理部２は奥行き推定手段を構成している。
画像領域分割処理部３は例えばＣＰＵを実装している半導体集積回路、ＧＰＵ、あるいは、ワンチップマイコンなどから構成されており、奥行き推定処理部２により推定されたＳＡＲ画像を構成している各画素の奥行きを基準にして、画像記憶部１により記憶されているＳＡＲ画像を複数の領域に分割するとともに、奥行き推定処理部２により推定されたＥＯ画像を構成している各画素の奥行きを基準にして、画像記憶部１により記憶されているＥＯ画像を複数の領域に分割する処理を実施する。なお、画像領域分割処理部３は画像領域分割手段を構成している。

領域対応付け処理部４は例えばＣＰＵを実装している半導体集積回路、ＧＰＵ、あるいは、ワンチップマイコンなどから構成されており、画像領域分割処理部３により分割されたＳＡＲ画像の各領域とＥＯ画像の各領域との対応付けを行う。なお、領域対応付け処理部４は領域対応付け手段を構成している。
画像合成処理部５は例えばＣＰＵを実装している半導体集積回路、ＧＰＵ、あるいは、ワンチップマイコンなどから構成されており、領域対応付け処理部４により対応付けられた領域毎に、当該領域におけるＳＡＲ画像の明度と、当該領域におけるＥＯ画像の色相及び彩度とを合成する処理を実施する。なお、画像合成処理部５は画像合成手段を構成している。
表示器６は例えば液晶ディスプレイなどから構成されており、画像合成処理部５により合成された画像などを表示する。

図１の例では、画像合成装置の構成要素である画像記憶部１、奥行き推定処理部２、画像領域分割処理部３、領域対応付け処理部４、画像合成処理部５及び表示器６のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像合成装置がコンピュータで構成されていてもよい。
画像合成装置をコンピュータで構成する場合、画像記憶部１をコンピュータのメモリ上に構成するとともに、奥行き推定処理部２、画像領域分割処理部３、領域対応付け処理部４、画像合成処理部５及び表示器６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

図２は画像合成装置をコンピュータで構成する場合の構成図である。
図２には、コンピュータのＣＰＵ１０が、奥行き推定処理部２、画像領域分割処理部３、領域対応付け処理部４及び画像合成処理部５の処理内容を記述しているプログラム（ＳＡＲ奥行き推定プログラム、ＥＯ奥行き推定プログラム、画像領域分割プログラム、領域対応付けプログラム、画像合成プログラム）を実行する順序を明示している。
図３はこの発明の実施の形態１による画像合成装置の処理内容（画像合成方法）を示すフローチャートである。

次に動作について説明する。
図４は画像記憶部１により記憶されているＳＡＲ画像の一例を示す説明図である。
図４のＳＡＲ画像は、図中、画像の右側から撮像されており、建物の像は、図中、右側に倒れ込んでいる。ＳＡＲ画像では、高さがある物体は、レーダ装置のセンサ側に倒れ込む性質があるからである。
図５は画像記憶部１により記憶されているＥＯ画像（ＳＡＲ画像と同一地点を撮像されている画像）の一例を示す説明図である。
図５のＥＯ画像は、図中、画像の下側から撮像されており、建物の像は、図中、上側に倒れ込んでいる。ＥＯ画像では、高さがある物体は、レーダ装置のセンサと反対側に倒れ込む性質があるからである。

奥行き推定処理部２は、画像記憶部１により記憶されているＳＡＲ画像を読み出し、ＳＡＲ奥行き推定プログラムを実行することで、ＳＡＲ画像を構成している各画素の奥行きを推定する（図２のステップＳＴ１）。
ＳＡＲ画像を構成している各画素の奥行きの推定処理自体は公知の技術であり、例えば、特開平０４−１９９４７５号公報などに開示されている。図６は図４のＳＡＲ画像の奥行きを示す説明図である。

また、奥行き推定処理部２は、画像記憶部１により記憶されているＳＡＲ画像を読み出し、ＥＯ奥行き推定プログラムを実行することで、ＥＯ画像を構成している各画素の奥行きを推定する（ステップＳＴ２）。
ＥＯ画像を構成している各画素の奥行きの推定処理自体は公知の技術であり、例えば、特開平０３−１６７６７８号公報などに開示されている。図７は図５のＥＯ画像の奥行きを示す説明図である。

画像領域分割処理部３は、奥行き推定処理部２がＳＡＲ画像を構成している各画素の奥行きを推定すると、画像領域分割プログラムを実行することで、ＳＡＲ画像を構成している各画素の奥行きを基準にして、画像記憶部１により記憶されているＳＡＲ画像を複数の領域に分割する（ステップＳＴ３）。
ＳＡＲ画像を複数の領域に分割する方法としては、例えば、公知のラベリング処理を用いることができる。
ラベリング処理は、隣り合っている画素の奥行きの差が閾値（例えば、１ｍ）以内であれば、隣り合っている画素は同じ領域内の画素であると判別する一方、奥行きの差が閾値より大きければ、隣り合っている画素は異なる領域の画素であると判別することで、ＳＡＲ画像を複数の領域に分割する方法である。図８はＳＡＲ画像の各分割領域を示す説明図である。
この実施の形態１では、ラベリング処理を用いることを想定しているが、ラベリング処理に限るものではなく、例えば、ＳＡＲ画像を構成している各画素の奥行きを基準にして、ＳＡＲ画像の各領域のエッジを検出することで閉じているエリアを特定し、閉じているエリアを一単位として、ＳＡＲ画像を複数の領域に分割するようにしてもよい。

また、画像領域分割処理部３は、奥行き推定処理部２がＥＯ画像を構成している各画素の奥行きを推定すると、画像領域分割プログラムを実行することで、ＥＯ画像を構成している各画素の奥行きを基準にして、画像記憶部１により記憶されているＥＯ画像を複数の領域に分割する（ステップＳＴ４）。
ＥＯ画像を複数の領域に分割する方法としては、ＳＡＲ画像の場合と同様に、例えば、公知のラベリング処理を用いることができる。図９はＥＯ画像の各分割領域を示す説明図である。

領域対応付け処理部４は、画像領域分割処理部３がＳＡＲ画像及びＥＯ画像を複数の領域に分割すると、画像領域分割プログラムを実行することで、画像領域分割処理部３により分割されたＳＡＲ画像の各領域とＥＯ画像の各領域との対応付けを行う（ステップＳＴ５）。
領域の対応付け方法としては、例えば、各分割領域の概略位置、面積、形状、奥行きなどを基準にして、類似性が高い領域同士を対応付ける公知のパターンマッチング法などを用いることができる。図１０は領域対応付け処理部４による対応付け結果を示す説明図である。

画像合成処理部５は、領域対応付け処理部４がＳＡＲ画像の各領域とＥＯ画像の各領域との対応付けを行うと、画像合成プログラムを実行することで、領域対応付け処理部４により対応付けられた領域毎に、当該領域におけるＳＡＲ画像の明度と、当該領域におけるＥＯ画像の色相及び彩度とを合成する（ステップＳＴ６）。
即ち、画像合成処理部５は、領域対応付け処理部４により対応付けられた領域毎に、画像記憶部１から当該領域におけるＥＯ画像の色相及び彩度を読み出し、ＳＡＲ画像の当該領域に対して、ＥＯ画像の色相及び彩度を転写することで、ＳＡＲ画像とＥＯ画像を合成する。
図１１はＥＯ画像の色相及び彩度をＳＡＲ画像に転写している様子を示す説明図である。

ただし、画像合成処理部５は、領域対応付け処理部４により対応付けられたＳＡＲ画像の領域とＥＯ画像の領域との形状が一致しない場合、例えば、公知の内挿処理を実施することで、ＥＯ画像の領域の形状がＳＡＲ画像の領域の形状と一致するように変形させてから、当該領域におけるＳＡＲ画像の明度と、ＥＯ画像の色相及び彩度とを合成するようにする。
図１２は画像合成処理部５によりＳＡＲ画像とＥＯ画像が合成された画像を示す説明図である。
図１２の合成画像は、図４のＳＡＲ画像と比べて、直感的に被写体の状態を把握し易いように改善されている。なお、ＳＡＲ画像の明度は維持されているので、画質は変質していない。

以上で明らかなように、この実施の形態１によれば、ＳＡＲ画像を構成している各画素の奥行きを推定するとともに、そのＳＡＲ画像と同一地点の撮像画像であるＥＯ画像を構成している各画素の奥行きを推定する奥行き推定処理部２と、奥行き推定処理部２により推定されたＳＡＲ画像を構成している各画素の奥行きを基準にして、ＳＡＲ画像を複数の領域に分割するとともに、奥行き推定処理部２により推定されたＥＯ画像を構成している各画素の奥行きを基準にして、ＥＯ画像を複数の領域に分割する画像領域分割処理部３と、画像領域分割処理部３により分割されたＳＡＲ画像の各領域とＥＯ画像の各領域との対応付けを行う領域対応付け処理部４とを設け、画像合成処理部５が、領域対応付け処理部４により対応付けられた領域毎に、当該領域におけるＳＡＲ画像の明度と、当該領域におけるＥＯ画像の色相及び彩度とを合成するように構成したので、地上解像度が１ｍ以下の物体を被写体とする場合でも、ＳＡＲ画像とＥＯ画像を合成することができる効果を奏する。

この実施の形態１では、人工衛星に搭載されているレーダ装置によって撮像されるＳＡＲ画像及びＥＯ画像が、合成対象の画像である例を示したが、例えば、航空機やプラットフォームに搭載されているレーダ装置によって撮像されるＳＡＲ画像及びＥＯ画像が、合成対象の画像であってもよい。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ 画像記憶部、２ 奥行き推定処理部（奥行き推定手段）、３ 画像領域分割処理部（画像領域分割手段）、４ 領域対応付け処理部（領域対応付け手段）、５ 画像合成処理部（画像合成手段）、６ 表示器、１０ ＣＰＵ。

Claims (3)

1. 合成開口レーダ画像を構成している各画素の奥行きを推定するとともに、前記合成開口レーダ画像と同一地点の撮像画像である光学画像を構成している各画素の奥行きを推定する奥行き推定手段と、
   前記奥行き推定手段により推定された合成開口レーダ画像を構成している各画素の奥行きを基準にして、前記合成開口レーダ画像を複数の領域に分割するとともに、前記奥行き推定手段により推定された光学画像を構成している各画素の奥行きを基準にして、前記光学画像を複数の領域に分割する画像領域分割手段と、
   前記画像領域分割手段により分割された前記合成開口レーダ画像の各領域と前記光学画像の各領域との対応付けを行う領域対応付け手段と、
   前記領域対応付け手段により対応付けられた領域毎に、当該領域における前記合成開口レーダ画像の明度と、当該領域における前記光学画像の色相及び彩度とを合成する画像合成手段と
   を備えた画像合成装置。
2. 前記画像合成手段は、前記領域対応付け手段により対応付けられた前記合成開口レーダ画像の領域と前記光学画像の領域との形状が一致しない場合、前記光学画像の領域の形状が前記合成開口レーダ画像の領域の形状と一致するように変形させてから、当該領域における前記合成開口レーダ画像の明度と、当該領域における前記光学画像の色相及び彩度とを合成することを特徴とする請求項１記載の画像合成装置。
3. 奥行き推定手段が、合成開口レーダ画像を構成している各画素の奥行きを推定するとともに、前記合成開口レーダ画像と同一地点の撮像画像である光学画像を構成している各画素の奥行きを推定する奥行き推定処理ステップと、
   画像領域分割手段が、前記奥行き推定処理ステップで推定された合成開口レーダ画像を構成している各画素の奥行きを基準にして、前記合成開口レーダ画像を複数の領域に分割するとともに、前記奥行き推定処理ステップで推定された光学画像を構成している各画素の奥行きを基準にして、前記光学画像を複数の領域に分割する画像領域分割処理ステップと、
   領域対応付け手段が、前記画像領域分割処理ステップで分割された前記合成開口レーダ画像の各領域と前記光学画像の各領域との対応付けを行う領域対応付け処理ステップと、
   画像合成手段が、前記領域対応付け処理ステップで対応付けられた領域毎に、当該領域における前記合成開口レーダ画像の明度と、当該領域における前記光学画像の色相及び彩度とを合成する画像合成処理ステップと
   を備えた画像合成方法。

Images