JP2004516533A

JP2004516533A - 合成開口レーダーおよび前向き赤外線イメージ重ね合わせ方法

Info

Publication number: JP2004516533A
Application number: JP2002529716A
Authority: JP
Inventors: チェン，ヤン
Original assignee: HRL Laboratories LLC
Current assignee: HRL Laboratories LLC
Priority date: 2000-09-22
Filing date: 2001-09-22
Publication date: 2004-06-03
Also published as: US6795590B1; EP1319216A2; WO2002025592A3; AU2001294679A1; WO2002025592A2

Abstract

合成開口レーダー（ＳＡＲ）および前向き赤外線（ＦＬＩＲ）イメージを関連付けるかまたは対応させるのに用いられる方法がここに開示される。双方のイメージから検出可能な特徴点に基づき、２段階アプローチを採用して、ＳＡＲおよびＦＬＩＲイメージ重ね合わせの問題点に立ち向かう：ＦＬＩＲイメージから検出された特徴点をＳＡＲイメージ座標に変換する初期重ね合わせ段階；およびＳＡＲおよびＦＬＩＲ特徴点が「一般化されたＨｏｕｇｈ変換」を受け、それから、マッチング特徴点の最大サブセットが得られ、重ね合わせ変換を導くことができる残存重ね合わせ段階。これらの２つの段階は、ＳＡＲおよびＦＬＩＲイメージ重ね合わせ方法を含む５つの工程：１）該ＳＡＲおよびＦＬＩＲイメージから特徴点を抽出し；２）ＦＬＩＲイメージの初期重ね合わせを生じさせ；３）一般化されたＨｏｕｇｈ変換を利用して二次元残存重ね合わせを生じさせ；４）重ね合わせ変換を見積もり；次いで、５）重ね合わせを確認することに分けられる。この方法は、残存重ねあわせが（６よりはむしろ）二次元Ｈｏｕｇｈ変換でなされることを可能とし、その結果、迅速かつ強固な実行がもたらされ、ならびに偽重ね合わせの可能性を低下させる。

Description

【０００１】
【発明の属する技術分野】
（発明の分野）
本発明は、２つのイメージの重ね合わせを解く方法に関する。特に、本発明は、合成開口レーダー（ＳＡＲ）イメージの、および前向き赤外線（ＦＬＩＲ）イメージの重ね合わせを解く２段階方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
（先行技術の簡単な記載）
伝統的なイメージ重ね合わせシステムは、多くの修正技術の変形を用いる、灰色レベルの空間的分布において重ね合わすべきイメージの対の間の同様性に頼る。これらのアプローチは、ＳＡＲおよびＦＬＩＲのごときイメージングセンサーによって使用される異なる現象学のため、イメージの空間的灰色レベル分布がイメージの間で変化する場合には働かない。特徴−ベースのイメージ重ね合わせ技術は、２つのイメージからの（点以外の）抽出された特徴の間のいくつかの同様性に頼る。１つのイメージの個々の特徴セグメントは、これらの抽出された特徴を用いてもう１つからのものに対してマッチングさせることができる。しかしながら、これらの種類の特徴はＳＡＲおよびＦＬＩＲ双方には稀にしか存在しないか、あるいは抽出するのが非常に困難である。他方、点−ベースの重ね合わせ技術は、透視変換下でモデルおよびセンサー配置をイメージするのを満足するイメージの点の組の特異的配置を開発する。これは、通常、高計算複雑性を含めた多次元空間においてパラメータの組につきサーチすることを含む。
【０００３】
重ね合わせは、対応またはマッチング問題を解くための（空気センサーのごとき）マルチ−センサーシステムで必要である。ＳＡＲおよびＦＬＩＲイメージの対および関連センサーモデルが与えられると、２つのイメージを重ね合わすためには、少なくとも６つの独立したパラメータ値を決定しなければならない。これは、（センサーモデルおよび関連パラメータ、センサー位置および向きを含めた）センサープラットフォームについてのいくつかの先行知識がなければ一般に困難である。理論的には、もし全てのセンサーパラメーターおよびセンサープラットフォーム情報が知られていれば、２つのイメージは重ね合わせることができる。しかしながら、実行においては、技術水準のセンサー技術を持ってさえも、センサーシステムにおける誤差および／またはノイズのため、あるいはその操作の特徴によって、重ね合わせが依然として必要である。ＳＡＲおよびＦＬＩＲイメージ重ね合わせでは、これは特別の挑戦を取る。というのは、２つのイメージを修正するのに容易に用いることができるＳＡＲおよびＦＬＩＲイメージには数個の特徴があるからである。
【０００４】
従って、低い計算複雑性および高い強固性をもって、ＳＡＲおよびＦＬＩＲイメージを重ね合わすことができる方法を提供するのが望ましい。
【０００５】
【課題を解決するための手段】
（発明の概要）
本発明は、双方のイメージから検出可能な特徴点に基づき、合成開口レーダー（ＳＡＲ）イメージの、および前向き赤外線（ＦＬＩＲ）イメージの重ね合わせを解く方法に関する。該方法は２つの段階：初期重ね合わせ段階および残存重ね合わせ段階によって区別される。初期重ね合わせにおいては、ＦＬＩＲイメージから検出された特徴点をＳＡＲイメージ座標に変換する。残存重ね合わせ段階においては、ＳＡＲからの特徴点の組およびＦＬＩＲからのものは一般化されたＨｏｕｇｈ変換（ＧＨＴ）を受け、それから、マッチング点の最大サブセットが得られ、重ね合わせ変換を得ることができる。本発明における該方法は、第１の段階で用いた方法でもって、第２の段階の残存重ね合わせが、むしろより高い次元において二次元（２−Ｄ）ＧＨＴでなされることを可能とする。
【０００６】
利用可能なセンサーパラメーターおよびセンサー位置の情報を用い、重ね合わせ仕事は５つの工程：（１）ＳＡＲおよびＦＬＩＲイメージ双方からの特徴点を検出し；（２）公知のセンサーパラメーターおよびセンサープラットフォーム情報を用い、特徴点をＦＬＩＲイメージからＳＡＲイメージに変換し；（３）２−Ｄ並進ドメインにおけるＳＡＲ特徴点の組および変換されたＦＬＩＲ特徴点の組につきＧＨＴを実行し、ＧＨＴからマッチング特徴点の最大サブセットを選択し；（４）更新された重ね合わせ変換を計算し；次いで、（５）重ね合わせ変換を評価することに分けることができる。その結果、本発明は、ＳＡＲおよびＦＬＩＲを整列させるイメージ重ね合わせ変換、およびＳＡＲおよびＦＬＩＲイメージの間の対応する点の対の組の双方を提供する。重ね合わせに関与する重ね合わせサーチ空間の減少は６次元から２次元である。この減少の結果は、偽重ね合わせおよびデータ収集の間に導入されるノイズおよび誤差に対する強固な重ね合わせの可能性の実質的減少を含む。また、この方法は、特徴点の組のマッチングが、ＳＡＲおよびＦＬＩＲ双方のイメージにおいて全特徴点集団の非常に小さな一部のみを構成し、残りはシーンにおいてランダムクラスターによって引き起こされる場合にも働く。
【０００７】
【発明の実施の形態】
（本発明の詳細な記載）
本発明は、双方のイメージから抽出された特徴点を用いることによって、ＳＡＲイメージおよびＦＬＩＲイメージの重ね合わせを解く方法に関する。本発明の方法は、５つの区別される工程を含むプロセスとして以下に記載される。本発明に対して必要な入力は、以下の工程１に記載された特徴点にあり、本発明の出力は１）ＳＡＲおよびＦＬＩＲイメージからの特徴点の対応性；２）ＦＬＩＲイメージにおけるいずれの点をもＳＡＲイメージに変換する重ね合わせ変換を含む。
【０００８】
工程１：特徴点の抽出
まず、一定偽−アラーム速度（ＣＦＡＲ）ディテクターのごときよく知られたアルゴリズムの１つを用いることによって、ＳＡＲおよびＦＬＩＲイメージ双方から特徴点を抽出する。本発明で用いるべき特徴点についての要件は、それらはＳＡＲおよびＦＬＩＲ双方からの検出可能なある種の点を表すものでなければならず、双方のイメージにおいて同様に位置することができることである。そのような特徴点の例がシーンにおけるある種の物体の位置である。標的検出／認識適用において、特徴点は、所望により、標的−同様性尺度が付けられたものを有することができる。工程１は、２つのイメージがそれらがカバーする空間において重複を有する、および共通の特徴点を双方のイメージから検出することができることを仮定する。これらの仮定が真実でなければ、重ね合わせは失敗し、状況は工程３または５で検出することができる。ウィンドウサイズｗと呼ばれる特徴抽出におけるパラメータがあり、これは、とりわけ、２つの検出された特徴をどのように近く（イメージ画素において測定）することができるかを決定する。ウィンドウサイズは、（物体サイズのごとき）イメージにおける特徴の性質によって決定される。ＳＡＲについてのｗ＝２１のウィンドウサイズは、以下の記載において非限定的例として用いられる。ＦＬＩＲについての特異的ウィンドウサイズは、本発明を実施するにおいて要求されない。
【０００９】
工程２：初期重ね合わせ
初期重ね合わせは、利用可能な（おそらくは、ノイズおよび誤差についての）センサー真実データを用い、ＦＬＩＲイメージで検出された特徴点をＳＡＲイメージの接地面座標フレームに変換するプロセスである。センサー真実データは（限定されるものではないが、ＳＡＲおよびＦＬＩＲについての解およびＦＬＩＲについての焦点長さを含めた）センサーパラメーター、センサー位置情報（センサーの位置、＋ＦＬＩＲについての方位角、傾斜角および回転角）を含む。ＦＬＩＲ特徴点をＳＡＲに変換するには、均一座標系においてＦＬＩＲセンサー−イメージングモデルを作成する：
（数式１）

【００１０】
［式中、Ｐはイメージすべき点を表すカメラ座標フレームにおける三次元（３−Ｄ）点であり、（Ｘ−Ｙ）はＰのイメージであり、ｕはスケーリングファクターであり、およびＦはカメラ焦点長である］。Ｐは、以下のごとく、参照フレームＷにおける座標（ｘ，ｙ，ｚ）^ｌによって表すことができる：
（数式２）

【００１１】
［式中、Ｒ_ｒ、Ｒ_ｄおよびＲ_ａは、参照フレームに対するカメラ座標フレームの回転角θ_ｒ、俯角θ_ｄおよび方位角θ_ａを表す３×３正規直交回転行列であり、および（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）^ｌは参照フレームＷにおけるカメラ座標フレームの原点を表す位置ベクトルである］。
【００１２】
簡潔にするために、このセクションの残りにおいては、参照フレームは、そのＸＯＹ面がＳＡＲイメージ接地面と同じ空間を占め、そのＸおよびＹ軸が、各々、ＸＡＲイメージのＸおよびＹ軸と同じ空間を占め、そのＺ軸は上方に向くと仮定する。ＦＬＩＲカメラの注目する全ての点が、選択された参照フレームにおいてｚ＝ｈである接地面に存在すると仮定すれば、方程式（１）および（２）はｘおよびｙについて解くことができ、その結果、イメージ点（Ｘ−Ｙ）から３−Ｄ点、（ｘ，ｙ，ｚ）への逆投影変換がもたらされる：

【００１３】
方程式（３）の逆投影変換を、ＦＬＩＲイメージにおける各特徴点に適用する。次いで、以下のごとく、これらの逆投影された特徴点を単にＳＡＲイメージ座標で評価する：
（数式４）

【００１４】
［式中、（ｘ，ｙ）^ｔは参照フレームＷにおけるＦＬＩＲ特徴点の逆投影であり、（ｘｓ，ｙｓ）はＳＡＲイメージにおける逆投影であり、およびｃはＳＡＲイメージの解を反映する定数である。残りの議論において、「逆投影」としての方程式（３）および（４）双方を含む数学的変換を参照する。｛（ｘｓ_ｉ，ｙｓ_ｉ）｝，ｉ＝１，…，Ｎを逆投影されたＦＬＩＲ特徴点の組とし、｛（ｘｒ_ｉ，ｙｒ_ｉ）｝，ｉ＝１…，ＭをＳＡＲ特徴点の組とする。現在、重ね合わせ問題は、｛（ｘｓ_ｉ，ｙｓ_ｉ）｝のサブセットを｛（ｘｒ_ｉ，ｙｒ_ｉ）｝のサブセットとマッチさせることである。もしセンサー真実の正確な測定が利用できれば、｛（ｘｓ_ｉ，ｙｓ_ｉ）｝のサブセットは｛（ｘｒ_ｉ，ｙｒ_ｉ）｝の対応するサブセットに正確にマップされ、検出位置は正確であって、前記関連仮定は真実であると仮定する。しかしながら、現実には、センサー真実データは、ノイズおよび測定誤差のためしばしば正確ではない。測定におけるノイズおよび誤差は、ＳＡＲ特徴点および逆投影されたＦＬＩＲ特徴点がもしそれらがシーンにおける同一特徴点に対応すれば正確に整列しないように、残存重ね合わせエラーを引き起こし得る。
【００１５】
従って、特徴点のそのような２つの組をマッチさせる一般的問題は、少なくとも６つの次元（回転につき３および並進につき３）のパラメータ空間においてサーチして、測定誤差およびノイズを説明することを含む。これは、センサーパラメーター（センサーの解像度および焦点長）は正確に測定することができると仮定する。
【００１６】
工程３：残存重ね合わせ
パラメーターサーチ空間減少
方程式（３）は、いずれかのイメージ点を３−Ｄ点への逆投影を行う一般式を表す。センサー真実における変化の間の関係およびＦＬＩＲ特徴点の逆投影の結果（ｘｓ，ｙｓ）^ｔの詳細な解析は、ＦＬＩＲカメラからＦＬＩＲフィールド−オブ−ビュー（ＦＯＶ）の中心への距離が、ＦＬＩＲＦＯＶにおいてカバーされる領域のサイズに対してはるかに大きい場合、残存重ね合わせ誤差は、圧倒的に、俯角θ_ｄおよび方位角θ_ａの変化によって引き起こされる。他のセンサー真実値の変化は逆投影における比較的小さな変化を引き起こすに過ぎず、無視することができる。例えば、カメラ回転角θｒの小さな変化は得られた逆投影に歪みを引き起こし、カメラ位置の小さな変化は逆投影における並進の小さな変化を引き起こす。さらに、俯角θ_ｄおよび方位角θ_ａにおける不正確さによるＦＬＩＲ特徴点の逆投影の位置の変化は、純粋な並進として近似的にモデル化することができる。換言すれば、同一の物理的特徴点に対応する特徴点の２つのサブセット（１つはＳＡＲからのものであり、１つは逆投影の後のＦＬＩＲからのものである）は並進により位置が異なるに過ぎないゆえに、特徴点の２つの組の誤重ね合わせを２−Ｄで解くことができる。
【００１７】
この２−Ｄ並進を解くためには、特徴点の１つの対が必要なのに過ぎない：ＳＡＲおよびＦＬＩＲイメージからの各々１つ。対応性（ＳＡＲにおけるいずれの点がＦＬＩＲにおけるいずれの点に対応するか）が知られていなければ、この方法は用いることができない。加えて、点のただ１つの対に頼ることは、正確でもないし、または強固でもない。全ての利用可能な特徴点を用いなければならない。特徴点の対応性および残存重ね合わせ誤差を排除する並進は共に見出されなければならない。ＧＨＴは同時に双方の問題を解くのを助けることができる。ＧＨＴ実行において、２−Ｄ蓄積アレイは、ＳＡＲ特徴点および対応する逆−投影されたＦＬＩＲ特徴点の間の並進を測定するアレイ指標で設定される。ＳＡＲおよびＦＬＩＲからの特徴点の全ての可能な対を数え上げる。各そのような対につき、それらを重ね合わせるのに必要な並進を計算し、指標として並進を用いてＧＨＴ蓄積アレイにおいて１つの票を入れる。最後に、（票の数および他の因子を組み合わせる）最高スコアを持つＧＨＴ蓄積アレイエレメント（定義については下記参照）は、正しい並進を表し、エレメントにつき投票された特徴点の組は、設定されたマッチング点を形成する。この仕事を達成するようにＧＨＴは選択される。なぜならば、それは非反復形式アプローチであり、実行するのが非常に単純であり、最も重要なことには、ノイズに対して強固であるからである。「ノイズ」は、検出された特徴点、および混乱による望まない特徴点における位置の誤差を共に含み、これは他のイメージにおいて対応性を有しない。
【００１８】
ＧＨＴの実行を以下により徹底的に記載する。
【００１９】
一般化されたＨｏｕｇｈ変換（ＧＨＴ）
ＧＨＴ蓄積アレイのサイズ
アレイサイズは、以下の図面に示すように、逆投影されたＦＬＩＲ特徴点、ＳＡＲ特徴点のスパンによって決定される。
【００２０】
【図Ｘ】

【００２１】
ＧＨＴアレイはサイズ（Ｘ_ｍａｘ−Ｘ_ｍｉｎ）／ｑ＋１×（Ｙ_ｍａｘ−Ｙ_ｍｉｎ）／ｑ＋１のものであり、ここに、ｑは量子化単位である（すなわち、蓄積アレイにおけるセルはサイズｑ×ｑの平方を表す）。量子化単位ｑはウィンドウサイズｗ（前記参照）：ｑ＝［ｗ／４］に従って決定され、ここに、［ｘ］はｘよりも大きな最小整数である。
【００２２】
ＧＨＴにおけるメモリー効率を増加させるためには、ＳＡＲ特徴点および逆投影されたＦＬＩＲ点の群が相互に離れている場合、（例えば、ＦＬＩＲから逆投影された）特徴点の１つの組は、２つの組がおおまかに同一空間を占めるように、蓄積アレイを組み立てる前にシフトすることができる。これは、例えば、点の双方の組の重心を計算し、逆投影されたＦＬＩＲ点をシフトさせることによって、それらを相互に整列させることによってなすことができる。このアプローチは、特徴点の合計スパン、従って、蓄積アレイのサイズを減少させる。しかしながら、現実の並進は残存重ね合わせを解明するにおいて計算する場合、この余分なシフトを考慮しなければならない。これを達成するために逆投影されたＦＬＩＲに加えられた合計シフトを（Δｘ_ｇ，Δｙ_ｇ）と表す。
【００２３】
ＧＨＴアルゴリズム
１．Ｃを適当なサイズの２−Ｄアレイとする。Ｃにおける各エレメントは並進パラメータ空間においてｑ×ｑの平方を表し、ここに、ｑは量子化単位である。Ｃにおける全てのエレメントをゼロ（０）にセットする。
【００２４】
２．｛（ｘｓ_ｉ，ｙｓ_ｉ）｝，ｉ＝１，…Ｎを逆投影されたＦＬＩＲ特徴点の組とし、｛（ｘｒ_ｉ，ｙｒ_ｉ）｝，ｉ＝１，…．，ＭをＳＡＲ特徴点の組とする。以下の反復を実行する：
各（ｘｓ_ｉ，ｙｓ_ｉ），ｘ＝１ないしＮにつき、
各（ｘｒ_ｊ，ｙｒ_ｊ），ｊ＝１ないしＭにつき、
（ｄｘ，ｄｙ）←（（ｘｓｉ−ｘｒｉ）／ｑ，（ｙｓｉ−ｙｒｉ）／ｑ）
（Ｄｘ，Ｄｙ）← ［ｄｘ］，［ｄｙ］）
（Ｄｘ，Ｄｙ）←Ｃ（Ｄｘ，Ｄｙ）＋１
（Ｄｘ−１，Ｄｙ）←Ｃ（Ｄｘ−１，Ｄｙ）＋１
（Ｄｘ，Ｄｙ−１）←Ｃ（Ｄｘ，Ｄｙ−１）＋１
（Ｄｘ−１，Ｄｙ−１）←Ｃ（Ｄｘ−１，Ｄｙ−１）＋１
終了
終了
［式中、［ｘ］はｘより小さな最大整数である］。この工程において、ＳＡＲおよびＦＬＩＲ特徴点の各対は、複数の隣接セルにおいて票を投じる。従って、事実、蓄積セルは重複する範囲を有する。これは、また、得られた蓄積アレイを畳み込むことに同等であり、各対につき１つの票を投じ、２×２の核は全ての１．０を含む。重複セルの使用は、真の並進が２以上のセルの境界または境界近くに位置する状況を防ぐ。この状況は、近くのセルの中で票が割れることを引き起こし、誤った解をもたらす可能性がある。
【００２５】
３．Ｌを、その票のカウントがゼロよりも大きく、その位置の標準偏差σ_ｌ（後記にて定義）が組閾値Ｔ_ｌ未満である蓄積セルのリストとする。リストＬ中の各セルにつきスコアを計算する。
【００２６】
各蓄積セルのスコアはａ）票の数；ｂ）共通特徴を持つ物体の組からのものであるセルにつき票を投じる（双方のイメージからの）特徴点の尤度の関数である。本発明では、スコアは、セル中の全ての対のＦＬＩＲ特徴強度の合計と定義される。ＦＬＩＲ特徴強度は、今度は、そのバックグラウンドに対するＦＬＩＲ特徴の平均コントラストである。スコアの関数はＳＡＲからの特徴強度を含むことができる。この「スコアリング関数」の目的は、ＧＨＴの結果をランク付けすることである。位置標準偏差σ_ｌは、与えられたセルにおける、票についてのｄｘおよびｄｙの標準偏差の幾何平均である；
σ_ｌ＝ √σ_ｘ ^２＋σ_ｙ ^２
［式中、σ_ｘおよびσ_ｙは、各々、ｄｘおよびｄｙの標準偏差である］。位置標準偏差についての閾値はＴｉ＝（２／３）ｑに設定され、ここに、ｑはセル量子化単位である。定数２／３は、得られた結果において高信頼性を維持するのに用いられる。その結果、位置標準偏差の使用はＧＨＴの結果を効果的にスクリーニングする。
【００２７】
４．（ｄｘｍ，ｄｙｍ）を、最大スコアを持つＬにおけるセルについての指標とする。
【００２８】
５．もし（ｄｘｍ，ｄｙｍ）におけるＣでの票カウントＫ、Ｋ＝Ｃ（ｄｘｍ，ｄｙｍ）が４未満であれば（すなわち、Ｃ（ｄｘｍ、ｄｙｍ）＜４）、失敗が報告され終了する。さもなければ成功が報告され、（ｄｍｘ，ｄｙｍ）におけるセルについて投票された対の組はマッチング解を構成する。
【００２９】
工程４：重ね合わせ変換の見積もり
最後の工程におけるＧＨＴの結果、ＳＡＲおよびＦＬＩＲからの特徴点のマッチング対の組が得られる。マッチング点のこの組でもって、重ね合わせ変換を見積もることができ、これを用いて、ＦＬＩＲイメージにおけるいずれの点（マッチング組における点に限らない）もＳＡＲイメージに変換することができる。重ね合わせ変換を見積もるための２つの方向が記載される。
【００３０】
最小二乗方法
マッチング特徴点の４以上の対の組において、最小二乗方法を用い、ＳＡＲおよびＦＬＩＲイメージの間の重ね合わせ変換を見積もるのは容易である。方程式（４）を（３）に代入し、係数を正規化し、ＦＬＩＲイメージ点をＳＡＲイメージに変換するための以下の方程式が得られる：

［式中、（Ｘ，Ｙ）はＦＬＩＲ特徴点の座標であり、（ｘｒ，ｙｒ）は対応するＳＡＲ特徴点の座標であり］、および
（数式６）

【００３１】
であり、［式中、ｃおよびＡ_ｎ，Ｎ＝１，…，８は、各々、方程式（４）および（３）に定義される］。方程式（５）中の項を並べなおした後、以下の結果が得られる。
（数式７）

【００３２】
マッチング点の各対は、方程式（７）の形式で２つの同時線形方程式を与える。方程式（７）中の８つのパラメータＢ_１ないしＢ_８を解くためには、マッチング点の少なくとも４つの対が必要である。マッチング点の４以上の対があれば、パラメータＢ_１ないしＢ_８に対する最小二乗解を見出すことができ、これは以下の誤差項を最小化する：

［式中、Ｋは点対の数であり、ｅ_ｘｌおよびｅ_ｙｌは方程式７）に基づく誤差項である］：

逆ヤコビアン方法
前記で与えられた最小二乗方法は、マッチング点対の組を用い、変換の８つのパラメータを最初から解く。初期重ね合わせ変換は方程式（３）によってすでに与えられているので、ＧＨＴで見出されたマッチング点対の組を用いて初期変換を更新することによっても、最終重ね合わせ変換を見出すことができる。工程３における「パラメーターサーチ空間減少」で議論したごとく、残存重ね合わせ誤差は、主として、俯角θ_ｄおよび方位角θ_ａにおける誤差によって引き起こされる。従って、残存重ね合わせ誤差および関係する２つの角度の間の関係を確立することができる。以下のヤコビアン行列が定義される：
（数式１０）

【００３３】
Ｊは、２つの回転パラメータ、俯角θ_ｄおよびθ_ａ方位角θ_ｄおよびθ_ａに関する方程式（３）における（ｘｒ，ｙｒ）のヤコビアン行列である。これらの２つのパラメータに対する更新は、以下の：
（数式１１）

【００３４】
［式中、（Δｘ，Δｙ）は残存並進重ね合わせ誤差であり、Ｊ^−１はヤコビアン行列の逆行列である］
を用いることによって生じる。（Δｘ，Δｙ）は、工程３におけるＧＨＴの結果からのセル（ｄｘｍ，ｄｙｍ）における全ての票につき複数ｄｘおよびｄｙを平均することによって決定することができる。
（数式１２）

【００３５】
［式中、Ｋ＝Ｃ（ｄｘｍ、ｄｙｍ）は（ｄｘｍ，ｄｙｍ）における蓄積アレイでの票の数であり、ｄｘ_ｉおよびｄｙ_ｉ，ｉ＝１，…，Ｋは（ｄｘｍ，ｄｙｍ）における特徴点の対についての並進の成分であり、Δｘ_ｇおよびΔｙ_ｇは逆投影されたＦＬＩＲ点に適用された全体シフトである（第８ページ，１３行参照）］
方程式（１１）および（１２）に従ってセンサー真実データにおけるθ_ｄおよびθ_ａを更新した後、方程式（３）中のＡ_１ないしＡ_９とｚ＝ｈ（ここに、ｈは接地面上昇である）のパラメータを計算することによって、変換パラメータＢ_１ないしＢ_８を再度計算することができる。実験においては、ｈ＝０を用いた。しかしながら、ｈは、イメージされた領域についての公知の範囲の上昇で置き換えるべきである。一旦Ａ_１ないしＡ_９が計算されたならば、方程式（５）で説明した変換についての係数Ｂ_１ないしＢ_８は、方程式（６）に従って誘導することができる。
【００３６】
工程５：重ね合わせの確認
重ね合わせ確認工程は２つの目的を有する。１つは、マッチの組（ＳＡＲおよびＦＬＩＲ特徴点の対）が事実、幾何学的に可能であることを保障することである。第２は、さらなる可能なマッチをピックアップするか、いくつかの誤ったマッチを捨てることである。確認は、方程式（５）に従って、工程４における新たに見積もられたパラメータＢ_１ないしＢ_８を用いて全てのＦＬＩＲ特徴点をＳＡＲイメージにまず変換することによってなされる。次いで、各変換されたＦＬＩＲ点につき、ＸおよびＹの両方向における４（画素）の距離内の最も近いＳＡＲ特徴点についてサーチがなされる。再度、番号４を好ましくは用いて高い信頼性を維持する。もしそのようなＳＡＲ特徴点が見いだされれば、ＦＬＩＲおよびＳＡＲの特徴点の対を新しいマッチした点のリストに加える。
【００３７】
一旦確認が成されれば、新しいマッチした点のリストをチェックして、それが４を超える点を含むか否かを判断する。もし是であれば、重ね合わせは完了する。もし否であれば、重ね合わせは失敗である。
【図面の簡単な説明】
【図１】図１は、ＳＡＲおよびＦＬＩＲイメージ重ね合わせ方法についてのシステムダイアグラムを示す模式的ダイアグラムである。

Claims

以下の工程：
合成開口レーダー（ＳＡＲ）および前向き赤外線（ＦＬＩＲ）イメージから特徴点を抽出し；
前期ＦＬＩＲイメージの初期重ね合わせを生じさせ；
一般化されたＨｏｕｇｈ変換を利用して前期ＦＬＩＲイメージの二次元残存重ね合わせを生じさせ；
重ね合わせ変換を見積もり；次いで
重ね合わせを確認する；
ことを特徴とするＳＡＲおよびＦＬＩＲイメージからマッチング特徴点の組を得る方法。
抽出工程が：
一定パルス−アラーム速度（ＣＦＡＲ）ディテクターのごときアルゴリズムを用いることを含む請求項１記載のＳＡＲおよびＦＬＩＲイメージからマッチング特徴点の組を得る方法。
ＳＡＲイメージが接地面およびＸ、ＹおよびＺ軸を有し、ここに、ＦＬＩＲイメージが接地面およびＸ、ＹおよびＺ軸を有し、ここに、初期重ね合わせを生じさせる工程が均一座標系：
（数式１）

［式中、Ｐは原点を有し、イメージすべき点を表すカメラ座標フレーム中の三次元（３−Ｄ）点であり、（Ｘ，Ｙ）はＰのイメージであり、ｕはスケーリングファクターであり、ｆはカメラ焦点長である］
を用い；
ＸＯＹ面を有する参照フレームＷにおけるその座標（Ｘ，Ｙ，Ｚ）^ｔによって以下のごとくＰを表し：
（数式２）

［式中、Ｒ_ｒ、Ｒ_ｄおよびＲ_ａは、参照フレームに対するカメラ座標フレームの回転角θ_ｒ、俯角θ_ｄおよび方位角θ_ａを表す３×３正規直交回転行列であり、および（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）^ｌは参照フレームＷにおけるカメラ座標フレームの原点を表す位置ベクトルである］；
参照フレームは、そのＸＯＹ面がＳＡＲイメージ接地面と同一の空間を占め、そのＸおよびＹ軸は、各々、ＳＡＲイメージのＸおよびＹ軸と同一の空間を占め、そのＺ軸はイメージ接地面に対して上方に向き、およびＦＬＩＲイメージにおける全ての点が、参照フレームＷに対する接地面上昇を表すｚ＝ｈを持つ接地面に存在すると仮定し；
ｘおよびｙを解き、その結果、イメージ点（Ｘ，Ｙ）から３−Ｄの点、（ｘ，ｙ，ｚ）への逆投影変換が得られ：

ＦＬＩＲイメージにおける各特徴点につき方程式（３）の逆投影変換を適用し；
逆投影特徴点を以下のごとくＳＡＲイメージ座標に基準化し：
（数式４）

［式中、（ｘ，ｙ）^ｔは参照フレームＷにおけるＦＬＩＲ特徴点の逆投影であり、（ｘｓ，ｙｓ）はＳＡＲイメージにおける逆投影であり、およびｃはＳＡＲイメージの解を反映する定数である］；次いで、
逆投影されたＦＬＩＲ特徴点の組として｛（ｘｓ_ｉ，ｙｓ_ｉ）｝，ｉ＝１，．．．，Ｎ、およびＳＡＲ特徴点の組としての｛（ｘｒ_ｉ，ｙｒ_ｉ）｝，ｉ＝１，．．．，Ｍを生じさせる；
ことを含む請求項１記載の前期ＳＡＲおよびＦＬＩＲイメージからの特徴点をマッチングさせる方法。
二次元残存重ね合わせを生じさせるために一般化されたＨｏｕｇｈ変換を用いる請求項３記載のＳＡＲおよびＦＬＩＲイメージからの特徴点をマッチングさせる方法であって、前期生じさせる工程が：
逆投影されたＦＬＩＲ特徴点およびＳＡＲ特徴点のスパンからアレイサイズを決定し；
サイズ（Ｘ_ｍａｘ−Ｘ_ｍｉｎ）／ｑ＋１×（Ｙ_ｍａｘ−Ｙ_ｍｉｎ）／ｑ＋１（式中、ｑは量子化単位を表す）の一般化されたＨｏｕｇｈ変換アレイを有し；
ウィンドウサイズｗ：ｑ＝［ｗ／４］に従って量子化単位ｑを決定し、ここに、［ｘ］はｘよりも大きい最小整数であり；次いで、
５工程の一般化されたＨｏｕｇｈ変換（ＧＨＴ）を用いて、二次元残存重ね合わせリストを生じさせる；
ことを含む前期方法。
前期見積もる工程が：
最小二乗方法、あるいは逆ヤコビアン（Ｊａｃｏｂｉａｎ）方法を用い；次いで、逆ヤコビアン方法を用いて前期重ね合わせを更新する；
ことを含む請求項１記載のＳＡＲおよびＦＬＩＲイメージからの特徴点をマッチングさせる方法。
ＳＡＲイメージは、各々、複数の特徴点を含み、各特徴点は画素よりなり、各画素はｘおよびｙ座標によって表され、ここに、ＦＬＩＲイメージは、各々、複数の特徴点を含み、各特徴点は画素よりなり、各画素はｘおよびｙ座標によって表され、ここに、前期確認工程が：
最小二乗方法あるいは逆ヤコビアン方法を用いてＦＬＩＲ特徴点の全てをＳＡＲ座標に変換して、新たに見積もられたパラメータＢ_１ないしＢ_８の組を生じさせ；
ｘおよびｙ両座標において４画素の距離内の各変換されたＦｌＩＲ特徴点に対して最も近いＳＡＲ特徴点につきサーチを行い；
もしかかるＳＡＲ特徴点が見出されれば、ＦＬＩＲおよびＳＡＲ特徴点の対を二次元残存重ねあわせに加え；次いで、
二次元残存重ね合わせをチェックし、次いで、それが４を超える点を含む場合に重ね合わせは完了したと判断する；
ことを含む請求項１記載のＳＡＲおよびＦＩＬＲイメージからの特徴点をマッチングさせる方法。