JP2004516533A

JP2004516533A - Synthetic aperture radar and forward-looking infrared image superposition method

Info

Publication number: JP2004516533A
Application number: JP2002529716A
Authority: JP
Inventors: チェン，ヤン
Original assignee: HRL Laboratories LLC
Current assignee: HRL Laboratories LLC
Priority date: 2000-09-22
Filing date: 2001-09-22
Publication date: 2004-06-03
Also published as: US6795590B1; AU2001294679A1; WO2002025592A3; EP1319216A2; WO2002025592A2

Abstract

合成開口レーダー（ＳＡＲ）および前向き赤外線（ＦＬＩＲ）イメージを関連付けるかまたは対応させるのに用いられる方法がここに開示される。双方のイメージから検出可能な特徴点に基づき、２段階アプローチを採用して、ＳＡＲおよびＦＬＩＲイメージ重ね合わせの問題点に立ち向かう：ＦＬＩＲイメージから検出された特徴点をＳＡＲイメージ座標に変換する初期重ね合わせ段階；およびＳＡＲおよびＦＬＩＲ特徴点が「一般化されたＨｏｕｇｈ変換」を受け、それから、マッチング特徴点の最大サブセットが得られ、重ね合わせ変換を導くことができる残存重ね合わせ段階。これらの２つの段階は、ＳＡＲおよびＦＬＩＲイメージ重ね合わせ方法を含む５つの工程：１）該ＳＡＲおよびＦＬＩＲイメージから特徴点を抽出し；２）ＦＬＩＲイメージの初期重ね合わせを生じさせ；３）一般化されたＨｏｕｇｈ変換を利用して二次元残存重ね合わせを生じさせ；４）重ね合わせ変換を見積もり；次いで、５）重ね合わせを確認することに分けられる。この方法は、残存重ねあわせが（６よりはむしろ）二次元Ｈｏｕｇｈ変換でなされることを可能とし、その結果、迅速かつ強固な実行がもたらされ、ならびに偽重ね合わせの可能性を低下させる。Disclosed herein are methods used to associate or correspond to synthetic aperture radar (SAR) and forward-looking infrared (FLIR) images. Based on feature points detectable from both images, a two-stage approach is employed to combat the problem of SAR and FLIR image registration: initial registration, which converts feature points detected from FLIR images to SAR image coordinates And SAR and FLIR feature points undergo a "generalized Hough transform", from which the largest subset of matching feature points is obtained, which can lead to a superposition transformation. These two steps include five steps including a SAR and FLIR image superposition method: 1) extract feature points from the SAR and FLIR images; 2) produce an initial superposition of the FLIR images; 3) generalize Utilizing the applied Hough transform to produce a two-dimensional residual overlay; 4) estimating the overlay transform; and 5) confirming the overlay. This method allows the residual registration to be done with a two-dimensional Hough transform (rather than 6), resulting in a fast and robust implementation, as well as reducing the possibility of false registration.

Description

【０００１】
【発明の属する技術分野】
（発明の分野）
本発明は、２つのイメージの重ね合わせを解く方法に関する。特に、本発明は、合成開口レーダー（ＳＡＲ）イメージの、および前向き赤外線（ＦＬＩＲ）イメージの重ね合わせを解く２段階方法に関する。
【０００２】
【従来の技術および発明が解決しようとする課題】
（先行技術の簡単な記載）
伝統的なイメージ重ね合わせシステムは、多くの修正技術の変形を用いる、灰色レベルの空間的分布において重ね合わすべきイメージの対の間の同様性に頼る。これらのアプローチは、ＳＡＲおよびＦＬＩＲのごときイメージングセンサーによって使用される異なる現象学のため、イメージの空間的灰色レベル分布がイメージの間で変化する場合には働かない。特徴−ベースのイメージ重ね合わせ技術は、２つのイメージからの（点以外の）抽出された特徴の間のいくつかの同様性に頼る。１つのイメージの個々の特徴セグメントは、これらの抽出された特徴を用いてもう１つからのものに対してマッチングさせることができる。しかしながら、これらの種類の特徴はＳＡＲおよびＦＬＩＲ双方には稀にしか存在しないか、あるいは抽出するのが非常に困難である。他方、点−ベースの重ね合わせ技術は、透視変換下でモデルおよびセンサー配置をイメージするのを満足するイメージの点の組の特異的配置を開発する。これは、通常、高計算複雑性を含めた多次元空間においてパラメータの組につきサーチすることを含む。
【０００３】
重ね合わせは、対応またはマッチング問題を解くための（空気センサーのごとき）マルチ−センサーシステムで必要である。ＳＡＲおよびＦＬＩＲイメージの対および関連センサーモデルが与えられると、２つのイメージを重ね合わすためには、少なくとも６つの独立したパラメータ値を決定しなければならない。これは、（センサーモデルおよび関連パラメータ、センサー位置および向きを含めた）センサープラットフォームについてのいくつかの先行知識がなければ一般に困難である。理論的には、もし全てのセンサーパラメーターおよびセンサープラットフォーム情報が知られていれば、２つのイメージは重ね合わせることができる。しかしながら、実行においては、技術水準のセンサー技術を持ってさえも、センサーシステムにおける誤差および／またはノイズのため、あるいはその操作の特徴によって、重ね合わせが依然として必要である。ＳＡＲおよびＦＬＩＲイメージ重ね合わせでは、これは特別の挑戦を取る。というのは、２つのイメージを修正するのに容易に用いることができるＳＡＲおよびＦＬＩＲイメージには数個の特徴があるからである。
【０００４】
従って、低い計算複雑性および高い強固性をもって、ＳＡＲおよびＦＬＩＲイメージを重ね合わすことができる方法を提供するのが望ましい。
【０００５】
【課題を解決するための手段】
（発明の概要）
本発明は、双方のイメージから検出可能な特徴点に基づき、合成開口レーダー（ＳＡＲ）イメージの、および前向き赤外線（ＦＬＩＲ）イメージの重ね合わせを解く方法に関する。該方法は２つの段階：初期重ね合わせ段階および残存重ね合わせ段階によって区別される。初期重ね合わせにおいては、ＦＬＩＲイメージから検出された特徴点をＳＡＲイメージ座標に変換する。残存重ね合わせ段階においては、ＳＡＲからの特徴点の組およびＦＬＩＲからのものは一般化されたＨｏｕｇｈ変換（ＧＨＴ）を受け、それから、マッチング点の最大サブセットが得られ、重ね合わせ変換を得ることができる。本発明における該方法は、第１の段階で用いた方法でもって、第２の段階の残存重ね合わせが、むしろより高い次元において二次元（２−Ｄ）ＧＨＴでなされることを可能とする。
【０００６】
利用可能なセンサーパラメーターおよびセンサー位置の情報を用い、重ね合わせ仕事は５つの工程：（１）ＳＡＲおよびＦＬＩＲイメージ双方からの特徴点を検出し；（２）公知のセンサーパラメーターおよびセンサープラットフォーム情報を用い、特徴点をＦＬＩＲイメージからＳＡＲイメージに変換し；（３）２−Ｄ並進ドメインにおけるＳＡＲ特徴点の組および変換されたＦＬＩＲ特徴点の組につきＧＨＴを実行し、ＧＨＴからマッチング特徴点の最大サブセットを選択し；（４）更新された重ね合わせ変換を計算し；次いで、（５）重ね合わせ変換を評価することに分けることができる。その結果、本発明は、ＳＡＲおよびＦＬＩＲを整列させるイメージ重ね合わせ変換、およびＳＡＲおよびＦＬＩＲイメージの間の対応する点の対の組の双方を提供する。重ね合わせに関与する重ね合わせサーチ空間の減少は６次元から２次元である。この減少の結果は、偽重ね合わせおよびデータ収集の間に導入されるノイズおよび誤差に対する強固な重ね合わせの可能性の実質的減少を含む。また、この方法は、特徴点の組のマッチングが、ＳＡＲおよびＦＬＩＲ双方のイメージにおいて全特徴点集団の非常に小さな一部のみを構成し、残りはシーンにおいてランダムクラスターによって引き起こされる場合にも働く。
【０００７】
【発明の実施の形態】
（本発明の詳細な記載）
本発明は、双方のイメージから抽出された特徴点を用いることによって、ＳＡＲイメージおよびＦＬＩＲイメージの重ね合わせを解く方法に関する。本発明の方法は、５つの区別される工程を含むプロセスとして以下に記載される。本発明に対して必要な入力は、以下の工程１に記載された特徴点にあり、本発明の出力は１）ＳＡＲおよびＦＬＩＲイメージからの特徴点の対応性；２）ＦＬＩＲイメージにおけるいずれの点をもＳＡＲイメージに変換する重ね合わせ変換を含む。
【０００８】
工程１：特徴点の抽出
まず、一定偽−アラーム速度（ＣＦＡＲ）ディテクターのごときよく知られたアルゴリズムの１つを用いることによって、ＳＡＲおよびＦＬＩＲイメージ双方から特徴点を抽出する。本発明で用いるべき特徴点についての要件は、それらはＳＡＲおよびＦＬＩＲ双方からの検出可能なある種の点を表すものでなければならず、双方のイメージにおいて同様に位置することができることである。そのような特徴点の例がシーンにおけるある種の物体の位置である。標的検出／認識適用において、特徴点は、所望により、標的−同様性尺度が付けられたものを有することができる。工程１は、２つのイメージがそれらがカバーする空間において重複を有する、および共通の特徴点を双方のイメージから検出することができることを仮定する。これらの仮定が真実でなければ、重ね合わせは失敗し、状況は工程３または５で検出することができる。ウィンドウサイズｗと呼ばれる特徴抽出におけるパラメータがあり、これは、とりわけ、２つの検出された特徴をどのように近く（イメージ画素において測定）することができるかを決定する。ウィンドウサイズは、（物体サイズのごとき）イメージにおける特徴の性質によって決定される。ＳＡＲについてのｗ＝２１のウィンドウサイズは、以下の記載において非限定的例として用いられる。ＦＬＩＲについての特異的ウィンドウサイズは、本発明を実施するにおいて要求されない。
【０００９】
工程２：初期重ね合わせ
初期重ね合わせは、利用可能な（おそらくは、ノイズおよび誤差についての）センサー真実データを用い、ＦＬＩＲイメージで検出された特徴点をＳＡＲイメージの接地面座標フレームに変換するプロセスである。センサー真実データは（限定されるものではないが、ＳＡＲおよびＦＬＩＲについての解およびＦＬＩＲについての焦点長さを含めた）センサーパラメーター、センサー位置情報（センサーの位置、＋ＦＬＩＲについての方位角、傾斜角および回転角）を含む。ＦＬＩＲ特徴点をＳＡＲに変換するには、均一座標系においてＦＬＩＲセンサー−イメージングモデルを作成する：
（数式１）

【００１０】
［式中、Ｐはイメージすべき点を表すカメラ座標フレームにおける三次元（３−Ｄ）点であり、（Ｘ−Ｙ）はＰのイメージであり、ｕはスケーリングファクターであり、およびＦはカメラ焦点長である］。Ｐは、以下のごとく、参照フレームＷにおける座標（ｘ，ｙ，ｚ）^ｌによって表すことができる：
（数式２）

【００１１】
［式中、Ｒ_ｒ、Ｒ_ｄおよびＲ_ａは、参照フレームに対するカメラ座標フレームの回転角θ_ｒ、俯角θ_ｄおよび方位角θ_ａを表す３×３正規直交回転行列であり、および（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）^ｌは参照フレームＷにおけるカメラ座標フレームの原点を表す位置ベクトルである］。
【００１２】
簡潔にするために、このセクションの残りにおいては、参照フレームは、そのＸＯＹ面がＳＡＲイメージ接地面と同じ空間を占め、そのＸおよびＹ軸が、各々、ＸＡＲイメージのＸおよびＹ軸と同じ空間を占め、そのＺ軸は上方に向くと仮定する。ＦＬＩＲカメラの注目する全ての点が、選択された参照フレームにおいてｚ＝ｈである接地面に存在すると仮定すれば、方程式（１）および（２）はｘおよびｙについて解くことができ、その結果、イメージ点（Ｘ−Ｙ）から３−Ｄ点、（ｘ，ｙ，ｚ）への逆投影変換がもたらされる：

【００１３】
方程式（３）の逆投影変換を、ＦＬＩＲイメージにおける各特徴点に適用する。次いで、以下のごとく、これらの逆投影された特徴点を単にＳＡＲイメージ座標で評価する：
（数式４）

【００１４】
［式中、（ｘ，ｙ）^ｔは参照フレームＷにおけるＦＬＩＲ特徴点の逆投影であり、（ｘｓ，ｙｓ）はＳＡＲイメージにおける逆投影であり、およびｃはＳＡＲイメージの解を反映する定数である。残りの議論において、「逆投影」としての方程式（３）および（４）双方を含む数学的変換を参照する。｛（ｘｓ_ｉ，ｙｓ_ｉ）｝，ｉ＝１，…，Ｎを逆投影されたＦＬＩＲ特徴点の組とし、｛（ｘｒ_ｉ，ｙｒ_ｉ）｝，ｉ＝１…，ＭをＳＡＲ特徴点の組とする。現在、重ね合わせ問題は、｛（ｘｓ_ｉ，ｙｓ_ｉ）｝のサブセットを｛（ｘｒ_ｉ，ｙｒ_ｉ）｝のサブセットとマッチさせることである。もしセンサー真実の正確な測定が利用できれば、｛（ｘｓ_ｉ，ｙｓ_ｉ）｝のサブセットは｛（ｘｒ_ｉ，ｙｒ_ｉ）｝の対応するサブセットに正確にマップされ、検出位置は正確であって、前記関連仮定は真実であると仮定する。しかしながら、現実には、センサー真実データは、ノイズおよび測定誤差のためしばしば正確ではない。測定におけるノイズおよび誤差は、ＳＡＲ特徴点および逆投影されたＦＬＩＲ特徴点がもしそれらがシーンにおける同一特徴点に対応すれば正確に整列しないように、残存重ね合わせエラーを引き起こし得る。
【００１５】
従って、特徴点のそのような２つの組をマッチさせる一般的問題は、少なくとも６つの次元（回転につき３および並進につき３）のパラメータ空間においてサーチして、測定誤差およびノイズを説明することを含む。これは、センサーパラメーター（センサーの解像度および焦点長）は正確に測定することができると仮定する。
【００１６】
工程３：残存重ね合わせ
パラメーターサーチ空間減少
方程式（３）は、いずれかのイメージ点を３−Ｄ点への逆投影を行う一般式を表す。センサー真実における変化の間の関係およびＦＬＩＲ特徴点の逆投影の結果（ｘｓ，ｙｓ）^ｔの詳細な解析は、ＦＬＩＲカメラからＦＬＩＲフィールド−オブ−ビュー（ＦＯＶ）の中心への距離が、ＦＬＩＲＦＯＶにおいてカバーされる領域のサイズに対してはるかに大きい場合、残存重ね合わせ誤差は、圧倒的に、俯角θ_ｄおよび方位角θ_ａの変化によって引き起こされる。他のセンサー真実値の変化は逆投影における比較的小さな変化を引き起こすに過ぎず、無視することができる。例えば、カメラ回転角θｒの小さな変化は得られた逆投影に歪みを引き起こし、カメラ位置の小さな変化は逆投影における並進の小さな変化を引き起こす。さらに、俯角θ_ｄおよび方位角θ_ａにおける不正確さによるＦＬＩＲ特徴点の逆投影の位置の変化は、純粋な並進として近似的にモデル化することができる。換言すれば、同一の物理的特徴点に対応する特徴点の２つのサブセット（１つはＳＡＲからのものであり、１つは逆投影の後のＦＬＩＲからのものである）は並進により位置が異なるに過ぎないゆえに、特徴点の２つの組の誤重ね合わせを２−Ｄで解くことができる。
【００１７】
この２−Ｄ並進を解くためには、特徴点の１つの対が必要なのに過ぎない：ＳＡＲおよびＦＬＩＲイメージからの各々１つ。対応性（ＳＡＲにおけるいずれの点がＦＬＩＲにおけるいずれの点に対応するか）が知られていなければ、この方法は用いることができない。加えて、点のただ１つの対に頼ることは、正確でもないし、または強固でもない。全ての利用可能な特徴点を用いなければならない。特徴点の対応性および残存重ね合わせ誤差を排除する並進は共に見出されなければならない。ＧＨＴは同時に双方の問題を解くのを助けることができる。ＧＨＴ実行において、２−Ｄ蓄積アレイは、ＳＡＲ特徴点および対応する逆−投影されたＦＬＩＲ特徴点の間の並進を測定するアレイ指標で設定される。ＳＡＲおよびＦＬＩＲからの特徴点の全ての可能な対を数え上げる。各そのような対につき、それらを重ね合わせるのに必要な並進を計算し、指標として並進を用いてＧＨＴ蓄積アレイにおいて１つの票を入れる。最後に、（票の数および他の因子を組み合わせる）最高スコアを持つＧＨＴ蓄積アレイエレメント（定義については下記参照）は、正しい並進を表し、エレメントにつき投票された特徴点の組は、設定されたマッチング点を形成する。この仕事を達成するようにＧＨＴは選択される。なぜならば、それは非反復形式アプローチであり、実行するのが非常に単純であり、最も重要なことには、ノイズに対して強固であるからである。「ノイズ」は、検出された特徴点、および混乱による望まない特徴点における位置の誤差を共に含み、これは他のイメージにおいて対応性を有しない。
【００１８】
ＧＨＴの実行を以下により徹底的に記載する。
【００１９】
一般化されたＨｏｕｇｈ変換（ＧＨＴ）
ＧＨＴ蓄積アレイのサイズ
アレイサイズは、以下の図面に示すように、逆投影されたＦＬＩＲ特徴点、ＳＡＲ特徴点のスパンによって決定される。
【００２０】
【図Ｘ】

【００２１】
ＧＨＴアレイはサイズ（Ｘ_ｍａｘ−Ｘ_ｍｉｎ）／ｑ＋１×（Ｙ_ｍａｘ−Ｙ_ｍｉｎ）／ｑ＋１のものであり、ここに、ｑは量子化単位である（すなわち、蓄積アレイにおけるセルはサイズｑ×ｑの平方を表す）。量子化単位ｑはウィンドウサイズｗ（前記参照）：ｑ＝［ｗ／４］に従って決定され、ここに、［ｘ］はｘよりも大きな最小整数である。
【００２２】
ＧＨＴにおけるメモリー効率を増加させるためには、ＳＡＲ特徴点および逆投影されたＦＬＩＲ点の群が相互に離れている場合、（例えば、ＦＬＩＲから逆投影された）特徴点の１つの組は、２つの組がおおまかに同一空間を占めるように、蓄積アレイを組み立てる前にシフトすることができる。これは、例えば、点の双方の組の重心を計算し、逆投影されたＦＬＩＲ点をシフトさせることによって、それらを相互に整列させることによってなすことができる。このアプローチは、特徴点の合計スパン、従って、蓄積アレイのサイズを減少させる。しかしながら、現実の並進は残存重ね合わせを解明するにおいて計算する場合、この余分なシフトを考慮しなければならない。これを達成するために逆投影されたＦＬＩＲに加えられた合計シフトを（Δｘ_ｇ，Δｙ_ｇ）と表す。
【００２３】
ＧＨＴアルゴリズム
１．Ｃを適当なサイズの２−Ｄアレイとする。Ｃにおける各エレメントは並進パラメータ空間においてｑ×ｑの平方を表し、ここに、ｑは量子化単位である。Ｃにおける全てのエレメントをゼロ（０）にセットする。
【００２４】
２．｛（ｘｓ_ｉ，ｙｓ_ｉ）｝，ｉ＝１，…Ｎを逆投影されたＦＬＩＲ特徴点の組とし、｛（ｘｒ_ｉ，ｙｒ_ｉ）｝，ｉ＝１，…．，ＭをＳＡＲ特徴点の組とする。以下の反復を実行する：
各（ｘｓ_ｉ，ｙｓ_ｉ），ｘ＝１ないしＮにつき、
各（ｘｒ_ｊ，ｙｒ_ｊ），ｊ＝１ないしＭにつき、
（ｄｘ，ｄｙ）←（（ｘｓｉ−ｘｒｉ）／ｑ，（ｙｓｉ−ｙｒｉ）／ｑ）
（Ｄｘ，Ｄｙ）← ［ｄｘ］，［ｄｙ］）
（Ｄｘ，Ｄｙ）←Ｃ（Ｄｘ，Ｄｙ）＋１
（Ｄｘ−１，Ｄｙ）←Ｃ（Ｄｘ−１，Ｄｙ）＋１
（Ｄｘ，Ｄｙ−１）←Ｃ（Ｄｘ，Ｄｙ−１）＋１
（Ｄｘ−１，Ｄｙ−１）←Ｃ（Ｄｘ−１，Ｄｙ−１）＋１
終了
終了
［式中、［ｘ］はｘより小さな最大整数である］。この工程において、ＳＡＲおよびＦＬＩＲ特徴点の各対は、複数の隣接セルにおいて票を投じる。従って、事実、蓄積セルは重複する範囲を有する。これは、また、得られた蓄積アレイを畳み込むことに同等であり、各対につき１つの票を投じ、２×２の核は全ての１．０を含む。重複セルの使用は、真の並進が２以上のセルの境界または境界近くに位置する状況を防ぐ。この状況は、近くのセルの中で票が割れることを引き起こし、誤った解をもたらす可能性がある。
【００２５】
３．Ｌを、その票のカウントがゼロよりも大きく、その位置の標準偏差σ_ｌ（後記にて定義）が組閾値Ｔ_ｌ未満である蓄積セルのリストとする。リストＬ中の各セルにつきスコアを計算する。
【００２６】
各蓄積セルのスコアはａ）票の数；ｂ）共通特徴を持つ物体の組からのものであるセルにつき票を投じる（双方のイメージからの）特徴点の尤度の関数である。本発明では、スコアは、セル中の全ての対のＦＬＩＲ特徴強度の合計と定義される。ＦＬＩＲ特徴強度は、今度は、そのバックグラウンドに対するＦＬＩＲ特徴の平均コントラストである。スコアの関数はＳＡＲからの特徴強度を含むことができる。この「スコアリング関数」の目的は、ＧＨＴの結果をランク付けすることである。位置標準偏差σ_ｌは、与えられたセルにおける、票についてのｄｘおよびｄｙの標準偏差の幾何平均である；
σ_ｌ＝ √σ_ｘ ^２＋σ_ｙ ^２
［式中、σ_ｘおよびσ_ｙは、各々、ｄｘおよびｄｙの標準偏差である］。位置標準偏差についての閾値はＴｉ＝（２／３）ｑに設定され、ここに、ｑはセル量子化単位である。定数２／３は、得られた結果において高信頼性を維持するのに用いられる。その結果、位置標準偏差の使用はＧＨＴの結果を効果的にスクリーニングする。
【００２７】
４．（ｄｘｍ，ｄｙｍ）を、最大スコアを持つＬにおけるセルについての指標とする。
【００２８】
５．もし（ｄｘｍ，ｄｙｍ）におけるＣでの票カウントＫ、Ｋ＝Ｃ（ｄｘｍ，ｄｙｍ）が４未満であれば（すなわち、Ｃ（ｄｘｍ、ｄｙｍ）＜４）、失敗が報告され終了する。さもなければ成功が報告され、（ｄｍｘ，ｄｙｍ）におけるセルについて投票された対の組はマッチング解を構成する。
【００２９】
工程４：重ね合わせ変換の見積もり
最後の工程におけるＧＨＴの結果、ＳＡＲおよびＦＬＩＲからの特徴点のマッチング対の組が得られる。マッチング点のこの組でもって、重ね合わせ変換を見積もることができ、これを用いて、ＦＬＩＲイメージにおけるいずれの点（マッチング組における点に限らない）もＳＡＲイメージに変換することができる。重ね合わせ変換を見積もるための２つの方向が記載される。
【００３０】
最小二乗方法
マッチング特徴点の４以上の対の組において、最小二乗方法を用い、ＳＡＲおよびＦＬＩＲイメージの間の重ね合わせ変換を見積もるのは容易である。方程式（４）を（３）に代入し、係数を正規化し、ＦＬＩＲイメージ点をＳＡＲイメージに変換するための以下の方程式が得られる：

［式中、（Ｘ，Ｙ）はＦＬＩＲ特徴点の座標であり、（ｘｒ，ｙｒ）は対応するＳＡＲ特徴点の座標であり］、および
（数式６）

【００３１】
であり、［式中、ｃおよびＡ_ｎ，Ｎ＝１，…，８は、各々、方程式（４）および（３）に定義される］。方程式（５）中の項を並べなおした後、以下の結果が得られる。
（数式７）

【００３２】
マッチング点の各対は、方程式（７）の形式で２つの同時線形方程式を与える。方程式（７）中の８つのパラメータＢ_１ないしＢ_８を解くためには、マッチング点の少なくとも４つの対が必要である。マッチング点の４以上の対があれば、パラメータＢ_１ないしＢ_８に対する最小二乗解を見出すことができ、これは以下の誤差項を最小化する：

［式中、Ｋは点対の数であり、ｅ_ｘｌおよびｅ_ｙｌは方程式７）に基づく誤差項である］：

逆ヤコビアン方法
前記で与えられた最小二乗方法は、マッチング点対の組を用い、変換の８つのパラメータを最初から解く。初期重ね合わせ変換は方程式（３）によってすでに与えられているので、ＧＨＴで見出されたマッチング点対の組を用いて初期変換を更新することによっても、最終重ね合わせ変換を見出すことができる。工程３における「パラメーターサーチ空間減少」で議論したごとく、残存重ね合わせ誤差は、主として、俯角θ_ｄおよび方位角θ_ａにおける誤差によって引き起こされる。従って、残存重ね合わせ誤差および関係する２つの角度の間の関係を確立することができる。以下のヤコビアン行列が定義される：
（数式１０）

【００３３】
Ｊは、２つの回転パラメータ、俯角θ_ｄおよびθ_ａ方位角θ_ｄおよびθ_ａに関する方程式（３）における（ｘｒ，ｙｒ）のヤコビアン行列である。これらの２つのパラメータに対する更新は、以下の：
（数式１１）

【００３４】
［式中、（Δｘ，Δｙ）は残存並進重ね合わせ誤差であり、Ｊ^−１はヤコビアン行列の逆行列である］
を用いることによって生じる。（Δｘ，Δｙ）は、工程３におけるＧＨＴの結果からのセル（ｄｘｍ，ｄｙｍ）における全ての票につき複数ｄｘおよびｄｙを平均することによって決定することができる。
（数式１２）

【００３５】
［式中、Ｋ＝Ｃ（ｄｘｍ、ｄｙｍ）は（ｄｘｍ，ｄｙｍ）における蓄積アレイでの票の数であり、ｄｘ_ｉおよびｄｙ_ｉ，ｉ＝１，…，Ｋは（ｄｘｍ，ｄｙｍ）における特徴点の対についての並進の成分であり、Δｘ_ｇおよびΔｙ_ｇは逆投影されたＦＬＩＲ点に適用された全体シフトである（第８ページ，１３行参照）］
方程式（１１）および（１２）に従ってセンサー真実データにおけるθ_ｄおよびθ_ａを更新した後、方程式（３）中のＡ_１ないしＡ_９とｚ＝ｈ（ここに、ｈは接地面上昇である）のパラメータを計算することによって、変換パラメータＢ_１ないしＢ_８を再度計算することができる。実験においては、ｈ＝０を用いた。しかしながら、ｈは、イメージされた領域についての公知の範囲の上昇で置き換えるべきである。一旦Ａ_１ないしＡ_９が計算されたならば、方程式（５）で説明した変換についての係数Ｂ_１ないしＢ_８は、方程式（６）に従って誘導することができる。
【００３６】
工程５：重ね合わせの確認
重ね合わせ確認工程は２つの目的を有する。１つは、マッチの組（ＳＡＲおよびＦＬＩＲ特徴点の対）が事実、幾何学的に可能であることを保障することである。第２は、さらなる可能なマッチをピックアップするか、いくつかの誤ったマッチを捨てることである。確認は、方程式（５）に従って、工程４における新たに見積もられたパラメータＢ_１ないしＢ_８を用いて全てのＦＬＩＲ特徴点をＳＡＲイメージにまず変換することによってなされる。次いで、各変換されたＦＬＩＲ点につき、ＸおよびＹの両方向における４（画素）の距離内の最も近いＳＡＲ特徴点についてサーチがなされる。再度、番号４を好ましくは用いて高い信頼性を維持する。もしそのようなＳＡＲ特徴点が見いだされれば、ＦＬＩＲおよびＳＡＲの特徴点の対を新しいマッチした点のリストに加える。
【００３７】
一旦確認が成されれば、新しいマッチした点のリストをチェックして、それが４を超える点を含むか否かを判断する。もし是であれば、重ね合わせは完了する。もし否であれば、重ね合わせは失敗である。
【図面の簡単な説明】
【図１】図１は、ＳＡＲおよびＦＬＩＲイメージ重ね合わせ方法についてのシステムダイアグラムを示す模式的ダイアグラムである。[0001]
TECHNICAL FIELD OF THE INVENTION
(Field of the Invention)
The present invention relates to a method for decomposing two images. In particular, the present invention relates to a two-step method for decomposing a synthetic aperture radar (SAR) image and a forward-looking infrared (FLIR) image.
[0002]
2. Description of the Related Art
(Brief description of prior art)
Traditional image superposition systems rely on the similarity between pairs of images to be superimposed in the spatial distribution of gray levels, using a number of modification techniques variants. These approaches do not work when the spatial gray level distribution of an image changes between images, due to the different phenomenology used by imaging sensors such as SAR and FLIR. Feature-based image superposition techniques rely on some similarity between extracted features (other than points) from two images. Individual feature segments of one image can be matched against one from another using these extracted features. However, these types of features are rarely present in both SARs and FLIRs, or are very difficult to extract. On the other hand, point-based superposition techniques develop a specific arrangement of image point sets that satisfies imaging the model and sensor arrangement under perspective transformation. This typically involves searching for sets of parameters in a multidimensional space that includes high computational complexity.
[0003]
Superposition is needed in multi-sensor systems (such as air sensors) to solve correspondence or matching problems. Given a pair of SAR and FLIR images and an associated sensor model, at least six independent parameter values must be determined to superimpose the two images. This is generally difficult without some prior knowledge of the sensor platform (including the sensor model and related parameters, sensor position and orientation). Theoretically, the two images can be superimposed if all sensor parameters and sensor platform information are known. However, in practice, even with state-of-the-art sensor technology, superposition is still required due to errors and / or noise in the sensor system or due to the nature of its operation. For SAR and FLIR image superposition, this takes a special challenge. This is because SAR and FLIR images have several features that can be easily used to modify the two images.
[0004]
Therefore, it would be desirable to provide a method that can overlay SAR and FLIR images with low computational complexity and high robustness.
[0005]
[Means for Solving the Problems]
(Summary of the Invention)
The present invention relates to a method for decomposing synthetic aperture radar (SAR) images and forward-looking infrared (FLIR) images based on feature points detectable from both images. The method is distinguished by two stages: an initial overlay stage and a residual overlay stage. In the initial superposition, the feature points detected from the FLIR image are transformed into SAR image coordinates. In the residual superposition stage, the set of feature points from the SAR and those from the FLIR undergo a generalized Hough transform (GHT), from which the largest subset of matching points is obtained and the superposition transform is obtained. it can. The method in the present invention, with the method used in the first stage, allows the remaining superposition of the second stage to be made in a two-dimensional (2-D) GHT rather in a higher dimension.
[0006]
Using the available sensor parameters and sensor position information, the overlay work consists of five steps: (1) detecting feature points from both SAR and FLIR images; (2) using known sensor parameters and sensor platform information. Convert the feature points from the FLIR image to the SAR image; (3) perform a GHT on the set of SAR feature points in the 2-D translation domain and the converted set of FLIR feature points, and extract the maximum subset of matching feature points from the GHT. (4) calculate the updated overlay transform; and then (5) evaluate the overlay transform. As a result, the present invention provides both an image superposition transform that aligns the SAR and FLIR, and a corresponding set of point pairs between the SAR and FLIR images. The reduction in overlay search space involved in overlay is from six to two dimensions. The consequences of this reduction include a false reduction and a substantial reduction in the possibility of robust registration against noise and errors introduced during data acquisition. The method also works when the matching of the feature point sets constitutes only a very small part of the total feature point population in both SAR and FLIR images, the rest being caused by random clusters in the scene.
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
(Detailed description of the present invention)
The present invention relates to a method for decomposing a SAR image and a FLIR image by using feature points extracted from both images. The method of the invention is described below as a process comprising five distinct steps. The inputs required for the present invention are the feature points described in step 1 below, and the output of the present invention is 1) correspondence of feature points from SAR and FLIR images; 2) any point in FLIR images Also includes a superposition transform that converts to a SAR image.
[0008]
Step 1: Feature Point Extraction First, feature points are extracted from both SAR and FLIR images by using one of the well-known algorithms, such as a constant false-alarm rate (CFAR) detector. The requirement for the feature points to be used in the present invention is that they must represent some kind of detectable point from both the SAR and the FLIR and can be similarly located in both images. An example of such a feature point is the position of certain objects in the scene. In target detection / recognition applications, feature points can have target-likeness measures, if desired. Step 1 assumes that the two images have overlap in the space they cover, and that a common feature point can be detected from both images. If these assumptions are not true, the registration fails and the situation can be detected in

steps

3 or 5. There is a parameter in feature extraction called the window size w, which among other things determines how close (measured at image pixels) the two detected features can be. The window size is determined by the nature of the features in the image (such as the object size). A window size of w = 21 for SAR is used as a non-limiting example in the following description. A specific window size for FLIR is not required in practicing the present invention.
[0009]
Step 2: Initial Superposition Initial superposition is a process that uses the available sensor truth data (perhaps for noise and error) to transform the feature points detected in the FLIR image into a SAR image ground plane coordinate frame. is there. Sensor truth data includes sensor parameters (including, but not limited to, solutions for SAR and FLIR and focal length for FLIR), sensor location information (sensor location, azimuth for + FLIR, tilt angle and Rotation angle). To convert FLIR feature points to SAR, create a FLIR sensor-imaging model in a uniform coordinate system:
(Equation 1)

[0010]
Where P is a three-dimensional (3-D) point in the camera coordinate frame representing the point to be imaged, (XY) is the image of P, u is the scaling factor, and F is the camera Focal length]. P can be represented by the coordinates (x, y, z) ^l in the reference frame W as follows:
(Equation 2)

[0011]
Where R _r , R _d and R _a are 3 × 3 orthonormal rotation matrices representing the rotation angle θ _r , depression angle θ _d and azimuth θ _a of the camera coordinate frame with respect to the reference frame, and (t _x , _Ty , _tz ) ^l is a position vector representing the origin of the camera coordinate frame in the reference frame W].
[0012]
For simplicity, in the remainder of this section, the reference frame will have its XOY plane occupying the same space as the SAR image ground plane, and its X and Y axes will be the same space as the XAR image X and Y axes, respectively. , And assume that its Z axis points upward. Assuming that all the points of interest of the FLIR camera are on the ground plane where z = h in the selected reference frame, equations (1) and (2) can be solved for x and y, so that , Resulting in a backprojection transformation from the image point (XY) to the 3-D point, (x, y, z):

[0013]
The backprojection transform of equation (3) is applied to each feature point in the FLIR image. These back-projected feature points are then simply evaluated in SAR image coordinates as follows:
(Equation 4)

[0014]
Where (x, y) ^t is the backprojection of the FLIR feature points in the reference frame W, (xs, ys) is the backprojection in the SAR image, and c is a constant that reflects the solution of the SAR image. is there. In the remainder of the discussion, reference will be made to a mathematical transformation involving both equations (3) and (4) as "backprojection". {(Xs _i , ys _i )}, i = 1,..., N are a set of back-projected FLIR feature points, and {(xr _i , y r _i )}, i = 1. Make a set. Currently, the superposition _problem, is to match the subset of _{_{{(xs i, ys i)}} } a subset of _{_{{(xr i, yr i)}} }. If utilized if accurate measurements of the sensor _{_{truth, {(xs i, ys i}} )} subset of map exactly to a corresponding subset of _{_{{(xr i, yr i)}} }, the detection position is a correct, Assume that the relevant assumptions are true. However, in reality, sensor truth data is often not accurate due to noise and measurement errors. Noise and errors in the measurements can cause residual registration errors such that the SAR feature points and the backprojected FLIR feature points do not align correctly if they correspond to the same feature points in the scene.
[0015]
Thus, the general problem of matching such two sets of feature points involves searching in a parameter space of at least six dimensions (3 for rotation and 3 for translation) to account for measurement errors and noise. . This assumes that the sensor parameters (sensor resolution and focal length) can be accurately measured.
[0016]
Step 3: Remaining superposition parameter search The space reduction equation (3) represents a general expression for backprojecting any image point to the 3-D point. A detailed analysis of the relationship between changes in sensor truth and the back projection of FLIR feature points (xs, ys) ^t is based on the fact that the distance from the FLIR camera to the center of the FLIR field-of-view (FOV) is , The residual registration error is predominantly caused by changes in depression angle θ _d and azimuth angle θ _a . Changes in other sensor truth values cause only relatively small changes in backprojection and can be ignored. For example, a small change in the camera rotation angle θr causes distortion in the resulting backprojection, and a small change in the camera position causes a small change in translation in the backprojection. Further, the change in the backprojection position of the FLIR feature points due to inaccuracies at the depression angle θ _d and the azimuth angle θ _a can be approximately modeled as pure translation. In other words, two subsets of feature points corresponding to the same physical feature point (one from the SAR and one from the FLIR after backprojection) are translated by translation. Because they are only different, the mis-superposition of the two sets of feature points can be solved in 2-D.
[0017]
To solve this 2-D translation, only one pair of feature points is needed: one each from SAR and FLIR images. Unless the correspondence (which point in the SAR corresponds to which point in the FLIR) is not known, this method cannot be used. In addition, relying on only one pair of points is neither accurate nor robust. All available feature points must be used. Feature point correspondences and translations that eliminate residual registration errors must both be found. GHT can help solve both problems at the same time. In a GHT implementation, the 2-D accumulation array is set with an array index that measures the translation between the SAR feature points and the corresponding back-projected FLIR feature points. Enumerate all possible pairs of feature points from SAR and FLIR. For each such pair, calculate the translation required to superimpose them and place one vote in the GHT storage array using translation as an index. Finally, the GHT accumulation array element with the highest score (combining the number of votes and other factors) (see below for definition) represents the correct translation and the set of feature points voted for the element is set. Form a matching point. The GHT is chosen to accomplish this task. Because it is a non-iterative approach, it is very simple to implement and, most importantly, robust against noise. "Noise" includes both detected feature points and positional errors at undesired feature points due to confusion, which have no correspondence in other images.
[0018]
The implementation of the GHT is described more thoroughly below.
[0019]
Generalized Hough transform (GHT)
The size of the GHT storage array The array size is determined by the span of the back-projected FLIR and SAR feature points, as shown in the following figures.
[0020]
[Figure X]

[0021]
The GHT array is of size (X _max −X _min ) / q + 1 × (Y _max −Y _min ) / q + 1, where q is a quantization unit (ie, the cells in the storage array are of size q × q ). The quantization unit q is determined according to the window size w (see above): q = [w / 4], where [x] is the smallest integer greater than x.
[0022]
To increase the memory efficiency in the GHT, if the SAR feature points and the backprojected FLIR point cloud are separated from each other, one set of feature points (eg, backprojected from the FLIR) will be 2 It can be shifted before assembling the storage array so that one set occupies roughly the same space. This can be done, for example, by calculating the centroids of both sets of points and shifting them back-projected FLIR points to align them with each other. This approach reduces the total span of the feature points, and thus the size of the storage array. However, this extra shift must be considered when calculating the actual translation in resolving the residual superposition. The total shift applied to the backprojected FLIR to achieve this is denoted as (Δx _g , Δy _g ).
[0023]
GHT algorithm Let C be an appropriately sized 2-D array. Each element in C represents the square of q × q in the translation parameter space, where q is a quantization unit. Set all elements in C to zero (0).
[0024]
2. {(Xs _i , ys _i )}, i = 1,..., N is a set of back-projected FLIR feature points, and {(xr _i , y r _i )}, i = 1,. , M as a set of SAR feature points. Perform the following iteration:
For each (xs _i , ys _i ), x = 1 to N,
For each (xr _j , yr _j ), j = 1 to M,
(Dx, dy) ← ((xsi-xri) / q, (ysi-yri) / q)
(Dx, Dy) ← [dx], [dy])
(Dx, Dy) ← C (Dx, Dy) +1
(Dx-1, Dy) ← C (Dx-1, Dy) +1
(Dx, Dy-1) ← C (Dx, Dy-1) +1
(Dx-1, Dy-1) ← C (Dx-1, Dy-1) +1
End end, where [x] is the largest integer less than x. In this step, each pair of SAR and FLIR feature points casts a vote in a plurality of adjacent cells. Thus, in fact, the storage cells have overlapping ranges. This is also equivalent to convolving the resulting storage array, casting one vote for each pair and a 2x2 kernel containing all 1.0. The use of overlapping cells prevents situations where a true translation is located at or near the boundary of two or more cells. This situation can cause the vote to crack in nearby cells, leading to erroneous solutions.
[0025]
3. Let _{L be} a list of storage cells whose count for the vote is greater than zero and for which the standard deviation σ _l (defined below) of that position is less than the set threshold T _l . A score is calculated for each cell in the list L.
[0026]
The score of each storage cell is a function of the likelihood of the feature points (from both images) a) the number of votes; b) the votes for cells that are from a set of objects with common features. In the present invention, the score is defined as the sum of the FLIR feature strengths of all pairs in the cell. FLIR feature intensity is, in turn, the average contrast of the FLIR feature against its background. The function of the score may include the feature strength from the SAR. The purpose of this "scoring function" is to rank the GHT results. The position standard deviation σ _l is the geometric mean of the standard deviations of dx and dy for a vote in a given cell;
_{_{^{σ l = √σ x 2 + σ}}} y 2
Where σ _x and σ _y are the standard deviations of dx and dy, respectively. The threshold for the position standard deviation is set to Ti = (2/3) q, where q is the cell quantization unit. The constant 2/3 is used to maintain high reliability in the obtained results. As a result, the use of positional standard deviation effectively screens GHT results.
[0027]
4. Let (dxm, dym) be the index for the cell in L with the largest score.
[0028]
5. If the vote count K, K = C (dxm, dym) at C at (dxm, dym) is less than 4 (ie, C (dxm, dym) <4), a failure is reported and the process ends. Otherwise a success is reported and the pair pairs voted for the cell at (dmx, dym) constitute a matching solution.
[0029]
Step 4: Estimation of superposition transformation As a result of the GHT in the last step, a set of matching pairs of feature points from SAR and FLIR is obtained. With this set of matching points, the overlay transform can be estimated and used to convert any point in the FLIR image (not limited to the points in the matching set) to a SAR image. Two directions for estimating the superposition transform are described.
[0030]
It is easy to estimate the superposition transform between SAR and FLIR images using the least squares method on a set of four or more pairs of least squares matching feature points. Substituting equation (4) into (3), normalizing the coefficients and obtaining the following equation for converting FLIR image points to SAR images:

[Where, (X, Y) is the coordinates of the FLIR feature point and (xr, yr) are the coordinates of the corresponding SAR feature point], and (Formula 6)

[0031]
Where c and A _n , N = 1,..., 8 are defined in equations (4) and (3), respectively. After rearranging the terms in equation (5), the following results are obtained.
(Equation 7)

[0032]
Each pair of matching points gives two simultaneous linear equations in the form of equation (7). Solving the eight parameters B ₁ to B ₈ in equation (7) requires at least four pairs of matching points. With four or more pairs of matching points, a least-squares solution for the parameters B ₁ to B ₈ can be found, which minimizes the following error terms:

_Where K is the number of point pairs and _exl and _eyl are error terms based on equation 7):

Inverse Jacobian Method The least squares method given above uses a set of matching point pairs and solves the eight parameters of the transformation from the beginning. Since the initial overlay transform has already been given by equation (3), the final overlay transform can also be found by updating the initial transform with the set of matching point pairs found in the GHT. As discussed in the "parameter search space reduction" in step 3, the residual overlay error is mainly caused by errors in the depression angle theta _d and azimuth theta _a. Thus, a relationship between the remaining registration error and the two angles involved can be established. The following Jacobian matrix is defined:
(Equation 10)

[0033]
J is the Jacobian matrix of the two rotation parameters, in equation (3) relating to depression angle theta _d and theta _a azimuth angle theta _d and θ _a (xr, yr). Updates to these two parameters are:
(Equation 11)

[0034]
[Where, (Δx, Δy) is the residual translational superposition error, and J ⁻¹ is the inverse matrix of the Jacobian matrix]
This is caused by using (Δx, Δy) can be determined by averaging multiple dx and dy for all votes in cell (dxm, dym) from the GHT result in step 3.
(Equation 12)

[0035]
Wherein, K = C (dxm, dym ) is (dxm, dym) the number of votes in the storage array in, dx _i and _{dy i, i = 1, ...} , K is characterized in (dxm, dym) The translation components for the point pairs, Δx _g and Δy _g are the overall shifts applied to the backprojected FLIR points (see page 8, line 13)]
After updating θ _d and θ _a in the sensor truth data according to equations (11) and (12), A ₁ through A ₉ and z = h in equation (3) (where h is the ground contact rise) , The conversion parameters B ₁ to B ₈ can be calculated again. In the experiment, h = 0 was used. However, h should be replaced by a known range increase for the imaged area. Once A ₁ to A ₉ have been calculated, the coefficients B ₁ to B ₈ for the transformation described in equation (5) can be derived according to equation (6).
[0036]
Step 5: Confirmation of overlay The overlay confirmation step has two purposes. One is to ensure that the set of matches (the pair of SAR and FLIR feature points) is in fact geometrically possible. The second is to pick up more possible matches or discard some false matches. Confirmation, according to equation (5) is done by first converting all the FLIR feature points SAR image using to parameters B ₁ without the estimated new in Step 4 B _8. Then, for each transformed FLIR point, a search is made for the closest SAR feature point within a distance of 4 (pixels) in both the X and Y directions. Again, number 4 is preferably used to maintain high reliability. If such SAR feature points are found, the FLIR and SAR feature point pairs are added to the new list of matched points.
[0037]
Once confirmed, the list of new matched points is checked to determine if it contains more than four points. If so, the overlay is complete. If not, the overlay fails.
[Brief description of the drawings]
FIG. 1 is a schematic diagram showing a system diagram for a SAR and FLIR image superposition method.

Claims

The following steps:
Extract feature points from synthetic aperture radar (SAR) and forward-looking infrared (FLIR) images;
Causing an initial overlay of the FLIR image;
Utilizing the generalized Hough transform to produce a two-dimensional residual superposition of the FLIR image;
Estimate overlay conversion; then check overlay;
Obtaining a set of matching feature points from SAR and FLIR images.

The extraction process is:
The method of obtaining a set of matching feature points from SAR and FLIR images according to claim 1, comprising using an algorithm such as a constant pulse-alarm speed (CFAR) detector.

The SAR image has a ground plane and the X, Y, and Z axes, where the FLIR image has a ground plane and the X, Y, and Z axes, wherein the process of producing the initial overlay is a uniform coordinate system:
(Equation 1)

Where P is a three-dimensional (3-D) point in the camera coordinate frame that has the origin and represents the point to be imaged, (X, Y) is the image of P, and u is the scaling factor. And f is the camera focal length]
Using;
Represent P by its coordinates (X, Y, Z) ^t in a reference frame W having an XOY plane as follows:
(Equation 2)

Where R _r , R _d and R _a are 3 × 3 orthonormal rotation matrices representing the rotation angle θ _r , depression angle θ _d and azimuth θ _a of the camera coordinate frame with respect to the reference frame, and (t _x , _Ty , _tz ) ^l is a position vector representing the origin of the camera coordinate frame in the reference frame W];
The reference frame has its XOY plane occupying the same space as the SAR image ground plane, its X and Y axes occupying the same space as the SAR image X and Y axes, respectively, and its Z axis at the image ground plane. Facing upwards, and assuming that all points in the FLIR image are on the ground plane with z = h representing the ground plane rise relative to the reference frame W;
Solving x and y results in a backprojection transformation from the image point (X, Y) to the 3-D point, (x, y, z):

Applying the backprojection transform of equation (3) for each feature point in the FLIR image;
Backprojected feature points are scaled to SAR image coordinates as follows:
(Equation 4)

Where (x, y) ^t is the backprojection of the FLIR feature points in the reference frame W, (xs, ys) is the backprojection in the SAR image, and c is a constant that reflects the solution of the SAR image. There]; then
As a set of backprojected FLIR feature points _{_{{(xs i, ys i)}} }, i = 1 ,. . . , N, and SAR of feature points set as the _{_{{(xr i, yr i)}} }, i = 1 ,. . . , M;
2. The method for matching feature points from SAR and FLIR images according to claim 1, comprising:

4. The method of matching feature points from SAR and FLIR images according to claim 3, wherein a generalized Hough transform is used to produce the two-dimensional residual superposition, wherein the producing comprises:
Determining the array size from the span of the backprojected FLIR and SAR feature points;
Having a generalized Hough transform array of size (X _max −X _min ) / q + 1 × (Y _max −Y _min ) / q + 1, where q represents a quantization unit;
Determine the quantization unit q according to the window size w: q = [w / 4], where [x] is the smallest integer greater than x;
Using a five-step generalized Hough transform (GHT) to generate a two-dimensional residual superimposed list;
The method including the above.

The process to estimate in the previous term is:
Use the least-squares method or the inverse Jacobian method; then update the superposition using the inverse Jacobian method;
2. The method for matching feature points from SAR and FLIR images according to claim 1, comprising:

The SAR images each include a plurality of feature points, each feature point is composed of a pixel, and each pixel is represented by x and y coordinates, where the FLIR image each includes a plurality of feature points, The points are made up of pixels, each pixel being represented by an x and y coordinate, where the validation step is:
All FLIR feature points using the least squares method or reverse Jacobian method is converted into SAR coordinates, to the parameter B ₁ is no estimated new cause a set of B _8;
performing a search for the closest SAR feature point to each transformed FlIR feature point within a distance of 4 pixels in both x and y coordinates;
If such SAR feature points are found, the FLIR and SAR feature point pairs are added to the two-dimensional residual overlay;
Check the two-dimensional residual overlay, and then determine that the overlay is complete if it contains more than 4 points;
2. The method for matching feature points from SAR and FILR images according to claim 1.