JP2008517488A - ミサイル探索装置のｆｌｉｒとミサイルボアサイトの相関および非均一性補償 - Google Patents

Abstract

本発明はＦＬＩＲとミサイルビデオとのボアサイト相関を簡単で効率化する。ボアサイト相関42は、ＮＵＣミサイルビデオ40により行われ、ボアサイト相関とＮＵＣが同時に行われることを可能にし、目標を捕捉してミサイルを発射するのに必要な時間を減少させる。この方法はＮＵＣに対するミサイル探索装置の運動を使用して探索装置が運動するときの差画像によりミサイル画像中の空間的勾配濾波を生成する。これは画像中のＤＣ非均一性を補償する。ＦＬＩＲ画像44は追跡される情景運動に基づいて構成された変位を整合させ空間的フィルタを減算することにより処理される。ＦＬＩＲ画像44はミサイル画像解像度に整合するように再サンプルされ、２つの画像は通常ように予備処理され、相関される。改良されたＮＵＣ46は映像装置で異なる画素により観察されるように情景の各区域の多数の測定を相互参照して行われる。この方法は同じものを見る同じアレイの画素は同じものを見るという簡単で優れた前提に基づいている。その結果ＮＵＣタームは情景ではなく画像装置中の非均一に適合される。
【選択図】 図１

Description

本発明は、ターゲットがＦＬＩＲからミサイル探索装置へハンドオーバーされる前に行われる必要のあるボアサイト相関および非均一性補償（ＮＵＣ）に関するものであり、特に、ＮＵＣでないミサイルビデオをＦＬＩＲに相関させる方法および改良された情景に基づいた非均一性補償方法に関する。

誘導ミサイルシステムでは、前方監視赤外線システム（ＦＬＩＲ）のようなターゲット指定装置からミサイル探索装置へターゲットをハンドオーバーする前にある較正が行われなければならない。それらにはＦＬＩＲとミサイル探索装置との間の厳密ではない機械的な整列を補正するためのボアサイト相関の実行およびミサイル探索装置の赤外線映像装置中の画素単位の応答の非均一性を減少させるための非均一性補償の実行が含まれている。これらの調整はミサイルの捕捉の機会を改善し、ターゲットに命中させるための追跡が行われる。

図１および２に示されているように、兵士10は携帯発射ミサイルシステム12を使用して戦車16をターゲットとして破壊するためにミサイルを発射する。このミサイルシステム12は前方監視赤外線システム（ＦＬＩＲ）18を備え、それはそのＦＯＶ22内の情景の高解解像度画像20を捕捉する高解解像度映像装置を有している。ミサイル14はＦＯＶ28内の情景の低解解像度の画像26を捕捉する低解解像度の映像装置を有するミサイル探索装置24を装備されている。ＦＬＩＲとミサイルビデオはデータバス30のようなチャンネルにより情報を通信している。図示されているように、ＦＬＩＲとミサイル探索装置のＦＯＶは整列しておらず赤外線映像装置の非均一性は低解解像度の画像26内の戦車16をほとんど完全に不明瞭にするような程度のものである。

ボアサイト相関を行う自動化されたシステムは例えばＬＡＮＴＩＲＮのような１０年以上前からすでに存在している。実質的な知識は頑強な方法で得られる。例えば、織地状の情景に対してエッジ事前濾波およびマスクされたバイレベルが相関され、ブランドシーンにたいしてスポット特徴ベースの相関が行われる。しかしながら、これらの方法はミサイル探索装置の画像を横切る比較的均一な応答を必要とする。地対地ミサイルでは、画像の均一性は、ボアサイト相関が開始される前にミサイル探索装置の赤外線イメージャを完全に冷却して非均一性を補償することによって達成される。３つの全ての順次の動作が完了してデータがミサイル探索装置に渡されると、兵士は探索装置のビデオを最小の雑音で観察し、ＦＬＩＲビデオの中心にする。これは時間が必要であり、兵士を敵の砲火に露出させ、ターゲットを破壊する使命を危うくする。

非均一性の補償（ＮＵＣ）はボアサイト相関を行うの十分な品質の画像を提供するために必要であるが、その主要な機能は発射後の追跡中に兵士により捕捉するためのミサイル赤外線ビデオの固定パターン雑音レベルを減少させることである。ＮＵＣは画素ベースで赤外線イメージャの応答特性が時間と共に、環境および動作条件に基づいて劇的に変化する可能性があるために必要とされる。ＮＵＣ手順は赤外線イメージャの応答特性が画素ベースでの変化の程度を少なくとも実質的に減少させ、或いは除去するのに有効であり、迅速に行われる必要があり、またオペレータの介入（ノブの回転）が最小であることが必要である。

ＮＵＣに対する有力な方法は、赤外線ミサイル探索装置の運動により、或いは一時的な平均により随意選択的に生成された情景の汚れたバージョンを使用する。その前提は、全画素の平均で全画素が同じ値を見なければならないと言うことである。この仮定に基づいて、各画素に対する汚れた画像中で検出される任意の高い周波数のコンポーネントは非均一な画素応答の結果であると見なされる。汚れた画像は高い周波数のコンポーネントを除去されるように補正される。同様の補正は後続する汚れのない画像に対して適用される。この方法は比較的フラットな画像に対しては有効であるが、高い空間周波数の顕著な内容を含んでいる情景では困難である。これらは非均一性として感知され、“補償された”情景を生成し、身体の運動に依存したアーチファクトとなる。

ＮＵＣが完了すると、十分に低い雑音レベルが得られ、ボアサイト相関はミサイルとＦＬＩＲとの間の不整列の補正を行うことができる。ボアサイト相関は典型的に最初に探索装置の解像度に整合する粗い解像度にＦＬＩＲ画像を再サンプリングすることにより行われる。次にＮＵＣされたミサイルの画像はデータバスにより送られ、再サンプリングされたＦＬＩＲ画像と相関される。この相関処理は当業者にはよく知られている。相関のピークの位置はＦＬＩＲのボアサイト（視野のＦＬＩＲフィールドの中心）に関するミサイル画像の中心位置を示している。この相対的なボアサイトオフセットが知られるならば、ＦＬＩＲからのターゲットの位置および大きさはミサイル画像中にマップされることができる。

これらの兵器システムの有効性を改善し、兵士を保護するためにボアサイト相関を簡単にし、能率化するための技術が必要とされている。さらに、高い帯域幅と改善された雑音減少が得られ、厳しい非均一な情景に適用可能なユーザの関係を最小にするＦＬＩＲに対する技術は、兵器システムおよびその他の赤外線映像システムの効率をさらに改善するであろう。

本発明は、ＦＬＩＲとミサイルのビデオのボアサイト相関を簡単で、能率化されたものとし、高い帯域幅と高い信号対雑音比を提供するユーザが容易に使用できる赤外線映像装置を提供する。ＮＵＣプロセスはまた強調された画像を表示する能力を提供する。

この目的は、ＦＬＩＲされないミサイルビデオによりボアサイト相関を行う方法により部分的に達成される。これはボアサイト相関とＦＬＩＲが同時に実行されることを可能にし、それによってターゲットを捕捉してミサイルを点火するのに必要な時間を減少させる。現在の方法はＮＵＣに対するミサイル探索装置の運動を使用しておおり、探索装置が運動する時の微分画像によりミサイルの画像における空間的勾配フィルタを生成する。これは画像中のＤＣ非均一性を補償する。情景内容および利得の不均一性からの残留アーチファクトが存在するが、それらは適切な事前濾波が使用された時には相関を妨害するように十分に厳しくはない。ＦＬＩＲ画像は整合した変位により処理され、追跡された情景の運動に基づいて構成された空間的フィルタを減算する。ＦＬＩＲ画像は再サンプリングされてミサイルの画像の解像度に整合され、２つの画像は予備処理され、通常の方法を使用して相関される。

ボアサイト相関のこの方法は、ＮＵＣに対する通常の技術と縦続して使用されることができるが、増加した帯域幅、ミサイルビデオの改良されたＳＮＲおよびオペレータの介入が少ない付加的な利点は改良された情景ベースのＮＵＣにより実現れることができる。現在の方法は映像装置中で異なる画素により観察されるような情景の各区域の相互参照多重測定により動作する。この方法は、同じものを見るアレイ中の全ての画素は同じものを観察しなければならないと言う簡単でしかも優れた前提に基づいている。結果としてＮＵＣタームは情景ではなく、映像装置中の非均一性に適合する。

情景ベースのＮＮにおいて、ミサイルビデオからの一時的な画像のシーケンスはそれらが存在すると仮定する演繹的ＮＮタームにより補償される。情景を横切るＦＯＶ運動が追跡され、補償された画像が登録され、共に合計されて登録された合計画像が形成される。“登録された合計画像”は登録された合計画像中の各画素に影響する画素の数（または全体の画素ウエイト）を記録する。“登録された平均画像”は“登録されたカウント画像”による“登録された合計画像”を除算することによって生成される。この画像は実際の情景内容の最良の利用可能な評価を構成する。画像はある程度、補償されない非均一性によって汚染されるが、これらは消去されるであろう。“登録された平均画像”は例えば完全なＮＵＣを仮定すると理想的な入力画像の評価を生成するために各入力画像に対応するコラージュからフレームを切出すことにより逆方向マップされる。各評価は“説明されない差”画像のシーケンスを生成するために各補償された画像から減算される。入力画像に対するこけらの差のＮ次の相関は任意の残留する均一性を補正するために必要とされるＮＵＣタームの画素単位の評価を生成する。これらのＮＵＣタームは事前のＮＵＣターム、例えば工場の較正、優先的反復から生じるタームと組合わされ、ミサイルビデオを補償するために使用される。簡単なＤＣオフセット補償の場合にはこの組合わせは単なる合計である。典型的に処理は多数回反復され雑音レベルを低下させる。多数回の反復はＮＵＣタームの収斂規則または画像システムに許容される時間に基づいて固定することができる。

このプロセスは順方向マッピング（登録された平均画像の生成）、および／または逆方向マッピング（理想的な入力画像の評価）およびこれらの映像装置の加重、および／またはさらに可変度が少ない情景画素における変化程度の追跡を維持することにより強化される。これは順方向マッピング中に情景内容を評価するための最も一致した応答によりこれらの映像装置の画素（カメラ画素）に好ましい影響を与え、逆方向マッピング中に画素応答の評価における最も空間的で一時的な一致である情景の区域（情景画素）に好ましい影響を与える。空間的一致は逆方向マッピングにおける偽名性によりこの変化に入り、空間的一致の区域は疑似性が少なく、したがって逆方向マッピングにおける変化は少ない。

処理はまた探索装置の画像解像度よりも大きい登録された平均画像を記憶することによって強化できる。特に、ＦＯＶ中の多数の画素を拡張するために簡単な最も近い近隣のマッピング（補間）の使用は大きな利点を保証する。入力画像中の位相変化は複製から疑似周波数成分を消去し、入力画像中のナイキスト周波数を実際に越える疑似生成物が構造的に付加され、保存される。拡大された情景を生成するためのアンチアイリアス補間はこの望ましい効果を失わせる傾向がある。

変化が追跡されず、映像装置の非均一性がゼロ次、すなわち純粋にオフセットと仮定されるならば、プロセスの計算を簡単にすることができる。この場合には、個々のフレームは計算の反復をサポートするために保存される必要はなく、スタックされた平均と、登録された合計と、登録されたカウント画像（後者は反復を通して固定されている）だけが必要である。理想的にスタックされた平均は、登録された平均画像に対するＦＯＶ運動追跡（ｆ）の回旋により計算され、残留する非均一性は入力スタック平均とこれとの差により識別され、残留する差（ＤＣ非均一性評価）はＦＯＶ運動トレース（ｆ）に対してそれらを相関させ、インクリメント結果を登録された合計に加算することにより登録された平均画像に与えられる。

これらおよびその他の本発明の特徴および利点は、添付図面を参照にした以下の詳細な説明から当業者には明らかであろう。

本発明は、簡単で効率のよいＦＬＩＲとミサイルビデオのボアサイト相関と高い帯域幅と、高いＳＮＲと、ユーザに好ましい赤外線映像装置のＮＵＣを提供する。

図３に示されているように、これは部分的にＮＵＣされないミサイルビデオ40とボアサイト相関を行う方法により達成される。これはＦＬＩＲビデオ44およびミサイルビデオ40上のＮＵＣ46によりボアサイト相関42が同時に行われることを可能にし、それによってＦＬＩＲからミサイル探索装置にターゲットハンドオーバー48を行い、ミサイルを発射するために必要な時間を減少させる。ＮＵＣはターゲットハンドオーバーのために必要はないが、それはミサイルビデオの信号対雑音比を改良するためには有効である。ＮＵＣプロセスはまた例えば雑音の濾波およびオペレータディスプレイ50の非常に高い解像度の画像のような強化された表示能力を提供する。

ボアサイト相関の現在の方法は、ＩＲ画像エッジの位置を決めるためにＩＲ映像装置からのミサイルビデオを時間的に処理し、特にＦＬＩＲ画像中の同じエッジの少なくとも幾つかの位置を決めるために情景の運動の評価にしたがってＦＬＩＲビデオを空間的に処理し、ミサイルとＦＬＩＲ画像とを相関させる。さらに詳しく説明すると、探索装置の運動は１つの画像中の空間的エッジを画像のシーケンス中の時間的なシグネチュアに変換する。そのシグネチュアは、例えばフレーム差を使用してエッジを検出するのに使用される。ＦＬＩＲビデオは例えば変位を使用して情景の運動にしたがって空間的に処理され、フィルタを減算してＦＬＩＲ画像中の同じエッジの少なくとも幾つかを位置させる。ミサイルとＦＬＩＲ画像（エッジマップ）は相関され、ボアサイト相関を与える。

図４を参照すると、例示的な実施形態で連続的な画像（ミサイルビデオ40のフレーム）が表示され、次の画像から減算54されてエッジマップ56を形成する。これは画像中のＤＣ非均一性を消去する。情景内容からの残留アーチファクトがあるが、それらは適切な前置フィルタが使用されるとき相関を妨害するには不十分である。高次の差が形成されて付加的な計算の複雑さにより費用はかかるが、エッジマップを改善する。ＦＬＩＲ画像（ＦＬＩＲビデオ44のフレーム）は整合変位により処理されて、例えばミサイル探索装置のジンバル位置からの情景運動評価に基づいて構成され、慣性レートセンサおよび／またはミサイルビデオの自己相関と一体とされる。ＦＬＩＲ画像は60で再サンプリングされて、ミサイル画像の解像度と整合され、２つの画像は前処理されて通常の方法を使用して相関される。ミサイル画像（エッジマップ）は62で遅延され、次のミサイル画像と63で自己相関されてＮＵＣに対する登録を与える。登録を決定するためにボアサイト相関を待つのではなく、エッジマップから登録を抽出することによって、ＮＵＣはボアサイト相関と同時に行われ、それによってターゲットハンドオーバーを行うために必要な時間を減少させることができる。

このボアサイト相関の方法はＮＵＣに対する通常の技術と縦続して使用されることができるが、帯域幅が増加し、ミサイルビデオのＳＮＲが改善され、オペレータの介在が少なくてよい付加的な利点が改良された情景ベースのＮＵＣにより実現されることができる。図５乃至８に示されている現在の方法は映像装置中の異なった画素により観察される情景の各区域の多重測定の交差参照により動作する。この方法は同じものを見るアレイ中の各画素は同じものを見なければならないと言う簡単でしかも優れた前提に基づいている。結果として、ＮＵＣタームは情景ではなく映像装置中の非均一性に適応する。

図５に示されているように、ＮＵＣに対する基本的なフロー図はミサイルビデオの粗入力画像を捕捉し（ステップ64）、最も最近のＮＵＣタームを使用して画素単位のベースで各フレームに対して補償し（ステップ65）、圧縮された画像に基づいてＮＵＣエラータームを評価する（ステップ66）。ＮＵＣエラータームは現在のＮＵＣタームと組合わされて（ステップ67）次の反復のために使用されるＮＵＣタームを更新する（ステップ68）。ＮＵＣタームは前のＮＵＣタームにより初期化されてもよい（ステップ69）。典型的にプロセスは雑音レベルを圧倒するように補償された画像について多数回反復される。その反復数はＮＵＣタームの収斂規則または映像システムにより許容される時間に基づいて固定されることができる。

図６および７に示されているように、ＮＵＣエラータームはミサイルビデオからの補償された画像70のシーケンスを与えることによって評価され（ステップ71）、情景を横切る関連するＦＯＶ運動（ｆ）72を追跡する（ステップ73）。画像はＦＯＶ運動を使用して登録され、“登録された合計画像”を形成するためにともに合計される（ステップ74）。 “登録されたカウント画像”75は登録された合計画像中の各画素に影響している画素の数（または以下説明するように全体の画素加重）を記録する（ステップ76）。“登録された平均画像”77は“登録されたカウント画像”により“登録された合計画像”を割算することによって生成される（ステップ78）。この画像は実際の情景の内容の最良の利用可能な評価を構成する。画像は補償されない非均一性によってある程度汚染されるが、それらは市を卯挙される。ステップ73, 74, 76, 78は共に順方向マッピングを構成する。ＦＯＶ （ｆ¹ ）80を横切る情景の運動を使用して、“登録された平均画像”77は入力画像のそれぞれに対応するカレッジからフレーム83a, 83b, 83c, 83dを切出すことにより逆方向マッピングされ（ステップ82）、例えば 完全なＮＵＣを仮定する理想的な入力画像の評価84a, 84b, 84c, 84dを生成する。それらの各評価はそれぞれ前の補償された画像70から減算され、“説明されない差”画像85のシーケンスを生成する（ステップ86）。それぞれの評価された画像に対するこれらの差画像85のＮ次の相関（ステップ88）は、任意の残りの情報を補正するために必要とされるＮＵＣエラーターム90の画素単位の評価を生成する。０次の相関の場合には（この場合はＤＣオフセットだけを仮定し、利得タームはない）、差画像85は入力画像に対する参照なしに単に平均された画素単位である。この特定の実施形態では、ＮＵＣにおけるインクリメントエラーは各反復において累積される。特に、０次（ＤＣ補償）に対しては、反復的に補償された画像の代わりに元の画像に基準が戻ることが好ましく、それ故、完全なＮＵＣタームがＮＵＣエラータームの代わりに各反復において計算される。。

このプロセスは順方向マッピング（登録された平均画像を生成する）および／または逆方向マッピング（理想的な入力画像の評価）における変化の追跡を維持し、それらの画像画素および／または情景画素を変化が少なくもっと重く加重することにより強化することができる。これは順方向マッピング中の評価している情景に対する応答に最も適合する映像装置画素と逆方向マッピング中評価している画素に最も空間的および時間的に一致している情景の区域（情景画素）に好ましい影響を与える。空間的一致は逆方向マッピング中にエイリアスによりこの変化中に入り、空間的一致区域はエイリアスが少なく、したがって逆方向マッピングでは変化が少ない。

図６乃至８を参照すると、逆方向マッピングの変化性は、登録された合計画像の生成中に映像装置静止マップ102 を利用可能にすることにより追跡される（ステップ104 ）。マップ値は映像装置中の各画素の応答の変化の尺度である。一致に応答する画素は小さい変化を割当られ、不一致に応答する明滅のような画素は大きい変化に割当てられる。各映像装置画素に対する加重Ｗ_i はその後静止マップ102 から得られる（ステップ106 ）。例えば、変化の尺度が画素応答の変化である場合には、加重は標準偏差に反比例するのが適切である。その結果、高度の静止性を有する画素、例えば低い変化の画素は大きい加重が割当てられ、逆の場合は反対である。加重は標準偏差に一定値を付加することによってバイアスされてもよい。これはその画素に影響するサンプルが僅かであるときのみ雑音レベルより上に加重を維持するために行われる。さらに、ＮＵＣタームのセットに収斂することを確実にするために十分に大きい値に定数が設定される。マップ、したがって加重は必須ではないが典型的には反復処理を開始するために値の均一なセットに初期化される。反復処理はよい画素と悪い画素およびビデオの静止部分と非静止部分とを識別し、したがって加重の再バランスが行われる。

“登録された加重された合計画像”が各画素に対して登録された画像値Ｉ_i 、すなわち（ΣＷ_i Ｉ_i ）の加重された合計値として形成される。このように良好な画素からの影響は強調され、悪い画素からの影響は強調されない。加重Ｗ_i はまた“登録された加重されたカウント画像”を形成するために使用され（ステップ110 ）、それにおいては情景画素に対応する各エントリは影響する映像装置画素（ΣＷ_i ）の加重の合計である。情景画素静止マップ112 は各情景画素の時間的および空間的な尺度を与える（ステップ114 ）。少ないが依然としてかなりの大きさであるため、このマップはまた例えば明滅しているような悪い画素の影響も含んでいる。このマップは例えば登録された合計画像中の各情景画素における加重された変化、すなわち、各情景画素に対して影響する登録された映像装置画素の加重された変化を計算することによって生成されることができる。

理想的な映像装置画素応答を仮定すると、情景マップは画像中の時間的変化（ビデオ）および空間的変化（探索装置の運動）の両者を考慮にいれる。その代わりに、空間的および／または時間的ハイパスフィルタ処理が登録された合計画像を形成する前に入力画像に対して行われてローカルな“平坦性”評価が与えられる。空間的フィルタはその後ＦＯＶ運動の知識により構成される。

登録された平均画像は“登録された加重されたカウント画像”によって“登録された合計画像”を割算することにより生成される（ステップ116 ）。“良好な”画素を強調し、“悪い”画素を低下させることにより、カレッジから切離された評価された入力画像は理想的な入力画像のより良好な評価である。登録された平均画像は逆方向マッピングされ、説明されない差画像が前のように形成される（ステップ118 ）。情景画素マップ112 により加重された各評価された画像に対するこれらの差画像のＮ次の相関は任意の残りの非均一性を補正するために必要なＮＵＣエラーターム90の画素単位の評価を生成する。映像装置画素静止マップ102 は、相関が行われた後の各画素に残留する変化であるように更新される。０次のシステムに対してはこれは各画素における説明されない差の変動に対してデフォルトである。

別の実施形態では、図９に示されているようにＮＵＣ評価プロセスはまた、探索装置の画素解像度よりも大きい登録された平均画像を記憶することにより強化される。特に、各補償された画像70は２，４，８等の係数でアップサンプルされ、その値は画素130 に割当られる。その結果、登録された合計画像、したがって登録された平均画像はアップサンプルされ補償された画像の画素レベルで登録され、それは元の画像のサブ画素解像度に対応している。ＦＯＶ中の拡張された画素に値を割当てるための簡単な最も近いマッピング （対補間）の使用は非常に有効であることを保証する。補償された画像の位相変化は複製から疑似周波数成分の消去を行わせ、入力画像中の実際のナイキスト周波数を越える周波数と一致している疑似アーチファクトは構造的に加算されて保存される。拡大された情景を生成するための疑似防止補間方法はこの好ましい効果を減少させる傾向がある。典型的に高い解像度で登録された平均情景の評価は、逆方向マッピング中の疑似を減少させることにより高い空間周波数内容の区域で性能を改善する効果を有している。それは逆方向マッピングされた画像のサブ画素登録を可能にする。対応する領域（２ｘの解像度で２×２）は平均化されて各逆方向マッピングされた画素を生成する。

変化が順方向または逆方向マッピングプロセスのいずれでも追跡されず、映像装置の非均一性が０次、例えば正確にＤＣオフセットであると仮定されるならば、反復プロセスは計算が簡単にされる。この場合には、個々の画像は計算の反復をサポートするために保持される必要はなく、粗または前の補償された画像のスタックされた平均と、登録された合計と、登録されたカウント画像（後者は反復を通して固定されている）とだけが必要とされる。理想的なスタックされた平均は、登録された平均画像（またはＦＯＶｆ^-1を横切る情景運動に対する等価の相関）に対するＦＯＶ運動トレース（ｆ）のコンボリューションによって計算され、残留する非均一性はこれと入力のスタックされた平均との差によって識別され、残留する差（ＤＣ非均一性評価）はＦＯＶ運動トレース（ｆ）に対してそれらを相関させ、インクリメントの結果を登録された合計に加算することによって登録された平均画像へ伝搬される。コンボリューションは保留されたマスクに対して相関することと等価であるから、１つの動作は各画素によって見られている情景の部分を収集して、画像から情景へ残留エラーを分配する。基準点はこれら２つの場合（映像装置ＦＯＶに固定された場合と情景に固定された場合）で逆にされるから、相関マスクも逆にされる。

図１０に示されているように、ＮＵＣは入力画像の時間的シーケンスを捕捉し（ステップ150 ）、（存在するならば）工場における較正タームのような前のＮＵＣターム151 を使用して各画像を補償し（ステップ152 ）、情景を横切る関連したＦＯＶ運動（ｆ）を追跡することによって達成される（ステップ154 ）。画像はＦＯＶ運動を使用して登録され、最初の“登録された合計画像”を形成するために共に合計される（ステップ156 ）。登録された合計画像中の各画素に影響する画素の数は“登録されたカウント画像”中に記録される（ステップ158 ）。“登録された合計画像”は“登録されたカウント画像”により除算されて登録された平均画像を形成する（ステップ160 ）。この画像は実際の情景内容の最良の利用可能な評価を構成する。画像は補償されない非均一性によってある程度汚染されているが、これらは消去される。

この時点まで、ＮＵＣプロセスは図５および６に関して前に説明したのと同じである。０次補償および前述の変化追跡を仮定することによって、計算プロセスは簡単にされる。全体のプロセスを反復しなければならない代わりに、登録された合計画像の更新についての反復することだけが必要である。最初にＦＯＶ運動トレースｆ162 が登録された平均画像に対して回旋されて理想的なスタックされた平均が形成される（ステップ164 ）。この理想的なスタックされた平均とスタックされた平均（補償された画像の平均）との差が形成され（ステップ166 ）、複合の説明されない差画像（ＤＣ非均一性）が評価を形成する（ステップ168 ）。複合画像はＮＵＣエラーターム170 として出力され、それは前の反復からの更新されたＮＵＣターム172 と組合わされて現在の更新されたＮＵＣターム172 を形成する（ステップ173 ）。

入力画像を更新されたＮＵＣタームによって補償し、新しい登録された合計画像を生成しなければならない代わりに、ＮＵＣエラータームは単にＦＯＶ運動トレースｆに対して相関させて登録された合計エラーを形成し（ステップ174 ）、登録された合計画像に付加して（ステップ176 ）登録された合計画像を更新し、それにより登録された平均画像を更新する。この内部ループはある数の反復回数で更新されたＮＵＣターム172 が収斂するまで繰返される。

図１１に示されているように、ＮＵＣプロセスはまたオペレータのディスプレイ200 または自動化された画像プロセス202 に対して強化された画像を提供する能力を与える。各補償された画像に対して、情景画素静止マップ112 が使用されて画像Ｎ_i の数を選択して各情景画素において合体させるために使用される（ステップ204 ）。情景画素は大きいＮ_i ほど安定である。その後、各入力画像フレームに対してＦＯＶ運動72が使用されて各映像装置画素における最も最近のＮ_i の影響を選択する（ステップ206 ）。これら２つのステップは本質的に各画素に対する時間的平均フィルタの幅と各画素に対する運動補償を決定する。そのフィルタはストレートな平均、加重された平均、または何らかの高次のフィルタであってもよい。この情報を利用して、複合平均画像が各フレームに対して補償された画像から生成される（ステップ208 ）。複合画像は２つの異なる方法で強化される。第１に、比較的安定な画像の区域においては、多数の画像の合体によりかなりの雑音減少が実現できる。さらに、顕著に変化する画像の区域においては、細部はほんの少しの画像の合成または画像なしで保存される。第２に、特に図９の強化された解像度の方法では、隣接するフレームからの情報の混合によって複合画像中の情景内容を再構成することが可能であり、それは個々のフレームに対するナイキスト制限を越えてそこにもともと存在していない。走査線形アレイが交差軸において画像解像度を与えるためにしばしば使用されるように、２次元映像装置は両軸で強化された解像度を与えることができる。

本発明の幾つかの実施形態が示され、説明されたが、多数の変形および置換された実施形態が当業者には明らかであろう。そのような変形および置換された実施形態は容易に予測され、特許請求の範囲に記載されている本発明の技術的範囲から逸脱することなく行われることができる。

ＦＬＩＲおよびミサイルシステムのブロック図。 ボアサイト相関に先立ってＦＬＩＲビデオフレームとＮＵＣされたミサイルビデオのフレームを示す図。 本発明によるターゲットハンドオーバーに対する非均一性補償とボアサイト相関の並列処理のブロック図。 ＮＵＣされないミサイルビデオとＮＵＣされないミサイルビデオの自己相関とを使用するボアサイト相関のブロック図。 反復ＮＵＣプロセッスを示す図。 ＮＵＣエラータームの評価のフローチャート。 評価プロセスの説明図。 順方向および逆方向マッピングプロセス中の変化を追跡する別の実施形態のフローチャート。 登録された平均画像が探索装置の画素解像度よりも大きい解像度である別の実施形態の説明図。 ゼロ次のシステムの計算効率のよい実施形態のフローチャート。 ＮＵＣにより与えられた情報を使用して強化された画像を表示するためのフローチャート。

Claims (10)

1. 画素化された赤外線映像装置のための非均一性補償（ＮＵＣ）方法において、
   入力情景の評価値(77)を生成するために異なったＦＯＶを有する赤外線映像装置からの入力画像(70)の時間的シーケンスを登録し（ステップ73, 74, 76, 78）、
   異なるＦＯＶに対して評価された入力情景を逆方向マッピングしてそれぞれに対して評価された入力画像（84a, 84b…）を生成し（ステップ82）、
   前記各評価入力画像（84a, 84b…）を関連する入力画像（70）と比較して赤外線映像装置に対する画素単位の応答の非均一性補償（ＮＵＣ）タームを評価し、
   そのＮＵＣタームを画像に適用して補償された画像を生成する（ステップ65）各ステップを含んでいる赤外線映像装置の非均一性補償方法。
2. 入力情景の評価は、
   前記登録された入力画像（70）を共に加算して登録された合計画像を生成し（ステップ74）、
   登録されたカウント画像(75)中の情景中の各画素に対して影響する入力画像の数を累算し、
   登録された合計画像を登録されたカウント画像によって除算して登録された平均画像(77)を形成する（ステップ78）ことによって生成される請求項１記載の方法。
3. さらに、登録された合計画像を更新するために順方向マッピングにおいて映像装置の画素(102) の応答の変化の追跡を維持し（ステップ104,106,108,111,121 ）、最もよく一致している応答を与える映像装置の画素が登録された合計画像および登録されたカウント画像に最も強く影響し、それにより入力情景の評価値に影響を与えている請求項２記載の方法。
4. 最も近接した近隣のマッピングが登録された平均画像(77)中に入力画像のＦＯＶ中の画素(130) の数を拡大するために使用され、それは入力画像(70)よりも高い解像度に維持され、入力画像中の位相変化により疑似周波数成分をマッピングから消去しながら、入力画像中のナイキスト周波数を越える周波数と一致するアーチファクトが構造的に付加されて保存される請求項２記載の方法。
5. 評価された入力情景(77)は、その評価された入力情景(77)中の１フレーム（83a, 83b…）を切離すことにより各入力画像に逆方向でマッピングされ、その評価された入力情景(77)はその画像の視野に対応しており、さらに、逆方向マッピングの期間中情景画素の静止マップ(112) 中の情景画素の変化の追跡を維持して評価されたＮＵＣタームを更新し（ステップ114,118,120)、時間的に安定しており局部的にフラットな影響の入力情景の評価の区域はＮＵＣタームの評価に対して最も重くされている請求項１記載の方法。
6. さらに、各補償された画像に対して情景画素静止マップ(112) を使用して各情景画素において混合される画像の数Ｎ_i を選択し（ステップ204)、
   情景運動の評価を使用して各画像画素（ｉ，ｊ）における最も最近のＮ(I,J) の影響を選択し、
   各画像画素において補償された画像からのＮ(I,J) の影響を混合することによって複合画像を生成する請求項５記載の方法。
7. 前記ＮＵＣタームは、
   入力画像と評価された入力画像との各対を弁別して説明されない差画像のシーケンスを形成し（ステップ86) 、
   前記説明されない差画像についてＮ次相関を行ってＮＵＣエラーターム(90)を形成し （ステップ88) 、
   ＮＵＣエラータームをＮＵＣタームと組合わせて（ステップ67) ＮＵＣタームを更新する（ステップ68) ことによって評価される請求項１記載の方法。
8. 前記逆方向マッピングは、登録された平均画像に対してＦＯＶ運動トレースを回旋して理想的なスタックされた平均を形成し（ステップ164)、それは入力画像のスタックされた平均と比較されて（ステップ166)、説明されない複合差画像を形成し（ステップ168)、それはＮＵＣエラーターム(170) として出力されてＮＵＣタームを更新し（ステップ172)、前記ＮＵＣエラータームはＦＯＶ運動トレースに対して相関され（ステップ174)、登録された合計画像に加算されて（ステップ176)、ＮＵＣエラータームについて別の反復のために登録された平均画像を更新する請求項２記載の方法。
9. ＮＵＣタームの評価を改善するために補償された画像について各ステップが反復される（ステップ65,66,67,68)請求項１記載の方法。
10. 補償されない赤外線は、
    赤外線ビデオの複数のフレームにわたって赤外線映像装置の時間的運動を使用して第１のエッジマップを形成し、
    赤外線ビデオ中の情景の運動を測定し、
    情景の運動にしたがって基準ビデオ中の画像を空間的に処理して第２のエッジマップを形成するために同じエッジの少なくとも幾つかの位置を決定し、
    第１と第２のエッジマップを相関させることによって基準ビデオと相関される請求項１記載の方法。

Images