JP2005537545A

JP2005537545A - 画像融合システムおよび方法

Info

Publication number: JP2005537545A
Application number: JP2004531889A
Authority: JP
Inventors: ティアナ，カルロ
Original assignee: ビーエーイーシステムズエアクラフトコントロールズ，インコーポレイティド
Priority date: 2002-08-28
Filing date: 2003-08-27
Publication date: 2005-12-08
Anticipated expiration: 2023-08-27
Also published as: US6898331B2; EP1540575A4; CA2497212C; EP1540575B1; HK1085292A1; CA2497212A1; KR100796707B1; KR20050067389A; USRE41447E1; CN100421122C; US20040047518A1; AU2003270034A1; EP1540575A1; CN1695155A; JP4261480B2; WO2004021264A1

Abstract

複数個の画像を処理して、一個以上の画像から選択された領域を含む処理済み画像または融合画像を形成する、コントラストに基づく画像融合システムおよび方法。画像は各画像領域へと分割される。必要であれば、各画像の夫々の部分はフィルタリングされる。畳み込みカーネルを介して各画像に対するコントラスト・マップが生成され、各画像領域に対するコントラスト値を有するコントラスト・マップに帰着する。各コントラスト値は比較され、且つ、大きい方のもしくは最大のコントラストなどの選択用の判定基準もしくはプロセスに基づき、画像領域が選択される。選択された画像領域は、融合画像を形成する。必要であれば、融合画像の一個以上の部分の輝度が調節される。ひとつのセンサは基準センサとして選択され、且つ、基準センサ画像を縦断して、該基準センサ画像の各領域の平均強度が決定される。最終画像の一個以上の領域の強度は、決定済み平均輝度値と該最終画像の強度値とを組み合わせることで調節される。

Description

本発明は概略的に、画像化システムおよび方法に関し、より詳細には、２個以上のセンサからの画像の領域を選択的に融合し又は組み合わせる画像化システムおよび方法に関する。

画像融合は概略的に２個以上の画像の夫々の部分を単一の処理済み画像へと組み合わせ又は併合する段階を指している。画像融合は一般的に画像の生成において２個以上の検出器が用いられるときに使用されることで、ユーザに対して表示され又は自動化処理システムに対して提供される画像は上記センサの各々により提供される情報から組み合わされる。

公知のシステムが種々のセンサからの画像を組み合わせるひとつの様式は、ピクセル毎に２個の画像を単純に相互に加えるものである。故にたとえば、各ピクセル位置が位置（ｘ，ｙ）により特定されるというｎ×ｍマトリクス内に配置されたピクセルの２次元（２−Ｄ）の処理済み画像を表現するためには、第１画像のピクセル（１，１）における値もしくはデータが第２画像のピクセル（１，１）におけるデータもしくは値に加算され、上記第１画像のピクセル（１，２）における値もしくはデータが上記第２画像のピクセル（１，２）における値もしくはデータに加算され、以降は、両方の画像の夫々のピクセルに関してピクセル（ｎ，ｍ）まで同様である。他の公知のシステムはこの技術の変形例を実施すると共に、２つの値を加算する代わりに、各ピクセルにおける値の平均を計算する。故に最終的な画像は、平均化されたピクセル値を含む。

しかしこれらのシステムは、多くの欠点を有する。第１に、公知の画像融合技術は典型的に、不都合で不必要な歪曲に帰着する。たとえば一方の画像の一部が明瞭であり且つユーザにより理解可能であるが第２画像の対応部分が不鮮明であれば、ピクセル値を加算もしくは平均化すると、明瞭な画像が明瞭さの少ない画像へと歪曲されてしまう。この不都合な効果は、加算もしくは平均化を介して、不鮮明なピクセルの要素を明瞭なピクセルへと取入れた結果である。更なる例として、明るい画像領域に対して不必要なバックグラウンド領域を加えると、上記明るい画像領域のコントラストおよび品質が減少され得る。たとえば、２個の画像の領域が高い優位性を有し又は明るければ、２個の明るい領域を相互に加えると、“過剰露出”された即ち明る過ぎる最終画像に帰着し得る。これは、飽和した画像に帰着する。最後に、２個の薄暗い画像領域を平均化すると比較的に薄暗い画像に帰着し、且つ、本来的に薄暗い画像領域はそれらの明るさが更に低下し得る。

他の公知のシステムはこれらの欠点を克服すべく、画像内のパターンを特定し且つ該パターンに基づき融合画像を形成するという技術の使用を試みた。ソース画像もしくはオリジナル画像の各々は、（たとえばガウスのロールオフまたはラプラシアン・ピラミッドの手法などに基づき）異なる帯域幅を備えたフィルタを用いて、更に低い解像度の複数個の画像へと分解される。上記のピラミッド手法は、異なる画像領域に対する異なる解像度の使用に基づいており、大まかな特定形状は低解像度にて分析され、且つ、精細な特定形状は高解像度にて分析される。しかしこれらのシステムもまた不十分である、と言うのも、各センサからの完全な画像は、ピラミッドを構成する処理が開始し得る以前に受信されるからである。この要件は典型的に、最も低速なセンサからの少なくとも一個の画像のタイムラグに帰着する。斯かるタイムラグは、航空機もしくは他の移動体などの高速移動プラットフォーム上に載置されたセンサにおいては、または、更に概略的にはリアルタイムの動作が所望される場合には、受け入れられない。

他の公知のシステムは、ラプラシアン方法が改変されると共にソース画像に対しては顕著性値（saliency value）もしくは加重値が割当てられるという技術を用いている。パターンは、該パターンが画像の理解に有用な情報を担持するならば“顕著”である。最終画像は、“加重”パターンに基づいて形成される。しかしこれらの技術もまた不十分である、と言うのも、それらは典型的に画像全体の各ピクセルもしくは領域に対する顕著姓の加重値を分析して割当てる段階を包含するからである。画像全体は、その後に処理される。その後、顕著なパターンが選択される。結果として、画像全体の各領域およびそれらに対応する顕著性値を分析するために過剰な時間が浪費される。

これらの欠点は特に、たとえば飛行機の着陸、戦車の駆動などの様に時間的に敏感な行動に関して公知の画像化システムが使用されたときに特に問題である。これらの状況においては、明確な画像が迅速に生成されることが望ましい。しかし公知の技術は典型的に、これらの時的制約内において高品質の画像を生成し得ず、または典型的に、処理のための完全な画像が利用可能とされた後でのみそれを行い得る。

故に、ソース画像から有用な、適宜なまたは適切な情報を効果的かつ効率的に選択し、更に有益もしくは有用な処理済み画像であってソース画像の各々からの適切で適宜かつ有用な情報を含む処理済み画像を時間的に効率的な様式で形成する方法およびシステムに対する要望が存在する。更に、上記選択的な画像融合技術を種々の検出器もしくは画像生成器に適用して種々の用途で使用されるための融通性を提供することが望ましい。

本発明は、異なるセンサにより生成された（本明細書中ではセンサ画像もしくはソース画像とも称される）各画像の夫々の領域を選択的に組み合わせることで、各センサ画像からの適切な情報を用いて処理済み画像または融合画像を形成する方法およびシステムを提供する。上記方法およびシステムは、各センサ画像を夫々の画像領域へと分割し、且つ、各画像領域に対してたとえば畳み込みによりコントラスト値のマップを生成することで実現される。次に、ひとつのセンサ画像に対するコントラスト値のマップは、他のセンサ画像に対するコントラスト値の対応マップと比較される。比較された２個以上のコントラスト値から、たとえば、比較された２個以上のコントラスト値の大きい方とされ得る選択判定基準に基づいて、ひとつのコントラスト値が選択される。次に、選択された各コントラスト値に対応する画像領域が使用されて処理済み画像が形成される。本発明によれば各画像領域は、ピクセル、ピクセル群、または、任意形状領域に基づいて分割され得る。

本発明に依れば更に、各センサは異なる波長を検出する。

また本発明に依れば、異なる形式、個数および組み合わせのセンサからの画像が処理され得る。使用され得るセンサとしては、赤外線（ＩＲ）センサ、（たとえば、レーダなどの能動的センサ、または、放射測定器などの受動的センサなどの）無線周波センサが挙げられる。

本発明に依れば更に、複数個のセンサからの画像領域が組み合わされて上記処理済み画像が形成される。

本発明に依れば更に、第１センサおよび第２センサからの画像に対するコントラスト・マップが組み合わされて中間コントラスト・マップが形成され、これは次に、第３画像のコントラスト・マップと比較されて上記処理済み画像が形成される。

本発明に依れば更に、上記画像融合方法およびシステムは、航空機、船舶、自動車もしくは列車などの移動体の誘導に関して用いられる。

本発明に依れば更に、一個以上の画像区画の強度もしくは輝度が処理済み画像を縦断して調節される。ひとつのセンサが基準センサとして選択され、且つ、基準センサ画像の各領域の平均強度が決定される。上記処理済み画像における同一のもしくは対応する領域または近傍の領域の強度は、上記基準画像の決定済み平均輝度値と上記処理済み画像の強度値とを組み合わせることで調節される。

また本発明に依れば、上記方法およびシステムは、コントラスト比較が実施される前に各センサ画像の夫々の部分をフィルタリングすべく実現される。

以下における本発明の実施例の説明においては、本発明の一部を構成すると共に本発明が実施され得る特定実施例が例示される添付図面を参照されたい。本発明の有効範囲から逸脱せずに構造的変更が為され得ることから、他の実施例が利用され得ることは理解される。

図１を参照すると、航空機におけるコクピットからの場景、すなわち、センサ１００、１０２およびプロセッサ１１０およびディスプレイ１２０を有する本発明のシステムＳが示される。センサ１００、１０２は、たとえばコンピュータ、マイクロコントローラまたは他の制御要素もしくはシステムであるプロセッサ１１０に対して夫々の画像データもしくはストリーム１０４、１０６（すなわちセンサ画像またはソース画像）を提供する。上記各センサは、同一の重複する波長もしくは異なる波長を検出し得る。更に、上記各センサはまた、同一の視野すなわち重複する視野も検出し得る。

プロセッサ１１０は、各画像１０４、１０６からの領域を選択的に組み合わせて処理済み画像または融合画像１１５とすべくプログラムされる。より詳細にはプロセッサ１１０は、各画像１０４、１０６の領域を比較し、且つ、たとえば各センサ画像の明るい領域と暗い領域との間の明るさの見かけ上の差を表すコントラスト値の比較などの選択判定基準に基づき、画像領域を選択する。上記プロセッサは、限定的なものとしてでは無く、夫々の比較に関して大きい方のもしくは最大のコントラスト値などの異なる選択判定基準を考慮すべくプログラムされ得る。故に上記処理システムは本質的に、一個以上のまたは全ての画像から、上記選択判定基準に基づき望ましい選択肢に係る単一もしくは複数の領域を抽出する。選択された各領域は相互にピース化されて融合画像１１５を形成する（パズルの各ピースが複数個のソースから選択され得ることを除き、ジグソーパズルが複数個のピースから形成されるのと酷似している）。上記“パズル・ピース”または画像領域は、単一の画像、上記画像の内の幾つかの画像、または、上記画像の全てに由来し得る。その場合に融合画像１１５は視覚ディスプレイ１２０を介してパイロットもしくはユーザに呈示される。上記融合画像はまた、更なる処理のために画像プロセッサもしくはコンピュータにも提供され得る。

図１は航空機におけるシステムＳの適用を示しているが、当業者であれば、以下に記述される如く上記システムは他の多くの移動体に適用されて種々の用途で使用され得ることを理解し得よう。

図２乃至図４のフローチャートには、画像１０４、１０６の部分を融合してもしくは選択的に組み合わせて処理済み画像１１５とする技術が示される。図２に示された如く、ステップ２００において各センサは画像を生成し、且つ、画像データはプロセッサに対して提供される。ステップ２０２において、所望であれば各画像領域は、処理からの排除のために、処理済み画像からの排除のために、または、処理済み画像に対する寄与を低減するために、フィルタリングされ得る。ステップ２０４においては、各センサ画像の対応領域のコントラスト値が比較される。ステップ２０６においては、一定のコントラスト値を選択もしくは特定するために上記選択判定基準が適用される。システムＳの実施例において上記選択判定基準は、大きい方のもしくは最大のコントラスト値の選択もしくは特定とされ得るが；単一もしくは複数個の上記選択判定基準もしくはプロセスはシステムＳの別実施例においては、該システムが如何に利用されるかに依存して全てが異なるものとされ得る。ステップ２０８においては、選択されたまたは特定されたコントラスト値に対応する画像領域が特定もしくは選択される。ステップ２１０においては、選択された画像領域が組み合わされ、すなわち、効率的に“相互にピース化”されて融合画像もしくは処理済み画像が形成される。次にステップ２１２においては、所望であれば、処理済み画像または融合画像の強度もしくは輝度が調節もしくは補正されて更に明瞭な画像が生成される。

図３は更に、ステップ２０４すなわちコントラスト値を比較する段階を示している。ステップ３００においては、各センサ画像が複数個の画像領域へと分割される。次にステップ３０２においては、各センサ画像に対するコントラスト・マップが生成される。各コントラスト・マップは、定義された各画像領域に対するコントラスト値を含む。ステップ３０４においては、ひとつのセンサ画像の画像領域のコントラスト値が、他の単一もしくは複数個のセンサ画像の対応画像領域のコントラスト値と比較される。この点に関して使用される対応画像領域とは、少なくとも重複するセンサ画像を指している。たとえばひとつのセンサ画像の視野が飛行場の滑走路を含むなら、このセンサ画像は、別のセンサ画像も同一の飛行場滑走路を含むならば該センサ画像の視野と“重複”する。もし上記２つのセンサ画像の視野が相互に同一（もしくは略々同一）であれば、各画像は（略々）１００％重複すると見做される。

次に図４を参照すると、ステップ２１２すなわち融合画像の強度もしくは輝度の調節段階が更に詳細に示される。ステップ４００においては、ひとつのセンサ、すなわち輝度値が整合されるべきセンサが基準センサとして選択される。次にステップ４０２においては、上記基準センサの画像を縦断して該画像の各画像領域（たとえば断面的ライン）の平均輝度もしくは平均強度が決定される。次にステップ４０４においては、融合画像もしくは処理済み画像の一個以上の領域の強度が、上記で決定された平均輝度値と該融合画像の強度値とを組み合わせて調節されることで、輝度補正済み融合画像が形成される。上記強度調節は、同一領域、または、近傍のもしくは追随する領域に対して適用され得る。たとえば上記調節は、強度が決定されたものと同一のラインまたは近傍のもしくは追随するラインに対し４０６、あるいは、上記融合画像における近傍のもしくは追随する領域もしくはラインに対し４０８、適用され得る。

当業者であれば、上記画像融合方法およびシステムは複数個の画像を処理する多くの異なる環境および用途において使用され得ることを理解し得よう。たとえば（飛行機、ジェット機、ヘリコプタなどの）航空機の他にも、上記方法およびシステムは船舶、自動車または列車などの他の移動体において実現され得る。更に上記画像融合方法およびシステムは、（たとえば超音波、赤外線、レーザ画像化もしくはトモグラフィ・センサなどを用いる）医療器具、および、監視システムからの画像を表示すべく使用され得る。実際、各センサ画像からの適切な情報もしくは情報の選択肢を含む処理済み画像または融合画像を形成するという画像領域の上記選択的融合によれば、多くの用途が恩恵を受け得る。

但し、説明を目的として本明細書は基本的に航空機に関連する画像に言及する。斯かる画像は、航空機の着陸、地上走行、離陸または巡航と、シーフィット（Controlled Flight Into Terrain （ＣＦＩＴ））を防止する用途とに関連し得る。上記システムが航空機用途において如何に使用され得るかの特定例として、本明細書はレーダセンサおよびＩＲセンサにより生成された画像の処理に言及する。但し、説明される如く、多くの異なる形式、個数および組み合わせのセンサおよびセンサ画像が処理され得る。故に本明細書において説明される例示的なシステムおよび方法は、多くの異なる用途に対して使用され得る。

画像およびセンサ
次に図５Ａ乃至図５Ｃを参照するとセンサ１００、１０２は、たとえば図５Ａ乃至図５Ｂに示された画像５００、５１０などの夫々の画像１０４、１０６を生成する。一方もしくは両方の画像の選択領域が使用され、すなわち効果的に相互に結合もしくはピース化され、たとえば図５Ｃに示された融合画像５２０などの融合画像もしくは処理済み画像１１５が形成される。ソース画像の内容に依存し、たとえば図１１Ａ乃至図１１Ｂに関して後に説明される如く、上記融合画像を更に処理することが望ましいこともある。

より詳細には図５Ａは、赤外線（ＩＲ）センサにより生成された滑走路の画像５００を示している。上記ＩＲセンサは、たとえば０．８〜２μｍ、３〜５μｍ、８〜１２μｍまたはそれらの組み合わせおよび拡張などの種々のＩＲ波長範囲にて動作し得る。使用され得るＩＲセンサのひとつの例は、マサチューセッツ州、レキシントンのビーエーイー・システムズ（BAE SYSTEMS）から入手可能な赤外線画像化システムである。図５Ｂは、同一であるか又は殆ど同一の滑走路場面であるが画像５１０はレーダセンサにより生成されたという同一の滑走路を示している。レーダセンサは、Ｘ、Ｋ、Ｋａまたは他のバンドレーダ・センサとされ得る。本発明と共に使用される適切なレーダセンサはたとえば、カリフォルニア州、サンタモニカのビーエーイー・システムズから入手可能な航空機制御器である。

この場合、ＩＲセンサおよびレーダセンサは両者とも概略的に、両方の視野において視認可能な対象物もしくは状態が一方のセンサよりも他方のセンサにより更に良好に検出され得る如く、同一のもしくは重複する視野を提供する。当業者であれば、後に記述される如く、上記システムおよび方法は異なる度合いの重複もしくは視野による画像に対して適用され得ることを理解し得よう。更に、記述される実施例はレーダおよびＩＲによるセンサおよび画像を含むシステムの特定例を提供するが、異なる形式、個数および組み合わせのセンサおよび画像が利用され得る。たとえば上記システムは紫外線（ＵＶ）センサと共にでも使用され得るが、ひとつの例示的なＵＶセンサはカリフォルニア州、サニーベールのパルニクス・アメリカ社（Pulnix America, Inc.）から入手可能である。更に、上記各センサの一方は、限定的なものとしてではなく１０、３５、７６、９４および２２０ＧＨｚなどの種々のＲＦ帯域で動作する画像化レーダまたは放射測定器などの能動的もしくは受動的な無線周波数（ＲＦ）システムに基づき得ると共に、斯かるセンサの一例はカリフォルニア州、レドンドビーチ（Redondo Beach）のティーアールダブル社（TRW Inc.）から入手可能である。更なる例として、センサは、ウィスコンシン州、ウォーキシャ（Waukesha）のジェネラル・エレクトリック・メディカル・システムズ・ディビジョン（General Electric Medical Systems Division）から入手可能な医療用画像化用途で利用される超音波センサなどの超音波センサとされ得る。センサはまた、たとえば低レベルの光で視認可能な帯域センサ、荷電結合素子（ＣＣＤ）、または、自然のもしくは人工的な照明を使用し得ると共にニュージャージー州、セコーカス（Secaucus）のパナソニック社（Panasonic Inc.）から入手可能なカラーもしくはグレースケール用カメラなどの、可視帯域センサともされ得る。

更に上記画像融合システムは、たとえば３個、４個または他の個数のセンサなどの複数個のセンサからの画像を処理すべく構成され得る。センサのひとつの可能的な組み合わせとしては、２個のＩＲセンサおよび１個のレーダセンサが挙げられる。全てのセンサからの画像は、まとめて処理され且つ選択的に組み合わされて処理済み画像とされ得る。たとえば画像Ａ、ＢおよびＣが選択的に組み合わされて処理済み画像または融合画像Ｄとされ得る。代替的に２個のセンサ画像が処理され、その結果が第３のセンサ画像とともに処理されることで、処理済み画像もしくは融合画像またはその代表的なコントラスト・マップが形成され得る。たとえば画像ＡおよびＢが組み合わされて画像Ｃもしくは中間コントラスト・マップＣとされ、これは引き続き画像Ｄもしくはコントラスト・マップＤと選択的に組み合わされることで、融合画像Ｅもしくは更なる中間コントラスト・マップが形成され、全ての画像が処理されて融合画像が形成されるまで、以下同様である。実際、所望に応じてまたは必要に応じて、異なる個数のセンサ画像の異なる組み合わせは、異なる反復回数の比較により処理され得る。

センサの形式の選択は、そのセンサが使用される条件および環境に依存し得る。前述された如く、ひとつの環境に対してはひとつの形式のセンサが更に適切であり得る一方、異なる環境に対しては別のセンサが更に適切であり得る。より詳細には、一定の形式のセンサは、環境が昼光、夜間、霧、雨などであるかに依存し、且つ、画像が遠距離もしくは近距離であるかに依存し、更に明瞭な画像を提供し得る。たとえばレーダセンサは典型的に霧の条件ではＩＲセンサと比較して更に良好な画像を提供するが、ＩＲ画像の写真的品質は欠如し得る。

画像領域のコントラスト値の比較
画像領域のコントラスト値は、各画像を夫々の領域へと分割し、定義された領域に基づいてコントラスト・マップを生成し、且つ、単一もしくは複数個の選択判定基準を用いて対応するコントラスト・マップ値を比較することで、比較される（ステップ２０４）。上記比較は、関連する各画像領域の比較を許容すべく配置された単一もしくは複数個の整列されたもしくは事前位置合わせされた画像に基づく。故に、もし重複しない各画像が処理されるなら、以下において更に詳細に記述される如く関連する各領域が比較される如く、それらの画像は事前位置合わせもしくは整列される。次にコントラスト値は、たとえば大きい方のもしくは最大のコントラスト値を優先する選択判定基準に基づき選択される（ステップ２０６）。たとえば、一時的な残光、明るさ、色などの他の選択判定基準も利用され得る。

画像から領域への分割
最初に、センサ画像は図６Ａ乃至図６Ｆに示された如く画像領域へと分割される。画像は、ピクセル６００ａ−ｂ、６００１ａ−ｂ毎に（図６Ａ乃至図６Ｂ）またはピクセル群６０２ａ−ｂ、６０４ａ−ｂ毎に（図６Ｃ乃至図６Ｄ）分割され得る。ピクセルもしくはピクセル群は、モノクロ画像すなわち異なるグレーの陰影（グレースケール）を表すことで異なるレベルの強度を有する画像を表すべく、“ブラックまたはホワイト”とされ得る。ピクセルもしくはピクセル群はまた、カラー画像の一部を形成すべく活用される赤、緑および青のドットも有し得る。更に各画像領域は、任意の形状とされた領域もしくは境界を有する画像領域６０６ａ−ｂ、６０８ａ−ｂ、６１０ａ−ｂ、６１２ａ−ｂとして定義され得る（図６Ｅ乃至図６Ｆ）。結果として、各センサ画像における各領域に関し、ひとつの画像領域は別の対応画像領域と比較され得る。たとえば図６Ａ乃至図６Ｂを参照すると、領域６００ａ（ｘ₁＝１、ｙ₁＝１２）は領域６００ｂ（ｘ₂＝１、ｙ₂＝１２）と比較可能であり；且つ、領域６０１ａ（ｘ₁＝１７、ｙ₁＝１０）は領域６０１ｂ（ｘ₂＝１７、ｙ₂＝１０）と比較可能である。

説明を目的として、図５Ａ乃至図５Ｂと、図６Ａ乃至図６Ｆに示された関連例示画像領域とは、たとえば整列もしくは事前位置合わせされたピクセル、ピクセル群または任意形状領域などの様に概略的に整列もしくは事前位置合わせされた画像領域を備えた同一のもしくは本質的に同一の画像を包含する。換言すると図５Ａ乃至図５Ｂは、重複する画像（１００％重複）、または、高度に重複した画像（ほとんど同一のセンサ画像）を示している。結果として図６Ａ乃至図６Ｆの画像領域は、一連の対応画像領域において相互に整列される。故に、（たとえば樹木６０７などの）対象物は各センサ画像内で殆ど同一の相対位置に在ることから、各センサ画像が如何にして画像領域へと分割されるかに関わりなく、両方のセンサ画像の同一の画像領域内に位置する。

但し当業者であれば、上記システムおよび方法は、センサの配置個所、位置、視野および検出機能に依存して、異なる個数、形式、および、異なる重複度合いのセンサ画像の組み合わせと共に利用され得ることを理解し得よう。異なる重複度合いを伴う場合に上記各画像領域は、比較が実施され得る如く整列もしくは事前位置合わせされ得る。

たとえば各センサは、図５Ａ乃至図５Ｂに示された滑走路場面などの様に本質的に同一の画像を検出すべく相互に接近して（たとえば航空機の前部または底部の近傍に）位置され得る。結果として、同一もしくは同様の各画像内における画像領域は概略的に、図６Ａ乃至図６Ｆに示された如く対応様式で相互に整列される。これらの場合において、選択プロセスまたは判定基準が適用される各画像領域（または、処理済み画像の形成における選択および使用に対して“競合”する各画像領域）は、図６Ａ乃至図６Ｆにおいて整列された画像領域の全てであると見做され得る、と言うのも、上記各画像は概略的に一対一の境界および視野だからでる。

更なる例として、ひとつのセンサは第１画像を検出し得る一方で別のセンサは上記第１画像の殆どを検出し得るが付加的な状況要素も検出し得る。これはたとえば、各センサが相互から離間して位置され、または、異なる視野を有すべく位置されたときに生じ得る。この場合に上記選択プロセスは、重複する各領域の幾つかもしくは全てに対して適用され得る。各画像領域は、コントラスト比較などの選択プロセスもしくは判定基準の適用により処理される。競合する各領域は比較され、各画像領域が選択されて処理済み画像または融合画像が形成される。重複しないもしくは競合しない画像領域は、たとえばソース画像および融合画像もしくは処理済み画像の品質、センサの形式、および、ユーザおよびシステムの要求内容などに依存して異なる様式で処理され得る。たとえば非重複の画像はフィルタまたはバックグラウンドとして、処理済み画像に加えられ得る。代替的に非重複領域は、処理済み画像または融合画像における包含から廃棄もしくは除外され得る。一定の場合、特定のシステムおよび用途に依存して、重複領域は処理されなくても良い。

故に上記方法およびシステムは、異なる重複度合いを有する画像、および、異なる整列度合いを有する画像領域と共に利用され得る。重複および整列の変形例は、異なる検出機能および位置を有するセンサから帰着し得る。但し説明を目的として本明細書および支援図は、整列されて大きな重複度合いを有する対応画像領域を有する画像を参照かつ図示している。結果として、各画像領域の殆どもしくは全ては競合画像領域であり、上記選択判定基準により処理される。但し上記方法およびシステムは、異なる重複度合い、整列および対応性を有する他の画像領域構成を処理すべく構成され得る。

コントラスト・マップの生成
図７Ａ乃至図７Ｂに示された如く、コントラスト・マップ７００、７１０は夫々レーダ画像およびＩＲ画像に対して生成される。各コントラスト・マップは、そのコントラスト・マップ内において各々定義された画像領域に対するコントラスト値を含む。レーダセンサおよびＩＲセンサを用いる上記例を続けて説明すると、図７Ａは、当該レーダ画像の分割による画像領域の各々に対するコントラスト値を含むレーダ画像に対するコントラスト・マップ７００を示している。同様に図７Ｂは、当該ＩＲ画像の分割による画像領域の各々に対するコントラスト値を含むＩＲ画像に対するコントラスト・マップ７１０を示している。本発明によれば、コントラスト・マップ７００および７１０の各々には任意数の画像領域が存在可能であるが、斯かる個数は好適には等しくされるべきであり、且つ、レーダセンサおよびＩＲセンサが１００％重複する画像を提供する場合に各画像領域は対応する。

この例示的なレーダ・マップに対し、画像／マップの概略的な頂部および底部部分７０２、７０６におけるコントラスト値は比較的に低い値であり、且つ、概略的中央部分７０４におけるコントラスト値は比較的に高い値である。例示的なＩＲマップに対し、概略的な中央部分７１４におけるコントラスト値は比較的に低い値であり、且つ、概略的な頂部および底部部分７１２、７１６におけるコントラスト値は比較的に高い値である。

本発明によれば、各画像領域に対するコントラスト値を含むコントラスト・マップは、たとえば適切なカーネル（kernel)を有する畳み込み(convolution）を介して生成される。２次元（３×３）の正規化畳み込みカーネルにおいて利用され得るひとつの例示的な畳み込みおよびカーネル：
K_c*S1(x,y),K_c*S2(x,y)
式中、＊は畳み込みを表現し、

であり、
ｘ、ｙは夫々、０から画像幅（ｗ）および画像高さ（ｈ）に亙る画像の空間座標であり、
Ｓ１は、たとえばミリワット・レーダ画像ストリームなどの第１センサ画像であり、且つ、
Ｓ２は、第１もしくはレーダ画像と空間的に事前位置合わせもしくは整列されたＩＲ画像ストリームなどの第２センサ画像である。

例示的カーネルＫ_cは、その中心からの距離測定値を反映する値を含む。コントラスト・マップは、畳み込みの結果として各画像の夫々の画像領域に対するコントラスト値を含んで生成される。

上記プロセッサは、Ｃ言語もしくは別のプログラミング言語を以て、または、専用の集積回路ハードウェアにおいて、上記畳み込みを実行し得る。上記畳み込みのリアルタイムの実施は、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途集積回路（ＡＳＩＣ）または他のハードウェア式手段を用いて行われ得る。

コントラスト値の選択
図８Ａ乃至図８Ｂは、図７Ａ乃至図７Ｂのコントラスト・マップにおけるコントラスト値の比較時に実施された選択判定基準に基づき選択されて処理済み画像の形成において使用されるピクセル値を示している。レーダ画像の画像領域とＩＲ画像の対応画像領域との間の各コントラスト値の大きい方を選択すべく選択判定基準が作用するというこの例において、図８Ａは、図７Ａの選択（レーダ）コントラスト値のピクセル値であって上述された如く概略的にレーダ画像の中央部分８００に位置するピクセル値を示している。同様に、同一の選択判定基準の下で作用するシステムＳによれば、図８Ｂは、図７Ｂの選択（ＩＲ）コントラスト値のピクセル値であって上述された如く概略的にＩＲ画像の頂部および底部部分８１０および８２０に位置するピクセル値を示している。

選択されたコントラスト値に関連する各画像領域は、各画像から選択されてから、その様に選択された他の画像領域と組み合わされ（もしくは“相互にピース化され”）、たとえば図５Ｃに示された融合画像などの処理済み画像または融合画像が形成される。故にこの例において、最大コントラスト値に基づき画像領域を選択する判定基準は以下の如く表現され得る：
F_max-con(x,y)=max{K_c*S1(x,y),K_c*S2(x,y)}
式中、“最大値判定基準”演算は、たとえば一個以上のピクセルもしくは任意形状領域などの様に領域毎に基づいて実施される。故に最大コントラストに基づく画像領域の選択は本質的に、異なる画像からの画像領域の組み合わせ又は上位集合を含む融合画像に帰着するピクセル・バルブの役割を果たす。上記選択プロセスの結果として上記各画像領域は全て、各画像の内容およびコントラスト値に依存して、単一の画像から又は複数個の画像から選択され得る。幾つかのセンサ画像は、融合画像もしくは処理済み画像に対して何らの画像領域も寄与しないこともある。たとえば、特定もしくは選択されたコントラスト値の全てを第１画像が有するなら、処理済み画像または融合画像はその第１画像と同一である。更なる例として、もし各コントラスト値が第１画像ではなく第２および第３画像から選択されるなら、融合画像は第１画像ではなく第２および第３画像からの領域を含む。故に、画像領域Ａ、ＢおよびＣを有する処理済み画像において、画像領域Ａはセンサ画像１から、画像領域Ｂはセンサ画像２から、且つ、画像領域Ｃはセンサ画像３からとされ得る。

畳み込みの適用を包含する前述の例は、２つのコントラスト・マップの生成に帰着する。実際、複数回の比較もしくは複数個のセンサ画像における使用のために複数個のコントラスト・マップを生成すべく、他の回数および組み合わせの畳み込みが実施され得る。たとえば図９を参照すると、画像９００〜９０２は、夫々のセンサから生成される。夫々の画像９００〜９０２のデータに対しては適切なカーネル９１０〜９１２により畳み込みが適用され、以下の如く夫々のコントラスト・マップ９２０〜９２２が生成される：
K_c*S1(x,y),K_c*S2(x,y),K_c*S3(x,y)
式中、第３センサＳ３もまた例えばＩＲセンサである。当業者であれば、同一のもしくは異なるセンサと共に異なるカーネルが使用され得ることを理解し得よう。故に、３つの畳み込みを含むプロセスは、例えば３つの異なる畳み込みカーネルを使用し得る。

次に、３個の画像の対応コントラスト値が比較９３０され、選択判定基準に基づきコントラスト値が選択９４０される。選択９４５された画像領域は、選択されたコントラスト値に対応する。最大コントラスト値判定基準に基づく画像領域の選択は以下の如く表現され得る：
F_max-con(x,y)=max{K_c*S1(x,y),K_c*S2(x,y),K_c*S3(x,y)}

一個以上のセンサ画像から選択された選択領域は次に相互にピース化され、処理済み画像または融合画像９５０が形成される。故にこの例においては、対応コントラスト値の全てが相互に比較され（３個のコントラスト値が同時に比較され）、最大コントラスト値を有する画像領域が選択される。

代替実施例においては畳み込みの複数回の反復が実施されることで夫々のコントラスト・マップが生成され得るが、それらの値は反復して比較されることで最終的に処理済み画像が形成される。たとえば図１０を参照するとコントラスト・マップ９２０〜９２２は、先に記述された如く畳み込みおよび適切なカーネル９１０〜９１２を介して、各画像９００〜９０２に対して形成される。但し、各コントラスト・マップの対応値の全てを相互に比較する代わりに、可能的には異なるコントラスト選択カーネルを利用してコントラスト・マップ比較の反復が実施される。

故にたとえば、コントラスト・マップ９２０および９２１におけるコントラスト値の比較１０００が実施される結果、たとえば大きい方のまたは最大のコントラストなどに基づき一群のコントラスト値１０１０が選択される。選択されたコントラスト値は選択的に組み合わされることで、中間的な画像もしくはコントラスト・マップ１０３０が形成される。

コントラスト・マップ１０３０における各コントラスト値は次に、第３画像９０２からのコントラスト・マップ９２２におけるコントラスト値と比較１０４０される。上記コントラスト値が選択もしくは特定１０５０されると共に、選択された各コントラスト値に対応する画像領域が選択１０５５される。各選択領域は、処理済み画像または融合画像１０６０を形成する。当業者であれば、同一のもしくは異なる畳み込みカーネルにより、異なる個数のコントラスト・マップに対する異なる回数の反復もしくは比較が実施され得ることを理解し得よう。故に本発明の処理システムおよび方法は、種々の用途に対して畳み込みを用いて適合可能である融通性の高い画像融合法を提供する。

融合画像の輝度補正
所望であれば融合画像の輝度もしくは明るさは、利用されるセンサの形式および結果的なセンサ画像および融合画像の品質に依存し、補正もしくは調節され得る。輝度補正は特に、融合画像がパイロットに対して十分に明瞭でないときに有用である。

図５Ｃに示された如く、レーダ画像およびＩＲ画像を含む例においては融合画像中に顕著なアーチファクトが存在し得る。該アーチファクトは融合画像の明るさもしくは輝度が一貫していない結果であり、融合画像を縦断する不連続な輝度に帰着する。この特定例において、レーダ画像から選択された高コントラストの領域（この例においては中央の水平バンド）は概略的に、ＩＲ画像からの高コントラスト領域よりも暗い。結果的な処理済み画像または融合画像の輝度分布は、２つの入力センサの輝度間で異なっている。たとえば上記画像の中心を縦断する更に暗いバンドは概略的にレーダ画像から選択されており、該レーダ画像はその領域において、ＩＲ画像よりも高コントラストを有するが輝度は更に低い。これにより、融合画像の全体的な明瞭性が低下する。

融合画像内における輝度分布が調節されることで、更に明瞭な融合画像が生成され得る。輝度調節は、基準センサにより生成された画像の各領域における平均輝度値を決定し、且つ、対応する決定済みの値に基づき融合画像の各領域の輝度を調節することで実施される。図５Ａおよび図５Ｂの例示的な画像において輝度調節技術は、予測される様に（たとえば何らの特定の仰角にて上記画像を縦断するという）任意の水平断面ではなく、（たとえば空から水平線を通り前景に至る）センサ画像の垂直断面内で典型的に変化する輝度に基づく。

基準センサ
輝度補正は、基準センサとしてひとつのセンサを選択し、且つ、基準センサの輝度分布に整合もしくは近似されるべく融合画像の輝度を調節することで実施され得る。上記基準センサは、任意に選択され、または、特定状況におけるセンサの期待された有用性に基づき得る。たとえばレーダセンサは概略的にＩＲセンサよりも、低視認性の条件において更なる画像詳細を提供する。しかしＩＲセンサは典型的に、少なくとも近距離において更に自然なまたは写真的な画像を提供する。

説明を目的として本明細書は、当該センサからの画像の自然に見える特性を捕捉すべく、輝度分布に対する基準センサとしてＩＲセンサＩ（ｘ，ｙ）を記述する。但し、レーダセンサまたは他のセンサが基準センサとされ得る。

平均輝度の決定
輝度の調節は、たとえば場面の水平線に平行な各画像断面に沿う細長領域などの様に特定の画像領域において基準センサの平均強度を決定する段階を含む。場面の水平線とは、“実際の”現実世界の水平線を指す。場面の水平線は、航空機のロール、バンクまたは他の動作の間においては画像水平線に対して所定角度となることもある。

基準センサ画像の斯かる細長領域の各々の平均輝度が決定される。次に、上記決定から獲得された各輝度値は、融合画像の対応細長領域の各々に対して加算され、融合画像の輝度が調節される。更に、必要であれば、輝度の度合いは特定の輝度調節効果のために重み付けされ得る。加重値λは輝度補償の効果を減ずるべく使用され得るが、殆どの状況において十分に明瞭に調節された融合画像を提供すべくλ＝１の値が決定された。

故に、融合画像において輝度が調節される様式は、以下の如く表現され得る：

式中、
Ｆ（ｘ，ｙ）は、融合画像の各輝度値であり、
λは、異なる度合いの輝度調節に対する重み係数であり、
ｗは、ｘ＝０からｘ＝ｗまでの画像の幅であり、且つ、
Ｆ_LC（ｘ，ｙ）は、輝度補償された融合画像である。

当業者であれば、上記基準センサ画像は、水平断面の他にも異なる断面に沿い、且つ、該画像を縦断する細長領域の他にも異なるセグメントを以てサンプリングされ得ることを理解し得よう。断面およびサンプリングの選択は、センサの形式、センサ画像、画像の配向、および、上記システムまたは方法の用途などの種々の要因に依存し得る。但し説明を目的として本明細書は、基準センサ画像の細長領域の断面的サンプリングと、処理済み画像における対応細長領域の補正とに対して言及する。

図１１には、輝度調節の適用例が示される。輝度補正の以前において融合画像１１００に描かれた滑走路場面は、処理済み画像または融合画像を歪曲する多くのアーチファクトを含む。結果として上記滑走路場面は、特に上記画像の中央部分において幾分か不明瞭である。画像１１１０は、輝度補正の後であって基準センサとしてＩＲセンサを選択した同一の画像１１００を表している。

（輝度補正の前の）画像１１００と（輝度補正の後の）画像１１１０とを比較することで理解され得る如く、輝度が補償された画像は上下方向においてそれほど目立たない輝度変動を例証しているが、斯かる輝度変動はそうでなければノイズの多い画像を生成する傾向がある。結果は、更に明瞭な処理済み画像または融合画像である。

融合画像の輝度補正は、該融合画像の異なる細長領域または領域を補正することで実施され得る。たとえば上記基準センサの平均輝度は、基準センサ画像における画像ラインもしくは細長領域に対して決定される。上記基準センサ画像から決定された平均輝度値は、たとえば前述された輝度調節式により処理されて、対応する融合画像ラインまたは細長領域における各ピクセルに加算される。

代替実施例において処理効率は、基準センサ画像の一本のラインからの平均のもしくは決定された輝度値を用い、且つ、基準センサ画像において決定されたラインに対応する処理済み画像または融合画像中のラインの近傍における該融合画像中のライン（たとえば対応する決定済みラインの上方もしくは下方における次のライン）に対して該輝度値を補正値として適用することで高められ得る。輝度値を次のラインに適用することは概略的に容認可能である、と言うのも、順次的な各画像ライン間にて平均値は典型的にはそれほど変化しないからである。但しこの技術は、輝度の変動に依存して、対象ラインの上方もしくは下方における次のラインを、または、基準ラインから離間された所定数のラインを調節するために適用され得る。

輝度補正はまた、航空機が片側へとロールもしくはバンクしたときなどにおいて場面の水平線が画像の水平線と平行でない状況にも適合され得る。この場合に場面の水平角および仰角は概略的に、航空機の方位センサから知られる。輝度補正値は基準センサから計算され、２次元のルックアップ・テーブルとして記憶され得る。上記ルックアップ・テーブルから求められた補正値は、ピクセル毎の様式で融合画像に適用される。もし画像全体のルックアップ・テーブルに対して十分なメモリ記憶資源が利用可能ならば、待ち時間および処理時間を最小化するために、先のフレームの間に計算された値に基づくテーブル値が現在のフレームに対して適用され得る。これらの要件は、たとえば８ビット／ピクセルのセンサに対する３２０×２４０バイトの画像フレーム・サイズ、または、各センサにより生成される画像の詳細に依存する他のサイズに略々等しくされ得る。

センサ画像の空間的な事前フィルタリング
センサ画像の各領域もしくは各部分もまた、コントラスト値の比較および選択判定基準の適用の処理を簡素化するためにフィルタリングされ得る。フィルタリングされた領域は、融合画像に対する該領域の寄与を低減するために１より小さい数として、または、融合画像に対する寄与を全て除去することで処理時間を簡素化かつ短縮するためにゼロとして、表され得る。

フィルタリングされ得る画像領域としては、たとえばレーダセンサの場合にはレーダ地上探知範囲（radar horizon）の上方の領域の様に融合画像に含まれないであろう画像の部分が挙げられる。もしレーダセンサが利用されるなら典型的に、レーダ地上探知範囲の上方（すなわちレーダセンサの検出限界外）には有用な情報は無く、且つ、（少なくとも更なる高度における）近距離場に情報は殆どもしくは全く無い。ＩＲセンサは典型的に、センサが雨もしくは霧などの障害物を貫通し得ないことから遠距離場が検出され得ないという天候状態において特に、短距離（近距離場）にて最も効率的である。故に例示的なレーダセンサおよびＩＲセンサによれば、レーダ地上探知範囲の上方および近距離場におけるレーダ画像領域は事前フィルタリングされ得ると共に、遠距離場におけるＩＲ画像領域が事前フィルタリングされ得る。他のフィールドおよび領域は、各センサ、それらにより生成された結果的な画像、および、ユーザもしくはシステムの要求内容に依存し、フィルタリングに適することもある。

図１２Ａ乃至図１２Ｂには、概略的な空間フィルタが示される。図１２Ａは、レーダセンサにより生成された画像に対するフィルタを示している。特に該フィルタは、レーダセンサの効率が低い箇所すなわちレーダ地上探知範囲１２００の上方と近距離場１２０４とにおける情報を除去する一方、残りのレーダセンサ情報１２０２を通過させてコントラスト・マップに含まれることを許容する。フィルタリングされたデータは、更に暗い領域１２００、１２０４として表される。同様に図１２Ｂにおいてフィルタは、ＩＲセンサの効率が低い箇所すなわち遠距離場１２１２における情報を除去する一方、残りの情報１２１０および１２１４を通過させてコントラスト・マップに含まれることを許容する。図１２Ａ乃至図１２Ｂは本質的に殆ど相補的なフィルタを示しているが、当業者であれば、種々のセンサ／画像の組み合わせによれば必ずしもそうでないことは理解し得よう。異なるセンサは、異なるフィルタ関数を必要とし得る。

画像領域をフィルタリングするひとつの技術は、空間依存型のαおよびβ重み付け関数を選択することで実施される。レーダ画像およびＩＲ画像を含む例を続けて説明すると、上記重み付け関数は、レーダ信号が最も強い箇所における領域ではレーダ画像の寄与を優位とし、且つ、その他の箇所ではＩＲ信号を優位とすべく選択され得る。

上記重み付け関数は、たとえば以下の如き１次元のガウス重み付け関数などの様に、不必要なアーチファクトを導入しない空間フィルタもしくは他の平滑化関数を介して実現され得る：

式中、
α_Mおよびα_Iは、上記ガウス関数の最大振幅を決定し（通常は１であるが、一方のセンサを優位とすべく、または、基礎値ｐ_Mおよびｐ_Iを補償すべく他の値も使用され得る）、
ｂ_Mおよびｂ_Iは、ガウス関数の幅、すなわち、センサの関心領域、または、センサ情報が群化する領域を決定し、且つ、
ｙ₀は、必要に応じて画像内でガウス関数の中心を垂直方向に上下させる。

図１３Ａ乃至図１３Ｂには、斯かる重み付け関数の更に詳細な例が示される。図１３Ａ乃至図１３Ｂは、レーダセンサおよびＩＲセンサの夫々に対する例示的なフィルタ透過度分布のプロット１３００、１３１０を示している。各プロット１３００、１３１０において横軸もしくは“ｘ”軸は、対応する画像に沿うラインもしくは断面を表す。縦軸もしくは“ｙ”軸は、フィルタの透過もしくは伝達能力を表す。

図１３Ａを参照するとフィルタ・プロット１３００は、対応する図１３Ｃにおける垂直位置の関数としてのフィルタ重み付けを示している。該プロットは、伝達の値、割合もしくは比率を示している：０．０（データは伝達されない）、０．２、０．４、…、１．０（データは全て伝達される）。故にこの例示的フィルタは、レーダ画像の効率が少ない部分、すなわちレーダ地上探知範囲１３２０の上方と近距離場１３２４とにおける各部分を強調停止すべく設計される。結果として、大きな伝達比率（すなわち１．０）を有するフィルタは、レーダ画像の最も効率的な部分すなわち画像１３２２の遠距離場もしくは中央区画の部分に対して適用される。

特に、レーダ・フィルタの一例は、完全コントラスト・サイクルにより構成される：画像の中央における最大値にては１００％の透過度、および、画像の上下の縁部にては０％。例示的なフィルタ１３００は、５０ピクセルの標準偏差を以て構成される。使用されるセンサと所望されるフィルタリング効果とに依存し、異なるフィルタ構成および機能が利用され得る。

図１３Ｂは、対応する図１３Ｄにおける垂直位置の関数としてのフィルタ重み付けを示している。このフィルタ１３１０は、ＩＲフィルタの効率が少ない部分、すなわち、中央画像もしくは遠距離場バンド１３３２を強調停止し、且つ、更に強い領域１３３０、１３３４を強調すべく設計される。例示的なＩＲフィルタは７５％の最大コントラストを有し；それは画像の中央における約２５％の透過度から上下の縁部における１００％まで変化すると共に、フィルタ関数１３００と同様に５０ピクセルの標準偏差を有する。

この様にセンサ画像を重み付けすると本質的に、有用で適切な情報を含むが故に融合画像への包含の候補である画像領域が事前選択される。これに加え、情報が殆ど利用可能でない領域を除外することにより、処理時間は短縮され得る。

レーダ画像およびＩＲ画像の例を続けて説明すると、図１４Ａ乃至図１４Ｆには画像領域の事前選択もしくはフィルタリングが更に示される。

図１４Ａは、レーダセンサにより生成されたオリジナルのレーダ画像１４００を示している。画像１４００に見られ得る如く、中央領域１４０４すなわち遠距離場は、（レーダ地上探知範囲の上方の）領域１４０２および１４０６（近距離場）と比較して最も情報を包含している。図１４Ｂはフィルタ１４１０を示している。該フィルタは、上記レーダ画像の領域１４０４に対応する高伝達区画１４１４と、レーダ画像の領域１４０２および１４０６に対応する低伝達区画１４１２および１４１６とを含む。故に上記フィルタは、レーダが最も効率的でない領域１４０２、１４０６を強調停止する。図１４Ｃはフィルタ後レーダ画像１４２０を示しており、この場合には遠距離場もしくは中央領域１４０４が強調されて最も適切な情報が提供される。

同様に図１４Ｄは、ＩＲセンサにより生成されたオリジナルＩＲ画像１４３０を示している。画像１４３０から理解され得る如く、（レーダ地上探知範囲の上方の）頂部領域１４３２および底部領域１４３６（近距離場）は、領域１４３４（遠距離場）と比較して最も情報を含んでいる。図１４Ｅは、フィルタ１４４０を示している。該フィルタは、上記ＩＲ画像の領域１４３２および１４３６に対応する高伝達区画１４４２および１４４６と、上記ＩＲ画像の領域１４３４に対応する低伝達区画１４４４とを含む。故に上記フィルタは、ＩＲの効率が低い領域１４３４を強調停止する。図１４Ｆはフィルタ後ＩＲ画像１４５０を示しており、この場合にレーダ地上探知範囲の上方の領域１４３２および近距離場領域１４３６が強調され、最も適切な情報が提供される。

最適なフィルタリングのために上記重み付け関数は、特定システムの要求内容および設計態様に依存する状態もしくは動作パラメータを考慮すべきである。たとえば図１５Ａ乃至図１５Ｅに示された如く、航空機の場合にフィルタリングは、場面の水平線の回転に帰着するという航空機のロールまたは他の動作もしくは配向の関数とされ得る。故にフィルタリングは、上記重み付け関数の配向により整合され得る。更に、フィルタリングは航空機のピッチおよび高度の関数とされ得るが、これらは両者ともに、有効なレーダ視野に影響し且つ典型的には重み付け関数の標準偏差および垂直位置に影響する。

故に、たとえば、図１５Ａはオリジナルのレーダ画像１５００を示している。図１５Ｂは、通常状態すなわち航空機ロールがないときの重み付けまたはフィルタ関数１５１０を示している。図１５Ｃは、フィルタ後レーダ画像１５２０を示している。結果として、フィルタ１５１０およびフィルタリング済みレーダ画像１５２０の両者は場面の水平線に対して平行であり、一切の角度調節を呈しない。

図１５Ｄは、約５°の航空機ロールを反映する重み付けまたはフィルタ関数１５３０を示している。より詳細には、上記フィルタの伝達部分は約５°だけ回転される。図１６Ｅは、約５°の航空機ロールを考慮すべく約５°だけ回転されたフィルタ関数を反映するフィルタ後レーダ画像１５４０を示している。

事前フィルタリング、コントラストに基づく画像融合、および、輝度補正の組み合わせ
各センサ、および、センサおよび融合画像の結果的な品質に依存し、画像融合処理の一部として空間的事前フィルタリングおよび／または輝度補正プロセスが画像に対して適用され得る。

もしコントラストに基づく画像融合および輝度補正のみが実施されるなら、それらは通常は記述された順序で完了される。もし３つのプロセスが全て実施されるなら、典型的には空間的事前フィルタリングが最初に実施され、次にコントラストに基づくセンサ融合、最後に輝度補正が実施される。これらの順序は典型的には、処理時間を短縮し乍ら更に効率的な融合画像に帰着する。所望の輝度分布を最も厳密に達成すべく、且つ、引き続く処理の結果として画像輝度分布が変化することを防止すべく、輝度補正は通常は事前フィルタリングおよびコントラストに基づく融合の両者の後とすべきである。この様にしてこれらの技術を適用することで、パイプライン遅延およびデータ待ち時間が最小化されてシステム性能が強化される。これらの強化は特に、たとえば航空輸送、ループ中パイロット（pilot-in-the-loop）用途、または、リアルタイムの画像処理を使用する他の用途などの様に画像を必要とする時間集中的状況において有用であり得る。

上記記述においては好適実施例に対して言及が為されたが、画像処理システムを設計する当業者であれば、添付図面に関して権利請求された発明から逸脱せずに記述好適実施例に対して想起可能な改変、変更および置換が為され得ることを理解し得よう。

故に、上記好適実施例は基本的には航空機に関してレーダセンサおよびＩＲセンサからの２つの画像を処理するものとして記述されたが、当業者であれば、他の形式、組み合わせおよび個数のセンサからの画像が利用され得ることを理解し得よう。たとえば２個のセンサの代わりに、上記システムは３個、４個、５個または他の個数のセンサを以て実施され得る。更にレーダセンサおよびＩＲセンサの代わりに、上記システムは、異なる波長における同一形式の各センサ、紫外線（ＵＶ）センサ、能動的もしくは受動的な無線周波数（ＲＦ）システムに基づくセンサ；超音波センサ、低レベルの光で視認可能な帯域センサ、荷電結合素子（ＣＣＤ）、または、カラーもしくはグレースケール用カメラからの画像を処理し得る。更に当業者であれば、本発明の画像融合システムおよび方法は航空機画像の処理以外の用途において使用され得ることを理解し得よう。たとえば上記システムおよび方法は、複数個の画像もしくはセンサを含む他の移動体、医療処置、監視、および、モニタリングおよび画像処理用途に関して使用され得る。付加的に、当業者であれば、コントラスト値の大きい方もしくは最大値が例示的な判定基準であるが、種々の選択判定基準もしくはプロセスに基づいて融合画像もしくは処理済み画像が形成され得ることを理解し得よう。

図１は、航空機などの移動体におけるプロセッサもしくはコンピュータと、２個のセンサと、ディスプレイとを含む本発明に係るシステムの一実施例の概略図である。図２は、各センサにより生成された画像を処理して処理済み画像または融合画像を形成する各段階を示すフローチャートである。図３は、コントラスト値が比較される様式を示すフローチャートである。図４は、処理済み画像の輝度が調節される様式を示すフローチャートである。図５Ａ乃至図５Ｃは、レーダセンサ、赤外線（ＩＲ）センサの夫々の画像と、選択プロセスもしくは判定基準に基づきレーダ画像およびＩＲ画像から選択された領域を含む処理済み画像とを示す白黒写真である。図５Ａ乃至図５Ｃは、レーダセンサ、赤外線（ＩＲ）センサの夫々の画像と、選択プロセスもしくは判定基準に基づきレーダ画像およびＩＲ画像から選択された領域を含む処理済み画像とを示す白黒写真である。図５Ａ乃至図５Ｃは、レーダセンサ、赤外線（ＩＲ）センサの夫々の画像と、選択プロセスもしくは判定基準に基づきレーダ画像およびＩＲ画像から選択された領域を含む処理済み画像とを示す白黒写真である。図６Ａ乃至図６Ｆは、ピクセル、ピクセル群、または、任意に定義された領域に基づくなどの様にひとつの画像を種々の画像領域へと分割する方法を示す図である。図６Ａ乃至図６Ｆは、ピクセル、ピクセル群、または、任意に定義された領域に基づくなどの様にひとつの画像を種々の画像領域へと分割する方法を示す図である。図６Ａ乃至図６Ｆは、ピクセル、ピクセル群、または、任意に定義された領域に基づくなどの様にひとつの画像を種々の画像領域へと分割する方法を示す図である。図６Ａ乃至図６Ｆは、ピクセル、ピクセル群、または、任意に定義された領域に基づくなどの様にひとつの画像を種々の画像領域へと分割する方法を示す図である。図６Ａ乃至図６Ｆは、ピクセル、ピクセル群、または、任意に定義された領域に基づくなどの様にひとつの画像を種々の画像領域へと分割する方法を示す図である。図６Ａ乃至図６Ｆは、ピクセル、ピクセル群、または、任意に定義された領域に基づくなどの様にひとつの画像を種々の画像領域へと分割する方法を示す図である。図７Ａ乃至図７Ｂは、各画像に対して生成されたコントラスト・マップを示す白黒写真である。図７Ａ乃至図７Ｂは、各画像に対して生成されたコントラスト・マップを示す白黒写真である。図８Ａ乃至図８Ｂは、選択判定基準に基づき図７Ａ乃至図７Ｂのコントラスト・マップから選択されたコントラスト値を示す白黒写真である。図８Ａ乃至図８Ｂは、選択判定基準に基づき図７Ａ乃至図７Ｂのコントラスト・マップから選択されたコントラスト値を示す白黒写真である。図９は、複数個の画像のコントラスト値の全てを比較して処理済み画像または融合画像を形成するという複数個の画像の処理を示すフローチャートである。図１０は、コントラスト値の複数回の比較を実施して処理済み画像または融合画像を形成するという複数個の画像の処理を示すフローチャートである。図１１Ａ乃至図１１Ｂは、輝度補正の前後における処理済み画像または融合画像を示す白黒写真である。図１１Ａ乃至図１１Ｂは、輝度補正の前後における処理済み画像または融合画像を示す白黒写真である。図１２Ａ乃至図１２Ｂは、空間フィルタを概略的に示す白黒写真である。図１２Ａ乃至図１２Ｂは、空間フィルタを概略的に示す白黒写真である。図１３Ａ乃至図１３Ｂは、夫々、レーダおよびＩＲセンサに対するフィルタ・プロットを示す図である。図１３Ａ乃至図１３Ｂは、夫々、レーダおよびＩＲセンサに対するフィルタ・プロットを示す図である。図１４Ａ乃至図１４Ｆは、レーダ画像およびＩＲ画像、フィルタ関数もしくは効果、および、レーダ画像およびＩＲ画像に適用されたフィルタ関数を示す白黒写真である。図１４Ａ乃至図１４Ｆは、レーダ画像およびＩＲ画像、フィルタ関数もしくは効果、および、レーダ画像およびＩＲ画像に適用されたフィルタ関数を示す白黒写真である。図１４Ａ乃至図１４Ｆは、レーダ画像およびＩＲ画像、フィルタ関数もしくは効果、および、レーダ画像およびＩＲ画像に適用されたフィルタ関数を示す白黒写真である。図１４Ａ乃至図１４Ｆは、レーダ画像およびＩＲ画像、フィルタ関数もしくは効果、および、レーダ画像およびＩＲ画像に適用されたフィルタ関数を示す白黒写真である。図１４Ａ乃至図１４Ｆは、レーダ画像およびＩＲ画像、フィルタ関数もしくは効果、および、レーダ画像およびＩＲ画像に適用されたフィルタ関数を示す白黒写真である。図１４Ａ乃至図１４Ｆは、レーダ画像およびＩＲ画像、フィルタ関数もしくは効果、および、レーダ画像およびＩＲ画像に適用されたフィルタ関数を示す白黒写真である。図１５Ａ乃至図１５Ｅは、ロール効果を有する重み付け関数と有さない重み付け関数との比較を示す白黒写真である。図１５Ａ乃至図１５Ｅは、ロール効果を有する重み付け関数と有さない重み付け関数との比較を示す白黒写真である。図１５Ａ乃至図１５Ｅは、ロール効果を有する重み付け関数と有さない重み付け関数との比較を示す白黒写真である。図１５Ａ乃至図１５Ｅは、ロール効果を有する重み付け関数と有さない重み付け関数との比較を示す白黒写真である。図１５Ａ乃至図１５Ｅは、ロール効果を有する重み付け関数と有さない重み付け関数との比較を示す白黒写真である。

Claims

夫々のセンサにより生成された複数個の画像を用いて処理済み画像を形成する方法であって、
各画像を複数個の画像領域へと分割する段階と、
各画像に対して、各画像領域に対するコントラスト値を含むコントラスト・マップを生成する段階と、
上記コントラスト値に対して選択プロセスを適用し、処理済み画像において使用される画像領域を選択する段階と、
選択された各画像領域により上記処理済み画像を形成する段階と、
を備えて成る、処理済み画像を形成する方法。
前記各画像を複数個の画像領域へと分割する前記段階は、各画像を、ピクセル、ピクセルのブロック、または、任意形状領域へと分割する段階、を更に備えて成る、請求項１記載の方法。
前記コントラスト・マップを生成する前記段階は、畳み込みを実施して上記コントラスト・マップのコントラスト値を決定する段階、を更に備えて成る、請求項１記載の方法。
前記畳み込みを実施する前記段階は、カーネルＫ_cを用いて前記畳み込みを実施する段階であって、
[{K_c*S1(x,y),K_c*S2(x,y)}]が上記畳み込みを表し、

Ｓ１が第１画像の各画像領域を表し、
Ｓ２が第２画像の各画像領域を表し、且つ、
(x,y)が前記各画像の空間座標を表す、
段階、を更に備えて成る、請求項３記載の方法。
各センサは異なる波長を検出する、請求項１記載の方法。
前記複数個のセンサは赤外線（ＩＲ）センサおよびレーダセンサを含む、請求項１記載の方法。
前記複数個のセンサは赤外線（ＩＲ）および紫外線（ＵＶ）センサを含む、請求項１記載の方法。
前記複数個のセンサはレーダセンサおよび紫外線（ＵＶ）センサを含む、請求項１記載の方法。
前記複数個の画像は、各々が異なる波長を検出する２個以上の赤外線（ＩＲ）センサにより生成される、請求項１記載の方法。
前記選択プロセスを適用する前記段階は、２個の夫々の画像からの２個の対応画像領域の競合コントラスト値を比較する段階を含む、請求項１記載の方法。
前記選択プロセスは前記競合コントラスト値の内の大きい方を選択すべく作用する、請求項１０記載の方法。
競合コントラスト値を比較する前記段階は、重複する画像領域の対応コントラスト値を比較する段階を更に備えて成る、請求項１０記載の方法。
第１、第２および第３のセンサの夫々のコントラスト・マップのコントラスト値が相互に比較されて前記処理済み画像が形成される、請求項１記載の方法。
第１および第２センサの画像からコントラスト値を特定して中間コントラスト・マップを形成する段階と、
上記中間コントラスト・マップのコントラスト値と、第３センサの画像のコントラスト・マップのコントラスト値とに対し、選択プロセスを適用する段階と、
選択された画像領域により前記処理済み画像を形成する段階と、
を更に備えて成る、請求項１３記載の方法。
前記第１および第２センサは赤外線（ＩＲ）センサであり且つ前記第３センサはレーダセンサである、請求項１４記載の方法。
センサ画像は移動体からの視界を表示する、請求項１記載の方法。
前記移動体は航空機、船舶、自動車もしくは列車である、請求項１６記載の方法。
前記処理済み画像の一個以上の領域の強度を調節する段階を更に備えて成る、請求項１記載の方法。
強度調節の度合いを重み付けする段階を更に備えて成る、請求項１８記載の方法。
強度を調節する前記段階は、前記処理済み画像を縦断して強度を調節する段階を更に備えて成る、請求項１８記載の方法。
前記処理済み画像を縦断して強度を調節する前記段階は、
ひとつのセンサを基準センサとして選択する段階と、
基準センサ画像の各領域の平均強度を決定する段階と、
決定済み平均輝度値と上記処理済み画像の強度値とを組み合わせることで、上記処理済み画像における一個以上の領域の強度を調節する段階と、
を更に備えて成る、請求項１８記載の方法。
前記各センサはレーダセンサおよび赤外線（ＩＲ）センサを含み、且つ、前記基準センサは上記レーダセンサから成る、請求項２１記載の方法。
前記各センサはレーダセンサおよび赤外線（ＩＲ）センサを含み、且つ、前記基準センサは上記赤外線（ＩＲ）センサから成る、請求項２１記載の方法。
前記処理済み画像における一個以上の領域の強度を調節する前記段階は、前記平均強度が決定された前記基準センサ画像中のラインに対応する上記処理済み画像中のラインの強度を調節する段階を更に備えて成る、請求項２１記載の方法。
前記処理済み画像における一本以上のラインの強度を調節する前記段階は、前記平均強度が決定された前記基準センサ画像中の同一ラインに対応する上記処理済み画像中のラインの近傍である該処理済み画像中のラインの強度を調節する段階を更に備えて成る、請求項２４記載の方法。
場面の水平線は画像の水平線に対して所定角度にて再位置決めされ、且つ、当該方法は、
ピクセル毎に前記基準センサ画像の平均強度を決定する段階と、
ピクセル毎に前記処理済み画像の強度を調節する段階と、
を更に備えて成る、請求項２１記載の方法。
前記場面の水平線は、ロール、バンク、ヨーまたはピッチ動作により再位置決めされる、請求項２６記載の方法。
各画像に対する前記コントラスト・マップを生成する前に、一個以上の画像の領域をフィルタリングする段階を更に備えて成る、請求項１記載の方法。
選択された画像領域を重み付けすることにより各画像の領域を空間的にフィルタリングする段階を更に備えて成る、請求項２８記載の方法。
ひとつのセンサはレーダセンサから成り、且つ、前記空間的フィルタリングはレーダ地上探知範囲の上方の画像領域をフィルタリングすることで実施される、請求項２９記載の方法。
複数個の画像を組み合わせて最終画像を形成するシステムであって、
夫々の画像を生成する複数個のセンサと、
プロセッサであって、
各画像を複数個の画像領域へと分割し、
各画像に対して、各画像領域に対するコントラスト値を含むコントラスト・マップを生成し、
上記コントラスト値に対して選択判定基準を適用し、処理済み画像において使用される画像領域を選択し、且つ、
選択された各画像領域により上記処理済み画像を形成すべく、
構成されたプロセッサと、
を備えて成るシステム。
前記プロセッサは、各画像を、個々のピクセル、ピクセルのブロック、または、任意形状領域へと分割すべく構成される、請求項３１記載のシステム。
前記プロセッサは、畳み込みを実施して前記コントラスト・マップのコントラスト値を決定することで上記コントラスト・マップを生成すべく構成される、請求項３１記載のシステム。
前記プロセッサは、カーネルＫ_cを用いて前記畳み込みを実施すべく構成され、
[{K_c*S1(x,y),K_c*S2(x,y)}]は上記畳み込みを表し、

Ｓ１は第１画像の各画像領域を表し、
Ｓ２は第２画像の各画像領域を表し、且つ、
（ｘ，ｙ）は前記各画像の空間座標を表す、
請求項３３記載のシステム。
各センサは異なる波長を検出する、請求項３１記載のシステム。
前記複数個のセンサは赤外線（ＩＲ）センサおよびレーダセンサを含む、請求項３１記載のシステム。
前記複数個のセンサは赤外線（ＩＲ）および紫外線（ＵＶ）センサを含む、請求項３１記載のシステム。
前記複数個のセンサはレーダセンサおよび紫外線（ＵＶ）センサを含む、請求項３１記載のシステム。
前記複数個のセンサは、各々が異なる波長を検出する２個以上の赤外線（ＩＲ）センサを含む、請求項３１記載のシステム。
前記プロセッサは更に、２個の夫々の画像からの２個の対応画像領域の競合コントラスト値を比較すべく構成される、請求項３１記載のシステム。
前記プロセッサは更に、前記競合コントラスト値の内の大きい方を選択すべく構成される、請求項４０記載のシステム。
前記プロセッサは、重複する画像領域の対応コントラスト値を比較すべく構成される、請求項４０記載のシステム。
第１、第２および第３のセンサの夫々のコントラスト・マップのコントラスト値が相互に比較されて前記最終画像が形成される、請求項３１記載のシステム。
前記プロセッサは更に、
第１および第２センサの画像からコントラスト値を特定して中間コントラスト・マップを形成し、
上記中間コントラスト・マップのコントラスト値と、第３センサの画像のコントラスト・マップのコントラスト値とに対し、選択プロセスを適用し、且つ、
選択された画像領域により前記処理済み画像を形成すべく、
構成される、請求項４３記載のシステム。
前記第１および第２センサは赤外線（ＩＲ）センサであり且つ前記第３センサはレーダセンサである、請求項４４記載のシステム。
センサ画像は移動体からの視界を表示する、請求項３１記載のシステム。
前記移動体は航空機、船舶、自動車もしくは列車である、請求項４６記載のシステム。
前記プロセッサは更に、前記処理済み画像の一個以上の領域の強度を調節すべく構成される、請求項３１記載のシステム。
前記プロセッサは、前記処理済み画像を縦断して強度を調節すべく構成される、請求項４８記載のシステム。
前記プロセッサは、強度調節の度合いを重み付けすべく構成される、請求項４９記載のシステム。
前記プロセッサは更に、
ひとつのセンサを基準センサとして選択し、
基準センサ画像を縦断して該基準センサ画像の各領域の平均強度を決定し、且つ、
決定済み平均輝度値と上記処理済み画像の強度値とを組み合わせることで、上記処理済み画像における一個以上の領域の強度を調節すべく、
構成される、請求項４９記載のシステム。
前記各センサはレーダセンサおよび赤外線（ＩＲ）センサを含み、且つ、前記基準センサは上記レーダセンサから成る、請求項５１記載のシステム。
前記各センサはレーダセンサおよび赤外線（ＩＲ）センサを含み、且つ、前記基準センサは上記赤外線（ＩＲ）センサから成る、請求項５１記載のシステム。
前記プロセッサは、前記平均強度が決定された前記基準センサ画像中のラインに対応する上記処理済み画像中のラインの強度を調節すべく構成される、請求項５１記載のシステム。
前記プロセッサは、前記平均強度が決定された前記基準センサ画像中の同一ラインに対応する上記処理済み画像中のラインの近傍である該処理済み画像中のラインの強度を調節すべく構成される、請求項５１記載のシステム。
場面の水平線は画像の水平線に対して所定角度にて再位置決めされ、且つ、
前記プロセッサは更に、
ピクセル毎に前記基準センサ画像の平均強度を決定し、且つ、
ピクセル毎に前記処理済み画像の強度を調節すべく、
構成される、請求項５１記載のシステム。
前記場面の水平線は、ロール、バンク、ピッチまたはヨー動作により、画像の水平線に対して再位置決めされる、請求項５６記載のシステム。
前記プロセッサは、一個以上の画像領域をフィルタリングすべく構成される、請求項３１記載のシステム。
前記プロセッサは、選択された画像領域を重み付けすることにより一個以上の画像領域をフィルタリングすべく構成される、請求項５８記載のシステム。
ひとつのセンサはレーダセンサから成り、且つ、前記プロセッサは更に、レーダ地上探知範囲の上方の画像領域を空間的フィルタリングすべく構成される、請求項５８記載のシステム。