JP2008067363A - 画像のミスレジストレーションを補正するシステム及び方法 - Google Patents

Abstract

【課題】複数の画像センサ間の画像のミスレジストレーションを補正するシステム及び方法に関し、複数の画像センサから供給される画像を合成する際に複数の画像間で顕著な分離が生じないようにすることを目的とする。
【解決手段】プラットフォーム上に配設され、且つ、それぞれ、第１出力画像及び第２出力画像を供給するべく構成された第１画像センサ及び第２画像センサ120, 130と、プラットフォームの動きを検知するモーションセンサ110と、第１及び第２画像センサの第１処理遅延時間及び第２処理遅延時間に基づいて算出された第１及び第２画像センサ間の遅延時間のずれとモーションセンサにより検知されたプラットフォームの動きに基づいて、画像オフセットを算出するべく構成されたプロセッサ140と、画像オフセットに基づいて第１及び第２出力画像を融合するべく構成された画像融合部150とを有する。
【選択図】図１

Description

本発明は、概して、ビデオ画像の融合に関するものである。更に詳しくは、本発明は、複数の画像センサから供給される複数のビデオ画像間の画像のミスレジストレーションを補正して当該画像を融合するための画像融合システム及び方法に関するものである。

マルチセンサ画像のリアルタイム融合は、画像処理における重要且つ有望な領域である。複数のセンサを内蔵したシステムの一例が、ＩＴＴ社の改良型暗視ゴーグル（Enhanced Night Vision Goggle）である（以下、「ＥＮＶＧ」と略記する）。ＥＮＶＧは、光学的なオーバーレイ融合（overlay fusion）を使用することにより、サーマルカメラからのディジタル画像を一般の直視光増強管（direct-view light intensification tube）からの画像と融合する頭部装着型暗視マルチスペクトルシステムである。ＥＮＶＧにおいては、サーマルセンサから供給されるビデオ画像が、ＬＣＤディスプレイ装置を介してディジタル的に提示され、ビームコンバイナ（beam combiner）を使用することにより、光増強管からの画像上に重ね合わされている（overlay）。

多くの融合アプリケーションは、センサが背景に対して相対的に動いているか又は背景内の物体がセンサに対して相対的に動いている動的な環境において、センサの対が動作することを必要としている。リアルタイム画像融合システムにおいては、ビデオチェーン内の複数のセンサ間に遅延時間の不一致（time lag disparity）が存在しており、この結果として、光子の入力から光子の出力（又は、電子の出力）までの時間がすべてのセンサについて同一ではない可能性が高い。例えば、ＥＮＶＧにおいては、直視光増強管の出力とサーマルカメラの出力との間に遅延時間の不一致が存在している。

複数のセンサからのビデオ画像を合成する試みは、複数の入力システム間の遅延時間の不一致によって生じる画像のミスマッチ（mismatch）又はミスレジストレーション（misregistration）を結果的にもたらす。１つのセンサにおける不一致が、比較的高速であるセンサのビデオフレームレートに比べて大きく、且つ、背景内に動きが存在している場合には、常に、複数のビデオ画像間で顕著な分離が生じていることが観察者にとって明らかとなる。このような状況においては、一方のセンサが他方のセンサより遅れていることがわかる。画像のミスマッチの量は、センサの遅延時間の程度と、カメラの焦点面と背景内の物体との間の相対的な速度に直接的に依存している。

複数のビデオ画像センサから供給されるビデオ画像間の画像のミスマッチ又はミスレジストレーション（このミスマッチは、ビデオ画像センサ等の画像センサの動きとビデオ画像センサによって導入される遅延時間の不一致によって発生している）を補正するシステム及び方法に対するニーズが存在している。
本発明は上記問題点に鑑みてなされたものであり、複数の画像センサから供給される複数の画像を合成する際に複数の画像間で顕著な分離が生じないようにすることが可能な、画像のミスレジストレーションを補正するシステム及び方法を提供することを目的とするものである。

上記目的を達成するために、本発明の一実施態様は、少なくとも２つの画像センサの間の画像のミスレジストレーションを補正するシステムを提供する。本発明の一実施態様に係るシステムは、プラットフォーム上に配設され、且つ、それぞれ、第１出力画像及び第２出力画像を供給するべく構成された第１画像センサ及び第２画像センサを有している。さらに、本システムは、モーションセンサ及びプロセッサをも有している。モーションセンサは、プラットフォームの動きを検知し、プロセッサは、モーションセンサによって検知されたプラットフォームの動きに基づいて画像のオフセットを算出するべく構成されている。

本発明の他の実施態様は、少なくとも２つの画像センサ間の画像のミスレジストレーションを補正する方法を提供する。本発明の他の実施態様に係る方法は、プラットフォーム上に配設された第１画像センサ及び第２画像センサを提供するステップ（ａ）と、第１画像センサ及び第２画像センサから、それぞれ、第１出力画像及び第２出力画像を受信するステップ（ｂ）と、プラットフォームの動きを検知するステップ（ｃ）と、ステップ（ｃ）にて検知されたプラットフォームの動きに基づいて、ステップ（ｂ）にて受信した第１出力画像又は第２出力画像のオフセットを行って画像オフセットを提供するステップ（ｄ）とを含んでいる。

本発明は、添付の図面との関連において以下の詳細な説明を参照することにより、十分に理解することができるであろう。添付の図面には、「図面の簡単な説明」の項に記述されている図面が含まれている。

少なくとも１つのセンサの出力を電子ディスプレイ装置上に表示するべくアナログ又はディジタル回路によって処理している構成においては、ディスプレイ上における画像の配置をシフトすることが可能である。本明細書においては、１つの画像としてレジストレーションがなされた画像のアライメントを行うための画像の配置における上記のようなシフト処理を「画像のセンタリング（image centering）」と呼んでいる。遅延時間（ラグ：lag）に起因する複数の画像間の空間的オフセットを画像の表示以前に算出している場合には、１つの画像を他の画像との関係において「リセンタリング（re-centering）」することができる。本明細書においては、このリセンタリングを「モーション補正画像レジストレーション」と呼んでいる。この結果、リセンタリングがなされた１つの画像を他の画像上に融合するか又は重ね合わせることにより、観察者によって観察される複合画像を生成することが可能である。

後述するように、本発明は、共通のアライメントがなされた複数の画像センサによって生成された画像の融合を補正するシステム及び方法を提供している。図１を参照すれば、本発明の一実施例に従って、共通のアライメントがなされた画像センサ１２０及び１３０の間の画像のミスレジストレーションを補正するシステム１００が示されている。システム１００は、第１画像センサ１２０及び第２画像センサ１３０を含んでおり、これらは、いずれも、全体として参照番号１７０によって表される同一のプラットフォーム（又は光学ベンチ）上に配設されている。第１画像センサ１２０は、ＩＭＡＧＥ_Aとして表されている第１出力画像を供給するべく構成されている。第２画像センサ１３０は、ＩＭＡＧＥ_Bとして表されている第２出力画像を供給するべく構成されている。尚、ＩＭＡＧＥ_A及びＩＭＡＧＥ_Bは、ＪＰＥＧ、ＰＮＧ、ＧＩＦ、ビットマップ等の任意のフォーマットであってよいことを理解されたい。

システム１００は、プラットフォーム又は光学ベンチ１７０の動きを検知するためのモーションセンサ１１０を含んでいる。図１に示されているように、モーションセンサ１１０は、プラットフォーム１７０の動きを表す直交速度出力Ｒ_X及びＲ_Yを供給している。

一実施例においては、モーションセンサ１１０は、それぞれ、光学ベンチの水平線加速度及び垂直線加速度を検知する２つの直交方向に方向付けされた加速度計を包含することが可能である。モーションセンサ１１０は、瞬間的な加速度を時間に対して積分することが可能である。この場合に、Ｒ_X及びＲ_Yは、光学ベンチの水平線速度及び垂直線速度を表している。或いは、その代わりに、モーションセンサ１１０は、検知された光学ベンチの水平線加速度及び垂直線加速度をプロセッサ１４０に供給することも可能であり、この結果として、プロセッサが、積分法によって光学ベンチの水平線速度及び垂直線速度を算出することが可能である。

別の実施例においては、モーションセンサ１１０は、光学ベンチの水平角速度及び垂直角速度を検知する（２つのリングレーザージャイロ等の）２軸の半導体速度ジャイロを包含することが可能である。この場合には、モーションセンサ１１０の出力Ｒ_X及びＲ_Yは、光学ベンチ１７０の水平角速度及び垂直角速度をそれぞれ表している。

次に、画像センサ１２０及び１３０を参照すれば、それぞれの画像センサに進入する光子とそれぞれの画像センサから出る電子（又は、光子）の間には、遅延が存在している。又、画像センサに結合されている処理回路内にも遅延が存在している。これらの合計の遅延（本明細書においては、これを「処理遅延（processing delay）」又は「遅延時間（lag time）」と呼んでいる）は、光子を検知し、検知された光子を処理するのに必要な時間の結果である。

異なるタイプの画像センサは、異なる遅延時間を有することが可能である。例えば、直視拡大法を使用したレンズシステム等の光学画像センサにおいては、このようなセンサを介した光の通過が実質的に瞬間的であるため、光子の入力と光子の出力との間の時間は、最小限になっている。しかしながら、ＣＭＯＳ又はＣＣＤ画像センサ等の電子的な画像センサの場合には、遅延時間は格段に大きなものとなり、これを考慮しなければならない。

センサによって導入される遅延時間は、検知された画像内において物体が動いている画像を融合するか又は重ね合わせることに対して密接な関係を有している（これは、動いている物体が、それぞれのセンサの出力画像上の異なるピクセルポイントに配置されるためである）。従って、結果的に得られる画像は、相対的な遅延時間に起因してミスマッチング状態となり、これらの出力画像を融合すれば、オーバーレイにより重ね合わされた画像内の物体が結果的にぼやけることになる。

更に詳しくは、図１を再度参照すれば、それぞれのセンサが背景の画像を検知及び処理した結果として、画像センサ１２０及び１３０により、それぞれ、その出力画像ＩＭＡＧＥ_A及びＩＭＡＧＥ_B内に遅延時間が導入されることになる。代表的な実施例においては、画像センサ１２０及び１３０は、第１処理遅延時間（第１遅延時間）及び第２処理遅延時間（第２遅延時間）Ｌａｇ_A及びＬａｇ_B（図１では、ＬＡＧ_A及びＬＡＧ_Bと記す）を提供しており、これらは、それぞれの画像センサによって導入される遅延時間の値を表している。画像センサ１２０及び１３０は、これらの遅延時間が一定でない場合には、Ｌａｇ_A及びＬａｇ_Bを算出することが可能である。しかしながら、これらの遅延時間が一定である場合には、それぞれの画像センサは、予め設定された又は予めプログラミングされている遅延時間の値を単純に供給することが可能である。

図示のように、プロセッサ１４０は、入力信号としてＬａｇ_A及びＬａｇ_Bを受信している。代替実施例においては、画像センサ１２０及び１３０の遅延時間は、独立的にプロセッサ１４０内に予めプログラミングすることが可能である。プロセッサ１４０は、超低電力のマイクロコントローラＩＣであってよく、或いは、ＡＳＩＣ内に組み込むことも可能である。

プロセッサ１４０は、センサ１２０及び１３０の出力画像をマッチング及び合成（又は融合）することができるように、ＩＭＡＧＥ_AとＩＭＡＧＥ_Bとの間のオフセットを算出している。本明細書においては、このオフセットを「画像オフセット（image offset）」と呼んでいる。画像オフセットを算出するべく、プロセッサ１４０は、Ｒ_X及びＲ_Yに基づいて、ＩＭＡＧＥ_A及び／又はＩＭＡＧＥ_Bの水平速度及び垂直速度を算出している。ＩＭＡＧＥ_A及び／又はＩＭＡＧＥ_Bの水平速度及び垂直速度、並びにＬａｇ_A及びＬａｇ_Bを使用することにより、プロセッサ１４０は、画像オフセットを算出している。この結果が、ＩＭＡＧＥ ＤＩＳＰＬＡＹ ＯＦＦＳＥＴＳ_X,Yというベクトルであり、このベクトルは、遅延時間及び光学ベンチ１７０の動きによって生じたミスレジストレーションを補正するために、ＩＭＡＧＥ_A又はＩＭＡＧＥ_Bをシフトさせるべきｘ方向及びｙ方向におけるピクセルの数を定義している。

画像センサ１２０及び１３０間の遅延時間のずれ（又は、オフセット）は、下記の式（１）に従って表現することが可能である。

Ｌａｇ_T＝｜Ｌａｇ_A−Ｌａｇ_B｜ （１）

ここで、Ｌａｇ_Aは、画像センサ１２０の処理遅延時間（又は遅延時間）であり、Ｌａｇ_Bは、画像センサ１３０の処理遅延時間（又は遅延時間）であって、Ｌａｇ_Tは、画像センサ１２０と画像センサ１３０との間の遅延時間のずれである。Ｌａｇ_A＞Ｌａｇ_Bである場合には、ＩＭＡＧＥ_AがＩＭＡＧＥ_Bよりも遅れていると表現される。ＩＭＡＧＥ_AがＩＭＡＧＥ_Bよりも遅れている（又は、この逆の）量を知ることにより、システム１００は、ＩＭＡＧＥ_B（又は、ＩＭＡＧＥ_A）にマッチングさせるためにシフト又は補正することを要するＩＭＡＧＥ_A（又は、ＩＭＡＧＥ_B）のピクセル数を判定することが可能である。通常は、相対的に大きな遅延時間を有する画像が補正対象の画像となるが、いずれか一方又は両方の画像をシフト及びリセンタリングすることにより、ミスレジストレーションを低減させるか又は除去することが可能であることが、本発明の範囲内において想定される。

更に図１を参照すれば、融合装置又は画像融合部（fuser）１５０は、画像センサ１２０からＩＭＡＧＥ_Aを、そして、画像センサ１３０からＩＭＡＧＥ_Bを受信している。算出されたＩＭＡＧＥ ＤＩＳＰＬＡＹ ＯＦＦＳＥＴＳ_X,Yのベクトルを使用することにより、画像融合部１５０は、ＩＭＡＧＥ_A及びＩＭＡＧＥ_Bを融合して融合された画像（ＦＵＳＥＤ ＩＭＡＧＥ）を生成している。更に詳しくは、融合装置１５０は、ＩＭＡＧＥ ＤＩＳＰＬＡＹ ＯＦＦＳＥＴＳ_X,Yのベクトルに従ってＩＭＡＧＥ_A又はＩＭＡＧＥ_Bのいずれか一方のオフセット（又は、リセンタリング）を行うことによってリセンタリング済みの画像を供給し、次いで、これらの画像を融合している。結果的に得られた融合された画像（ＦＵＳＥＤ ＩＭＡＧＥ）が、観察のために接眼鏡／出力ディスプレイ１６０に供給されている。

尚、図１には、２つの画像センサが示されているが、本発明は、２つの画像センサに限定されるものではなく、本発明の範囲内において追加の画像センサも想定されることを理解されたい。３つ以上の画像センサを有するシステムにおいては、プロセッサ１４０は、これらの画像センサの中の１つの画像センサにおける遅延時間を基準遅延時間として指定した後に、その他の画像センサからの出力画像に対して、その個々の遅延時間に基づいてオフセットを行うことが可能である。

又、図１は、画像のミスレジストレーションを補正するシステムを示しているが、本システムは、ビデオ画像のミスレジストレーションを補正するべく構築可能であることを理解されたい。この場合には、センサ１２０及び１３０は、ビデオ画像センサであり、任意の既知のフォーマットにおいて出力ビデオ画像を供給している。

又、最後に、図１には、プロセッサ１４０及び融合装置１５０が別個のモジュールとして示されているが、破線によって示されているプロセッサ１４０’等の単一のプロセッサ内にプロセッサ１４０及び融合装置１５０を収容することが可能であることも、本発明の範囲内において想定される。

図２を参照すれば、本発明の代表的な実施例に従って光学ベンチ（図１）上に取り付けられた複数の画像センサの間の画像のミスレジストレーションを補正する方法２００が示されている。更に詳しくは、方法２００は、フレームＫ（Ｆｒａｍｅ Ｋ）のオフセットを行うことにより、画像センサの処理遅延によって導入された遅延時間、及び光学ベンチの動きによって生じた画像のミスマッチを補正する方法を示している。尚、図２において、Ｌａｇ_Tは、ステップ２４０においてフレームＫ（Ｆｒａｍｅ Ｋ）を供給している画像センサによって導入される遅延時間を表している。又、Ｌａｇ_Tは、１つの画像センサと別の画像センサとの間の相対的な遅延時間（遅延時間のずれ）をも表現することが可能である。方法２００は、部分的に又は全体的にプロセッサ１４０又は１４０’（図１）内において実行されている。

ステップ２１０において、光学ベンチの角速度（図２では、速度（ｘ，ｙ）と記す）を角速度センサによって検知し、出力ω（ｈ，ｖ）として出力している。ω_hは、光学ベンチの水平角速度を示すものである。ω_vは、光学ベンチの垂直角速度を示すものである。

ステップ２２０において、下記の式（２）により、プラットフォームの水平角速度ω_hを（ｘ，ｙ）プレーン内のフレームＫ（Ｆｒａｍｅ Ｋ）の水平線速度υ_xに変換している。

υ_x＝（ω_h・Ｃｏｌｓ）／ＦＯＶ_h （２）

ここで、ω_hは、プラットフォームの水平角速度であり、Ｃｏｌｓは、フレームＫ（Ｆｒａｍｅ Ｋ）の行内のピクセル数であり（即ち、フレームＫ内のピクセルの列数であり）、ＦＯＶ_hは、フレームＫ（Ｆｒａｍｅ Ｋ）を供給している画像センサの水平視野（単位：ラジアン）であり、υ_xは、算出されたフレームＫ（Ｆｒａｍｅ Ｋ）の水平線速度（単位：ピクセル／秒）である。

同様に、ステップ２２０においては、下記の式（３）により、プラットフォームの垂直角速度ω_vを（ｘ，ｙ）プレーン内のフレームＫ（Ｆｒａｍｅ Ｋ）の垂直線速度υ_yに変換している。

υ_y＝（ω_v・Ｒｏｗｓ）／ＦＯＶ_v （３）

ここで、ω_vは、プラットフォームの垂直角速度であり、Ｒｏｗｓは、フレームＫ（Ｆｒａｍｅ Ｋ）の列内のピクセル数であり（即ち、フレームＫ内のピクセルの行数であり）、ＦＯＶ_vは、フレームＫ（Ｆｒａｍｅ Ｋ）を供給している画像センサの垂直視野（単位：ラジアン）であり、υ_yは、算出されたフレームＫ（Ｆｒａｍｅ Ｋ）の垂直線速度（単位：ピクセル／秒）である。

ステップ２３０においては、下記の式（４）に従ってフレームＫ（Ｆｒａｍｅ Ｋ）の水平画像オフセット及び垂直画像オフセットｏｆｆｓｅｔ_x,y（図２では、ｏｆｆｓｅｔ（ｘ，ｙ）と記す）を算出している。

ｏｆｆｓｅｔ_x,y＝υ_x,y・Ｌａｇ_T （４）

ここで、υ_x,yは、式（２）及び式（３）に従って算出されたフレームＫ（Ｆｒａｍｅ Ｋ）の水平線速度及び垂直線速度の速度ベクトル（単位；ピクセル／秒）である。Ｌａｇ_Tは、フレームＫ（Ｆｒａｍｅ Ｋ）を供給している画像センサの処理遅延又は遅延時間（単位：秒）、或いは、１つのセンサと別のセンサとの間の相対的な遅延時間である。ｏｆｆｓｅｔ_x,yは、算出されたフレームＫ（Ｆｒａｍｅ Ｋ）の水平画像オフセット及び垂直画像オフセットのベクトル（単位：ピクセル数）である。この水平画像オフセット及び垂直画像オフセットは、Ｌａｇ_T及び光学ベンチの動きの結果として生じる画像のミスレジストレーションを補正するために、シフト又はオフセットを行うことを要するフレームＫ（Ｆｒａｍｅ Ｋ）内のピクセル数を判定している。

ステップ２５０においては、ステップ２４０にて供給されたフレームＫ（Ｆｒａｍｅ Ｋ）の画像をフレーム同期信号Ｓｙｎｃ Ｉｎとの関係において調節することにより、リタイミングを実行している。入力されたフレームＫ（Ｆｒａｍｅ Ｋ）のピクセル（０，０）及びすべての後続のピクセルを、ｏｆｆｓｅｔ_x,yによって判定された新しいピクセル位置（ｘ，ｙ）にオフセットすることにより（ピクセル（０，０）の変換等）、オフセット・フレームＫ（Ｏｆｆｓｅｔ Ｆｒａｍｅ Ｋ）を生成している。

次に、図３を参照すれば、本発明の別の代表的な実施例に従って光学ベンチ（図１）上に取り付けられた複数の画像センサの間の画像のミスレジストレーションを補正する方法３００が示されている。方法２００と同様に、方法３００は、フレームＫ（Ｆｒａｍｅ Ｋ）をオフセットすることにより、画像センサの処理遅延によって導入された遅延時間と光学ベンチの動きによって生じる画像のミスマッチを補正する方法を示している。方法３００と方法２００との相違点は、方法３００が、角速度センサではなく加速度計を使用して光学ベンチの動きを検知しているという点にある。又、方法３００は、フレームＫ（Ｆｒａｍｅ Ｋ）の水平線速度及び垂直線速度υ（ｘ，ｙ）を算出するステップを含んでおり、これらのステップは、方法２００においては実行されていない。

ステップ３１０において、それぞれ、光学ベンチの水平線加速度及び垂直線加速度α_h及びα_vを加速度計によって検知し、加速度出力α（ｈ，ｖ）として供給している。ステップ３２０において、加速度出力α（ｈ，ｖ）を時間に対して積分し、光学ベンチの水平線速度及び垂直線速度υ（ｈ，ｖ）を生成している。

瞬間的な加速度α（ｈ，ｖ）の積分は、誤差を蓄積させ、結果的に光学ベンチの水平線速度及び垂直線速度が次第に低精度で表示されるようになるという傾向を有している。図３は、この誤差を低減させるステップを含む代表的な方法３００を示している。

ステップ３７０及びステップ３８０において、複数のフレームメモリ（図示されてはいない）内に保存されたビデオ画像フレーム又はサブフレームを供給している。具体的には、ステップ３７０は、第１フレームメモリ内に保存されたサブフレームＫ−１（ＳｕｂＦｒａｍｅ Ｋ−１）を供給しており、ステップ３８０は、第２フレームメモリ内に保存されたサブフレームＫ−２（ＳｕｂＦｒａｍｅ Ｋ−２）を供給している。サブフレームＫ−１（ＳｕｂＦｒａｍｅ Ｋ−１）及びサブフレームＫ−２（ＳｕｂＦｒａｍｅ Ｋ−２）は、画像センサ１２０又は１３０から連続的に供給される画像のフレーム又はフレームの一部である。これらの２つのフレーム内のカメラデータは、１／ＦＲだけ時間的に離隔しており、ここで、ＦＲは、画像センサのカメラフレームレートである。

ステップ３９０において、サブフレームＫ−１（ＳｕｂＦｒａｍｅ Ｋ−１）とサブフレームＫ−２（ＳｕｂＦｒａｍｅ Ｋ−２）との間の２つの次元におけるモーション推定を実行している（図３では、グローバル・モーション推定と記す）。ステップ３９０において、両方のフレームが既定の誤差限界内において空間的に相関していると判定された場合には、サブフレームＫ−１（ＳｕｂＦｒａｍｅ Ｋ−１）の速度は、ゼロ又はその近傍であると仮定される。この結果、ステップ３９０は、積分器の出力υ（ｈ，ｖ）をゼロにリセットする。この方法は、最大で２フレーム周期だけ古いカメラデータ（Ｋ−２）を使用しているため、ステップ３２０において実行される誤差の補正に１フレームのレイテンシー（latency）が導入されるが、フレームＫ（Ｆｒａｍｅ Ｋ）は遅延されない。

ステップ３３０において、（ｘ，ｙ）プレーン内のフレームＫ（Ｆｒａｍｅ Ｋ）の水平線速度及び垂直線速度υ（ｘ，ｙ）を算出している。フレームＫ（Ｆｒａｍｅ Ｋ）の水平線速度は、下記の式（５）によって算出される。

υ_x＝（（υ_h／ｒ）Ｃｏｌｓ）／ＦＯＶ_h （５）

ここで、υ_hは、プラットフォームの水平線速度であり、ｒは、加速度計からプラットフォームのピボットポイントまでの半径距離（単位：ラジアン）であり、Ｃｏｌｓは、フレームＫ（Ｆｒａｍｅ Ｋ）の行内のピクセル数であり（即ち、フレームＫ内のピクセルの列数であり）、ＦＯＶ_hは、フレームＫ（Ｆｒａｍｅ Ｋ）を供給している画像センサの水平視野（単位：ラジアン）であり、υ_xは、算出されたフレームＫ（Ｆｒａｍｅ Ｋ）の水平線速度（単位：ピクセル／秒）である。

フレームＫ（Ｆｒａｍｅ Ｋ）の垂直線速度は、下記の式（６）によって算出される。

υ_y＝（（υ_v／ｒ）Ｒｏｗｓ）／ＦＯＶ_v （６）

ここで、υ_vは、プラットフォームの垂直線速度であり、ｒは、加速度計からプラットフォームのピボットポイントまでの半径距離であり（単位：ラジアン）、Ｒｏｗｓは、フレームＫ（Ｆｒａｍｅ Ｋ）の列内のピクセル数であり（即ち、フレームＫ内のピクセルの行数であり）、ＦＯＶ_vは、フレームＫ（Ｆｒａｍｅ Ｋ）を供給している画像センサの垂直視野（単位：ラジアン）であり、υ_yは、算出されたフレームＫ（Ｆｒａｍｅ Ｋ）の垂直線速度（単位：ピクセル／秒）である。

図２と同様に、ステップ３４０において、式（４）により、画像オフセットｏｆｆｓｅｔ_x,y（図３では、ｏｆｆｓｅｔ（ｘ，ｙ）と記す）を算出している。ステップ３５０において、図２のステップ２５０と同様に、ｏｆｆｓｅｔ_x,y及びＳｙｎｃ Ｉｎを使用することにより（ピクセル（０，０）の変換等）、フレームＫ（Ｆｒａｍｅ Ｋ）をオフセットし、結果としてオフセット・フレームＫ（Ｏｆｆｓｅｔ Ｆｒａｍｅ Ｋ）を供給している。

図１を再度参照すれば、システム１００は、融合装置１５０を使用して光学的な融合を実行しており、この場合に、画像センサ１２０及び１３０の中の１つは、直視光増強管である。図４は、このような実施例をシステム４００として示している。システム４００は、プリズム（図４では、融合合成プリズムと記す）４３０及びフラットパネルディスプレイ（図４では、フラットパネルディジタルディスプレイと記す）４２８を使用することにより、マルチスペクトルチャネルの光学的なオーバーレイ融合を実行している。システム４００は、第１チャネルにおいて背景画像４２０を検知するセンサ４１８を含んでいる。センサ４２２が、第２チャネルにおいて背景画像４１０を検知している。好ましくは、背景画像４２０は、背景画像４１０と同一である。センサ４１８及び４２２は、光学ベンチ（図示されてはいない）上に取り付けられている。

センサ４１８は、例えば、フォトカソード、マルチチャネルプレート（Multi-Channel Plate：ＭＣＰ）、及び蛍光スクリーンを使用する画像増強装置（図４では、光増強装置と記す）である。可視光及び近赤外光が対物レンズ４３４及び４４４によって収集されてフォトカソード（図示されてはいない）上に合焦され、ここで、光子が電子に変換される。電子は、ＭＣＰ（図示されてはいない）によって加速され、増幅プロセスにおいて新しい電子が生成される。増加した電子が蛍光スクリーン（図示されてはいない）に衝突し、ここで、発光が生じてビーム４２５を形成し、このビームは、合成プリズム４３０に向かう方向４５２に投影されている。

センサ４２２は、赤外線画像を可視光画像に変換するために使用される赤外線（Infrared：ＩＲ）カメラである。ＩＲカメラ４２２により、可視光画像（ビーム）４２５とＩＲ出力画像（赤外線出力画像）との間に１６ミリ秒の遅延時間が導入される。この遅延時間を補正しなければ、観察者は、画像増強装置４１８から供給される可視光画像から遅れたＩＲ画像（赤外線画像）を観察することになるであろう。

ＩＲカメラ４２２の処理遅延によって導入される遅延時間を補正するべく、システム４００は、ＩＲカメラ４２２のＩＲ出力画像をリセンタリングするプロセッサ４７０を含んでいる。プロセッサ４７０は、概して、光学ベンチに取り付けられているセンサのタイプに応じて、図２又は図３に示されている各ステップを実行する。プロセッサ４７０は、検知された光学ベンチの動き、及び、画像増強装置４１８とＩＲカメラ４２２との間の遅延時間に基づいて、ＩＲカメラ４２２のＩＲ出力画像をリセンタリングしている。プロセッサ４７０は、最終的に合成プリズム（図４では、融合合成プリズムと記す）４３０によって画像増強装置４１８からの補正されていない画像と合成されるように、補正済みの画像をフラットパネルディジタルディスプレイ４２８に供給してビーム４２６を形成する。

合成プリズム４３０により、２つの光学チャネルを合成することが可能である。入射された放射光の７０％を透過し、３０％を反射することが可能であるダイクロイックコーティング（dichroic coating）４５０を使用することにより、２つの垂直の光経路を合成している。画像増強装置４１８の出力（可視光画像）４２５は、ビーム合成プリズム（図４では、融合合成プリズムと記す）４３０に隣接して配置されており、光経路４５４に対して垂直に方向付けされている。

２つのビーム４２５及び４２６は、合成プリズム４３０上に画像として投影されており、この合成プリズムは、これらの画像を合成して合成（融合）されたオーバーレイ画像４５９を供給する。光学レンズ４５８（図４では、出力対物レンズと記す）は、合成された画像４５９を、観察者４６０による観察のために合焦している。

最後に図５を参照すれば、本発明の別の代表的な実施例に従って可視光カメラ５１０とＩＲカメラ５２０との間の画像のミスレジストレーションを補正するシステム５００が示されている。可視光対物レンズ５１２は、背景から光を収集し、可視光をカメラ５１０（図５では、可視光カメラと記す）に伝達している。同様に、ＩＲ対物レンズ５２２は、背景からＩＲ光（赤外光）を収集し、ＩＲ光をＩＲカメラ５２０に伝達している。可視光カメラ５１０は、第１出力画像及び第１遅延時間表示結果（図示されてはいない）をプロセッサ５３０に供給している。ＩＲカメラ５２０は、第２出力画像と第２遅延時間表示結果（図示されてはいない）をプロセッサ５００に供給している。両方のカメラ５１０及び５２０は、光学ベンチ上に取り付けられており、この光学ベンチは、モーションセンサを含んでいる。

プロセッサ５３０は、方法２００又は３００を使用することにより、第１遅延時間又は第２遅延時間及びモーションセンサによって検知された動きに基づいて第１出力画像又は第２出力画像をオフセットしている。プロセッサ５３０（これは、融合電子回路を含んでいる）は、オフセットされた画像をオフセットされていない出力画像と融合し、この結果として得られる融合済みの画像を、融合された画像５４６としてフラットパネルディスプレイ（図５では、フラットパネルディジタルディスプレイと記す）５４２に供給している。出力対物レンズ５４４は、融合された画像５４６を、観察者５５０による観察のために投影している。フラットパネルディスプレイ５４２と出力対物レンズ５４４との組み合わせは、接眼鏡５４０内に収容することが可能である。

代表的な実施例においては、観察者５５０が人間の観察者であるものと仮定している。別の実施例においては、最終的なフレーム保存のための更なる電子的処理及び光学的処理に対して、融合された画像５４６を供給することが可能である。

本明細書においては、特定の実施例を参照し、本発明について例示及び説明しているが、本発明は、本明細書にて提示された詳細事項に限定されるものではない。逆に、特許請求の範囲における各請求項の等価物の範囲内において、本発明を逸脱することなしに、これらの詳細事項において様々な変更を実施することが可能である。

本発明の一実施例に従って画像センサから供給されるビデオ画像を融合する画像融合装置を含むモーション補正画像オーバーレイシステムを示すブロック図である。 本発明の一実施例に従って画像のミスレジストレーションを補正する方法を示す流れ図である。 本発明の代表的な実施例に従って画像のミスレジストレーションを補正する方法を示す流れ図である。 融合装置が光学オーバーレイ融合装置であり、画像センサが直視光増強管及びＩＲカメラを含んでいる図１のシステムの概略図である。 融合装置が電子ビデオ画像融合装置であり、画像センサが可視光カメラ及びＩＲカメラを含んでいる図１のシステムの概略図である。

Claims (23)

1. 少なくとも２つの画像センサの間の画像のミスレジストレーションを補正するシステムにおいて、
   プラットフォーム上に配設され、且つ、それぞれ、第１出力画像及び第２出力画像を供給するべく構成された第１画像センサ及び第２画像センサと、
   前記プラットフォームの動きを検知するモーションセンサと、
   前記モーションセンサによって検知された前記プラットフォームの動きに基づいて画像オフセットを算出するべく構成されたプロセッサとを有することを特徴とするシステム。
2. 前記第１画像センサ及び前記第２画像センサは、それぞれ、第１処理遅延時間及び第２処理遅延時間を含んでおり、前記プロセッサは、前記第１処理遅延時間及び前記第２処理遅延時間に基づいて前記第１画像センサと前記第２画像センサとの間の遅延時間のずれを算出するべく構成されている請求項１記載のシステム。
3. 前記システムは、更に画像融合部を有しており、
   前記プロセッサは、（ｉ）更に前記遅延時間のずれに基づいて前記画像オフセットを算出し、且つ、（ｉｉ）前記画像オフセットに基づいて、前記第１出力画像又は前記第２出力画像の中の一方を前記第１出力画像又は前記第２出力画像の中の他方との関係においてオフセットするべく構成されており、
   前記画像融合部は、前記画像オフセットに基づいて前記第１出力画像及び前記第２出力画像を融合するべく構成されている請求項２記載のシステム。
4. 前記プロセッサは、検知された前記プラットフォームの動きに基づいて前記第１出力画像又は前記第２出力画像のプレーン内における水平線速度及び垂直線速度を算出するべく構成されている請求項２記載のシステム。
5. 前記プロセッサは、算出された前記水平線速度及び前記垂直線速度に基づいて前記第１出力画像又は前記第２出力画像をオフセットするべく構成されている請求項４記載のシステム。
6. 前記第１出力画像又は前記第２出力画像をオフセットした後に、前記第１出力画像及び前記第２出力画像を融合するべく構成された画像融合部を含んでいる請求項５記載のシステム。
7. 前記第１出力画像と前記第２出力画像との間の時間基準として、同期信号が前記画像融合部に対して供給されている請求項６記載のシステム。
8. 前記モーションセンサは、前記プラットフォームの角速度を検知するべく構成された速度センサを含んでいる請求項１記載のシステム。
9. 前記プロセッサは、下記の式、
   υ_x＝（ω_h・Ｃｏｌｓ）／ＦＯＶ_h
   を使用することにより、前記第１出力画像又は前記第２出力画像の水平線速度を算出するべく構成されており、
   ここで、ω_hは、前記プラットフォームの水平角速度であり、Ｃｏｌｓは、前記第１出力画像又は前記第２出力画像の行内のピクセル数であり、ＦＯＶ_hは、前記第１画像センサ又は前記第２画像センサの水平視野であり、υ_xは、前記第１出力画像又は前記第２出力画像の算出された前記水平線速度である請求項８記載のシステム。
10. 前記プロセッサは、下記の式、
    υ_y＝（ω_v・Ｒｏｗｓ）／ＦＯＶ_v
    を使用することにより、前記第１出力画像又は前記第２出力画像の垂直線速度を算出するべく構成されており、
    ここで、ω_vは、前記プラットフォームの垂直角速度であり、Ｒｏｗｓは、前記第１出力画像又は前記第２出力画像の列内のピクセル数であり、ＦＯＶ_vは、前記第１画像センサ又は前記第２画像センサの垂直視野であり、υ_yは、前記第１出力画像又は前記第２出力画像の算出された前記垂直線速度である請求項８記載のシステム。
11. 前記プロセッサは、下記の式、
    ｏｆｆｓｅｔ_x,y＝υ_x,y・Ｌａｇ_T
    を使用することにより、水平画像オフセット及び垂直画像オフセットを算出するべく構成されており、
    ここで、υ_x,yは、前記水平線速度及び前記垂直線速度の速度ベクトルであり、Ｌａｇ_Tは、前記遅延時間のずれであり、ｏｆｆｓｅｔ_x,yは、算出された前記水平画像オフセット及び前記垂直画像オフセットのベクトルである請求項４記載のシステム。
12. 前記モーションセンサは、前記プラットフォームの水平線加速度及び垂直線加速度を検知するべく構成された加速度計を含んでいる請求項１記載のシステム。
13. 前記水平線加速度及び前記垂直線加速度を時間に対して積分することにより、前記プラットフォームの個別の水平線速度及び垂直線速度を供給する積分器を含んでいる請求項１２記載のシステム。
14. 前記第１出力画像又は前記第２出力画像の個別の第１先行フレーム及び第２先行フレームを保存するべく構成された第１フレームメモリ及び第２フレームメモリを含んでおり、
    前記プロセッサは、前記第１先行フレーム及び前記第２先行フレームが誤差限界内において空間的に相関していると判定した場合に、前記積分器をゼロに合わせるべく構成されている請求項１３記載のシステム。
15. 前記プロセッサは、前記プラットフォームの前記水平線速度及び前記垂直線速度に基づいて前記第１出力画像又は前記第２出力画像の水平線速度及び垂直線速度を算出するべく構成されている請求項１４記載のシステム。
16. 前記プロセッサは、下記の式、
    υ_x＝（（υ_h／ｒ）Ｃｏｌｓ）／ＦＯＶ_h
    を使用することにより、前記第１出力画像又は前記第２出力画像の前記水平線速度を算出するべく構成されており、
    ここで、υ_hは、前記プラットフォームの前記水平線速度であり、ｒは、前記加速度計から前記プラットフォームのピボットポイントへの半径距離であり、Ｃｏｌｓは、前記第１出力画像又は前記第２出力画像の行内のピクセル数であり、ＦＯＶ_hは、前記第１画像センサ又は前記第２画像センサの水平視野であり、υ_xは、前記第１出力画像又は前記第２出力画像の前記水平線速度である請求項１３記載のシステム。
17. 前記プロセッサは、下記の式、
    υ_y＝（（υ_v／ｒ）Ｒｏｗｓ）／ＦＯＶ_v
    を使用することにより、前記第１出力画像又は前記第２出力画像の前記垂直線速度を算出するべく構成されており、
    ここで、υ_vは、前記プラットフォームの前記垂直線速度であり、ｒは、前記加速度計から前記プラットフォームのピボットポイントへの半径距離であり、Ｒｏｗｓは、前記第１出力画像又は前記第２出力画像の列内のピクセル数であり、ＦＯＶ_vは、前記第１画像センサ又は前記第２画像センサの垂直視野であり、υ_yは、前記第１出力画像又は前記第２出力画像の前記垂直線速度である請求項１３記載のシステム。
18. 前記第１画像センサは、前記第１出力画像を供給するべく構成された光学系を含んでおり、
    前記第２画像センサは、前記第２出力画像を供給するべく構成された電子画像センサを含んでいる請求項３記載のシステム。
19. 前記システムは、更に、ディジタルディスプレイ及び合成プリズムを有する画像融合部を有しており、
    前記光学系は、前記第１出力画像を前記合成プリズム上に投影するべく構成されており、
    前記ディジタルディスプレイは、前記第２出力画像、前記画像オフセット、及び前記遅延時間のずれに基づいて光画像を前記合成プリズム上に投影するべく構成されており、
    前記合成プリズムは、前記第１出力画像を、投影された前記光画像と融合するべく構成されている請求項１８記載のシステム。
20. 前記第１画像センサ及び前記第２画像センサは、前記第１出力画像及び前記第２出力画像を電気信号として供給し、前記画像融合部は、前記第１出力画像又は前記第２出力画像のオフセットを行った後に、前記第１出力画像及び前記第２出力画像を融合するべく構成された融合電子回路を含んでいる請求項３記載のシステム。
21. 少なくとも２つの画像センサの間の画像のミスレジストレーションを補正する方法において、
    プラットフォーム上に配設された第１画像センサ及び第２画像センサを提供するステップ（ａ）と、
    それぞれ、第１出力画像及び第２出力画像を前記第１画像センサ及び前記第２画像センサから受信するステップ（ｂ）と、
    前記プラットフォームの動きを検知するステップ（ｃ）と、
    前記ステップ（ｃ）にて検知された前記プラットフォームの動きに基づいて、前記ステップ（ｂ）にて受信した前記第１出力画像又は前記第２出力画像のオフセットを行って画像オフセットを提供するステップ（ｄ）とを有することを特徴とする方法。
22. 前記方法は、
    それぞれ、前記第１画像センサ及び前記第２画像センサの第１処理遅延時間及び第２処理遅延時間を判定するステップ（ｅ）と、
    前記ステップ（ｅ）にて判定された前記第１処理遅延時間と前記第２処理遅延時間との間の遅延時間のずれを算出するステップ（ｆ）とを更に有する請求項２１記載の方法。
23. 前記ステップ（ｄ）にて判定された前記画像オフセットと前記ステップ（ｆ）にて算出された前記遅延時間のずれに基づいて、前記第１出力画像及び前記第２出力画像を融合するステップ（ｇ）を更に有する請求項２２記載の方法。

Images