JP2019512964A - 自己修正式適応低光量オプティカル・ペイロード - Google Patents

自己修正式適応低光量オプティカル・ペイロード Download PDF

Info

Publication number
JP2019512964A
JP2019512964A JP2018549294A JP2018549294A JP2019512964A JP 2019512964 A JP2019512964 A JP 2019512964A JP 2018549294 A JP2018549294 A JP 2018549294A JP 2018549294 A JP2018549294 A JP 2018549294A JP 2019512964 A JP2019512964 A JP 2019512964A
Authority
JP
Japan
Prior art keywords
image
spectral band
captured
frame
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018549294A
Other languages
English (en)
Other versions
JP6991992B2 (ja
Inventor
エス． ロビンソン，イアン
エス． ロビンソン，イアン
ディー． ブルマー，ジョン
ディー． ブルマー，ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2019512964A publication Critical patent/JP2019512964A/ja
Application granted granted Critical
Publication of JP6991992B2 publication Critical patent/JP6991992B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

撮影プラットフォームとシーンとの間の相対的な動きにより引き起こされる画像の動きを補償するための方法及びシステムが開示される。露出期間の間に、シーンのフレームは多重スペクトル・バンドでそれぞれキャプチャーされ、或るスペクトル・バンドは第1スペクトル・バンドより低い光レベルを有し、同時期のフレームはほぼ同一の引き起こされた画像の動きを含む。より高いSNRのスペクトル・バンドから、引き起こされた画像の動きを推定し、多重バンドの各々で補償を行うために、画像固有関数が使用される。

Description

米国政府の権利
本願で説明され保護が請求される発明に関し米国政府の所有権その他の利権は存在しない。
背景技術
本願は一般に画像処理に関連し、特に、持続的な観察のためにプラットフォームの動きに起因するフレーム間の画像変動を修正することに関連する。
オーバーヘッド・プラットフォームに基づく(例えば、空中又は宇宙ベースの)センサから、ターゲットの持続的なビデオ(即ち、多数の画像シーケンス)を収集する要請が存在し、ターゲットはディスプレイにより容易に眺められる及び/又は判読されることが可能なものである。これは、限られた処理能力しか有しない携帯デバイスを利用する軍事関係者及び/又はその他の人々にとって特に重要なことであるかもしれない。一般に従来の持続性ビデオ・センサは例えば地面のような一箇所に固定されたままである(或いは焦点を合わせたままである)一方、オーバーヘッド・プラットフォームは動いている。しかしながら、プラットフォームの動きは、スケール、視点(例えば、視差)、回転における変化、及び/又は眺めている形状における他の変化を引き起こす。これらの変化は、ターゲット、特徴(features)、及び脅威(threats)の人間による及び/又は機械による解釈を複雑化あるいは妨げてしまう可能性がある。
2013年6月25日付で発行された「Self-Correcting Adaptive Long-Stare Electro-Optical System」(SCALES)と題する米国特許第8,471,915号は、全体的に本願のリファレンスに組み込まれ、この米国特許は或るシステムを開示しており、そのシステムは、シーンと撮像プラットフォームとの間の相対的な動きに起因する画像フレーム内歪みを防止し、かつ幾何学的な相違が、積分時間内でスミア(smear)として明白化してしまうことを防止し、フレーム内歪みを防止するように構成される。しかしながら、このシステムは画像歪みを防止するために変換に基づいて光学要素を制御することを当てにしており、フレーム内歪みを防止するために、より多くの演算を必要としてしまう。
多くの夜間撮影は日中の撮影よりも低い空間解像度で実行され、その理由は微弱な信号を収集するためにより長い波長又は高速な光学系が使用されるからである。現在の短波赤外ステアリング・センサ(short wave infrared(SWIR) staring sensors)は、非常に高速な〜F/1光学系を利用して或るビデオ・レートで動作する。判読を可能にする信号対雑音比で長い焦点距離の高い解像度の画像を収集するため、高い米国画像判読性判断指標(National Imagery Interpretability Rating Scales：NIIRS)の画像及び多重スペクトル画像を提供するために、多くの低光量データ・フレームが統合される必要がある。「Correcting Frame-to-Frame Image Changes Due to Motion for Three Dimensional (3-D) Persistent Observations」と題する2016年3月22日付で発行された米国特許第9,294,755号は、全体的に本願のリファレンスに組み込まれ、この米国特許(‘755パテント)は、夜間の微光又は無光の撮影条件の下でNIIRSの改善をもたらすが、固有関数(eigenfunctions)に適用する係数を進展させるために、プラットフォームの動きの先験的な知識を必要とし、各々の固有関数はシーン全体の変換(a scene-wide transformation)を記述する。これらの先験的に算出される係数は、引き起こされる動きの影響を排除するために、多数の画像フレームに適用される。これらの画像修正方法は、ランダム・エラー(例えば、ジッター)や、先験的な情報におけるエラーを無視している。
従って、上記欠点を伴わない改善された画像品質を有する撮影プラットフォームが望まれている。例えば、撮影プラットフォームとシーンとの間の相対的な動きに起因して引き起こされるフレーム間の画像変化を補正することが可能な撮影プラットフォームが望まれている。また、フレーム間変動に特に敏感である低光量アプリケーションで撮影される画像品質を改善することが可能な撮影プラットフォームも望まれており、例えばその撮影プラットフォームは、特にシーン中の三次元的な特徴に対して、幅広い視野、及び/又は地表に対する速い角速度運動を有するものである。
様々な実施形態によれば、撮影プラットフォームは、撮影プラットフォームのシーンに対する相対的な動きが存在する場合に、解釈を曲げてしまう「引き起こされた動き(induced motion)」を補正することが可能である。特に、地表撮影に使用される航空及び低軌道スペース・プラットフォームは、例えば、それらの幅広い視野及び/又は大きな運動角速度に起因して、動きに敏感な傾向がある。更に、夜間及び低光量の撮影プラットフォームは歪みに敏感であり、なぜなら光を収集するためにより長い露出期間が必要とされるからである。引き起こされた動きを補正することにより、「ぼやけ」を引き起こすことなく露出不足及びコントラストの欠落を減らすように、露出期間は増やされることが可能である。更に、撮影プラットフォームはより小さな開口を利用することが可能であり、従って重量、体積及びコストを減らせる。
実施例は、相対的に高い信号対雑音比(SNR)のバンドで画像を収集し、プラットフォームの動きを決定し、シーン全体の変化についての調和した画像固有関数係数を算出し、これらの画像固有関数を算出した係数に従って適用し、高いSNRバンドと共に照準を合わせた少なくとも1つの他のバンドで収集された低光量の画像を補正する。所定の実施例は、多重バンド焦点面アレイ(FPA)を利用することで複数のバンドの間でサンプル間の位置合わせを保証する。低い光レベルのバンドにおける改善されたSNRは、物体空間内で同じグリッドに位置合わせされた空間的に補正されたフレームを平均化することにより達成可能である。低光量撮影の以前の利用の仕方は、一般にスタンド・アローンの画像を含み、典型的には、照明が十分である場合に限り可能である。実施例で使用される低光量フレームのアグリゲーション(aggregation)は、当業者によってかつては適用されておらず、その理由は、引き起こされた動きを測定するためにその画像を利用することは不可能であること、及び特徴を見分けるにはフレーム毎のSNRが低すぎることに起因して固有ベクトル係数を抽出することは不可能であることに起因する。
実施形態では、システムが画像をキャプチャーするように構成され、本システムは、焦点面を有する少なくとも1つのセンサにより露出期間の間に、少なくとも2つのスペクトル・バンドでシーンのフレームをキャプチャーするように構成される移動可能な撮影プラットフォームを有し、スペクトル・バンドのうち少なくとも1つは、スペクトル・バンドの他のものより低い光レベルを有する。第1のより高いSNRのスペクトル・バンドにおけるより短い露出時間は、より低い光レベルのスペクトル・バンドにおけるより長い露出時間とインターリーブされてもよい。単独の焦点面を利用して、各々のスペクトル・バンドでキャプチャーされたフレームは、説明されるように、他のスペクトル・バンドでキャプチャーされたフレームと位置合わせされる。システムは1つ以上のプロセッサを含み、1つ以上のプロセッサは、シーンと撮影プラットフォームとの間の相対的な運動により引き起こされた画像の動きを補償するために、より高いSNRのスペクトル・バンドでキャプチャーされたシーンのフレーム間で測定された変化に基づいて、1つ以上の変換係数を算出し、プラットフォームの動きを補償するために、算出された1つ以上の固有関数係数により、キャプチャーされたフレームをディジタル的に変換し、より高いSNRの画像を取得するために、より低い光量のスペクトル・バンドでキャプチャーされた複数の一連の補償されたフレームを合計するように構成される。
別の実施形態では、画像をキャプチャーする方法が説明され、本方法は：移動する撮影プラットフォームにおける少なくとも1つのセンサにより露出期間の間に、第1スペクトル・バンドと前記第1スペクトル・バンドより低い光レベルを有する少なくとも1つの他のスペクトル・バンドとでシーンのフレームをキャプチャーするステップであって、第1及び第2スペクトル・バンドでキャプチャーされたフレームはそれぞれ撮影プラットフォームとシーンとの間の相対的な運動により引き起こされた(縦方向又は横方向の)同じ画像の動き成分を含む、ステップ；撮影プラットフォームとシーンとの間の相対的な運動により引き起こされた画像の動きを補償するために第1スペクトル・バンドでキャプチャーされたシーンのフレーム間で測定された変化に基づいて、1つ以上の固有関数変換係数を算出するステップ；キャプチャーされたフレームをディジタル的に変換するステップであって、1つ以上の変換は画像の歪みを補償する、ステップ；及びより高いSNRの画像をそこで取得するために、より低い光レベルのスペクトル・バンドでキャプチャーされた複数の一連の補償されたフレームを合計するステップを有する。
所定の実施形態において、プロセッサは、1つ以上の移動するターゲットを表現する情報を、より高い光レベルのスペクトル・バンドでキャプチャーされたフレームの中で識別するように更に構成される。識別された情報は、露出期間内にキャプチャーされたフレームから除去されてもよく、選択的に、少なくとも1つのディジタル的に変換されたキャプチャーされたフレームに加えられてもよい。
所定の実施形態において、第1及び第2スペクトル・バンドのフレームが同じ引き起こされた画像の動きを捕らえることを保証することは、マルチバンドFPAを利用することにより達成され、他の実施形態では、近接に砲口焦準を定めた複数のFPAsが使用され、複数のFPAsのうちの各FPAは、別個のスペクトル・バンドでフレームをキャプチャーし、かつより高いSNRのスペクトル・バンドに関連するFPAに対して既知の位置関係を有する。この実施形態では、プロセッサは、より高いSNRのスペクトル・バンドでキャプチャーされたフレームを、より低い光レベルのスペクトル・バンドにおけるものと位置合わせする。
より高いSNRの画像は高いNIIRS夜間画像を含んでもよい。より高い光レベルのスペクトル・バンドは放射バンドを含む一方、より低い光レベルのスペクトル・バンドは反射バンド(例えば、SWIR等)を含んでよい。
プロセッサは、勾配を算出するために、第1スペクトル・バンドでキャプチャーされた連続的なフレーム画像を比較し、勾配を1つ以上の画像固有関数にフィッティングし、引き起こされた動き及びポインティング・エラーを推定することにより、1つ以上の画像固有関数変換を算出してもよい。算出されたフレームのディジタル変換は、その後、係数により示される範囲に対する画像固有関数とともに、キャプチャーされたフレームを変換し、オーバーラップする部分を位置合わせし直し、変換後に画像からキャプチャーされたフレームを合計し直すことを含んでもよい。画像固有関数は、直線的運動、回転、伸縮、アナモルフィック・ストレッチ、スキュー、及びジッターの固有関数を含んでもよい。
システム及び方法についてのこれら及び他の特徴及び利点は本開示から明らかであろう。要約、図面及び詳細な説明は本願で説明される発明概念の範囲の制限ではないことが理解されるべきである。
添付図面の例において、様々な図面を通じて同様な参照キャラクタは同じパーツを指す。図面は必ずしも寸法どおりであるとは限らず、むしろ実施例の原理を説明する際に強調している。
図1Aは撮影プラットフォームとその初期の視野とを示す。
図1Bは初期の視野と以後の視野との間の変化を示す。
図2Aは撮影プラットフォームと初期の視野とを開始点に関して示す。
図2Bは初期及び以後の撮影時間の間での撮影プラットフォームの動きに起因する以後の視野を示す。
図3Aは撮影プラットフォームと初期の視野とを示す。
図3Bは撮影されるエリアに向かう撮影プラットフォームの動きに起因する、撮影プラットフォームの以後の視野のスケール変化を示す。
図4Aは天頂軸に対する角度及び高度の双方が減少する場合の撮影プラットフォームを示す。
図4Bは高度及び天頂角の変化に起因するX及びY方向双方においてスケール変化した以後の視野を示す。
図5Aは紙面に垂直方向に読者に接近する場合の撮影プラットフォームを示す。
図5Bはスキュー(skew)に起因する以後の視野を示す。
図5Cはベクトル場として描かれたスキューを示す。
図6Aは直線X方向におけるアナモルフィック・ストレッチ(an anamorphic stretch)を含む例示的な固有関数変換のベクトル場を示す。
図6Bは直線Y方向におけるアナモルフィック・ストレッチを含む例示的な固有関数変換のベクトル場を示す。
図6Bは回転(a rotation)を含む例示的な固有関数変換のベクトル場を示す。
図6Dはスケール(又は焦点距離)の変化を含む例示的な固有関数変換のベクトル場を示す。
図6Eはアナモルフィック・ストレッチを含む例示的な固有関数変換のベクトル場を示す。
図6Fはスキューを含む例示的な固有関数変換のベクトル場を示す。
図7は例示的なデュアル・バンドFPAディテクタ・アーキテクチャの断面図である。
図8は実施形態による画像の捕捉及び処理のためのシステム例の機能ブロック図を示す。
図9は実施形態による画像の捕捉及び処理のためのプロセス例のフローチャートを示す。
図10は600kmの高度から1.6ミルの視野で1秒間にわたって見えるシーンの全体的な画像変化についてのベクトル場を示す。
図11は回転に対する修正後に残っている画像変化を示す。
図12はズームに対する修正後に残っている画像変化を示す。
図13はx軸に沿うアナモルフィック・ストレッチに対する修正後に残っている画像変化を示す。
図14は45度のアナモルフィック・ストレッチに対する修正後に残っている画像変化を示す。
図15A-15Bは2つの別個の例においてフォトンが少ないスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。 図15A-15Bは2つの別個の例においてフォトンが少ないスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。
図16A-16Bは2つの別個の例においてフォトンが豊富なスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。 図16A-16Bは2つの別個の例においてフォトンが豊富なスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。
図17は、2つの例の2つのフレーム間において算出された方向及び大きさの変化の矢印とともに示すフォトンが豊富なスペクトル・バンドにおけるシーン例についてのシミュレーションされたビデオ・データ・フレームを示す。
図18A-18Cは、実施形態により達成される、シーンの雑音の多い及びより高いSNRの画像フレームを示す。 図18A-18Cは、実施形態により達成される、シーンの雑音の多い及びより高いSNRの画像フレームを示す。 図18A-18Cは、実施形態により達成される、シーンの雑音の多い及びより高いSNRの画像フレームを示す。
図19A-19Dは、実施形態による修正前及び修正後の2つの別個の例におけるシーンについてのSWIR及びMWIR画像例を示す。 図19A-19Dは、実施形態による修正前及び修正後の2つの別個の例におけるシーンについてのSWIR及びMWIR画像例を示す。 図19A-19Dは、実施形態による修正前及び修正後の2つの別個の例におけるシーンについてのSWIR及びMWIR画像例を示す。 図19A-19Dは、実施形態による修正前及び修正後の2つの別個の例におけるシーンについてのSWIR及びMWIR画像例を示す。
画像をキャプチャーするシステム及び方法が開示される。以下の説明では多くの具体的な詳細が説明される。別の状況では、当業者に周知の詳細は、本発明を曖昧にしないように言及されていないかもしれない。修正、置換及び/又は変化が本発明の範囲及び精神から逸脱することなく施されてよいことが、本開示の観点から当業者に明らかであろう。以下の説明では、同様なコンポーネントは、それらが相違する例で示されるか否かによらず、同じ参照番号を付与されている。上述したように、明確かつ簡潔な方法で本開示の具体例を説明するために、図面は必ずしも寸法どおりであるとは限らず、或る特徴は何らかの概略的な形式で示されているかもしれない。一実施例に関連して記述及び/又は説明される特徴は、1つ以上の他の実施例において、及び/又は他の実施例における特徴との組み合わせ又は代替例において、同じ形式又は類似する形式で使用されてよい。
図1-5は移動する撮影プラットフォーム・ベースのセンサに関連する画像変動の問題を示す。上述したように、持続性の画像及びビデオ・センサは、一般に、例えば地面に関する追跡される一点に固定されたまま(又は凝視したまま、又は焦点を合わせたまま)であるのに対し、上方の撮影プラットフォームは動いている。しかしながら、プラットフォームの動きは、寸法、視点(例えば、視差)、回転における変化、及び/又はその他の観察する形状における他の変化を引き起こす可能性がある。これらの変化は、ターゲット、特徴及び脅威を人間及び/又は機械が解釈することを困難にする又は妨げてしまう可能性がある。
図1Aは撮影プラットフォーム105(この例では、衛星)を示し、撮影プラットフォーム105は、初期の視野110を有し、画像を撮影する一方、ステアリング・ポイント(staring point)115を凝視している。初期画像は、初期ディテクタ・ポイント(例えば、ピクセル)(白丸で示されている)でセンシングされる。しかしながら、以後の画像では、撮影プラットフォーム105の視野は、シーンと撮影プラットフォーム105との間の相対的な動きに起因して変化しているかもしれない。
図1Bは、撮影プラットフォーム105の動きに起因して、後の画像捕捉では、以後の視野120はもはや初期の視野110と同一の広がりをもっていないことを示す。例えば、(中心の)ステアリング・ポイント115に整合させることは可能であるが、(影の付いた丸で示されるような)ディテクタ・ポイントは、初期のディテクタ・ポイントに対してシフトさせられている。その結果、画像、或いは複数の画像を組み合わせることで形成される複合的な画像(合成画像)はぼやけてしまうかもしれない。
図2A-5Cは、画像の変化を引き起こすかもしれない物理的な動きの例を示す。例えば、図2Aは、プラットフォームが速度Vで動きながら、撮影プラットフォーム105はポイント115を凝視する場合の初期の視野110を示す。図2Bは、全体的な動きに起因する以後の視野220の変化を示す。
視野のサイズ及び方向の変化は、一連の固有関数(a series of eigenfunctions)に分解される。図3Aは、撮影プラットフォーム105の高度が減少する場合の初期の視野110を示す。図3Bは以後の視野320のスケール変化を示す。この例では、スケールの変化は水平方向及び垂直方向の双方で等しく、その理由は撮影プラットフォーム105が視野110に向かって真っ直ぐに移動しているからである。しかしながら、一般的には、スケールの変化は各々の軸に沿って異なっていてよい。視野のスケールの変化は、個々の画像ピクセルのシーンに対するマッピングの変化をもたらす結果となる。
図4Aは天頂軸(the zenith)及び撮影されるエリアの双方に近付く撮影プラットフォーム105を示す。図4Bは以後の視野420についてのアナモルフィック・スケール変化を示す。特に、以後の視野420は、撮影プラットフォーム105の高度の減少に起因して、X及びY方向の双方においてスケール変更される。更に、以後の視野420はX方向よりもY方向に多くスケール変更されており、その理由は、見通し線425はX軸と垂直のままであるが、角度430は天頂角の変化に起因してY軸に関して変化するからである。
図5Aは、見通し線525を有する速度Vで移動する(即ち、紙面に垂直な方向で読者に接近している(別の例では遠ざかっていてもよい))撮影プラットフォーム105を示す。図5Bは、初期の視野105と、スキュー変化に起因して引き起こされる以後の視野520とを示す。更に、図5Cはスキューの代替的な様子をベクトル場として示し、このベクトル場は実施例による分解法で使用される何れかの固有関数を表現する。ベクトルの長さは、見通し線からの隔たりの大きさに対応する。
撮影プラットフォームに基づくセンサの動きに起因するこれら及びその他の検出されるフレーム間の画像変化は、本願で説明されるように、1つ以上の実施形態において撮像システムを利用することで修正され、1つ以上の実施形態は、連続的な画像が同じ不動のプラットフォームから眺めた際に見えるように、連続的な画像を共通する視野に関してディジタル的に変換する。各々の変換される画像のピクセルのピクセル・サイズ及び方向は同一又は共通している。
図6A-6Fは、静的な眺め(the stationary view)を提供するための6つの画像変換固有関数に関連するベクトル場を示す。特に、これらは、X方向及びY方向におけるアナモルフィック・ストレッチ、回転、焦点距離のスケール変化、45度のアナモルフィック・ストレッチ、及びスキューをそれぞれ示し、実施形態に従って撮影システム(及び方法)により実行されてよいものである。更に、不図示の方位角及び仰角の方向における並進の変換が存在してもよい。
アーキテクチャ及びプロセス例
図8は例示的な移動するプラットフォームに基づく撮影システム800の概略を示し、撮影システムは、実施形態に従って、複数のスペクトル・バンドでシーン805の画像(ビデオ・フレーム825)をキャプチャーし、よりフォトンが豊富な内容を有するスペクトル・バンドを利用して、見かけ上の動き及び真の対象物の動きに対するインサイトュー補正(in-situ corrections)を算出する。システム800は、センサ光学系810、少なくとも1つのセンサ815、変換演算プロセッサ(a transformation computation processor：TCP)820、画像補正プロセッサ835、及び融合プロセッサ840とともに構成される可動撮影プラットフォームを含んでよい。
図9は実施形態に従ってシステム800を利用するプロセス例900のフローチャートを示す。ステップ905において、センサ光学系810及びセンサ815は、複数のスペクトル・バンドでシーン805の画像のフレーム825を収集し、この場合において、(例えば、MWIR、LWIR等のような)スペクトル・バンドのうち何れかは、少なくとも1つの他のスペクトル・バンド(例えば、SWIR)の光レベルより高い豊富なフォトン(光)レベルを有する。
1つ以上の実施形態によれば、地上シーンの各画像は、移動するプラットフォームから或る時点で収集される。画像フレーム825は別の時間又は場合にセンサ815により収集されてもよい。場合によっては、これらのフレーム825は、典型的なビデオの場合のように、隣接する又は連続した画像フレームであってもよい。その他に、フレーム825は異なる時間で処理されてもよいが、必ずしもセンサ815により収集された順序であるとは限らない。持続的なビデオ・コレクションに対するフレーム間の変化は、画像フレーム・セット(即ち、画像のシーケンス)に関してだけでなく、スーパーフレーム・セット(即ち、多数のフレーム・セット)に関して決定又は算出されることが可能である。ここで使用されるように、「フレーム間(inter-frame)」は、画像フレーム同士の間の様子を指し、「フレーム・トゥ・フレーム(frame-to-frame)」とも言及される。
画像825は、例えば、センサにより収集される、ビデオ画像及び/又は多数の断続的な静止画像を含んでもよい。1つ以上の実施例において、センサ815はカメラであってもよい。ビデオのフレーム・レートは例えば毎秒30フレーム(fps)又はHzであってもよい。但し、フレーム・レートは、例えば60fpsのように、より高いものであるとすることも可能である。画像フレームは、様々な色(例えば、レッド・グリーン・ブルー(RGB)又はシアン・イエロー・マゼンダ・ブラック(CYMK))をサポートするか又はモノクロであるかによらず、ディジタル・データであってもよく、複数のピクセルを含んでもよく、そこに何が描写されているかを観察者が認めることを許容する程度に十分な解像度を有するものである。例えば、解像度は、例えば、幅及び高さの双方で480ピクセルであってもよいし、或いは640×480、800×800、1024×768、又は1280×800のように更に大きくてもよい。(例えば、より小さな及びより大きな)他の解像度も可能である。
システム800はセンサ光学系810によりシーン805の1つ以上の画像をキャプチャーし、センサ光学系810は複数の反射ミラー及び/又は透過性レンズ要素を含んでもよい。シーン805の画像は、センサ光学系810により修正されるように、センサ815に焦点を結ぶ。特に、センサ810はシーン805から電磁放射(光)を受信し、受信した電磁放射(光)をセンサ815にフォーカスする。一実施例では、センサ光学系815は、対物レンズ、又はその他の従来の光学系(1つ以上のミラー及び/又はレンズ等)を含んでよい。
センサ815は、移動するプラットフォーム上に搭載されてもよく、そのプラットフォームは空中又は宇宙ベースの撮影プラットフォームであってもよい。センサ815は、興味のある入射光に対応する電磁放射(光)を検出し、静止画像又はビデオ画像によらず画像フレームを生成するように構成される任意の二次元(2-D)センサを含んでよい。例示的な電磁放射ディテクタは、相補型金属酸化物半導体(CMOS)、電荷結合デバイス(CCD)、又はその他のディテクタ(例えば、赤外線(IR)、可視光(VIS)、及び/又は紫外線(UV)スペクトルで客体の電磁放射(光)検出する程度に十分なスペクトル応答を有するもの)を含んでもよい。
ほぼ完全な画像レジストレーション(又は位置合わせ)を達成するため、近似的に同じ誘発画像運動(a nearly identical induce image motion)を捕捉するために、複数のスペクトル・バンドのフレームにおいて、センサ815はマルチバンドFPA技術を活用してもよく、その場合、2つの感光レイヤが結合され且つ完全に整合させられる。例えば、レイセオン・カンパニー(マサチューセッツ州ウォルサム)の子会社であるレイセオン・ビジョン・システムズ(RVS)(カリフォルニア州ゴリータ)は、様々な半導体材料及び/又はFPAアーキテクチャを利用することにより、3-5マイクロメートルMWIR及び8-12マイクロメートルLWIRスペクトル領域におけるハイ・パフォーマンスFPA技術を開発している。これらの技術のうち図7の断面図に示されるものは、デュアル・バンドHgCdTe赤外線FPAアーキテクチャである。レイヤの間のレイヤ間距離は、それぞれのスペクトル・バンドにおいてシーンの各自のセンシングに無視しうる影響しか持たず、それにより、それぞれのフレームでキャプチャーされる引き起こされる画像の運動成分は同じであると考えられてよい。第2スペクトル・バンドに関するスペクトル情報の利用可能性は、シーン内の対象物の固有のシグネチャ(unique signatures of objects)及び絶対温度の識別を可能にする。本願で説明される信号処理技術と結合される場合、多重カラー赤外線検出(multiple color infrared detection)は、シングル・カラー・デバイスのものと比較して改善された感度をもたらす。
多重スペクトル・バンドでFPAセンサ815により取得されるスペクトル信号は、(例えば、RVS社やSofradir社により製造される)一群の読み出し集積回路(read-out integrated circuit：ROIC)エレクトロニクスを利用して読み出されてもよい。シーン805についての多くのショート露出画像(Many short exposure images)(例えば、1ないし100ms)がFPAセンサ815により取得されてもよい。露出は、1つの露出期間(又は画像)内のプラットフォームの動きが比較的微小であるように期待される程度に十分短く選択される。そして、連続的なフレーム825は静的な観察者により眺められるような体裁を有するように処理又は変換される。優れたSNRで多重バンドでほぼ完全に整合した画像を取得するために、長い焦点距離の(例えば、回折が制限された)光学系を利用することで、フォトンが豊富なスペクトル・バンド(photon rich spectral band(s))における非常に短い露出(例えば、ミリ秒)が、フォトンが乏しいバンド(photon poor band(s))のより長い露出(例えば、ミリ秒の数十倍)と交互になされてもよい。即ち、1つのFPAセンサ815の利用は、収集の時間が分配されることを許容し、例えば、露出時間の95-99%をフォトンが乏しいスペクトル・バンドに、1-5％をフォトンが豊富なスペクトル・バンドに分配することを許容する。
(例えば、MWIR、LWIR等のような)フォトンが豊富なスペクトル・バンドは、高いSNRの端末画像を提供するかもしれず、その画像はスペクトル収集システムの全体的な動きを決定するために使用される。(例えば、SWIRビジブル/NIR、及び/又はサーマルSWIR等のような)フォトンが乏しいスペクトル・バンドの各フレーム825は、低いSNRで反射を含む(即ち、大気光、月光、人工光等を含む)。フォトンが豊富なバンドにより測定される動きは、プラットフォームの動きの影響を除去するために、フォトンが乏しい画像に適用される変換を進展させるために使用される。変換された反射スペクトル・バンド画像の時間平均(即ち、合計)は、高いNIIRS反射画像をもたらす結果となり、その画像は対象物の認識を改善するようにサーマル画像と融合されることが可能である。
マルチバンドFPAセンサ815は効率及び位置合わせ(co-registration)に関して好ましいが、フォトンの豊富さが異なるスペクトル・バンドで画像を取得するために2つ以上の別個のFPAsを利用することが許容可能であることが、認められるであろう。そのような実施形態では、FPAsは固定的な空間的位置関係で線密に砲口焦準を合わせ、それにより、個々のFPAsでキャプチャーされるフレーム825は矛盾無く位置合わせされることが可能である。これは、プラットフォームにおけるFPAsの固定された既知の相対的な間隔に基づいてフレームを位置合わせするように予め決定された何れか又は双方のフレームに画像変換を適用することにより達成されてもよい。移動プラットフォーム撮影システム800は、第1スペクトル・バンド及び第2スペクトル・バンドでキャプチャーされたフレーム825を共に位置合わせするように構成される別個のレジストレーション・プロセッサを含んでもよく、或いはその機能がTCP820により実行されることも可能である。
センサは、シーン内の如何なる特定のロケーションに関してもトレーニングされる必要はないことが、認められるであろう。そうではなく、変換は、(実際に動いている対象物や、地表面上空の対象物以外について)不動のプラットフォームから撮影されたように見えるシーンをもたらし得る。背景は近似的に静的であるので、移動する対象物は観測者により容易に検出され得る。高さを有する3-D特徴は、予測可能な経路に沿ってシーンの中で僅かに「傾斜する」動き(a slight“leaning” motion)を示す。動きの速度は対象物の高さに直接的に比例する。
TCP820は、センサ815から画像フレームを受信し、本願で説明されるような画像処理を実行するように構成される。TCP820は、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGAs)、ディジタル信号プロセッサ(DSPs)、又はその他の集積形態のようなハードウェアを含んでよい。しかしながら、TCP820は、全体的又は部分的に、1つ以上のコンピュータで動作するコンピュータ実行可能な命令又はコードを有する1つ以上のコンピュータ・プログラム(例えば、1つ以上のコンピュータ・システムで動作する1つ以上のプログラム)として、1つ以上のプロセッサで動作する1つ以上のプログラム(例えば、1つ以上のマイクロプロセッサで動作する1つ以上のプログラム)として、ファームウェアとして、それらの任意の組み合わせとして集積回路で等しく実現されてもよいこと、及びソフトウェア及び/又はファームウェアに関する回路の設計及び/又はコードの記載は本開示に照らして当業者に十分に把握され得ることを、当業者は認めるであろう。更に、本願で説明される対象事項についての仕組みは様々な形態でプログラム製品として分散されることが可能であること、及びその分散を実行するのに使用される特定のタイプのコンピュータ読み取り可能な媒体によらず、本願で説明される対象事項の例示的な実施形態は適用可能であることを、当業者は認めるであろう。
或る実施形態では、TCP820は撮影プラットフォーム上に及び/又はセンサ815とともに直接的に配置されてもよい。従って、変換された画像は、何らの追加的な画像処理を必要とすることなく、ユーザーに直接的に送信されることが可能である。しかしながら、そうすることは必須でない。従って、或る実施形態では(説明されるように)、画像TCP820は撮影プラットフォームから別個であってもよい。例えば、TCP820は地上ベースであってもよい(例えば、コマンド・センターにおけるものであってもよい)。他の例では、TCP820は、例えば車両、戦車、ヘリコプタ、航空機、船舶、潜水艦等のような乗物に基づくものであってもよい。センサ815及びTCP820は、情報及びデータを好ましくは「リアルタイム」で1つ以上のコネクション及び/又はそれらの間のネットワークを介して、情報を通信及び/又は共有してもよい。センサ815は、画像フレーム、軌道情報、センサ視界情報をTCP820へ何らかの手段により送信してよい(何らかの手段は、例えば、無線機、マイクロ波その他の電磁放射手段、光通信、電気通信、有線又は無線伝送等を含む)。更に、イントラネット及びインターネットのような1つ以上のディジタル・ネットワークによりネットワーク化された通信も可能である。
TCP820は、センサ815により収集された様々な画像間の相違する性質及び程度を判断するように、及びフレーム間の相違を数学的に記述する1値有情の変換関数を適用するように更に構成される。一実施形態では、変換は固有関数変換であってもよい。TCP820は、ステップ910において、差分又は勾配画像を生成するために、信号リッチ・スペクトル・バンドでキャプチャーされたシーン850の一連のフレーム825を比較する。TCP820は、連続的なフレームを比較する前に、センサ815同士の間の固定的な既知の空間的な位置関係に基づいて、個々のスペクトル・バンドにおける露出期間の間にキャプチャーされる(複数の)フレームを共に位置合わせしてもよい。ステップ915において、TCPは、「信号リッチ・スペクトル・バンドでキャプチャーされるフレーム825に含まれる情報であってシーン805の中で移動しているターゲット(「真の移動体」(true movers))を表現する情報」を選択的に識別し、識別された情報を除外する。そのような真の移動体は信号リッチ・バンドで解像度を改善することが可能である。
ステップ920において、TCP820は、シーン全体の差分又は勾配画像を固有関数(上述したもの及び図5C、6A-6Fで示されるもの等)に当てはめ、適切な1つ以上の変換と対応する最適な一群の固有関数係数とを決定し、その係数群は、シーン及び撮影プラットフォーム間の相対的な運動により誘発される画像の動きを補償するためのものである。変換のモデリングは、1つ以上の固有関数変換に関する各々の固有関数について「最も当てはまる(best-fit)」係数を発見するように実行されてよい。変換は、最大誤差又は平均二乗誤差(MSE)を最小化する係数又は「ベスト・フィット(best fits)」を算出することにより最適化されてもよい。ベスト・フィットを計算した後に、引き起こされている画像の動きを補正するために、モデル化された固有関数変換が、画像をディジタル的に変換するように画像補正プロセッサ835へ出力される。
本願で説明されるようなシーン全体の変化を利用するシーン変換の推定830(引き起こされた画像の動きを推定及び補正するために必要な固有関数変換及び関連する係数の推定を含む)は、例えばサブ・フレーム画素グループを利用することのような代替的な技術で実行されることが可能であるが、そのようなアプローチはより多くの演算負担となってしまう傾向にあることを、画像処理の当業者は容易に認めるであろう。
画像補正プロセッサ835は、TCP820からシーン変換830(即ち、適切な固有関数変換及び係数)を受信し、全てのスペクトル・バンドの画像フレーム825をディジタル的に変換し、それにより、センサ815からの画像フレーム825は、同じ固定された又は不動の撮影プラットフォームから眺められているように見える。特に、画像補正プロセッサ835は、共通する視野(FOV)に対してシーン805の連続的な画像をディジタル的に変換するように構成されてもよく、それにより、連続的な画像は同じ不動のプラットフォームから眺められているように見える。例えば、固有関数変換は、上述したように、回転、ズーム、方位角方向(又は焦点面アセンブリ(FPA)のX軸)でのアナモルフィック・ストレッチ、(X軸から)45度方向でのアナモルフィック・ストレッチ、(Y軸からの)仰角方向でのアナモルフィック・ストレッチ、及び/又は(X軸から)-45度方向でのアナモルフィック・ストレッチを含んでもよい。
画像補正プロセッサ835は、ステップ925において、使用される各々のスペクトル・バンドにおけるキャプチャーされた全てのフレーム825にシーン変換を適用し、キャプチャーされたフレーム825をディジタル的に変換し、プラットフォームの動き及びポインティング・エラー(及び選択的にジッター)を補償する。本質的に、固有関数変換が算出される基礎の凍結面(the frozen plane)の上方又は下方にあるオブジェクトに関し、視差に起因する非常に小さく現れる動きが存在する。
融合プロセッサ840は、信号プア・スペクトル・バンドでキャプチャーされた画像825の解像度を高めるように構成される。融合プロセッサ840は、ステップ930において、スペクトル・バンドで高いSNR画像を取得するために、少ない光レベルを有する1つ以上のスペクトル・バンドでキャプチャーされた複数の連続的な補償済みフレームを位置合わせし直して合計する。「真の移動体」情報が前もって識別され、キャプチャーされたフレーム825から除去されていた場合、そのような情報が、補償されたキャプチャーされたフレームに加え戻されてもよい。進展させられる変換は、信号が乏しいバンドにおける補正を許容し、任意の照明(照明が全く無い場合も含む)の下で夜間でも、回折制限画像のマルチ・スペクトル収集を可能にする。或る場合には、改善された画像は、米国画像判読性判断指標(NIIRS)により高い「評価」となり得る。
変換された画像のビデオ・シーケンスは表示されてもよく、静的な、移動する及び/又は3-Dの対象物が、シーンの表示画像の中で識別されてもよい(例えば、強調、カラーコード化、注釈等が行われてもよい)。従って、人間又はマシンの解釈が顕著に促進される。多くの実施例において、画像が変換されると、追加的なディジタル画像処理は必要とされない。
代替的な実施例
代替的な実施例において、TCP820は、以前に言及され全体的にリファレンスとして組み込まれている‘755パテントで説明されているように、プラットフォームの動き情報についての先験的な情報を当てにする1つ以上の予測技術を利用してもよい。そのような実施例において、本願で説明される技術は、選択的に、フォトンが豊富なMWIRバンド画像に先ず適用されてもよい。これは、既知の軌道及びセンサが示す動きの影響を全ての画像から除外することが可能である。次に、本願で説明される実施形態が、先験的な技術からの画像に適用され、それにより、本願で説明される技術が、先験的な結果における残留エラーのみを算出してもよい。
別の代替的な実施例において、システム800及び方法900は、表示に選択されることも可能な、高められた解像度(例えば、超解像度)の画像を提供してもよい。画像のエンハンスト2-D表示は、例えば、変換されたシーンの集まりに超解像度技術を適用することにより、更に提供されてもよい。更に、画像の3-D表示がステレオ表示により提供されてもよい。これは、生じたとしても僅かな追加処理しか要しない。画像フレームのビデオ・シーケンスが表示され、静的な、移動する、及び3-Dの対象物がシーンの中で識別されてもよい(例えば、強調されてもよい)。従って、人間又はマシンの解釈が顕著に促進される。多くの実施例において、追加的なディジタル画像処理は不要である。
フレーム間のシーンの相違から、上述したように算出される固有関数変換は、初期画像処理ステップとして、以後のキャプチャーされるフレームに適用されてもよい。他の実施例において、変換は、運動誘発誤差を最小化するように、収集光学系810を調節するようにフィードバックされてもよい。
1人以上のユーザーはシステム800と相互作用することが可能である。ユーザーは、典型的には、例えば撮像プラットフォーム及び/又は画像プロセッサ820及び835から離れて位置するであろう。当然に、ユーザーは、撮影プラットフォームに存在してもよいし、及び/又はシステム800の近辺の位置に存在してよい。1つ以上の実施例において、ユーザーは、任意の手段によりシステム800と情報及びデータを通信及び/又は共有することが可能である(その手段は、例えば、無線機、マイクロ波その他の電磁放射手段、光通信、電気通信、有線又は無線伝送等を含む)。更に、イントラネット及びインターネットのような1つ以上のディジタル・ネットワークを介してネットワーク化された通信も可能である。適切な任意のユーザー・ディスプレイが使用されてもよく、ディスプレイは、例えば、表示されるビデオ及び/又は画像フレームのために構成される任意のディスプレイ・デバイスを含んでよい。テレビジョン、コンピュータ・モニタ、ラップトップ、タブレット・コンピューティング・デバイス、スマート・フォン、パーソナル・ディジタル・アシスタント(PDAs)及び/又はその他のディスプレイ及びコンピューティング・デバイスが使用されてもよい。例示的なディスプレイ・デバイスは、例えば、陰極線管(CRT)、プラズマ・ディスプレイ、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイを含んでもよい。
画像の具体例
図10-14は、地面に対する撮影プラットフォームの動きに起因するフレーム間の画像変化を修正する具体例を示す。この例では、4つの固有関数変換(即ち、回転、ズーム、x軸におけるアナモルフィック・ストレッチ、45度方向に沿うアナモルフィック・ストレッチ)が実行される。更に、二乗平均誤差を最小化することにより、各々の固有関数変換に対するベスト・フィット係数が決定される。
これらのプロットは、異なる時点で取得される2つの異なる画像間でのピクセルの相対的な動きを示す。プロットは、地表に対するピクセルの動きをマッピングする。ベクトル矢印の長さ及び方向は、或るフレームから別のフレームへのピクセルの動きを示す。
図10は、特に、600kmの高度から1.6mradの視野で(即ち、近似的に1km)1秒間の間に撮影プラットフォーム105により見える画像変化の全体的な方向及び大きさのベクトル場を示す。図10は、最大の画像変化は近似的に毎秒28μradであることも示す。
図11は、回転補正を実行した後に残っている画像変化を示す。回転のみの除去は、最大画像変化を、近似的に毎秒6.8μradに減らす。
図12は、回転及びズーム(焦点距離)に関する補正後に残っている変化を示す。回転の画像変化に加えて、ズームを除去することは、最大画像変化を、近似的に毎秒2.7μradに減らす。
図13は、回転、ズーム、及びx軸に沿うアナモルフィック・ストレッチに対する補正後に残っている変化を示す。x軸に沿うアナモルフィック・ストレッチを除去することは、最大画像変化を、近似的に毎秒3.8μradに減らす。
図14は、回転、ズーム、x軸に沿うアナモルフィック・ストレッチ、45度のアナモルフィック・ストレッチを補正した後に残っている画像変化を示す。45度のアナモルフィック・ストレッチを除去することは、最大画像変化を、近似的に毎秒0.015μradに減らす。
様々な実施形態によれば、撮影プラットフォーム又はユーザーは、図10-14に関連して説明した変換についての他の組み合わせ及びシーケンスを選択してもよい。図15A-15B及び16A-16Bはそれぞれ月明かりの無い夜間での典型的な画像コレクションの前後でフォトンが乏しい(1.0-1.8μm SWIR，主に反射されたエネルギ)及びフォトンが豊富な(2.0-2.5μm SWIR，主に熱エネルギ)スペクトル・バンドについてのシミュレーションされた画像を示す。図15B及び16Bに示されるように露出時間にわたって解像度に関してプラットフォームの動きにより引き起こされる「ぼやけ」の影響(The blurring effect)が明確に見受けられる。図17は、図16A-16Bに示されるフレーム間の相違についての算出された方向及び大きさを示す矢印を示す。これらの計算に基づく固有関数変換が、より高いSNR画像を取得するために、信号プア・スペクトル・バンドに適用されることが可能である。
図18A-18Cは、ノイズの多いSWIR画像及びSWIRで取得された改善されたSNRを示す。図18Aは、1.3というピークSNRを有するノイズの多いシーンの単独のSWIRフレームを示す。図18Bは、今や6というピークSNRを示す、説明された実施例により補正された複合フレームを示す。図18Cは、より長いフレーム及びより低い読み込みノイズFPAを利用することで30というSNRの更なる改善を示す。
図19A-19Dは実施例の利点を示し、この場合において、前のシーン(19A,19B)のSWIR及びMWIR画像は、スペクトル・バンドのうち何れか一方のみに関連する情報(例えば、熱)の融合及びより大きな解像度を示す画像(19C,19D)を生成するために、固有関数変換によりディジタル的に補正されてもよい。
本願で使用されるように、「有する」、「含む」及び/又はそれらの複数形式はオープン・エンド形式であり、列挙されたパーツを含み、かつ列挙されていない追加的なパーツを含むことが可能である。「及び/又は」はオープン・エンド形式であり、1つ以上の列挙されたパーツ、及び/又は列挙されたパーツの組み合わせを含む。
本発明は、その精神及び本質的特徴から逸脱することなく、他の具体的な形態に組み込まれてよいことを、当業者は理解するであろう。従って上記の実施形態は本願で説明される発明の限定ではなく全て例示的な文脈で解釈されるべきである。従って本発明の範囲は上記の説明によってではなく添付の特許請求の範囲によって示され、従って特許請求の範囲の意味及び均等の範囲に由来する全ての変更は特許請求の範囲に包含されるように意図されている。

Claims (18)

  1. 画像をキャプチャーする方法であって：
    移動する撮影プラットフォームにおける少なくとも1つのセンサにより露出期間の間に、第1スペクトル・バンドと前記第1スペクトル・バンドより低い光レベルを有する第2スペクトル・バンドとでシーンのフレームをキャプチャーするステップであって、前記第1スペクトル・バンドでキャプチャーされたフレームと前記第2スペクトル・バンドでキャプチャーされたフレームとは、前記撮影プラットフォームと前記シーンとの間の相対的な運動により引き起こされた同じ画像の動きを含む、ステップ；
    前記引き起こされた画像の動きを補償するために前記第1スペクトル・バンドでキャプチャーされたシーンのフレーム間で測定された変化に基づいて、1つ以上の変換を算出するステップ；
    キャプチャーされたフレームをディジタル的に変換するステップであって、1つ以上の変換は前記引き起こされた画像の動きを補償する、ステップ；及び
    第2スペクトル・バンドでより高い信号対雑音比(SNR)の画像を取得するために、前記第2スペクトル・バンドでキャプチャーされた複数の一連の補償されたフレームを合計するステップ；
    を有する方法。
  2. 前記少なくとも１つのセンサはマルチバンド焦点面アレイ(FPA)を含む、請求項1に記載の方法。
  3. 1つ以上の移動するターゲットを表現する情報を、少なくとも前記第1スペクトル・バンドでキャプチャーされたフレームの中で識別するステップ；
    前記識別された情報を、前記露出期間内にキャプチャーされたフレームから除去するステップ；及び
    少なくとも1つのディジタル的に変換されたキャプチャーされたフレームに前記情報を加えるステップ；
    を更に有する請求項1に記載の方法。
  4. 前記シーンのフレームをキャプチャーするステップが、前記第1スペクトル・バンドと前記第2スペクトル・バンドとでキャプチャーされたフレームを位置合わせするステップを含み；及び
    前記少なくとも1つのセンサが複数の焦点面アレイ(FPAs)を含み、前記複数のFPAsのうちの各FPAは、別個のスペクトル・バンドでフレームをキャプチャーし、かつ複数のFPAsのうち他のFPAの各々に対する既知の位置関係を有する；
    請求項1に記載の方法。
  5. 前記より高いSNRの画像は、高いNIIRS夜間画像を含む、請求項1に記載の方法。
  6. 前記シーンをキャプチャーするステップが、より短い第1スペクトル・バンド露出時間とより長い第2スペクトル・バンド露出時間とをインターリーブするステップを含む、請求項1に記載の方法。
  7. 前記第1スペクトル・バンドは放射バンドを含み、前記第2スペクトル・バンドは反射バンドを含む、請求項1に記載の方法。
  8. 前記1つ以上の変換を算出するステップが、勾配を算出するために、前記第1スペクトル・バンドでキャプチャーされた連続的なフレーム画像を比較し、前記勾配を1つ以上の画像固有関数に当てはめ、1つ以上の対応する固有関数係数を算出するステップを含み；及び

    前記キャプチャーされたフレームをディジタル的に変換するステップが、前記対応する係数を利用して前記1つ以上の画像固有関数を、キャプチャーされたフレームに適用し、既知の撮影プラットフォームの軌道及びセンサが指示する動きの影響を、前記キャプチャーされたフレームから除去するステップを含む；
    請求項1に記載の方法。
  9. 前記画像固有関数は、直線的運動、回転、伸縮、アナモルフィック・ストレッチ、スキュー、及びジッターのうち少なくとも何れかを含む、請求項8に記載の方法。
  10. 画像をキャプチャーするように構成されるシステムであって：
    少なくとも1つのセンサにより露出期間の間に、第1スペクトル・バンドと前記第1スペクトル・バンドより低い光レベルを有する第2スペクトル・バンドとでシーンのフレームをキャプチャーするように構成される移動可能な撮影プラットフォームであって、前記第1スペクトル・バンドでキャプチャーされたフレームと前記第2スペクトル・バンドでキャプチャーされたフレームとは、前記撮影プラットフォームと前記シーンとの間の相対的な運動により引き起こされた同じ画像の動きを含む、移動する撮影プラットフォーム；
    前記引き起こされた画像の動きを補償するために前記第1スペクトル・バンドでキャプチャーされたシーンのフレーム間で測定された変化に、1つ以上の画像固有関数を当てはめることに基づいて、1つ以上の固有関数係数を算出するように構成される変換計算プロセッサ；
    前記画像の歪みを補償するために、1つ以上の固有関数変換及び算出された1つ以上の固有関数係数により、キャプチャーされたフレームをディジタル的に変換するように構成される画像補正プロセッサ；及び
    第2スペクトル・バンドでより高い信号対雑音比(SNR)の画像を取得するために、前記第2スペクトル・バンドでキャプチャーされた複数の一連の補償されたフレームを合計するように構成される融合プロセッサ；
    を有するシステム。
  11. 前記少なくとも１つのセンサはマルチバンド焦点面アレイ(FPA)を含む、請求項10に記載のシステム。
  12. 1つ以上の移動するターゲットを表現する情報を、前記第1スペクトル・バンドでキャプチャーされたフレームの中で識別し；
    前記識別された情報を、前記露出期間内にキャプチャーされたフレームから除去し；及び
    少なくとも1つのディジタル的に変換されたキャプチャーされたフレームに前記情報を選択的に加える；
    ように構成される移動体プロセッサを更に有する請求項10に記載のシステム。
  13. 前記少なくとも1つのセンサが複数の焦点面アレイ(FPAs)を含み、前記複数のFPAsのうちの各FPAは、別個のスペクトル・バンドでフレームをキャプチャーし、かつ複数のFPAsのうち他のFPAの各々に対する既知の位置関係を有し；及び
    前記移動する撮影プラットフォームは、前記第1スペクトル・バンドと前記第2スペクトル・バンドとでキャプチャーされたフレームを位置合わせするように構成される位置合わせプロセッサを含む；
    請求項10に記載のシステム。
  14. 前記より高いSNRの画像は、高いNIIRS夜間画像を含む、請求項10に記載のシステム。
  15. 前記少なくとも1つのセンサは、より長い第2スペクトル・バンド露出時間とインターリーブされたより短い第1スペクトル・バンド露出時間において前記シーンのフレームをキャプチャーする、請求項10に記載のシステム。
  16. 少なくとも前記第1スペクトル・バンドは放射バンドを含み、前記第2スペクトル・バンドは反射バンド(SWIR)を含む、請求項10に記載のシステム。
  17. 前記変換計算プロセッサは、勾配を算出するために、前記第1スペクトル・バンドでキャプチャーされた連続的なフレーム画像を比較し、前記勾配を1つ以上の画像固有関数に当てはめ、前記引き起こされた動き及びポインティング・エラーを推定することにより、前記1つ以上の固有関数係数を算出するように更に構成され；及び
    前記画像補正プロセッサは、前記1つ以上の画像固有関数及び固有関数係数を、キャプチャーされたフレームに適用し、既知の撮影プラットフォームの軌道及びセンサが指示する動きの影響を、前記キャプチャーされたフレームから除去するように更に構成される；
    請求項10に記載のシステム。
  18. 前記画像固有関数は、直線的運動、回転、伸縮、アナモルフィック・ストレッチ、スキュー、及びジッターのうち少なくとも何れかを含む、請求項17に記載のシステム。
JP2018549294A 2016-05-10 2017-01-13 画像をキャプチャーする方法及びシステム Active JP6991992B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/151,033 US10341565B2 (en) 2016-05-10 2016-05-10 Self correcting adaptive low light optical payload
US15/151,033 2016-05-10
PCT/US2017/013479 WO2017196411A1 (en) 2016-05-10 2017-01-13 Self correcting adaptive low light optical payload

Publications (2)

Publication Number Publication Date
JP2019512964A true JP2019512964A (ja) 2019-05-16
JP6991992B2 JP6991992B2 (ja) 2022-01-13

Family

ID=57985032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018549294A Active JP6991992B2 (ja) 2016-05-10 2017-01-13 画像をキャプチャーする方法及びシステム

Country Status (5)

Country Link
US (1) US10341565B2 (ja)
EP (1) EP3456037B1 (ja)
JP (1) JP6991992B2 (ja)
IL (1) IL262555B (ja)
WO (1) WO2017196411A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064450A (zh) * 2018-07-06 2018-12-21 航天星图科技（北京）有限公司 一种面向高分辨率卫星影像的niirs评判方法
US10726531B2 (en) * 2018-09-04 2020-07-28 Richard H. Vollmerhausen Resolution enhancement of color images
US10762622B2 (en) * 2018-09-19 2020-09-01 Kyocera Document Solutions Inc. Fabric inspection device and ink-jet printing device therewith
US10937193B2 (en) * 2018-12-05 2021-03-02 Goodrich Corporation Multi-sensor alignment and real time distortion correction and image registration
EP3726459B1 (en) * 2019-04-17 2022-02-16 Leica Instruments (Singapore) Pte. Ltd. Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program
JP2021033015A (ja) * 2019-08-22 2021-03-01 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
US11248953B2 (en) 2019-09-11 2022-02-15 Raytheon Company Broadband calibrator from visible to long wave infrared

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053427A (ja) * 2005-08-15 2007-03-01 Casio Comput Co Ltd 撮像装置、画像処理方法及びプログラム
JP2011044891A (ja) * 2009-08-20 2011-03-03 Canon Inc 画像処理装置およびその方法
US20110200319A1 (en) * 2010-02-12 2011-08-18 Arnold Kravitz Optical image systems
US20120098933A1 (en) * 2010-10-20 2012-04-26 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-d) persistent observations
JP2013090095A (ja) * 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置、撮像方法、およびプログラム
JP2013207528A (ja) * 2012-03-28 2013-10-07 Ricoh Imaging Co Ltd 撮像装置、動画作成方法及び動画作成プログラム
US20140118514A1 (en) * 2012-10-26 2014-05-01 Raytheon Company Method and apparatus for image stacking
JP2014143690A (ja) * 2008-11-25 2014-08-07 Tetravue Inc 高解像度三次元撮像のシステムおよび方法
JP2014154979A (ja) * 2013-02-06 2014-08-25 Canon Inc 撮像装置およびその制御方法
JP2015231150A (ja) * 2014-06-05 2015-12-21 三菱電機株式会社 撮像制御装置、撮像装置および撮像制御方法

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109435A (en) 1988-08-08 1992-04-28 Hughes Aircraft Company Segmentation method for use against moving objects
JPH0678272A (ja) 1992-08-24 1994-03-18 Olympus Optical Co Ltd 画像記録再生装置
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
JPH09200704A (ja) 1996-01-16 1997-07-31 Matsushita Electric Ind Co Ltd 動画像抽出装置
DE19615657A1 (de) 1996-04-19 1997-08-21 Siemens Ag Verfahren zur Komprimierung von eine Bildfolge repräsentierenden Bilddaten
JPH10108135A (ja) 1996-09-25 1998-04-24 Sony Corp 編集装置及びデータ編集方法
US6396961B1 (en) 1997-11-12 2002-05-28 Sarnoff Corporation Method and apparatus for fixating a camera on a target point using image alignment
US6738424B1 (en) 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US6781127B1 (en) * 2000-06-08 2004-08-24 Equinox Corporation Common aperture fused reflective/thermal emitted sensor and system
WO2002009424A2 (en) 2000-07-21 2002-01-31 The Trustees Of Columbia University In The City Of New York Method and apparatus for image mosaicing
JP2002044559A (ja) 2000-07-31 2002-02-08 Sony Corp 画像処理方法および画像処理装置
US7085401B2 (en) 2001-10-31 2006-08-01 Infowrap Systems Ltd. Automatic object extraction
US7650058B1 (en) 2001-11-08 2010-01-19 Cernium Corporation Object selective video recording
US7865833B2 (en) 2001-12-28 2011-01-04 Canon Kabushiki Kaisha Data processing apparatus, data processing server, data processing system, method of controlling data processing apparatus, method of controlling data processing server, computer program, and computer readable storage medium
US7216303B2 (en) 2002-01-03 2007-05-08 International Business Machines Corporation Menu emulation for content browser clients
US7280696B2 (en) 2002-05-20 2007-10-09 Simmonds Precision Products, Inc. Video detection/verification system
JP4247041B2 (ja) 2003-04-01 2009-04-02 本田技研工業株式会社 顔識別システム
JP4612635B2 (ja) 2003-10-09 2011-01-12 本田技研工業株式会社 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
KR101005986B1 (ko) 2003-11-14 2011-01-05 에스케이 텔레콤주식회사 이동통신 시스템에서의 멀티미디어 메시지 전송방법
US7567731B2 (en) 2004-07-15 2009-07-28 Harris Corporation Method and system for simultaneously registering multi-dimensional topographical points
WO2006040687A2 (en) 2004-07-19 2006-04-20 Grandeye, Ltd. Automatically expanding the zoom capability of a wide-angle video camera
JP4002919B2 (ja) 2004-09-02 2007-11-07 技研トラステム株式会社 移動体高さ判別装置
JP5234241B2 (ja) 2004-12-28 2013-07-10 日本電気株式会社 動画像符号化方法、及びこれを用いた装置と、コンピュータプログラム
JP2007089763A (ja) 2005-09-28 2007-04-12 Toshiba Corp 放射線透視画像処理装置、放射線透視画像処理方法および放射線透視画像処理プログラム
JP4695972B2 (ja) 2005-12-14 2011-06-08 キヤノン株式会社 画像処理装置、撮像装置および画像処理方法
US20070253625A1 (en) 2006-04-28 2007-11-01 Bbnt Solutions Llc Method for building robust algorithms that classify objects using high-resolution radar signals
JP2008067223A (ja) 2006-09-08 2008-03-21 Toshiba Corp データ放送コンテンツ再生装置及びデータ放送コンテンツ再生方法
US8073196B2 (en) 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US20110169960A1 (en) 2006-11-13 2011-07-14 Redshift Systems Corporation Video enhancement system
WO2008072024A1 (en) 2006-12-14 2008-06-19 Nokia Corporation Video stabilization system with motion estimation error correction
US7643063B2 (en) 2006-12-29 2010-01-05 The Boeing Company Dual loop stabilization of video camera images
US8290212B2 (en) 2007-07-17 2012-10-16 Lockheed Martin Corporation Super-resolving moving vehicles in an unregistered set of video frames
TWI360341B (en) 2007-11-26 2012-03-11 Univ Nat Kaohsiung Applied Sci Data encryption method using discrete fractional h
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8400619B1 (en) 2008-08-22 2013-03-19 Intelligent Automation, Inc. Systems and methods for automatic target tracking and beam steering
US8384762B2 (en) 2008-09-19 2013-02-26 Mbda Uk Limited Method and apparatus for displaying stereographic images of a region
JP4735693B2 (ja) 2008-09-22 2011-07-27 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8250481B2 (en) 2008-10-16 2012-08-21 The Curators Of The University Of Missouri Visualizing geographic-area change detected from high-resolution, remotely sensed imagery
US20120113266A1 (en) 2009-04-07 2012-05-10 Nextvision Stabilized Systems Ltd Methods of manufacturing a camera system having multiple image sensors
US8471915B2 (en) 2009-04-16 2013-06-25 Raytheon Company Self-correcting adaptive long-stare electro-optical system
US9626769B2 (en) 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
US20120320237A1 (en) 2011-06-15 2012-12-20 Wei-Ting Liu Camera with function of removing unwanted object and method thereof
RU2616653C2 (ru) * 2012-06-05 2017-04-18 Хайпермед Имэджинг, Инк. Способы и устройство для соосного формирования изображения с множеством длин волн
CN103323028B (zh) 2013-06-14 2015-10-21 武汉大学 一种基于物方定位一致性的卫星多光谱影像配准方法
US9741163B2 (en) * 2015-12-22 2017-08-22 Raytheon Company 3-D polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007053427A (ja) * 2005-08-15 2007-03-01 Casio Comput Co Ltd 撮像装置、画像処理方法及びプログラム
JP2014143690A (ja) * 2008-11-25 2014-08-07 Tetravue Inc 高解像度三次元撮像のシステムおよび方法
JP2011044891A (ja) * 2009-08-20 2011-03-03 Canon Inc 画像処理装置およびその方法
US20110200319A1 (en) * 2010-02-12 2011-08-18 Arnold Kravitz Optical image systems
US20120098933A1 (en) * 2010-10-20 2012-04-26 Raytheon Company Correcting frame-to-frame image changes due to motion for three dimensional (3-d) persistent observations
JP2013090095A (ja) * 2011-10-17 2013-05-13 Olympus Imaging Corp 撮像装置、撮像方法、およびプログラム
JP2013207528A (ja) * 2012-03-28 2013-10-07 Ricoh Imaging Co Ltd 撮像装置、動画作成方法及び動画作成プログラム
US20140118514A1 (en) * 2012-10-26 2014-05-01 Raytheon Company Method and apparatus for image stacking
JP2014154979A (ja) * 2013-02-06 2014-08-25 Canon Inc 撮像装置およびその制御方法
JP2015231150A (ja) * 2014-06-05 2015-12-21 三菱電機株式会社 撮像制御装置、撮像装置および撮像制御方法

Also Published As

Publication number Publication date
EP3456037A1 (en) 2019-03-20
JP6991992B2 (ja) 2022-01-13
EP3456037B1 (en) 2020-11-25
IL262555A (en) 2018-12-31
US20170332017A1 (en) 2017-11-16
US10341565B2 (en) 2019-07-02
IL262555B (en) 2020-07-30
WO2017196411A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
JP6991992B2 (ja) 画像をキャプチャーする方法及びシステム
US11778289B2 (en) Multi-camera imaging systems
US11402271B2 (en) Extensible architecture for surveillance and targeting imaging systems and methods
US9294755B2 (en) Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
US8766808B2 (en) Imager with multiple sensor arrays
US10091439B2 (en) Imager with array of multiple infrared imaging modules
US9191587B2 (en) Method and apparatus for image stacking
US8831370B2 (en) Wavelength diverse scintillation reduction
US9794483B1 (en) Video geolocation
US20200344426A1 (en) Thermal ranging devices and methods
Perić et al. Analysis of SWIR imagers application in electro-optical systems
Ueno et al. Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging
Ko et al. Large-scale benchmark for uncooled infrared image deblurring
CN107850775B (zh) 成像装置
Chenault et al. Pyxis: enhanced thermal imaging with a division of focal plane polarimeter
Caulfield et al. High-definition and ultra high-definition IR camera technology
Müller et al. Real-time image processing and fusion for a new high-speed dual-band infrared camera
Masterson et al. MWIR wide-area step and stare imager
CN115423876A (zh) 图像的标定方法、电子设备及无人机
Preciado et al. Simultaneous computational super-resolution and 3D integral imaging in the long-wave infrared using an array of compact cameras
Ng et al. Overcoming adverse weather conditions with a common optical path, multiple sensors, and intelligent image fusion system
Ellison et al. Opto-mechancial design for real-time image processing: It's not only software
CN112866546A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
Bayya et al. Conference 8541: Electro-Optical and Infrared Systems: Technology and Applications
Hu et al. A coaxial visible and infrared dual-band imager

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180919

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200302

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20201222

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210104

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210105

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210402

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210406

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210831

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211012

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20211109

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211208

R150 Certificate of patent or registration of utility model

Ref document number: 6991992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150