JP2017535747A - マルチバンド短波長赤外線モザイクアレイフィルタ - Google Patents

マルチバンド短波長赤外線モザイクアレイフィルタ Download PDF

Info

Publication number
JP2017535747A
JP2017535747A JP2017514338A JP2017514338A JP2017535747A JP 2017535747 A JP2017535747 A JP 2017535747A JP 2017514338 A JP2017514338 A JP 2017514338A JP 2017514338 A JP2017514338 A JP 2017514338A JP 2017535747 A JP2017535747 A JP 2017535747A
Authority
JP
Japan
Prior art keywords
repeating unit
spectral
color filter
filter array
optical color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017514338A
Other languages
English (en)
Inventor
イエッツバッハー、マイケル、ケイ.
ウィルソン、マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
US Government
Original Assignee
US Government
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by US Government filed Critical US Government
Publication of JP2017535747A publication Critical patent/JP2017535747A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/201Filters in the form of arrays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • G02B5/208Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • G01J2003/2806Array and filter array
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J2005/0077Imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Color Television Image Signal Generators (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Optical Filters (AREA)

Abstract

【解決手段】 カメラシステムはモザイク光学カラーフィルタアレイを有し、該モザイク光学カラーフィルタアレイは、スペクトル一貫性および空間均一性を実施する複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面アレイ周囲長基準および最小周囲長対面積比基準を満たす。反復単位セル内のバンドの空間配列は、最近傍間のバンド間相関関係を最小化する。カメラシステムは、モザイク光学カラーフィルタアレイと光学的に連結する短波長赤外線検出器を更に有する。複数の反復単位セルは、少なくとも5つのスペクトルバンドを有する。【選択図】 図1

Description

関連出願の相互参照
本出願は、その全体を参照として本明細書に援用する、2014年9月13日出願の、Yetzbacher等による「マルチバンド短波長赤外線モザイクアレイフィルタ」と題した米国仮特許出願第62/050,117号の優先権を主張する。
本開示は、マルチスペクトル画像コレクションに関している。特に、本発明は短波長スペクトル帯域におけるマルチスペクトル画像コレクションに関している。
マルチスペクトルおよびハイパースペクトル撮像は、草木、鉱物、化学物質並びに生物組織の種類および正常性を検出および識別するのに使用されている。今日まで、ハイパースペクトルおよびマルチスペクトル撮像システムは、オフナー撮像分光計設計を用いる、ラインスキャン・プッシュブルーム装置設計を利用している。いくつかの設計は、極端に斜めの角度におけるハイパースペクトルデータをラインスキャン分光装置が集められるように、特別に調整した安定化ジンバル設計を用いている。例えば、海軍研究試験所により開発されBandywine Photonics LLCが製造したMX−20SWハイパースペクトル撮像素子等がそれである。しかし、斯かる装置のラインスキャン特性は、完全なハイパースペクトルデータキューブを構築するのに必要な時間の所為で、指定された領域の再訪率を制限する。持続性のあるハイパースペクトルデータおよびフルモーションビデオのハイパースペクトルデータを得たいという願望は、代替の設計、例えば、PHIRST Lightを生んだが、これは、望ましいスペクトルの液晶フィルタをスキャンしながら、ビデオレート近傍で全シーンを持続的に撮像する液晶チューナブルフィルタを使用する。この方法の欠点は、シーンからの全スペクトルは時間的に同時には集められないことである。コンピュータ断層撮影分光計(CTIS)は、光学/演算面の複雑性および焦点面アレイ・リアルエステートを犠牲にすることにより、空間情報およびスペクトル情報の両方をシングルショットで集められる。比較的単純な光学要素を用いるプレノプティック原理に基づく方法が、最近実証された。この特殊なプレノプティックカメラは、空間分解能の代わりにスペクトル分解能を得るため、対物レンズ上にスペクトル素子を使用し、検出器に小型レンズアレイを用いる。しかし、斯かる装置は、小型レンズアレイおよび焦点面アレイ設計に特に整合するレンズを必要としており、並びにレンズ特異的な収差を説明するため追加の計算が必要である。最後に、従来のカラーフィルタアレイ(CFA)技術は、大型の焦点面アレイの検出器ピクセル上に、反復するパターンまたはモザイク状のフィルタ要素パターンを配置する。次に、このモザイク状パターンの画像を画像処理し、撮像領域内の複数の場所用に完全なハイパースペクトルデータセットを作成する。CFA設計は、あらゆるラインスキャンおよび小型レンズシステムに見られる制限的レンズ調整を省く。その結果、現場でのレンズ変更機能が改善され、カメラを種々の撮像ニーズに迅速に適応できるようになる。
カラーフィルタアレイは、二次元および線形感光性アレイを用いて色情報を検知するのに使用される。参照として本明細書に組み込まれる援用される米国特許第3,971,065号を参照。3色可視カラーフィルタアレイの多くの変形が知られているが、商業用のほとんどのカラー可視カメラシステムは、個々の赤、青および緑のフィルタリングされた画素の反復2x2パターンから成るベイヤカラーフィルタアレイを使用する。参照として本明細書に援用される、Compton等による米国特許出願公開第20070024931号およびChangによる米国特許出願公開第20070145273号を参照。可視バンドカラーフィルタアレイは、誘電薄層フィルタ要素を用いる例も存在するが、一般的には、吸収物質をフィルタ要素に使用する。Buchsbaumによる米国特許第7,648,808号を参照。
従来の3色ベイヤフィルタアレイに存在するバンド数よりも多いバンド数にカラーフィルタアレイを拡張する関連技術が存在する。例えば、高空間周波数輝度および低空間周波数色度の回復に基づいて、HirakawaおよびWolfeは、ベイヤパターンの線形組み合わせであるモザイクアレイフィルタにより任意数のスペクトルバンドが達成できることを提案した。参照として本明細書に援用されるHirakawa, K. et al., "Spatio−Spectral Color Filter Array Design for Optimal Image Recovery," Institute of Electrical and Electronics Engineers (IEEE) Transactions on Image Processing, Vol. 17, No. 10, pp. 1876−1890(2008)を参照。しかし、短波長赤外線帯域においては、カラーチャンネル間の相関性は保証されていない。更に、SWIRにおいては、人間の視覚特性に起因して、色度および輝度は十分には画成されない。Miao等は、人間の視覚と独立したマルチスペクトルCFAを設計する代替方法を開示しているが、彼らはバンド出現の蓋然性に基づいてCFA設計を行っている。参照として本明細書に援用されるMiao, L. et al., "Binary tree−based generic demosaicking algorithm for multispectral filter arrays," IEEE Transactions on Image Processing, Vol. 15, No. 11, p. 3550(2006)を参照。しかし、Miao等の設計計画は、SWIR(はるかに小さな画像ライブラリしか入手可能でなく、バンド蓋然性は必ずしも推定できない)においては阻止されている。加えて、Miao等の設計アルゴリズムによって生成されるパターンは、スペクトル一貫性および空間均一性が欠如している。対照的に、Shresthaらは、スペクトル一貫性および空間均一性を確実にするマルチスペクトル・カラーフィルタアレイ設計アルゴリズムを作成した。参照として本明細書に援用されるShresta, R. et al., "Spacial arrangement of color filter array for multispectral image acquisition," Proceedings of SPIE−IS&T Electric Imaging v.7875 p.787503(2011)を参照。しかし、Shrestha等のアルゴリズムは、設計にバンド蓋然性の予知を使用する。不都合にも、Shresthaのアルゴリズムは、独立かつ完全なスペクトル測定値を集めるのに必要な焦点面上の距離を最小にすると同時に、スペクトル質を最大にするための制約を実行しない。その結果、Shrestha等のモザイク単位セルは、密集した数多くのバンドを収容するのに必要なサイズよりも大きくなり、いくつかの色情報を欠いた凸領域がモザイクアレイに生じる結果となる。斯かる両方の影響の結果、最小周囲長単位セルに相当する対象に関しては、スペクトルの平均的質を低下させる。上記専門誌の考察は可視バンド検出器に限定される。
出願者達は、平均スペクトル質の低下を生じないマルチスペクトル撮像コレクションシステムの必要性を決定した。
出願者達は、ハイパースペクトルシステムの性能に近い性能を有するコンパクトなマルチスペクトルシステムを可能にする4バンド超に、CFA技術を拡張する必要性を更に決定した。
出願者達は、最小デモザイキングエラーおよび最大スペクトル質のためにバンド間相関関係を最適化するスペクトルバンドの配列の必要性を更に決定した。
本発明の実施形態はカメラシステムを有する。該カメラシステムは少なくとも5つのスペクトルバンドを有するモザイク光学カラーフィルタアレイを有する。カメラシステム10は、モザイク光学カラーフィルタアレイに光学的に連結している標準の短波長赤外線検出器を有する。
別の実施形態はカメラシステムを有する。該カメラシステムはモザイク光学カラーフィルタアレイを有し、該モザイク光学カラーフィルタアレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面アレイ周囲長基準および最小周囲長対面積比基準を満たす。最小周囲長対面積比基準は、最小焦点面アレイ周囲長基準の後に満たす。カメラシステムは、モザイク光学カラーフィルタアレイに光学的に連結している短波長赤外線検出器を更に有する。
本発明の別の実施形態はカメラシステムを有する。該カメラシステムはモザイク光学カラーフィルタアレイを有し、該モザイク光学カラーフィルタアレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、単位セル内の最近傍間のバンド間相関関係を最小にし、従って、第二近傍間のバンド間相関関係を最大にする。
本発明の別の実施形態はカメラシステムを有する。該カメラシステムはモザイク光学カラーフィルタアレイを有し、該モザイク光学カラーフィルタアレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面アレイ周囲長基準および最小周囲長対面積比基準を満たす。最小周囲長対面積比基準は、上記最小焦点面アレイ周囲長基準の後に満たす。モザイク光学カラーフィルタアレイは、少なくとも6つのスペクトルバンドを有する。複数の反復単位セルは、少なくとも6つのスペクトルバンドを有する。カメラシステムは、モザイク光学カラーフィルタアレイに光学的に連結している標準の可視波長検出器を更に有する。
別の実施形態はカメラシステムを有する。該カメラシステムは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有するモザイク光学カラーフィルタアレイを有する。複数の反復単位セルの各反復単位セルは、最小最近傍バンド間相関関係基準を満たす。モザイク光学カラーフィルタアレイは、少なくとも6つのスペクトルバンドを有する。複数の反復単位セルは、少なくとも6つのスペクトルバンドを有する。カメラシステムは、モザイク光学カラーフィルタアレイに光学的に連結している検出器を更に有する。検出器は、可視波長検出器または短波長赤外線検出器を含む。
短波長赤外線検出器は、任意で、1100nmと1700nmとの間の波長を有する光に敏感である。
最小最近傍バンド間相関関係基準には、任意で、各反復単位セル内で第二近傍の方が最近傍よりも密接に相互関連していることを保証することも含まれる。
本発明の実施形態は、以下の利点の1つ以上を有する。
(i)ビデオレートのマルチバンドスペクトル撮像を短波長赤外線にまで拡張。
(ii)いくつかのバックグラウンドにおけるいくつかの標的の検出および識別のため、十分なスペクトル分解能を提供。
(iii)追加の光学要素は不要、あるいはサイズ、重量および動力に関するシステム需要の増大は不要。
(iv)リモートセンシング使用に適している、あるいはかなりの量の大気での撮像に適している。
(v)デモザイキングに使用されるバンド間相関関係の最大量を提供することにより、デモザイキングエラーを最小化。
(vi)高品質撮像スペクトル測定に必要な最小の空間的広がりを提供。
図1は、本発明の少なくとも1つの実施形態の構成図を示す。 図2は、本発明の例示的9バンド実施形態におけるバンド1の例示的フィルタ応答を示す。 図3は、本発明の例示的9バンド実施形態におけるバンド2の例示的フィルタ応答を示す。 図4は、本発明の例示的9バンド実施形態におけるバンド3の例示的フィルタ応答を示す。 図5は、本発明の例示的9バンド実施形態におけるバンド4の例示的フィルタ応答を示す。 図6は、本発明の例示的9バンド実施形態におけるバンド5の例示的フィルタ応答を示す。 図7は、本発明の例示的9バンド実施形態におけるバンド6の例示的フィルタ応答を示す。 図8は、本発明の例示的9バンド実施形態におけるバンド7の例示的フィルタ応答を示す。 図9は、本発明の例示的9バンド実施形態におけるバンド8の例示的フィルタ応答を示す。 図10は、本発明の例示的9バンド実施形態におけるバンド9の例示的フィルタ応答を示す。 図11は、本発明の少なくとも1つの実施形態の構成図を示す。
出願者達は、標準設計原理である1)スペクトル一貫性、2)スペクトル均一性、3)最小焦点面周囲長、4)最小焦点面周囲長対面積比、および5)最小デモザイキングエラーを認識し、取り入れた。最初の2つの原理は反復単位セルを用いて構築されるカラーフィルタアレイを必要とすることを出願者達は認識した。第三と第四の原理は、焦点面検出器の双方向空間的広がりの最小化に関係しており、高品質スペクトル再構築に必要である。スペクトル精度を有する二次元の望ましい最小標的を表示できるような最少数の画素を反復単位セルが有していることが、斯かる第三および第四の原理を満たすのに必要であることを出願者達は決定した。一般的に、NバンドCFAに関しては、最小焦点面周囲長および最小焦点面周囲長対面積原理の適用にはMxP単位セルを用いる必要がある(ここで、MはNの平方根以上の最小整数であり、PはN/M以上の最小整数である)ことを、出願者達は決定した。
第五の原理すなわちデモザイキングエラーは、単位セル内のフィルタ要素の空間的配列を制約すると出願者達は決定した。CFAは相互関連するスペクトルバンドを用いてシーンを空間的にサブサンプリングするものであると出願者達は認識した。画像特性が単位セルサイズに相当する撮像対象について、バンド間の相関関係をデモザイキングエラーの最小化に利用し得ると出願者達は更に認識した。撮像シーンのスペクトル内容に関する先験的情報がなければ、幅広いスペクトル全体の色相関関係を推定できない。しかし、可視および短波長赤外線(SWIR)バンドにおける固体または液体の対象のスペクトル特性は例えば広範ではあるが、全体的に相互関連している訳ではない。従って、スペクトル特性は、局所的に、隣接スペクトルバンドの近接性と言う意味で相互関連していると推定するのが適切であると出願者達は決定した。すなわち、2つのスペクトルバンドが波長的に近ければ近いほど画像内容はより相互関連している、と出願者達は推定した。従って、出願者達は、相互関連したスペクトルバンドを引き離して反復単位セル内の分離を最大にすることにより、最小最近傍相関関係の原理を適用した。従って、本発明のCFA設計においては、各画素に関して、そのスペクトルバンドからその最近傍をスペクトル的に出来るだけ引き離す必要がある。すなわち、デモザイキングエラーを最小化するには、最近傍間のスペクトル距離を最大にする必要がある。例えば、本発明の実施形態の例示的9バンドCFAにおいては、単一バンド超の情報を使用する場合のデモザイキングエラーの最小化には、空間/スペクトル相互関係をカラーフィルタアレイに利用するのが好ましいと出願者達は決定した。斯かる空間/スペクトル相互関係は、例えば、第二近傍間(すなわち、この9バンドCFA設計において、空間的に対角線にある画素間)のスペクトル距離を最小にすることにより達成される。上記原理を適用することにより、および局所的なスペクトル相関関係を利用することにより、出願者達はモザイクパターンを最適化した。
密集したモザイク単位セルを出来るだけ最小に保ちつつ、スペクトル近傍を可能な限り広げ、第二近傍間のスペクトル距離を最小にすることにより、モザイクパターンを最適化できる。斯かる方法により、(自然に相互関連したスペクトル内容を有する)スペクトル近傍を広範に配分することにより全体的な画像構造が保存でき、従って、モザイク単位セルのサイズ未満またはそれに等しい物理的サイズを有する有効なスペクトル単位セルが生成できる。この操作は、バンド数に関係なく、スペクトルバンドの適切な空間配列により達成される。
本発明の1つの実施形態は、図1を参照することにより例示的に記載される。本発明のこの実施形態はカメラシステム10を有する。カメラシステム10は、少なくとも5つのスペクトルバンドを有する標準のモザイク光学カラーフィルタアレイ20を有する。カメラシステム10は、モザイク光学カラーフィルタアレイ20に光学的に連結している標準の短波長赤外線検出器30を有する。本発明の実施形態に使用できるモザイクカラーフィルタアレイの少なくとも1つの例が、参照として本明細書に援用される、Buchsbaumによる米国特許第6,638,668号で考察されている。
モザイク光学カラーフィルタアレイは、任意で、上記検出器とは別に製造される。加えて、本明細書記載のマルチスペクトル撮像装置またはカメラシステム10の製造プロセスは、上記検出器と共に製造されるCFAに応用可能である。
モザイク光学カラーフィルタアレイ20は、任意で、少なくとも5つのスペクトルバンドを有する複数の反復単位セルを有する。スペクトルバンド数、その幅、およびバンド中心波長はアプリケーションに依存している(すなわち、どの標的を観察したいかに依存している)ことを、当業者は認識するであろう。複数の反復単位セルはスペクトル一貫性および空間均一性を確実にする。複数の反復単位セルの各反復単位セルは、最小焦点面周囲長基準および最小周囲長対面積比基準を満たす。実際面では、ユーザーは可能なCFAサイズを識別するのに最小焦点面周囲長基準を適用し、次に、必要に応じて、最小焦点面周囲長対面積比基準を適用することにより、可能なCFAサイズから好ましいCFAサイズを選別する。例えば、最小焦点面周囲長基準を8バンドカラーフィルタアレイに適用すれば、2つの可能なCFAサイズ、すなわち3x3CFAサイズおよび4x2CFAサイズが得られる。4x2セルは8バンドを有する最小整数長の長方形または正方形であり、従って最小の周囲長を有する。3X3セルも8バンドを有する最小整数長の長方形または正方形であり、やはり最小の周囲長を有する。次に、斯かる2つの可能なCFAサイズに最小焦点面周囲長対面積比基準を適用し、好ましいCFAサイズを決定する、すなわち2つの画像方向に関してどちらのCFAサイズがより平等な空間周波数を与えるかを決定する。次に、3x3CFAサイズの方が4x2CFAサイズよりも小さい周囲長対面積比を有するので、周囲長対面積比基準により、例えば、4x2CFAサイズではなく3x3CFAサイズが提供される。少なくとも5つのスペクトルバンドの各スペクトルバンドは、任意で、複数の空間最近傍と複数の空間第二近傍とを有する。少なくとも5つのスペクトルバンドの各スペクトルバンドは、各スペクトルバンドが複数の空間最近傍よりも複数の空間第二近傍との間でより大きい相関関係を有するように、モザイク光学カラーフィルタアレイ上に配置される。少なくとも5つのスペクトルバンドの各スペクトルバンドは、任意で、複数の空間最近傍がスペクトル的に隣接しないように、モザイク光学カラーフィルタアレイ上に配置される。例えば、例示的な9バンド3x3CFAでは、CFAの各対角線またはアンチ対角線はスペクトル的な最近傍によって占められている。
任意で、少なくとも5つのスペクトルバンドはNスペクトルバンドを有する。複数の反復単位セルの各反復単位セルは、MxP単位セルを有する(ここで、MはNの平方根以上の最小整数であり、PはN/M以上の最小整数である)。
バンド数を変えると、マルチスペクトル画像コレクションに関する上記システムおよび操作の対称性およびアルゴリズム制約を保持する、新しいモザイクパターンが得られる。上記原理に従う例示的CFAサイズを表1に掲げる。
Figure 2017535747
例えば、表1を9SWIRバンドを有するカラーフィルタアレイに適用すると、3x3単位セルが得られるであろう。別の例では、表1を11SWIRバンドを有するカラーフィルタアレイに適用すると、4x3単位セルが得られるであろう。
本発明の実施形態によるスペクトル局所相関関係の利用方法を例示するため、以下の例が提供される。9バンドの場合、第二近傍(例えば対角線に隣接およびアンチ対角線に隣接)画素のスペクトル距離の最小化は、最近傍画素のスペクトル距離の最大化に等しい。その結果、各画素とその最近傍との間の相関関係を最小にしつつ、確実に、各画素の周りの第二近傍との間の相関関係を最大化する。9つのスペクトルバンドがある場合、本発明の実施形態に従って開発されるパターンの1例を表2に示す。
Figure 2017535747
表2を参照すると、各バンドの指数はスペクトル領域の順番を示す。上記9つのスペクトルバンドCFAの例を継続すると、図2〜10は、それぞれバンド1〜9画素の例示的フィルタ応答を示す。バンドは、隣接スペクトルバンドを空間的に最近傍として配置するのを最小化するように単位セル内に配列してある。例えば、バンド3はその短波長側をバンド2と境界を接しており、長波長側をバンド4と境界を接している。上述したように、単位セルはCFA全体に亘って反復されるものなので、対角線に沿った要素はスペクトル的に局所群のメンバーである。例えば、バンド2はバンド1およびバンド3と同じ対角線上のみに見出される。平等に間隔を空けてあるスペクトルバンドに関しては、斯かる配列の置換は、要素を対角線に沿った他の要素と交換したとしても、対角線上の隣接画素は全て同じ平均スペクトル距離を有する。上記パターンの巡回置換、線対称変換および回転は全て同等であることを当業者は認識するであろう。更に、いくつかの隣接したスペクトルバンドを交換しても、例えば、バンド8とバンド9を交換しても、第二近傍間または最近傍間の平均バンド間相関関係に影響は及ばないし、同様に、デモザイキングエラーにも影響は及ばないことを当業者は認識するであろう。
8つのスペクトルバンドがある場合、本発明の実施形態に従って開発されるパターンの1例を表3に示す。
Figure 2017535747
表3を参照すると、各バンドの指数はスペクトル領域の順番を示す。バンドは、隣接スペクトルバンドを空間的に最近傍として配置するのを最小化するように単位セル内に配列してある。上記パターンの巡回置換、線対称変換および回転は全て同等であることを当業者は認識するであろう。
8つのスペクトルバンドがある場合、本発明の実施形態に従って開発される4x2単位セルのパターンの別の例を表4に示す。バンド間相関関係は、あらゆる2つのスペクトルバンド間における画像内容の類似性の尺度である。4x2単位セルは最小周囲長対面積比の原理と一致していないが、単位セル内の最近傍間のバンド間相関関係を最小化することにより、最小デモザイキングエラーの原理には一致している。この最小化は、第二近傍が最近傍よりも相互関連するようにバンドを空間的に配列することにより行われる。
Figure 2017535747
表4を参照すると、各バンドの指数はスペクトル領域の順番を示す。表4に示されるように、バンドは、隣接スペクトルバンドを空間的に最近傍として配置するのを最小化するように単位セル内に配列してある。上記パターンの巡回置換、線対称変換および回転は全て同等であることを当業者は認識するであろう。
本発明の例示的実施形態では、CFAのスペクトルバンドはInGaAs検出器素材の感度に一致させた。更に、大量の大気を通した撮像に利用可能な波長空間を平等にサンプリングするように、バンド中心と幅を選択した。典型的な大気吸収がいくつかのスペクトル情報を削除するので、本発明の実施形態によるCFAは、大気により遮られたスペクトル情報に影響されないのが好ましい。バンド幅は、隣接バンド間の重なり合いを最小にして、利用可能なバンド幅を完全に網羅するのが好ましい。例示的CFA用のバンド中心波長(CWLs)を以下の表5に示す。
Figure 2017535747
スペクトルバンドは、長距離撮像用の高大気透過の窓を平等にサンプリングするように選択される。表5に列挙したバンド中心とは異なるバンド中心の代替選択はアプリケーションに依存することを、当業者は理解するであろう。例えば、InGaAsセンサーと整合した感度曲線に一致するように特別のバンドが選択されるし、異なるバンド中心の場合、それは他のSWIR検出器素材(例えば、HgCdTe、InSb等)に整合する、あるいはいくつかのスペクトル領域がより小さいまたは大きいバンド分離を有している場合に整合する。
複数の反復単位セルの各反復単位セルは、任意で、少なくとも5つのスペクトルバンドの各スペクトルバンドに少なくとも1つの画素を含む。
モザイク光学カラーフィルタアレイ20は、任意で、短波長赤外線検出器に固定されている、あるいは短波長赤外線検出器から少し離れた場所に配置される。例えば、モザイク光学カラーフィルタアレイは焦点面アレイに接着される。他の設計には、フィルタアレイを検出器アレイにリイメージングすること、あるいはフィルタアレイを検出器アレイ上に直接作製することも含まれる。
本発明の例示的実施形態では、CFAは640x512正方画素および25ミクロンセンサーピッチの二次元フォーマットを有する標準のInGaAsセンサーに適合している。フィルタは、厚さ0.5mmの透過性基盤上に置かれた、3x3反復パターンの画素サイズフィルタから成る。フィルタは焦点面アレイセンサーに近接した位置(約2ミクロン)に配置されるように設計される。
短波長赤外線検出器30は、任意で、標準の焦点面アレイまたは標準の線形検出器アレイを含んでいる。
少なくとも5つのスペクトルバンドは、任意で、大気吸収の影響を受けない。すなわち、この本発明による任意の実施形態では、CFAは大気を透過可能な光しか受け入れない。
短波長赤外線検出器30は、任意で、1100nmと1700nmとの間の波長を有する光に敏感である。
本発明の別の実施形態を図1を参照して例示的に記載する。この実施形態にはカメラシステム10が含まれる。カメラシステム10はモザイク光学カラーフィルタアレイ20を有し、該アレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面周囲長基準および最小周囲長対面積比基準を満たす。カメラシステム10は、モザイク光学カラーフィルタアレイに光学的に連結している短波長赤外線検出器を更に有する。
モザイク光学カラーフィルタアレイ20は、任意で、少なくとも5つのスペクトルバンドを有する。複数の反復単位セルは少なくとも5つのスペクトルバンドを有する。少なくとも5つのスペクトルバンドの各スペクトルバンドは、複数の空間最近傍と複数の空間第二近傍とを有する。少なくとも5つのスペクトルバンドの各スペクトルバンドは、その各スペクトルバンドが上記複数の空間最近傍よりも上記複数の空間第二近傍とより大きい相関関係を有するように、モザイク光学カラーフィルタアレイ上に配置されている。
少なくとも5つのスペクトルバンドの各スペクトルバンドは、任意で、複数の空間最近傍がスペクトル的に隣接しないように、モザイク光学カラーフィルタアレイ上に配置されている。
少なくとも5つのスペクトルバンドは任意でNスペクトルバンドを有しており、上記複数の反復単位セルの上記各反復単位セルはMxP単位セルを有する(ここで、MはNの平方根に少なくとも等しい最小整数であり、PはN/Mに少なくとも等しい最小整数である)。
複数の反復単位セルの各反復単位セルは、任意で、少なくとも5つのスペクトルバンドの各スペクトルバンドに少なくとも1つの画素を有する。
モザイク光学カラーフィルタアレイ20は、任意で、短波長赤外線検出器30に固定されている、あるいは短波長赤外線検出器30から少し離れた位置に配置されている。
短波長赤外線検出器30は、任意で、標準の焦点面アレイまたは標準の線形検出器アレイを有する。
少なくとも5つのスペクトルバンドは、任意で、大気吸収の影響を受けない。
短波長赤外線検出器は、任意で、1100nmと1700nmとの間の波長を有する光に敏感である。
本発明の別の実施形態を図10を参照して例示的に記載する。この実施形態にはカメラシステム10が含まれる。カメラシステム10はモザイク光学カラーフィルタアレイ20を有し、該アレイは、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有する。複数の反復単位セルの各反復単位セルは、最小焦点面周囲長基準および最小周囲長対面積比基準を満たす。モザイク光学カラーフィルタアレイは少なくとも6つのスペクトルバンドを有する。複数の反復単位セルは少なくとも6つのスペクトルバンドを有する。カメラシステム10は、モザイク光学カラーフィルタアレイ20に光学的に連結した標準の可視波長検出器40を更に有する。
少なくとも6つのスペクトルバンドの各スペクトルバンドは、任意で、複数の空間最近傍と複数の空間第二近傍とを有し、少なくとも5つのスペクトルバンドの上記各スペクトルバンドは、その各スペクトルバンドが上記複数の空間最近傍よりも上記複数の空間第二近傍とより大きい相関関係を有するように、モザイク光学カラーフィルタアレイ上に配置されている。
別の実施形態はカメラシステムを有するが、図1および図10を参照して例示的にそれを以下に記載する。カメラシステム10は、スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有するモザイク光学カラーフィルタアレイ20を有する。全体的なバンド間相関関係は、スペクトルバンドの選択によって固定されている。最近傍相関関係および第二近傍相関関係は、各反復単位セル内のスペクトルバンドの配置に依存する。デモザイキングプロセスにおいて最近傍バンド間相関関係は最小化され、それよりも大きい第二近傍バンド間相関関係が利用される。従って、複数の反復単位セルの各反復単位セルは、最小最近傍バンド間相関関係基準を満たす。モザイク光学カラーフィルタアレイ20は少なくとも6つのスペクトルバンドを有する。複数の反復単位セルは少なくとも6つのスペクトルバンドを有する。カメラシステムは、モザイク光学カラーフィルタアレイ20に光学的に連結された検出器を更に有する。該検出器は可視波長検出器40または短波長赤外線検出器30を有する。
短波長赤外線検出器30は、任意で、1100nmと1700nmとの間の波長を有する光に敏感である。
最小最近傍バンド間相関関係基準は、任意で、第二近傍が各反復単位セル内で最近傍よりも密接に相関関連していることを保証することを含む。
本開示の特定の特徴がいくつかの実施の僅か1つに関して例示されている、および/または記載されているかもしれないが、斯かる特徴は、一定のアプリケーションまたは特定のアプリケーションにとって望ましいまたは有利であると考えられる場合には、他の実施の1つ以上の他の特徴と組み合わせてもよい。更に、発明を実施するための形態および特許請求の範囲には「含んで」、「含む」、「有する」、「有し」等の用語、またはそれらの変形が使用されているが、斯かる用語は「有するものである」と言う用語と類似の意味で包括的に使用されることが意図されている。
本明細書に記載された内容は、本発明の最善の形態を説明するものであり、本発明を記載するための実施例並びに当業者が本発明を作製および使用できるようにするための実施例を提供するものである。本明細書に記載された内容は、使用されている精確な用語に本発明を制限するものではない。従って、本発明は上述の実施例を参照して詳細に記載されているが、当業者は、本発明の範囲から逸脱することなく、実施例の改変、修正および変形の実施が可能である。
斯かる実施並びに他の実施が以下の特許請求項の範囲内にある。

Claims (24)

  1. 装置であって、
    少なくとも5つのスペクトルバンドを有するモザイク光学カラーフィルタアレイと、
    前記光学カラーフィルタアレイに光学的に連結している短波長赤外線検出器とを有することを特徴とする装置。
  2. 請求項1記載の装置において、前記モザイク光学カラーフィルタアレイは前記少なくとも5つのスペクトルバンドを有する複数の反復単位セルを有し、前記複数の反復単位セルはスペクトル一貫性および空間均一性を確実にし、前記複数の反復単位セルの各反復単位セルは最小焦点面周囲長基準および最小周囲長対面積基準を満たし、前記最小周囲長対面積基準は前記最小焦点面周囲長基準の後に満たすものである
    ことを特徴とする装置。
  3. 請求項2記載の装置において、前記少なくとも5つのスペクトルバンドの各スペクトルバンドは複数の空間最近傍と複数の空間第二近傍とを有し、前記少なくとも5つのスペクトルバンドの前記各スペクトルバンドは、前記各スペクトルバンドが前記複数の空間最近傍よりも前記複数の空間第二近傍とより大きい相関関係を有するように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
    ことを特徴とする装置。
  4. 請求項3記載の装置において、前記少なくとも5つのスペクトルバンドの前記各スペクトルバンドは、前記複数の空間最近傍がスペクトル的に隣接しないように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
    ことを特徴とする装置。
  5. 請求項2記載の装置において、前記少なくとも5つのスペクトルバンドはNスペクトルバンドを有し、前記複数の反復単位セルの前記各反復単位セルはMxP単位セルを有し、Mは少なくともNの平方根に等しい最小整数であり、Pは少なくともN/Mに等しい最小整数である
    ことを特徴とする装置。
  6. 請求項2記載の装置において、前記複数の反復単位セルの前記各反復単位セルは、前記少なくとも5つのスペクトルバンドの各スペクトルバンドに、少なくとも1つの画素を有するものである
    ことを特徴とする装置。
  7. 請求項1記載の装置において、前記モザイク光学カラーフィルタアレイは、前記短波長赤外線検出器に固定されているか、前記短波長赤外線検出器から少し離れた距離に配置されているかのいずれかである
    ことを特徴とする装置。
  8. 請求項1記載の装置において、前記短波長赤外線検出器は、焦点面アレイと線形検出器アレイとのうち1つを有するものである
    ことを特徴とする装置。
  9. 請求項2記載の装置において、前記少なくとも5つのスペクトルバンドは、大気吸収の影響を受けていないものである
    ことを特徴とする装置。
  10. 請求項1記載の装置において、前記短波長赤外線検出器は1100nmと1700nmとの間の波長の光に敏感である
    ことを特徴とする装置。
  11. 装置であって、
    スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有するモザイク光学カラーフィルタアレイであって、前記複数の反復単位セルの各反復単位セルは最小焦点面周囲長基準と最小周囲長対面積基準とを満たし、前記最小周囲長対面積基準は前記最小焦点面周囲長基準の後で満たすモザイク光学カラーフィルタアレイと、
    前記モザイク光学カラーフィルタアレイに光学的に連結している短波長赤外線検出器と
    を有することを特徴とする装置。
  12. 請求項11記載の装置において、前記モザイク光学カラーフィルタアレイは少なくとも5つのスペクトルバンドを有し、前記複数の反復単位セルは前記少なくとも5つのスペクトルバンドを有するものである
    ことを特徴とする装置。
  13. 請求項12記載の装置において、前記少なくとも5つのスペクトルバンドの各スペクトルバンドは複数の空間最近傍と複数の空間第二近傍とを有し、前記少なくとも5つのスペクトルバンドの前記各スペクトルバンドは、前記各スペクトルバンドが前記複数の空間最近傍よりも前記複数の空間第二近傍とより大きい相関関係を有するように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
    ことを特徴とする装置。
  14. 請求項13記載の装置において、前記各スペクトルバンドが前記複数の空間最近傍よりも前記複数の空間第二近傍とより大きい相関関係を有するように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
    ことを特徴とする装置。
  15. 請求項12記載の装置において、前記少なくとも5つのスペクトルバンドはNスペクトルバンドを有し、前記複数の反復単位セルの前記各反復単位セルはMxP単位セルを有し、Mは少なくともNの平方根に等しい最小整数であり、Pは少なくともN/Mに等しい最小整数である
    ことを特徴とする装置。
  16. 請求項12記載の装置において、前記複数の反復単位セルの前記各反復単位セルは、前記少なくとも5つのスペクトルバンドの各スペクトルバンドに、少なくとも1つの画素を有するものである
    ことを特徴とする装置。
  17. 請求項11記載の装置において、前記モザイク光学カラーフィルタアレイは、前記短波長赤外線検出器に固定されているか、前記短波長赤外線検出器から少し離れた距離に配置されているかのいずれかである
    ことを特徴とする装置。
  18. 請求項11記載の装置において、前記短波長赤外線検出器は、焦点面アレイと線形検出器アレイとのうち1つを有するものである
    ことを特徴とする装置。
  19. 請求項12記載の装置において、前記少なくとも5つのスペクトルバンドは、大気吸収の影響を受けていないものである
    ことを特徴とする装置。
  20. 請求項11記載の装置において、前記短波長赤外線検出器は1100nmと1700nmとの間の波長の光に敏感である
    ことを特徴とする装置。
  21. 装置であって、
    スペクトル一貫性および空間均一性を確実にする複数の反復単位セルを有するモザイク光学カラーフィルタアレイであって、前記複数の反復単位セルの各反復単位セルは最小焦点面周囲長基準と最小周囲長対面積基準とを満たし、前記最小焦点面周囲長対面積基準は前記最小焦点面周囲長基準の後で満たし、前記モザイク光学カラーフィルタアレイは少なくとも6つのスペクトルバンドを有し、前記複数の反復単位セルは前記少なくとも6つのスペクトルバンドを有するモザイク光学カラーフィルタアレイと、
    前記モザイク光学カラーフィルタアレイに光学的に連結している可視波長検出器と
    を有することを特徴とする装置。
  22. 請求項21記載の装置において、前記少なくとも6つのスペクトルバンドの各スペクトルバンドは複数の空間最近傍と複数の空間第二近傍とを有し、前記少なくとも6つのスペクトルバンドの前記各スペクトルバンドは、前記各スペクトルバンドが前記複数の空間最近傍よりも前記複数の空間第二近傍とより大きい相関関係を有するように、前記モザイク光学カラーフィルタアレイ上に配置されているものである
    ことを特徴とする装置。
  23. 装置であって、
    スペクトル一貫性および空間均一性を実施する複数の反復単位セルを有するモザイク光学カラーフィルタアレイであって、前記複数の反復単位セルの各反復単位セルは近傍バンド間相関関係基準を満たし、前記モザイク光学カラーフィルタアレイは少なくとも6つのスペクトルバンドを有し、前記複数の反復単位セルは前記少なくとも6つのスペクトルバンドを有するモザイク光学カラーフィルタアレイと、
    前記モザイク光学カラーフィルタアレイに光学的に連結している可視波長検出器と
    を有することを特徴とする装置。
  24. 請求項22記載の装置において、前記最小最近傍バンド間相関関係基準は、前記各反復単位セル内で第二近傍の方が最近傍よりも密接に相互関連していることを保証することを有するものである
    ことを特徴とする装置。
JP2017514338A 2014-09-13 2015-09-11 マルチバンド短波長赤外線モザイクアレイフィルタ Pending JP2017535747A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462050117P 2014-09-13 2014-09-13
US62/050,117 2014-09-13
PCT/US2015/049608 WO2016040755A1 (en) 2014-09-13 2015-09-11 Multiple band short wave infrared mosaic array filter

Publications (1)

Publication Number Publication Date
JP2017535747A true JP2017535747A (ja) 2017-11-30

Family

ID=55454565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017514338A Pending JP2017535747A (ja) 2014-09-13 2015-09-11 マルチバンド短波長赤外線モザイクアレイフィルタ

Country Status (5)

Country Link
US (1) US10139531B2 (ja)
EP (1) EP3192242A4 (ja)
JP (1) JP2017535747A (ja)
KR (1) KR20170054418A (ja)
WO (1) WO2016040755A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018108809B4 (de) * 2018-04-13 2020-02-06 Hensoldt Optronics Gmbh Kamerasystem

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5504717A (en) * 1994-05-27 1996-04-02 Alliant Techsystems Inc. System for effective control of urban environment security
US5600732A (en) * 1994-12-08 1997-02-04 Banctec, Inc. Document image analysis method
US6638668B2 (en) 2000-05-12 2003-10-28 Ocean Optics, Inc. Method for making monolithic patterned dichroic filter detector arrays for spectroscopic imaging
US20060055800A1 (en) * 2002-12-18 2006-03-16 Noble Device Technologies Corp. Adaptive solid state image sensor
US20090136154A1 (en) * 2003-07-24 2009-05-28 Bocko Mark F System and method for image sensing and processing
KR101081000B1 (ko) * 2003-10-23 2011-11-09 소니 가부시키가이샤 화상 처리 장치 및 화상 처리 방법과 기록 매체
US7648808B2 (en) 2004-01-12 2010-01-19 Ocean Thin Films, Inc. Patterned coated dichroic filter
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070145273A1 (en) * 2005-12-22 2007-06-28 Chang Edward T High-sensitivity infrared color camera
EP2143141A4 (en) * 2007-04-18 2011-04-13 Invisage Technologies Inc MATERIAL SYSTEMS AND METHOD FOR OPTOELECTRONIC ARRANGEMENTS
US9197805B2 (en) * 2013-02-11 2015-11-24 The Board Of Trustees Of The Leland Stanford Junior University Digital multiplexing readout for sparse signals on imaging arrays

Also Published As

Publication number Publication date
US10139531B2 (en) 2018-11-27
EP3192242A1 (en) 2017-07-19
KR20170054418A (ko) 2017-05-17
WO2016040755A1 (en) 2016-03-17
EP3192242A4 (en) 2018-07-18
US20160077253A1 (en) 2016-03-17
WO2016040755A8 (en) 2017-02-09

Similar Documents

Publication Publication Date Title
US7433042B1 (en) Spatially corrected full-cubed hyperspectral imager
US7242478B1 (en) Spatially corrected full-cubed hyperspectral imager
US8687073B2 (en) Multi-channel imaging devices
US8149400B2 (en) Coded aperture snapshot spectral imager and method therefor
US11935148B2 (en) Apparatus and method of acquiring image by employing color separation lens array
EP3830551B1 (en) A hybrid spectral imager
CN103579268B (zh) 具有色彩滤光器的分割图像传感器的透镜阵列
US8970740B2 (en) Overlap patterns and image stitching for multiple-detector compressive-sensing camera
US8143565B2 (en) Adjustable multimode lightfield imaging system having an actuator for changing position of a non-homogeneous filter module relative to an image-forming optical module
US10072970B1 (en) Hyperspectral notch filter imaging
US8600227B2 (en) Multi-filter array for a multi-resolution, multi-spectral camera
JP6348271B2 (ja) 混合材マルチスペクトル・スターリングアレイセンサ
US20160037089A1 (en) Multi-band thermal imaging sensor with integrated filter array
US7109488B2 (en) Multi-color infrared imaging device
CN109863602A (zh) 具有增强的广角性能的图像传感器
KR20220063575A (ko) 색분리 렌즈 어레이를 적용한 영상 획득 장치 및 방법
CN117321394A (zh) 基于多路照明的高精度快照多光谱成像系统和方法
Qi et al. A hand-held mosaicked multispectral imaging device for early stage pressure ulcer detection
JP2017535747A (ja) マルチバンド短波長赤外線モザイクアレイフィルタ
CN114287127A (zh) 一种滤光阵列、移动终端以及设备
US9110293B2 (en) Prismatic image replication for obtaining color data from a monochrome detector array
Berkner et al. Optimization of spectrally coded mask for multi-modal plenoptic camera
CN114325908B (zh) 一种可见/近红外波段多模式微纳光栅阵列排布结构
US20240080577A1 (en) Image acquisition apparatus and method using color separation lens array
Mouroulis et al. Optical design for high-fidelity imaging spectrometry