JP2016170180A - インタリーブされた画像によるマルチイメージングシステム - Google Patents

インタリーブされた画像によるマルチイメージングシステム Download PDF

Info

Publication number
JP2016170180A
JP2016170180A JP2016128255A JP2016128255A JP2016170180A JP 2016170180 A JP2016170180 A JP 2016170180A JP 2016128255 A JP2016128255 A JP 2016128255A JP 2016128255 A JP2016128255 A JP 2016128255A JP 2016170180 A JP2016170180 A JP 2016170180A
Authority
JP
Japan
Prior art keywords
filter
imaging apparatus
different
optical system
filter assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016128255A
Other languages
English (en)
Inventor
バークナー キャサリン
Barkner Catherine
バークナー キャサリン
ベネット キース
Bennett Keith
ベネット キース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2016170180A publication Critical patent/JP2016170180A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/30Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36Investigating two or more bands of a spectrum by separate detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

【課題】マルチスペクトル及び偏光画像形成システムを含めて、良好な複数の画像形成システムを提供する。
【解決手段】マルチイメージング装置は、多重化された光学系及びフィルタフィクスチャを含む。多重化された光学系は、被写体の複数の光画像を形成する。これら複数の光画像は、センサ平面でインタリーブされる。フィルタフィクスチャにより、ユーザはフィルタアセンブリを変えることができる。フィルタアセンブリは、複数の光画像に異なるフィルタリングを適用する異なるフィルタ領域を含む。
【選択図】図1A

Description

本発明は、例えば異なるスペクトル又は偏光成分からなる被写体の画像といった、同じ被写体の複数の画像を同時に捕捉することができる画像形成システムに関する。
同じ被写体の複数の画像を同時に捕捉するために有効な多数の応用が存在する。これらの画像は、異なるやり方でフィルタリングされ、従って被写体に関する異なる情報を提供する。例えば、マルチスペクトル及びハイパースペクトルシステムにおいて、スペクトル情報を取得するために異なる波長のフィルタが使用され、この情報は、次いで、スペクトル分析、物質の識別、或いは微粒子又は蛍光色素分子でラベル付けされた他のアイテムの測定のために使用される。
大部分の市販されているセンサアレイは、一度に1つの画像を捕捉するために設計されているので、これら複数の画像を取得することは困難なことがある。従来、複数の画像は(例えば時間的に次々に画像を捕捉する)時間多重により取得されるか、又は2以上の画像形成システム又は検出器アレイを並列に使用することで取得されていた。
例えば、スペクトル画像形成の応用は、フィルタホイールと接続して単一のカメラを使用する。フィルタホイールは、関心のある波長帯域に対応する波長フィルタを含む。常に、画像形成経路において唯一の波長フィルタが位置され、カメラは、フィルタリングされた画像を捕捉する。フィルタホイールは、ある波長フィルタから次の波長フィルタに切り替えるために回転し、カメラは次々に画像を捕捉する。従って、マルチスペクトル画像形成は、時間多重された方式で実現される。しかし、結果として得られるシステムは、大型化且つ複雑化する。
代替のアプローチは、プリズム又は回折格子のような分散素子に基づいている。このアプローチでは、分散素子は、異なる波長を空間的に分離するために使用される。光は、検出器アレイの1つの次元に沿って典型的に分散される。他の次元は、被写体の第一の空間的な次元を捕捉するために使用される。しかし、被写体の第二の空間的な次元をも捕捉することが困難である。あるとき、例えばスキャニングにより、第二の空間的な次元を捕捉するために時間多重化が導入された。
更に別のアプローチは、複数のカメラ又は画像形成システムを並列に使用することである。それぞれのカメラには、異なるスペクトルフィルタが設けられ、カメラのバンクは、フィルタリングされた画像を同時に捕捉する。しかし、これは、必要とされるハードウェアの量が著しく増加するために、全体のコスト及び複雑度を増加させる。さらに、大きいカメラシステムは、視差の問題を導入する。
幾つかの応用について、それぞれのセンサエレメントにフィルタを個別に取り付けることが可能である。例えば、従来のRGB画像形成装置は、検出器アレイに基づいており、赤、緑及び青のフィルタは、それぞれ個々の検出器に取り付けられる。Bayerパターンは、検出器アレイにこれらのマイクロフィルタを配置するために1つの一般的なパターンである。しかし、このアプローチの1つの問題点は、製造に関するコスト及び複雑度の増加である。マイクロフィルタと検出器との間には1対1の対応関係があり、マイクロフィルタは検出器に取り付けられているため、マイクロフィルタは、検出器と同じサイズであり、このサイズは小さい。多くの異なる小さなマイクロフィルタがアレイに配置され、基礎となる検出器と揃えられる必要がある。これは、特に多数の異なるタイプのマイクロフィルタが必要とされる場合には困難である。別の問題点は、柔軟性のなさである。ひとたびマイクロフィルタアレイが検出器アレイに取り付けられると、マイクロフィルタアレイを変えることは困難である。
従って、マルチスペクトル及び偏光画像形成システムを含めて、良好な複数の画像形成システムが必要とされている。
本発明は、多重化された光学系とフィルタフィクスチャ(治具)を含むマルチイメージング装置を提供することで、従来技術の制限を克服する。多重化された光学系は、被写体の複数の光画像を形成する。これら複数の光画像は、センサ平面でインタリーブされる。フィルタフィクスチャにより、ユーザは、フィルタアセンブリを変えることができる。フィルタアセンブリは、異なるフィルタリングを光画像に適用する異なるフィルタ領域を含む。
1実施の形態では、多重化された光学系は、対物レンズ及び画像を形成する素子のアレイを含む。対物レンズは、画像平面で画像を形成する。アレイは、画像平面に位置され、フィルタアセンブリをセンサ平面に画像形成する。すなわち、フィルタアセンブリ及びフィルタフィクスチャは、(たとえば光学系の開口絞り又はテレセントリック絞りで)光学系について開口平面でもある、センサ平面に対する共役面で位置される。このように、複数のインタリーブされた光画像は、センサ平面で生成される。
異なるタイプのフィルタアセンブリを使用することができる。1つの例では、フィルタアセンブリは、フィルタ領域の(矩形の)アレイをもつ空間的に多重化されたフィルタアセンブリである。幾つかの変形例では、ユーザは、フィルタアセンブリにおける少なくとも1つのフィルタアセンブリのサイズを調整するか、又は2つのフィルタ領域間の相対的なサイズを調整することができる。別のアプローチでは、ユーザは、フィルタアセンブリにおける少なくとも1つのフィルタ領域を異なるフィルタ領域で物理的に置き換えることができる。フィルタ領域は、波長、偏光、輝度、及び中性密度を含めて、異なる応答を有するように設計される。
応用の例は、顕微鏡、科学的且つ解析的な機器、環境センシング及び医療画像形成光学系を含む。
本発明の他の態様は、上述された装置及びシステムに対応する方法を含む。
本発明は、添付図面と共に読まれたとき、本発明の以下の詳細な説明及び特許請求の範囲から明らかとなる他の利点及び特徴を有する。
本発明に係るマルチイメージング装置の例を示す図である。 本発明に係るマルチイメージング装置の例を示す図である。 フィルタアセンブリのセットの図である。 フィルタ領域を変えることができるフィルタアセンブリの図である。 フィルタ領域のサイズを調節することができるフィルタアセンブリの図である。 本発明に係る例となる多重化された光学系の図である。 本発明に係る別の多重化された光学系の図である。 図面は、例示することのみのため、本発明の実施の形態を示す。当業者であれば、本明細書で例示される構造及び方法の代替となる実施の形態は本明細書で記載された本発明の原理から逸脱することなしに採用されることを以下に記載から容易に認識されるであろう。
図1Aは、本発明のマルチイメージング装置の例を示す。図1Aを参照して、本装置は、被写体150の複数の光画像170A〜Dを形成する多重化された光学系110を含む。複数の光画像170A〜Dは、センサ平面SPで形成され、これら複数の光画像は、以下に更に詳細に説明されるように、インタリーブされる。センサ平面に位置されるセンサアセンブリ180は、光画像170A〜Dを検出する。フィルタフィクスチャ120は、センサ平面SPの共役面SP’で位置される。フィルタフィクスチャは、フィルタアセンブリ125を保持する。この例では、フィルタアセンブリは、空間的に多重化され、図1Aの下部に示されるように、異なるフィルタ領域125A〜Dの矩形アレイを含む。
図1Aの下部は、更なる詳細を提供する。この図では、被写体150は、1−9でラベル付けされる、3×3の領域のアレイに分割される。フィルタアセンブリ125は、A〜Dでラベル付けされる、4つのフィルタ領域からなる2×2の矩形アレイである。例えば、それぞれのフィルタ領域125A〜Dは、異なるスペクトル応答を有する。センサアレイ180は、6×6矩形アレイとして示される。
図1Bは、異なる光画像170A〜Dがセンサアレイ180でどのように生成及びインタリーブされるかを概念的に例示する。被写体150は、フィルタ領域125Aにより捕捉及びフィルタリングされた場合、光画像155Aを生成する。光画像155Aを被写体のフィルタリングされていない画像と区別するため、3×3の領域は、添え字Aにより1A〜9Aとラベル付けされる。同様に、フィルタ領域125B,C及びDによりフィルタリングされた画像150は、1B〜9B,1C〜9C及び1D〜9Dとラベル付けされた3×3領域をもつ対応する光画像155B,155C及び155Dを生成する。これら4つの光画像155A〜Dのそれぞれは、フィルタアセンブリ125内の異なるフィルタ領域125A〜Dによりフィルタリングされるが、多重化された光学系100により全て同時に生成される。
4つの光画像155A〜Dは、図1Bに示されるように、センサ平面でインタリーブされた様式で形成される。例として画像155Aを使用して、光画像155Aの3×3領域は、光画像170における3×3ブロックにおいて隣接していない。むしろ、4つの異なる光画像からの領域1A,1B,1C及び1Dは、左上の光画像170において2×2の様式で配列される。領域2〜9は、同様に配列される。従って、光画像170Aを構成する領域1A〜9Aは、他の光画像170B〜Dの部分により分離される、合成光画像170にわたり広がる。別の表現をすると、センサが個々のセンサ素子からなる矩形アレイである場合、全体のアレイは、センサ素子からなる矩形サブアレイ171(1)〜(9)に分割される(唯一のサブアレイ171(1)が図1Bに示される)。それぞれの領域1〜9について、それぞれのフィルタリングされた画像からの全ての対応する領域は、サブアレイに画像形成される。例えば、領域1A,1B,1C及び1Dは、サブアレイ171(1)に全て画像形成される。
なお、図1に示されるアレイは、基本概念を例示するために簡略化されている。たとえば、被写体150は、全体の画像形成機能をより簡単に説明するため、人為的にアレイに分割されている。本発明は、配列される被写体に限定されない。別の例として、最も実用的なシステムは、特にセンサアセンブリで、おそらくフィルタアセンブリで、かなり大型のアレイを使用する。さらに、センサ平面での6×6領域とセンサアレイにおける基礎となるセンサ素子との間で1:1の関係が必要ではない。それぞれの領域は、たとえば複数のセンサ素子に対応する。最後の例として、被写体において1でラベル付けされた領域、フィルタリングされた画像155Aにおいて1Aでラベル付けされた領域、及び合成画像170において1Aでラベル付けされた領域は、互いに正確な画像である必要がない。幾つかの設計では、画像170における領域1Aは、被写体150における領域1から近似的にフィルタリングされたエネルギーを捕捉するが、実際には領域1の画像ではない。従って、画像170の領域1Aにおけるセンサエレメントにより収集されるエネルギーは、その領域の画像の幾何学的な再現を表すのではなく、被写体150における領域1における画像を積分及びサンプリングする。さらに、視差及び口径食のような作用は、画像の形成に影響を及ぼす。
図1に示されるアプローチは、幾つかの利点を有する。第一に、複数の光画像170A〜Dは、センサ平面で同時に捕捉される。第二に、捕捉された画像は、フィルタアセンブリ125によりフィルタリングされ、フィルタアセンブリ125における様々なフィルタ領域125A〜Dは、異なるフィルタリング機能を実現する。さらに、フィルタアセンブリを保持するフィルタフィクスチャ120は、フィルタアセンブリ125がユーザにより容易に変えることができるように設計される。このように、ユーザは、フィルタリング機能を容易に変えることができる。さらに、フィルタアセンブリ125は、実際のセンサ平面SPではなく、共役面SP’に位置され、これは、フィルタアセンブリがセンサ平面で要求されるものに比較して非常に大きいことを意味するので、許容誤差及び他の機械的な要件が緩和される。これにより、(例えばセンサアセンブリに取り付けられる場合といった)フィルタアセンブリがセンサ平面に位置される場合に比べて、フィルタアセンブリを操作するのが容易になる。
図2〜図4は、フィルタアセンブリの様々な設計を例示する。図2では、ユーザは、6つのフィルタアセンブリのセットを有し、それぞれのフィルタアセンブリは、フィルタフィクスチャに挿入される。この例では、それぞれのフィルタアセンブリは、フィルタ領域の矩形のアレイに基づいており、それぞれのフィルタ領域は、同じであるか又は異なる場合がある。異なる文字A,B及びC等は、異なるフィルタ領域を表す。フィルタアセンブリは、特別注文のアイテム又は在庫があってすぐに入手可能なアイテムである場合がある。フィルタは、たとえば薄膜干渉、ガラス又はプラスティック吸収、又はサブ波長光構造を含む様々な技術を使用して製造される場合がある。個々のフィルタ領域は、特別注文の又は在庫があってすぐに入手可能な場合がある。このアプローチは、以下を含む様々な応用にとって有効である。
1)分光法による材料の検出。それぞれのフィルタアセンブリは、異なる材料又は材料のグループのスペクトルプロファイル(例えば吸収、放出又はラマン)に対応し、1つのフィルタアセンブリにおけるフィルタ領域のセットは、特別の材料又は材料のグループを識別するために設計される。
(2)分光法による材料の検出。それぞれのフィルタアセンブリは、幾つかの背景の分光的特徴に埋め込まれる異なる材料のスペクトルプロファイルに対応する。1つのフィルタアセンブリにおけるフィルタ領域のセットは、その材料の分光的特徴及び背景の分光的特徴に依存する。
(3)分光法による材料の分類。それぞれのフィルタアセンブリは、2以上の異なる材料のスペクトルプロファイルに対応し、1つのフィルタアセンブリにおけるフィルタ領域のセットは、材料のセットの分光的特徴に依存する。例となる応用は、酸素化された血液又は非酸素化された血液の分類、薬剤の成分の空間分布、又は光学的にラベル付けされた微粒子又は着色した材料の識別を含む。
(4)蛍光色素分子又は発色団によりラベル付けされた微粒子の識別。たんぱく質又はDNA/RNAシーケンスのような特定の分子のラベル付けは、特異性及び感度で係る分子を光学的に検出するのを可能にする広く使用されている方法である。例えば、この方法は、顕微鏡法、免疫組織化学(IHC)及びFISH(Fluorescene In Situ Hybridization)対外診断法及び遺伝子配列のような病理学を含む生体研究において広く使用されている。上記方法(1)〜(3)の何れかは、ラベリング方法と組み合わせて使用される場合がある。
(5)RGB画像形成+材料検出。それぞれのフィルタアセンブリは、RGB画像形成を同時に可能にする一方で、異なる蛍光色素分子の検出に対応する。1つのフィルタアセンブリにおけるフィルタ領域のセットは、写真画像形成のRGBフィルタ及び画像形成される材料の蛍光信号に依存する。例となる応用は、内視鏡、顕微鏡法、解剖組織構造を示すために又は手術の間に使用されるヘマトキシリン及びエオシン(H&E)のような、染色剤に加えて、関心のある特定の成分をラベル付けするために蛍光色素分子が使用される組織学を含む。
(6)RGB画像形成+ハイダイナミックレンジの画像形成。それぞれのフィルタアセンブリは、異なる照明条件でのRGB画像形成に対応する。1つのフィルタアセンブリにおけるフィルタ領域のセットは、写真画像形成のRGBフィルタ及び照明条件に依存する中性密度フィルタに依存する。
(7)RGB画像形成+表面状態の検出。それぞれのフィルタアセンブリは、RGB画像形成を同時に可能にしつつ、異なる材料の表面状態の検出に対応する。1つのフィルタアセンブリにおけるフィルタ領域のセットは、写真画像形成のRGBフィルタ及び表面状態に依存する偏光フィルタに依存する。
(8)RGB画像形成から発行画像形成への切り替え。フィルタは取り外し可能が可能であるので、この実現により、カメラは、RGB(又はフィルタの任意のセット)から例えばモノクロ画像形成に切り替えることができる。特定の応用は、顕微鏡法画像形成であり、この場合、研究者は、生体研究において一般に行われているように、幾つかの画像について色を考慮し、特定のスペクトル選択による他の画像を考慮しないことを望む。このタイプの応用向けに設計された調節されたスペクトルフィルタは、Woburn, MAのCambridge Research & Instrumentation, Inc. (CRi)から入手可能である。
(9)材料検出+ハイダイナミックレンジの画像形成。それぞれのフィルタアセンブリは、異なる照明条件での異なる材料に対応する。1つのフィルタアセンブリにおけるフィルタ領域のセットは、材料の分光学的特徴及び照明条件に依存する中性密度フィルタに依存する。応用は、農業のモニタリングを含み、この場合、1日の異なる時間で植物がフィールドで検査される。
(10)拡大されたダイナミックレンジ。それぞれのフィルタアセンブリは、フィルタが設けられていない1以上のフィルタセクションを有するが、中性密度又は他の減衰フィルタが設けられた他のフィルタセクションを有する場合がある。この方法は、拡大されたダイナミックレンジをもつカメラを作成するために使用され、センサアレイにおける個々の画素のコントラストよりも高いコントラストを持つ被写体の画像を撮影するために有効である。
図3では、異なるフィルタ領域がフィルタアセンブリに組み当てられるが、フィルタアセンブリは、ユーザがフィルタ領域の一部又は全部を置き換えるように設計される。左で、フィルタアセンブリは、領域A,B,C及びDを含む。中央で、フィルタ領域Bは、除かれている。右で、フィルタ領域Bは、フィルタ領域Eにより置き換えられている。これは、ユーザにより手動的に行われるか、自動的に行われるように設計される。
このアプローチは、例として、以下の状況で有効である。RGB画像形成+材料検出では、RGBフィルタのフィルタ領域は、現在の状態にとどまり、材料検出のフィルタ領域は、異なる材料を検出するために変わる。この場合、RGBフィルタは、フィルタアセンブリのベースセットを形成する。RGB画像形成又は材料検出+ハイダイナミックレンジの画像形成では、中性密度のフィルタのフィルタ領域は、異なる照明条件に対処するために変わる。分光法による材料の検出では、フィルタのベースセットが存在し、異なる材料又は蛍光色素分子について、それらベースフィルタの異なる組み合わせが使用される。基準となる特徴を持つ応用では、材料の基準となる特徴に依存する幾つかのフィルタが存在する。(例えば共通するバックグランド又はコンポーネントをもつ異なる分光的特徴の場合といった)基準となる特徴に関する情報を測定するために、更なるフィルタが交換される。
図4では、ユーザは、異なるフィルタ領域のサイズを変えることができる。この例では、フィルタ領域A及びB並びに、それらの間の境界は、図示されるように左及び右にスライドされる。左の図では、A及びBは等しい領域を有する。右の図では、AがBよりも少ない領域を有するように境界が変化される。これは、2つのフィルタ領域間の領域の割合を変える。所定の応用について等しい領域が望まれる。他の応用は、例えば等しい信号対雑音比を達成するか又は異なる感度を考慮するため、等しくない領域からの利益を受ける。
1つの例は、可視の背景における赤外線の蛍光色素分子の画像形成である。蛍光灯の強度は、可視の強度よりも一般に非常に弱い。異なるスペクトル重みをもつフィルタを使用することで(すなわち蛍光波長の大きな領域及びRGB部分の小さな領域)、画質が改善される。特定の応用は、可視画像を見て、蛍光像と共に位置の基準を提供して特定の生物物理学の情報(例えばガンの存在の有無)を提供することが通常望まれるような、蛍光染料又は造影剤を使用した手術中の画像形成である。
図2〜図4は例に過ぎない。先の例の他の変形例及び組み合わせが明らかであろう。さらに、先の例のそれぞれは、一度に1つのフィルタアセンブリを使用する。フィルタフィクスチャは、1を超えるフィルタアセンブリを保持するために設計される。波長、偏光、中性密度、輝度及び中性密度のフィルタの異なる組み合わせを使用することができる。
図5は、本発明に係る、例となる多重化された光学系510の図である。本システム510は、対物レンズ512及び画像を形成する素子515のアレイ514を含む。対物レンズ512は、図5における単一のエレメントとして示されているが、複数のエレメントを含むことができることを理解されたい。対物レンズ512は、画像平面IPで被写体150の光画像555を形成する。アレイ514は、画像平面で位置され、センサ平面SPでインタリーブされた複数の光画像570を形成する。アレイ514の例は、マイクロレンズアレイ及びピンホールのアレイを含む。また、センサアレイ180は、図5に示される。
この例では、フィルタフィクスチャ120及びフィルタアセンブリ125は、共役面SP’に位置され、この例では、共役面は、開口絞り(又はテレセントリック絞り)が位置される平面でもある。図5では、フィルタアセンブリ125は、対物レンズ512の前面(すなわち被写体に最も近い表面)と画像平面IPとの間に位置される。
フィルタアセンブリ125及びセンサアセンブリ180は共役面に位置されるので、アレイ514におけるそれぞれの画像形成素子515は、センサ平面SPでフィルタアセンブリ125の画像を形成する。複数の画像形成素子が存在するので、フィルタアセンブリ125の複数の画像が形成される。図1Bを参照して、図5におけるサブアレイ582は、図1Bにおけるサブアレイ171、図5における領域570A〜Dは、図1Bにおける複数の画像170の領域1A〜Dに対応する。図5におけるそれぞれの領域570A〜Dは、被写体の特定の領域及びフィルタアセンブリにおける特定の領域125A〜Dに対応する。
図6は、テレセントリック光学系の例を示す。この例では、テレセントリック対物レンズ612は、画像平面IPで光画像655を形成する。フィルタフィクスチャ120及びフィルタアセンブリ125は、平面SP’で、テレセントリック絞りに位置される。画像形成素子のアレイ614は、画像平面IPに位置される。これら画像形成素子は、フィルタアセンブリ125を、センサ平面SPに位置されるセンサアセンブリ180に画像形成する。従って、テレセントリック絞りとフィルタアセンブリ125は、共役面SP’に位置される。
このタイプの実現は、例として顕微鏡を含むテレセントリック光学系の応用で使用される。顕微鏡の応用では、フィルタフィクスチャは、好ましくは、顕微鏡の「無限セクション」におけるテレセントリック絞りで位置される。他の応用は、テレセントリック光学系であるか否かを問わず、例えば医療画像形成システムを含む。
詳細な説明は多くの詳細を含むが、これらの詳細は、本発明の範囲を限定するものとして解釈されるべきではなく、本発明の異なる例及び態様を例示するものである。本発明の範囲は詳細に説明されない他の実施の形態を含むことを理解されたい。
たとえば、多くのタイプのフィルタアレイを実現することができ、フィルタリングは、システムにおける他のポイントで実現することもできる。例えば、本発明は、センサアレイをもつ従来のマイクロフィルタの使用を妨げない。反射型及び反射屈折型のシステムを含めて、様々なタイプの光学系を使用することもできる。最後に、「光“light”」及び「光学の“optical”」は、電磁スペクトルの可視又は単なる光領域に限定されることを意味するものではなく、(限定されるものではないが)紫外線及び赤外線のような領域をも含むことを意味する。
当業者にとって明らかな様々な他の変更、変形及びバリエーションは、特許請求の範囲に定義される本発明の精神及び範囲から逸脱することなしに、本明細書で開示された本発明の方法及び装置の構成、動作及び詳細において行われる場合がある。従って、本発明の範囲は、特許請求の範囲及びそれらの適法な等価な概念により決定されるべきである。
110:多重化された光学系
150:被写体
120:フィルタフィクスチャ
125:フィルタ
155A〜D:光画像
170A〜D:光画像
180:センサアレイ

Claims (20)

  1. 被写体の複数の画像を捕捉するマルチイメージング装置であって、
    被写体の複数の光画像を同時にセンサ平面に形成する多重化された光学系と、前記複数の光画像は、前記センサ平面でインタリーブされており、
    前記センサ平面に対する共役面に位置され、当該マルチイメージング装置のユーザが、異なるフィルタアセンブリをフィルタフィクスチャに前記共役面に沿って挿入するのを可能にするフィルタフィクスチャとを備え、
    前記多重化された光学系にとって適切なサイズ及び位置の異なるフィルタ領域と空間的に多重化されるフィルタアセンブリについて、前記フィルタフィクスチャは、異なる光画像が前記センサ平面に到達する前に前記フィルタアセンブリの異なるフィルタ領域によりフィルタリングされるように、挿入されたフィルタアセンブリを位置合わせし、
    前記フィルタアセンブリの中の少なくとも1つのフィルタ領域のフィルタ種類は、前記フィルタアセンブリの中の別のフィルタ領域のフィルタ種類と異なる、
    ことを特徴とするマルチイメージング装置。
  2. 前記多重化された光学系は、第一の画像平面で前記被写体の単一の画像を形成する対物レンズを含み、
    前記フィルタフィクスチャは、前記対物レンズの前面と前記第一の画像平面との間で位置合わせされる、
    請求項1記載のマルチイメージング装置。
  3. 前記多重化された光学系は、テレセントリック光学系であり、
    前記フィルタフィクスチャは、前記多重化された光学系のテレセントリック絞りで位置合わせされる、
    請求項2記載のマルチイメージング装置。
  4. 前記フィルタフィクスチャは、前記多重化された光学系の開口絞りで位置される、
    請求項2記載のマルチイメージング装置。
  5. 前記フィルタフィクスチャは、2以上のフィルタアセンブリを同時に保持する、
    請求項1記載のマルチイメージング装置。
  6. 前記センサ平面に位置され、センサ素子のアレイを含むセンサアセンブリを更に備え、
    前記センサ素子のアレイは、センサ素子のサブアレイにグループ分けされ、
    前記複数の光画像のそれぞれは、複数の領域に分割され、
    前記複数の光画像のうちの1つのある領域は、前記複数の光画像のうちの他の光画像の何れかの同じ領域と、センサ素子の同じサブアレイで画像形成される、
    請求項1記載のマルチイメージング装置。
  7. 前記フィルタアセンブリは、フィルタ領域の矩形アレイをもつ空間的に多重化されたフィルタアセンブリである、
    請求項6記載のマルチイメージング装置。
  8. 前記フィルタアセンブリにおける少なくとも1つのフィルタ領域のサイズは調節可能である、
    請求項6記載のマルチイメージング装置。
  9. 前記フィルタアセンブリにおける少なくとも1つのフィルタ領域の前記フィルタアセンブリにおける別のフィルタ領域に対する相対的なサイズは調節可能である、
    請求項6記載のマルチイメージング装置。
  10. 前記フィルタアセンブリにおける少なくとも1つのフィルタ領域は、異なるフィルタ領域で置き換えられる、
    請求項6記載のマルチイメージング装置。
  11. 前記フィルタアセンブリは、異なる空間応答をもつフィルタ領域を含む、
    請求項6記載のマルチイメージング装置。
  12. 前記フィルタアセンブリは、異なる偏光応答をもつフィルタ領域を含む、
    請求項6記載のマルチイメージング装置。
  13. 前記フィルタアセンブリは、異なる輝度フィルタをもつフィルタ領域を含む、
    請求項6記載のマルチイメージング装置。
  14. 前記フィルタアセンブリは、異なる中性密度フィルタをもつフィルタ領域を含む、
    請求項6記載のマルチイメージング装置。
  15. 前記多重化された光学系は、顕微鏡の光学系である、
    請求項1記載のマルチイメージング装置。
  16. 前記多重化された光学系は、医用画像形成の光学系である、
    請求項1記載のマルチイメージング装置。
  17. 前記多重化された光学系は、
    前記被写体の単一の画像を第一の画像平面に形成する対物レンズと、
    前記第一の画像平面に位置され、前記センサ平面に前記インタリーブされた複数の光画像を形成する画像形成素子のアレイと、
    を有する請求項1記載のマルチイメージング装置。
  18. 前記画像形成素子のアレイは、ピンホールのアレイ又はマイクロレンズのアレイを含む、
    請求項17記載のマルチイメージング装置。
  19. 前記異なるフィルタアセンブリのサイズ及び許容誤差は、前記共役面に位置する前記フィルタフィクスチャへの前記ユーザによる挿入の間に該異なるフィルタアセンブリの操作を容易にするよう構成される、請求項1に記載のマルチイメージング装置。
  20. 前記フィルタ種類は、i)材料を検出するためのフィルタ、ii)蛍光色素分子又は発色団によりラベル付けされた微粒子を検出するためのフィルタ、iii)RGB画像形成のためのフィルタ、iv)ハイダイナミックレンジの画像形成のためのフィルタ、v)表面状態を検出するためのフィルタ、から選択される、請求項1に記載のマルチイメージング装置。
JP2016128255A 2011-01-17 2016-06-29 インタリーブされた画像によるマルチイメージングシステム Pending JP2016170180A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/007,901 2011-01-17
US13/007,901 US9250131B2 (en) 2011-01-17 2011-01-17 Multi-imaging system with interleaved images

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012006385A Division JP6190096B2 (ja) 2011-01-17 2012-01-16 インターリーブされた画像によるマルチイメージングシステム

Publications (1)

Publication Number Publication Date
JP2016170180A true JP2016170180A (ja) 2016-09-23

Family

ID=45497859

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012006385A Expired - Fee Related JP6190096B2 (ja) 2011-01-17 2012-01-16 インターリーブされた画像によるマルチイメージングシステム
JP2016128255A Pending JP2016170180A (ja) 2011-01-17 2016-06-29 インタリーブされた画像によるマルチイメージングシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012006385A Expired - Fee Related JP6190096B2 (ja) 2011-01-17 2012-01-16 インターリーブされた画像によるマルチイメージングシステム

Country Status (3)

Country Link
US (1) US9250131B2 (ja)
EP (1) EP2477016B1 (ja)
JP (2) JP6190096B2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8949078B2 (en) 2011-03-04 2015-02-03 Ricoh Co., Ltd. Filter modules for aperture-coded, multiplexed imaging systems
EP2536153B1 (en) 2011-04-22 2016-04-13 Panasonic Intellectual Property Management Co., Ltd. Image capture device, image capture system, and image capture method
JP5001471B1 (ja) 2011-04-22 2012-08-15 パナソニック株式会社 撮像装置、撮像システム、及び撮像方法
JP5406383B2 (ja) 2011-06-23 2014-02-05 パナソニック株式会社 撮像装置
US8977002B2 (en) * 2011-07-11 2015-03-10 Bae Systems Information And Electronic Systems Integration Inc. Method of point source target detection for multispectral imaging
WO2013080551A1 (ja) 2011-11-30 2013-06-06 パナソニック株式会社 撮像装置
JP2014089075A (ja) * 2012-10-29 2014-05-15 Ricoh Co Ltd 分光反射率測定システム
US9219866B2 (en) 2013-01-07 2015-12-22 Ricoh Co., Ltd. Dynamic adjustment of multimode lightfield imaging system using exposure condition and filter position
US9565996B2 (en) 2013-01-18 2017-02-14 Ricoh Company, Ltd. Plenoptic otoscope
US10327627B2 (en) 2013-01-18 2019-06-25 Ricoh Company, Ltd. Use of plenoptic otoscope data for aiding medical diagnosis
JP5884021B2 (ja) * 2013-02-13 2016-03-15 パナソニックIpマネジメント株式会社 マルチスペクトル撮像装置およびマルチスペクトル撮像方法
AU2013393870B2 (en) * 2013-07-09 2017-06-29 Halliburton Energy Services, Inc. Integrated computational elements with laterally-distributed spectral filters
WO2015015717A1 (ja) 2013-07-30 2015-02-05 パナソニックIpマネジメント株式会社 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
WO2015021300A1 (en) 2013-08-07 2015-02-12 Wayne State University Hand-held micro-raman based detection instrument and method of detection
US9030580B2 (en) * 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
US9706116B2 (en) * 2013-10-31 2017-07-11 Ricoh Co., Ltd. Plenoptic color imaging system with enhanced resolution
JP6187284B2 (ja) * 2014-01-27 2017-08-30 富士通株式会社 樹脂硬化状態モニタリング装置及び樹脂硬化状態モニタリング方法
JP6260354B2 (ja) * 2014-03-04 2018-01-17 株式会社リコー 撮像装置、調整装置および調整方法
US9525819B2 (en) * 2014-03-07 2016-12-20 Ricoh Company, Ltd. Enhancing spatial resolution of images from light field imaging systems using sub-pixel disparity
US9509893B2 (en) 2014-03-31 2016-11-29 Panasonic Intellectual Property Management Co., Ltd. Imaging device and analyzing apparatus using the imaging device
JP6536877B2 (ja) 2014-07-31 2019-07-03 パナソニックIpマネジメント株式会社 撮像装置および撮像システム
US9661193B2 (en) * 2014-08-01 2017-05-23 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and analyzing apparatus
US10117579B2 (en) 2014-11-14 2018-11-06 Ricoh Company, Ltd. Simultaneous capture of filtered images of the eye
US9883798B2 (en) * 2014-11-14 2018-02-06 Ricoh Company, Ltd. Simultaneous capture of filtered images of the eye
US10098529B2 (en) 2015-10-28 2018-10-16 Ricoh Company, Ltd. Optical design of a light field otoscope
US10296780B2 (en) 2017-03-07 2019-05-21 Ricoh Company, Ltd. Automatic eardrum registration from light field data
US10275644B2 (en) 2017-03-08 2019-04-30 Ricoh Company, Ltd Automatic classification of eardrum shape
WO2019123085A1 (en) * 2017-12-19 2019-06-27 Novartis Ag Imaging multiple parts of the eye
US11698304B2 (en) 2019-02-15 2023-07-11 Wayne State University Apparatuses, systems, and methods for detecting materials based on Raman spectroscopy
WO2021171905A1 (ja) * 2020-02-28 2021-09-02 パナソニックIpマネジメント株式会社 撮像装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60243541A (ja) * 1984-05-17 1985-12-03 Omron Tateisi Electronics Co 試料成分定量装置
JPH0961244A (ja) * 1995-08-29 1997-03-07 Olympus Optical Co Ltd 色分類装置及び色分類方法
WO1999002950A1 (en) * 1997-07-12 1999-01-21 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
JP2004157059A (ja) * 2002-11-08 2004-06-03 Minolta Co Ltd 撮像装置およびレンズ光学系
JP2005331889A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡及び蛍光観察方法
JP2008518229A (ja) * 2004-10-25 2008-05-29 アールピー ベンチャーズ テクノロジー オフィス アーベー マルチスペクトル及びハイパースペクトル撮像を行うシステム
US7433042B1 (en) * 2003-12-05 2008-10-07 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
US20090135282A1 (en) * 2007-11-27 2009-05-28 Commissariat A L'energie Atomique Visible imaging device with a colour filter

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06100532B2 (ja) * 1986-08-25 1994-12-12 浜松ホトニクス株式会社 高空間・時間分解計測装置
JPH06151797A (ja) * 1992-11-11 1994-05-31 Sony Corp 固体撮像素子
JPH08233658A (ja) * 1995-02-24 1996-09-13 Olympus Optical Co Ltd 分光装置及び分光画像記録装置
US6071748A (en) * 1997-07-16 2000-06-06 Ljl Biosystems, Inc. Light detection device
US5982497A (en) 1998-07-09 1999-11-09 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
TW546699B (en) * 2000-02-25 2003-08-11 Nikon Corp Exposure apparatus and exposure method capable of controlling illumination distribution
US6856466B2 (en) 2001-07-05 2005-02-15 Science & Engineering Associates, Inc. Multiple imaging system
JP2006106457A (ja) * 2004-10-07 2006-04-20 Pentax Corp ストロボ撮影が可能なカメラ
WO2007008826A2 (en) * 2005-07-11 2007-01-18 Infotonics Technology Center, Inc. High speed, optically-multiplexed, hyperspectral imagers and methods thereof
EP1941314A4 (en) 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
JP5260919B2 (ja) * 2007-09-05 2013-08-14 浜松ホトニクス株式会社 血液検査装置
JP4905326B2 (ja) * 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
FR2945348B1 (fr) * 2009-05-07 2011-05-13 Thales Sa Procede d'identification d'une scene a partir d'images polarisees multi longueurs d'onde
US8143565B2 (en) * 2009-09-30 2012-03-27 Ricoh Co., Ltd. Adjustable multimode lightfield imaging system having an actuator for changing position of a non-homogeneous filter module relative to an image-forming optical module
US8908087B2 (en) * 2010-11-16 2014-12-09 Nikon Corporation Multiband camera, and multiband image capturing method

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60243541A (ja) * 1984-05-17 1985-12-03 Omron Tateisi Electronics Co 試料成分定量装置
JPH0961244A (ja) * 1995-08-29 1997-03-07 Olympus Optical Co Ltd 色分類装置及び色分類方法
WO1999002950A1 (en) * 1997-07-12 1999-01-21 Optical Insights, Llc Multi-spectral two-dimensional imaging spectrometer
US5926283A (en) * 1997-07-12 1999-07-20 Optical Insights, Llc Multi-spectral two dimensional imaging spectrometer
EP1019686A1 (en) * 1997-07-12 2000-07-19 Optical Insights LLC Multi-spectral two-dimensional imaging spectrometer
JP2001525534A (ja) * 1997-07-12 2001-12-11 オプティカル インサイツ,リミティド ライアビリティー カンパニー 多重スペクトル二次元画像分光計
JP2004157059A (ja) * 2002-11-08 2004-06-03 Minolta Co Ltd 撮像装置およびレンズ光学系
US7433042B1 (en) * 2003-12-05 2008-10-07 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
JP2005331889A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡及び蛍光観察方法
JP2008518229A (ja) * 2004-10-25 2008-05-29 アールピー ベンチャーズ テクノロジー オフィス アーベー マルチスペクトル及びハイパースペクトル撮像を行うシステム
US20090135282A1 (en) * 2007-11-27 2009-05-28 Commissariat A L'energie Atomique Visible imaging device with a colour filter

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ROARKE HORSTMEYER ET AL.: "Flexible Multimodal Camera Using a Light Field Architecture", 2009 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY (ICCP), JPN6017008127, 2009, pages 1 - 8, XP031740275, ISSN: 0003776692 *

Also Published As

Publication number Publication date
US9250131B2 (en) 2016-02-02
JP6190096B2 (ja) 2017-08-30
EP2477016B1 (en) 2018-11-28
US20120182438A1 (en) 2012-07-19
EP2477016A2 (en) 2012-07-18
EP2477016A3 (en) 2015-09-09
JP2012150112A (ja) 2012-08-09

Similar Documents

Publication Publication Date Title
JP6190096B2 (ja) インターリーブされた画像によるマルチイメージングシステム
US11971355B2 (en) Fluorescence observation apparatus and fluorescence observation method
US7046359B2 (en) System and method for dynamic chemical imaging
US7420679B2 (en) Method and apparatus for extended hyperspectral imaging
Favreau et al. Thin-film tunable filters for hyperspectral fluorescence microscopy
US20090218527A1 (en) Confocal Microscopy with a Two-Dimensional Array of Light Emitting Diodes
JP2018504628A (ja) マルチウェル・フーリエ・タイコグラフィー撮像及び蛍光撮像
CA2571473A1 (en) Method and apparatus for dark field chemical imaging
US11041756B2 (en) Method and apparatus of filtering light using a spectrometer enhanced with additional spectral filters with optical analysis of fluorescence and scattered light from particles suspended in a liquid medium using confocal and non confocal illumination and imaging
US20180267290A1 (en) Digital pathology system
CN110114709A (zh) 确定荧光强度的方法和显微镜
CN109073875A (zh) 用于可选择角度地照明的照明模块
US20190227291A1 (en) Fluorescence microscope
WO2006078980A2 (en) Method for raman computer tomography imaging spectroscopy
DE102011055639A1 (de) Verfahren und Vorrichtung zur simultanen Multikanal- und Multimethoden-Akquisition von synchronisierten Parametern in systemübergreifenden Fluoreszenzlebensdaueranwendungen
CN111208106A (zh) 显微镜系统和用显微镜系统检测从样本发射的荧光的方法
JP2022519038A (ja) スペクトル分離
CA3035109C (en) Scanning microscope using a mosaic scan filter
US7701572B2 (en) System and method for chemical imaging of microarrays
WO2021183967A1 (en) High throughput snapshot spectral encoding device for fluorescence spectral microscopy
Frost et al. Monitoring spiking activity of many individual neurons in invertebrate ganglia
Wang et al. A single-shot hyperspectral phasor camera for fast, multi-color fluorescence microscopy
CA2596955A1 (en) Method and apparatus for interactive hyperspectral image subtraction
Frost et al. Use of fast-responding voltage-sensitive dyes for large-scale recording of neuronal spiking activity with single-cell resolution
US11095835B2 (en) Use of spectral leaks to obtain high spatial resolution information for hyperspectral imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160629

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180417