JP2020190557A - 時間分解ハイパースペクトル単一画素撮像 - Google Patents

時間分解ハイパースペクトル単一画素撮像 Download PDF

Info

Publication number
JP2020190557A
JP2020190557A JP2020087175A JP2020087175A JP2020190557A JP 2020190557 A JP2020190557 A JP 2020190557A JP 2020087175 A JP2020087175 A JP 2020087175A JP 2020087175 A JP2020087175 A JP 2020087175A JP 2020190557 A JP2020190557 A JP 2020190557A
Authority
JP
Japan
Prior art keywords
sample
image
time
radiation
spatial light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020087175A
Other languages
English (en)
Inventor
ローラン・ロンベズ
Lombez Laurent
エイドリアン・ベルスゴル
Bercegol Adrien
ダニエル・オリー
Ory Daniel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecole Polytechnique de Montreal
Electricite de France SA
Centre National de la Recherche Scientifique CNRS
TotalEnergies SE
Institut Photovoltaique dIle de France IPVF
Original Assignee
Ecole Polytechnique de Montreal
Electricite de France SA
Centre National de la Recherche Scientifique CNRS
Total SE
Institut Photovoltaique dIle de France IPVF
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecole Polytechnique de Montreal, Electricite de France SA, Centre National de la Recherche Scientifique CNRS, Total SE, Institut Photovoltaique dIle de France IPVF filed Critical Ecole Polytechnique de Montreal
Publication of JP2020190557A publication Critical patent/JP2020190557A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6408Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/021Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using plane or convex mirrors, parallel phase plates, or particular reflectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0229Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using masks, aperture plates, spatial light modulators or spatial filters, e.g. reflective filters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/18Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/12Generating the spectrum; Monochromators
    • G01J3/18Generating the spectrum; Monochromators using diffraction elements, e.g. grating
    • G01J3/1804Plane gratings
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • G01J2003/2826Multispectral imaging, e.g. filter imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N2021/317Special constructive features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6423Spectral mapping, video display
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/067Electro-optic, magneto-optic, acousto-optic elements
    • G01N2201/0675SLM

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

【課題】時間分解ハイパースペクトル単一画素撮像を提供する。【解決手段】サンプル3を反復可能に照明するのに適した放射源1と、透過又は反射マスクPを形成する空間光変調器6上にサンプルの画像Iを形成する第1の光学システム5と、透過又は反射マスクPを変化させるように構成されたプロセッサ12と、自らの画像焦点面に部分画像を形成する第2の光学システム7とを含み、撮像システム10が透過又は反射された放射の波長を空間的に分割する分散装置8と、サンプル3の複数の時間分解部分画像を取得するように構成されたストリークカメラ11とをを含む。【選択図】図1

Description

本発明は、4次元(2D空間分解能、時間分解能、及びスペクトル分解能)における撮像、並びに特にピコ秒分解能を備えたハイパースペクトル撮像を実行するのに適した撮像システムに関する。
時間分解ハイパースペクトル撮像は、生物組織の特徴から環境の研究に及ぶ多くの相異なる分野における多数の用途を有する。例えば、時間分解蛍光撮像又は蛍光寿命撮像顕微鏡検査(FLIM)などの光学技法は、広範囲なエリアの画像をサブナノ秒の時間分解能で取得することを要求する。具体的には、FLIMにおいて、蛍光効果の立ち下がり時間は、蛍光寿命のマップを取得するために、ピコ秒又はナノ秒スケールで測定されなければならない。蛍光撮像は、生物学及び材料の研究において最も使用される撮像技法の1つである。何故なら、それは、研究されるサンプルのpH、温度、及びイオン濃度における変動に関する情報を取得できるようにするからである。
時間分解能を超え、サンプルの発光スペクトルの取得は、サンプルの光物理特性の研究にとって極めて重要である。例えば、スペクトル情報は、生体マーキングを用いる場合に、サンプル内の或る発色団を区別するために用いられてもよい。
現在、約10ピコ秒から1ナノ秒に及ぶ時間分解能でスペクトル的に且つ時間的に分解される撮像システムは、ほとんど存在しない。分光計及び時間相関単一光子計数法(又はTCSPC)システムに結合された線形検出器を用いることが、周知の慣行である。しかしながら、画像を構成するために、サンプルを走査することが必要である。分光計の波長チャネル数ゆえに、この技法は、ハイパースペクトルではなく、マルチスペクトル撮像だけを実行できるようにする。
ここで、明確にするために、撮像システムは、それが、20を超える別個の波長を観察できるようにする場合に、ハイパースペクトルと見なされる。
高速シャッタ速度を可能にする電子ゲートを用いる強化CCDカメラを使用して、ナノ秒時間分解能で単一の2D画像を生成することが周知の慣行である。それらの時間分解能は、器具の固有の応答時間によって制限される。加えて、カメラの読み出し時間が、時間サンプリングを制限する。次に、スペクトル情報は、様々な発光波長における順次的な測定を介して取得されてもよい。同様に、単一光子アバランシェダイオードのストリップは、約50ピコ秒の時間分解能を取得できるようにする。しかしながら、それらは、少ない画素数(約32×32画素)、低いフィルファクタ(約5%)、及び高い読み出し時間ゆえに、限られた空間分解能を有する。
従って、反復可能なイベントを観察するために、ピコ秒時間分解能で、時間分解ハイパースペクトル撮像を実行できるようにする満足な撮像システムは存在しない。
先行技術における問題の幾つかを解決するために、本発明の1つの主題は、分散システム及びストリークカメラと組み合わされた単一画素撮像を用いて、反復可能なイベントをピコ秒分解能で撮像するための時間分解ハイパースペクトル撮像システムである。
単一画素(SP)撮像は、多様な空間パターンを連続的に適用することによって構造化された光でシーンを照明することによって、且つ各空間パターンと対応する、シーンによって反射又は透過された全光強度を測定することによって画像を生成する技法である。変形として、構造光を用いないが、同じ空間パターンを用いて、シーンによって反射又は透過された光を空間的に変調することが可能である。単一画素撮像は、SLMパターンを生成するために、空間分解能のない検出器と組み合わされた空間光変調器(SLM)を用いる。この方法は、シーンの、且つSLMパターンのシーケンスの内積を測定することに実質的に存する。取得データを後処理するための方法を用いて、シーンの画像を再構成することが可能である。シーンを再構成するために用いられる戦略は、例えば、圧縮取得技法、基底走査、又は適応基底走査である。圧縮取得技法は、理論的には、より優れた再構成分解能を取得できるようにするが、しかしながら高い計算時間を要求する。予め設定された(アダマール、フーリエ、ウェーブレット、離散コサイン変換)基底の走査は、高速逆変換を介して画像を再構成できるようにするが、非常に多くのSLMパターン及び従って長い取得時間を要求する。ちょうど基底走査のように、適応基底走査は、画像を急速に再構成できるようにし、且つ最も多くの情報を含むSLMパターンだけを選択することによって、要求される取得時間を低減する。
この撮像技法は、優れた空間分解能で画像を再構成できるようにする。加えて、それは、CCDカメラの読み出し時間の固有の限界を克服できるようにするストリークカメラに関連付けられた場合に、時間分解撮像に特に適している(例えば、Liang,Jinyang,et al.“Encrypted three−dimensional dynamic imaging using snapshot time−of−flight compressed ultrafast photography.” Scientific reports 5(2015):15504を参照されたい)。それは、約10ピコ秒の分解能で過渡効果を撮像できるようにする(例えば、Gao,Liang,et al.“Single−shot compressed ultrafast photography at one hundred billion frames per second.”Nature 516.7529(2014):74を参照されたい)。TCSPCシステム及びSP撮像セットアップに結合された分光計を用いれば、サブナノ秒分解能で時間分解マルチスペクトルSP撮像を実行することがまた可能である(Rousset,Florian,et al.“Time−resolved multispectral imaging based on an adaptive single−pixel camera.”Optics express 26.8(2018):10550−10558を参照されたい)。しかしながら、現在、どんなSP撮像装置も、ピコ秒時間分解能でハイパースペクトル撮像を実行することはできない。
様々なSLMパターンを用いる測定が、シーンの画像を再構成するために反復を必要とするので、SP撮像が、反復可能な発光効果又はイベントの観察に特に適していることは明らかである。従って、FLIM撮像は、十分に優れた時間分解能が取得される限り、SPを撮像用の理想的な候補である。
加えて、上記で言及されたように、スペクトル分解能の取得は、研究サンプルの或る臨界パラメータを決定する鍵である。
また、本発明のピコ秒分解能を備えた時間分解ハイパースペクトル撮像システムは、スペクトル分解能を取得するための分散システム及び時間分解能を取得するためのストリークカメラと組み合わされた単一画素撮像を用いる。
時間分解能を取得するためにストリークカメラを設けられた共焦点顕微鏡検査システムと比較して、本発明のストリークカメラに関連するSP撮像システムは、サンプルによって放出された放射の全体を使用できるようにする。
従って、本発明の1つの主題は、サンプルを撮像するための時間分解ハイパースペクトル撮像システムであって、サンプルを反復可能に照明するのに適した放射源と、透過又は反射マスクPを形成する空間光変調器上にサンプルの画像Iを形成するように構成された第1の光学システムと、空間光変調器に接続された、且つ照明の各反復用に透過又は反射マスクPを変化させるように構成されたプロセッサと、自らの画像焦点面に部分画像S=P.Iを形成するために、空間光変調器によって透過又は反射された放射を合焦させるのに適した第2の光学システムと、を含み、
前記撮像システムが、
第2の光学システムの画像焦点面に配置されたスリットを含む分散装置であって、空間光変調器によって透過又は反射された放射の様々な波長を空間的に分割するのに適した分散装置と、
分散装置から出る放射によって照明されるように配置された、且つサンプルの複数の時間分解部分画像を取得するように構成されたストリークカメラであって、前記画像が、それぞれの相異なる透過又は反射マスクと関連付けられ、前記ストリークカメラが、プロセッサに接続され、前記プロセッサがまた、サンプルの時間及び波長において分解された画像を形成する4D画像キューブを構成するために、サンプルの前記部分画像を組み合わせるように構成されるストリークカメラと、
を含む点で特徴付けられる時間分解ハイパースペクトル撮像システムである。
本発明の特定の実施形態に従って、
撮像システムは、放射源から来る放射をサンプル上に合焦させるのに、且つサンプルから出る放射を収集するのに適した第3の光学システムを含み、前記撮像システムは、サンプルから来る放射及び放射源から来る放射を分割するように配置されたビームスプリッタを更に含み、
撮像システムは、第3の光学システムの光学軸に沿ってサンプルを移動するのに適した線形ステージを含み、
分散装置は、回折格子を含み、
ストリークカメラ及び分散システムは、20を超える相異なる波長チャネルで部分画像を同時に取得するのに適し、
放射源は、放射源によって放出された照明の反復が、空間光変調器の透過又は反射マスクの変更と同期されるように、プロセッサに接続され、
空間光変調器は、2値反射強度マスクを形成するデジタルマイクロミラー装置であり、
プロセッサは、サンプルの時間及び波長において分解された画像を形成するために組み合わされるサンプルの部分画像に関連付けられるデジタルマイクロミラー装置の2値反射マスクが、アダマール、フーリエ、又はウェーブレット基底を形成するように構成され、
プロセッサは、マッチング追跡又は基底追跡アルゴリズムを実行することによって、サンプルの時間及び波長において分解された画像を形成する4Dキューブを構成するために、サンプルの前記部分画像を組み合わせるように構成され、
放射源は、パルス線源であり、
放射源は、レーザ源、例えばレーザダイオードである。
本発明の別の主題は、サンプルを撮像するための時間分解ハイパースペクトル撮像方法であって、以下のステップ、
a.放射源でサンプルを照明するステップと、
b.透過又は反射マスクPを形成する空間光変調器上に、第1の光学システムを用いてサンプルの画像を形成するステップと、
c.第2の光学システムを用いて、空間光変調器によって透過又は反射された放射を分散装置上に合焦させるステップ、及び前記分散装置を用いて、空間光変調器によって透過又は反射された放射の様々な波長を空間的に分割するステップと、
d.分散装置から出る放射によって照明されるように配置されたストリークカメラを用いて、サンプルの時間分解部分画像S=P.Iを取得するステップであって、その画像が、1つの透過又は反射マスクPに関連付けられるステップと、
e.サンプルの複数の時間分解部分画像をストリークカメラで取得するために、空間光変調器に接続されたプロセッサを用いて、空間光変調器の2値透過又は反射マスクPを変化させている間にステップa)〜c)を反復するステップであって、前記画像が、それぞれの透過又は反射マスクPと関連付けられるステップと、
f.サンプルの時間及び波長において分解された画像を形成する4Dキューブを構成するために、ストリークカメラに接続されたプロセッサを用いて、サンプルの前記それぞれの時間分解部分画像を組み合わせるステップと、
を含む時間分解ハイパースペクトル撮像方法である。
本発明の他の特徴、詳細及び利点は、説明を読めば明らかになろう。説明は、添付の図面に関連して与えられ、添付の図面は、例として与えられ、それぞれ以下のものを示す。
本発明の第1の実施形態による、サンプルを撮像するための時間分解ハイパースペクトル撮像システムの概略図である。 図1の撮像システムの分散装置及びストリークカメラの概略図である。 本発明の第2の実施形態による、サンプルを撮像するための時間分解ハイパースペクトル撮像システムの概略図である。 点光源のフォトルミネッセンス輝度の信号の波長及び時間に関して統合された画像である。 図4Aの最も明るい画素のフォトルミネッセンス信号における時間分解及び波長分解変動の画像である。
以下で、同じ参照符号が、1つを超える図において用いられる場合に、それらは、同じ要素を表す。
図1は、本発明の第1の実施形態に従って、反復可能なイベントを撮像するための時間分解ハイパースペクトル撮像システム10の概略図を示す。システムは、放射源1を含む。図1の実施形態において、この放射源は、固体レーザなど、単色放射のパルス線源である。レーザ源は、システムの残部とのレーザパルスの同期を制御するように構成されるプロセッサに接続される。別の実施形態において、放射源は、連続波であり、強度変調される。別の実施形態において、放射源は、蒸気ランプであってもよい。
放射源1によって生成された放射2は、サンプル3を照明する。このサンプルは、入射放射2を吸収し、且つフォトルミネッセンス信号4を放出するか、又は入射放射2の幾らかを極めて単純に反射若しくは透過してもよい。図1の実施形態において、サンプルは、入射放射2の幾らかを吸収した後で、多色フォトルミネッセンス信号又は放射4を放出する。
以下で、時間的且つスペクトル的に分解することが望ましいイベントは、反復可能なイベントであると見なされ、結果は、例えば新しいレーザパルスと共に再びトリガされる。
以下で、サンプルによって放出された放射、サンプルによって透過された放射、及びサンプルによって反射された放射という表現は、等価であると見なされる。
サンプル4によって放出された放射は、第1の光学システム4によって、空間光変調器(SLM)6上に合焦され、空間光変調器(SLM)6は、光学システムの画像焦点面に位置する。この光学システム4は、光学対物レンズである。好ましくは、それは、高開口数を有する。それは、単レンズ、例えば収束両凸レンズ又は収束複合レンズセットであってもよい。従って、光学システムは、その画像焦点面にサンプル3の画像Iを形成する。
SLMは、2値反射又は透過強度マスクPを形成するように構成される。図1の実施形態において、このSLM6は、デジタルマイクロミラー装置(DMD)である。
例として、撮像システム10のDMDは、1024×768の並んだマイクロミラーからなり、各ミラーの辺長は、約13μmである。ミラーは、静電気的に制御可能であり、且つDMDへの垂線に対して固定角だけ、一般に12°の角度だけ傾斜されてもよく(状態「1」)又は傾斜されなくてもよく(状態「0」)、状態1においてミラーによって反射された放射は、入射放射4に対して24°の角度を作る。
状態1におけるミラーが、光学セットアップの残部に結合されるので、ミラーは、1に等しい反射係数を有し、状態0におけるミラーは、ゼロの反射係数に対応する。従って、DMDは、制御可能な2値強度マスクを形成する。
DMDにおけるマイクロミラーの傾斜及び従って2値マスクPのパターンは、DMDに接続されたプロセッサ12によって制御可能である。
別の実施形態において、SLMは、透過又は反射において動作できる液晶に基づいた、且つ2値強度マスクPを形成する装置である。
撮像システム10は、第2の光学システム7の画像焦点面にサンプルの部分画像S=P.Iを形成するために、空間光変調器によって透過又は反射された放射を合焦させるのに適した、焦点距離fの第2の光学システム7を含む。
第2の光学システムの画像焦点面において、撮像システム10は、放射の様々な波長を空間的に分割できるようにする、従ってスペクトル分解能を取得できるようにする分散装置8を含む。この分散装置は、時間分解能を取得できるようにするストリークカメラ11に結合される。
図1の実施形態において、この分散システムは、第2の光学システムの、複数のミラーの、且つ回折格子の画像焦点面に置かれたスリットから構成され、スリットは、定義されたxz平面において放射の様々な波長を空間的に分割するように配置される。z方向は、第1の光学システムの光学軸である。従って、分散システムを出ると、放射9の各波長は、xz平面に位置する相異なる方向に同時に伝搬する。分散装置8及びストリークカメラ11の概略図が、図2に示されている。
スリット21(その方向はy方向である)は、第2の光学システム7の焦点面に配置され、空間フィルタとして働き、且つ放射源1によって放出された放射の散乱を取り除くことによって、ビームをクリーンにできるようにする。第1のコリメートミラー22は、反射回折格子23の方へ放射を導くことができるようにする。回折格子は、反射放射9における放射の様々な波長を空間的に分割できるようにし、各波長は、同じ水平xz平面に位置する相異なる伝搬方向を有する。第2のミラー24は、ストリークカメラ11の方へ放射を導くことができるようにする。
図2に示されているように、ストリークカメラは、光電陰極25を含む。光電陰極に当たる放射9は、電圧発生装置27に接続される2つの偏向板26間で生成された電界によって加速される電子を光電効果を介して生成する。電子は、可変電界の下で、偏向板の垂線と平行な方向yに垂直に方向転換される。偏向板26間の電圧差を調整することによって、電界は、急速に変化し、このようにして経時的に変化する電子の偏向を提供する。電子が、偏向板間に到着する時間が遅ければ、それだけ電界は高く、従ってそれは、より大きな垂直移動を生成する。電子の偏向は、マイクロチャネルプレート(MCP)(偏向される電子の数を倍増できるようにする)及びリンスクリーン29を用いて撮像される。リンスクリーンに対する電子の影響は、2次元センサ20、例えばCCDセンサを用いて観察される。
電圧発生装置27は、ストリークカメラの偏向板間の電界における変動をレーザ放射の放射源1によって放出されたレーザパルスと同期させるためにプロセッサに接続される。
従って、CCDカメラの垂直軸は、サンプルの部分画像Sの動的挙動を可能にし、その画像は、時間的に分解されるために、2値反射マスクPと関連付けられ、水平軸は、部分画像を波長的に分割できるようにし、従ってサンプル又は発光イベントをハイパースペクトル的に観察できるようにする。
時間分解能は、CCDセンサ、及びストリークカメラの電圧の走査周波数によって設定される。それは、典型的には、設定された走査周波数で約1ピコ秒であり、可変走査周波数で約15ピコ秒である。レーザパルスの幅が、ストリークカメラの時間分解能より大きい場合に、撮像システムの時間分解能を設定するのがこの幅であることが注目される。
スペクトル分解能は、CCDカメラの画素サイズが、回折格子の最小波長分解能より小さい限り、回折格子によって設定される。
撮像システム10によって検出可能な時間チャネルTの数は、CCDセンサの垂直寸法によって設定される。撮像システム10によって同時に検出可能な波長チャネルの数Λは、CCDセンサの水平寸法によって設定される。従って、センサを適切に選択することによって、ハイパースペクトル撮像を実行すること、即ち、サンプルから出るフォトルミネッセンス放射の波長の20以上のチャネルを同時に撮像することが可能である。
上記で簡単に説明されたように、反復可能なイベント又はサンプルの画像の完全な再構成は、ストリークカメラ11を用いて、複数Mの部分画像S,...,Sを取得するために、複数Mの測定が実行されることを要求し、複数Mの部分画像S,...,Sは、同じイベント又はサンプルの別個のそれぞれの2値透過又は反射マスクP,...,Pに関連付けられる。部分画像S,...,Sは、放射源1によって放出された新しい光パルスでサンプルを照明することによって、プロセッサを用いて、各パルス間のDMDの2値マスクPを変更することによって、且つストリークカメラで新しい取得を実行することによって取得される。上記で言及されたように、放射源、DMD、及びストリークカメラは、全てプロセッサに接続され、プロセッサは、光パルス、DMDの2値マスクの変更、及びストリークカメラによる取得を適切に同期させるように構成される。
別個の2値パターンに関連する十分な数の部分画像が取得された場合に、後処理によってサンプルの完成画像Itotを再構成することが可能である。再構成画像は、画像の(x,y)空間座標、λ波長、及びt時間を備えた4D画像キューブI(x,y,λ,t)である。N×N画素の画像キューブ
Figure 2020190557
が定義され、Tは、ストリークカメラで検出された時間チャネルの数であり、Λは、ストリークカメラで検出された波長チャネルの数であり、
Figure 2020190557
は、測定されたλ番目のスペクトルチャネル及びt番目の時間チャネルに対応する再構成画像である。m番目の2値パターンによって測定された部分画像又は信号は、
Figure 2020190557
と表示される。サンプルフォームの部分画像S,...,Sを提供するM測定に関連する2値パターンP,...,Pは、
Figure 2020190557
を備えたマトリックスPtot=(P;...;P)を形成する。
Figure 2020190557
と書くと、
[数学的計算1]
tot=Ptot.Itot
実施形態において、プロセッサ12は、サンプルの時間分解及び波長分解画像を形成する4D画像キューブItotを構成するために、即ち式[数学的計算1]を反転するために、この後処理ステップを実行するように且つサンプルの部分画像を組み合わせるように構成される。
SP撮像に適した複数の画像再構成方法が知られており、本発明に適用されてもよい。例えば、Duarte,Marco F.,et al.“Single−pixel imaging via compressive sampling.”IEEE signal processing magazine 25.2(2008):83−91又は実にEdgar,Matthew P.,Graham M.Gibson,and Miles J.Padgett.“Principles and prospects for single−pixel imaging.”Nature Photonics(2018):1を参照されたい。
図1の実施形態において、サンプルの部分画像S;...;S(それらの画像は、完全な時間分解及び波長分解画像Itot=(I1,1,,...,Iλ,t,...,IΛ,T)を形成するために組み合わされる)を提供するM測定に関連する2値パターンP,...,Pは、有利なことに、アダマール、フーリエ、又はウェーブレット基底を形成するように選択される。次に、プロセッサは、サンプルが、定義済みの基底又は適応基底を用いて2値パターンによって走査されるように、構成される。適応基底を用いて走査を実行することの利点は、それが、最も多くの空間的情報を含む2値パターンだけを選択することによって、必要とされる取得時間を低減させるということである。適応基底を用いた走査の場合に、プロセッサは、どの2値パターンが、サンプルを表現するのに適しているかを決定するために、部分画像の取得中にサンプルから空間情報を抽出するように構成される。次に、完成画像は、適切な逆変換を介し、プロセッサを用いて再構成される。これらの方法は、画像が、適切な逆変換を用いて、迅速にアルゴリズム的に再構成されるという利点を有するが、一般に非常に多くのパターン及び従って長い取得時間を必要とする。
別の実施形態において、プロセッサは、部分画像に関連する2値パターンが擬似ランダムであるように、構成されてもよく、プロセッサは、マッチング追跡又は基底追跡などの圧縮取得アルゴリズム(l最小化)を実行することによって、完全な時間分解画像を再構成することができる。これらの方法は、定義済みの基底又は適応基底に基づいた走査方法より少ない数のパターンを用いて再構成を可能にするという利点を有し、従って、より短い取得時間を必要とする。しかしながら、それらは、より大きな計算能力及びかなりの計算時間を必要とする。
適応擬似ランダム2値パターンを用いてサンプルにおける興味のある所与のポイントを追跡することもまた可能である。これは、例えば光電池の特徴付けにおいて有用であり、光電池において、フォトルミネッセンス(PL)照明源は、点状であり、且つ放射対称であると見なされてもよい。2値パターンの放射基底を用いることによって、実行される取得数が低減され得る。サンプルにおけるPL源の中心は、ストリークカメラにより取得された強度における変動を観察することによって、波長及び時間に対して画像を統合することによって、且つ2分システムを用いることによりDMDの相異なる領域を順番に活性化することによって、決定される。
従って、サンプルが特定の特性(中心対称、小さい全変動ノルム等)を有する場合に、N×N画素の画像を再構成するために、
Figure 2020190557
を備えた別個の2値パターンP,...,Pで約M=N×log(N)測定を実行することが必要であり、画素サイズは、DMDによって設定される。そうでなければ、N×N測定を実行することが一般に必要である。
図3は、サンプルから来る放射及び放射源から来る放射を分割するように配置されたビームスプリッタ14を含むことを例外として、図1の実施形態に似た本発明の第2の実施形態に従って撮像システム30を示す。ビームスプリッタは、プレートビームスプリッタであってもよい。
撮像システム30は、加えて、放射源から来る放射をサンプル上に合焦させるのに適した第3の光学システム13を含み、サンプルは、第3の光学システムの焦点面に配置される。第3の光学システムの焦点面におけるサンプルの位置を容易に制御するために、サンプルは、第3の光学システムの光学軸(図3において方向zによって表される)に沿ってサンプルを移動するのに適した線形ステージに固定される。第3の光学システムは、例えば、共焦点顕微鏡検査において用いられるものに似た対物光学システムである。図3の実施形態において、それは、高開口数を有する。それは、単レンズ、例えば収束両凸レンズ又は複数のレンズの収束複合セットであってもよい。
図1の実施形態の撮像システムと比較して、図3の実施形態の撮像システムは、サンプルによって放出/透過/反射されたより多量の光束を収集できるようにする。
図4Aは、図3の実施形態における撮像システムで取得された、且つ波長及び時間に関して統合された点光源から生じるPL信号の画像を示す。点光源の中心を決定することによって、且つこの点のまわりを走査することによって、点光源の4D画像が再構成されてもよい。観察をより簡単にするために、図4Aは、波長及び時間に関して統合された点光源の再構成画像を示す。図4Bは、図4Aの最も明るい画素用の時間の関数及び波長の関数として、PL信号における変動を示す。この画素は、点光源の中心に対応する。様々な時間値用に図4Bを通して水平断面を切断することによって、中心画素の信号のスペクトルにおける変動を経時的に観察することが可能である。
別の実施形態において、SLMは、非2値反射又は透過強度マスクを形成するように構成される。非2値マスクは、サンプルの画像を再構成するステップを加速できるようにする。代替として、マスクは、位相マスクであってもよい。
1 放射源
2 放射
3 サンプル
4 フォトルミネッセンス信号
5 第1の光学システム
6 空間光変調器
7 第2の光学システム
8 分散装置
9 放射
10 撮像システム
11 ストリークカメラ
12 プロセッサ
13 第3の光学システム
14 ビームスプリッタ
20 2次元センサ
21 スリット
22 第1のコリメートミラー
23 回折格子
24 第2のミラー
25 光電陰極
26 偏向板
27 電圧発生装置
29 リンスクリーン
30 撮像システム

Claims (12)

  1. サンプル(3)を撮像するための時間分解ハイパースペクトル撮像システム(10、30)であって、前記サンプルを反復可能に照明するのに適した放射源と、透過又は反射マスクPを形成する空間光変調器(6)と、前記空間光変調器(6)上に前記サンプルの画像Iを形成するように構成された第1の光学システム(5)と、前記空間光変調器に接続された、且つ前記照明の各反復用に前記透過又は反射マスクPを変化させるように構成されたプロセッサ(12)と、自らの画像焦点面に部分画像S=P.Iを形成するために、前記空間光変調器によって透過又は反射された放射を合焦させるのに適した第2の光学システム(7)と、を含み、
    前記撮像システムが、
    前記第2の光学システムの前記画像焦点面に配置されたスリットを含む分散装置(8)であって、前記空間光変調器によって透過又は反射された放射の様々な波長を空間的に分割するのに適した分散装置(8)と、
    前記分散装置(9)から出る放射によって照明されるように配置された、且つ前記サンプルの時間及び波長において分解される複数の部分画像を取得するように構成されたストリークカメラであって、前記画像が、それぞれの相異なる透過又は反射マスクPと関連付けられ、前記ストリークカメラが、前記プロセッサ(12)に接続され、前記プロセッサがまた、前記サンプルの時間及び波長において分解された画像を形成する4D画像キューブItotを構成するために、前記サンプルの前記部分画像を組み合わせるように構成されるストリークカメラと、
    を含む点で特徴付けられる時間分解ハイパースペクトル撮像システム(10、30)。
  2. 前記放射源から来る放射(2)を前記サンプル上に合焦させるのに、且つ前記サンプル(4)から出る放射を収集するのに適した第3の光学システム(13)を含み、前記サンプル(4)から来る放射及び前記放射源(1)から来る放射を分割するように配置されたビームスプリッタ(14)を更に含む、請求項1に記載の撮像システム(30)。
  3. 前記第3の光学システムの光学軸に沿って前記サンプルを移動するのに適した線形ステージ(13)を含む、請求項2に記載の撮像システム(30)。
  4. 前記分散装置(8)が、回折格子(23)を含む、請求項1〜3のいずれか一項に記載の撮像システム。
  5. 前記ストリークカメラ(11)及び前記分散システム(8)が、20を超える相異なる波長チャネルで部分画像を同時に取得するのに適している、請求項1〜4のいずれか一項に記載の撮像システム。
  6. 前記放射源によって放出された前記照明の反復が、前記空間光変調器(6)の前記透過又は反射マスクの変更と同期されるように、前記放射源(1)が、前記プロセッサ(12)に接続される、請求項1〜5のいずれか一項に記載の撮像システム。
  7. 前記空間光変調器が、2値反射強度マスクを形成するデジタルマイクロミラー装置である、請求項1〜6のいずれか一項に記載の撮像システム。
  8. 前記サンプルの時間及び波長において分解された前記画像を形成するために組み合わされる前記サンプルの前記部分画像に関連付けられる前記デジタルマイクロミラー装置の前記2値反射マスクが、アダマール、フーリエ、又はウェーブレット基底を形成するように、前記プロセッサが構成される、請求項7に記載の撮像システム。
  9. 前記プロセッサが、マッチング追跡又は基底追跡アルゴリズムを実行することによって、前記サンプルの時間及び波長において分解された画像を形成する4Dキューブを構成するために、前記サンプルの前記部分画像を組み合わせるように構成される、請求項8に記載の撮像システム。
  10. 前記放射源が、パルス線源である、請求項1〜9のいずれか一項に記載の撮像システム。
  11. 前記放射源が、レーザ源、例えばレーザダイオードである、請求項1〜10のいずれか一項に記載の撮像システム。
  12. サンプル(3)を撮像するための時間分解ハイパースペクトル撮像方法であって、以下のステップ、
    a.放射源(1)で前記サンプルを照明するステップと、
    b.透過又は反射マスクPを形成する空間光変調器(6)上に、第1の光学システム(5)を用いて前記サンプルの画像を形成するステップと、
    c.第2の光学システム(7)を用いて、前記空間光変調器によって透過又は反射された放射を分散装置(8)上に合焦させるステップ、及び前記分散装置を用いて、前記空間光変調器によって透過又は反射された放射の様々な波長を空間的に分割するステップと、
    d.前記分散装置から出る放射(9)によって照明されるように配置されたストリークカメラを用いて、前記サンプルの時間分解部分画像S=P.Iを取得するステップであって、その画像が、1つの透過又は反射マスクPに関連付けられるステップと、
    e.前記サンプルの複数の時間分解部分画像を前記ストリークカメラで取得するために、前記空間光変調器に接続されたプロセッサ(12)を用いて、前記空間光変調器の2値透過又は反射マスクPを変化させている間にa)〜c)を反復するステップであって、前記画像が、それぞれの透過又は反射マスクPと関連付けられるステップと、
    f.前記サンプルの時間及び波長において分解された画像を形成する4DキューブItotを構成するために、前記ストリークカメラに接続されたプロセッサを用いて、前記サンプルの前記それぞれの時間分解部分画像を組み合わせるステップと、
    を含む時間分解ハイパースペクトル撮像方法。
JP2020087175A 2019-05-20 2020-05-19 時間分解ハイパースペクトル単一画素撮像 Pending JP2020190557A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19315037 2019-05-20
EP19315037.2A EP3742135B1 (fr) 2019-05-20 2019-05-20 Imagerie mono-pixel hyper-spectrale résolue en temps

Publications (1)

Publication Number Publication Date
JP2020190557A true JP2020190557A (ja) 2020-11-26

Family

ID=68172150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020087175A Pending JP2020190557A (ja) 2019-05-20 2020-05-19 時間分解ハイパースペクトル単一画素撮像

Country Status (3)

Country Link
US (1) US11231323B2 (ja)
EP (1) EP3742135B1 (ja)
JP (1) JP2020190557A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113466246A (zh) * 2020-11-17 2021-10-01 北京领邦智能装备股份公司 高精度的成像系统、方法、图像采集装置及检测设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113048907B (zh) * 2021-02-08 2022-04-22 浙江大学 一种基于宏像素分割的单像素多光谱成像方法及装置
CN113884234B (zh) * 2021-09-06 2023-06-09 中国科学院合肥物质科学研究院 一种互补单像素质心探测系统及方法
CN116016893B (zh) * 2022-12-16 2024-04-02 重庆邮电大学 一种单像素三维成像系统及方法
CN117091700B (zh) * 2023-08-31 2024-02-06 山东大学 一种使用非阵列探测器实现高光谱成像的系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2231958A (en) * 1989-04-07 1990-11-28 Hamamatsu Photonics Kk Measuring fluorescence characteristics
SE538072C2 (sv) * 2014-08-21 2016-02-23 Totalförsvarets Forskningsinstitut An imaging system parallelizing compressive sensing imaging
US20180224552A1 (en) * 2014-09-30 2018-08-09 Washington University Compressed-sensing ultrafast photography (cup)
US10473916B2 (en) * 2014-09-30 2019-11-12 Washington University Multiple-view compressed-sensing ultrafast photography (MV-CUP)
EP3394579B1 (en) * 2015-12-21 2023-09-20 Verily Life Sciences LLC Systems and methods for determining an identity of a probe in a target based on colors and locations of two or more fluorophores in the probe and in the target

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113466246A (zh) * 2020-11-17 2021-10-01 北京领邦智能装备股份公司 高精度的成像系统、方法、图像采集装置及检测设备
CN113466246B (zh) * 2020-11-17 2024-05-10 北京领邦智能装备股份公司 高精度的成像系统、方法、图像采集装置及检测设备

Also Published As

Publication number Publication date
US20200370959A1 (en) 2020-11-26
EP3742135B1 (fr) 2022-01-19
US11231323B2 (en) 2022-01-25
EP3742135A1 (fr) 2020-11-25

Similar Documents

Publication Publication Date Title
JP2020190557A (ja) 時間分解ハイパースペクトル単一画素撮像
US20230392920A1 (en) Multiple channel locating
US10606055B2 (en) Aperture scanning Fourier ptychographic imaging
Mikami et al. Ultrafast optical imaging technology: principles and applications of emerging methods
US7339170B2 (en) Optical encoding and reconstruction
RU2653772C1 (ru) Система формирования широкополосного гиперспектрального изображения на основе сжатого зондирования с нерегулярной дифракционной решеткой
US20180224552A1 (en) Compressed-sensing ultrafast photography (cup)
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
CN108474755A (zh) 时间压缩感测系统
US20190353887A1 (en) Smart coded access optical sensor
US10394011B2 (en) Ptychography system
US11561134B2 (en) Compressed-sensing ultrafast spectral photography systems and methods
JP2008309706A (ja) 分光計測装置及び分光計測方法
CN107942338B (zh) 一种基于数字微镜器件的多波长关联成像系统
KR20200015938A (ko) 홀로그래픽 간섭법의 방법 및 시스템
CN114264370B (zh) 一种压缩感知计算层析成像光谱仪系统和成像方法
Zeng et al. Review and prospect of single-shot ultrafast optical imaging by active detection
US11012643B2 (en) System and method for spectral imaging
NL2023860B1 (en) Pattern activated structured illumination localization microscopy
CN117007187A (zh) 基于结构光照明的宽谱段显微拉曼鬼成像装置和成像方法
RU2579640C1 (ru) Конфокальный спектроанализатор изображений
CN103558160A (zh) 一种提高光谱成像空间分辨率的方法和系统
Liang et al. Ultrafast optical imaging
US7391519B1 (en) Generation of spatially distributed spectral data using a multi-aperture system
Scire et al. Digital holography with a cell-phone camera module

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240409