JP2014531032A - 時間分解単一光子又は極微弱光多次元イメージングスペクトルシステム及び方法 - Google Patents

時間分解単一光子又は極微弱光多次元イメージングスペクトルシステム及び方法 Download PDF

Info

Publication number
JP2014531032A
JP2014531032A JP2014537455A JP2014537455A JP2014531032A JP 2014531032 A JP2014531032 A JP 2014531032A JP 2014537455 A JP2014537455 A JP 2014537455A JP 2014537455 A JP2014537455 A JP 2014537455A JP 2014531032 A JP2014531032 A JP 2014531032A
Authority
JP
Japan
Prior art keywords
time
single photon
light
resolved
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014537455A
Other languages
English (en)
Other versions
JP6002232B2 (ja
Inventor
チャイ,ガンジェ
ユー,ウェンカイ
リュー,セツホウ
ヤオ,シュリ
ワン,チャオ
サン,ツィビン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Center For Space Science And Applied Research Chinese Academy Of Sciences
National Space Science Center of CAS
Original Assignee
Center For Space Science And Applied Research Chinese Academy Of Sciences
National Space Science Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201110328462.2A external-priority patent/CN102510282B/zh
Priority claimed from CN 201110328748 external-priority patent/CN102393248B/zh
Application filed by Center For Space Science And Applied Research Chinese Academy Of Sciences, National Space Science Center of CAS filed Critical Center For Space Science And Applied Research Chinese Academy Of Sciences
Publication of JP2014531032A publication Critical patent/JP2014531032A/ja
Application granted granted Critical
Publication of JP6002232B2 publication Critical patent/JP6002232B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03KPULSE TECHNIQUE
    • H03K21/00Details of pulse counters or frequency dividers
    • H03K21/38Starting, stopping or resetting the counter
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/02Details
    • G01J1/04Optical or mechanical part supplementary adjustable parts
    • G01J1/0407Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings
    • G01J1/0414Optical elements not provided otherwise, e.g. manifolds, windows, holograms, gratings using plane or convex mirrors, parallel phase plates, or plane beam-splitters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4816Constructional features, e.g. arrangements of optical elements of receivers alone
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Electromagnetism (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本発明は、時間分解単一光子又は極微弱光多次元イメージングスペクトルシステム及び方法を提供しており、一方、粗略の時間分解を実現するために本発明は時間分解単一光子計数二次元イメージングシステムを提供し、カラー又は灰色画像のイメージングに用いられ、なお、高精度時間分解を実現するために、本発明が提供した多次元イメージングのシステムは主に光源、イメージングスペクトル測定ユニット、電気検出ユニット、システム制御ユニット、アルゴリズムユニットからなり、物体情報を載せる光を空間光変調器にイメージングし、圧縮センシング理論によりそれに対してランダム変調し、且つ点及び配列単一光子検出器を用いて格子射出光を収集し、同時に光子数及び光子到達時間を記録し、圧縮センシングアルゴリズムとイメージングスペクトル関連アルゴリズムを用いて再構成し、単一光子検出感度、高空間時間解像度、広いスペクトル範囲を有し、単細胞生物物理学、材料欠陥の検出などの多くの新たなハイテク産業分野に広く応用することができる。【選択図】 図5

Description

本発明は、単一光子時間分解イメージングスペクトルの技術分野に関し、特に時間分解単一光子又は極微弱光多次元イメージングスペクトルシステム及び方法に関する。
本発明は、以前の研究に基づいて改善と革新されたものであり、この分野において、本研究所は既に『単一光子計数イメージングシステム及びその方法』(出願番号又は特許番号:201110103559.3,出願者又は特許権者:中国科学院空間科学と応用研究センター)と『極めて弱い光マルチスペクトルイメージング方法及びそのシステム』(出願番号又は特許番号:201110166471.6,出願者又は特許権者:中国科学院空間科学と応用研究センター)という二つの特許があり、この二つの特許は本所の以前の研究であり、特徴は、二つがいずれも圧縮センシング理論、空間光変調技術及び単一光子検出技術に基づいて、単一光子計数イメージングに用いられることであり、区別は、前のものが単一光子検出器のみを検出素子とし、単一光子レベルの極微弱光対象の二次元イメージングを実現し、後のものが単一光子カウンターラインアレイを検出素子とし、分光光度計を合わせて、単一光子レベルの極微弱光マルチスペクトルカラーイメージングを実現することである。二つの共通の欠点は、静的物体のみをイメージングすることができ、光強度分析、時間分解及び空間三次元分解なしで、アルゴリズムのシミュレーションのみ行い、システムノイズの影響を考慮しておらず、実際の再構成精度が悪く、計数システムとDMDの同期の問題を解決しなくて、まだいくつかの技術的な欠陥が存在する。時間分解問題と多次元パラメータの検出並びにイメージングの問題を解決するために、本発明は時間分解単一光子又は極微弱光多次元イメージングスペクトルシステム及び方法を提出して、以上の一連の欠点を解決する。
いわゆる時間分解とは時間次元での間隔を分解することであり、超高時間分解とは物理と化学の一時的な過程を観察し且つその時間を分解することができることを指し、液相において、多くの物理と化学過程、例えば分子のシス-トランス異性化と方向性のリラクゼーション、電荷とプロトンの移転、励起分子衝突の前期解離、エネルギー伝達と蛍光寿命及び水中の電子の溶媒和などは、ただ10-8秒で完了することができ、ピコ秒の時間分解精度の分析装置のみによりこれらの高速過程をタイムリーに観察することができる。本発明において、大規模又は非常に短い時間間隔内に単一光子を検出して計数サンプリングする。
なお、現在、国際で一時的な極微弱光(例えば蛍光寿命)の測定に用いる技術は主に単一分子の検出技術、時間分解技術及び超解像度測定技術を有する。(1)単一分子検出技術は主に広視野共焦点蛍光顕微鏡技術、走査型近接場光顕微鏡(SNOM)技術、全反射蛍光顕微鏡(TIRF)技術、光学原子間力顕微鏡(AFOM)及びラマン散乱技術を有し、(2)時間分解技術は主に蛍光寿命イメージング(FLIM)、二光子蛍光寿命顕微イメージング、蛍光寿命関連スペクトル(FCS)技術及び多次元蛍光寿命顕微鏡技術を有し、(3)超解像度測定技術は主に誘導放射抑制顕微鏡(STED)技術、位置敏感型顕微鏡(PALM、STORM、dSTORM、GSDIM)技術、光学変動顕微鏡(SOFI)技術及び蛍光共鳴エネルギー転移顕微鏡技術(FRET)を有する。生体高分子に対する蛍光寿命イメージング及び関連スペクトル定量測定方法は、先にFLIM又はFCSシステムを用いて単一点蛍光寿命及び関連スペクトルの測定を行い、そして、レーザビーム走査又はサンプルスキャンシステムを採用して生体高分子蛍光寿命及び関連スペクトルイメージングの測定を行うものである。ナノ変位走査プラットフォームの安定性が悪く、走査過程が複雑で、製造コストを増加しただけでなく、極めてナノ材料と生体高分子の試験時間を延長し、成功率も著しく影響される。ナノ材料高解像度マイクロ構造に対するイメージング測定方法は、常に電子走査顕微鏡を採用してグラフィック特性解析し、高エネルギー電子イオン化が測定されたサンプルを損傷するので、生物活性分子及びナノ材料の非破壊イメージング測定を行うことができない。以上のこれらの技術の共通の問題は同時に観測対象に対して空間蛍光寿命測定と関連スペクトルの分析作業を行うことができない。科技研究の需要が次第に高空間分解、高時間分解、マルチバンド、検出急速、光子励起等の方向へ発展するに従って、これらの機能はますます増長する実際の需要を満たすことができないようになる。
2011年8月Future Markets, Inc.と2011年2月Global Industry Analysts, Inc.の光学顕微の世界市場の分析報告により、2017年まで光学顕微の世界市場の年収益が41億ドルを超えることを予測する。現在と未来の新市場が先進的、高解像度、高精度顕微イメージングに対する需求は不断に増長し、且つ半導体と電子、工業、微小電気機械システム、生物医学と製薬、ナノ技術及びナノ材料の研究開発分野の技術の進歩が大幅に関連計器の市場需要の成長を促進した。一言で言えば、時間分解イメージングスペクトルは魅力的な市場発展の展望を有し、大幅に関連産業の発展を促進することができる。物理と化学研究におけるナノ材料、結晶材料、材料の非破壊検出、量子ドットシステム、フォトニック結晶、高速現象検出、高分解スペクトル測定、量子化学の基礎科学研究、及び生物物理学研究における医療診断、単一分子生物物理、ナノ生物効果、分子バイオニクス、脳機能と認知、プロテオミクス等の生物物理科学の最先端の問題もこのような新規イメージングシステムと方法が必要とされ、多く分野、マルチパラメータ、マルチスケール定量研究の突破を実現する。生命科学、材料科学、化学、エネルギー科学の多くの研究が研究対象に含まれた成分及び成分の変化を了解することが不可欠に必要であり、イメージングスペクトル分析は成分分析を取得する最も効果的な非破壊分析手段の一つであり、研究された成分がどこに分布しているか、どのように成分の変化を発生するか、即ち成分変化の空間分布情報はイメージングスペクトル分析によりこのような研究需求を実現することができ、現在の科学研究発展に従って、成分の空間分布情報を知っている必要するだけではなく、かつ成分が時間に従って変化する過程、特に成分変化過程において中間体があるかどうか、中間体の形成過程、消滅及び作用機構を知っている必要があり、イメージングスペクトルに対して時間分解の要求は増大している。定成分、定量、定時、位置決めの4「定」の目標に達するためには、いずれの技術案から次元問題と感度問題という二つの主な技術的障害がある。従来のイメージングスペクトル技術は必ず一次元スペクトル、二次元平面画像におけるいずれの一次元が、補助走査の方式で実現する。このような作業方式による不利点は、サンプリング時間が必ず走査のために十分な空間を残す必要があり、それだけでなく、平面的センサは大量の感光性検出ユニットからなるので、超高の時間分解目標は電子学でも機器自身でも実現し難い。現在、国際で時間分解イメージングスペクトル機能を有すると公称する計器の実施案は、以下の二つがある:実施案1、時間分解スペクトル装置のうえに二次元空間走査を増加して実現し、該実施案の不利点は、時間分解と空間走査の間の時間の競合により効率低下を引き起こし、全体的性能がより高い科研需求を満たすことができないことであり、実施案2、画像スペクトル装置のうえに時間分解機能を増加し又は単一光子顕微イメージングのうえに光学チャネルを増加して実現し、該実施案の不利点は、時間分解能力を向上し難く、時間分解スペクトルの時間要求を達することができず、応用範囲が非常に有限であることである。
研究対象の光学信号強度の観点から分析すると、スペクトル装置機能に空間分解を導入することは、光センサによりキャプチャ可能なソース信号の強度が低下することを引き起こし、時間分解測定の要求がソース光信号の一層の低下を引き起こし、研究対象のソース信号の強度が低いほど、検出器がキャプチャする必要がある蛍光信号もそれに従って低下し、検出器の感度が時間分解イメージングスペクトル装置の主な性能であり、検出器の感度が高いほど、装置の性能も高くなり、単一光子検出器は光学検出のリミットである光最小エネルギーを検出することができ、単一光子検出技術はずっと時間分解イメージングスペクトル装置の究極の追求である。
原理と従来の検出技術の条件制限により、新原理、新方法のみにより本当の意味での時間分解単一光子多次元イメージングシステムを実現することができ、本発明は数学的研究の最新結果‐圧縮センシング理論を採用して、現代の洗練された技術的条件を合わせて、一つの単一光子点検出器で二次元空間の分解測定を実現し、勿論、このような方法は二次元空間分布での一次元を節約し、検出感度でも、波長範囲でも表面要素検出器と比較するとより多くの明らかな利点があり、感度が非常に高く、スループット測定が高く、信号対雑音比が高く、波長の相応範囲が広く且つコストが低く、点検出器を用いて単一光子計数イメージングを実現し、必ず未来の単一光子レベルイメージングの重要な発展傾向になる。単一光子計数イメージングは極微弱光検出技術であり、光子計数及び光子が検出された確率特徴付け光強度分布を記録することにより画像を反転する。
ラインアレイ又は配列ガイガーモードの単一光子検出器で、イメージングスペクトルを実現することができ、時間分解でピコ秒分解精度まで実現することができ、感度で単一光子検出レベルに達し、空間分解でナノスケールに達し、本当の意味での単一光子時間分解イメージングスペクトルを実現し、従来のイメージングスペクトルと本質的に異なる。前記イメージングスペクトルは精確的なスペクトル情報を取得と表示する重要な技術であり、スペクトル画像はより多いスペクトル情報を含み、且つマルチスペクトルイメージング技術は良好的にメタメリズム現象を克服する。前記単一光子が極微弱光であり、光の不可分のエネルギーの最小単位と考えられる。該離散パルス信号が検出可能なリミットであり、通常単一光子検出器を用いて検出する。計数型の単一光子検出器は飽和状態で作動すると、感度が単一光子レベルに達することができ、統計的方法を採用して光子密度画像を取得し、未飽和状態で作動すると、出力した電気信号の振幅が検出した光子数の変化に従って変化し、この電気信号により極微弱光画像を取得する。該単一光子計数方法はパルススクリーニング技術とデジタル計数技術を用いて極めて微弱な自然離散信号を識別して抽出し、不安定要素による影響が小さく、検出器の熱ノイズの大部分の影響を除去することができ、それにより大幅に信号対雑音比を向上し、デジタル信号を出力する。
本発明の理論基礎は圧縮センシング理論と空間光変調器技術であり、従来の技術的圧縮センシング理論と空間光変調器技術は具体的に以下のように説明する:
圧縮センシング原理はDonoho、Tao及びCandesなどで提出した1つの新たな数学理論であり、ランダムサンプリングの方式、一層少ないデータサンプリング数(ナイキスト/シャノンのサンプリング定理のリミットよりもはるかに低い)で完全にオリジナル信号を回復することを実現し、且つより高いロバスト性を有する。該原理は主に圧縮サンプリングステップ、スパース変換ステップ及びアルゴリズム再構成ステップに分けられることができる。圧縮サンプリングは、測定された信号が高次元から低次元へマッピングと収集の過程であり、前記のスパース変換は適切なΨを選択して、xがΨ変化を経て取得した値x’がスパースであり、即ちxがΨフレームでスパース表現することができ、前記のアルゴリズム再構成は観測データy、測定マトリックスA及びフレームΨが既知の条件でy=AΨx’+eを解く過程であり、最後に更に、
でxを反転取得する。
前記空間光変調器(Spatial Light Modulator,SLMと略称する)は情報を一次元又は二次元の光学データフィールド上に載せて且つリアルタイムに光学情報処理する機器であり、時間に従って変化する電気駆動信号又は他の信号の制御で、空間での光分布の振幅又は強度、相位、偏光状態及び波長を変化し、又はインコヒーレント光をコヒーレント光に変換する。その最も典型的な代表はデジタルマイクロミラーデバイス(Digital Micro-mirror Device,DMDと略称する)であり、これは世界で最も精密的な光スイッチである。DMDの核心は数千のヒンジに設けられたマイクロミラーからなるマイクロミラー配列(主なDMDが1024×768の配列で構成され、最大で2048×1152に達することができる)であり、各ミラーのサイズが14μm×14μm(又は16μm×16μm)であり且つ1つの画素の光をオンオフすることができ、これらのマイクロミラーはすべて浮遊して、各ミラー下の記憶ユニットに対してすべてバイナリ平面信号で電子化アドレッシングを行うことにより、各ミラーを静電的に両側に10〜12°ほど(ここでは、+12°と-12°を取る)傾斜させ、この2種の状態を1及び0とそれぞれ標記し、それぞれ「オン」と「オフ」に対応し、ミラーが作動しない際、それらは0°の「停止」状態になる。
本発明は、ナノスケールとピコ秒スケールで、定成分、定量、定時、位置決めのように研究対象に含まれた成分及び成分の運動変化規律を「見る」且つ分析し、次元の増加による次元問題と感度問題を解決し、可視光と近赤外光の点及び配列単一光子検出技術、時間分解測定技術、空間光変調技術、圧縮センシング理論、単一光子計数イメージング技術、イメージングスペクトル技術、再構成アルゴリズム技術を合わせて、極微弱光単一光子レベルで物体を反射、散乱又は透過し、空間二次元、光強度、時間分解、スペクトル分解の5次元パラメータ情報を有するイメージングスペクトルを測定することを実現し、更に時間分解単一光子多次元イメージングシステム及び方法を提供し、国際関連分野の発展を促進するようになることを目的とする。
本発明は、時間分解単一光子計数二次元イメージングシステムを提出し、該システムは圧縮センシング原理に基づいてトリガーが触発した極微弱光源を採用して物体を照射して得られたイメージングスペクトルを秒レベル分解精度にし、更に時間に従って動的に変化する物体をイメージングし、時系列に従って配列された連続グレースケールビデオ画像フレームを出力し、前記システムは、
トリガー、光学イメージングシステム、DMDマイクロミラー配列、光学集束収集システム、光減衰器、単一光子計数器、ドライブ制御モジュール及び最適化アルゴリズムモジュールを備え、
前記トリガーはその前端に位置する極微弱光触発源で触発されて、該トリガーの出力端がドライブ制御モジュールの入力端と接続されて、トリガーが触発された際ドライブ制御モジュールはドライブ制御信号を出力してその出力端と接続されたDMDマイクロミラー配列と単一光子計数器を作動し始めるように触発し、該DMDマイクロミラー配列が反転し始め、単一光子計数器が同時に計数し始め、光減衰器は光強度を減衰することに用いられ、光学集束収集システムは光線を集束収集することに用いられ、単一光子計数器は光を単一光子計数するためのものであり、
前記単一光子計数器の出力端が前記最適化アルゴリズムモジュールの1つの入力端と接続され、単一光子計数器の計数値を最適化アルゴリズムモジュールの1つの入力パラメータとし、該ドライブ制御モジュールが記憶する選定領域のランダム測定マトリックスを受信してそのもう1つの入力パラメータとするために、前記最適化アルゴリズムモジュールのもう1つの入力端が前記ドライブ制御モジュールの一出力端と接続されて、前記最適化アルゴリズムモジュールは入力した単一光子計数器の測定値により前記ランダム測定マトリックスとスパース信号を再構成し、且つ光子密度画像を反転して取得し、M個のt時間間隔を経て、時系列に従って配列された時間分解可能な一連の二次元グレースケール画像ビデオフレームを再構成することができ、
前記DMDマイクロミラー配列はデジタルマイクロミラーデバイスであり、
前記DMDマイクロミラー配列の反転をドライブ制御するために、前記ドライブ制御モジュールのもう1つの出力端が前記DMDマイクロミラー配列の入力端と接続されて、該ドライブ制御モジュールはDLPデジタル光処理技術に基づいたものであり、該ドライブ制御モジュールがDMDマイクロミラー配列の作動領域を選定した後、疑似ランダム測定マトリックスをダウンロードして前記DMDマイクロミラー配列の反転をドライブ制御し、前記DMDマイクロミラー配列が反転する同時に前記単一光子計数器へ同期信号を送信して、DMDマイクロミラー配列と単一光子計数器の間の同期を保証し、即ちDMDマイクロミラー配列が一回反転すると、単一光子計数器が該回の反転の時間間隔内の単一光子数を累積計数し、DMDマイクロミラー配列が反転を完成した後、単一光子計数器がクリアして累積計数を再び開始し、すべての計数と該選定領域のランダム測定マトリックスがいずれも最適化アルゴリズムモジュールに伝送される。
上記技術案において、カラーイメージングに用いられる際、前記単一光子計数器が単一光子技術ラインアレイで切り替えられ、且つ前記単一光子計数ラインアレイと光学集束収集システムの間の光路上に分光光度計を設置する。
上記技術案において、前記光学イメージングシステムと光学集束収集システムはいずれも光学レンズ群を採用し、それぞれ光学イメージングと光学集束を担当し、極微弱光は光学イメージングシステムを通過した後、DMDマイクロミラー配列上に同じ大きさ又は縮小又は拡大の画像を形成することができ、実際の要求に従ってイメージング調整する。
上記技術において、前記光学集束収集システムはファイバー結合技術を用いて、即ち前記分光光度計で分光された光束をファイバーに結合し、ファイバー結合技術を用いて分光がそれぞれ対応の単一光子計数器上に収集され、
前記分光光度計は、光視準部、分光部、角度測定部、光度観察及び測定部を備え、スペクトルの分析と測定に用いられ、
前記分光光度計はプリズム分光光度計又は格子分光光度計に分けられる。
本発明は、これに基づいて時間分解単一光子多次元イメージングシステムに発展し、該システムは同様に圧縮センシング原理に基づいて、レーザーパルスにより物体蛍光を励起し、光強度分布とイメージングスペクトルを取得し、且つ時間分解方策を用いてピコ秒レベルまでの時間分解精度を実現し、更に蛍光寿命等の一時的な周期性物質を検出することに用いられ、前記システムは、
光源、イメージングスペクトル測定ユニット、電気検出ユニット、システム制御ユニット、処理ユニットを備え、
前記光源は、システム制御ユニットで送信した触発パルスの触発で、レーザーパルスを発生し、測定しようとする物体に当てて、該物体は該物体情報が載せられた蛍光を発生し、
前記イメージングスペクトル測定ユニットは、測定しようとする物体情報が載せられた光を空間光変調器(SLM)にイメージングし、該空間光変調器(SLM)はランダム光変調を採用して且つその上のイメージングを反射し、且つ反射光は光路上に配布された光集束収集部材により視準した後電気検出ユニットに入射することに用いられ、
前記電気検出ユニットは、時間分解方策に従って入射光を検出し且つ入射光の光子数を記録し、且つ各光子が到達する時間次元情報を記録することに用いられ、
前記処理ユニットは、入力したすべての各時間帯の光子数、光子の到達時間の次元情報及び前記ランダム光変調マトリックス情報により、圧縮センシングとイメージングスペクトルアルゴリズムを用いてマルチパラメータ情報のイメージングスペクトル再構成を実現し、且つ8種類のイメージングを出力することに用いられ、
前記システム制御ユニットは、各部材のイネーブルを備え、即ちドライブイネーブル信号を上記各部材に送信してそれを正常な動作を開始するようにし、且つ光源触発パルスと光子計数に対する同期を実現することに用いられ、且つマイクロミラー配列の反転とその上のランダムマトリックスの交換を制御し且つ一時的な周期の開始前又は終了後相応の調整をすることに用いられ、
前記空間光変調器はランダム数発生器によりベルヌーイバイナリランダムマトリックスをロードして、光に対するランダム光変調を実現し、前記時間分解方策は非周期変化の長い時系列過程に対してフレームずつ測定の方法を採用し、周期変化特性を有する一時的な過程に対して、最適化の時間分解方策を採用し、該最適化の時間分解方策は、具体的に、一時的な過程の周期を複数の検出サブ時間帯に分けて、点及び配列単一光子検出器は該検出サブ時間帯で測定しようとする対象を検出し、その光子数と光子が到達すべき時間の次元情報を記録し、最後に各最小時間単位を再構成の対象とすることである。
前記の時間分解単一光子多次元イメージングシステムは、前記電気検出ユニットがランダム数発生ユニット、高精度時間間隔測定器、点及び配列単一光子検出器、多チャネルカウンタ、及び遅延器を更に備え、
ランダム数発生ユニットは、空間光変調器(SLM)を変調するランダム数を発生することに用いられ、且つ該ランダム数発生ユニットは自然界のランダム源を収集してランダム数源として、真のランダム数を処理してランダム数を取得し空間光変調器(SLM)に出力し、
高精度時間間隔測定器は、検出時間を時間長さ区分することに用いられ、時間座標系における2つの時刻の間の持続時間を記録し、時間次元情報を取得し、精度をピコ秒レベルに制御することができることに用いられ、
点及び配列単一光子検出器は、該検出器が異なる波長に対応する複数のアバランシェダイオードからなり、前記アバランシェダイオードはガイガーモードで作動し、必用に応じてその一部のアバランシェダイオードをイネーブル設定することができ、非周期変化の長い時系列過程において各フレーム内に到達した光子を検出し、及び一時的な周期性過程において各周期に予定された時間帯内に到達した光子を検出し、且つパルス波形で出力することに用いられ、該予定された時間帯は前記周期持続時間長さのサブセットであり、
多チャネルカウンタは、パルスピーク数を同定及び累計し、点及び配列単一光子検出器が各チャネルで検出された光子数と光子到達時間を記録することに用いられ、
遅延器は、ある一時的な周期内にレーザーパルスに対する制御信号を送信する同時に、点及び配列単一光子検出器又は高精度時間測定器に対するイネーブルゲート制御信号を送信し又はゲート幅上昇が遅延のある時間帯に沿って送信され、該遅延の時間帯が一時的な周期内に対応する点及び単一光子検出器の検出サブ時間帯とすることができ、該時間分解の精度が20psであり、
前記遅延器は時間長さ区分モジュールで切り替えられることができ、前記時間長さ区分モジュールが一時的な周期を複数のサブ時間帯に等分し、且つ各サブ時間帯を点及び配列単一光子検出器及び多チャネルカウンタが検出と計数を行う時間長さ単位とすることに用いられ、該時間分解精度が50psであり、
前記時間長さ区分モジュール又は遅延器は更に多チャネルカウンタ内に設置された時間幅変換器で切り替えられることができ、該時間幅変換器が取得した光子の到達時間を電圧形態に変換して且つ対応のチャネルに記録し、且つ光子到達時間に従って光子数を区分し、統計して1つの周期において各時間間隔内の複数の累積計数を取得することに用いられ、時間分解精度が5psであることを特徴とする。
前記時間分解単一光子多次元イメージングシステムは、更に光集束収集部材と前記点及び配列単一光子検出器の光路上に設置された格子分光部材を備え、該格子分光部材が分光する前に凹面鏡を用いて入射光線を視準してそれを平行光とし、分光した後レンズを用いて各波長光をそれぞれ視準して相応チャネルのアバランシェダイオード上に集束し、スペクトル次元情報、即ち各波長での光強度情報を取得することに用いられ、前記スペクトル次元情報はスペクトル波長パラメータが含まれた画像を再構成することに用いられ、且つ格子分光にゼロ次回折、1次回折、2次回折……があり、前記ゼロ次回折が原像であり、残りの次の回折がすべてスペクトルであり、1次回折スペクトルが最も明るく、1次回折スペクトルを検出、又は高次回折スペクトルをそれぞれ検出して更に格子回折公式を用いて全体の光強度波長分布を取得し、
前記点及び配列単一光子検出器は該格子分光部材の焦平面上に設置される。
上記技術案において、前記処理ユニットは、更にデータ読み込み記憶器、及びアルゴリズム処理ユニットを備え、
データ読み込み記憶器は、入力した各サブ時間帯、各フレーム又は各イネーブルゲート制御信号時間帯内の光子数及び各光子到達時間の次元情報、相応のランダムマトリックスと検出器の各チャネルの対応の波長情報を記憶することに用いられ、それにより読み込みとキャッシュの役割を果たし、
アルゴリズム処理ユニットは、該ユニットが入力した多チャネルカウンタの計数値、空間光変調復調器を制御するランダムマトリックス、遅延器又は時間長さ区分モジュール又は時間幅変換器で記録した時間次元情報及び検出器の各チャネルの対応の波長情報に基づいて画像を再構成することに用いられ、更に以下の8種のイメージングを出力する:
(1)単一光子二次元イメージングI(x,y)を出力することに用いられる場合、該アルゴリズム処理ユニットは入力計数値、ランダムマトリックスパラメータにより、各種の異なる画像タイプに対して異なるスパースフレームを採用し、圧縮センシングアルゴリズムを用いて再構成し、且つマトリックス充填理論を合わせて画像を後処理し、圧縮センシングアルゴリズムは貪欲再構成アルゴリズム、マッチング追跡アルゴリズムMP、直交マッチング追跡アルゴリズムOMP、ベース追跡アルゴリズムBP、LASSO、LARS、GPSR、ベイズ推定アルゴリズム、magic、IST、TV、StOMP、CoSaMP、LBI、SP、l1_ls、smpアルゴリズム、SpaRSAアルゴリズム、TwISTアルゴリズム、l0再構成アルゴリズム、l1再構成アルゴリズム、l2再構成アルゴリズムなどを含み、
(2)単一光子二次元イメージングスペクトルI(x,y,λ)を出力することに用いられる場合、(1)のうえに検出器の各チャネルの対応の波長情報を追加し、各波長での光強度空間分布画像を取得し、イメージングスペクトル装置に用いられることができ、また赤、緑、青の三原色での光強度空間分布を取って、カラー画像になることができ、
(3)単一光子時間分解二次元イメージング(例えば蛍光寿命)I(x,y,t)を出力することに用いられる場合、(1)のうえに光子到達時間の次元情報を追加し、各サブ時間帯内の対象に対して画像の再構成を行い、時間長さ全体内の画像が動的に変化する過程を回復し、
(4)単一光子時間分解二次元イメージングスペクトルI(x,y,λ,t)を出力することに用いられる場合、(2)のうえに光子到達時間の次元情報を追加し、各サブ時間帯内の各波長光での対象に対して画像の再構成を行い、
(5)単一光子三次元イメージングI(x,y,z)を出力することに用いられる場合、大規模時間と蛍光を励起しない測定しようとする対象に対して、(3)のうえに光子が到達する時間間隔を用いて空間位置の光路差を換算し、即ち空間第三次元の距離情報が時間分解次元の派生物とサブセットであり、このように複数の層の異なる空間距離に対応する画像フレームを取得し、
(6)単一光子三次元イメージングスペクトルI(x,y,z,λ)を出力することに用いられる場合、(5)のうえに検出器の各チャネルの対応の波長情報を追加し、各波長での光強度空間三次元分布を取得し、
(7)単一光子時間分解三次元イメージングI(x,y,z,t)を出力することに用いられる場合、(5)のうえに大規模空間第三次元距離情報と一時的な周期のサブ時間帯次元情報を同定且つ区別し、前のものの時間長さが後のものよりも大きくし、更に時間分解三次元イメージングを回復し、
(8)単一光子時間分解三次元イメージングスペクトルI(x,y,z,λ,t)を出力することに用いられる場合、(6)のうえに大規模空間第三次元距離情報と一時的な周期のサブ時間帯次元情報を同定且つ区別し、最終に時間分解三次元イメージングスペクトルを取得する。
前記圧縮センシングの該原理は主に圧縮サンプリングステップ、スパース変換ステップ及びアルゴリズム再構成ステップに分けられる。圧縮サンプリングは、測定された信号が高次元から低次元へマッピングと収集する過程であり、前記のスパース変換は適切なスパースフレームを選択する過程であり、前記のアルゴリズム再構成は観測データy、測定マトリックスA及びフレームΨが既知の条件で信号を回復する過程である。
圧縮センシング理論により、マイクロミラー配列が圧縮可能な観測対象情報が載せられた光をランダム反射する必要があり、マイクロミラー配列における単一のマイクロミラーが+12°で反転する際反射した光が点及び配列単一光子検出器で受信し、マイクロミラー配列における単一のマイクロミラーが-12°で反転する際反射光が点及び配列単一光子検出器で受信することができなくなり、それにより、測定された信号に対する圧縮サンプリングを完成し、同時にマイクロミラー配列のシェーディングマトリックスの真ランダム性を確保し、更に光集束収集部材に反射される確率がランダムとなるように極微弱光を制御する。
数学モデルは以下のようである:
x∈RNが測定されたデータで、y∈RKが観測データで、A∈RRxNがランダム投影マトリックス(K=N)で、e∈RKがシステムノイズで、Kがxにおける非ゼロ要素の数、いわゆるスパース度であると、圧縮サンプリングの過程は以下の(1)式で表現することができる:
xが圧縮可能な又はスパース表現可能なものであると、
であり、Ψ={ψ1,ψ2,…,ψN}がスパース変換マトリックスであり、(1)式は(2)式に変形される:
AΨがRIP基準を満たし、AがΨと関連しないほど、サンプリングが必要する測定数Kは小さくなり、計算量は小さくなり、このため、本発明において、(2)式においてΨがフレームであり、Aがランダム測定マトリックスである。
二次元画像の画素総数をNの場合、(1)式における測定マトリックスがA=[a1,a2,…,aN]であり、aiがAの第i行であり、p×q画素の二次元画像の列をエンドツーエンド接続し、N×1(N=p×q)の一次元列ベクトルになり、(1)式におけるxに対応し、その各要素が相応位置の光子強度を表す。毎回の反転の際、マイクロミラー配列の行をエンドツーエンド接続し、1×Nの一次元行ベクトルになり、測定マトリックスAにおける一行に対応し、その各要素は相応位置のマイクロミラーが光集束収集部材の主軸方向へ反転するかどうかを表し、測定マトリックスAが合計M次元であり、即ちM行N列のマトリックスである。
システム制御ユニットはマイクロミラー配列をランダム反転し始め、毎回の点及び配列単一光子検出器が検出した光子数をnと記し、それは光子強度画像とマイクロミラー配列のランダム測定配列の間の内積値に相当し、(1)式における観察ベクトルyの1つの要素に対応し、
式において、K回の測定を繰り返し、全組の観測データy(yがK×1の一次元列ベクトルである)を取得することができる。
前記のスパース再構成は、観測データyと測定マトリックスAが既知の条件で(1)式におけるxを解くものであり、これは1つのill-posed問題であり、一般的に圧縮センシングアルゴリズムを用いて解き、該アルゴリズムは以上のように多種のタイプに分けられ、例示として、そのうちの1種の一般的な表現方式を取り、(3)式と表現する:
||…||pがノルム演算子を表し、
であり、一項が制約付き最小二乗であり、f(x)と記し、第二項がxスパース度に対する制約であり、2項の和が目標関数である。M≦O(K・log(N/K))回の測定のみで、完全に原信号を再構成することができる。
上記は光強度次元情報により単色光の画像を再構成するものであり、スペクトル次元情報を加えると、即ち各波長の信号をそれぞれ再構成し、スペクトル分析することができ、時間次元情報を加えると、即ち上記のうえに前記時間分解測定方法に従って時間間隔を分けて信号の再構成を行うことができ、時間分解を実現することができ、時間分解において取得した光子到達時間は、一定の条件の下で空間距離次元情報に変換することができ、即ち信号が距離に従って分類区分され、アルゴリズムが各距離での平面画像を再構成し、最後に各距離での再構成画像を一体に重ね合わせて、空間三次元立体画像を形成する。
本発明は、時間分解単一光子多次元イメージング方法を更に提出し、該方法が上記のシステムに基づいたものであり、前記方法は、
極微弱光単一光子の条件の下で、物体が励起されて又は自己励起されることにより放出、反射、散乱、透過又は屈折した光がレンズ群を通して空間光変調器にイメージングし、
圧縮センシング理論により前記空間光変調器でのランダム変調ベースを設置し、且つその反射光を点又は配列単一光子検出器に収集し、時間分解の方策を採用して、圧縮センシングアルゴリズムとイメージングスペクトルアルゴリズムにより5次元パラメータ情報を有するイメージングスペクトルの再構成を実現し、最終にナノスケールとピコ秒スケールでの単一光子時間分解イメージングスペクトルを実現し、
前記時間分解の測定方策は以下の3種の方法の中のいずれを採用することができる:
方策一、一時的な過程の周期が1.5ms〜5msである場合、光源をオンし、一時的な周期がTであると、該時間周期をd個の時間間隔に等分し、それぞれt1,t2,t3,…,tdと記し、該周期T内に空間光変調器でのランダム変調ベースマトリックスが不変することを保持し、点又は配列単一光子検出器はそれぞれti時間間隔内にある単一光子を検出し、i=1,2,・・・,dであり、多チャネルカウンタはそれぞれ各時間間隔内の単一光子数を記録し、且つ高精度時間測定器が記録したタイムコードと一体に合わせて1つのデータパケットとし、このように各計数の対応の時間間隔を取得することができ、同時に次回のレーザーパルスを発射する前に、即ち前の周期Tの対応のd個の時間間隔が丁度完全に測定し終わる時刻に、空間光変調器は瞬間に次のフレームに反転し、全部の上記操作をし、P回の反転を繰り返して、最終に各ti時間間隔が相応的にP個の計数を有し、それぞれP個のランダムマトリックスに対応し、この一対一の関係により、それぞれこのd個の時間間隔に対してアルゴリズムの再構成を行い、1つの一時的な周期内のスペクトル強度変化過程を反転して取得することができ、光強度が極めて弱い場合、多回で測定して累計して相応の計数を大きくし、そのように操作し、
方策二、一時的な過程の周期が80ns〜1.5msである場合、光源に触発パルスを伝送する同時に、イネーブル制御信号を各部材に送信し、該信号が該点又は配列単一光子検出器と高精度時間測定器に到達する前に遅延器を経過する必要があり、具体的に、1)まず、空間光変調器が1つのフレームを固定して不変することを保持し、点又は配列単一光子検出器のゲート幅の開始端が一時的な周期の開始時刻と重なり合うことを保持し、ゲート幅が一時的な周期Tよりも小さくし、周期が開始する際、点又は配列単一光子検出器と高精度時間測定器は同時に測定し始め、該一時的な周期内に一回のみを検出し、測定した計数値がゲート幅と該一時的な周期の重なり時間帯内の単一光子数であり、順次にQ回を繰り返して、そして、統計原理に基づいて毎回の計数を合計して、その後、デジタル遅延器を用いてゲート幅に20psを加え、上記ステップに従って同様に1つの計数合計を取得することができ、第1個の合計を参考値とし、第2個の合計と第1個の合計の差を延長したゲート幅時間内の統計計数とし、この方法に従って参考点時刻から蛍光寿命終了時刻までの間のd個の部分の統計計数を取得することができ、2)また、ゲート幅が不変することを保持すると、ゲート幅の到達時刻が早めになり、以上の方法に従って取得したシリーズの計数差値が蛍光寿命開始時刻から参考点時刻までの間のd個の部分の統計計数であり、上記の2つの点は、すべて蛍光寿命全体内の各部分の統計計数を取得するものであり、空間光変調器が一回反転すると、全部の上記操作をし、P回の反転を繰り返して、この際の各ti時間間隔は相応的にP個の計数を有し、それぞれP個のランダムマトリックスに対応し、この一対一の関係により、それぞれこのd個の時間間隔に対してアルゴリズムの再構成を行い、1つの周期内の一時的な過程を反転して取得することができ、光強度が極めて弱い場合、多回で測定して累計して相応の計数を大きくし、そのように操作し、
方策三、まず、空間光変調器が1つのフレームを固定して不変し、且つ光源に送信する触発パルスを時間幅変換器の参考パルスとし、そして時間幅変換器は光子を取得する時間を電圧形態で記録し、対応の時間チャネルに記録し、且つ光子が到達する時間に従って光子数を区分し、1つの周期内に各時間間隔内のd個の部分の累積計数を統計し、空間光変調器が一回に反転すると、全部の上記操作をし、P回の反転を繰り返して、この際各ti時間間隔が相応的にP個の計数を有し、それぞれP個のランダムマトリックスに対応し、この一対一の関係により、それぞれこのd個の時間間隔に対してアルゴリズムの再構成を行い、1つの周期内の一時的な過程を反転して取得することができ、光強度が極めて弱射場愛、多回で測定して累計して相応の計数を大きくし、そのように操作する。
上記技術案において、前記空間光変調器はマイクロミラー配列を採用し、
前記単一光子検出器は、光電子増倍管、ICCD、EMCCD、線形モード又はガイガーモード単一光子検出器であってよく、
前記の光源は赤外又は可視光を選択使用し、且つ前記レーザーが適切な波長のフェムト秒又はナノ秒パルスレーザーを選択使用する。
上記技術案において、空間光変調器の正負級光路上に同時に収集検出部材が設置されて且つ同時測定をし、正負のランダム測定マトリックスの相互関連性を利用して、関連回復アルゴリズムを採用して、再構成画像の品質を向上させ及び回復アルゴリズムの実行時間を短縮することができる。
一言で言えば、本発明に記載の単一光子時間分解イメージングスペクトル方法は、蛍光寿命イメージング(FLIM)システムに単一光子計数圧縮センシングイメージング技術を導入し、現在、国際での蛍光寿命イメージングと蛍光イメージングスペクトルシステムは一般的に光電子増倍管、ICCD、EMCCDなどの高精度光検出技術を採用し、ナノ変位プラットフォーム又はレーザビーム走査技術を合わせて、本発明は、初めて圧縮センシング理論、単一光子検出技術及び蛍光寿命測定技術を組み合わせて、走査方式が蛍光寿命イメージングの安定性に対する影響を考えて、極微弱光映像をランダムマイクロミラー配列にマッピングし、更にその反射光を点及び配列単一光子検出器に集束し、複数の部分に区分し統計して計数し、更に該区分計数シーケンスを圧縮センシングすることにより再構成画像を形成し、同時に5次元パラメータを有する単一光子時間分解イメージングスペクトルを取得することができる。
従来の技術と比べて、本発明の利点は、本発明に記載のシステムが可視光と近赤外光の点及び配列単一光子検出技術、時間分解測定技術、空間光変調技術、圧縮センシング理論、単一光子計数イメージング技術、イメージングスペクトル技術、再構成アルゴリズム技術を組み合わせて、ナノ精度の空間二次元、光強度、ピコ秒精度の時間分解、スペクトル分解の5次元パラメータ情報を有するイメージングスペクトル測定を実現することである。
本発明の主な技術的な問題と革新は、以下を含む:
(1)可視光と近赤外光の点及び配列単一光子検出技術を用いて、取得した単一光子計数データを時間に従ってグループ区分し、圧縮センシング理論を用いて、グループを再構成して単一光子時間分解イメージングを実現する。
(2)可視光と近赤外光の点及び配列単一光子検出技術とイメージングスペクトル技術を用いて、それぞれ時間、スペクトル部分に従って単一光子計数データのグループ区分及び計算をし、単一光子時間分解イメージングスペクトルを実現し、イメージングとスペクトルは同時に測定することができる。
(3)空間距離次元は時間分解次元のサブセットであるので、時間分解で取得した光子到達時間に従って空間距離での光路差を推定し、空間第三次元の次元情報を取得し、三次元立体イメージングを実現することができ、縦方向の解像度がミリメートルレベルに達し、平面解像度がナノレベルに達することができる。
(4)一時的な周期対象の測定に対して3種の新しい圧縮センシング原理に基づいた時間分解測定方法を提出する:時間間隔測定に基づく時間分解方法、遅延測定に基づく時間分解方法及び光子到達時間に基づく時間分解方法であり、それにより時間分解精度がピコ秒レベルに達する。
(5)圧縮センシングで、適切なフレームを選択して、マトリックス填充の考えを導入してイメージング品質を向上させる。
(6)8種のイメージングに対して、圧縮センシング理論を組み合わせて、相応のアルゴリズムを設計する。
以上の利点と革新に基づいて、本発明が研究したシステムは単一分子生物物理学、材料欠陥の検出、ナノ材料、マイクロエレクトロニクス、量子ドット、生命科学及び新エネルギー光電変換材料などの多くの新たなハイテク産業分野に広く応用することができる。
図1は、本発明による時間分解単一光子計数二次元イメージングシステムの構造模式図である。 図2は、本発明による観測対象が自発光物体である際の時間分解単一光子計数二次元イメージングシステムの構造模式図である。 図3は、本発明による圧縮センシング理論に基づいた時間分解極微弱光マルチスペクトルイメージングシステムの構造模式図である。 図4は、本発明による観測対象が自発光物体である際の時間分解極微弱光マルチスペクトルイメージングシステムの構造模式図である。 図5は、本発明が提出した時間分解単一光子多次元イメージングシステムの全体構造図である。 図6は、本発明による空間光変調器がDMDを採用する際その上の単一のマイクロミラーの反射機構原理図である。 図7は、本発明実施例の正負画像構造の簡素化原理図である。 図8は、本発明実施例が採用した時間分解測定方法のブロック図である。 図9は、本発明による時間間隔を分けて単一光子数を記録する模式図である。 図10は本発明実施例が採用したもう1つの時間分解測定方法のブロック図である。 図11は本発明が統計して差を取得した後時間間隔内の単一光子の計数の模式図である。
以下、図面と実施例を参照して本発明を更に説明する。
本発明技術案が提出した時間分解単一光子計数二次元イメージングシステムは、該システムがトリガー触発技術、圧縮センシング理論、空間光変調技術、ファイバー結合技術及び単一光子検出技術に基づいて、大規模時間と極微弱光単一光子のレベルの下で、革新的にトリガー18を採用して触発し、且つ毎回の触発後、検出して計数し始め、空間光変調技術を用いて画像信号をランダムに投影し、ランダムの光強度信号に変換し、単一光子検出器16を検出素子とし、t時間間隔(tが秒レベルである)毎に1組データ(1組データが1つの画像に対応する)をサンプリングし、累計の光子数を測定値として、最後に圧縮センシング及び関連アルゴリズム15を用いてそれに対して再構成を行い、先に集中にサンプリングし後にバッチで再構成して計算する方式を採用して、単一光子レベルの極微弱光二次元イメージングの時間分解を実現し、大規模時間で点検出器を用いて測定しようとする物体の動的な変化を観測することができることを特徴とする。
図1と図2に示すように、本発明に記載の時間分解単一光子計数二次元イメージングシステムは主に異なる波長のレーザー又はハロゲンランプ1、トリガー18、フィルタとアッテネータ2、光学イメージング部材3、DMD4、光集束収集部材7、単一光子検出器16、計数器17、システム制御プラットフォーム13と圧縮センシング及び関連アルゴリズム15からなる。
なお、先に単一光子検出器16をイネーブルし、それを持続に検出し、新しく設置されたトリガー18がシステム制御プラットフォーム13と接続されて、トリガー18が極微弱光で照射されると触発し始め、触発パルス形態でシステム制御プラットフォーム13に通知し、システム制御プラットフォーム13はドライブ制御信号を送信して空間光変調器(SLM)4を作動させ、計数器17が計数し始める。
本発明のまた1つの革新は、フィルタの作用は極微弱光の迷光をフィルタ除去し、後続のシステムに進入した極微弱光を検出に必要な波長範囲内にさせ、波長に対して要求がない場合は省略することができる。アッテネータは光を単一光子検出器の作動範囲に減衰し、測定された光強度が大きすぎ又は単一光子検出器16のゲート制御時間が長すぎることによる検出器の飽和ことを防止することに用いられる。光源の光強度が極めて微弱であると、更にアッテネータを設置する必要がない。光アッテネータを光源の後に設置し、これにより光源は極微弱光光源になり、システムノイズがそれに従って増大し、従って、設置の位置を考慮すべきである。
空間光変調器(SLM)4は+12°と-12°で(ある型番の空間光変調器(SLM)4が+10°と-10°で反転することができる)反転することができ、本システムにおいて、+12°を受信可能な反射角度とし、-12°で反転すると最後の単一光子検出器16に進入可能な反射光が非常に少なく、無視することができ、このため、光集束収集部材7の主光軸と光学イメージング部材の主光軸の角度が24°である。空間光変調器(SLM)4の作動領域を選択した後、システム制御プラットフォーム13に該領域のランダム数ファイルをダウンロードして且つ生成し、空間光変調器(SLM)4のランダム反転を制御し、空間光変調器(SLM)4は反転する同時に計数器へ同期信号を送信し、これは空間光変調器(SLM)4と単一光子検出器16の間の同期を保証しており、即ち空間光変調器(SLM)4が一回反転すると、単一光子検出器16は該回の反転の時間間隔内の単一光子数を累積計数し、空間光変調器(SLM)4の反転を完成した後、計数器がクリアして累積計数を再び開始し、すべての計数はすべてデータ回線により圧縮センシング及び関連アルゴリズム15に伝送されて、ランダムマトリックスとともに計算する。
本発明の更の革新は、前記の光学イメージング部材4と光集束収集部材7が、すべて光学レンズ群であり、それぞれ光学イメージングと光学集束を担当し、従来の技術の単一のレンズを用いてイメージングと集束することに限定されたものではないので、本発明の適用範囲が更に広くなり、空間光変調器(SLM)4においてイメージングの面積は最大に2048×1152画素までに達することができ、従来の技術と異なり、前記の光学イメージング部材4において、極微弱光が光学イメージング部材4を通過した後、空間光変調器(SLM)4に同じ大きさ又は縮小又は拡大の画像を形成し、且つ実際の需求に従ってイメージングを行うことができることである。後続の光路収集がファイバー結合技術に関連し、即ち集束した後の光束をファイバーに結合する。その革新は、ファイバー結合技術を用いて集束光を単一光子検出器16上に収集することであり、結合の良否が直接にイメージング品質を影響し、このため、結合の調整も更に困難になる。
前記の時間分解単一光子計数二次元イメージングシステムは、物体に対してグレースケール画像しか形成しなく、単一光子検出器ラインアレイ20で前記単一光子検出器16を切り替える場合、説明する必要があるのは、赤、緑、青の三原色の下での光強度空間分布を取得すればカラー画像を形成することができ、且つ前記単一光子検出器ラインアレイ20と光集束収集部材7の間の光路上に分光光度計を設置することにより、上記システムは時間分解極微弱光マルチスペクトルイメージングシステムに発展することができることを特徴とする。
図3に示すように、本発明は、時間分解極微弱光マルチスペクトルイメージングシステムを更に提供し、該システムは、異なる波長のレーザー又はハロゲンランプ1、トリガー18、フィルタとアッテネータ2、光学イメージング部材3、DMD4、光集束収集部材7、分光光度計19、単一光子検出器ラインアレイ20、多チャネルカウンタ10、システム制御プラットフォーム13と圧縮センシング及び関連アルゴリズム15からなる。単一光子検出器ラインアレイ20は異なる波長に対する複数の単一光子計数器からなる。
前記の時間分解極微弱光マルチスペクトルイメージングシステムは、前記光集束収集部材7がスペクトルにおける異なる波長の光をそれぞれ相応の単一光子検出器上に収集集束すること用いられ、自由空間結合方式又はファイバー視準方式を採用して、単一光子点検出器に対して優先にファイバー視準方式を選択することができ、アバランシェダイオード配列に対して優先に自由空間結合方式を選択することができ、
前記分光光度計19は、光視準部、分光部、角度測定部、光度観察及び測定部を備え、スペクトル分析と測定に用いられ、前記分光光度計はプリズム分光光度計又は格子分光光度計であり、フィルタホイールの方式を採用してスペクトル分光してもよいことを特徴とする。
上記2種のシステムにおいて、極微弱光が物体に当てた後の光発出方式は、主に物体が励起されて又は自己励起されて放出、反射、散乱、透過又は屈折することである。補足説明として、観測対象は自己発光の物体である場合、時間分解単一光子計数二次元イメージングシステムにおける極微弱光光源即ち異なる波長のレーザー又はハロゲンランプ1を除去してよく、図2、4に示すように、トリガー18、フィルタ及びアッテネータ2を自発光物体の右側の光路上に平行移動し、直接に観測する。
上記2つのシステムは、すべて従来の技術の上に革新的に時間分解方法を追加したものであり、それぞれは二次元平面画像フレームの時間分解とスペクトル次元を追加した平面画像フレームの時間分解であり、いずれもフレームずつ測定する方式を採用するが、秒レベルの大規模時間の動的な物体に対してのみイメージングすることができ、時間分解精度が比較的に低く、ただし、多くの物理と化学過程、例えば分子のシス-トランス異性化と方向性のリラクゼーション、電荷とプロトンの移転、励起分子の衝突前期解離、エネルギー伝達と蛍光寿命及び水中の電子の溶媒和などは、ただ10-8秒で完成することができ、ピコ秒の時間分解精度の分析装置のみによりこれらの高速過程をタイムリーに観察することができる。
図5に示すように、本発明は上記高精度時間分解問題を解決するために、時間分解単一光子多次元イメージングシステムを更に提出し、該システムは同様に圧縮センシング原理に基づいて、レーザーパルスにより物体蛍光を励起し、光強度分布とイメージングスペクトルを取得し、且つ時間分解方策を用いてピコ秒レベルまでの時間分解精度を実現し、更に蛍光寿命などの一時的な周期性物質を検出することに用いられることができ、前記多次元は光強度次元、平面二次元、スペクトル次元及び時間次元という5つの次元を含む。前記システムは、
光源、イメージングスペクトル測定ユニット、電気検出ユニット、システム制御ユニット、処理ユニットを備え、
本発明の技術ロードマップは主に可視光と近赤外光の点及び配列単一光子検出技術、時間分解測定技術、空間光変調技術、圧縮センシング理論、単一光子計数イメージング技術、イメージングスペクトル技術、再構成アルゴリズム技術によりシステムの研究を完成する。前記システムは、光源I、イメージングスペクトル測定ユニットII、電気検出ユニットIII、システム制御ユニットIV、アルゴリズムユニットVという5つのユニットを含む。
時間分解単一光子多次元イメージングシステムの全体構造図は図5に示すように、異なる波長のレーザー又はハロゲンランプ1は光を発出し、時間シーケンスを有する観測対象に照射し、それにフィルタとアッテネータ2を経て、光学イメージング部材3に進入する。特別なフィルタフィルタを用いて迷光を除去し、且つ単一色フィルタを採用して選択的にある波長の光を通過させ、光源が比較的に強い際、多組のアッテネータを組み合わせて光減衰し、単一光子レベルに達し、それにより後続の点及び配列単一光子検出器9が飽和することを防止する。前記光学イメージング部材3は観測対象の画像を空間光変調器(SLM)4にイメージングし、後のものはランダム数発生器8が発生したランダム数を載せることにより光をランダム変調し、その射出光を一定のランダム的な確率で後続の光集束収集部材7の方向へ偏向し、圧縮センシング理論により、そのランダム性が高いほど、イメージングの品質が良好になる。集束收光の方式は多種があり、目的はすべて迷光を集束視準し、最後に点及び配列単一光子検出器9で受信されることができ、なお、図5に記載の集束收光光路はただ概略図であり、唯一の評価基準とするものではない。スペクトル検出を行うために、更に格子分光部材6を増設する必要があり、光信号に対してスペクトル分解測定を行い、点及び配列単一光子検出器9における各単一光子点検出器はそれぞれ各特定波長の光をキャプチャする。
上記技術案の補足として、スペクトル分光機構の異なりにより、一般的にフィルタリング型と分散型の分光に分けられる。フィルタリング型の分光に対して、予定された制限な部分のスペクトルのみに検出を実現することができ、且つフィルタホイールを回転するなどの方式によりスペクトル次元で「走査」を行う。分散型分光に対して、分散素子(プリズム又は格子)は空間光変調器(SLM)4が反射した異なる波長の光照射野を短い波長から長い波長まで順次に点及び配列単一光子検出器9の異なる位置に照射し、走査する必要がなく、各スペクトル部分の画像を同時に取得する。該分光方式において、スペクトル解像度の高さが分散素子(プリズム又は格子)に到達する入射光の視準度と比例にし、視準性が良いほどスペクトル解像度が高くなり、且つスペクトル解像度と空間解像度は互いに制限される。ここで、説明のための例示として、ブレーズ格子を選択してスペクトル分散分光する。凹面鏡5の視準と光束拡張により空間光変調器(SLM)4の反射光照射野を視準してブレーズ格子面に投影し、光束をできるだけ全体の格子面に完全に照射する。更に光集束収集部材7における集束システムにより、準平行光は格子に入射し反射した後、集束され、異なる波長の光をその焦平面で空間的分離を実現する。焦平面に点及び配列単一光子検出器9を設置すれば、各スペクトル情報を記録することができ、圧縮センシング及び関連アルゴリズムを用いて全体のスペクトル範囲内の画像情報を取得することができる。
電気検出ユニットIIIにおいて、点及び配列単一光子検出器9は入力した光信号を有効的なパルス信号に処理して出力し、多チャネルカウンタ10により特定の時間間隔内の単一光子数を記録し、同時に高精度時間測定器11を並列接続することにより相応のタイムスタンプ(タイムコード)を記録する。最後に光子計数、タイムスタンプ(タイムコード)及びランダム数発生器8が出力したランダムマトリックスはともにパッケージ化されてアルゴリズムユニットVのデータパケット記憶器14に進入する。
電気検出ユニットIVにおいて、システム制御プラットフォーム13は各ユニット部材のイネーブルを制御し、且つ圧縮センシング原理に基づく時間分解測定において重大な役割を果たす。具体的に、それは一定の時間帯に空間光変調器(SLM)4の相応のランダムマトリックスの不変を維持し、且つ精確的にそれを制御してある特定な時刻に瞬間に次のフレームランダムマトリックスに反転することができる。各種の時間分解測定方法により、それは光源I、点及び配列単一光子検出器9、多チャネルカウンタ10及び高精度時間測定器11の間のペース協調を制御し、且つ非同期の時間差を除去する。なお、遅延測定に基づく時間分解方法においてデジタル遅延器12を増設することにより、点及び配列単一光子検出器9に対するピコ秒レベルのゲート制御を完成する。光子到達時間に基づく時間分解方法において、多チャネルカウンタ10における時間幅変換器は光子を取得する時間(start to stop)を電圧形態で記録し、対応の時間チャネルに記録し、且つ光子が到達する時間に従って光子数を区分することにより、1つの周期内での各時間間隔内の複数の累積計数を統計する。
システムは圧縮センシング原理により多回の測定を繰り返すと、シリーズの計数値、タイムスタンプ(タイムコード)及びランダムマトリックスを取得することができ、アルゴリズムユニットVにおける圧縮センシング及び関連アルゴリズム15は最後にこれらの入力により必要するイメージングを再構成し、主に、単一光子二次元イメージングI(x,y)、単一光子三次元イメージングI(x,y,z)、単一光子二次元イメージングスペクトルI(x,y,λ)、単一光子時間分解二次元イメージング(例えば蛍光寿命)I(x,y,t)、単一光子三次元イメージングスペクトルI(x,y,z,λ)、単一光子時間分解三次元イメージングI(x,y,z,t)、単一光子時間分解二次元イメージングスペクトルI(x,y,λ,t)及び単一光子時間分解三次元イメージングスペクトルI(x,y,z,λ,t)がある。
なお、デジタルマイクロミラーデバイス(DMD)を1つの空間光変調器(SLM)4の特例として、その単一のマイクロミラーの反射機構原理を説明する。図6に示すように、入射光線がマイクロミラー配列の単一のマイクロミラー法線と24°になる際、反射光線も法線と24°になり、マイクロミラーが+12°で反転する際、マイクロミラーの法線も時計回りで+12°反転し、反射定律により、反射光線は時計回りで+24°反転する必要があり、即ち初期位置際の法線と同一の直線になり、該初始位置際の法線方向を後続の光集束収集部材7の受信方向に設置することができ、即ち射出光が最後に点及び配列単一光子検出器9に進入する。同様に、マイクロミラーが-12°反転する際、この際の反射光線は初始位置際の法線と-48°になり、後続の光集束収集部材にほぼ進入しなく、このため、マイクロミラーが-12°反転する際の反射光を無視してよい。ここには、時計回りの反転を正とし、反時計回りの反転を負とする。受信の方向が逆転して設置されてもよい。
上記技術案の補足として、図7に示す正負画像構造の簡素化原理図は、空間光変調器(SLM)4の正負級光路上にいずれも点及び配列単一光子検出器9を設置してよく、同期に符合測定をし、正負級ランダム測定マトリックスの相互関連性を利用して、関連回復アルゴリズムを採用し、再構成画像の品質を向上させるとともに回復アルゴリズムの実行時間を短縮することができることを特徴とする。
前記の方策一の時間分解測定方法は、時間間隔測定に基づいた時間分解方法であり、その原理ブロック図は図8に示すようなものであり、図9は時間間隔を分けて単一光子数を記録する模式図であり、前記の方策二の時間分解測定方法は遅延測定に基づいた時間分解方法であり、その原理ブロック図は図10に示すようなものであり、図11は統計して差を取得した後時間間隔内の単一光子計数の模式図であり、最後に時間間隔測定に基づく時間分解問題に変換し、同様に、前記の方策三の時間分解測定方法は光子到達時間に基づいた時間分解方法であり、最後に図9に示すような1つの周期内に各時間間隔内の複数の累積計数を統計するようになる。具体的な方法は発明内容において詳しく説明したので、ここで再び説明しない。
上記技術案の改善として、システムの信号対雑音比(signal to noise ratio,SNRと略称する)を分析するために、SNRを信号とシステムノイズの分散の比とする。システムノイズは、点及び配列単一光子検出器9の暗計数、環境ノイズ、電気ノイズ、光学ノイズなどを含む。分散は信号の変動状況と解することができ、システムノイズの変動が信号の変動をカバーすると、圧縮センシングアルゴリズムは働かなくなり、システムノイズの変動が信号の変動よりも小さくし又ははるかに小さいと、ほぼ完全に画像を再構成することができる。システムの信号対雑音比を向上させるために、システムに対してシールパッケージしてよく、且つ点及び配列単一光子検出器9の相応のパラメータを向上させ、システムの安定性を向上させ、これはイメージング品質の向上に大幅に寄与する。
以上のように、本発明が提出した時間分解単一光子又は極微弱光多次元イメージングスペクトルシステム及び方法は、新世代高性能時間分解単一光子多次元イメージングシステムに属し、それは圧縮感知(Compressive Sensing,CSと略称する)理論と単一光子検出技術に基づいて実現するものであり、次元の増加による次元問題と感度問題を効果的に解決することができる。圧縮センシング原理はシャノンサンプリング定理のリミットを超えて、ランダムサンプリングの方式で、より少ないデータサンプリング数(ナイキストサンプリング定理のリミットよりもはるかに少ない)で、完全にオリジナル信号を回復し、且つ高ロバスト性を有する。該原理は主に、圧縮サンプリングステップ、スパース変換ステップ及びアルゴリズム再構成ステップを含む。圧縮サンプリングは、測定された信号が高次元から低次元へマッピングして収集された過程であり、前記のスパース変換は適切なΨを選択して、xがΨ変化を経て取得した値x’はスパースであり、即ちxがΨフレームでスパース表現することができ、前記のアルゴリズム再構成は観測データy、測定マトリックスA及びフレームΨが既知の条件下でy=AΨx’+eを解く過程であり、最後に
でxを反転して取得する。
本発明において、時間分解単一光子多次元イメージングシステムは強大な機能を実現することができ、国際での唯一の単一光子検出感度、ピコ秒時間解像度、ナノ空間解像度、広いスペクトルバンドを有し、点検出器でイメージングを実現する最先進の分析システムであり、速度が速く、解像度が高く、安定性が高く、効率が高く、試験成功の確率が大きいなどの利点を有し、材料学、物理、化学、生命学などの関連基礎先進分野の研究を行うことに必要する定量分析工具であり、且つ有効的に配列式ナノ材料構造と生体高分子及び細胞の微細構造を試験することができ、工業においてナノ半導体機器、生物製薬、臨床腫瘍組織及び産品のバッチ検出と品質監視などの科研分野にも適用する。
本発明は、同時に以前の研究の改善と革新に基づいたものであり、主に該分野の『単一光子計数イメージングシステム及びその方法』(中国出願番号又は特許番号:201110103559.3,出願者又は特許権者:中国科学院空間科学と応用研究センター)、『極微弱光マルチスペクトルイメージング方法及びそのシステム』という二つの特許に基づいたものである。本発明は、そのうえに、上記特定の場合に時間分解次元情報を用いて空間第三次元距離パラメータを導出し、8種類のイメージングに拡張する:単一光子二次元イメージングI(x,y)、単一光子三次元イメージングI(x,y,z)、単一光子二次元イメージングスペクトルI(x,y,λ)、単一光子時間分解二次元イメージング(例えば蛍光寿命)I(x,y,t)、単一光子三次元イメージングスペクトルI(x,y,z,λ)、単一光子時間分解三次元イメージングI(x,y,z,t)、単一光子時間分解二次元イメージングスペクトルI(x,y,λ,t)及び単一光子時間分解三次元イメージングスペクトルI(x,y,z,λ,t)である。本発明は初めて圧縮センシング理論、単一光子検出技術及び蛍光寿命測定技術を一体に組み合わせて、一言で言えば、本発明は時間分解単一光子又は極微弱光多次元イメージングスペクトルシステム及び方法を提供し、単一光子時間分解イメージングスペクトルの技術分野に属し、前記システムは可視光と近赤外光の点及び配列単一光子検出技術、時間分解測定技術、空間光変調技術、圧縮センシング理論、単一光子計数イメージング技術、イメージングスペクトル技術、再構成アルゴリズム技術を合わせて、極微弱光単一光子レベルで物体を反射、散乱又は透過する空間二次元、光強度、時間分解、スペクトル分解の5次元パラメータ情報を有するイメージングスペクトル測定を実現する。該システムは主に光源、イメージングスペクトル測定ユニット、電気検出ユニット、システム制御ユニット、アルゴリズムユニットからなり、物体情報を載せる光は空間光変調器にイメージングされて、圧縮センシング理論に従ってランダム変調されて、且つ点及び配列単一光子検出器を用いてその反射光を収集し、同時に光子数と光子到達時間を記録し、圧縮センシングアルゴリズムとイメージングスペクトル関連アルゴリズムを用いて再構成し、単一光子検出感度、高時間解像度、広いスペクトル範囲を有し、単一分子生物物理学、材料欠陥の検出、ナノ材料、マイクロエレクトロニクス、量子ドット、生命科学及び新エネルギー光電変換材料などの多くの新たなハイテク産業分野に広く応用することができる。
本発明は、単一光子検出器を用いて光子検出し、計数器を用いて該検出器が出力する離散パルスの数を記録する。時間分解技術を用いる際、タイムスケール変換(Time to Amplitude Converter,TACと略称する)技術を用いて時間分解測定方法を発展し、更に圧縮センシング理論との組み合わせに適しており、圧縮センシング理論を用いる際、核心アルゴリズムは共用であるが、該発明に適するようにアルゴリズムを発展させ、8種類のイメージングに対してそれぞれ8種類の相応の改善措置を提出し、具体的に発明内容を参考することができ、空間光変調器を用いる際は、主にランダム数発生器によりベルヌーイバイナリランダムマトリックスをロードして、光に対するランダム光変調を実現し、スペクトル分光を用いる際は公知の分光技術を用いる。
最後に説明する必要があるのは、具体的な実施形態において、前記アルゴリズムは大量の試験データの検証を経て、真実で信頼可能であり、ハードウェアを合わせて本発明の技術案を実現することができる。前記のすべての実施例は更に本発明を詳しく説明するものであり、絶対なものではなくて、相応的に発展することができる。当業者は、本発明の技術案に対する修正、添加、削除又は同等交換は、すべて本発明の技術案の主旨と範囲を逸脱しないものであり、いずれも本発明の請求の範囲に属すべきであることを理解すべきである。
1 異なる波長のレーザー又はハロゲンランプ
2 フィルタとアッテネータ
3 光学イメージング部材
4 空間光変調器(SLM)又はDMD
5 凹面鏡(選択可能)
6 格子分光部材
7 光集束収集部材
8 ランダム数発生器
9 点及び配列単一光子検出器
10 多チャネルカウンタ
11 高精度時間測定器
12 デジタル遅延器(選択可能)
13 システム制御プラットフォーム
14 データパケット記憶器
15 圧縮センシング及び関連アルゴリズム
16 単一光子検出器
17 計数器
18 トリガー
19 分光光度計
20 単一光子検出器ラインアレイ

Claims (10)

  1. 時間分解単一光子計数二次元イメージングシステムであって、該システムは圧縮センシング原理に基づいてトリガーが触発した極微弱光源を採用して物体を照射して得られたイメージングスペクトルを秒レベル分解精度にし、更に時間に従って動的に変化する物体をイメージングし、時系列に従って配列された連続グレースケールビデオ画像フレームを出力し、前記システムは、
    トリガー、光学イメージングシステム、DMDマイクロミラー配列、光学集束収集システム、光減衰器、単一光子計数器、ドライブ制御モジュール及び最適化アルゴリズムモジュールを備え、
    前記トリガーはその前端に位置する極微弱光触発源で触発されて、該トリガーの出力端がドライブ制御モジュールの入力端と接続されて、トリガーが触発された際ドライブ制御モジュールはドライブ制御信号を出力してその出力端と接続されたDMDマイクロミラー配列と単一光子計数器を作動し始めるように触発し、該DMDマイクロミラー配列が反転し始め、単一光子計数器が同時に計数し始め、光減衰器は光強度を減衰することに用いられ、光学集束収集システムは光線を集束収集することに用いられ、単一光子計数器は光を単一光子計数するためのものであり、
    前記単一光子計数器の出力端が前記最適化アルゴリズムモジュールの1つの入力端と接続され、単一光子計数器の計数値を最適化アルゴリズムモジュールの1つの入力パラメータとし、該ドライブ制御モジュールが記憶する選定領域のランダム測定マトリックスを受信してそのもう1つの入力パラメータとするために、前記最適化アルゴリズムモジュールのもう1つの入力端が前記ドライブ制御モジュールの一出力端と接続されて、前記最適化アルゴリズムモジュールは入力した単一光子計数器の測定値により前記ランダム測定マトリックスとともにスパース信号を再構成し、且つ光子密度画像を反転して取得し、M個のt時間間隔を経て、時系列に従って配列された時間分解可能な一連の二次元グレースケール画像ビデオフレームを再構成することができ、
    前記DMDマイクロミラー配列はデジタルマイクロミラーデバイスであり、
    前記DMDマイクロミラー配列の反転をドライブ制御するために、前記ドライブ制御モジュールのもう1つの出力端が前記DMDマイクロミラー配列の入力端と接続されて、該ドライブ制御モジュールはDLPデジタル光処理技術に基づいたものであり、該ドライブ制御モジュールがDMDマイクロミラー配列の作動領域を選定した後、疑似ランダム測定マトリックスをダウンロードして前記DMDマイクロミラー配列の反転をドライブ制御し、前記DMDマイクロミラー配列が反転する同時に前記単一光子計数器へ同期信号を送信して、DMDマイクロミラー配列と単一光子計数器の間の同期を保証し、即ちDMDマイクロミラー配列が一回反転すると、単一光子計数器が該回の反転の時間間隔内の単一光子数を累積計数し、DMDマイクロミラー配列が反転を完成した後、単一光子計数器がクリアして累積計数を再び開始し、すべての計数と該選定領域のランダム測定マトリックスがいずれも最適化アルゴリズムモジュールに伝送される時間分解単一光子計数二次元イメージングシステム。
  2. カラーイメージングに用いられる際、前記単一光子計数器が単一光子技術ラインアレイで切り替えられ、且つ前記単一光子計数ラインアレイと光学集束収集システムの間の光路上に分光光度計を設置することを特徴とする請求項1に記載の時間分解単一光子計数二次元イメージングシステム。
  3. 前記光学イメージングシステムと光学集束収集システムはいずれも光学レンズ群を採用し、それぞれ光学イメージングと光学集束を担当し、極微弱光は光学イメージングシステムを通過した後、DMDマイクロミラー配列上に同じ大きさ又は縮小又は拡大の画像を形成することができ、実際の要求に従ってイメージング調整することを特徴とする請求項1又は2に記載の時間分解単一光子計数二次元イメージングシステム。
  4. 前記光学集束収集システムはファイバー結合技術を用いて、即ち前記分光光度計で分光された光束をファイバーに結合し、ファイバー結合技術を用いて分光がそれぞれ対応の単一光子計数器上に収集され、
    前記分光光度計は、光視準部、分光部、角度測定部、光度観察及び測定部を備え、スペクトルの分析と測定に用いられ、
    前記分光光度計はプリズム分光光度計又は格子分光光度計に分けられることを特徴とする請求項3に記載の時間分解単一光子計数二次元イメージングシステム。
  5. 時間分解単一光子多次元イメージングシステムであって、該システムは同様に圧縮センシング原理に基づいて、レーザーパルスにより物体蛍光を励起し、光強度分布とイメージングスペクトルを取得し、且つ時間分解方策を用いてピコ秒レベルまでの時間分解精度を実現し、更に蛍光寿命等の過度的な周期性物質を検出することに用いられ、前記システムは、
    光源、イメージングスペクトル測定ユニット、電気検出ユニット、システム制御ユニット、処理ユニットを備え、
    前記光源は、システム制御ユニットで送信した触発パルスの触発で、レーザーパルスを発生し、測定しようとする物体に当てて、該物体は該物体情報が載せられた蛍光を発生し、
    前記イメージングスペクトル測定ユニットは、測定しようとする物体情報が載せられた蛍光を空間光変調器にイメージングし、該空間光変調器はランダム光変調を採用して且つその上のイメージングを反射し、且つ反射光は光路上に配布された光集束収集部材により視準した後電気検出ユニットに入射することに用いられ、
    前記電気検出ユニットは、時間分解方策に従って入射光を検出し且つ入射光の光子数を記録し、且つ各光子が到達する時間次元情報を記録することに用いられ、
    前記処理ユニットは、入力したすべての各時間帯の光子数、光子の到達時間の次元情報及び前記ランダム光変調マトリックス情報により、圧縮センシングとイメージングスペクトルアルゴリズムを用いてマルチパラメータ情報のイメージングスペクトル再構成を実現し、且つ8種類のイメージングを出力することに用いられ、
    前記システム制御ユニットは、各部材のイネーブルを備え、即ちドライブイネーブル信号を上記各部材に送信してそれを正常な動作を開始するようにし、且つ光源触発パルスと光子計数に対する同期を実現することに用いられ、且つマイクロミラー配列の反転とその上のランダムマトリックスの交換を制御し且つ過度的な周期の開始前又は終了後相応の調整をすることに用いられ、
    前記空間光変調器はランダム数発生器によりベルヌーイバイナリランダムマトリックスをロードして、光に対するランダム光変調を実現し、前記時間分解方策は非周期変化の長い時系列過程に対してフレームずつ測定の方法を採用し、周期変化特性を有する過度的な過程に対して、最適化の時間分解方策を採用し、該最適化の時間分解方策は、具体的に、過度的な過程の周期を複数の検出サブ時間帯に分けて、点及び配列単一光子検出器は該検出サブ時間帯で測定しようとする対象を検出し、その光子数と光子が到達すべき時間の次元情報を記録し、最後に各最小時間単位を再構成の対象とすることである時間分解単一光子多次元イメージングシステム。
  6. 前記電気検出ユニットがランダム数発生ユニット、高精度時間間隔測定器、点及び配列単一光子検出器、多チャネルカウンタ、及び遅延器を更に備え、
    ランダム数発生ユニットは、空間光変調器を変調するランダム数を発生することに用いられ、且つ該ランダム数発生ユニットは自然界のランダム源を収集してランダム数源として、真のランダム数を処理してランダム数を取得し空間光変調器に出力し、
    高精度時間間隔測定器は、検出時間を時間長さ区分することに用いられ、時間座標系における2つの時刻の間の持続時間を記録し、時間次元情報を取得し、精度をピコ秒レベルに制御することができることに用いられ、
    点及び配列単一光子検出器は、該検出器が異なる波長に対応する複数のアバランシェダイオードからなり、前記アバランシェダイオードはガイガーモードで作動し、必用に応じてその一部のアバランシェダイオードをイネーブル設定することができ、非周期変化の長い時系列過程において各フレーム内に到達した光子を検出し、及び過度的な周期性過程において各周期に予定された時間帯内に到達した光子を検出し、且つパルス波形で出力することに用いられ、該予定された時間帯は前記周期持続時間長さのサブセットであり、
    多チャネルカウンタは、パルスピーク数を同定及び累計し、点及び配列単一光子検出器が各チャネルで検出された光子数と光子到達時間を記録することに用いられ、
    遅延器は、ある過度的な周期内にレーザーパルスに対する制御信号を送信する同時に、点及び配列単一光子検出器又は高精度時間測定器に対するイネーブルゲート制御信号を送信し又は送信のために一定期間ゲート幅上昇端を遅延させ、該遅延の時間帯が過度的な周期内に対応する点及び単一光子検出器の検出サブ時間帯とすることができ、該時間分解の精度が20psであり、
    前記遅延器は時間長さ区分モジュールで切り替えられることができ、前記時間長さ区分モジュールが過度的な周期を複数のサブ時間帯に等分し、且つ各サブ時間帯を点及び配列単一光子検出器及び多チャネルカウンタが検出と計数を行う時間長さ単位とすることに用いられ、該時間分解精度が50psであり、
    前記時間長さ区分モジュール又は遅延器は更に多チャネルカウンタ内に設置された時間幅変換器で切り替えられることができ、該時間幅変換器が取得した光子の到達時間を電圧形態に変換して且つ対応のチャネルに記録し、且つ光子到達時間に従って光子数を区分し、統計して1つの周期において各時間間隔内の複数の累積計数を取得することに用いられ、時間分解精度が5psであることを特徴とする請求項5に記載の時間分解単一光子多次元イメージングシステム。
  7. 前記時間分解単一光子多次元イメージングシステムは、更に光集束収集部材と前記点及び配列単一光子検出器の光路上に設置された格子分光部材を備え、該格子分光部材が分光する前に凹面鏡を用いて入射光線を視準してそれを平行光とし、分光した後レンズを用いて各波長光をそれぞれ視準して相応チャネルのアバランシェダイオード上に集束し、スペクトル次元情報、即ち各波長での光強度情報を取得することに用いられ、前記スペクトル次元情報はスペクトル波長パラメータが含まれた画像を再構成することに用いられ、
    前記点及び配列単一光子検出器は該格子分光部材の焦平面上に設置されることを特徴とする請求項5に記載の時間分解単一光子多次元イメージングシステム。
  8. 前記処理ユニットは、更にデータ読み込み記憶器、及びアルゴリズム処理ユニットを備え、
    データ読み込み記憶器は、入力した各サブ時間帯、各フレーム又は各イネーブルゲート制御信号時間帯内の光子数及び各光子到達時間の次元情報、相応のランダムマトリックスと検出器の各チャネルの対応の波長情報を記憶することに用いられ、それにより読み込みとキャッシュの役割を果たし、
    アルゴリズム処理ユニットは、該ユニットが入力した多チャネルカウンタの計数値、空間光変調復調器を制御するランダムマトリックス、遅延器又は時間長さ区分モジュール又は時間幅変換器で記録した時間次元情報及び検出器の各チャネルの対応の波長情報に基づいて画像を再構成することに用いられ、更に以下の8種のイメージングを出力する:
    第1種、単一光子二次元イメージングI(x,y)を出力することに用いられる場合、該アルゴリズム処理ユニットは入力計数値、ランダムマトリックスにより、圧縮センシングアルゴリズムを用いて再構成し、且つマトリックス充填理論を合わせて画像を後処理し、前記圧縮センシングアルゴリズムは、貪欲再構成アルゴリズム、マッチング追跡アルゴリズムMP、直交マッチング追跡アルゴリズムOMP、ベース追跡アルゴリズムBP、LASSO、LARS、GPSR、ベイズ推定アルゴリズム、magic、IST、TV、StOMP、CoSaMP、LBI、SP、l1_ls、smpアルゴリズム、SpaRSAアルゴリズム、TwISTアルゴリズム、l0再構成アルゴリズム、l1再構成アルゴリズム、l2再構成アルゴリズムを含み、
    第2種、単一光子二次元イメージングスペクトルI(x,y,λ)を出力することに用いられる場合、前記第1種のアルゴリズムのうえに検出器が取得した各チャネルの対応の波長情報を追加し、各波長での光強度空間分布画像を取得し、イメージングスペクトル装置に用いられることができ、また赤、緑、青の三原色での光強度空間分布を取って、カラー画像になることができ、
    第3種、単一光子時間分解二次元イメージングI(x,y,t)を出力することに用いられる場合、前記第1種のうえに光子到達時間の次元情報を追加し、各サブ時間帯内の対象に対して画像の再構成を行い、時間長さ全体内の画像が動的に変化する過程を回復し、
    第4種、単一光子時間分解二次元イメージングスペクトルI(x,y,λ,t)を出力することに用いられる場合、前記第2種のアルゴリズムのうえに光子到達時間の次元情報を追加し、各サブ時間帯内の各波長光での対象に対して画像の再構成を行い、
    第5種、単一光子三次元イメージングI(x,y,z)を出力することに用いられる場合、大規模時間と蛍光を励起しない測定しようとする対象に対して、前記第3種のアルゴリズムのうえに光子が到達する時間間隔を用いて空間位置の光路差を換算し、前記光路差は空間第三次元の距離情報が時間分解次元の派生物とサブセットであり、このように複数の層の異なる空間距離に対応する画像フレームを取得し、
    第6種、単一光子三次元イメージングスペクトルI(x,y,z,λ)を出力することに用いられる場合、前記第5種のアルゴリズムのうえに点及び単一光子検出器が取得した各チャネルの対応の波長情報を追加し、各波長での光強度空間三次元分布を取得し、
    第7種、単一光子時間分解三次元イメージングI(x,y,z,t)を出力することに用いられる場合、前記第5種のアルゴリズムのうえに大規模空間第三次元距離情報と過度的な周期のサブ時間帯次元情報を同定且つ区別し、前のものの時間長さが後のものよりも大きくし、更に時間分解三次元イメージングを回復し、
    第8種、単一光子時間分解三次元イメージングスペクトルI(x,y,z,λ,t)を出力することに用いられる場合、前記第6種のアルゴリズムのうえに大規模空間第三次元距離情報と過度的な周期のサブ時間帯次元情報を同定且つ区別し、最終に時間分解三次元イメージングスペクトルを取得する、
    ことを特徴とする請求項5に記載の時間分解単一光子多次元イメージングシステム。
  9. 時間分解単一光子多次元イメージング方法であって、該方法が請求項5に記載のシステムに基づいたものであり、前記方法は、
    極微弱光単一光子の条件の下で、物体が励起されて又は自己励起されることにより放出、反射、散乱、透過又は屈折した光がレンズ群を通して空間光変調器にイメージングし、
    圧縮センシング理論により前記空間光変調器にランダム変調ベースを設置し、且つその反射光を点又は配列単一光子検出器に収集し、時間分解の方策を採用して、圧縮センシングアルゴリズムとイメージングスペクトルアルゴリズムにより5次元パラメータ情報を有するイメージングスペクトルの再構成を実現し、最終にナノスケールとピコ秒スケールでの単一光子時間分解イメージングスペクトルを実現し、
    前記時間分解の測定方策は以下の3種の方法の中のいずれを採用することができる:
    方策一、過度的な過程の周期が1.5ms〜5msである場合、光源をオンし、過度的な周期がTであると、該時間周期をd個の時間間隔に等分し、それぞれt1,t2,t3,…,tdと記し、該周期T内に空間光変調器でのランダム変調ベースマトリックスが不変することを保持し、点又は配列単一光子検出器はそれぞれti時間間隔内にある単一光子を検出し、i=1,2,…,dであり、多チャネルカウンタはそれぞれ各時間間隔内の単一光子数を記録し、且つ高精度時間測定器が記録したタイムコードと一体に合わせて1つのデータパケットとし、このように各計数の対応の時間間隔を取得することができ、同時に次回のレーザーパルスを発射する前に、即ち前の周期Tの対応のd個の時間間隔が丁度完全に測定し終わる時刻に、空間光変調器は瞬間に次のフレームに反転し、全部の上記操作をし、P回の反転を繰り返して、最終に各ti時間間隔が相応的にP個の計数を有し、それぞれP個のランダムマトリックスに対応し、この一対一の関係により、それぞれこのd個の時間間隔に対してアルゴリズムの再構成を行い、1つの過度的な周期内のスペクトル強度変化過程を反転して取得することができ、光強度が極めて弱い場合、多回で測定して累計して相応の計数を大きくし、そのように操作し、
    方策二、過度的な過程の周期が80ns〜1.5msである場合、光源に触発パルスを伝送する同時に、イネーブル制御信号を各部材に送信し、該信号が該点又は配列単一光子検出器と高精度時間測定器に到達する前に遅延器を経過する必要があり、具体的に、1)まず、空間光変調器が1つのフレームを固定して不変することを保持し、点又は配列単一光子検出器のゲート幅の開始端が過度的な周期の開始時刻と重なり合うことを保持し、ゲート幅が過度的な周期Tよりも小さくし、周期が開始する際、点又は配列単一光子検出器と高精度時間測定器は同時に測定し始め、該過度的な周期内に一回のみを検出し、測定した計数値がゲート幅と該過度的な周期の重なり時間帯内の単一光子数であり、順次にQ回を繰り返して、そして、統計原理に基づいて毎回の計数を合計して、その後、デジタル遅延器を用いてゲート幅に20psを加え、上記ステップに従って同様に1つの計数合計を取得することができ、第1個の合計を参考値とし、第2個の合計と第1個の合計の差を延長したゲート幅時間内の統計計数とし、この方法に従って参考点時刻から蛍光寿命終了時刻までの間のd個の部分の統計計数を取得することができ、2)また、ゲート幅が不変することを保持すると、ゲート幅の到達時刻が早めになり、以上の方法に従って取得したシリーズの計数差値が蛍光寿命開始時刻から参考点時刻までの間のd個の部分の統計計数であり、上記の2つの点は、すべて蛍光寿命全体内の各部分の統計計数を取得するものであり、空間光変調器が一回反転すると、全部の上記操作をし、P回の反転を繰り返して、この際の各ti時間間隔は相応的にP個の計数を有し、それぞれP個のランダムマトリックスに対応し、この一対一の関係により、それぞれこのd個の時間間隔に対してアルゴリズムの再構成を行い、1つの周期内の過度的な過程を反転して取得することができ、光強度が極めて弱い場合、多回で測定して累計して相応の計数を大きくし、そのように操作し、
    方策三、まず、空間光変調器が1つのフレームを固定して不変し、且つ光源に送信する触発パルスを時間幅変換器の参考パルスとし、そして時間幅変換器は光子を取得する時間を電圧形態で記録し、対応の時間チャネルに記録し、且つ光子が到達する時間に従って光子数を区分し、1つの周期内に各時間間隔内のd個の部分の累積計数を統計し、空間光変調器が一回に反転すると、全部の上記操作をし、P回の反転を繰り返して、この際各ti時間間隔が相応的にP個の計数を有し、それぞれP個のランダムマトリックスに対応し、この一対一の関係により、それぞれこのd個の時間間隔に対してアルゴリズムの再構成を行い、1つの周期内の過度的な過程を反転して取得することができ、光強度が極めて弱い場合、多回で測定して累計して相応の計数を大きくし、そのように操作する、
    時間分解単一光子多次元イメージング方法。
  10. 前記空間光変調器はマイクロミラー配列を採用し、
    前記単一光子検出器は、光電子増倍管、ICCD、EMCCD、線形モード又はガイガーモード単一光子検出器であってよく、
    前記の光源は赤外又は可視光を選択使用し、且つ前記レーザーが適切な波長のフェムト秒又はナノ秒パルスレーザーを選択使用することを特徴とする請求項9に記載の時間分解単一光子多次元イメージング方法。
JP2014537455A 2011-10-25 2012-05-14 時間分解単一光子計数イメージングスペクトルシステム Expired - Fee Related JP6002232B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201110328462.2 2011-10-25
CN201110328462.2A CN102510282B (zh) 2011-10-25 2011-10-25 一种时间分辨单光子计数二维成像系统及方法
CN 201110328748 CN102393248B (zh) 2011-10-26 2011-10-26 一种时间分辨极弱光多光谱成像系统及方法
CN201110328748.0 2011-10-26
PCT/CN2012/075444 WO2013060134A1 (zh) 2011-10-25 2012-05-14 一种时间分辨单光子或极弱光多维成像光谱系统及方法

Publications (2)

Publication Number Publication Date
JP2014531032A true JP2014531032A (ja) 2014-11-20
JP6002232B2 JP6002232B2 (ja) 2016-10-05

Family

ID=48167093

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014537455A Expired - Fee Related JP6002232B2 (ja) 2011-10-25 2012-05-14 時間分解単一光子計数イメージングスペクトルシステム

Country Status (5)

Country Link
US (1) US9448162B2 (ja)
EP (1) EP2755327A4 (ja)
JP (1) JP6002232B2 (ja)
CN (1) CN104054266B (ja)
WO (1) WO2013060134A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017015694A (ja) * 2015-07-02 2017-01-19 パナソニックIpマネジメント株式会社 撮像装置
KR101775615B1 (ko) * 2016-11-24 2017-09-07 단국대학교 산학협력단 고감도 영상 획득방법
JP2019518936A (ja) * 2016-04-06 2019-07-04 ケアストリーム・デンタル・テクノロジー・トプコ・リミテッド 圧縮センシングによる口腔内oct
KR102030526B1 (ko) * 2018-05-30 2019-10-10 국방과학연구소 연속 압축센싱 기반 도래각 추정 방법 및 장치
US10531015B2 (en) 2016-03-31 2020-01-07 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including light source, reflective encoding device, and image sensor
WO2020149139A1 (ja) * 2019-01-16 2020-07-23 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
JP2020128889A (ja) * 2019-02-07 2020-08-27 株式会社東芝 分子検出装置
JP2021510850A (ja) * 2018-01-25 2021-04-30 フォンダツィオーネ・イスティトゥート・イタリアーノ・ディ・テクノロジャFondazione Istituto Italiano Di Tecnologia 高空間分解能の時間分解イメージング法
WO2022244645A1 (ja) * 2021-05-20 2022-11-24 パナソニックIpマネジメント株式会社 撮像装置
WO2022265097A1 (ja) * 2021-06-18 2022-12-22 国立研究開発法人理化学研究所 放射線イメージング装置、および放射線イメージング方法

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3068678C (en) * 2013-03-15 2021-11-09 Imax Theatres International Limited Projector optimized for modulator diffraction effects
CN104019898B (zh) * 2014-05-28 2017-01-11 中国科学院空间科学与应用研究中心 一种超灵敏光谱成像天文望远镜及天文光谱成像方法
CN104184955B (zh) * 2014-07-29 2017-04-05 中国科学院长春光学精密机械与物理研究所 微镜阵列dmd在高动态范围成像中的控制方法
US9823350B2 (en) * 2014-07-31 2017-11-21 Raytheon Company Linear mode computational sensing LADAR
CA2957546A1 (en) 2014-08-08 2016-02-11 Quantum-Si Incorporated Integrated device with external light source for probing, detecting, and analyzing molecules
GB2529708A (en) * 2014-09-01 2016-03-02 Sec Dep For Business Innovation & Skills System and method for condition detection
EP3333989A1 (en) 2014-10-15 2018-06-13 Fujikura Ltd. Optical transmitter, active optical cable, and optical transmission method
CN104677830A (zh) * 2015-03-03 2015-06-03 北京理工大学 分光瞳共焦-光声显微成像装置与方法
CN104796674A (zh) * 2015-04-17 2015-07-22 南京理工大学 基于压缩感知的彩色成像装置及方法
US9743024B2 (en) * 2015-07-01 2017-08-22 Massachusetts Institute Of Technology Method and apparatus for on-chip per-pixel pseudo-random time coded exposure
US9964746B2 (en) * 2015-10-02 2018-05-08 Raytheon Company Passive micromirror device for non-imaging wide field of view
EP3159676B1 (de) * 2015-10-23 2018-04-04 Abberior Instruments GmbH Verfahren und vorrichtung zum hochauflösenden abbilden einer mit fluoreszenzmarkern markierten struktur einer probe
CN105352602B (zh) * 2015-11-19 2018-03-02 中国科学院西安光学精密机械研究所 一种光学智能感知多维成像系统
US20170188010A1 (en) * 2015-12-29 2017-06-29 Canon Kabushiki Kaisha Reconstruction of local curvature and surface shape for specular objects
CN105915869A (zh) * 2016-04-22 2016-08-31 南京理工大学 一种彩色自适应压缩计算鬼成像系统及方法
CN105915868A (zh) * 2016-04-22 2016-08-31 南京理工大学 基于扩展小波树的彩色成像系统及方法
KR101784336B1 (ko) 2016-08-16 2017-10-13 주식회사 토모큐브 파면 제어기를 활용한 초고속 고정밀 3차원 굴절률 측정 방법 및 장치
CN106643702B (zh) * 2016-11-09 2023-09-29 中国科学院西安光学精密机械研究所 基于x射线的vlbi测量方法和系统以及地面验证装置
CN106680992B (zh) * 2016-11-22 2019-03-26 长春理工大学 基于双dmd的成像系统
CN106596420B (zh) * 2017-01-19 2023-07-04 中国科学院上海技术物理研究所 一种超大幅宽高分辨率成像系统及成像方法
CN107025637B (zh) * 2017-03-10 2019-06-25 南京理工大学 基于贝叶斯估计的光子计数集成成像迭代重构方法
CN106908144B (zh) * 2017-03-28 2018-07-17 北京振兴计量测试研究所 一种超微弱星光照度测量装置及方法
WO2018191696A1 (en) * 2017-04-14 2018-10-18 Arizona Board Of Regents On Behalf Of The University Of Arizona Methods and apparatus employing angular and spatial modulation of light
CN107219241B (zh) * 2017-05-05 2020-10-16 中国科学院上海光学精密机械研究所 原位时间分辨x射线吸收谱的测量装置和测量方法
CN106996915B (zh) * 2017-05-19 2024-05-24 深圳市帝泰光电有限公司 一种拍照式智能光谱分析系统
CN107121709B (zh) * 2017-06-01 2023-07-25 华南师范大学 一种基于压缩感知的对象成像系统及其成像方法
CN109211790B (zh) * 2017-07-03 2023-12-08 南开大学 一种基于傅里叶功率谱探测的单像素相位成像方法
CN107333040B (zh) * 2017-07-13 2020-02-21 中国科学院半导体研究所 仿生视觉成像与处理装置
US10638038B2 (en) * 2017-07-27 2020-04-28 Stmicroelectronics (Research & Development) Limited System and method for enhancing the intrinsic spatial resolution of optical sensors
CN107608657B (zh) * 2017-08-17 2021-04-27 胡敏 一种基于时幅转换的可调真随机数发生系统
CN111095427A (zh) * 2017-09-08 2020-05-01 皇家飞利浦有限公司 谱(多能量)成像可视化
JP2019048702A (ja) * 2017-09-11 2019-03-28 コニカミノルタ株式会社 用紙搬送装置および画像形成装置
CN112034435A (zh) * 2017-09-29 2020-12-04 北京万集科技股份有限公司 一种微机电激光雷达系统
CN107783149B (zh) * 2017-11-29 2024-03-19 苏州蛟视智能科技有限公司 一种压缩感知成像装置及方法
CN108007385B (zh) * 2017-12-31 2023-11-14 中国人民解放军陆军工程大学 一种大视场弹坑表面形貌成像系统及方法
US10801918B2 (en) * 2018-03-09 2020-10-13 Viavi Solutions Inc. Mult-wavelength pulsed optical test instrument
CN108489947B (zh) * 2018-03-22 2021-02-09 深圳大学 一种荧光寿命的测量方法及装置
CN108857027B (zh) * 2018-08-17 2023-05-12 龙岩学院 微型点焊过程中的质量监测装置及监测方法
CN109100028B (zh) * 2018-08-28 2020-06-16 南昌大学 一种模拟单光子脉冲信号源的装置及方法
CN109361833B (zh) * 2018-10-08 2020-08-11 南昌大学 一种单光子压缩视频传输装置的传输方法
CN109828430A (zh) * 2018-11-21 2019-05-31 中国航空工业集团公司洛阳电光设备研究所 一种基于压缩感知理论的立体成像装置及系统
JP7130544B2 (ja) * 2018-12-20 2022-09-05 三星電子株式会社 3次元情報算出装置、3次元計測装置、3次元情報算出方法及び3次元情報算出プログラム
CN109579994A (zh) * 2018-12-31 2019-04-05 苏州大学 基于微反射镜阵列的快照式光谱成像方法及其系统
CN109752710B (zh) * 2019-01-07 2019-09-27 中国人民解放军国防科技大学 一种基于稀疏贝叶斯学习的快速目标角度估计方法
CN109708767A (zh) * 2019-02-21 2019-05-03 中智科仪(北京)科技有限公司 一种基于双层mcp像增强器的单光子相机
CN109901160B (zh) * 2019-02-22 2022-12-16 华中光电技术研究所(中国船舶重工集团有限公司第七一七研究所) 一种三维激光成像雷达及其三维深度图像重构方法
EP3702759A1 (en) * 2019-02-26 2020-09-02 Nokia Technologies Oy Method and apparatus for fluorescence lifetime measurement
CN110146473B (zh) * 2019-04-16 2020-10-13 浙江大学 一种轴向超分辨的双光子荧光显微装置及方法
CN110213467B (zh) * 2019-05-27 2020-10-23 中国科学院国家空间科学中心 一种多尺度调制压缩感知成像系统及其成像方法
CN110320530B (zh) * 2019-05-30 2022-03-29 上海理工大学 一种基于矩阵填充的太赫兹稀疏成像设计方法
US11267590B2 (en) * 2019-06-27 2022-03-08 Nxgen Partners Ip, Llc Radar system and method for detecting and identifying targets using orbital angular momentum correlation matrix
CN110320492B (zh) * 2019-07-16 2023-01-03 哈尔滨工程大学 一种基于导向矢量对称特性的低复杂度doa估计方法
US20220317046A1 (en) * 2019-07-16 2022-10-06 Cytoveris Inc. Digital mirror device based code-division multiplexed raman optical mapping system for wide field imaging
CN110530521B (zh) * 2019-08-13 2020-10-27 西安交通大学 一种基于双光子吸收的超快探测成像装置及方法
US11287630B2 (en) * 2019-09-03 2022-03-29 International Business Machines Corporation Imaging integrated circuits using a single-point single-photon detector and a scanning system and calculating of a per-pixel value
CN110567581B (zh) * 2019-09-26 2021-03-19 中国科学院长春光学精密机械与物理研究所 一种基于dmd的多目标成像光谱系统对相近目标的探测方法
CN110632002A (zh) * 2019-09-30 2019-12-31 中国科学院西安光学精密机械研究所 一种基于压缩感知的孔径编码光谱探测装置
CN110988908B (zh) * 2019-12-19 2023-06-09 长光卫星技术股份有限公司 一种滤光片光谱偏移对空间光学遥感器成像影响的定量分析方法
CN111122541B (zh) * 2019-12-25 2023-03-14 桂林电子科技大学 一种区分拉曼信号和荧光信号的光纤探针系统
CN111208531A (zh) * 2020-01-19 2020-05-29 中国科学技术大学 一种基于宽谱光源的单光子成像激光雷达系统
CN111728584A (zh) * 2020-05-13 2020-10-02 新绎健康科技有限公司 一种用于确定目标穴位得气效果的装置及方法
WO2021243612A1 (zh) * 2020-06-03 2021-12-09 深圳市大疆创新科技有限公司 测距方法、测距装置和可移动平台
CN111707364B (zh) * 2020-06-08 2024-01-05 陕西时元新拓光电科技有限公司 时域调制时间相关单光子计数的装置及系统
CN111796242B (zh) * 2020-06-12 2022-08-19 中国船舶重工集团公司第七二四研究所 一种基于功率特征值提取的改进块稀疏贝叶斯抗干扰方法
CN111721720B (zh) * 2020-06-29 2023-09-01 北京深测科技有限公司 一种光谱成像系统
CN111721718B (zh) * 2020-06-29 2023-09-01 北京深测科技有限公司 一种光谱成像方法和系统
CN111896096B (zh) * 2020-06-30 2021-12-21 太原理工大学 一种利用光子计数器精确测量机械振动的装置
CN111880194B (zh) * 2020-08-10 2023-11-28 中国科学技术大学 非视域成像装置及方法
CN112003592B (zh) * 2020-08-14 2023-09-12 中北大学 一种实现高分辨率量子传感的脉冲整形算法
CN112285695B (zh) * 2020-10-21 2024-01-12 浙江大学 一种基于压缩感知的交互定位系统和方法
CN112285736B (zh) * 2020-10-22 2022-05-03 中国空间技术研究院 一种基于光子强度关联的全天候激光雷达探测系统及方法
CN112748440A (zh) * 2020-12-17 2021-05-04 北京大学 基于微腔光梳的光子时间展宽激光雷达系统
CN112816068B (zh) * 2020-12-29 2023-12-26 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 红外光谱成像系统及其光谱图像重构方法
CN112859098B (zh) * 2021-01-08 2023-11-17 南京大学 一种光子数分辨测量增强单光子激光雷达系统及测距方法
CN112859101B (zh) * 2021-01-11 2022-07-05 武汉大学 一种基于偏振调制的单光子测距方法
CN112986160B (zh) * 2021-01-16 2022-05-20 西安交通大学 一种基于dkdp晶体实现扫描偏转的多光谱高速成像装置
CN112995472B (zh) * 2021-02-07 2022-11-04 河北大学 基于零光子计数的单像素成像系统和成像方法
CN113099209A (zh) * 2021-03-24 2021-07-09 清华大学 基于光电倍增管阵列的非视域成像装置和方法
CN113160100A (zh) * 2021-04-02 2021-07-23 深圳市规划国土房产信息中心(深圳市空间地理信息中心) 一种基于光谱信息影像的融合方法、融合装置及介质
CN113324893B (zh) * 2021-05-17 2022-08-16 武汉大学 一种基于压缩感知的流式荧光成像系统及成像方法
CN113267784B (zh) * 2021-05-24 2024-05-10 中国科学院西安光学精密机械研究所 一种基于x射线的空间目标多维信息获取系统及方法
CN113504182A (zh) * 2021-05-26 2021-10-15 杭州久益机械股份有限公司 基于激光声表面波的物体表面裂纹在线检测方法
CN113324920B (zh) * 2021-05-27 2022-05-17 西安电子科技大学 基于微纳结构滤光片调制和稀疏矩阵变换的光谱重建方法
CN113466179A (zh) * 2021-06-22 2021-10-01 杭州谱析光晶半导体科技有限公司 一种光学检测系统及方法
CN113418873B (zh) * 2021-06-23 2022-05-17 中国科学院长春光学精密机械与物理研究所 一种高光谱成像系统及重构光谱成像方法
CN113448233B (zh) * 2021-07-13 2022-08-09 安徽大学 一种欠采样全息图压缩全息多尺度自聚焦重建方法及系统
CN113432527B (zh) * 2021-07-23 2022-07-12 中国科学院电工研究所 基于马赫曾德尔干涉仪的高速谱域光学相干层析成像系统
CN113885008A (zh) * 2021-09-14 2022-01-04 天津理工大学 基于分段编码脉冲调制的高速率光子回波信号产生方法
CN113890997B (zh) * 2021-10-19 2023-06-13 中国科学院国家空间科学中心 基于随机抖动的高动态范围压缩感知成像系统及方法
CN114112041B (zh) * 2021-11-24 2023-07-25 中国工程物理研究院激光聚变研究中心 一种基于微纳滤光片阵列的光谱成像系统及其扫描方法
CN114200425B (zh) * 2021-11-29 2024-05-03 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种隐蔽目标的三维成像系统和方法
CN114166765A (zh) * 2021-12-01 2022-03-11 上海交通大学 基于单光子探测器阵列的光谱测量系统
CN114034642B (zh) * 2021-12-08 2023-10-24 重庆大学 基于微环谐振阵列的拉曼光谱片上检测系统及方法
CN114264370B (zh) * 2021-12-23 2024-04-26 中国科学院国家空间科学中心 一种压缩感知计算层析成像光谱仪系统和成像方法
CN114279564B (zh) * 2021-12-23 2024-04-30 中国科学院国家空间科学中心 一种并行压缩感知计算层析成像光谱仪及其成像光谱重建方法
CN114236570B (zh) * 2022-02-23 2022-05-24 成都凯天电子股份有限公司 一种激光大气数据系统及计算方法
WO2023200992A1 (en) * 2022-04-13 2023-10-19 The Penn State Research Foundation Systems and methods for remote machine and equipment monitoring using compressed sensing techniques
CN114754891B (zh) * 2022-06-13 2022-08-16 中国空气动力研究与发展中心设备设计与测试技术研究所 一种燃烧流场光学温度场测量装置及测量方法
CN115165101A (zh) * 2022-07-14 2022-10-11 华中科技大学 一种单光子灵敏度超快光谱测量及光谱成像装置及方法
CN115297270B (zh) * 2022-10-10 2023-04-18 长春长光睿视光电技术有限责任公司 一种航空光学面阵相机自动调光控制系统及其控制方法
CN116148197B (zh) * 2023-01-19 2023-10-27 中国科学院国家空间科学中心 一种基于时空调制的非重复光谱高速测量系统和方法
CN116148227B (zh) * 2023-04-23 2023-07-28 广东大湾区空天信息研究院 时间分辨光谱快速测量系统及方法
CN116299550B (zh) * 2023-05-16 2023-09-01 中国科学院西安光学精密机械研究所 一种水下共轴单光子成像系统及方法
CN116560080B (zh) * 2023-07-10 2023-09-26 之江实验室 一种透过厚散射介质单光子单像素成像装置及方法
CN117554288B (zh) * 2023-11-14 2024-05-28 浙江大学 一种使用数字微镜器件的基于压缩感知的发光寿命成像系统及方法
CN117471489B (zh) * 2023-12-25 2024-03-22 中国人民解放军国防科技大学 基于单像素成像技术的目标探测方法、装置和计算机设备
CN117452433B (zh) * 2023-12-25 2024-03-05 之江实验室 基于单点单光子探测器的360度三维成像装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239336A1 (en) * 2005-04-21 2006-10-26 Baraniuk Richard G Method and Apparatus for Compressive Imaging Device
US20080164414A1 (en) * 2007-01-09 2008-07-10 Franco Stellari Method and apparatus for creating time-resolved emission images of integrated circuits using a single-point single-photon detector and a scanning system

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10144435B4 (de) * 2001-09-06 2005-03-24 EuroPhoton GmbH Gesellschaft für optische Sensorik Verfahren zur Charakterisierung der Eigenschaften von fluoreszierenden Proben, insbesondere lebenden Zellen und Geweben, in multi-well, in in-vitro Fluoreszenz-Assays, in DNA-Chips, Vorrichtungen zur Durchführung des Verfahrens und deren Verwendung
CN1737536A (zh) * 2004-08-18 2006-02-22 深圳大学 五维荧光显微成像技术
CN101387548B (zh) 2007-09-11 2011-12-07 中国科学院西安光学精密机械研究所 单光子计数成像仪
CN101655779B (zh) * 2008-08-18 2012-04-18 中国科学院物理研究所 真随机数发生器
CN101776760A (zh) 2010-02-09 2010-07-14 中国科学院上海技术物理研究所 一种基于单光子探测器的激光三维成像装置
US20110260036A1 (en) * 2010-02-22 2011-10-27 Baraniuk Richard G Temporally- And Spatially-Resolved Single Photon Counting Using Compressive Sensing For Debug Of Integrated Circuits, Lidar And Other Applications
WO2012037067A1 (en) * 2010-09-14 2012-03-22 Massachusetts Institute Of Technology Multi-contrast image reconstruction with joint bayesian compressed sensing
CN101969177B (zh) * 2010-10-08 2011-09-07 山西大学 利用双光学开关消除背景光信号的装置及方法
CN102141772B (zh) * 2010-12-23 2012-09-05 中国科学院西安光学精密机械研究所 一种光子序列到达时间的连续测量装置及方法
CN102759408B (zh) 2011-04-25 2015-04-15 中国科学院空间科学与应用研究中心 一种单光子计数成像系统及其方法
CN102353449B (zh) 2011-06-20 2014-11-12 中国科学院空间科学与应用研究中心 一种极弱光多光谱成像方法及其系统
CN102510282B (zh) * 2011-10-25 2014-07-09 中国科学院空间科学与应用研究中心 一种时间分辨单光子计数二维成像系统及方法
CN102393248B (zh) * 2011-10-26 2013-09-11 中国科学院空间科学与应用研究中心 一种时间分辨极弱光多光谱成像系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239336A1 (en) * 2005-04-21 2006-10-26 Baraniuk Richard G Method and Apparatus for Compressive Imaging Device
US20080164414A1 (en) * 2007-01-09 2008-07-10 Franco Stellari Method and apparatus for creating time-resolved emission images of integrated circuits using a single-point single-photon detector and a scanning system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015026831; Duarte、外6名: 'Single-Pixel Imaging viaCompressive Sampling' Signal Processing Magazine, IEEE Volume:25 , Issue: 2, 200803, p.83-91 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017015694A (ja) * 2015-07-02 2017-01-19 パナソニックIpマネジメント株式会社 撮像装置
US11965778B2 (en) 2015-07-02 2024-04-23 Panasonic Intellectual Property Management Co., Ltd. Imaging device provided with light source that emits pulsed light and image sensor
US11079276B2 (en) 2015-07-02 2021-08-03 Panasonic Intellectual Property Management Co., Ltd. Imaging device provided with light source that emits pulsed light and image sensor
US10531015B2 (en) 2016-03-31 2020-01-07 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus including light source, reflective encoding device, and image sensor
JP2019518936A (ja) * 2016-04-06 2019-07-04 ケアストリーム・デンタル・テクノロジー・トプコ・リミテッド 圧縮センシングによる口腔内oct
KR101775615B1 (ko) * 2016-11-24 2017-09-07 단국대학교 산학협력단 고감도 영상 획득방법
JP7181537B2 (ja) 2018-01-25 2022-12-01 フォンダツィオーネ・イスティトゥート・イタリアーノ・ディ・テクノロジャ 高空間分解能の時間分解イメージング法
JP2021510850A (ja) * 2018-01-25 2021-04-30 フォンダツィオーネ・イスティトゥート・イタリアーノ・ディ・テクノロジャFondazione Istituto Italiano Di Tecnologia 高空間分解能の時間分解イメージング法
KR102030526B1 (ko) * 2018-05-30 2019-10-10 국방과학연구소 연속 압축센싱 기반 도래각 추정 방법 및 장치
JPWO2020149139A1 (ja) * 2019-01-16 2021-11-25 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
CN113302520A (zh) * 2019-01-16 2021-08-24 株式会社小糸制作所 成像装置、其运算处理装置、车辆用灯具、车辆、感测方法
JP7395511B2 (ja) 2019-01-16 2023-12-11 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
WO2020149139A1 (ja) * 2019-01-16 2020-07-23 株式会社小糸製作所 イメージング装置、その演算処理装置、車両用灯具、車両、センシング方法
JP7008653B2 (ja) 2019-02-07 2022-01-25 株式会社東芝 分子検出装置
US11454581B2 (en) 2019-02-07 2022-09-27 Kabushiki Kaisha Toshiba Molecule detecting apparatus
JP2020128889A (ja) * 2019-02-07 2020-08-27 株式会社東芝 分子検出装置
WO2022244645A1 (ja) * 2021-05-20 2022-11-24 パナソニックIpマネジメント株式会社 撮像装置
WO2022265097A1 (ja) * 2021-06-18 2022-12-22 国立研究開発法人理化学研究所 放射線イメージング装置、および放射線イメージング方法

Also Published As

Publication number Publication date
JP6002232B2 (ja) 2016-10-05
US9448162B2 (en) 2016-09-20
CN104054266B (zh) 2016-11-23
EP2755327A4 (en) 2015-11-04
US20140253713A1 (en) 2014-09-11
WO2013060134A1 (zh) 2013-05-02
CN104054266A (zh) 2014-09-17
EP2755327A1 (en) 2014-07-16

Similar Documents

Publication Publication Date Title
JP6002232B2 (ja) 時間分解単一光子計数イメージングスペクトルシステム
US11054363B2 (en) Dynamic high-speed high-sensitivity imaging device and imaging method
JP2019503036A (ja) 時間的圧縮感知システム
US9807317B2 (en) Multi-spectral imaging method for ultraweak photon emission and system thereof
US8031926B2 (en) Discrete event distribution sampling apparatus and methods
JP2019521316A (ja) 画像解像度が改良された蛍光イメージングフローサイトメトリー
Wahl et al. Dead-time optimized time-correlated photon counting instrument with synchronized, independent timing channels
JP2014507662A (ja) ラインスキャン血球計算システムおよび方法
CN110793633B (zh) 基于集束光纤的单像元多光谱计算成像系统及成像方法
US11231323B2 (en) Time-resolved hyper-spectral single-pixel imaging
CN102769460B (zh) 一种互补测量的时间分辨单光子计数成像系统及方法
CN102901564B (zh) 一种互补测量的时间分辨单光子光谱计数成像系统及方法
CN110836883A (zh) 基于spad的时间相关拉曼-荧光寿命光谱仪
CN110088599A (zh) 通过虚拟荧光分布模型计算模拟平均时延方法所收集的信号的最小平方误差来获得两种以上荧光寿命成分的荧光寿命测量装置和方法
EP3588062A1 (en) Fluorescence lifetime measurement device for analyzing multi-exponential decay function type experimental data at high speed and measurement method therefor
US11788960B2 (en) Device and method for detecting time-resolved optical data
US10585272B2 (en) Coherent fluorescence super-resolution microscopy
JP2022107510A (ja) ラマン散乱光のスペクトル成分を測定するための装置および方法
CN109357758A (zh) 一种超灵敏单光子压缩光谱成像的控制装置及控制方法
JP3907192B2 (ja) 微弱光検出用高速データ収集装置
CN113870417B (zh) 一种随机交错投影的无监督压缩拉曼高光谱成像方法
Hill et al. Construction, figures of merit, and testing of a single-cell fluorescence excitation spectroscopy system
Tortarolo Laser Scanning Microscopy with SPAD Array Detector: Towards a New Class of Fluorescence Microscopy Techniques
CN115356313A (zh) 一种荧光寿命成像方法及其荧光寿命成像装置
CN117723515A (zh) 基于单光子雪崩二极管的单像素荧光多维显微成像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160711

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160902

R150 Certificate of patent or registration of utility model

Ref document number: 6002232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees