JP2017224108A - データ復元装置、顕微鏡システム、およびデータ復元方法 - Google Patents

データ復元装置、顕微鏡システム、およびデータ復元方法 Download PDF

Info

Publication number
JP2017224108A
JP2017224108A JP2016118225A JP2016118225A JP2017224108A JP 2017224108 A JP2017224108 A JP 2017224108A JP 2016118225 A JP2016118225 A JP 2016118225A JP 2016118225 A JP2016118225 A JP 2016118225A JP 2017224108 A JP2017224108 A JP 2017224108A
Authority
JP
Japan
Prior art keywords
image
evaluation value
data restoration
estimated
photon detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016118225A
Other languages
English (en)
Other versions
JP2017224108A5 (ja
JP6681068B2 (ja
Inventor
大輔 宮代
Daisuke Miyashiro
大輔 宮代
明彦 中野
Akihiko Nakano
明彦 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RIKEN Institute of Physical and Chemical Research
Original Assignee
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RIKEN Institute of Physical and Chemical Research filed Critical RIKEN Institute of Physical and Chemical Research
Priority to JP2016118225A priority Critical patent/JP6681068B2/ja
Priority to PCT/JP2017/021420 priority patent/WO2017217325A1/ja
Priority to EP17813222.1A priority patent/EP3471393B1/en
Priority to US16/309,781 priority patent/US10866400B2/en
Publication of JP2017224108A publication Critical patent/JP2017224108A/ja
Publication of JP2017224108A5 publication Critical patent/JP2017224108A5/ja
Application granted granted Critical
Publication of JP6681068B2 publication Critical patent/JP6681068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】信頼性を指標によって定量的に評価可能であり空間分解能を従来よりもさらに向上させた超解像化を行う。【解決手段】データ復元装置は、撮像光学系から得られる像の光子検出数分布を取得する取得手段と、あらかじめ求められているIPSF(点像分布関数PSFの逆関数)を用いて前記光子検出分布から推定画像を取得する復元手段と、前記推定画像および当該推定画像と類似する複数の画像について、当該画像が正解画像である確からしさを表す評価値を算出する評価値算出手段と、評価値が有意水準以上となるような物理パラメータを生成し出力する出力手段と、を備える。【選択図】図1

Description

本発明は、デコンボリューションによるデータ復元技術に関する。
顕微鏡などにおいて測定される画像(静止画像と動画像を含む)は、観察対象物体の空間構造に回折ボケが生じた画像となる。測定画像(IM)と真の物体(OBJ)は、撮影光学
系の点像分布関数(PSF)を用いて、
測定画像(IM) = 点像分布関数(PSF)*物体(OBJ)
と表せる。ここで「*」は畳み込みを表す。
したがって、測定画像(IM)にPSFの逆畳み込み核(IPSF)を畳み込むことにより、元
の超解像画像を得ることができる(IPSF*IM = IPSF*PSF*OBJ = OBJ)。これがデコンボリューション法の原理である。
非特許文献1に示すような顕微鏡画像に対するデコンボリューション法において、顕微
鏡の対物レンズの透過帯域外の情報を復元するためには、大きなSN比が要求される。このため、従来のデコンボリューションソフトでは、ノイズ対策のために、帯域外の情報をフィルタにより除去したり漸近法を用いたりすることで復元画像を得ている。
また、超解像画像を得る方法として、デコンボリューション法以外に、SIM(structured illumination microscopy),Localization法,エアリースキャン法(非特許文献2−
4,特許文献1−2参照)などがある。
特許第3837495号公報 特許第5412394号公報 特開2004−93721号公報
Agard D A and Sedat J W 1983 Nature 302 676-81 Heintzmann R and Cremer C 1999 Proc. SPIE 3568 185-96 Gustafsson M G L 2000 J. Microsc. 198 82-7 Rust M J et al 2006 Nat. Methods 3 793-5 Harris, James L. "Diffraction and Resolving Power*." JOSA 54.7 (1964): 931-936.
しかしながら、非特許文献1のデコンボリューション法では、帯域外の情報をフィルタ
により除去しているため、復元可能な微細構造には限界がある。また、推定法も点推定のため、信頼性が曖昧である。
非特許文献2−4や特許文献1−2に記載の方法によると、空間的分解能は改善するものの時間分解能との両立が困難である。
このような問題を考慮して、本発明は、信頼性を指標によって定量的に評価可能であり
空間分解能を従来よりもさらに向上させた超解像化を実現することを目的とする。
本発明の第一の態様は、
撮像光学系から得られる像の光子検出数分布を取得する取得手段と、
あらかじめ求められているIPSF(点像分布関数PSFの逆関数)を用いて前記光子検出分布から推定画像を取得する復元手段と、
前記推定画像および当該推定画像と類似する複数の画像について、当該画像が正解画像である確からしさを表す評価値を算出する評価値算出手段と、
評価値が有意水準以上となるような物理パラメータを生成し出力する出力手段と、
を備えることを特徴とするデータ復元装置である。
ここで、前記PSFは点光源を撮影した画像から生成され、前記IPSFは、前記PSFおよび前記点光源を撮影した画像から帯域外外挿を用いて生成される、ことが好ましい。撮影画像には光学系の透過帯域外の周波成分は含まれないが、透過帯域内の情報から外挿によって透過帯域外の周波成分を得ることができる。
上述の光子検出数分布は、光子計数によって取得することが好ましい。すなわち、前記取得手段は、光子計数可能に撮影された複数の画像のそれぞれから光子の検出数を求めて前記光子検出数分布を得ることが好ましい。特に、単一光子条件で撮影された複数の画像のそれぞれから、輝度分布の中心に1つの光子が検出されたものとして前記光子検出数分布を得ることが好ましい。このような光子検出数分布を得るために、前記取得手段は、イメージインテンシファイアと撮像装置を含む顕微鏡によって撮影された画像を取得し、それに基づいて光子検出数分布を得るとよい。
なお、撮像装置によって得られる輝度も光子検出数の分布を表すといえるので、撮影画像の輝度値を光子検出数分布として用いても構わない。
本発明における前記評価値は、推定画像が正解画像であると仮定したときに、前記光子検出数分布が得られる確率を表す値とすることできる。誤差評価は、たとえば、最尤推定法、ベイズ推定法、最小二乗法などにより行うことが考えられ、評価値は誤差評価方法に応じた値を用いればよい。
本発明における物理パラメータの例として、観察対象物を表す画像、形状および位置、エッジが挙げられる。観察対象物の画像を上記物理パラメータとして出力する場合には、前記出力手段は、前記推定画像およびそれに類似する複数の画像に基づいてビニング処理を行い評価値が有意水準以上となる画像を生成して出力するとよい。なお、出力とは表示装置に表示することだけでなく、記憶装置に記憶することや、通信装置によって送信することを含む。
本発明は、イメージインテンシファイアと撮像装置を含む顕微鏡と、上記のデータ復元装置とを含む顕微鏡システムと捉えることができる。ここで、顕微鏡は、光子計数可能なように高速かつ高分解能で撮影できるものであることが望ましい。
なお、本発明は、上記手段の少なくとも一部を備えるデータ復元装置(画像復元装置)または顕微鏡システムとして捉えることもできる。また、本発明は上記の処理の少なくとも一部を含むデータ復元方法(画像復元方法)または顕微鏡システムにおける測定方法として捉えることもできる。また、本発明は、この方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な
限り互いに組み合わせて本発明を構成することができる。
本発明によれば、信頼性を指標によって定量的に評価可能であり、かつ空間分解能を従来よりもさらに向上させた超解像化が可能になる。
図1は、本手法による画像復元処理の概要を説明する図である。 図2は、光子検出を説明する図である。 図3(A)は撮影画像の検出光子分布IMを示す図であり、図3(B)はその復元結果IPSF.IMを示す図である。この図は、緑色蛍光タンパク質GFPで標識したCOP2小胞上の酵母SEC24の1つを拡大して示している(1ピクセル=39nm)。 図4は、ビニング処理と光子数のばらつきの関係を説明する図である。 図5(A)(B)は、区間推定を説明する図である。 図6(A)は復元結果IPSF.IMを示す図であり、図6(B)はその復元結果IPSF.IMにビニング処理を施した結果を示す図である。この図は、緑色蛍光タンパク質GFPで標識したCOP2小胞上の複数の酵母SEC24を示している(1ピクセル=195nm)。 図7は、本実施形態に係る顕微鏡システムの構成を示す図である。 図8は、PSFおよびIPSFの決定処理の流れを示すフローチャートである。 図9は、測定および画像復元処理の流れを示すフローチャートである。
以下、図面を参照しながら、本発明に係る顕微鏡画像の超解像化手法について説明する。
<概要>
デコンボリューションは回折ボケによって損なわれた高周波数成分を戻す処理といえるので、高周波ノイズが混じった画像にデコンボリューションを施すとノイズが強調される。そこで、従来技術では、ノイズ対策のために帯域外の情報をフィルタにより除去したり漸近法を用いたりしている。このような手法では情報が棄てられてしまうので、十分な高解像化が行えない。そこで、本発明では、帯域外の情報を棄てずに超解像化を行う。
本手法では、高精度な測定システムを用いて測定画像を得る。ここでいう高精度な測定システムとは、光子計数が可能なシステムを指す。特に、単一光子条件、すなわち光子の像が重ならずに各光子を観察できる条件での測定を行うことが好ましい。
図1は、本発明にかかる画像復元手法の全体の流れを示す図である。まず、上述のような高精度な測定システムを用いて、観察目的の試料(生体試料等)と光学特性評価用試料(Q-Dot(量子ドット)などの微小点光源)をそれぞれ撮影する。ここでは、それぞれの
画像を、試料画像および点光源画像と称する。
図2は撮影画像の一部分(1光子)を拡大した部分を示す。撮影画像は、イメージインテンシファイアによって1光子が増幅された結果であるので、その中心位置に1つの光子が検出されたとカウントできる。高速で撮影した時系列画像についてこの処理を行うことで、3次元空間+時間の4次元の空間上での光子の検出頻度が得られる。なお、以下では撮影画像から得られる光子検出数分布のことも単に撮影画像と称する。
この過程でイメージインテンシファイアの増幅の揺らぎとカメラのノイズが除去されるため、通常のカメラの撮影画像よりもSN比が向上する。さらに検出光子数の絶対値が得ら
れる。
まず、PSF(Point Spread Function)を、点光源画像の光子分布を用いて求める。次に、IPSF(Inverse PSF)を、PSFと点光源画像の光子分布を用いて求める。ここで、点光源画像には撮像系の透過帯域外の成分が含まれないが、視野の大きさが有限であるという条件に基づいて、透過帯域内の情報から外挿によって透過帯域外の情報を得ることができる(非特許文献5)。本手法では、このように帯域外外挿を行ってIPSFを決定する。
試料画像の光子分布に対してIPSFを畳み込むことにより、試料の正解画像を復元できる。図3(A)は試料画像IM(光子検出分布)の例を示し、図3(B)はその復元結果(IPSF*IM)を示す。復元結果は、増幅された高周波のノイズで満たされている。なお、図3(
A)(B)はいずれも、緑色蛍光タンパク質GFPで標識したCOP2小胞上の酵母SEC24の1つを拡大して示している。
図4に示すように、検出光子数が有限の場合には、検出光子数には確率的なばらつきが生じ、これが高周波ノイズの主要な成分である。また、同じ光子数でもばらつき(揺らぎ)はピクセルサイズに依存して変化する。この揺らぎがデコンボリューションにより増幅され、図3(B)のような結果となる。
本手法においては、光子数を求めているので、それに基づく厳密な誤差評価を行う。誤差評価のための具体的な評価関数は目的に応じて決定すればよいが、ここでは尤度を評価関数として用いる例を説明する。この場合、評価関数(尤度関数)LHFは次のように定義
できる。
ここで、f(r)は、画像IMにおいて位置rで検出された光子数を全光子数Nで割った値(すなわちIM={f(r)})、EOBJは推定画像である。PSF[r].OBJは、推定画像EOBJが正解画像で
あると仮定したときに位置rにおいて光子が検出される確率を表す。尤度関数LHFは、推定画像EOBJが正解画像であると仮定したときに測定画像IMが得られる確率を表す。
評価値(尤度)を最大とする推定画像EOBJ(最尤推定値)はIPSF*{f(r)}(図3(B)
)である。PSF[r].EOBJは総和が1なので、イェンゼンの不等式から、f(r)=PSF[r].EOBJ
の時のみ尤度関数LHFが最大値を取ることを示せる。
さらに、評価関数LHFは上に凸な関数なので、最尤推定値の周りの推定画像について尤
度を計算すると誤差を評価できる。図5(A)(B)は、最尤推定値付近での推定画像の評価値を表す。簡単のために、図5(A)は推定画像EOBJが2画素の場合、図5(B)は推定画像EOBJが3画素の場合を示すが、推定画像EOBJは実際にはより多数の画素(たとえば、1003~10003=106~109画素)からなる。想定される推定画像の全てに対して評価値を求めると計算量・データ量が多くなるが、最尤推定値付近のみの評価値を求めることで計算量およびデータ量を削減できる。
図5(A)に示すように有意水準を決めれば区間推定が可能であり、その区間を表現する画像を直感的に理解しやすい形で出力する。具体的な一例として、信頼できる水準までビニング(隣り合う画素を加算して画素を大きくする)すれば、信頼できる画像が得られる。たとえば、3画素からなる復元画像がいずれも有意水準以上でない場合(図5(B))でも、ビニングによって2画素にすることで有意水準以上の復元画像(図5(A))を
得ることができる。図6(A)は推定画像EOBJを示し、図6(B)は適当な有意水準を与えて信頼できる水準までビニングした結果の画像である。ビニングによってピクセルあたりの光子数を十分大きくすることで、高信頼で高分解能な画像が得られる。
最尤推定値(最尤推定元画像)の周りにおける推定画像とその評価値を関連付けたデータを保存しておけば、有意水準を変更した場合の画像を容易に生成できる。また、ここでは最終的な出力を画像形式としているが、復元情報をどのように出力するかは任意である。
本手法によれば、従来のデコンボリューションでは諦められていた帯域外外挿による復元を実現している。フィルタ処理による情報の欠落が無くなるため、元データと復元後のデータが1対1変換となり、従来のような曖昧さが無くなる。さらに最尤推定値の近傍において誤差評価を行うことで、推定の信頼性を定量的に議論できる。
なお、本手法においては、実際の数値計算においては計算精度も厳密に決めて、近似計算は行わない。これは誤差評価を精密に行うためである。そのため、計算量が従来よりも大きくなるため、並列計算や対称性を利用した計算量低減を行う。
<装置構成>
本実施形態における顕微鏡は単一光子条件で高速かつ高分解能に撮影を行う必要がある。単一光子条件とは、1回の照射に対して検出される光子が1個以下であるという条件である。このような測定装置として、高速撮影可能な共焦点スキャナ顕微鏡システム(特許文献3参照)が挙げられる。ここでは、その構成を簡単に説明する。
図7は、本実施形態に係る共焦点スキャナ顕微鏡システムの概要構成を示す図である。共焦点スキャナ顕微鏡システムは、大略、マイクロレンズディスク付きのニポウディスク型スキャナユニット10、顕微鏡ユニット20、分光ユニット30、カメラシステム40、制御装置50、表示装置60、解析装置70からなる。
スキャナユニット10は、主に、光源部、マイクロレンズディスク、ピンホールディスクを備える。光源部は、観察対象である物質をマーキングしている蛍光物質に対して励起波長を有する励起光を照射する装置である。光源部11として、レーザ光源、超高圧水銀灯、キセノンランプ、紫外線LEDなど、観察対象から発せられる蛍光の種類に応じて単数または複数の光源が用いられる。
マイクロレンズディスクとピンホールディスクは対抗配置され、マイクロレンズディスク上の各マイクロレンズは、入射するレーザ光を対応するピンホールディスク上のピンホール上に集光する。マイクロレンズアレイによる集光によってピンホールディスクを通過する光量は大幅に向上する。また、ピンホール以外のディスク表面での反射光(ノイズ光)が減少し、SN比も向上する。ピンホールディスクのピンホールから出射されたレーザ光は、顕微鏡ユニット20を介して、試料Sを励起する。試料Sから出た蛍光は再び顕微鏡ユニット20を介してスキャナユニット10のピンホールディスクを通過し、ダイクロイックミラーで反射して観察光路系に導かれる。
分光ユニット30は、ダイクロイックミラー等によって、蛍光に含まれる2つの光を分岐する。ここでは2つに分岐しているが、3つ以上に分岐してもよいし、分岐せずに1つの波長の光のみを撮影するようにしてもよい。なお、カメラシステム40は、分岐数に応じた数のイメージインテンシファイア41、リレーレンズ42、カメラ43で構成される。
イメージインテンシファイア41は、フォトンの検出信号を100倍から10000倍程度増幅することで、入力された微弱な光学像を増強された出力像として出力する。イメージインテンシファイア41の出力光は、リレーレンズ42により集光されてカメラ43に入射する。カメラ43は、例えばsCMOSを用いた高速・高感度のカメラである。カメラ43は、撮影画像を表す画像データを、制御装置50に出力する。イメージインテンシファイア41およびカメラ43はいずれも冷却によりノイズを抑制することが望ましい。
制御装置50は、マイクロプロセッサや記憶装置などを含む通常のコンピュータであり、顕微鏡システム全体の制御を司る。制御装置50は、カメラ43から得られる画像データを解析装置70によって後から再構成処理するために記憶装置に蓄積する。表示装置60には、カメラ43から取得された画像や、測定中の動作状態を表す画面などが表示される。
<処理内容>
[PSFおよびIPSFの決定]
図8は、点像分布関数PSFおよびその逆関数IPSFの決定処理のフローチャートである。
ステップS11において、Q-Dot(量子ドット)のような微小点光源(評価用試料)を単
一光子条件下で測定する。この際、たとえば、高速にZ位置を変えて撮影することによって3次元画像を得る。この際、システムのノイズ特性の確率分布も測っておく。
解析装置70は、ステップS12において、それぞれの撮影画像から光子の検出位置を求める。撮影画像には図2に示すように、イメージインテンシファイアによって1光子が
増幅されて拡がりを有する領域が撮影される。そこで、解析装置70は、この領域の中心に1つの光子が検出されたものとして計数する。それぞれの撮影画像について光子を検出することで、光子の検出頻度の3次元分布が得られる。
解析装置70は、ステップS13において、点光源の撮影画像(光子分布)を用いてPSFを決定する。解析装置70は、ステップS13において、PSFと点光源の撮影画像から、帯域外外挿によってIPSFを求める。上述したように、観測視野が有限の大きさしか持たないときは、透過帯域内のスペクトル情報を用いて、透過帯域外のスペクトル情報を得ることができる。PSFは代数的手法によって求めることができる。
解析装置70は、以上のようにして求められたPSFおよびIPSFをメモリに記憶する。
[測定・復元処理]
図8は、測定対象物の測定処理および解析処理の流れを示すフローチャートである。
ステップS21において、観察目的の試料(生体試料等)を単一光子条件下で測定する。この際、高速にZ位置を変えて連続的に撮影することによって3次元画像を得る。
解析装置70は、ステップS22において、それぞれの撮影画像から光子の検出位置を求める。この処理は、ステップS21と同様であるため詳しい説明は省略する。時刻tにおける撮影画像をIk(x, y)としたときに、検出光子分布I'k(x, y)は検出位置で値1、
それ以外の位置で値0とする。
以下では、ある時間範囲t−aからt+aのあいだに撮影された画像を統合したものを、時刻tにおける3次元画像のスナップショットとして取り扱う。具体的には、次のようにして時刻tにおける光子の3次元分布IM= f(x, y, z)を得る。
ここで時間aは試料の移動を無視できる短い時間とする。ただし、時間変化も考慮した4次元画像として扱ってもよいし、特定の平面のみの2次元画像として扱ってもよい。
次にステップS23において、解析装置70は、3次元光子分布f(x, y, z)に対してIPSFを掛けることによって、推定画像OBJEST = IPSF.{f(x,y,z)}を得る。後述するようにこのようにして復元される推定画像OBJESTは、評価値(尤度)を最大にする最尤推定画像(最尤推定値)すなわち正解画像である確からしさが最も高い画像である。
ステップS24において、解析装置70は最尤推定値付近の推定画像について、誤差評価のための評価値を算出する。誤差評価手法として、最尤法、ベイズ法、最小二乗法などを用いることができる。どの評価手法を用いるかをユーザが指定可能とすることも好ましい。以下では、最尤法を用いる場合を例に説明する。
最尤法では、評価関数LHFを次のように定義する。
PSF.EOBJは総和が1なので、イェンゼンの不等式からf(x,y,z)=PSF.EOBJの時のみLHFが最大値を取る。すなわち、EOBJ=IPSF.{f(x,y,z)}=OBJESTが最尤推定値である。
解析装置70は、最尤推定値OBJEST付近の推定画像OBJ'ESTについて尤度(評価値)を
算出する。ここで、最尤推定値の「付近」は適宜定義すればよい。たとえば、最尤推定値OBJESTの各画素値に−2から+2の変動を加えた画像(5画素数個)を、最尤推定値の「
付近」と定義することができる。もっとも、変動値の幅は画素ごとに異なっていてもよいし、複数の画素に与える変動値に相関を持たせてもよい。
なお、PSFの測定処理においてシステムのノイズ特性の確率分布も測っている場合には
、ノイズ特性の確率分布も考慮して尤度関数を定義することが好ましい。これにより、尤度をより適正なものすることができる。
ステップS25において、解析装置70は、ステップS24,S25において求めた最尤推定値付近OBJESTの複数の推定画像OBJ'ESTをその尤度と関連付けて中間データとして
メモリに記憶する。このデータをもとに、区間推定や種々の表示形式でのデータ出力が可能となる。
ここでは、測定試料を画像形式で表示する場合を例に説明する。ステップS26において、解析装置70は、区間推定のための有意水準を決定する。たとえば、ユーザから有意水準の入力を受け付ける。
ステップS27において、解析装置70は、有意水準を満たすようにデータ加工を行う。測定試料を画像形式で表示する場合には、ビニング処理を施す。有意水準を満たすよう
なビニングは、どのように決定してもよい。単純には、1つの画素にまとめる画素数を徐々に増やしていき、尤度(評価値)が有意水準以上となる画像が初めて得られる時点を決定すればよい。解析装置70は、ステップS28において、有意水準以上の尤度(評価値)を有する加工後のデータ(すなわち今の例ではビニング処理後の画像)を表示装置60に出力(表示)したりメモリに格納したりする。
<本実施形態の有利な効果>
本実施形態では、高速かつ高精度な測定系により得られた画像に基づき、帯域外外挿による復元が実現できる。フィルタ処理による情報の欠落が無くなるため、元データと復元後のデータは1対1変換となり従来のような曖昧さが無くなる。さらに、光子計数により光子数を求めているので、それに基づいて厳密な誤差評価が可能である。推定値の近傍において誤差評価を行うことで、推定の信頼性を定量的に評価できる。この誤差評価によって、フィルタ処理によるノイズ除去を行わなくても信頼できる復元結果を得ることができる。
最尤推定値付近の元画像候補と評価値(尤度)を中間データとして記憶しているので、有意水準を変更する場合にはデータ加工処理(S27)のみを再度行えばよい。また、表示形式を変更する場合も、中間データを用いて処理を行えばよい。すなわち、有意水準や表示形式を簡単に変更できる。
<変形例>
本手法は、シーケンサーやマイクロアレイを用いた測定に好適に適用できる。DNAサンプルなどの観察対象物質が格子状に配置されている場合、輝点位置が常に同一である。輝点位置が離散的で定まっているので、本手法における計算処理の際の制約条件として用いることで、推定画像の次元数が減るので計算量が減るととともに復元精度を向上させることができる。また、本手法によって高分解能化が達成できれば、格子密度を上げることができ、並列処理能力の増大、基板の微小化、試料の微量化などの効果を得られ、測定のスループットが向上する。
上記の実施形態では、単一光子条件下でイメージインテンシファイアを用いて光子計数を行っている。しかしながら、光子の検出分布が得られれば本手法は利用可能であり、必ずしも光子計数によって検出光子分布を得る必要はない。たとえば、イメージインテンシファイアを用いた計数を行わずに、カメラの輝度値から光子数の分布を得ればよい。
10:スキャナユニット
20:顕微鏡ユニット
30:分光ユニット
40:カメラシステム
50:制御装置
60:表示装置
70:解析装置

Claims (10)

  1. 撮像光学系から得られる像の光子検出数分布を取得する取得手段と、
    あらかじめ求められているIPSF(点像分布関数PSFの逆関数)を用いて前記光子検出分布から推定画像を取得する復元手段と、
    前記推定画像および当該推定画像と類似する複数の画像について、当該画像が正解画像である確からしさを表す評価値を算出する評価値算出手段と、
    評価値が有意水準以上となるような物理パラメータを生成し出力する出力手段と、
    を備える、データ復元装置。
  2. 前記PSFは点光源を撮影した画像から生成され、
    前記IPSFは、前記PSFおよび前記点光源を撮影した画像から帯域外外挿を用いて生成される、
    請求項1に記載のデータ復元装置。
  3. 前記取得手段は、光子計数可能に撮影された複数の画像のそれぞれから光子の検出数を求めて前記光子検出数分布を得る、
    請求項1又は2に記載のデータ復元装置。
  4. 前記取得手段は、単一光子条件で撮影された複数の画像のそれぞれから、輝度分布の中心に1つの光子が検出されたものとして前記光子検出数分布を得る、
    請求項3に記載のデータ復元装置。
  5. 前記取得手段は、イメージインテンシファイアと撮像装置を含む顕微鏡によって撮影された画像から、前記光子検出数分布を得る、
    請求項1から4のいずれか1項に記載のデータ復元装置。
  6. 前記評価値は、推定画像が正解画像であると仮定したときに、前記光子検出数分布が得られる確率を表す値である、
    請求項1から5のいずれか1項に記載のデータ復元装置。
  7. 前記物理パラメータは画像であり、
    前記出力手段は、前記推定画像およびそれに類似する複数の画像に基づいてビニング処理を行い評価値が有意水準以上となる画像を生成して出力する、
    請求項1から6のいずれか1項に記載のデータ復元装置。
  8. イメージインテンシファイアと撮像装置を含む顕微鏡と、
    請求項1から7のいずれか1項に記載のデータ復元装置と、
    を備える、顕微鏡システム。
  9. 撮像光学系から得られる像の光子検出数分布を取得する取得ステップと、
    あらかじめ求められているIPSF(点像分布関数PSFの逆関数)を用いて前記光子検出分布から推定画像を取得する復元ステップと、
    前記推定画像および当該推定画像と類似する複数の画像について、当該画像が正解画像である確からしさを表す評価値を算出する評価値算出ステップと、
    評価値が有意水準以上となるような物理パラメータを生成し出力する出力ステップと、
    を含む、データ復元方法。
  10. 請求項9に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
JP2016118225A 2016-06-14 2016-06-14 データ復元装置、顕微鏡システム、およびデータ復元方法 Active JP6681068B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016118225A JP6681068B2 (ja) 2016-06-14 2016-06-14 データ復元装置、顕微鏡システム、およびデータ復元方法
PCT/JP2017/021420 WO2017217325A1 (ja) 2016-06-14 2017-06-09 データ復元装置、顕微鏡システム、およびデータ復元方法
EP17813222.1A EP3471393B1 (en) 2016-06-14 2017-06-09 Data recovery device, microscope system, and data recovery method
US16/309,781 US10866400B2 (en) 2016-06-14 2017-06-09 Data recovery device, microscope system, and data recovery method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016118225A JP6681068B2 (ja) 2016-06-14 2016-06-14 データ復元装置、顕微鏡システム、およびデータ復元方法

Publications (3)

Publication Number Publication Date
JP2017224108A true JP2017224108A (ja) 2017-12-21
JP2017224108A5 JP2017224108A5 (ja) 2019-07-18
JP6681068B2 JP6681068B2 (ja) 2020-04-15

Family

ID=60663552

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016118225A Active JP6681068B2 (ja) 2016-06-14 2016-06-14 データ復元装置、顕微鏡システム、およびデータ復元方法

Country Status (4)

Country Link
US (1) US10866400B2 (ja)
EP (1) EP3471393B1 (ja)
JP (1) JP6681068B2 (ja)
WO (1) WO2017217325A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612051A (zh) * 2023-05-05 2023-08-18 之江实验室 一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727540B2 (en) * 2020-12-31 2023-08-15 Samsung Electronics Co., Ltd. Image sharpening
US11792535B2 (en) 2021-08-10 2023-10-17 Samsung Electronics Co., Ltd. System and method to improve quality in under-display camera system with radially increasing distortion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003255231A (ja) * 2002-02-28 2003-09-10 National Institute Of Advanced Industrial & Technology 光イメージングシステム及び光イメージのデータ処理方法
JP2009188891A (ja) * 2008-02-08 2009-08-20 Victor Co Of Japan Ltd 画像処理装置、画像処理方法、および画像処理プログラム
JP2012078408A (ja) * 2010-09-30 2012-04-19 Olympus Corp 標本観察装置
JP2014515206A (ja) * 2011-03-22 2014-06-26 コーニンクレッカ フィリップス エヌ ヴェ カメラを有するカメラシステム、カメラ、カメラを動作させる方法、及び、記録された画像を解析する方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4922092A (en) * 1986-11-26 1990-05-01 Image Research Limited High sensitivity optical imaging apparatus
JP3952499B2 (ja) 2002-08-30 2007-08-01 横河電機株式会社 共焦点スキャナ顕微鏡
ATE285590T1 (de) * 2002-10-25 2005-01-15 Evotec Technologies Gmbh Methode und vorrichtung zur aufnahme dreidimensionaler abbildungen von schwebend gehaltenen mikroobjekten unter verwendung hochauflösender mikroskopie
WO2007080130A2 (en) * 2006-01-13 2007-07-19 Micronic Laser Systems Ab Apparatuses, methods and computer programs for artificial resolution enhancement in optical systems
US20090148065A1 (en) * 2007-12-06 2009-06-11 Halsted Mark J Real-time summation of images from a plurality of sources
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003255231A (ja) * 2002-02-28 2003-09-10 National Institute Of Advanced Industrial & Technology 光イメージングシステム及び光イメージのデータ処理方法
JP2009188891A (ja) * 2008-02-08 2009-08-20 Victor Co Of Japan Ltd 画像処理装置、画像処理方法、および画像処理プログラム
JP2012078408A (ja) * 2010-09-30 2012-04-19 Olympus Corp 標本観察装置
JP2014515206A (ja) * 2011-03-22 2014-06-26 コーニンクレッカ フィリップス エヌ ヴェ カメラを有するカメラシステム、カメラ、カメラを動作させる方法、及び、記録された画像を解析する方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116612051A (zh) * 2023-05-05 2023-08-18 之江实验室 一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统
CN116612051B (zh) * 2023-05-05 2024-03-19 之江实验室 一种基于频谱域滤波的干涉散射图像弱信号的实时恢复方法和系统

Also Published As

Publication number Publication date
EP3471393A1 (en) 2019-04-17
WO2017217325A1 (ja) 2017-12-21
US10866400B2 (en) 2020-12-15
JP6681068B2 (ja) 2020-04-15
EP3471393B1 (en) 2020-01-22
US20190113733A1 (en) 2019-04-18
EP3471393A4 (en) 2019-06-12

Similar Documents

Publication Publication Date Title
JP4826586B2 (ja) スペクトル画像処理方法、コンピュータ実行可能なスペクトル画像処理プログラム、スペクトルイメージングシステム
CN111656246B (zh) 用于定位显微的方法和系统、计算机可读存储介质
WO2016133787A1 (en) Methods, systems and devices for automatically focusing a microscope on a substrate
US20140152800A1 (en) Image quality optimization of biological imaging
JP2012237693A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20190025213A1 (en) Microscopy system, microscopy method, and computer-readable storage medium
WO2017217325A1 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
US20140140595A1 (en) Microscopy system and method for biological imaging
US20180157022A1 (en) Systems and methods for calibrating a structured illumination imaging system and for capturing a structured illumination image
JP2021510850A (ja) 高空間分解能の時間分解イメージング法
US20140022373A1 (en) Correlative drift correction
JP2006317261A (ja) 走査型サイトメータの画像処理方法及び装置
JP2020035421A (ja) 超解像顕微鏡のための画像処理装置及び画像処理方法
JPWO2018008136A1 (ja) 画像処理装置および画像処理装置の作動方法
Jiang et al. Blind deblurring for microscopic pathology images using deep learning networks
Rieger et al. Image processing and analysis for single-molecule localization microscopy: Computation for nanoscale imaging
JP2023539435A (ja) 蛍光顕微鏡における照明調整方法および対応する蛍光顕微鏡
US11238566B2 (en) Image processing device, system, and method for improving signal-to-noise of microscopy images
US20240037755A1 (en) Imaging device and method
Jerome Confocal Digital Image Capture
WO2023189393A1 (ja) 生体試料観察システム、情報処理装置及び画像生成方法
US20230258918A1 (en) Digital microscope with artificial intelligence based imaging
Geng et al. Blind optical sectioning and super-resolution imaging in multifocal structured illumination microscopy
CN116223457A (zh) 分析多种荧光团的混合荧光响应的方法和荧光分析仪
CN114144660A (zh) 信息处理装置和程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190607

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190607

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200313

R150 Certificate of patent or registration of utility model

Ref document number: 6681068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250