JP2006221190A - 共焦点走査型顕微鏡システム - Google Patents

共焦点走査型顕微鏡システム Download PDF

Info

Publication number
JP2006221190A
JP2006221190A JP2006127223A JP2006127223A JP2006221190A JP 2006221190 A JP2006221190 A JP 2006221190A JP 2006127223 A JP2006127223 A JP 2006127223A JP 2006127223 A JP2006127223 A JP 2006127223A JP 2006221190 A JP2006221190 A JP 2006221190A
Authority
JP
Japan
Prior art keywords
light
dimensional
image
intensity distribution
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006127223A
Other languages
English (en)
Inventor
Toshihiko Ogura
俊彦 小椋
Kaoru Kato
薫 加藤
Toru Yamada
亨 山田
Masahiro Yamada
雅弘 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2006127223A priority Critical patent/JP2006221190A/ja
Publication of JP2006221190A publication Critical patent/JP2006221190A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

【課題】50nmレベルの高い空間分解能を備える共焦点走査型顕微鏡システムを提供する。
【解決手段】共焦点走査型顕微鏡システムは、スポット光を照射した観測試料から発する光の2次元光強度分布を2次元光検出器により受光し、各光照射領域毎の2次元光強度分布に基づいて、点像分布関数を種関数とする逆演算により再構成した2次元光強度分布を前記スポット光の各照射位置に対応させて位置をずらしながら重ねて平均化し全観察領域の2次元光強度分布を構成して観測画像を形成する。高い空間分解能が得られ、50nmレベルの高い空間分解能を有する共焦点走査型顕微鏡システムが提供される。
【選択図】 図1

Description

本発明は、高い空間分解能を有する共焦点走査型顕微鏡システムに関する。
走査型光学顕微鏡は、検体試料の形態や大きさを観察・計測するための汎用的な装置として古くから用いられており、特に、半導体試料や生物試料といった高い分解能やコントラストでの観察が求められる場合には、空間分解能200nm程度の共焦点レーザ走査型顕微鏡が広く用いられている。
図7は、従来の共焦点レーザ走査型顕微鏡システムの構成例を説明するための図で、この共焦点レーザ走査型顕微鏡システムは、一般的な走査型光学顕微鏡に用いられる構成の光学系700とデータ処理系720とから構成され、試料ステージ701上に観察試料702を載置し、光源であるレーザ707から射出された光をレンズ708、709で集光した後にピンホール710で所望のスポット径とし、レンズ711により平行ビームを形成した後にハーフミラー713で下側に光路変換させ、対物レンズ703により収束して観察試料702上に光照射する。
この光照射により観察試料702から発せられる蛍光等は、対物レンズ703、ハーフミラー713、及び、レンズ704によって集光され、ピンホール705を通過した後に光検出器である光電子増倍管706により光強度が検出される。なお、この光学系700は試料ステージ701をXY平面内で移動可能とするための図示しない駆動機構を備えており、試料ステージ701のXY面内での駆動を行ないながら観察を実行することで2次元マッピングデータを得ることが可能となる。
光電子増倍管706によって検出された光強度データは、コンピュータを備えるデータ処理系720に送られて各観察点毎の蛍光強度値(gx,y)として逐次記録され、所定の観察領域の2次元マッピングに対応する観測データ行列Rが形成される。そして、全ての観察点での蛍光強度値のデータ取りこみが終了した時点で観測蛍光強度を表示画面上に表示させ、観測データ行列Rを表示画像データ行列Rとして画像を形成することで観察試料702の2次元像を再生させている。
なお、試料ステージ701をXY面内で移動させることにより2次元マッピングを得る上述の方法に変えて、照射光の光路中にスポット光走査装置712を設けることとし、このスポット光走査装置712の駆動をデータ処理系720から送信される観測点信号と同期させることにより観察試料702上の光照射点を変化させて2次元マッピングを得ることとしてもよい。
また、例えば、特許文献1では、輪帯マスクによる回折による分解能の低下を回避することで輪帯状照明による超解像効果を確実に発揮させることが可能な顕微鏡の発明も開示されている。
更に、近年のバイオテクノロジ研究のための高分解能光学顕微鏡開発への要請等に応えるためとして、観察試料の四方から光を照射するようにしてメッシュ状の定在照射光(satnding wave illumination)を観察試料上に形成し、試料から得られる蛍光イメージを画像処理することにより100nmの分解能を実現したHELM(harmonic excitation light microscopy)がFrohnらによって報告されている(非特許文献1)。
特開2001−91847号公報 PNAS,7232−7236,Vol.97,No.13(2000)
しかしながら、従来の構成の共焦点レーザ走査型顕微鏡では、光が照射された試料領域から発せられる信号光の積分強度のみを観察試料からの情報として捉えて画像処理を実行しているために、その空間分解能は試料上に照射される光のスポットサイズによって決定されることとなり、顕微鏡としての空間分解能の向上には自ずと限界があるという問題があった。
また、上述のHELMは、メッシュ状の定在照射光を形成するために特殊で複雑な光学系を採用しており、顕微鏡本体が高価となることに加えて僅かな振動や試料(及び試料ホルダ)のドリフトが空間分解能に大きく影響を与えることとなる結果、汎用的な使用の際には簡便性・安定性の点で不充分であるという問題もあった。
本発明は、このような問題に鑑みてなされたものであり、本発明の目的は、50nmレベルの高い空間分解能を有する共焦点走査型顕微鏡システムを提供することにある。
このような目的を達成するため、本発明は、第1の態様として、本発明による共焦点走査型顕微鏡システムは、光源から射出された光をスポット光にして観察試料に照射して該観察試料から発する光を2次元光強度分布として受光する光学系と、受光した光の2次元光強度分布を観察試料画像に画像形成するデータ処理系とで構成された共焦点走査型顕微鏡システムであって、前記光学系は、光源から射出された光をスポット光にして観察試料を2次元的に走査して照射するスポット光走査手段と、前記スポット光を照射した観察領域から発する光を2次元光強度分布として受光する2次元光検出部からの信号により前記スポット光の照射位置の情報と対応づけた2次元光強度分布の2次元画像情報を取得する2次元光検出手段とを備え、前記データ処理系は、前記2次元光検出手段で取得した2次元光強度分布の2次元画像情報を前記観察試料上のスポット光の各照射位置に対応させて記憶する記憶手段と、前記2次元光強度分布の2次元画像情報に基づいて点像分布関数を種関数とする逆演算により再構成した2次元光強度分布を前記スポット光の各照射位置に対応させて位置をずらしながら重ねて平均化し全観察領域の2次元光強度分布を構成する演算手段と、前記演算手段により構成された全観察領域の光強度分布を画像として表示する表示手段とを備えることを特徴とする。
また、第2の態様として、本発明による共焦点走査型顕微鏡システムにおいて、前記演算手段は、前記2次元光検出手段で得た光照射領域毎の2次元光強度分布の各2次元画像情報に点像分布関数によるウイナーインバースフィルタを掛けるデータ処理を行い、信号光強度を補正して2次元光強度分布を再構成することを特徴とする。
また、第3の態様として、本発明による共焦点走査型顕微鏡システムにおいて、前記2次元光検出手段の画素間隔は、該光学系により定まる点像分布関数の遮断空間周波数よりも小さく設定されていることを特徴とする。
また、第4の態様として、本発明による共焦点走査型顕微鏡システムにおいては、前記光学系の光路中に輪帯絞りを備えることを特徴とする。
また、第5の態様として、本発明による共焦点走査型顕微鏡システムにおいて、前記光学系は共焦点光学系であって、前記2次元光検出手段が観察試料の実像面と共役な位置に設けられていることを特徴とする。
また、第6の態様として、本発明による共焦点走査型顕微鏡システムにおいて、前記光学系はパルスレーザを光源として備え、観察試料に含まれる蛍光分子の2光子励起が可能であることを特徴とする。
以上、説明したように、本発明の共焦点走査型顕微鏡システムによれば、スポット光を照射した観測試料から発する光の2次元光強度分布を2次元光検出器により受光し、各光照射領域毎の2次元光強度分布に基づいて、点像分布関数を種関数とする逆演算により再構成した2次元光強度分布を前記スポット光の各照射位置に対応させて位置をずらしながら重ねて平均化し全観察領域の2次元光強度分布を構成して観測画像を形成するので、高い空間分解能が得られ、50nmレベルの高い空間分解能を有する共焦点走査型顕微鏡システムを提供することができる。
以下に、図面を参照して本発明の実施の形態について説明する。
(システム構成)
図1は、本発明の共焦点走査型顕微鏡システムの構成を説明するための図で、この共焦点走査型顕微鏡システムは、一般的な走査型光学顕微鏡に用いられる構成の光学系100とデータ処理系120とから構成され、試料ステージ101上に観察試料102を載置し、光源であるレーザ106から射出された光をレンズ107、108で集光した後にピンホール109で所望のスポット径とし、レンズ110により平行ビームを形成した後にハーフミラー112で下側に光路変換させ、対物レンズ103により収束して観察試料102上に光照射する。なお、用いる光源としては特に制約はないが、通常のレーザ光源の他、数百フェムト秒以下のパルス幅のレーザや、高圧水銀灯やキセノンアークランプ等の各種の高輝度光源であってもよい。
この光照射により観察試料102から発せられる蛍光等は、対物レンズ103、ハーフミラー112、及び、レンズ104によって集光されてCCD等の2次元光検出器105により光強度の2次元的分布が検出される。すなわち、図7で示した従来の共焦点レーザ走査型顕微鏡では、観察試料からの光信号のうちの光強度のみを光検出器(光電子増倍管706)でモニタしているのに対して、本発明の共焦点走査型顕微鏡システムでは、2次元光検出器105により、観察試料上の光スポットサイズに対応する空間的広がりをもったXY平面内での光強度分布がモニタされることとなる。なお、2次元光検出器105としては、CCDの他、フォトダイオードアレイや2次元光電子増倍管等であってもよい。また、後述する理由により、本発明の共焦点走査型顕微鏡システムの光学系では、2次元光検出器105の光入射口側にはピンホールを設けずに観察試料102からの空間的広がりを有する信号光の全てを2次元光検出器105に入射させる構成としている。
光学系100は試料ステージ101をXY平面内で移動可能とするための図示しない駆動機構を備えており、試料ステージ101のXY面内での駆動を行ないながら観察を実行することで2次元マッピングデータを得ることが可能となる。なお、試料ステージ101をXY面内で移動させることにより2次元マッピングを得る上述の方法に変えて、照射光の光路中にスポット光走査装置111を設けることとし、このスポット光走査装置111の駆動をデータ処理系120から送信される観測点信号と同期させることにより観察試料102上の光照射点を変化させて2次元マッピングを得ることとしてもよい。
このようなスポット光の走査方法としては、ピエゾ素子を駆動機構として用いたステージを利用したり、照射光の光路に挿入したガルバノミラーを駆動させたり、或いは、光路中に配置させたミラーをピエゾ素子により駆動させる等の種々の方法が利用可能である。更に、必要に応じて、図1中のレンズ107とレンズ108の間等の適当な光路位置に輪帯絞りを設けることで空間分解能の最適化を図ることも可能である。
このようにして2次元光検出器105によって検出された光強度の空間分布データは、コンピュータを備えるデータ処理系120に送られて、各観察点毎の蛍光強度分布gx,y(s,t)として逐次記録され、所定の観察領域の2次元マッピングに対応する観測画像データ行列Rgが形成される。ここで、蛍光強度分布gx,y(s,t)は、観測点の座標(x,y)におけるビームスポットに対応する2次元光検出器105で検出された観察領域の面内の座標(s,t)の光強度を意味する。全ての観測点での蛍光強度分布データの取りこみが終了した時点で、後述するように、データ解析を実行し、デコンボリューション後の回復画像データ行列Rに基づいて、試料全体の回復画像を再構成して表示画像データ行列Rを算出して観察試料102の2次元像を再生させる。
図1では、反射型の光学系として構成した共焦点走査型顕微鏡システムについて説明したが、図2に示すように、透過型の共焦点走査型顕微鏡システムとして構成してもよい。なお、図2中の光学系の各構成要素には、図1において説明した構成要素と同じ符号を付している。
(光イメージングの原理)
図3は、本発明の共焦点走査型顕微鏡システムで採用する光イメージングの原理を説明するための図であり、図3(a)は、照射光スポット領域に2つの物体が距離d〜dだけ離れて存在する場合にこれらの物体の各々から得られる光信号強度の空間的分布を説明するための図であり、図3(b)は、このようにして生じる光信号を検出して画像として再構成するプロセスを説明するための図である。
図3(a)に示す様に、光照射を受けた物体から得られる信号強度は、空間的に広がりをもつ物体の中心に相当する位置に極大をもち両端にかけて振動しながら漸近的に減少し、本来は物体が存在しないはずの領域にも信号強度を有する「すそ」の部分が存在する。そして、2つの物体間隔を図3(a)〜図3(a)のようにd、d、dと徐々に狭くしてゆくと、これらの光強度の中心間距離は物体間隔に伴って減少すると共に、上述の光信号の「すそ」の部分の重なりが生じ、この重なり部分では物体間隔に依存してその程度が変化する干渉が生じる。
従来の共焦点型走査光学顕微鏡では、1つの照射光スポットに対応させて得られる1つの光強度情報のみを検出していたため、本来は観察物体が存在しないはずの領域に対応する上述の「すそ」領域の光強度も物体からの光信号として検知されることとなり、これにより顕微鏡像の輪郭の「ぼけ」が生じると共に、顕微鏡の空間分解能を向上させるために重要な情報を含んでいるはずの光信号の「すそ」の重なり部分の干渉の程度は何ら解析の対象とされていなかった。
本発明の共焦点走査型顕微鏡システムでは、光信号の「すそ」の重なり部分の干渉の程度を解析の対象として取り扱うこととし、そのため、本発明の共焦点走査型顕微鏡システムの光学系では、図1により説明したように、2次元光検出器105の光入射口側にはピンホールを設けずに、観察試料から発する空間的広がりを有する信号光の全てを2次元光検出器に入射させる構成とされ、その信号光の解析は以下の手順で進められる。
すなわち、試料に光照射がなされると(図3(b))、試料から得られる光学顕微鏡の観測画像g(x,y)は、ノイズが無視できる条件下では、点像分布関数h(x,y)とよばれる装置関数が真の試料画像f(x,y)に畳み込み積分(コンボリューション)されたものとして与えられ、観測画像g(x,y)は(式1)で与えられる(図3(b))。
Figure 2006221190
従って、点像分布関数h(x,y)を種関数として観測画像g(x,y)に対して逆演算(デコンボリューション)を行なう(図3(b))ことにより真の試料画像f(x,y)を推定する(図3(b))ことができ、空間分解能(解像度)を向上させることが可能である。ここで、境界条件が不明確であるとデコンボリューション演算の実行により誤差を生じさせる結果となるため、本発明の共焦点走査型顕微鏡システムでは、境界条件の明確化のためにスポット光を照明光として試料の限られた範囲を照射することとしている。
(データ処理の具体的内容)
以下に、本発明の共焦点走査型顕微鏡システムにおける光イメージのデータ処理方法について説明する。
(1.観測画像データの取り込み)
レーザ光が空間的広がりをもつビームスポットとして観察試料に照射されると、光照射位置(x,y)における観察試料からの蛍光や反射光又は透過光(光学系の構成により異なる)が、画素数σ・τ(横 σ画素、縦 τ画素)の2次元光検出器で検出されて画像データgx,y(s,t)(但し、1≦s≦σ、1≦t≦τ)として記録される。これに続いて、スポット光の照射位置をx方向に一定の微小距離だけ移動させて次の観測画像データgx+1,y(s,t)を記録する。ここで、ステップサイズ(試料送り)を、スポットサイズと同等以下(数分の1程度)の微小距離とすることにより解像度が向上する。
この手順をN回(但し、N=(横方向ξ回)×(縦方向ψ回))繰り返して実行することで目的とする観察試料の全面を走査し、(式2)で表記される観測画像データ行列R(ξ・ψの行列)を得る。
Figure 2006221190
(但し、1≦x≦ξ、1≦y≦ψ、1≦s≦σ、1≦t≦τ)
このようにして得られる観測画像データ行列Rに対してコンピュータを用いた画像処理を実行する。
(2.回復画像データ行列の算出)
観測画像データ行列Rに含まれる各画像データgx,y(s,t)に対して、点像分布関数を種関数としたデコンボリューションを実行し、真値が回復された回復画像データfx,y(s,t)を算出し、(式3)に示す観測画像データ行列Rに対応する回復画像データ行列Rを求める。
Figure 2006221190
(但し、1≦x≦ξ、1≦y≦ψ、1≦s≦σ、1≦t≦τ)
この方法によれば、画像データgx,y(s,t)から回復画像データfx,y(s,t)をデコンボリューション演算で算出する際にスポット光の照射範囲を境界条件として正確に与えることができるために誤差の少ない演算が可能となる。ここで、上述のデコンボリューションはフーリエ面又は実像面のいずれかで実行し、そのアルゴリズムの例としては、観測画像データg(x,y)をフーリエ変換G(u,v)し、これを点像分布関数h(x,y)のフーリエ変換H(u,v)で割ることで逆変換する方法、ウイナーインバースフィルタW(u,v)を用いる方法、ハリスの方法、及び、非線形最適化法等が挙げられる。
これらのデコンボリューションアルゴリズムのうち、観測画像データg(x,y)をフーリエ変換G(u,v)し、これを点像分布関数h(x,y)のフーリエ変換H(u,v)で割ることで逆変換する方法では、畳み込み定理によりF(u,v)(=G(u,v)/H(u,v))を求め、このF(u,v)を逆フーリエ変換することで、回復画像データf(x,y)を求める。この方法では、H(u,v)がゼロに近い値をとるときには、F(u,v)が非常に大きな値となるため、G(u,v)がノイズを含む場合にはそのノイズが増幅されて満足な回復画像データf(x,y)を得ることが難しいという難点がある。
ウイナーインバースフィルタW(u,v)を用いる方法では、フィルタ関数は(式4)で与えられる。
Figure 2006221190
ここで、H(u,v)はH(u,v)の転置行列、cは信号と雑音のパワースペクトル比である。
そして、このW(u,v)を基に、F(u,v)=G(u,v)・W(u,v)によりF(u,v)を求め、このF(u,v)を逆フーリエ変換することで回復画像データf(x,y)を求める。
本発明の共焦点走査型顕微鏡システムの光学系では、試料にスポット光を照射するために観測される画像の範囲がスポット光の照射領域内に限定される。従って、ハリスの超過像法における物体の広がりに対する制約条件が満足され、ハリスの方法によるデコンボリューションが可能である。ハリスの超解像法は、観測画像を計測系の遮断周波数より細かくサンプリングし、シンク関数で内挿した後に逆行列計算を行なって帯域を広げ、この処理により光学系によって劣化した高周波成分が回復可能となって分解能が向上する。
非線形最適化法を用いるデコンボリューションでは、真の輝度値と点像分布関数を畳み込んだ値と測定値の二乗誤差が最小となるように真の輝度値を反復しながら修正する。一般的に、画像の輝度情報は負値となることがないため、これを制約条件として最急降下法あるいは共役勾配法などの最適化手法を用いて真の輝度値を求める。この方法によれば、ノイズによる解の発散が生じないため最も適切な輝度値を求めることができるという大きなメリットがある。
(3.回復画像の再構成)
このようにして得られた回復画像データ行列Rに含まれる各回復画像データfx,y(s,t)を用いて、(式5)で表記される試料全体の回復画像Rを再構成する。
Figure 2006221190
(但し、1≦m≦μ、1≦n≦ν、im,nは回復画像Rの座標(m,n)に対応する2次元光検出器の画素の輝度値)
回復画像データ行列Rfから試料の全体の回復画像Riを再構成する方法としては、例えば、回復画像データ行列Rfに含まれる各回復画像データfx,y(s,t)の中央の値を用いる方法と、回復画像データfx,y(s,t)をx方向とy方向の走査ステップに相当する画素数(Δσ、Δτ)ずつずらして重ねて平均化することにより試料全体の回復画像Rを得る方法が挙げられる。
このうち、回復画像データ行列Rfに含まれる各回復画像データfx,y(s,t)の中央の値を用いる方法によれば、先ず、回復画像データ行列Rにおいて、ξ=μ、ψ?=ν、x=m、y=nとおき、回復画像データ行列Rに含まれる各回復画像データfm,n(s,t)の中央部の画素の輝度値を(式6)のようにim,nとして与える。
Figure 2006221190
このim,nを用いて(式7)のように試料全体の回復画像Rを得る。
Figure 2006221190
一方、回復画像データfx,y(s,t)をx方向とy方向の走査ステップに相当する画素数(Δσ、Δτ)ずつずらして重ねて平均化することで試料全体の回復画像Rを得る方法によれば、試料全体の回復画像Rは(式8)で定義される。
Figure 2006221190
(但し、1≦m≦μ、1≦n≦ν、im,nは試料全体の回復画像Rの座標(m,n)に位置する画素の輝度値)
ここで、試料全体の回復画像Rの画素数(μ(横方向),ν(縦方向))は、各々、μ=Δσ・(ξ−1)+σ、及び、ν=Δτ・(ψ−1)+τで与えられる。但し、Δσは横方向の1回の走査ステップに相当する画素数、ξは横方向の走査回数、σは各回復画像データfx,y(s,t)の横方向の画素数、Δτは縦方向の1回の走査ステップに相当する画素数、ψは縦方向の走査回数、そして、τは各回復画像データfx,y(s,t)の縦方向の画素数)である。
以下に、回復画像Rの座標(m,n)に対応する2次元光検出器の画素の輝度値であるim,nを求めるための具体的な演算手順を、σ/Δσ=Ns及びτ/Δτ=Ntが整数で、かつ、Δσ及びΔτも共に整数(但し、σ及びτは各回復画像データfx,y(s,t)の横及び縦の画素数)の場合を例にして説明する。
先ず、図1に示したように、走査時のステップサイズに相当する画素数(横方向Δσ、縦方向Δτ)ずつずらしながら回復画像を重ねて並べる。このとき、回復画像データfx,y(s,t)を基準にして横方向にNs枚重ねる場合には、例えばfx,y(s,t)の他のNs枚の画像との平均値は(式9)のようになり、
Figure 2006221190
これと同様の方法で、縦方向についてもNt枚の画像を走査ステップサイズずつずらして重ねた場合の平均を考慮に入れると、全体としては(式10)が得られる。
Figure 2006221190
このようにして、試料全体の回復画像Riの各座標における輝度値は(式11)で与えられ、
Figure 2006221190
Ns≦m≦μ−Ns、かつ、Nt≦n≦ν−Ntでは、
Figure 2006221190
(但し、roundup(a/b)はa/bの商を切り上げで求め、mod(a/b)はa/bの剰余を求めることを意味する)となる。
更に、(式12)をエッジ部分も含めた全ての画像の領域(1≦m≦μ、かつ、1≦n≦ν)で成り立つように拡張すると、(式13)が得られる。
Figure 2006221190
(但し、min(a,b,c)はa,b,cのうちの最小値を求め、1≦s<μ、1≦t≦ν、1≦x≦ξかつ1≦y≦ψ以外ではfx,y(s,t)=0である)
(実施例)
以下に、本発明の共焦点走査型顕微鏡システムの実施例について説明する。
(実施例1)
図4〜6は、本発明の共焦点走査型顕微鏡システムを用いて得られる観測画像の様子を説明するためにコンピュータシミュレーションを用いて得られた図であり、図4は、試料画像から観測画像が得られるまでの各演算過程における画像を説明するための図であり、図5は、試料画像、観測画像、及び、復元画像の各々を比較するための図であり、図6は、観測画像と復元画像の分解能の比較を説明するための図である。
図4には、試料画像(a)、試料画像を乗算して得られる画像(b)、点像分布関数(PSF)の畳み込み演算を行なって得られる画像(c)、及び、畳み込み画像を加算して得られる観測画像(d)と、スポット光強度分布像(e)、点像分布関数(PSF)(f)、及び、ノイズ成分の像(g)が示されており、併せて、これらの各々の画像から得られる信号強度のラインプロファイルも示されている。
図4(a)の試料画像は、観察している試料の本来の画像であり、ここでは、2つの方形の点が所定の距離だけ離隔されて配置されている。この試料画像にスポット光の強度分布(図4(e))を掛けることで試料からの蛍光(又は散乱光)強度分布である図4(b)が得られる。
これに、図4(f)に示すPSFで畳み込み演算を実行して図4(c)の畳み込み画像が得られる。この畳み込み画像から分るように、PSFを畳み込むことにより観察試料である点の周囲にボケが生じ、本来分離しているはずの2つの点の一部が重なり会う。更に、観測画像(図4(d))では、ノイズ成分が重畳されるために画像全体が鈍ることとなる。
図5には、試料画像(図5(a))、観測画像(図5(b))、及び、復元画像(図5(c))と、これらの画像に対応する信号強度のラインプロファイルが示されている。なお、この復元画像は、共役勾配法を用いて復元された画像である。図5(b)に示すように、観測画像では、ノイズ成分を多く含む鈍い像となっていることに加え、本来分離している2つの方形の点の像が融合しているのに対して、復元画像では、これらの点が完全に分離され、試料画像に極めて近い像として再現されており、その信号強度分布も本来の分布に近いものとなっている。
図6は、観測試料である2点間の間隔を変化させた場合の、観測画像と復元画像の分解能の比較を実行した結果を説明するための図で、この比較は、図6(a)に示すように、各点に対応する位置での信号強度(輝度)Pと、2点間の中心に対応する位置の信号強度(輝度)Vとの比(試料像再現比率=V/P)を求めている。従って、復元画像において完全に試料画像が復元されていれば、観察試料が存在しない位置での輝度Vはゼロとなり、試料像再現比率もゼロとなる。このようにして定義される試料像再現比率を、ノイズが0.1%(図6(b))、1.0%(図6(c))、10.%(図6(d))の各々の条件下でシミュレーションを実行している。
この結果から分るように、何れのノイズ条件においても試料間隔が100nmの場合に試料像再現比率がゼロとなっており、この間隔以上の試料間隔であれば完全に試料画像の復元が可能となる。また、復元画像から、2つの点が分離して認識可能な限界である分解能は、0.8以下の試料像再現比率を与える試料間隔で定義され、約40nmの分解能であると結論される。これに対して、観測画像の分解能は、約90nmと判断されるから、2倍以上の分解能の向上が実現されていることとなる。
実際の計測では、上述したシミュレーション結果にあたる画像が各試料走査ごとに得られることとなるが、試料走査ステップを充分に精細に設定してこれら画像の積算を行なうことでノイズの低減を図ることが可能であり、空間分解能は更に向上することとなる。
(実施例2)
以下に、2光子励起の共焦点顕微鏡をベースとする本発明の共焦点走査型顕微鏡システムでの光イメージのデータ処理手順について説明する。
光源として100フェムト秒程度のパルス幅をもつ赤外パルスレーザを使用し、レーザ光を倍率100の対物レンズで直径200nm程度のスポット光にして集光して試料上に照射した。
この光照射により観察試料中の蛍光分子が励起されて蛍光が生じ、これを倍率10倍のコレクタレンズを介して、単一画素サイズが6.7μm×6.7μmの正方画素からなる2次元光検出器(冷却CCD)で検出した。このような光学系では、CCD上での蛍光のスポットサイズは直径200μm程度となり、CCD上での光スポットは約30画素×30画素の範囲に投影されることとなる。このため、64画素×64画素の範囲の蛍光輝度を16ビット精度で記録した。
ここで、スポット光により励起された蛍光分子の蛍光画像行列gx,y(s,t)を(式14)のように定義する。
Figure 2006221190
但し、行列の各要素は各画素の輝度値を意味しており、s及びtは蛍光画像内の画素の座標を意味し、0≦s≦64、0≦t≦64である。また、x及びyはスポット光の照射位置の座標を意味する。
冷却CCDで記録した蛍光画像行列gx,y(s,t)は、コンピュータを介してハードディスクに保存した。2次元マッピングのために、50nmのステップサイズで試料上のスポット光を順次移動させて約5μm四方の範囲をスキャンした。その結果、取りこみ画像としては100枚×100枚(計1万枚)をハードディスクに記録し、これらの画像を基に観測画像データ行列Rを(式15)のように求める。
Figure 2006221190
但し、0≦x≦100、0≦y≦100で、(x,y)はスポット光の試料上での照射位置の座標である。
このようにして求めた観測画像データ行列Rの各要素(蛍光画像行列gx,y(s,t))の1つ1つに対して非線形最適化法によるデコンボリューション演算を実行して回復画像データfx,y(s,t)を算出し、回復画像データ行列Rを(式16)のように算出する。
Figure 2006221190
最後に、この回復画像データ行列Rを元に試料全体の回復画像Rを算出する。具体的には、回復画像データ行列の各要素である回復画像データfx,y(s,t)をステップサイズに相当する画素数だけずらして平均を求めることで試料の回復画像Rを再構成した。なお、この場合の理論上の最小ステップサイズは2次元光検出器の画素の大きさと光学的拡大倍率とで決まり、本実施例の場合には6.7nm程度となる。
(実施例3)
以下に、透過型の共焦点顕微鏡をベースとする本発明の共焦点走査型顕微鏡システムでの光イメージのデータ処理手順について説明する。
光源から射出された光を、ピンホール及びコンデンサレンズを介して直径200nm程度の光スポットとして集光し試料上に照射した。この光スポットに対応する試料からの透過光を対物レンズ及びコレクタレンズを介して画素サイズ6μmの正方画素を備えるCCD上に投影した。なお、CCD上でのスポットサイズは約200μmであり、これは約34画素×34画素に相当する。このため、64×64画素の範囲を(式17)のような観測画像行列gx,y(s,t)として記録した。
Figure 2006221190
但し、行列の各要素は各画素の輝度値を意味し、この場合は透過光の強度値である。また、s及びtは画素の座標を意味し(0≦s≦64、0≦t≦64)、(x,y)は試料上のスポット光照射位置の座標を意味する。
CCDから読み出された観測画像行列gx,y(s,t)は専用CPUへと送られて、観測画像から回復画像を算出するためのデコンボルーション演算と、算出された回復画像を基にした試料全体の回復画像Rの座標(x,y)における輝度値Ix,yの算出が実行される。なお、Ix,yは、回復画像データfx,y(s,t)の中央部の値を用いてIx,y=fx,y(32,32)で算出し、このIx,yの値をハードディスク上に記録し、光スポットのスキャニングを実行させた。
試料上のスポット光のスキャンは、x及びy方向に1〜5nmの精度で駆動させることが可能なピエゾコントローラを備える試料ステージを用い、ステップサイズ10nmで5μm四方の領域をスキャンした。従って、x方向500点×y方向500点(計250000点)での観測画像が得られ、これを基に回復画像の輝度値を求めて試料全体の回復画像Riを再構成した。なお、本実施例でヤコビ法による画像再構成を行った場合の理論的な空間分解能は50nm程度となる。
本発明の反射型の共焦点走査型顕微鏡システムの構成を説明するための図である。 本発明の透過型の共焦点走査型顕微鏡システムの構成を説明するための図である。 本発明の共焦点走査型顕微鏡システムで採用する光イメージングの原理を説明するための図で、(a)は照射光スポット領域に2つの物体が距離d1〜d3だけ離れて存在する場合にこれらの物体の各々から得られる光信号強度の空間的分布を説明するための図であり、(b)は光信号を検出して画像として再構成するプロセスを説明するための図である。 試料画像から観測画像が得られるまでの各演算過程における画像を説明するための図である。 試料画像、観測画像、及び、復元画像の各々を比較するための図である。 観測画像と復元画像の分解能の比較を説明するための図である。 従来の共焦点レーザ走査型顕微鏡システムの構成例を説明するための図である。
符号の説明
100 光学系
101 試料ステージ
102 観察試料
103 対物レンズ
104、107、108、110 レンズ
105 2次元光検出器
106 レーザ
109 ピンホール
111 スポット光走査装置
112 ハーフミラー
120 データ処理系

Claims (6)

  1. 光源から射出された光をスポット光にして観察試料に照射して該観察試料から発する光を2次元光強度分布として受光する光学系と、受光した光の2次元光強度分布を観察試料画像に画像形成するデータ処理系とで構成された共焦点走査型顕微鏡システムであって、
    前記光学系は、
    光源から射出された光をスポット光にして観察試料を2次元的に走査して照射するスポット光走査手段と、
    前記スポット光を照射した観察領域から発する光を2次元光強度分布として受光する2次元光検出部からの信号により前記スポット光の照射位置の情報と対応づけた2次元光強度分布の2次元画像情報を取得する2次元光検出手段と
    を備え、
    前記データ処理系は、
    前記2次元光検出手段で取得した2次元光強度分布の2次元画像情報を前記観察試料上のスポット光の各照射位置に対応させて記憶する記憶手段と、
    前記2次元光強度分布の2次元画像情報に基づいて点像分布関数を種関数とする逆演算により再構成した2次元光強度分布を前記スポット光の各照射位置に対応させて位置をずらしながら重ねて平均化し全観察領域の2次元光強度分布を構成する演算手段と、
    前記演算手段により構成された全観察領域の光強度分布を画像として表示する表示手段とを備える
    ことを特徴とする共焦点走査型顕微鏡システム。
  2. 前記演算手段は、前記2次元光検出手段で得た光照射領域毎の2次元光強度分布の各2次元画像情報に点像分布関数によるウイナーインバースフィルタを掛けるデータ処理を行い、信号光強度を補正して2次元光強度分布を再構成することを特徴とする請求項1に記載の共焦点走査型顕微鏡システム。
  3. 前記2次元光検出手段の画素間隔は、該光学系により定まる点像分布関数の遮断空間周波数よりも小さく設定されていることを特徴とする請求項1又は2に記載の共焦点走査型顕微鏡システム。
  4. 前記光学系の光路中に輪帯絞りを備えることを特徴とする請求項1乃至3のいずれかに記載の共焦点走査型顕微鏡システム。
  5. 前記光学系は共焦点光学系であって、前記2次元光検出手段が観察試料の実像面と共役な位置に設けられていることを特徴とする請求項1乃至4いずれかに記載の共焦点走査型顕微鏡システム。
  6. 前記光学系はパルスレーザを光源として備え、観察試料に含まれる蛍光分子の2光子励起が可能であることを特徴とする請求項5に記載の共焦点走査型顕微鏡システム。
JP2006127223A 2006-05-01 2006-05-01 共焦点走査型顕微鏡システム Pending JP2006221190A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006127223A JP2006221190A (ja) 2006-05-01 2006-05-01 共焦点走査型顕微鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006127223A JP2006221190A (ja) 2006-05-01 2006-05-01 共焦点走査型顕微鏡システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2002052575A Division JP3837495B2 (ja) 2002-02-28 2002-02-28 光イメージングシステム

Publications (1)

Publication Number Publication Date
JP2006221190A true JP2006221190A (ja) 2006-08-24

Family

ID=36983514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006127223A Pending JP2006221190A (ja) 2006-05-01 2006-05-01 共焦点走査型顕微鏡システム

Country Status (1)

Country Link
JP (1) JP2006221190A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012047678A (ja) * 2010-08-30 2012-03-08 Nikon Corp 観察装置及び観察方法
JP2012514419A (ja) * 2008-12-30 2012-06-21 インテル・コーポレーション ビデオに含まれるノイズを低減する方法および装置
WO2012099151A1 (ja) * 2011-01-18 2012-07-26 オリンパス株式会社 光走査装置および走査型検査装置
JP2013020083A (ja) * 2011-07-11 2013-01-31 Olympus Corp 標本観察装置
JP2013076867A (ja) * 2011-09-30 2013-04-25 Olympus Corp 超解像観察装置
JP2015007809A (ja) * 2009-10-28 2015-01-15 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 分解能の向上した顕微鏡法および顕微鏡
CN105044898A (zh) * 2015-09-21 2015-11-11 哈尔滨工业大学 单点去卷积显微系统与成像方法
JP2016057281A (ja) * 2014-09-09 2016-04-21 三井造船株式会社 ガスハイドレートの性状評価方法および性状評価装置
DE102018104693A1 (de) * 2018-03-01 2019-09-05 Carl Zeiss Microscopy Gmbh Verfahren zur beschleunigten, hochauflösenden Scanning-Mikroskopie
US11209636B2 (en) * 2019-01-07 2021-12-28 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903191B2 (en) 2008-12-30 2014-12-02 Intel Corporation Method and apparatus for noise reduction in video
JP2012514419A (ja) * 2008-12-30 2012-06-21 インテル・コーポレーション ビデオに含まれるノイズを低減する方法および装置
JP2015007809A (ja) * 2009-10-28 2015-01-15 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 分解能の向上した顕微鏡法および顕微鏡
JP2012047678A (ja) * 2010-08-30 2012-03-08 Nikon Corp 観察装置及び観察方法
JP5885673B2 (ja) * 2011-01-18 2016-03-15 オリンパス株式会社 光走査装置および走査型検査装置
WO2012099151A1 (ja) * 2011-01-18 2012-07-26 オリンパス株式会社 光走査装置および走査型検査装置
US9354442B2 (en) 2011-01-18 2016-05-31 Olympus Corporation Optical scanning device and scanning inspection apparatus
JP2013020083A (ja) * 2011-07-11 2013-01-31 Olympus Corp 標本観察装置
JP2013076867A (ja) * 2011-09-30 2013-04-25 Olympus Corp 超解像観察装置
US9110283B2 (en) 2011-09-30 2015-08-18 Olympus Corporation Super-resolution observation apparatus that changes process contents according to intensity level of noise in digital image data
JP2016057281A (ja) * 2014-09-09 2016-04-21 三井造船株式会社 ガスハイドレートの性状評価方法および性状評価装置
CN105044898A (zh) * 2015-09-21 2015-11-11 哈尔滨工业大学 单点去卷积显微系统与成像方法
DE102018104693A1 (de) * 2018-03-01 2019-09-05 Carl Zeiss Microscopy Gmbh Verfahren zur beschleunigten, hochauflösenden Scanning-Mikroskopie
US10746657B2 (en) 2018-03-01 2020-08-18 Carl Zeiss Microscopy Gmbh Method for accelerated high-resolution scanning microscopy
US11209636B2 (en) * 2019-01-07 2021-12-28 Carl Zeiss Microscopy Gmbh High-resolution scanning microscopy

Similar Documents

Publication Publication Date Title
JP2006221190A (ja) 共焦点走査型顕微鏡システム
EP2437095B1 (en) Sample observation device for generating super resolution image
JP3837495B2 (ja) 光イメージングシステム
US8019136B2 (en) Optical sectioning microscopy
JP4865930B2 (ja) 構造化された照射および均一な照射の両方を用いて光学的に切片化された画像を生成するためのシステムおよび方法
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
US8866063B2 (en) Lens-free wide-field super-resolution imaging device
JP6211270B2 (ja) 極紫外線マスクブランクの欠陥検出のための検査システム及び方法
US9817224B2 (en) Methods and systems for Fourier ptychographic imaging
US8041142B2 (en) Method and device for reconstructing images
JP2002531840A (ja) コンピュータを使用した適応画像形成装置及び方法
US20150022881A1 (en) Light sheet-based imaging device with extended depth of field
JP6503221B2 (ja) 3次元情報取得装置、及び、3次元情報取得方法
JP2011085594A (ja) 多軸統合システムおよび方法
JP6112872B2 (ja) 撮像システム、画像処理方法、および撮像装置
US20170031151A1 (en) Scanning Imaging For Encoded PSF Identification and Light Field Imaging
US20080069467A1 (en) Methods and devices for miages processing with higher harmonics of an illumination grating
JP2011530708A (ja) 多重スポット走査装置におけるレンズ歪みの測定及び補正
CN108121059B (zh) 一种基于结构光照明的sted并行显微成像系统
WO2019076192A1 (zh) 图像重建方法、装置及显微成像装置
CN111123496B (zh) 基于希尔伯特变换的结构照明快速三维彩色显微成像方法
WO2018151599A1 (en) Structured illumination scanning microscopy
Maalouf Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF
JP6681068B2 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
WO2019246478A1 (en) Systems and methods for interferometric multifocus microscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060522

A131 Notification of reasons for refusal

Effective date: 20090804

Free format text: JAPANESE INTERMEDIATE CODE: A132

A521 Written amendment

Effective date: 20091005

Free format text: JAPANESE INTERMEDIATE CODE: A523

A131 Notification of reasons for refusal

Effective date: 20091027

Free format text: JAPANESE INTERMEDIATE CODE: A132

A02 Decision of refusal

Effective date: 20100309

Free format text: JAPANESE INTERMEDIATE CODE: A02