JP2007199572A - 顕微鏡装置 - Google Patents

顕微鏡装置 Download PDF

Info

Publication number
JP2007199572A
JP2007199572A JP2006020402A JP2006020402A JP2007199572A JP 2007199572 A JP2007199572 A JP 2007199572A JP 2006020402 A JP2006020402 A JP 2006020402A JP 2006020402 A JP2006020402 A JP 2006020402A JP 2007199572 A JP2007199572 A JP 2007199572A
Authority
JP
Japan
Prior art keywords
diffraction grating
optical system
image
illumination
grating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006020402A
Other languages
English (en)
Inventor
Yumiko Ouchi
由美子 大内
Akio Suzuki
章夫 鈴木
Yutaka Iwasaki
豊 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2006020402A priority Critical patent/JP2007199572A/ja
Publication of JP2007199572A publication Critical patent/JP2007199572A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Microscoopes, Condenser (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

【課題】高速な観察が可能な顕微鏡装置を提供する。
【解決手段】回折格子51がSLMで構成され、回折格子51を移動させる駆動部を有しない。SLMの各画素を透明にしたり、不透明にしたり、さらには透明度を変化させることができるので、これを利用して格子パターンを形成することにより、透過型回折格子として用いることができる。各画素は、縦横方向2次元に配列されているので、例えば縦縞模様の格子パターンを形成し、かつ、その格子線の位置を横方向に移動させることにより、格子パターンの空間位相を変化させることができる。格子線の方向も、ある程度任意の方向に形成することができ、しかも、その格子線の位置を、格子線の線の方向と直角な方向に移動させることができる。
【選択図】 図7

Description

本発明は顕微鏡装置、さらに詳しくは、超解像度を有する構造化照明顕微鏡装置に関するものである。
光学顕微鏡等の結像光学系による像形成においては、結像光学系固有の伝達関数が存在し、その伝達関数により結像される物体像の特性が制限される。さらに詳しくは、伝達する光学像のフーリエ成分(空間周波数成分)の内、その伝達関数によって定まる特定の空間周波数領域のみが伝達し、残りの空間周波数成分はカットされる。
例えば、一般の光学顕微鏡においては、対物レンズの開口数(NA)で定まるカットオフ周波数と呼ばれる空間周波数fcutoff、
fcutoff=2NA/λ (ただし、λ:光の波長)
が存在し、入力した光学像のフーリエ成分の内、そのカットオフ周波数より高い空間周波数成分を結像させることはできない。
対物レンズの開口数は、対物レンズが観察物体Oより取り込める光の円錐の頂角の1/2のサイン関数に観察物体と対物レンズ前面の間の媒質の屈折率を掛け合わせたものであり、例えば空気中にある物体に対しては、開口数は1以上とならないので、カットオフ周波数は2/λ以上にはならない。したがって、空気中に置かれた光の波長の1/2より小さい周期を持つ微細構造は、一般の光学顕微鏡で解像できない。
ところが、観察物体と結像光学系の間に空間周波数を変調する手段を挿入することにより、結像光学系では伝達できない空間周波数領域の観察物体の空間周波数成分を結像に反映させることができる。ただし、その場合、結像光学系により結像された観察物体の像は変調を受けているので、その変調の回復(復調)手段を合わせて用いることにより、正しい観察物体像が形成できる。これを光学顕微鏡に適用した場合、従来のカットオフ周波数より高い空間周波数を持つ観察物体の微細構造を解像できるようになる。これを超解像と呼ぶ。
このような超解像を利用した顕微鏡装置は、生体標本などの被観察物を超解像観察するために使用されている。(特許文献1,2,非特許文献1,2など参照)。前述のように、この手法では、空間変調された照明光で被観察物の構造の空間周波数を変調し、解像限界を超える高い空間周波数の情報を顕微鏡光学系の結像に寄与させる。
但し、前述のように、超解像画像を観察するためには変調された被観察物の像(変調像)を復調する必要がある。復調の方法は大別して2種類あり、光学的な復調(非特許文献1,2参照)と、演算による復調(特許文献1,2参照)とがある。なお、光学的な復調は、回折格子などの空間変調素子を用いて変調像を再変調することによって実現する。
この他、公知技術でないが、本願の発明者等は、照明光学系中に置かれた回折格子の像を、被観察物の表面に結像させて照明を行い、前記照明光により照明された前記被観察物の像を、結像光学系により前記回折格子状に中間像として結像させ、前記回折格子を通過した前記中間像を、リレー光学系により、撮像素子上に結像させる顕微鏡装置にであって、少なくとも前記回折格子から前記被観察物に至る前記照明光学系を構成する光学素子と、前記被観察物から前記回折格子に至る前記結像光学系を構成する光学素子が共用されている顕微鏡装置の発明を行い、特願2005−299329号として特許出願している(先願発明という)。
特開平11−242189号公報 米国再発行特許発明第38307号明細書 W.Lukosz,"Optical systems with resolving powers exceeding the clasical limit.II",Journal of the Optical Society of America,Vol.37,PP.932,1967 W.Lukosz and M.Marchand,Opt. Acta. 10,241,1963
以上述べた何れの方法においても、超解像が得られる方向は、回折格子の格子の長さ方向と直角な方向である。よって、2次元的な超解像を得ようとすると、回折格子の向きを変化させて、複数方向(通常は3方向)での撮像を行い、その結果を演算処理する必要がある。
このような方法を実現する手段として、最も一般的に用いられている方法は、回折格子を回転させて、それに対応する像の撮像を行う方法であり、先願発明においても、その実施の形態においてはこの方法を採用している。
しかしながら、回折格子を回転させて位置決めする方法では、位置決めに時間がかかるという問題点がある。特に生体観察に使用されるLive Cell等の観察には、高速での撮像が必要とされ、回折格子を回転させて位置決めする方法では、実用的でないという問題点がある。
本発明はこのような事情に鑑みてなされたもので、高速な観察が可能な顕微鏡装置を提供することを課題とする。
前記課題を達成するための第1の手段は、光路中に置かれた回折格子の像を被観察物の表面に結像させて照明を行う照明光学系と、前記照明光学系により照明された前記被観察物の像を、前記回折格子上に中間像として結像させる結像光学系と、前記中間像の像を形成するリレー光学系とを備えた顕微鏡装置であって、前記回折格子がSLM(Spatial Light Modulator)又はDMD(Digital Micro-mirror Device)で構成され、格子パターンが変更可能とされていることを特徴とする顕微鏡装置である。
前記課題を解決するための第2の手段は、光路中に置かれた回折格子の像を被観察物の表面に結像させて照明を行う照明光学系と、前記照明光学系により照明された前記被観察物の像を、前記回折格子上に中間像として結像させる結像光学系と、前記中間像の像を形成するリレー光学系とを備えた顕微鏡装置であって、前記回折格子が複数のSLM(Spatial Light Modulator)を重ね合わせて構成され、各SLMの格子パターンは画素の配列方向に沿って形成されるとともに、前記格子パターンの方向は互いに異なるものとされていることを特徴とする顕微鏡装置である。。
前記課題を解決するための第3の手段は、前記第1の手段又は第2の手段であって、前記照明光学系及び前記結像光学系のうち、少なくとも前記回折格子から前記被観察物に至る光学素子が共用されていることを特徴とするものである。
前記課題を解決するための第4の手段は、光路中に置かれた回折格子の像を被観察物の表面に結像さえて照明を行う照明光学系と、前記照明光学系により照明された前記被観察の像を結像させる結像光学系とを備えた顕微鏡装置であって、前記回折格子がSLM(Spatial Light Modulator)又はDMD(Digital Micro-mirror Device)で構成され、格子パターンが変更可能とされていることを特徴とする顕微鏡装置である。
前記課題を解決するための第5の手段は、前記第1の手段から第4の手段のいずれかであって、前記格子パターンの変更として、該格子パターンの空間位相の変更と、該格子パターンの向きの変更の両者が可能であることを特徴とするものである。
前記課題を解決するための第6の手段は、前記第5の手段であって、少なくとも前記回折格子から前記被観察物に至る前記照明光学系を構成する光学素子と、前記被観察物から前記回折格子に至る前記結像光学系を構成する光学素子が共用されていることを特徴とするものである。
本発明によれば、高速な観察が可能な顕微鏡装置を提供することができる。
以下、本発明の実施の形態の例を説明するが、これらの実施は、先願発明の実施の形態の改良であるので、まず、先願発明の実施の形態の例を説明する。図1は、先願発明の実施の形態である顕微鏡装置の概略構成図である。図1に示すとおり、顕微鏡装置には、光源1、コレクタレンズ2、レンズ3、励起フィルタ4、ダイクロイックミラー5、レンズ7、回折格子8、第2対物レンズ9、対物レンズ10、蛍光色素で標識された標本(生体標本など)11、バリアフィルタ6、レンズ12、撮像装置(CCDカメラなど)25、制御・演算装置(回路やコンピュータなど)42、画像表示装置43、アクチュエータ40、回転ステージ41が配置される。
このうち、光源1、コレクタレンズ2、レンズ3、励起フィルタ4、ダイクロイックミラー5、レンズ7、回折格子8、第2対物レンズ9、対物レンズ10が照明光学系LS1を構成しており、対物レンズ10、第2対物レンズ9、回折格子8、レンズ7、ダイクロイックミラー5、バリアフィルタ6、レンズ12が観察光学系LS2を構成している。また、対物レンズ10と第2対物レンズ9とが結像光学系LS21を構成し、レンズ7とレンズ12とがリレー光学系LS22を構成している。照明光学系LS1と観察光学系LS2とは、対物レンズ10からダイクロイックミラー5までの光路を共有している。
照明光学系LS1の光源1からの光は、コレクタレンズ2において平行光に変換され、レンズ3により瞳共役面31に光源像を形成する。その光源像31からの光は、励起フィルタ4によって波長選択されたのちダイクロイックミラー5によって偏向され、照明光学系LS1と観察光学系LS2との共通光路へ入り、レンズ7により標本11の共役面22上に集光する。共役面22から射出した光は、その共役面22に配置された回折格子8を介して第2対物レンズ9へ入射し、平行光に変換された後、対物レンズ10を介して標本11上に回折格子8の像23を形成する(このとき、対物レンズ10の後側焦点面に光源像32が形成される。)。これによって標本11上は、空間変調された照明光で照明(構造化照明)される。
ここで、回折格子8は、例えば、1次元の周期構造をもつ位相型又は振幅型の回折格子である。特に、振幅型の回折格子は波長特性が良いため、光源1に白色光源を使用できるので好ましい。光源1としては、白色光源の代わりに単一波長の光源を用いてもよいし、レーザ光源からの光を光ファイバで導き、その端面に形成される二次光源を光源1として用いてもよい。
また、構造化照明の輝度分布(回折格子8の像23の輝度分布)を正弦波状にするために、回折格子8で生じる次数2以上の余分な回折成分を除去することが望ましい。その際は、回折格子8よりも後段の適当な箇所(例えば対物レンズ10の瞳面)で除去するとよい。或いは、回折格子8の濃度分布を予め正弦波状にしておけば、余分な回折成分の発生を抑え、光量の損失を抑えることができる。
さて、構造化照明された光を励起光として標本11上では蛍光が発生する。このときに対物レンズ10側から見た標本11の構造は、構造化照明により変調されている。変調された構造には、モアレ縞が生じている。このモアレ縞は、標本11が有する微細構造と構造化照明のパターンとが成すモアレ縞であり、標本11の微細構造が、構造化照明の空間周波数の分だけ低い空間周波数帯域に変換されている。よって、解像限界を超える高い空間周波数の構造の光までもが、対物レンズ10によって捉えられることになる。
対物レンズ10によって捉えられた蛍光は、対物レンズ10及び第2対物レンズ9からなる結像光学系LS21により、共役面22上に標本11の変調像を形成する。その変調像は、その共役面22に配置された回折格子8によって再変調される。このようにして生じた再変調像では、空間周波数を変化させた標本11の構造が、元の空間周波数に戻される。この再変調像に、標本11の復調像が含まれている。
但し、この再変調像には、復調像にとって不要な回折成分が含まれている。不要な回折成分とは、標本11から射出された0次回折光に対し回折格子8で生じた±1次回折成分、標本11から射出された−1次回折光に対する0次回折成分、標本11から射出された+1次回折光に対する0次回折成分である。これらの不要な回折成分を再変調像から除去するためには、回折格子8を1周期分若しくはN周期分(Nは自然数)動かして平均化すればよい。
再変調像からの蛍光は、レンズ7を介してダイクロイックミラー5を透過した後、観察光学系LS2の単独光路へ入り、バリアフィルタ6を透過したのち、レンズ12を介して再変調像の拡大像24を形成する。つまり、回折格子8で再変調された再変調像は、レンズ7及びレンズ12からなるリレー光学系LS22によって、拡大像24へとリレーされる。この拡大像24は、撮像装置25によって撮像され、再変調像の画像データが生成される。なお、撮像装置25で撮像する場合、回折格子8を1周期若しくはN周期(Nは自然数)動かしている間、再変調像を蓄積することによって平均化すれば、復調像の画像データを得ることができる。
この画像データは、標本11を構造化照明によって超解像観察するための情報を含む。その画像データは、制御・演算装置42によって取り込まれ、演算が施されてから、画像表示装置43へと送出される。
以上、本顕微鏡装置は、標本11の共役面22から標本11までの光路を照明光学系LS1と観察光学系LS2とで完全に共通光路にすると共に、その共役面22に回折格子8を配置している。本顕微鏡装置ではこの回折格子8により、標本11の微細構造の変調を図る。そして、変調された標本11の微細構造は、この位置に配置された回折格子8により、自動的に再変調される。
なお、回折格子8は、アクチュエータ40によって格子線に直交する方向Dbへ移動可能である。この移動により、構造化照明の位相が変化する。制御・演算装置42がアクチュエータ40及び撮像装置25を制御し、1フレーム分の画像データを蓄積している間にその位相を1周期分若しくはN周期分(Nは自然数)だけ変化させることで、その画像データから、構造化照明のパターンと、再変調時に生じた不要な回折成分とを消去する。
また、回折格子8は、回転ステージ41によってアクチュエータ40と共に光軸の周りを回転可能である。この回転により、構造化照明の方向が変化する。制御・演算装置42が回転ステージ41及び撮像装置25を制御し、構造化照明の方向を複数方向に変化させる度に画像データを取得すれば、複数方向に亘り超解像観察するための情報を得ることができる。これにより、標本11の二次元の超解像観察が可能となる。
また、以上の動作に必要なプログラムは、例えばCD−ROMなどの記録媒体やインターネットを介して制御・演算装置42に予めインストールされている。
次に、本顕微鏡装置のリレー光学系LS22に必要な条件を説明する。
図2は、本顕微鏡装置における観察光学系LS2の標本11からレンズ7までの結像光束の開口数を説明する図である。なお、図2では、光束の広がりの変化をわかりやすくするために、回折格子8の像23と標本11とをずらして描き、標本11の共役面22と回折格子8とをずらして描いている。
図2に示すとおり、標本11の高い空間周波数の構造で発生した蛍光LAは射出角度が大きいため、通常は破線のとおり進行して対物レンズ10の瞳径内に入射することができない。しかし、その蛍光LAは回折格子8の像23(つまり構造化照明)により変調されるので、その射出角度が低周波数側(つまり小角度)に変化したものは、実線のとおり進行して対物レンズ10の瞳径内に入射することが可能になる。
この蛍光LAは、結像光学系LS21によって共役面22上に結像した後、回折格子8において再変調される。再変調された蛍光LA’の射出角度は、高周波側(つまり大角度)に戻されている。
このような蛍光LA’を含む結像光束を導光するためには、リレー光学系LS22の物体側開口数NA’を、予め大きく設定しておく必要がある。
特に、構造化照明の空間周波数(つまり回折格子8の格子周波数)が高いほど、その結像光束の開き角は大きくなるので、リレー光学系LS22の物体側開口数NA’も大きくする必要がある。
但し、一般に、構造化照明による超解像効果は、対物レンズ10の解像限界の2倍程度である。なぜなら、照明光学系LS1によって標本11上に投影される構造化照明の空間周波数は、対物レンズ10の解像限界が上限だからである。したがって、リレー光学系LS22の物体側開口数NA’は、或る程度大きければ十分である。
次に、制御・演算装置42の制御に関する動作を説明する。図3は、本顕微鏡装置における観察光学系LS2の標本11からレンズ7までの結像光束の開口数を説明する図である。図3に示すとおり、制御・演算装置42は、再変調像の画像データを取得するに当たり、撮像装置25の露光開始(ステップS11)から露光終了(ステップS13)までの期間に、構造化照明の位相を1周期分だけ変化させる(ステップS12)。
このようにして取得された画像データは、構造化照明の位相変化中における再変調像の時間積分であり、構造化照明の輝度分布は正弦波状なので、この画像データからは、構造化照明のパターンは消去される。また、この画像データからは、再変調時に生じた不要な回折成分も消去される。よって、この画像データは、復調像を表す。
さらに、制御・演算装置42は、構造化照明の方向を変化させてから(ステップS15)、再びステップS11〜S13の処理を行い、構造化照明のパターンの消去された別の復調像の画像データを取得する。
そして、以上のステップS11〜S13における復調像の画像データの取得処理は、構造化照明の方向が予め決められた全方向に設定されるまで(ステップS14YESとなるまで)繰り返され、構造化照明のパターンの消去された復調像の画像データが、設定された方向の数だけ取得される。
例えば、制御・演算装置42は、ステップS11〜S13の処理を、構造化照明の方向が0°,120°,240°の3方向に設定されるまで繰り返し、構造化照明のパターンの消去された3つの復調像の画像データI1,I2,I3を取得する。これらの復調像の画
像データI1,I2,I3の間では、超解像の方向が120°ずつ異なる。
次に、制御・演算装置42の演算に関する動作を説明する。
図4は、制御・演算装置42の演算に関する動作フローチャートである。ここでは、超解像の方向が120°ずつ異なる3つの復調像の画像データI1,I2,I3を取得した場
合の演算を説明する。
先ず、制御・演算装置42は、3つの復調像の画像データI1,I2,I3の各々をフー
リエ変換し、波数空間で表現された3つの復調像の画像データIk1,Ik2,Ik3を得る(ステップS21)。これら復調像の画像データIk1,Ik2,Ik3を図5(A),(B),(C)に示した。
なお、図5(A),(B),(C)において符号Ik±1は、変調された状態で(±1次回折光として)結像光学系LS21によって伝達された成分(±1次変調成分)を示し、符号Ik0は、変調されない状態で(0次回折光として)結像光学系LS21によって伝達された成分(0次変調成分)を示す。また、符号Dbは、超解像の方向(構造化照明の方
向)を示し、符号Kは、構造化照明の空間周波数を示す。
続いて、制御・演算装置42は、3つの復調像の画像データIk1,Ik2,Ik3を、図6に示すとおり波数空間上で合成し、1つの合成画像データIkを得る(ステップS22)。3つの復調像の画像データIk1,Ik2,Ik3は、互いのデータ範囲を重複させている(共通の空間周波数成分を含んでいる)ので、制御・演算装置42は、合成に当たり、重複したデータについてはそれらの平均値をとり、その平均値を合成画像データIkのデータとする。この平均によって、合成画像データIkの低周波数成分の寄与が大きくなりすぎるのを抑えることで、高周波数成分の相対的な寄与が小さくなるのを防ぐことができる。
続いて、制御・演算装置42は、合成画像データIkを逆フーリエ変換し、実空間で表現された画像データIを得る。この画像データIは、120°ずつ異なる3方向に亘る標本11の超解像画像を表現する(ステップS23)。制御・演算装置42は、この画像データIを画像表示装置43へ送出し、超解像画像を表示する。
以上、本顕微鏡装置では、図1に示したとおり標本11からの光が回折格子8で再変調され、さらに回折格子8を動かして平均化して不要な回折成分を除去することによって復調像を得ている。したがって、復調演算をしない分だけ復調像の画像データは高速に得られる。
しかも、変調と再変調とに同一の回折格子8の同一の領域が用いられるので、仮にその回折格子8に形状誤差や配置誤差があったとしても、変調のパターンと再変調のパターンとを同一にすることができる。したがって、回折格子8の形状誤差や配置誤差は、復調像の画像データに対しノイズを殆ど与えない。このことは、構造化照明の位相を変化させたときや、構造化照明の方向を変化させたときにも同様に当てはまる。したがって、本顕微鏡装置では超解像画像が高精度に得られる。
また、本顕微鏡装置では、標本11の共役面22に回折格子8を配置する都合上、その共役面2に形成された再変調像をリレーしてから撮像装置25で撮像する必要がある。しかし、本顕微鏡装置のリレー光学系LS22は、超解像に必要な情報を確実に取得することができる。
また、本顕微鏡装置では、複数の画像データを合成する際に(図4ステップS22)、それら画像データが共通して有する空間周波数成分を平均化するので、高周波数成分の減衰の少ない良好な超解像画像を得ることができる。
以下、本発明の実施の形態の例を3例説明するが、これらの実施の形態の基本的な構成は、図1に示した先願発明の実施の形態とほとんど同じであり、回折格子とその駆動機構の構成が異なるだけであるので、図1と同じ部分には同じ符号を付してその説明を省略する。
図7に、本発明の第1の実施の形態である顕微鏡装置の概要を示す。この顕微鏡装置は、図1に示したものと基本的には同じであるが、回折格子51がSLMで構成され、図1において設けられていたアクチュエータ40や回転ステージ41が無いところが異なっている。
SLMの代表的なものは、液晶ディスプレイ装置であり、これを構成する各画素を制御することにより、各画素を透明にしたり、不透明にしたり、さらには透明度を変化させることができるので、これを利用して格子パターンを形成することにより、透過型回折格子として用いることができる。各画素は、縦横方向2次元に配列されているので、例えば縦縞模様の格子パターンを形成し、かつ、その格子線の位置を横方向に移動させることにより、格子パターンの空間位相を変化させることができる。格子線の方向も、ある程度任意の方向に形成することができ、しかも、その格子線の位置を、格子線の線の方向と直角な方向に移動させることができる。よって、電気的な制御により、可動部なしで、図1に示した顕微鏡装置における、アクチュエータ40を使用した回折格子の移動、及び回転ステージ41を使用した回折格子の回転と同等の作用を行うことができる。可動部を有しない電気的な制御なので、極めて高速にこれらの動作を行うことができる。
これらの制御は、制御・演算装置42から、直接回折格子(SLM)51を制御することにより行う。これにより、位相の1周期分、又はN周期分の積分のための格子パターンの移動、及び、格子パターンの回転を行う。その他の作用は図1に示したものと同じであるので、その説明を省略する。
図8に、本発明の第2の実施の形態である顕微鏡装置の概要を示す。この顕微鏡装置は、図1に示したものと基本的には同じであるが、回折格子52がDMDで構成され、図1において設けられていたアクチュエータ40や回転ステージ41が無いところが異なっている。又、反射型光学素子であるDMDを使用しているため、光学系の構成が異なっている。
DMDの代表的なものはマイクロミラーアレイであり、これを構成する各画素を制御することにより、各画素を反射体にしたり、無反射体にしたりすることができるので、これを利用して格子パターンを形成することにより、反射型回折格子として用いることができる。各画素は、縦横方向2次元に配列されているので、例えば縦縞模様の格子パターンを形成し、かつ、その格子線の位置を横方向に移動させることにより、格子パターンの空間位相を変化させることができる。格子線の方向も、ある程度任意の方向に形成することができ、しかも、その格子線の位置を、格子線の線の方向と直角な方向に移動させることができる。よって、電気的な制御により、図1に示した顕微鏡装置における、アクチュエータ40を使用した回折格子の移動、及び回転ステージ41を使用した回折格子の回転を行うことができる。これらの操作は、極めて高速に行うことができる。
図8において、顕微鏡装置には、光源1、コレクタレンズ2、レンズ3、励起フィルタ4、ダイクロイックミラー5、ハーフミラー53、レンズ54、回折格子(DMD)52、対物レンズ10、蛍光色素で標識された標本(生体標本など)11、バリアフィルタ6、レンズ55、撮像装置(CCDカメラなど)25、制御・演算装置(回路やコンピュータなど)42、画像表示装置43が配置される。
このうち、光源1、コレクタレンズ2、レンズ3、励起フィルタ4、ダイクロイックミラー5、ハーフミラー53、レンズ54、回折格子52、対物レンズ10が照明光学系を構成しており、対物レンズ10、ハーフミラー53、レンズ54、回折格子52、ダイクロイックミラー5、バリアフィルタ6、レンズ55が観察光学系を構成している。また、対物レンズ10、ハーフミラー53とレンズ54とが結像光学系を構成し、レンズ54とハーフミラー53、ダイクロイックミラー5、バリアフィルタ6、レンズ55がリレー光学系を構成している。照明光学系と観察光学系とは、対物レンズ10からダイクロイックミラー5までの光路を共有している。
照明光学系の光源1からの光は、コレクタレンズ2において平行光に変換され、レンズ3により瞳共役面31に光源像を形成する。その光源像31からの光は、励起フィルタ4によって波長選択されたのちダイクロイックミラー5によって偏向され、照明光学系と観察光学系との共通光路へ入り、ハーフミラー53で反射された後、レンズ54により標本11の共役面22上に集光する。共役面22に集光された光は、その共役面22に配置された回折格子52で反射されてレンズ54へ入射し、平行光に変換された後、ハーフミラー53を透過して、対物レンズ10を介して標本11上に回折格子52の像23を形成する(このとき、対物レンズ10の後側焦点面に光源像32が形成される。)。これによって標本11上は、空間変調された照明光で照明(構造化照明)される。
光源1としては、白色光源の代わりに単一波長の光源を用いてもよいし、レーザ光源からの光を光ファイバで導き、その端面に形成される二次光源を光源1として用いてもよい。
また、構造化照明の輝度分布(回折格子52の像23の輝度分布)を正弦波状にするために、回折格子52で生じる次数2以上の余分な回折成分を除去することが望ましい。その際は、回折格子8よりも後段の適当な箇所(例えば対物レンズ10の瞳面)で除去するとよい。
また、光源1を照明光学系の光軸に対してシフトして使用するとより好ましい。その場合は、光源1を、回折格子51または52の格子パターンとそれぞれ直角な方向へ所定の量だけシフトして、回折格子51、52による回折光のうち、0次と1次回折光が照明光学系LS1の光軸に対して対称になるようにするとよい。そのシフト量sは、光源1から回折格子51または52までの光学系の合成焦点距離をfc、回折格子51または52の1次回折角をθgとするとき、
s=fc×sin(θg/2) …(1)
となるように設定するとよい。
その理由を以下に説明する。標本上に形成する構造化照明は、使用する結像光学系の解像限界に近い、高い空間周波数であることが好ましい。すなわち回折格子51、52の格子パターンは空間周波数が高いことが望ましい。それは変調する空間周波数が大きいほど、変調の効果が高いため超解像効果が高いからである。また、構造化照明の輝度分布は正弦波状であることが好ましい。それは、構造化照明によって回折する標本の回折次数に不要な成分が発生しないからである。
回折格子51、52の格子パターンの空間周波数が高いと回折角が大きいため、光学系に入射する回折光束が少なくなる。しかし最低2つの回折光束を入射させないと標本面上に構造化照明のパターンを形成できない。一方、2光束の干渉でできる干渉パターンは強度分布が正弦波状である。
したがって構造化照明は、2光束干渉で形成すると都合がよい。0次光と1次光の2光束を光軸に対称に発生させて、標本11上で干渉させれば2光束干渉が実現できる。そのためには、照明光は回折格子面に対し斜めに入射する必要がある。その入射角は、回折格子の1次回折角をθgとすると、θg/2である。照明光を傾けるためには、ファイバ端を所定量シフトすればよいが、その方向は回折格子の格子パターンと直交する方向で、その量は、(1)式で表せる。(1)式は、光源1がランプ光源、レーザ光源いずれであっても同じように当てはまる。
さて、構造化照明された光を励起光として標本11上では蛍光が発生する。このときに対物レンズ10側から見た標本11の構造は、構造化照明により変調されている。変調された構造には、モアレ縞が生じている。このモアレ縞は、標本11が有する微細構造と構造化照明のパターンとが成すモアレ縞であり、標本11の微細構造が、構造化照明の空間周波数の分だけ低い空間周波数帯域に変換されている。よって、解像限界を超える高い空間周波数の構造の光までもが、対物レンズ10によって捉えられることになる。
対物レンズ10によって捉えられた蛍光は、対物レンズ10、ハーフミラー53及びレンズ54からなる結像光学系により、共役面22上に標本11の変調像を形成する。その変調像は、その共役面22に配置された回折格子52によって再変調される。このようにして生じた再変調像では、空間周波数を変化させた標本11の構造が、元の空間周波数に戻される。この再変調像に、標本11の復調像が含まれている。
再変調像からの蛍光は、レンズ54、ハーフミラー53を介してダイクロイックミラー5を透過した後、観察光学系の単独光路へ入り、バリアフィルタ6を透過したのち、レンズ55を介して再変調像の拡大像24を形成する。つまり、回折格子52で再変調された再変調像は、レンズ54、ハーフミラー53、ダイクロイックミラー5、バリアフィルタ6及びレンズ55からなるリレー光学系によって、拡大像24へとリレーされる。この拡大像24は、撮像装置25によって撮像され、再変調像の画像データが生成される。
この画像データは、標本11を構造化照明によって超解像観察するための情報を含む。その画像データは、制御・演算装置42によって取り込まれ、演算が施されてから、画像表示装置43へと送出される。
本発明の第3の実施の形態である顕微鏡装置の構成は、図7に示したものと基本的に同じであるが、回折格子の構成が異なっている。図7における回折格子51において、SLMの画素の配列方向と異なる方向(斜め方向)を向いた格子パターンを形成しようとすると、その格子線がギザギザとなる。構造化照明が光学系の解像限界に近い、高い空間周波数の場合、このギザギザはさらに高周波な成分であるから、標本上には投影されないが、それでも格子パターンが画素の配列方向とそろう場合と異なる場合で、構造化照明のコントラストが変化することが懸念される。この実施の形態はそれを防ぐためのもので、その回折格子の構成の例を図9に示す。
図9において、回折格子61は、図9(a)に示すように、3枚のSLM62、63、64を重ね合わせて構成されている。これら3枚のSLMは、図9(b)に示すように、その画素の配列方向が異なっている。則ち、SLM62の画素の配列方向を基準とすると、SLM63では、その配列方向が−60°、SLM64では60°傾いている。そして、各SMLでは、格子パターンを形成するときに、格子線を画素の配列方向に合わせるように形成する。それにより、格子線がギザギザとなることが防止できる。
この回折格子61の使用に際しては、図9(a)に示すように、1枚のSLMに格子線を形成し、他のSLMは全素子を透明にしておく(図9(a)では、SLM62に格子線が形成され、SLM62と63は全素子が透明とされている)。どのSLMに格子線を形成するかにより、格子パターンの方向を120°ずつずらすことができ、図1において回折格子を回転させたのと同じ効果が得られる。格子線を移動させて回折パターンの空間位相を変化させる方法は、図7に示した第1の実施の形態と同じである。
ただし、SLMがある程度の厚さを有しているので、格子線を形成するSLMに応じて、標本11の共役面22の位置を、格子線を形成するSLMの位置に合わせる必要がある。そのためには、図9(a)に示す矢印のように、回折格子61を上下に移動させるか、第2対物レンズ9等の調整により、標本11の共役面22の位置を格子線を形成するSLMの位置に合わせるようにすればよい。
以上の実施の形態は、回折格子と共役な位置に標本を置き、照明光学系により回折格子の像を標本上に作製すると共に、標本の像を同じ回折格子状に形成することによって像の復調を行う方式の顕微鏡装置に関するものであった。しかしながら、本発明は、特許文献1に記載されるような、回折格子と共役な位置に標本を置き、照明光学系により回折格子の像を標本上に作製すると共に、標本の像を撮像し、計算によって像の復調を行う方式の顕微鏡装置にも適用できる。
例えば、特許文献1の図15には、その実施の形態の例が示されているが、この図における回折格子を、以上の実施の形態で述べた回折格子で置き換えることにより、回折格子を回転させる必要が無くなり、本発明と同様の作用効果を奏することができる。このような光学系の概要については、特許文献1を参照することによって理解することができるので、その説明を省略する。
先願発明の実施の形態である顕微鏡装置の概略構成図である。 先願発明の実施の形態である顕微鏡装置における観察光学系LS2の標本11からレンズ7までの結像光束の開口数を説明する図である。 先願発明の実施の形態である顕微鏡装置における観察光学系LS2の標本11からレンズ7までの結像光束の開口数を説明する図である。 先願発明の実施の形態中の、制御・演算装置42の演算に関する動作フローチャートである。 図4中のステップS21を説明する図である。 図4中のステップS22を説明する図である。 本発明の第1の実施の形態である顕微鏡装置の概要を示す図である。 本発明の第2の実施の形態である顕微鏡装置の概要を示す図である。 本発明の第3の実施の形態である顕微鏡装置に使用する回折格子の概要を示す図である。
符号の説明
1…光源、2…コレクタレンズ、3…レンズ、4…励起フィルタ、5…ダイクロイックミラー、6…バリアフィルタ、7…レンズ、8…回折格子、9…第2対物レンズ、10…対物レンズ、11…標本、12…レンズ、21,22…標本共役面、23…回折格子8の像、24…拡大像、25…撮像装置、31光源像(瞳共役面)、32…光源像(瞳共役面)、33…瞳共役面、42…制御・演算装置、43…画像表示装置、51…回折格子(SLM)、52…回折格子(DMD)、53…ハーフミラー、54…レンズ、55…レンズ、61…回折格子、62,63,64…SLM

Claims (6)

  1. 光路中に置かれた回折格子の像を被観察物の表面に結像させて照明を行う照明光学系と、前記照明光学系により照明された前記被観察物の像を、前記回折格子上に中間像として結像させる結像光学系と、前記中間像の像を形成するリレー光学系とを備えた顕微鏡装置であって、前記回折格子がSLM(Spatial Light Modulator)又はDMD(Digital Micro-mirror Device)で構成され、格子パターンが変更可能とされていることを特徴とする顕微鏡装置。
  2. 光路中に置かれた回折格子の像を被観察物の表面に結像させて照明を行う照明光学系と、前記照明光学系により照明された前記被観察物の像を、前記回折格子上に中間像として結像させる結像光学系と、前記中間像の像を形成するリレー光学系とを備えた顕微鏡装置であって、前記回折格子が複数のSLM(Spatial Light Modulator)を重ね合わせて構成され、各SLMの格子パターンは画素の配列方向に沿って形成されるとともに、前記格子パターンの方向は互いに異なるものとされていることを特徴とする顕微鏡装置。
  3. 前記照明光学系及び前記結像光学系のうち、少なくとも前記回折格子から前記被観察物に至る光学素子が共用されていることを特徴とする請求項1又は請求項2に記載の顕微鏡装置。
  4. 光路中に置かれた回折格子の像を被観察物の表面に結像さえて照明を行う照明光学系と、前記照明光学系により照明された前記被観察の像を結像させる結像光学系とを備えた顕微鏡装置であって、前記回折格子がSLM(Spatial Light Modulator)又はDMD(Digital Micro-mirror Device)で構成され、格子パターンが変更可能とされていることを特徴とする顕微鏡装置。
  5. 請求項1から請求項4のうちのいずれか1項に記載の顕微鏡装置であって、前記格子パターンの変更として、該格子パターンの空間位相の変更と、該格子パターンの向きの変更の両者が可能であることを特徴とする顕微鏡装置。
  6. 少なくとも前記回折格子から前記被観察物に至る前記照明光学系を構成する光学素子と、前記被観察物から前記回折格子に至る前記結像光学系を構成する光学素子が共用されていることを特徴とする請求項5に記載の顕微鏡装置。
JP2006020402A 2006-01-30 2006-01-30 顕微鏡装置 Pending JP2007199572A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006020402A JP2007199572A (ja) 2006-01-30 2006-01-30 顕微鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006020402A JP2007199572A (ja) 2006-01-30 2006-01-30 顕微鏡装置

Publications (1)

Publication Number Publication Date
JP2007199572A true JP2007199572A (ja) 2007-08-09

Family

ID=38454232

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006020402A Pending JP2007199572A (ja) 2006-01-30 2006-01-30 顕微鏡装置

Country Status (1)

Country Link
JP (1) JP2007199572A (ja)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286311A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 波面変換装置、および光学装置
WO2008072597A1 (ja) * 2006-12-12 2008-06-19 Nikon Corporation 顕微鏡装置及び画像処理方法
JP2009086669A (ja) * 2007-09-28 2009-04-23 Carl Zeiss Microimaging Gmbh 照明された試料の光学的捕捉のための方法および装置
WO2009110603A1 (ja) * 2008-03-06 2009-09-11 日産化学工業株式会社 単一蛍光分子検出法による高分子薄膜中の拡散係数の測定方法
JP2011501214A (ja) * 2007-10-18 2011-01-06 サントル ナショナル ドゥ ラ ルシェルシュ スィヤンティフィック(セーエヌエルエス) サンプルの構造化照明システム
WO2011162186A1 (ja) 2010-06-23 2011-12-29 浜松ホトニクス株式会社 画像生成装置
WO2011162187A1 (ja) 2010-06-23 2011-12-29 浜松ホトニクス株式会社 画像生成装置
JP2012508366A (ja) * 2008-11-04 2012-04-05 ウィリアム・マーシュ・ライス・ユニバーシティ 画像マッピング分光計
JP2012078408A (ja) * 2010-09-30 2012-04-19 Olympus Corp 標本観察装置
WO2012153495A1 (ja) * 2011-05-06 2012-11-15 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法
WO2013011680A1 (ja) * 2011-07-15 2013-01-24 株式会社ニコン 構造化照明装置、構造化照明顕微鏡、構造化照明方法
WO2013021615A1 (ja) * 2011-08-11 2013-02-14 株式会社ニコン 構造化照明装置及び構造化照明方法、並びに構造化照明顕微鏡装置
WO2013027336A1 (en) * 2011-08-22 2013-02-28 Canon Kabushiki Kaisha Microscope, objective optical system, and image acquisition apparatus
CN103091824A (zh) * 2012-12-27 2013-05-08 中国科学院深圳先进技术研究院 圆盘及其制作方法、结构光照明模式产生装置
JP2013152304A (ja) * 2012-01-24 2013-08-08 Olympus Corp 顕微鏡システム
JP2015055706A (ja) * 2013-09-11 2015-03-23 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
US9163929B2 (en) 2012-08-23 2015-10-20 Samsung Electronics Co., Ltd. Tomographic image generation apparatus having modulation and correction device and method of operating the same
JP2016045427A (ja) * 2014-08-25 2016-04-04 オリンパス株式会社 顕微鏡装置
JP2016526185A (ja) * 2013-05-15 2016-09-01 ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド 構造化照明を用いた組織試料の顕微鏡観察
US9545458B2 (en) 2010-12-15 2017-01-17 Willam Marsh Rice University Waste remediation
US9739473B2 (en) 2009-12-15 2017-08-22 William Marsh Rice University Electricity generation using electromagnetic radiation
US9863662B2 (en) 2010-12-15 2018-01-09 William Marsh Rice University Generating a heated fluid using an electromagnetic radiation-absorbing complex
JP2019148773A (ja) * 2018-02-28 2019-09-05 国立大学法人 東京大学 観察装置、観察方法、及び照明装置
KR20200019148A (ko) * 2018-01-16 2020-02-21 일루미나, 인코포레이티드 패턴 각도 공간 선택 구조화 조명 이미징

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286311A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 波面変換装置、および光学装置
WO2008072597A1 (ja) * 2006-12-12 2008-06-19 Nikon Corporation 顕微鏡装置及び画像処理方法
US7969652B2 (en) 2006-12-12 2011-06-28 Nikon Corporation Microscope device and image processing method
JP2009086669A (ja) * 2007-09-28 2009-04-23 Carl Zeiss Microimaging Gmbh 照明された試料の光学的捕捉のための方法および装置
JP2011501214A (ja) * 2007-10-18 2011-01-06 サントル ナショナル ドゥ ラ ルシェルシュ スィヤンティフィック(セーエヌエルエス) サンプルの構造化照明システム
WO2009110603A1 (ja) * 2008-03-06 2009-09-11 日産化学工業株式会社 単一蛍光分子検出法による高分子薄膜中の拡散係数の測定方法
US8654328B2 (en) 2008-11-04 2014-02-18 William Marsh Rice University Image mapping spectrometers
JP2012508366A (ja) * 2008-11-04 2012-04-05 ウィリアム・マーシュ・ライス・ユニバーシティ 画像マッピング分光計
US9739473B2 (en) 2009-12-15 2017-08-22 William Marsh Rice University Electricity generation using electromagnetic radiation
WO2011162186A1 (ja) 2010-06-23 2011-12-29 浜松ホトニクス株式会社 画像生成装置
WO2011162187A1 (ja) 2010-06-23 2011-12-29 浜松ホトニクス株式会社 画像生成装置
US8780192B2 (en) 2010-09-30 2014-07-15 Olympus Corporation Sample observation device for generating super resolution image
JP2012078408A (ja) * 2010-09-30 2012-04-19 Olympus Corp 標本観察装置
EP2781943A1 (en) * 2010-09-30 2014-09-24 Olympus Corporation Sample observation device for generating super resolution image
US8817088B2 (en) 2010-09-30 2014-08-26 Olympus Corporation Sample observation device for generating super resolution image
EP2437095A3 (en) * 2010-09-30 2012-05-09 Olympus Medical Systems Corporation Sample observation device for generating super resolution image
US9863662B2 (en) 2010-12-15 2018-01-09 William Marsh Rice University Generating a heated fluid using an electromagnetic radiation-absorbing complex
US9545458B2 (en) 2010-12-15 2017-01-17 Willam Marsh Rice University Waste remediation
WO2012153495A1 (ja) * 2011-05-06 2012-11-15 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法
US9535241B2 (en) 2011-05-06 2017-01-03 Nikon Corporation Structured illuminating microscopy and structured illuminating observation method
US10228552B2 (en) 2011-05-06 2019-03-12 Nikon Corporation Structured illuminating microscopy and structured illuminating observation method
JP5594429B2 (ja) * 2011-05-06 2014-09-24 株式会社ニコン 構造化照明顕微鏡及び構造化照明観察方法
WO2013011680A1 (ja) * 2011-07-15 2013-01-24 株式会社ニコン 構造化照明装置、構造化照明顕微鏡、構造化照明方法
JP5641142B2 (ja) * 2011-07-15 2014-12-17 株式会社ニコン 構造化照明装置、構造化照明顕微鏡、構造化照明方法
WO2013021615A1 (ja) * 2011-08-11 2013-02-14 株式会社ニコン 構造化照明装置及び構造化照明方法、並びに構造化照明顕微鏡装置
CN103748499A (zh) * 2011-08-22 2014-04-23 佳能株式会社 显微镜、物镜光学系统和图像获取设备
EP2748664A4 (en) * 2011-08-22 2015-06-24 Canon Kk MICROSCOPE, OPTICAL LENS SYSTEM, AND IMAGE ACQUISITION APPARATUS
WO2013027336A1 (en) * 2011-08-22 2013-02-28 Canon Kabushiki Kaisha Microscope, objective optical system, and image acquisition apparatus
JP2013044781A (ja) * 2011-08-22 2013-03-04 Canon Inc 画像取得装置、画像取得システム、および対物光学系
US9052508B2 (en) 2012-01-24 2015-06-09 Olympus Corporation Microscope system
JP2013152304A (ja) * 2012-01-24 2013-08-08 Olympus Corp 顕微鏡システム
US9163929B2 (en) 2012-08-23 2015-10-20 Samsung Electronics Co., Ltd. Tomographic image generation apparatus having modulation and correction device and method of operating the same
CN103091824A (zh) * 2012-12-27 2013-05-08 中国科学院深圳先进技术研究院 圆盘及其制作方法、结构光照明模式产生装置
JP2016526185A (ja) * 2013-05-15 2016-09-01 ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド 構造化照明を用いた組織試料の顕微鏡観察
US10042150B2 (en) 2013-05-15 2018-08-07 The Administrators Of The Tulane Educational Fund Microscopy of a tissue sample using structured illumination
US10768402B2 (en) 2013-05-15 2020-09-08 The Administrators Of The Tulane Educational Fund Microscopy of a tissue sample using structured illumination
JP2015055706A (ja) * 2013-09-11 2015-03-23 株式会社ニコン 構造化照明装置及び構造化照明顕微鏡装置
JP2016045427A (ja) * 2014-08-25 2016-04-04 オリンパス株式会社 顕微鏡装置
KR20200019148A (ko) * 2018-01-16 2020-02-21 일루미나, 인코포레이티드 패턴 각도 공간 선택 구조화 조명 이미징
KR102312777B1 (ko) 2018-01-16 2021-10-14 일루미나, 인코포레이티드 패턴 각도 공간 선택 구조화 조명 이미징
JP2019148773A (ja) * 2018-02-28 2019-09-05 国立大学法人 東京大学 観察装置、観察方法、及び照明装置
JP7081790B2 (ja) 2018-02-28 2022-06-07 国立大学法人 東京大学 観察装置、観察方法、及び照明装置

Similar Documents

Publication Publication Date Title
JP2007199572A (ja) 顕微鏡装置
JP4831072B2 (ja) 顕微鏡装置
JP4835750B2 (ja) 顕微鏡装置
JP5136422B2 (ja) 顕微鏡装置及び画像処理方法
JP2007199397A (ja) 顕微鏡装置
JP4844137B2 (ja) 顕微鏡装置
US8817088B2 (en) Sample observation device for generating super resolution image
JP5452713B2 (ja) 構造化照明光学系および構造化照明顕微鏡装置
US20100135547A1 (en) Optical sectioning microscopy
JP6627871B2 (ja) 構造化照明顕微鏡システム、方法及びプログラム
WO2014017067A1 (ja) 構造化照明装置及び構造化照明顕微鏡
US20150124073A1 (en) Illumination optical system and microscope
JP2007279287A (ja) 構造化照明光学系、及びそれを備えた構造化照明顕微鏡
JP5641427B2 (ja) 顕微鏡装置及び観察方法
JP6413364B2 (ja) 照明光学系及び顕微鏡装置
JP5939301B2 (ja) 構造化照明観察装置
WO2019176121A1 (ja) 構造化照明装置、構造化照明顕微鏡
JP6286982B2 (ja) 構造化照明顕微鏡装置
JP2002196253A (ja) 干渉縞投影光学系及びこの光学系を用いた顕微鏡