JP2013250430A - 顕微鏡装置 - Google Patents

顕微鏡装置 Download PDF

Info

Publication number
JP2013250430A
JP2013250430A JP2012124930A JP2012124930A JP2013250430A JP 2013250430 A JP2013250430 A JP 2013250430A JP 2012124930 A JP2012124930 A JP 2012124930A JP 2012124930 A JP2012124930 A JP 2012124930A JP 2013250430 A JP2013250430 A JP 2013250430A
Authority
JP
Japan
Prior art keywords
pupil
lens system
image
objective lens
test object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012124930A
Other languages
English (en)
Other versions
JP6106956B2 (ja
Inventor
Hironori Yazawa
洋紀 矢澤
Fumihiro Take
文宏 嶽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012124930A priority Critical patent/JP6106956B2/ja
Publication of JP2013250430A publication Critical patent/JP2013250430A/ja
Application granted granted Critical
Publication of JP6106956B2 publication Critical patent/JP6106956B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

【課題】簡易な方法により、高速にサンプルの3次元情報を取得できる顕微鏡装置を提供する。
【解決手段】対物レンズ系11と、射出瞳と略共役な位置に設けられ光束を遮蔽する板状部材21aと、射出瞳に対し偏心した板状部材21aの開口21hと、開口21hに装着され光束に変調を施す位相板21tとを有する構造化瞳21と、結像レンズ系と、構造化瞳21を射出瞳の中心周りに回転駆動させる回転駆動部と、回転駆動部により構造化瞳21を回転駆動させ構造化瞳21が所定角度回転する毎に撮像素子により画像を取得させる制御部と、位相変調に基づき復元フィルタを演算し、取得画像に対して復元フィルタを作用させて被検物の全焦点画像を生成する画像生成部と、画像生成部により生成された2枚の全焦点画像からステレオ測量の原理を用いて被検物の3次元情報を算出する演算部と、演算部により算出された被検物の3次元情報を表示する表示部を有する。
【選択図】図3

Description

本発明は、顕微鏡における3次元情報取得技術に関する。
近年、生物分野の研究をはじめ、工業分野の検査工程等に至るまで、様々な分野で、被検物(サンプル・ワーク)の観察をする顕微鏡装置が幅広く利用されている(例えば、特許文献1参照)。また、サンプルの平面情報だけでなく、奥行き方向を含めた3次元情報を取得するシステムが主流になりつつある。一般に、顕微鏡の対物レンズはNAが非常に高く、ゆえに焦点深度がサンプルの厚みに対して極めて浅い。そこで、サンプルの3次元情報を取得する際には、深度方向に対物レンズを操作し、各深さでのサンプル画像を撮影し、計算機内でこれを重ね合わせることで情報を再現する(以下、フォーカルスタック法と呼ぶ)。
特開2005−043624号公報
しかしながら、フォーカルスタック法は、(1)情報取得に時間がかかる、(2)対物レンズ走査のための動的機構が必要である、および(3)動的サンプルに対しては対応できない、という課題がある。
本発明は、このような問題に鑑みてなされたものであり、極めて簡易な方法により、高速にサンプルの3次元情報を取得できる顕微鏡装置を提供することを目的とする。
このような目的を達成するため、本発明を例示する態様に従えば、被検物からの光束を集光する対物レンズ系と、前記対物レンズ系の射出側において、前記対物レンズ系の射出瞳位置もしくは前記瞳位置と略共役な位置に設けられ、前記対物レンズ系からの光束を遮蔽する板状部材と、前記板状部材において前記対物レンズ系の射出瞳の中心に対して偏心した位置に形成された開口と、前記開口に装着され前記対物レンズ系を透過した光束の位相に対して変調を施す位相板とを有する構造化瞳と、前記位相板を透過した光束を撮像素子に結像させる結像レンズ系と、前記構造化瞳を前記対物レンズ系の射出瞳の中心を通る軸周りに回転駆動させる回転駆動部と、前記回転駆動部により前記構造化瞳を回転駆動させ、前記構造化瞳が所定角度回転する毎に前記撮像素子により画像を取得させる制御部と、前記位相板の作用による位相変調に基づき復元フィルタを演算し、前記撮像素子により取得された画像に対して前記復元フィルタを作用させることで、前記被検物の全焦点画像を生成する画像生成部と、前記画像生成部により生成された少なくとも2枚の全焦点画像から、ステレオ測量の原理を用いて、前記被検物の3次元情報を算出する演算部と、前記演算部により算出された前記被検物の3次元情報を表示する表示部とを有することを特徴とする顕微鏡装置が提供される。
なお、上記態様において、各レンズ系は、1つのレンズで構成したものであっても、複数のレンズで構成したものであってもよい。
本発明によれば、極めて簡易な方法により、高速にサンプルの3次元情報を取得できる顕微鏡装置を提供することができる。
(a)波面符号化(Wavefront-Coding)技術を説明する図であり、(b)は一般の顕微鏡光学系と波面符号化された光学系における深度の違いを説明する図である。 本実施形態に係る顕微鏡装置の全体構成図である。 本実施形態に係る構造化瞳の平面図と、対物レンズ系までの距離が異なる3つの被検物S4,S5,S6を観察する場合において、第1および第2の撮影位置に構造化瞳が回転した時の様子を示す図([状態1],[状態2])と撮像素子による撮像画像([画像1],[画像2])、および、表示部に表示される画面例を示す図([画像3])である。 本実施形態に係る構造化瞳の位相板(開口)の大きさを決定するための条件図である。 (a)は別の実施形態に係る構造化瞳の平面図および断面図であり、(b)は対物レンズ系までの距離が異なる3つの被検物S1,S2,S3を観察する場合において、表示部に表示される画面例を示す図([画像4],[画像5])である。
以下、本発明に係る実施形態について、図面を用いて説明する。
本実施形態に係る顕微鏡装置の主な特徴は、その光学系内に、波面符号化(Wavefront-Coding)のための位相板を配置した構造化瞳を組み込むことである。この構成により、瞳を開放したままで、焦点深度の拡大を図ることができる。すなわち、取得画像の明るさを保ち、かつ光学解像力の低下を最小限に抑えつつ、焦点深度を拡大することができる。
まず、波面符号化(Wavefront-Coding)技術について説明する。これは、結像レンズ系の瞳位置に、位相板を挿入することで光学収差を意図的に作出し、焦点深度を拡大する技術である(図1(a)参照)。例えば、瞳を小さくしても(「絞り」を絞っても)、焦点深度を拡大することはできるが、画像は暗くなる。これに対して、波面符号化技術では、瞳を開放したままで、焦点深度を拡大することができるため、画像が非常に明るく、光学解像力の低下も極力避けることができる。
しかしながら、波面符号化技術では、上述のように光学収差を意図的に作り出しているため、取得画像にはボケが残る。これは、計算機上で、デコンボリューションにより復元させる。本実施形態における波面符号化技術では、焦点深度が拡大されるとともに、各深さに対する点像強度分布(PSF)の形状も不変となる構成をとるので、復元処理に用いるPSFは、全奥行きに対して1つで足りる。すなわち、単一のPSFを用いて復元処理を行うことにより、拡大された焦点深度内の全焦点画像を取得することができる。但し、焦点深度が拡大されるゆえに、奥行き方向に対する分解能は失われることになる。すなわち、撮影されたサンプルの前後関係は区別できない。
例えば、図1(b)に示すように、結像(対物)レンズL1までの距離が互いに異なる3つの被検物Sa,Sb,Scを観察する場合、一般の顕微鏡では、焦点深度(DOF)が浅いため、被検物Sbにピントを合わせてしまうと、この像はIbとして表示されるが、それ以外のSa,Scに対する像は観察できない。このように焦点深度以上の深さの違いがある被検物を同時に観察することができない。これに対して、波面符号化(Wavefront-Coding)された光学系L2では、焦点深度が深いため、全ての被検物Sa,Sb,Scに対してピントが合った全焦点画像Iabcが得られる(但し、この画像だけでは、各被検物Sa,Sb,Scの前後関係を区別することができない)。
なお、焦点深度の拡大度は、位相量に依存する。すなわち、位相量が大きい程、焦点深度が拡大される。但し、あまり拡大しすぎると、光学解像力の低下を招くことがある。
このような波面符号化技術は、光学結像理論により、瞳関数と点像強度分布関数(PSF)とを用いて説明できる。以下、説明を容易にするため、本光学系は、インコヒーレント結像系を想定し、かつ合焦時において無収差光学系であると仮定する。
光学結像理論によれば、インコヒーレント結像系において、光学系の点像強度分布関数をPSF(point spread function)としたとき、物体O(x,y)、像I(x,y)およびPSF(x,y)の3者の関係は、次式(1)で表される。
そして、本光学系の伝達関数を意味するPSF(x,y)は、点像振幅分布(amplitude
spread function)をASF(x,y)とし、瞳から射出する光線の方向余弦を(ξ,η)とし、瞳関数をG(ξ,η)とし、瞳の振幅(開口)をA(ξ,η)とし、本光学系の収差を表す波面収差をW(ξ,η)としたとき、次式(2)で記述できる。
但し、
瞳の振幅A(ξ,η)は、瞳の開口数をa(≦1)としたとき、次式(3)となる。
ここで、瞳位置W(ξ,η)=α(ξ3+η3)で記述される3次関数型の位相板を光学系内に挿入した場合、点像振幅分布ASFは、次式(4)となる。なお、αは、位相量の大きさを示す係数である。
この状態から焦点ズレが起こった場合を考える。焦点ズレは、光学的に瞳に2次の波面収差β(ξ2+η2)を付加することと等しい。なお、βは、焦点ズレの大きさを示す係数である。よって、このときの点像振幅分布ASFは、次式(5)となる。
ここで、
の項は、瞳位相を瞳座標内で平行シフトさせる効果があるが、このシフト量が瞳サイズに対して小さい場合はASFに影響を及ぼさない。
の項は、ASFを像面内において平行シフトさせるが、ASFの形状自体には影響を与えない。
の項は、定常成分であり、やはりASFの形状自体には影響を与えない。
よって、焦点ズレが起こったとしても、ASFの形状には影響を及ぼさない。つまり、光学系の伝達関数PSFに影響を与えないため、物体像に影響を与えない。これは、光学系内に3次関数型の位相板を挿入すると、焦点深度が拡大されたことを意味する。但し、位相量αに対して焦点ズレβが十分に大きくなると、上述した瞳位相の瞳座標内での平行シフト効果が大きくなり、この場合はPSFの形状に影響を与え始める。つまり、上述したように、位相量αが大きい程、拡大される焦点深度の範囲は拡大される。
ここまで、位相板として3次関数型のものを想定してきたが、これに限定されるわけではない。この他にも多数の位相関数が提案されており、位相板にそれらを採用しても構わない。
本実施形態は、以上の波面符号化技術を基礎としている。以下、図面を参照しつつ、本発明に係る実施形態について説明する。
本実施形態に係る顕微鏡装置は、図2に示すように、対物レンズ系11と、瞳拡大レンズ系12と、結像レンズ系14と、波面符号化するための位相板21tを含む構造化瞳21と、撮像素子15と、表示部16と、波面符号化するための位相板21tを含む構造化瞳21と、回転駆動部22と、制御部23と、画像生成部24と、演算部25とを有する。
対物レンズ系11と、瞳拡大レンズ系12と、構造化瞳21と、結像レンズ系14と、撮像素子15とからなる観察系は、筐体18の中に収納されており、モータMによって、光軸(紙面上下)方向に移動可能に構成されている。モータMの駆動は、コントローラ19を操作することに行うことができ、これにより被検物Sに対する合焦位置の調整を行うことができる。
なお、本実施形態では、筐体18(対物レンズ系11)を光軸方向に移動させることにより、被検物Sとの相対位置を変化させて合焦調整を行っているが、ステージ17を光軸方向に移動させたり、筐体18とステージ17の両方を光軸方向に移動させたりしてもよい。
対物レンズ系11は、ステージ17上に載置された被検物Sからの光を集光し、該被検物Sの像を形成する。
瞳拡大レンズ系12は、対物レンズ系11の射出瞳を拡大してリレーする。
構造化瞳21は、対物レンズ系11の射出側において、対物レンズ系11の瞳位置と略共役な位置に設けられ、図3に示すように、対物レンズ系11からの光束を遮蔽する板状部材21aと、板状部材21aにおいて対物レンズ系11の射出瞳の中心に対して偏心した位置に形成された開口21hと、開口21hに装着され対物レンズ系11を透過した光束の位相に対して変調を施す位相板21tとを有する。
なお、構造化瞳21の設置位置は、上記に限定されず、対物レンズ系11の瞳位置であってもよい。
結像レンズ系14は、構造化瞳21における、位相板21tを透過した光束を撮像素子15の結像面に結像させる。
撮像素子15は、CCD(Charge Coupled Device)カメラ等であり、結像レンズ系14により結像された被検物Sの画像を撮像する。
回転駆動部22は、構造化瞳21を対物レンズ系11の射出瞳の中心を通る軸周りに回転駆動させる。
制御部23は、回転駆動部22により構造化瞳21を回転駆動させ、構造化瞳21が所定角度(例えば、深さ分解能が最も高くなる180°)回転する毎に撮像素子15により画像を取得させる。
なお、制御部23により回転駆動部22を回転させる角度を調整することにより、深さ分解能と、被検物Sの輪郭部分の精細化とのバランスを調整することができる。例えば、前後で複雑に重なり合うようなサンプルでは、この回転角度を調整して、被検物Sの輪郭部分の精細化に重点を置いた撮影が可能である。
画像生成部24は、構造化瞳21の位相板12tの作用による位相変調に基づき復元フィルタを演算し、撮像素子15により取得された画像(取得画像)に対して復元フィルタを作用させることで、被検物Sの全焦点画像(復元画像)を生成する。
ここで、画像生成部24により行われる、撮影後の画像復元方法(Wigner-filter法)についてより説明する。
撮影時におけるノイズをn(x,y)とすると、結像方程式より、次式(6)の関係を得る。
これを周波数空間で書き直し、次式(7)と表す。なお、I(x,y)、O(x,y)、PSF(x,y)およびn(x,y)のフーリエ変換をそれぞれ、G(u,v)、F(
u,v)、H(u,v)およびN(u,v)とした。
ここで、取得画像から実際の被写体画像へ限りなく正確に変換する復元フィルタをW(u,v)とし、その結果得られる復元画像をF´(u,v)とすると、次式(8)と表すことができる。
このとき最小化すべきコスト関数φは、次式(9)と書ける。
したがって、コスト関数φを最小にする復元フィルタW(u,v)は、次式(10)の条件を満足する必要がある。
これを解くと、復元フィルタW(u,v)は、次式(11)となる。
この復元フィルタW(u,v)が、ウィグナフィルタ(Wigner-filter)と称されるものである。そして、最終的な復元画像は、F´(u,v)=G(u,v)・W(u,v)を逆フーリエ変換することで得られる。
但し、F(u,v)やN(u,v)は、通常既知ではないため、推定作業が必要となる。一般的には、|N(u,v)|2/|F(u,v)|2の項を、画像全体にわたって定数とみなす。ゆえに、復元フィルタW(u,v)は、次式(12)と書ける。
式(12)において、定数kは、最も良好な復元画像が得られるように設定する。
上述している通り、本実施形態に係る(構造化瞳21の位相板21tにより)波面符号化(Wavefront-Coding)された光学系では、拡大された焦点深度内においてPSFが不変
であるため、復元処理に用いるPSFも1つで足りる。
なお、画像生成部24による画像の復元方法は、ここまで説明してきたウィグナフィルタ(Wigner-filter)法に限定されるわけではないが、この方法が最も高速かつ容易に画像の復元を行うことができる。
演算部25は、画像生成部24により生成された少なくとも2枚の全焦点画像から、周知のステレオ測量の原理を用いて、被検物Sの3次元情報を算出する。
表示部16は、液晶表示装置等であり、演算部25により算出された被検物Sの3次元情報を画面表示する。
本実施形態では、表示部16に、被検物Sの深さとその方向に応じてRGBのグラデーションで色付けした、被検物Sの全焦点画像を表示する。例えば、図3の[画像3]に示すように、構造化瞳21を挿入する前の焦点位置(基準焦点位置)を基準として、一致しているところは緑色に、前側に位置するほど赤色に、後側に位置するほど青色になるように色付けされている。具体的には、図3の[画像3]は、対物レンズ系11までの距離が互いに異なる3つの被検物S4,S5,S6を観察した場合を例示しており、ピントが合っている被検物S5に対しては緑色の像G5が表示される。また、それ以外の部分、合焦位置よりも前側にある被検物S4に対しては赤色の像R4が、合焦位置よりも後側にある被検物S6に対しては青色の像B6が表示される。
上記構成により、本実施形態に係る顕微鏡装置では、ステージ17上の被検物Sからの光束は、対物レンズ系11、瞳拡大レンズ系12および構造化瞳21を順に透過して、結像レンズ系14により撮像素子15の撮像面に結像され、表示部16に撮像素子15により取得された画像が表示される。
ここで、画像生成部24による全焦点画像の生成から、演算部25による被検物Sの3次元情報の算出、表示部26による結果表示に至るまでの一連の処理過程について説明する。
まず、制御部23により、図3の[状態1]に示すように、回転駆動部22を駆動して構造化瞳21を予め設定された第1の撮影位置まで回転させ、撮像素子15により被検物Sの画像を取得させる。
次に、画像生成部24により、構造化瞳21の位相板12tの作用による位相変調に基づき復元フィルタ(例えば、上述のようなウィグナフィルタ)を演算し、撮像素子15により取得された画像に対して前記復元フィルタを作用させ、被検物Sの全焦点画像(ここでは[画像1]とする)を生成する。
続いて、制御部23により、図3の[状態2]に示すように、回転駆動部22を駆動して、構造化瞳21を第1の撮影位置から所定角度(180°)隔てた第2の撮影位置まで回転させ、再び撮像素子15により被検物Sの画像を取得させる。
そして、画像生成部24により、撮像素子15により取得された画像に対して前記復元フィルタを作用させ、被検物Sの全焦点画像(ここでは[画像2]とする)を生成する。
図3の[状態1]と[状態2]に示すように、第1の撮影位置と第2の撮影位置とでは構造化瞳21の瞳の中心位置が左右に異なっているので、図3の[画像1]と[画像2]で示すように、被検物Sの深さに応じて視差シフトの方向が異なる。そこで、これら2枚
の画像から、周知のステレオ測定の原理を用いれば、被検物Sの3次元情報を推定することができる。すなわち、波面符号化により失われた奥行き方向の分解能(前後判断および深さ位置)をステレオ測定により補充することで、焦点深度の拡大と奥行き方向の分解能の向上を同時に実現させている。
従来、被検物Sの3次元情報の取得には、被検物Sの深さに応じて、多数の画像を取得する必要があった。しかしながら、本実施形態では、最小2回の撮影で足りるため、極めて高速に、被検物Sの3次元情報を得ることができる。
また、同じ光学配置の独立した2つの光学系を用意して、図3の「状態1」と「状態2」で示すような、構造化瞳21が異なる撮影位置にある状態での撮影を同時に行える構成とすれば、実質上1回の撮影で、被検物Sの3次元情報を取得することができる。この構成にすれば、さらに迅速に撮影できるので、動的なサンプルであっても、3次元情報を取得することが可能である。
続いて、本実施形態において実現できる、深さ分解能(奥行き分解能)Δzについて説明する。深さ分解能Δzは、薄肉レンズを想定した近軸近似幾何光学により見積もると、次式(13)で表すことができる。
ここで、Dは構造化瞳23における(例えば、図3の[状態1]と[状態2]で示すような)少なくとも2か所の撮影位置における瞳中心位置の相対距離間隔(偏心量)、fobjは対物レンズ系11の焦点距離、Fobjは対物レンズ系11のFナンバー、γは瞳拡大レンズ系12による外部繰り出し瞳の拡大倍率、f3は結像レンズ系14の焦点距離、psは撮像素子15のピクセルサイズである。
参考として、fobj=20mm、Fobj=1.5、γ=5、f3=200mm、ps=4.5μm、D=30mmという条件では、Δz=0.3μmという分解能を達成できる。
本実施形態に係る光学解像力については、理想的な状態であれば、構造化瞳23の開口径の大きさで定義される、実行的なFナンバーで決まる。但し、焦点深度の拡大度(位相量)や、撮像素子15のS/Nにも依存する。例えば、焦点深度を20倍拡大する場合では、最高解像力付近のコントラストは1/100程度にまで低下する(が、ゼロに落ちているわけではない)。このとき撮像素子15のS/Nが負けてしまうと、この付近の周波数成分は欠落し、光学解像力は低下する。したがって、第2の実施形態で採用する撮像素子15は、S/Nの高いものを採用することが好ましい。
本実施形態に係る構造化瞳21の位相板21tの大きさについて説明する。まず、外部に繰り出された瞳内における位相板21tの瞳中心からの偏心量Dについては、上述したように、深さ分解能Δzに関する式から決定することができる。すなわち、式(13)で見積もることができるので、使い手が所望とする深さ分解能Δzが達成できるように、偏心量Dを調整すればよい。
一方、位相板21tの大きさは、本実施形態に係る光学解像力に効いてくる。理想的な状態であれば、構造化瞳21の開口21hの大きさ、すなわち位相板21tの大きさで定
義される実行的なNAで光学解像力が決まる。つまり、位相板21tの大きさは、上述の深さ分解能Δzの過程によって決定した偏心量Dを満たすならば、可能な限り大きくあるべきである。
以上の条件から、位相板21tの大きさ(直径)φ´は、次の式(14)で決まる(図4参照)。
なお、このときの光学解像力ΔRは、次式(15)となる。
まとめると、本実施形態に係る顕微鏡装置では、波面符号化するための位相板21tが装着された開口21hを備える構造化瞳21を、光学系内に組み込んだ構成となっている。これにより、撮像素子15に結像される被検物像は、焦点深度が拡大されたものとなる。
さらに、本実施形態では、構造化瞳21は、開口21hが対物レンズ系11の射出瞳の中心から偏心した位置に形成され、かつ射出瞳中心を中心軸として回転自在に構成されている。構造化瞳21を回転させて異なる撮影位置で少なくとも2回撮影を行い、取得画像に復元処理を施して全焦点画像を生成し、そのうち少なくとも2枚の画像からステレオ測定の原理を用いて3次元情報を算出する。または、独立した2つの光学系を用意して、構造化瞳21が異なる撮影位置にある状態での撮影を同時に行える構成とし、1回の撮影で2枚の全焦点ステレオ画像を取得して3次元情報を算出する。
つまり、本実施形態では、構造化瞳21の作用により、極めて簡易な方法で、かつ高速にサンプルの3次元情報を取得することができる。また、静的なサンプルだけでなく、動的なサンプルに対しても適用が可能となる。
また、本実施形態は、別の技術的課題も解決することができる。
顕微鏡装置において被検物を観察する場合には、最初に合焦操作を行う必要がある。しかしながら、顕微鏡装置に用いられる光学系は、ピントの合う範囲が狭いため、モニタ画面を見ながらのスムーズな合焦操作には、ある程度の熟練さが必要であることが多い。特に、未知なる被検物への合焦操作は、相当難しい。この点、本実施形態に係る顕微鏡装置では、奥行き方向にわたるサンプル全体の部位を映し出し、所望とする観察部位に対して容易に合焦操作を行うことができる。
そのために、構造化瞳13は、対物レンズ系11の射出側において、対物レンズ系11の瞳位置と略共役な位置に設けられ、図5(a)に示すように、対物レンズ系11からの光束を遮蔽する板状部材13aと、板状部材13aに形成された第1および第2の開口13h1,13h2と、各開口13h1,13h2に重ねて装着され、対物レンズ系11を透過
した光束の位相に対して変調を施す位相板13t,13tと、所定の色成分の光束のみを透過させるフィルタ、例えば赤,青のカラーフィルタ13r,13bとを有する。各開口13h1,13h2は、対物レンズ系11の射出瞳の中心に対してそれぞれ偏心した位置に設けられている。
なお、開口13h1,13h2には、同じ形状の位相板13tを装着している。また、フィルタ13r,13bとして、赤,青の2色を想定しているが、この2色に限定されるわけではない。各フィルタ13r,13bの透過波長領域は、撮像素子15の測定可能帯域であればよく、特定の波長に限定されるわけではない。構造化瞳13の設置位置は、上記に限定されず、対物レンズ系11の瞳位置であってもよい。構造化瞳13の構成は、精度よく色成分ごとの画像を取得できるものであればよく、本実施形態に限定されるわけではない。
結像レンズ系14は、構造化瞳13における、第1の開口13h1に装着された位相板13tおよび(赤色)フィルタ13rを透過した光束と、第2の開口13h2に装着された位相板13tおよび(青色)フィルタ13bを透過した光束を、それぞれ撮像素子15の撮像面に結像させる。
上記構成により、ステージ17上の被検物Sからの光束は、対物レンズ系11、瞳拡大レンズ系12および構造化瞳13を順に透過して、結像レンズ系14により撮像素子15の撮像面に結像され、表示部16に撮像素子15により取得された画像が表示される。
本実施形態においては、構造化瞳13は、上述したように、波面符号化のための位相板13t,13tと、異なる波長成分の光束を透過させるカラーフィルタ13r,13bとを、左右それぞれに(対物レンズ系11の射出瞳中心に対して偏心した位置)に備える構成となっている。この構造化瞳13を観察系内に組み込むことで、(1)位相板13t、13tの作用(すなわち、波面の符号化)により焦点深度が拡大されて、ピントが大きく外れた点の被検物Sを確認することができる、(2)カラーフィルタ13r、13bを透過する色成分ごとに(本実施形態では赤色と青色で)被検物Sの像が視差分割される。視差分割の方向と大きさは、構造化瞳13を挿入する前の対物レンズ系11の焦点位置(基準焦点位置)を原点として、被検物Sの3次元情報、すなわち被検物Sの方向(前側と後側)および深さ量に依存する。基準焦点位置と被検物Sの深さが一致している場合は、視差分割量はゼロになり、色ズレが起こらない。このように画像から、被検物Sの全体像および基準焦点位置に対する前後関係を把握することができる。この様子を図5(b)に示す。
例えば、対物レンズ系11までの距離が互いに異なる3つの被検物S1,S2,S3を観察する場合、図5(b)の[画像4]で示すように、ピントが合っている被検物S2に対しては色ズレが起こらず、その像は紫色の像P2として表示される。また、それ以外の部分では色ズレが起こり、被検物S1に対しては赤色の像R1および青色の像B1が、被検物S3に対しては赤色の像R3および青色の像B3が表示される。この状態から、筐体18を移動調整して、図5(b)の[画像5]で示すように、被検物S1にピントを合わせたとすると、ピントが合っている被検物S1に対しては色ズレが起こらず、その像は紫色の像P1として表示される。また、それ以外の部分では色ズレが起こり、被検物S2に対しては赤色の像R2および青色の像B2が、被検物S3に対しては赤色の像R3´および青色の像B3´が表示される。
したがって、被検物Sに対してピント位置が大きくズレていても、被検物Sの全体像を確認することができるとともに、色ズレの量とその方向により被検物Sの3次元情報を視覚的に区別することができる。
ゆえに、観察者は、表示部16の画面を見ながら、自分が望む被検物Sの位置において視差分割(色ズレ)がゼロになるように、コントローラ19を操作して筐体18を上下方向に移動させればよく、観察作業のはじめに行うような、被検物Sの被検部位を探し出すための大まかなピント合わせ(以下、初期ピント合わせと称する)が極めて容易となる。このピント合わせは、コンピューターによる自動制御でもよい。
初期ピント合わせを終えた後は、構造化瞳13を光路上から引き抜き、通常の観察(撮影)に移行すればよい。
まとめると、本実施形態に係る顕微鏡装置では、波面符号化するための位相板13tと異なるカラーフィルタ13r、13bとが重ねて装着された2つの開口13h1,13h2を備える構造化瞳13を、光学系内に組み込んだ構成となっている。これにより、撮像素子15に結像される被検物像は、焦点深度が拡大され、かつ色成分ごとに視差分割されたものとなる。すなわち、表示部16のモニタ画面には、ピント位置が大きくズレていても被検物Sの全体像を確認でき、かつ被検物Sの3次元情報を色ズレから視覚的に区別できる画像が映し出される。観察者は、これを見ながら、被検物Sの所望の位置での色ズレがなくなるように合焦操作をすればよく、初期のピント合わせの難しさが大幅に緩和される。
つまり、構造化瞳13の作用により、被検物Sの観察・測定したい被検部位を簡単に探し出すことができ、合焦作業の効率化を図ることができる。
ここまで本発明を分かりやすくするために、実施形態の構成要件を付して説明したが、本発明がこれに限定されるものではないことは言うまでもない。
11 対物レンズ系
12 瞳拡大光学系
13 構造化瞳(第1の実施形態)
13a 板状部材
13h 構造化瞳の開口
13t 位相板
13r,13b フィルタ
14 結像レンズ系
15 撮像素子
16 表示部
21 構造化瞳(第2の実施形態)
21a 板状部材
21h 構造化瞳の開口
21t 位相板
22 回転駆動部
23 制御部
24 画像生成部
25 演算部

Claims (5)

  1. 被検物からの光束を集光する対物レンズ系と、
    前記対物レンズ系の射出側において、前記対物レンズ系の射出瞳位置もしくは前記瞳位置と略共役な位置に設けられ、前記対物レンズ系からの光束を遮蔽する板状部材と、前記板状部材において前記対物レンズ系の射出瞳の中心に対して偏心した位置に形成された開口と、前記開口に装着され前記対物レンズ系を透過した光束の位相に対して変調を施す位相板とを有する構造化瞳と、
    前記位相板を透過した光束を撮像素子に結像させる結像レンズ系と、
    前記構造化瞳を前記対物レンズ系の射出瞳の中心を通る軸周りに回転駆動させる回転駆動部と、
    前記回転駆動部により前記構造化瞳を回転駆動させ、前記構造化瞳が所定角度回転する毎に前記撮像素子により画像を取得させる制御部と、
    前記位相板の作用による位相変調に基づき復元フィルタを演算し、前記撮像素子により取得された画像に対して前記復元フィルタを作用させることで、前記被検物の全焦点画像を生成する画像生成部と、
    前記画像生成部により生成された少なくとも2枚の全焦点画像から、ステレオ測量の原理を用いて、前記被検物の3次元情報を算出する演算部と、
    前記演算部により算出された前記被検物の3次元情報を表示する表示部とを有することを特徴とする顕微鏡装置。
  2. 被検物からの光束を集光する対物レンズ系と、
    前記対物レンズ系の射出側において、前記対物レンズ系の射出瞳位置もしくは前記瞳位置と略共役な位置に設けられ、前記対物レンズ系からの光束を遮蔽する板状部材と、前記板状部材に形成された複数の開口と、前記対物レンズ系を透過した光束の位相に対して変調を施す位相板と、所定の色成分の光束のみを透過させるフィルタとを備え、前記複数の開口にはそれぞれ前記位相板と前記フィルタとが重ねて装着されている構造化瞳と、
    前記位相板および前記フィルタが装着された前記複数の開口を透過した光束を撮像素子に結像させる結像レンズ系と、
    前記撮像素子により取得された画像を表示する表示部とを有し、
    前記表示部には、各フィルタを透過して色成分ごとに視差分割され、かつ前記位相板を透過して焦点深度が拡大された前記画像が表示されることを特徴とする顕微鏡装置。
  3. 前記対物レンズ系の射出瞳を拡大してリレーする瞳拡大レンズ系を有し、
    前記構造化瞳は、前記瞳投影レンズ系により拡大してリレーされた前記対物レンズ系の射出瞳と略共役な位置に設けられていることを特徴とする請求項1または2に記載の顕微鏡装置。
  4. 前記位相板は、3次関数型であることを特徴とする請求項1〜3のいずれか一項に記載の顕微鏡装置。
  5. 前記構造化瞳は、光路上から挿脱自在に設けられていることを特徴とする請求項1〜4のいずれか一項に記載の顕微鏡装置。
JP2012124930A 2012-05-31 2012-05-31 顕微鏡装置 Active JP6106956B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012124930A JP6106956B2 (ja) 2012-05-31 2012-05-31 顕微鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012124930A JP6106956B2 (ja) 2012-05-31 2012-05-31 顕微鏡装置

Publications (2)

Publication Number Publication Date
JP2013250430A true JP2013250430A (ja) 2013-12-12
JP6106956B2 JP6106956B2 (ja) 2017-04-05

Family

ID=49849170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012124930A Active JP6106956B2 (ja) 2012-05-31 2012-05-31 顕微鏡装置

Country Status (1)

Country Link
JP (1) JP6106956B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017098587A1 (ja) * 2015-12-08 2017-06-15 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP2017161793A (ja) * 2016-03-10 2017-09-14 シスメックス株式会社 光学機器、位相板および像の形成方法
WO2024135236A1 (ja) * 2022-12-20 2024-06-27 株式会社ニコン マイクロ流体デバイス用観察装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184844A (ja) * 2004-12-03 2006-07-13 Tochigi Nikon Corp 結像光学系及びこれを用いた撮像装置
JP2008245157A (ja) * 2007-03-28 2008-10-09 Kyocera Corp 撮像装置およびその方法
JP2008275668A (ja) * 2007-04-25 2008-11-13 Sony Corp 立体観察装置
US20100066854A1 (en) * 2008-09-12 2010-03-18 Sharp Kabushiki Kaisha Camera and imaging system
JP2011160266A (ja) * 2010-02-02 2011-08-18 Fujitsu Ltd 撮像装置および画像処理方法
JP2012002870A (ja) * 2010-06-14 2012-01-05 Nikon Corp 撮像装置、撮影レンズおよび画像処理プログラム
JP2012022308A (ja) * 2010-06-14 2012-02-02 Nikon Corp 撮像装置
EP2421246A2 (en) * 2010-08-19 2012-02-22 Fujifilm Corporation Image capturing module and image capturing apparatus
JP2012054668A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 撮像モジュールおよび撮像装置
WO2012039636A2 (en) * 2010-09-24 2012-03-29 Christian Soeller "3d localisation microscopy and 4d localisation microscopy and tracking methods and systems"

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184844A (ja) * 2004-12-03 2006-07-13 Tochigi Nikon Corp 結像光学系及びこれを用いた撮像装置
JP2008245157A (ja) * 2007-03-28 2008-10-09 Kyocera Corp 撮像装置およびその方法
JP2008275668A (ja) * 2007-04-25 2008-11-13 Sony Corp 立体観察装置
US20100066854A1 (en) * 2008-09-12 2010-03-18 Sharp Kabushiki Kaisha Camera and imaging system
JP2010079298A (ja) * 2008-09-12 2010-04-08 Sharp Corp カメラ及び撮像システム
JP2011160266A (ja) * 2010-02-02 2011-08-18 Fujitsu Ltd 撮像装置および画像処理方法
JP2012002870A (ja) * 2010-06-14 2012-01-05 Nikon Corp 撮像装置、撮影レンズおよび画像処理プログラム
JP2012022308A (ja) * 2010-06-14 2012-02-02 Nikon Corp 撮像装置
EP2421246A2 (en) * 2010-08-19 2012-02-22 Fujifilm Corporation Image capturing module and image capturing apparatus
JP2012044473A (ja) * 2010-08-19 2012-03-01 Fujifilm Corp 撮像モジュールおよび撮像装置
JP2012054668A (ja) * 2010-08-31 2012-03-15 Fujifilm Corp 撮像モジュールおよび撮像装置
WO2012039636A2 (en) * 2010-09-24 2012-03-29 Christian Soeller "3d localisation microscopy and 4d localisation microscopy and tracking methods and systems"
JP2013539074A (ja) * 2010-09-24 2013-10-17 カール・ツァイス・マイクロスコピー・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 3d局在顕微鏡法並びに4d局在顕微鏡法及び追跡方法並びに追跡システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017098587A1 (ja) * 2015-12-08 2017-06-15 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JPWO2017098587A1 (ja) * 2015-12-08 2018-09-20 オリンパス株式会社 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
US10721413B2 (en) 2015-12-08 2020-07-21 Olympus Corporation Microscopy system, microscopy method, and computer readable recording medium
JP2017161793A (ja) * 2016-03-10 2017-09-14 シスメックス株式会社 光学機器、位相板および像の形成方法
US11598952B2 (en) 2016-03-10 2023-03-07 Sysmex Corporation Optical device, phase plate, and image forming method
JP7290907B2 (ja) 2016-03-10 2023-06-14 シスメックス株式会社 光学機器および像の形成方法
WO2024135236A1 (ja) * 2022-12-20 2024-06-27 株式会社ニコン マイクロ流体デバイス用観察装置

Also Published As

Publication number Publication date
JP6106956B2 (ja) 2017-04-05

Similar Documents

Publication Publication Date Title
JP6503221B2 (ja) 3次元情報取得装置、及び、3次元情報取得方法
US8019136B2 (en) Optical sectioning microscopy
US11928794B2 (en) Image processing device, image processing program, image processing method, and imaging device
US20150234178A1 (en) Confocal optical scanner
JP2015135463A (ja) 顕微鏡装置、及び、顕微鏡システム
WO2007043314A1 (ja) 顕微鏡装置
JP2008059121A (ja) 多焦点撮像装置
JP4917404B2 (ja) 位相物体の可視化方法とその顕微鏡システム
JP2013544377A (ja) 光学顕微鏡において空間光学モジュレータを較正するための方法とシステム
JP5532459B2 (ja) 顕微鏡システム
EP2641527B1 (en) Endoscope apparatus
JP2013235110A (ja) オートフォーカス装置およびこれを有する顕微鏡
TWI414818B (zh) 使用空間光調變器的超解析率廣視野光切片顯微鏡
JP6106956B2 (ja) 顕微鏡装置
JP2005189069A (ja) 表面形状測定方法及び表面形状測定装置
JP6071177B2 (ja) 顕微鏡、画像取得装置及び画像取得システム
TWI500963B (zh) An image capturing device and method
JP2012220558A (ja) 顕微鏡装置
JP2013538369A (ja) イメージングシステム及びその関連方法
JP2010181247A (ja) 形状測定装置及び形状測定方法
JP6619315B2 (ja) 観察装置および方法並びに観察装置制御プログラム
JP6963240B2 (ja) 細胞観察装置及びプログラム
JP2016148569A (ja) 画像測定方法、及び画像測定装置
US11460683B2 (en) Digital determination of focus position
KR101239409B1 (ko) 2d 형상 정보와 3d 형상 정보의 동시 획득이 가능하며 레이저와 백색광을 광원으로 한 위상천이기반 형상측정장치 및 형상측정방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R150 Certificate of patent or registration of utility model

Ref document number: 6106956

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250