JP2017097301A - 制御装置、顕微鏡装置、制御方法、及び制御プログラム - Google Patents

制御装置、顕微鏡装置、制御方法、及び制御プログラム Download PDF

Info

Publication number
JP2017097301A
JP2017097301A JP2015232338A JP2015232338A JP2017097301A JP 2017097301 A JP2017097301 A JP 2017097301A JP 2015232338 A JP2015232338 A JP 2015232338A JP 2015232338 A JP2015232338 A JP 2015232338A JP 2017097301 A JP2017097301 A JP 2017097301A
Authority
JP
Japan
Prior art keywords
control
objective lens
imaging
lens
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015232338A
Other languages
English (en)
Inventor
亮介 小松
Ryosuke Komatsu
亮介 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2015232338A priority Critical patent/JP2017097301A/ja
Publication of JP2017097301A publication Critical patent/JP2017097301A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】ドリフトの影響を受けることなく所望の位置で画像を取得する。【解決手段】観察対象物2の所定の第1位置に対物レンズ21の焦点位置を維持する焦点維持制御を実行し、対物レンズ21の焦点位置を焦点維持制御が実行された第1位置から光軸O1方向に所定間隔の第2位置に移行し、第2位置に対物レンズ21の焦点位置を維持する焦点維持制御を実行させる移行制御を実行する制御部71を備える。【選択図】図1

Description

本発明は、制御装置、顕微鏡装置、制御方法、及び制御プログラムに関する。
観察対象の試料の内部を観察する場合において、光学顕微鏡における焦点を調節する装置として次のような装置が知られている。特許文献1に記載されている装置においては、試料の界面(例えばカバーガラスの面)に対してオートフォーカス制御を行い、対物レンズの焦点位置を界面の位置(基準位置)に調節する。また、上記の装置は、対物レンズの焦点位置を撮影領域上限に移動させ、撮像装置で撮像を行う。また、上記の装置は、撮像を行った後、撮影Z間隔分だけ対物レンズの焦点位置を移動させつつ撮像を行い、この動作を測定が終了するまで繰り返し実行する。
米国特許7,345,814
しかし、試料に対する対物レンズの光軸方向の複数の位置で撮像を行っている間に、周囲の温度変化などによって、例えば培養容器の底部の膨張などにより観察中の試料がゆっくりと動いてしまう。このように試料の位置が動く現象をドリフトという。試料がドリフトすると、試料における光軸方向の所望の位置の画像を取得することができなくなってしまう。特に、撮影枚数が多くなると光軸方向の各々の位置で画像を取得する時間が長くなってしまい、ドリフトの影響が大きくなってしまう。
本発明の態様では、ドリフトの影響を受けることなく光軸方向の所望の位置で画像を取得することを目的とする。
本発明の第1態様によれば、観察対象物の所定の第1位置に対物レンズの焦点位置を維持する焦点維持制御を実行し、前記対物レンズの焦点位置を前記焦点維持制御が実行された前記第1位置から前記光軸方向に所定間隔の第2位置に移行し、前記第2位置に前記対物レンズの焦点位置を維持する焦点維持制御を実行させる移行制御を実行する制御部を備える制御装置が提供される。
本発明の第2態様によれば、上記の制御装置を備えた顕微鏡装置が提供される。
本発明の第3態様によれば、観察対象物の所定の第1位置に対物レンズの焦点位置を維持する焦点維持制御を実行し、前記対物レンズの焦点位置を前記焦点維持制御が実行された前記第1位置から前記光軸方向に所定間隔の第2位置に移行し、前記第2位置に前記対物レンズの焦点位置を維持する焦点維持制御を実行させる移行制御を実行することを備える制御方法が提供される。
本発明の第4態様によれば、コンピュータに、観察対象物の第1位置に対物レンズの焦点位置を維持する焦点維持制御を実行し、前記対物レンズの焦点位置を前記焦点維持制御が実行された前記第1位置から前記光軸方向に所定間隔の第2位置に移行させる移行制御を実行する制御処理を実行させる制御プログラムが提供される。
本発明の態様によれば、ドリフトの影響を受けることなく所望の位置で画像を取得することができる。
実施形態に係る制御装置を備えた顕微鏡装置の構成を示す図である。 図1に示す顕微鏡装置の制御系の構成を示すブロック図である。 オフセットレンズを移動したときの反射像の合焦状態を表す図であって、(a)はオフセット値0の状態を表す図であり、(b)はオフセットレンズを移動したときの状態を表す図であり、(c)は焦点位置が調節された状態を表す図である。 Zスタック撮影を行う際の撮影位置を示す図である。 Zスタック撮影における撮影位置の変化と時間との関係を示す図である。 試料ドリフトにより所望の撮影位置と対物レンズの焦点位置とのずれが生じた状態を示す図である。 試料ドリフトに追従して対物レンズの焦点位置を所望の撮影位置に合わせた状態を示す図である。 Zスタック撮影を行う前の前処理の手順を示すフローチャートである。 第1実施形態に係るZスタック撮影の処理を示すフローチャートである。 図9のステップS13、S16及びS19の処理を示すフローチャートである。 図10の処理中の動作を示す図である。 第2実施形態に係るZスタック撮影の処理を示すフローチャートである。 オフセットレンズを移動したときの反射像の合焦状態を表す図であって、(a)はオフセット値0の状態を表す図であり、(b)は対物レンズの焦点位置を撮影領域下限の位置に移動させた状態を表す図であり、(c)は光像の結像位置が基準面となるようにオフセットレンズを移動させた状態を表す図である。 第3実施形態に係るZスタック撮影の処理を示すフローチャートである。 第3実施形態に係るZスタック撮影の処理を示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。
<第1実施形態>
図1は、実施形態に係る制御装置を備えた顕微鏡装置1の構成を示す図である。図1において、XYZ座標系を用いて図中の方向を説明する。このXYZ座標系においては、水平面に平行な平面をXY平面とする。このXY平面において紙面の右方向をX方向と表記し、XY平面においてX方向に直交する方向(紙面の表から裏に向かう方向)をY方向と表記する。また、XY平面に垂直な方向(上下方向)をZ方向と表記する。
図1に示す実施形態に係る顕微鏡装置1は、観察の対象物である試料2(標本又は観察対象物ともいう。)の拡大像を形成して試料2の観察に用いられる光学顕微鏡と、この光学顕微鏡の動作を制御する制御装置とを備えている。光学顕微鏡は、XYステージ10、結像光学系20、界面検出部30、第2光源40、照明光学系50、撮像部60、信号処理部61、及び駆動部11,34,36を有している。この光学顕微鏡は、試料2の下に対物レンズ21が配置され、下側から試料2を観察する倒立型顕微鏡である。制御装置は、制御部71、入力部72、及び記憶部73を有している。結像光学系20は対物レンズ21と撮像部60間の光路であるが、照明光学系50である第2光源40から対物レンズ21までの光路の内、ダイクロイックミラー52から対物レンズ21までの光路は照明光学系50と共通の光路となる。
XYステージ10上には試料2を収容した試料容器3が載置される。試料容器3は透明なプラスチックで成形され、底部にはカバーガラスを貼り付けてある。試料2は例えば蛍光染色されたHeLa細胞とされる。使用者(観察者、作業者)は、試料容器3内における様々な濃度の溶液(媒質)中にHeLa細胞を保持させる。なお、図1において、試料2は試料容器3上に浮いているのではなく試料容器3に載置されている。本実施形態において、試料2の中心部分(例えば細胞の核の部分)が、使用者が観察したい部分である。この部分のZ方向の位置の面を試料面2a(又は標本面)という。
XYステージ10には下側(対物レンズ21側)からの光(つまり、Z方向の光)を試料2に導く開口部10aが試料容器3の位置に対応して形成されている。XYステージ10は、ステージ駆動部11による駆動に応じてX方向及びY方向に移動する。これにより、撮像対象の試料2(試料容器3)が対物レンズ21の対向位置に移動される。ステージ駆動部11は、制御部71からの制御信号に基づいて、XYステージ10をX方向及びY方向に移動させる。
結像光学系20は、対物レンズ21及び結像レンズ22を有している。対物レンズ21は、XYステージ10の下側に配置されている。対物レンズ21の同焦点距離は、対物レンズ21の胴付き面(対物レンズ21の取り付け基準面、フランジ面)から対物レンズ21の焦点位置の面(焦点面)までの距離、すなわち、試料面2aに焦点が合っているときの対物レンズ21の胴付き面から試料面2aまでの距離である。一般に、対物レンズ21の同焦点距離は一定距離に設計されている。また、対物レンズ21及び結像レンズ22は、同一の光路上に配置されている。対物レンズ21及び結像レンズ22の光軸が第1光軸O1である。本実施形態では、第1光軸O1の方向はZ方向となっている。なお、以下の説明において、対物レンズ21のZ方向の焦点位置を焦点位置Fという。図1に示す例では、焦点位置Fは試料面2aの位置に一致している。
本実施形態では、界面検出部30は、試料2を保持する試料容器3の底部(ボトム)の上面3aの位置を界面として検出する。しかし、「界面」はこれに限定されるものではない。例えば液浸対物レンズを用いた観察の場合、容器とこれに収容される標本が接触している面である底部を界面としてもよい。また乾式対物レンズを用いた観察の場合、容器を載置する顕微鏡のステージと接触する容器の面部を界面としてもよい。更に観察試料を密閉した空間内に収容可能な培養容器を用い、容器の上面部に観察試料が張り付く(ぶら下がった状態)で存在する場合は、容器の上面部を界面とすることでもよい。
界面検出部30は、図1に示すように、フォーカス用照明光学系30A、フォーカス用結像光学系107、レンズ駆動部34、光電変換器130、及び信号処理部131を有している。なお、フォーカス用照明光学系30A及びフォーカス用結像光学系107をフォーカス用光学系という。フォーカス用照明光学系30Aは、その光軸である第2光軸O2上に順に、第1光源(光源)120、第1コレクタレンズ121、スリット板122、第2コレクタレンズ123、第1瞳制限マスク124、ハーフミラー125、オフセットレンズ(レンズ)32、可視光カットフィルタ140、及びダイクロイックミラー33が配設されている。スリット板122の中央部には長方形の細長いスリット開孔122aが形成されており、スリット板122は、スリット開孔122aの長手方向が図1において紙面に垂直方向に延びるように第2光軸O2を中心に配設されている。
第1光源120から出射された赤外光(近赤外光)は、第1コレクタレンズ121で集光されてスリット板122に入射し、試料2の界面と共役位置に配置したスリット板122のスリット開孔122aを通り、第2コレクタレンズ123で平行光に変換され、第1瞳制限マスク124に照射される。第1瞳制限マスク124は、瞳の半分を遮光するものであり、光軸を中心にスリット状の赤外光の長手方向の中心線にそって半分が遮光されるように配設されている。第1瞳制限マスク124を通過した赤外光Laは、ハーフミラー125を透過する。なお、ハーフミラー125は、フォーカス用照明光学系30Aとフォーカス用結像光学系107の光軸が交差する点に配設されており、赤外光の一部を反射して、他の一部を透過するものであり、後述するように、フォーカス用結像光学系107でも共用されている。
ハーフミラー125を透過した赤外光Laは、オフセットレンズ32で距離率変化を受けた後、可視光カットフィルタ140で赤外光Laに含まれる可視光成分が除去される。可視光カットフィルタ140で可視光成分が除去された赤外光Laは、ダイクロイックミラー33で対物レンズ21側に反射され、対物レンズ21に導かれる。ダイクロイックミラー33は、結像光学系20とフォーカス用照明光学系30Aの光軸O1,O2が交差する点に配設されている。後述するように、ダイクロイックミラー33は結像光学系20でも共用されている。ダイクロイックミラー33は、結像光学系20の光路上のアフォーカル系に配設され、赤外光を反射して可視光を透過する作用をする。
対物レンズ21は、赤外光を集光させて試料容器3の底部に照射する。対物レンズ21による赤外光に基づく光像のZ方向の結像位置を結像位置Aという。図1に示す例では、結像位置Aは試料容器3の底部の上面3aの位置に一致している。なお、対物レンズ21は、結像光学系20でも共用されている。
フォーカス用結像光学系107は、上述のようにフォーカス用照明光学系30AによりXYステージ10上の試料容器3の底部に照射されて反射するスリット状の赤外光を受光するものである。ここで、対物レンズ21で結像された赤外光は、試料容器3の底部の上面3aで反射される。以下の説明において、上面3aのことを反射面という。なお、反射面3aのことを界面又は境界面ともいう。上面3aで反射した赤外光は、対物レンズ21を通過し、ダイクロイックミラー33で側方に反射され(赤外光Ld)、さらに可視光カットフィルタ140で可視光成分が除去される。可視光カットフィルタ140を通過した赤外光Ldはオフセットレンズ32に導かれる。レンズ駆動部34は、制御部71からの制御信号に基づいてオフセットレンズ32を第2光軸方向O2に移動させる。
オフセットレンズ32を通過した赤外光Ldは、ハーフミラー125に入射する。ハーフミラー125に入射した赤外光Ldの一部は、上方に反射されフォーカス用結像光学系107に導かれる。フォーカス用結像光学系107は、その光軸に沿って、ハーフミラー125、オートフォーカス用対物レンズ126、オートフォーカス用リレーレンズ127、第2瞳制限マスク128、オートフォーカス用リレーレンズ127、シリンドリカルレンズ129、及び光電変換器(オートフォーカス用CCDセンサ)130が配設されている。ハーフミラー125で反射された赤外光Ldは、オートフォーカス用対物レンズ126で集光されて結像光に変換されスリット像(光像)を結像する。オートフォーカス用リレーレンズ127,127は、オートフォーカス用対物レンズ126によって結像されたスリット像(赤外光Le)をリレーし、シリンドリカルレンズ129を経て、光電変換器130の撮像面にスリット像(光像)を再結像する。
なお、第2瞳制限マスク128は、瞳の半分を遮光するように配設されており、遮光される領域は、上記に述べた第1瞳制限マスク124によって遮光される領域に対応している。また、シリンドリカルレンズ129は、所定方向のみに屈折作用を持つレンズであり、赤外光Leを図1において紙面に垂直方向(スリット像の長手方向)に圧縮して、光電変換器130の撮像面に結像させる作用をする。
光電変換器130は、例えば試料容器3の底部の上面3a(反射面)からの反射光(赤外光)を受光し、受光した光を電気信号に変換するラインCCDセンサ(Charge Coupled Device;電荷結合素子)である。光電変換器130は、電気信号を信号処理部131に出力する。信号処理部131は、光電変換器130からの電気信号に対して信号処理を施すことにより電気信号に応じた検出信号を生成し、生成した検出信号を制御部71に出力する。
図1の例では、対物レンズ21と界面検出部30とは結合されている。ユニット駆動部36は、制御部71からの制御信号に基づいて、対物レンズ21及び界面検出部30をZ方向に移動させる(つまり、上下移動させる)。なお、図1においては図示していないが、複数個の対物レンズを切り替えるレボルバは、対物レンズ21と界面検出部30との結合部分に設けられる。ただし、対物レンズ21とレボルバと界面検出部30の位置関係はこれ限定されるものではなく、第1光源120と光電変換器及びオフセットレンズ32、レンズ駆動部34をレボルバとは隔離して配置することも可能である。この場合、ダイクロイックミラー33へ第1光源120からの光を導く光学系を設ける必要がある。また、このような配置にすることにより、例えば焦点調節のために対物レンズ21を保持したレボルバをZ方向に移動させる場合、第1光源120と光電変換器及びオフセットレンズ32、レンズ駆動部34は、レボルバとは別体として配置されるので、レボルバの上下動速度に悪影響を及ぼすことが避けられる。
第2光源40は、試料2の例えば蛍光観察を行うための励起照明光を照射するLEDである。照明光学系50は、コリメータレンズ51及びダイクロイックミラー52を含んでいる。コリメータレンズ51は、第2光源40から照射された照明光を平行光束又は略平行光束に変換する。ダイクロイックミラー52は、照明光を反射し、蛍光を透過する。このダイクロイックミラー52は、結像光学系20の光路上に配置されている。このダイクロイックミラー52は、コリメータレンズ51を通過した照明光(平行光束又は略平行光束)の一部を反射して対物レンズ21に導く。また、このダイクロイックミラー52は、試料2からの信号光(例えば、照明光により励起された蛍光)を透過して結像レンズ22に導く。図1示す結像光学系20及び照明光学系50において、実線は、第2光源40から放出された光の光路を示している。
ここで、第2光源40から照射された照明光が撮像部60で受光されるまでの過程を説明する。第2光源40から照射された照明光は、コリメータレンズ51で平行光束又は略平行光束に変換される。コリメータレンズ51で平行光束又は略平行光束に変換された照明光は、ダイクロイックミラー52でZ方向に反射される。そして、ダイクロイックミラー52で反射された蛍光は、赤外光カットフィルタ141で赤外光成分が除去された後、ダイクロイックミラー33を透過して対物レンズ21に導かれる。対物レンズ21は、照明光を集光させて試料容器3内の試料2に照射する。上述したように、図1においては、対物レンズ21の焦点位置Fは試料面2aの位置となっている。
試料2からの信号光は再び対物レンズ21を通過し、対物レンズ21を通過した信号光はダイクロイックミラー33を透過する。ダイクロイックミラー33を透過した信号光の一部は、赤外光カットフィルタ141で赤外光成分が除去された後、ダイクロイックミラー52を透過して結像レンズ22に導かれる。結像レンズ22は、信号光を撮像部60の受光面(撮像面)に結像させる。なお、赤外光カットフィルタ141は、上述のように赤外光成分を除去するものでも良いが、例えば、第1光源120から出射される赤外光(近赤外光)の波長帯のみを反射し、それよりも短い波長を透過し、かつ、それよりも長い波長も透過する特性を有するものでも良い。
撮像部60は、XYステージ10上の試料2の画像を取得する。この撮像部60は、例えば受光した信号光を電気信号(画素ごとの画像信号)に変換するCCDセンサで構成される。この撮像部60は、変換した電気信号を信号処理部61に出力する。信号処理部61は、撮像部60から出力された電気信号に対して信号処理を施すことで画像データを生成する。そして、信号処理部61は、生成した画像データを制御部71に出力する。
制御部71は、顕微鏡装置1の制御全般を司る処理部である。この制御部71は、記憶部73に記憶されている制御プログラムに基づいて各種の制御及び処理を実行する。この制御部71は、CPU(Central Processing Unit)などの演算装置を備えている。入力部72は、使用者による操作部(図示を省略)の操作に応じてオフセット値OSの情報を含む各種情報を入力する。記憶部73は、試料2の画像データ、撮影条件(例えば、後述する撮影Z間隔、層数、撮影pass数上限、撮影時間間隔、撮影領域の下限及び上限における対物レンズ21及びオフセットレンズ32の位置)などを記憶する。また、記憶部73は、制御部71に各種の制御及び処理を実行させるための制御プログラムも記憶する。
図2は、図1に示す顕微鏡装置1の制御系の構成を示すブロック図である。なお、図2に示す構成において、図1に示した構成と同一構成については同一符号を付して重複する説明を省略する。
制御部71は、ステージ駆動部11に対して制御信号を出力してステージ駆動部11を駆動させることにより、撮像対象の試料2(試料容器3)が対物レンズ21の対向位置となるようにXYステージ10をXY方向に移動させる。また、制御部71は、信号処理部131からの検出信号に基づいて反射像を検出し、検出した反射像に基づいて反射面3aの位置を認識する。そして、制御部71は、認識した反射面3aの位置からZ方向に一定距離(オフセット値OS)離れた位置に焦点位置Fを維持する焦点維持制御を実行する。このとき、制御部71は、所定の位置に焦点位置Fを維持するために、レンズ駆動部34
に対しては、制御信号を出力してレンズ駆動部34は一定位置に保ち、ユニット駆動部36に対しては、界面検出部30の信号処理部131が生成する検出信号に基づく制御信号を出力して、ユニット駆動部36を駆動させる。この場合、オフセットレンズ32の第2光軸O2方向の位置は一定位置に固定され、対物レンズ21及び界面検出部30の第1光軸O1方向(Z方向)の位置は反射面3a(界面)の位置の変化に合わせて上下移動される。
また、制御部71は、対物レンズ21の焦点位置を焦点維持制御が実行されている位置から第1光軸O1方向に所定間隔(例えば図3に示すオフセット値OSであって撮影Z間隔という。)離れた位置に移行(移動)させる移行制御(移動制御)を実行する。このとき、制御部71は、焦点位置Fを変更するために、レンズ駆動部34に対して制御信号を出力してレンズ駆動部34を駆動させるとともに、ユニット駆動部36に対して界面検出部30の信号処理部131が生成する検出信号に基づく制御信号を出力して、ユニット駆動部36を駆動させる。この場合、オフセットレンズ32の第2光軸O2方向の位置は、対物レンズ21の焦点位置の第1光軸O1方向への移動量(撮影Z間隔)に対応する移動量だけ離れた位置となる。また、対物レンズ21及び界面検出部30の第1光軸O1方向(Z方向)の位置は、オフセットレンズ32の移動に伴う反射面3a(界面)の位置の変化に合わせて撮影Z間隔分だけ移動される。
また、制御部71は、試料2における複数の位置において撮像部60に撮像させて、複数枚の画像を取得する撮像制御を実行する。
なお、XYステージ10、結像光学系20(対物レンズ21、結像レンズ22)、界面検出部30、撮像部60、信号処理部61、駆動部11,34,36、制御部71などで構成される装置を、顕微鏡装置1における焦点調節装置という。
次に、オフセットレンズ32の作用について説明する。図3は、オフセットレンズを移動したときの反射像の合焦状態を表す図であって、(a)はオフセット値0の状態を表す図であり、(b)はオフセットレンズを移動したときの状態を表す図であり、(c)は焦点位置が調節された状態を表す図である。
なお、図3においては、オフセットレンズ32の作用の説明に必要な構成についてだけ示している。すなわち、図3においてはダイクロイックミラー33を省略している。また、図3においては、オフセットレンズ32は凸レンズ32aと凹レンズ32bとで構成されている。また、図1においてはコレクタレンズを示していなかったが、フォーカス光学系30Aはコレクタレンズを備え、そのコレクタレンズによって第1光源120からの赤外光が平行光束又は略平行光束に変換されるものとする。また、図3において、赤外光を点線で示し、照明光及び信号光を実線で示している。
オフセットレンズ32は、第2光軸O2方向に移動することにより、対物レンズ21を介して反射面3aに照射される赤外光に基づく光像の結像位置AをZ方向に移動させる働きをする。このように、光像の結像位置Aが移動することにより、反射面3aで反射される光像の反射像の結像位置も第2光軸O2方向に移動される。
図3(a)では、赤外光に基づく光像の結像位置Aが反射面3aに位置し、かつ、対物レンズ21の焦点位置Fも反射面3aに位置するように、凹レンズ32bの第2光軸O2方向の位置と、対物レンズ21(及び界面検出部30)のZ方向(第1光軸O1方向)の位置とが調節されている。なお、対物レンズ21の同焦点距離は一定距離であり、対物レンズ21の焦点位置も対物レンズ21の胴付き面から一定距離の位置となっている。この状態がオフセット値OSが0の状態である。
図3(b)では、凹レンズ32bが第2光軸O2方向の第1光源120側へ距離xだけ移動することにより、赤外光に基づく光像の結像位置Aが対物レンズ21に近づくように反射面3aの位置からZ方向に移動する。この状態では、結像位置Aと、反射面3aの位置にある焦点位置Fとがずれている。
図3(c)では、対物レンズ21(及び界面検出部30)がZ方向の試料2側へ移動することにより、赤外光に基づく光像の結像位置Aが反射面3aの位置に移動し、対物レンズ21の焦点位置Fも同じ距離だけZ方向に移動する。図3(c)では相対的に試料がZ方向に移動(試料2を載置したステージをZ方向に移動)しているように示してある。この状態では、結像位置Aが反射面3aに位置し、かつ、結像位置Aと焦点位置Fとがずれている。結像位置Aと焦点位置Fとのずれ量(結像位置Aから焦点位置Fまでの距離)がオフセット値OSである。
このように、制御部71は、オフセットレンズ32(凹レンズ32b)を第2光軸O2方向に移動させることによりオフセット値OSを調節することができる。また、制御部71は、結像位置Aが反射面3aの位置となるように対物レンズ21(及び界面検出部30)をZ方向に移動させることにより、常に反射面3aから一定距離(一定量)だけZ方向に離れた位置(試料2の内部)に対物レンズ21の焦点位置Fを合わせることができる。
次に、Zスタック撮影について説明する。図4は、Zスタック撮影を行う際の撮影位置を示す図である。また、図5は、Zスタック撮影における撮影位置の変化と時間との関係を示す図である。Zスタック撮影とは、対物レンズ21(対物レンズ21の焦点位置)を対物レンズ21の光軸である第1光軸O1方向(Z方向)に所定間隔ごとに移動させつつ、所定間隔ごとの各位置において試料の撮影を行うことをいう。Zスタック撮影のことをZ方向スライス撮影や断層撮影ともいう。
図4及び図5に示すように、Zスタック撮影は、試料容器3内の試料2の中心部分(例えば細胞の核の部分)を撮影領域(第1光軸O1方向の領域)とし、撮影領域の下限から上限までの間における撮影Z間隔ごとの各位置(各撮影位置)を対物レンズ21の焦点位置として撮影(撮像)を行う。図4及び図5では、4つの位置で撮影を行う例を示しているが、4つ未満の位置であっても、5つ以上の位置であってもよい。
また、図4及び図5に示す例では、試料容器3と試料2とが接触している面である底部を界面とし、この界面を基準面としている。そして、基準面から第1光軸O1方向に一定距離の位置を撮影領域の下限としている。この撮影領域の下限の撮影位置を第1層という。第1層から撮影Z間隔だけ第1光軸O1方向に離れた撮影位置を第2層という。第2層から撮影Z間隔だけ第1光軸O1方向に離れた撮影位置を第3層という。第2層から撮影Z間隔だけ第1光軸O1方向に離れた撮影位置を第4層という。この第4層が撮影領域の上限である。図5は、タイムラプス観察の例である。図5に示すように、対物レンズ21の焦点位置が各層に位置しているときに撮影(撮像)が行われる。各層において1回だけ撮像が行われる場合と複数回撮像が行われる場合とがある。
撮影領域の下限から上限までの各層における一連の撮影動作を撮影passという。1回の撮影passで各層における複数の画像が取得される。本実施形態では、図5に示すように、試料2に対して複数回の撮影passの動作が実行される。1つの撮影passの動作が終了してから次の撮影passの動作が開始されるまでに所定の時間間隔が設けられる。この時間間隔を撮影時間間隔という。
次に、本発明の概要について説明する。図6は、試料ドリフトにより所望の撮影位置と対物レンズ21の焦点位置とのずれが生じた状態(従来法での状態)を示す図である。試料2のZ方向の撮影領域の上限は観察者が予め設定するが、図6では、例えば図6中の試料2の二重楕円部の内側の楕円部の最頂部である、界面からZ方向に最も離れた位置(例えば細胞核の外郭部であって、界面からZ方向に最も離れた位置)を上限と設定している。この上限が第4層となる。図6に示すように、試料2(試料2を収容した試料容器3)の位置は、周囲の温度変化や振動などによって時間の経過とともに徐々に変化する。例えば、周囲の温度変化などによりXYステージ10などが第1光軸O1の方向(Z方向)に伸び縮みすることで、試料2(試料容器3)のZ方向の位置が変化する。このような現象をドリフト(試料ドリフト)という。図6に示す例では、試料2(試料容器3)が温度変化などによって徐々に下がっている(ステージ下部の対物レンズ21側に近づく)。このように試料2のドリフトが生じると、対物レンズ21と試料2との距離が時間の経過とともに変化する。
従来、Zスタック画像を取得する場合、観察者は撮影passを開始する前にまず基準面(例えば界面の位置)を決定し、次に基準面からZ方向に離れた観察位置の決定を行う。そして基準面とZ方向の観察位置の距離を予め記憶する。Z方向の観察位置が複数ある場合は、基準面から異なる複数のZ位置を記憶する。
次に、撮影passのタイミングになった際、従来では、図6の撮影pass1のステップになり第1層から第4層の各層を撮影する場合、最初の層(例えば第1層)を観察するときのみ基準面である界面に対物レンズ21の焦点合わせを実行し、この基準位置を撮影pass1での新たな基準面とする。そして、第1層から第4層の観察では、この新たな基準面を基に、予め記憶された各層の観察位置であるZ位置を読み出し、対物レンズ21のZ方向の位置を変えることで各層の観察を行う。
図6の撮影pass1内における撮影領域の上限である第4層に着目すると、観察者が予め定めた第4層のZ方向の位置は、上記のように試料2の二重楕円部の内側の楕円部の最頂部である、界面からZ方向に最も離れた位置であるが、観察を実行する際の第4層のZ方向の位置(図6の撮影pass1における右側の状態)は、試料2の二重楕円部の外側の楕円部の最頂部である、界面からZ方向に最も離れた位置となっている。この位置は、予め定めた上限の位置である第4層の位置とはずれが生じた状態になっている。これは、撮影pass1内においてもドリフトにより試料2が下ってしまい、第4層の撮影を実行するタイミングでは、撮影pass1の開始時とは基準面のZ方向の位置が変わってしまうことに起因する。この場合、使用者が予め決定した試料2における所望の撮影位置の画像を取得することができなくなる。
上記のように、図6に示す例では、撮影passの動作開始前に基準面(界面)を検出し、基準面を検出した後、Zスタック撮影における各層の撮影を行うことで試料2のドリフトの影響を低減しようとしているが、試料2のドリフトによって試料2が時間の経過とともに下がっていくと、撮影passの動作中に対物レンズ21と試料2との距離が短くなり、対物レンズ21の焦点位置が本来撮影したかった試料2における撮影位置の上方にずれてしまう。また、Zスタック撮影における各層の撮影を行う場合、撮影領域の下限から上限までの各層の撮影を行っている間にドリフトの影響が大きくなり、対物レンズ21の焦点位置が本来撮影したかった試料2における撮影位置とのずれも大きくなる。この場合、図6に示す例では、このずれは撮影領域の上限に近づく程大きくなる。従来では、撮影pass2においても撮影pass1と同様の制御を行う。従って、撮影pass2の開始に際し、基準面のZ方向の位置を新たに決定し直すことから撮影pass1で基準面を決定した以降のドリフトの影響は解消されるが、撮影pass2内で生じるドリフトの影響は解消されない。
また、各層において複数回の撮像を行うことで複数枚の画像を取得する場合、複数回の撮像を行う間に発生するドリフトの影響により、1つの層において取得した複数枚の画像の撮影位置が画像ごとにずれてしまう。各層において複数回の撮像を行う場合としては、各層において励起波長を変えて複数回の撮像を行う場合や、各層において複数回の撮像で取得した複数枚の画像から超解像の画像を構築する場合などである。また、XYステージ10を移動させてから撮影を開始するまでの間に発生するドリフトの影響により、対物レンズ21の焦点位置が本来撮影したかった撮影位置からずれてしまう。
図7は、本発明に関わる図であり、試料ドリフトに追従して対物レンズ21の焦点位置を所望の撮影位置に合わせた状態を示す図である。図7に示すように、本発明の制御装置は、ドリフトの影響による試料2の位置(試料2を収容した試料容器3)の変化に追従して、常に基準面(界面)から一定距離だけZ方向に離れた位置(撮影位置)に対物レンズ21の焦点位置を維持する(例えば、撮影passの実行期間中、界面検出部30がオン状態)。図7に示す例では、試料2(つまり基準面)が徐々に下がっていくようにドリフトしている。このドリフトの影響による基準面からの反射光の変化を界面検出部30の光電変換器130は受光し、信号処理部131は、光電変換器130からの電気信号に対して信号処理を施すことにより電気信号に応じた検出信号を生成する。制御部71は、信号処理部131が生成した検出信号の変化に基づき、ユニット駆動部36により対物レンズ21の焦点位置を徐々に下げていく。このとき、基準面から対物レンズ21の焦点位置までの距離(つまりオフセット値OS)は一定である。そして、撮影位置を上の層に移行する場合(つまり、撮影位置を第1層から第2層、第2層から第3層、第3層から第4層に移行する場合)、制御部71は、レンズ駆動部34に対して制御信号を出力してレンズ駆動部34を駆動させるとともに、ユニット駆動部36に対して界面検出部30の信号処理部131が生成する検出信号に基づく制御信号を出力してユニット駆動部36を駆動させることで、対物レンズ21の焦点位置を現在の位置(試料2のドリフトに追従して対物レンズ21の焦点位置を変化させている位置)から撮影Z間隔だけZ方向上方に移動させる。
このように、本発明では、Zスタック画像を取得する際、撮影pass内においてZ方向に観察位置を変更する際、その都度、基準面を決定する。従って、撮影pass内において試料2のドリフトが発生した場合でも、常にドリフトの影響による試料2のZ方向の位置変化に合わせて対物レンズ21の焦点位置を変化させているので、対物レンズ21の焦点位置と所望の撮影位置とのずれを撮影pass内においても回避することができる。本発明では、撮影pass内において試料2のZ方向の位置変化に合わせて対物レンズ21の焦点位置を変化させる制御を継続して実行しても良いが、このような制御は、少なくとも撮影pass内のZ方向の所定の層を観察する際の直前に制御を開始していればよい。例えば、第1層の観察時期と第2層の観察時期の時間間隔が長い場合は、第1層の観察後、対物レンズ21の焦点位置を変化させる制御は一旦オフとし、第2層の観察時期の直前に上記制御をオンとしてもよい。また、この場合、上記制御は上記直前でなくてもよく、第2層の観察時期が予め設定される場合であれば、この設定された観察時期の所定の比較的長い時間前でもよい。この場合、焦点位置を変える制御の動作時間を鑑みて、上記制御を実行することで予め定めた第2層の観察時期への影響を防止することができる。
更に、本発明では、撮影pass内においてZ方向に観察位置を変更する際、その都度、基準面を決定し、対物レンズの焦点位置を変更する制御が実行されるが、例えば露光時間等の撮影条件や、ドリフトの速度の大きさ(試料2の単位時間当たりのZ方向の変化量)によっては、撮影動作中は焦点維持制御をオフにしてもよい。これにより、撮影中の対物レンズのZ方向の位置は、撮影動作前に決められた位置で固定された状態で撮影動作が実行されるので撮影動作中に対物レンズのZ方向の移動がなされることがない。そして、撮影動作が終了したことを検知したら焦点維持制御を再度オンとしてもよい。この制御は、例えば予め設定される露光時間に対応し、撮影動作中の焦点維持制御のオン、オフが自動的に切り替えられるようにしてもよい。
なお、顕微鏡装置において様々な実験条件における試料2の画像を取得し、取得した画像を解析する。これにより、試料2の反応の分析が行われる。この場合、一つの試料容器3内のウェルの数は少ないものでは6個程であるが、多いものでは1000個以上になる。従って、顕微鏡装置は多数の画像を取得する必要がある。また、顕微鏡装置が一つのウェルに対して複数の異なる視野の画像を取得する場合がある。また、顕微鏡装置が同じ視野であっても複数の波長チャネルの画像を取得する場合もある。このため、顕微鏡装置は1回に数万枚の画像を取得しなければならない事態も生じ得る。
このような場合、短時間に画像を取得することが重要となる。特に、細胞等を生きたまま観察する必要がある場合には、撮影中に試料2の状態が変化してしまう。従って、同一の実験条件で画像を取得するためには、すべての画像の取得時間を短縮する必要がある。また、高画質の画像を取得することも重要となる。高画質の画像を取得するためには、適正な焦点位置で試料2の撮像を行う必要がある。
次に、上記した顕微鏡装置1の動作について説明する。
図8は、Zスタック撮影を行う前の前処理の手順を示すフローチャートである。図8に示す処理において、使用者は、観察対象の試料2(標本)をXYステージ10上に載置する(ステップS1)。そして、使用者は、操作部を操作することで、顕微鏡装置1を試料2の観察に適した状態に設定する(ステップS2)。例えば、使用者は、光源40の照明光の明るさを試料2の観察に適した明るさに設定することなどを行う。
次に、使用者は、顕微鏡装置1を覗いて像を観察しながら、対物レンズ21を光軸O1方向に移動させ観察対象の試料2を撮影する撮影領域下限を決定する。そして、使用者は、操作部を操作して、上記決定した撮影領域下限における対物レンズ21及びオフセットレンズ32の位置の情報を記憶部73に記憶する(ステップS3)。同様に、使用者は、顕微鏡装置1を覗いて像を観察しながら、観察対象の試料2を撮影する撮影領域上限を決定する。そして、使用者は、操作部を操作して、上記決定した撮影領域上限における対物レンズ21及びオフセットレンズ32の位置の情報を記憶部73に記憶する(ステップS4)。
使用者は、操作部を操作して撮影pass数の上限の情報を設定する(ステップS5)。また、使用者は、操作部を操作して撮影Z間隔及び撮影時間間隔の情報を設定する(ステップS6)。そして、制御部71は、ステップS3,S4,S6で設定された撮影領域下限、撮影領域上限、及び撮影Z間隔の情報に基づいて、撮影領域における層数を決定する(ステップS7)。ここで、撮影領域上限から撮影領域下限を引いた値が撮影Z間隔で割り切れない場合は、使用者によって決定された撮影領域上限を超えた位置(撮影領域上限よりも上方の位置)であって撮影Z間隔の倍数の位置を撮影領域上限としてもよい。次に、使用者は、操作部を操作して、Zスタック撮影の開始指示を行う(ステップS8)。制御部71は、Zスタック撮影の開始指示に応じて図9示すZスタック撮影の処理を開始する。
なお、撮影Z間隔、層数、撮影pass数上限、撮影時間間隔、撮影領域下限、及び撮影領域上限を撮影条件という。なお、層数の決定方法は、ステップS7で説明した方法に限定されない。例えば、制御部71は、撮影領域の中心位置から撮影領域下限までの距離に基づいて撮影領域の下半分の層数を決定し、撮影領域の中心位置から撮影領域上限までの距離に基づいて撮影領域の上半分の層数を決定してもよい。また、制御部71は、撮影領域下限及び撮影領域上限と、層数から撮影Z間隔を決定してもよい。
図9は、第1実施形態に係るZスタック撮影の処理を示すフローチャートである。なお、Zスタック撮影を開始する前は、界面検出部30はオフ状態であるものとする。図9に示す処理において、制御部71は、Zスタック撮影の開始指示を受けると、まず、界面検出部30がオン状態であるか否かを確認し(ステップS11)、界面検出部30がオン状態でない場合(つまりオフ状態である場合)は(ステップS11のNO)、界面検出部30をオン状態に設定する(ステップS12)。
界面検出部30がオン状態になると、ステップS13以降の処理(ステップS13〜S20)の実行中、界面検出部30が基準面(反射面3a)を検出し、検出した基準面(反射面3a)の位置に応じた検出信号を制御部71に出力する。そして、ステップS13以降の処理(ステップS13〜S20)の実行中、制御部71は、焦点維持制御を実行する。すなわち、制御部71は、信号処理部131からの検出信号に基づいて基準面(反射面3a)の位置を認識し、認識した基準面の位置に応じた制御信号をユニット駆動部36に出力することで、光像(スリット像)の結像位置Aが基準面の位置となるように対物レンズ21及び界面検出部30の位置に移動させる(図3(c)参照)。
次に、制御部71は、オフセットレンズ32の移動に伴う信号処理部131からの検出信号の変化に基づいて対物レンズ21の焦点位置を撮影領域下限の位置(第1層の位置)に移動させる制御(移行制御)を実行する(ステップS13)。このとき、制御部71は、レンズ駆動部34に対して制御信号を出力してレンズ駆動部34を駆動させることにより、オフセットレンズ32の第2光軸O2方向の位置を、対物レンズ21の焦点位置の第1光軸O1方向(Z方向)への移動量(対物レンズ21の初期位置から撮影領域下限の位置までの距離)に対応する量だけ移動させる。また、制御部71は、ユニット駆動部36に対して制御信号を出力してユニット駆動部36を駆動させることにより、対物レンズ21及び界面検出部30の第1光軸O1方向(Z方向)の位置を、オフセットレンズ32の移動に伴う信号処理部131からの検出信号の変化に基づいて移動させる。これにより、対物レンズ21の焦点位置が撮影領域下限の位置まで移動される。
次に、制御部71は、撮像部60に制御信号を出力することで、撮像部60に撮像を実行させる(ステップS14)。そして、制御部71は、対物レンズ21の焦点位置が撮影領域上限に達したか否か判定する(ステップS15)。制御部71は、対物レンズ21の焦点位置が撮像領域上限に達していないと判定した場合(ステップS15のNO)、オフセットレンズ32の移動に伴う信号処理部131からの検出信号の変化に基づいて対物レンズ21の焦点位置(試料2のドリフトが生じている場合は、焦点維持制御によりドリフトに追従して対物レンズ21の焦点位置を変化させている現在の位置)を撮影Z間隔分だけ上方に移動させる制御(移行制御)を実行する(ステップS16)。このとき、制御部71は、レンズ駆動部34に対して制御信号を出力してレンズ駆動部34を駆動させることにより、オフセットレンズ32の第2光軸O2方向の位置を、対物レンズ21の焦点位置が撮影Z間隔に対応する移動量だけ移動させる。また、制御部71は、ユニット駆動部36に対して制御信号を出力してユニット駆動部36を駆動させることにより、対物レンズ21及び界面検出部30の第1光軸O1方向(Z方向)の位置を、オフセットレンズ32の移動に伴う信号処理部131からの検出信号の変化に基づいて移動させる。これにより、対物レンズ21の焦点位置が撮影Z間隔だけ移動される。
制御部71は、対物レンズ21の焦点位置が撮影領域上限に達したと判定した場合(ステップS15のYES)、撮影pass数を1加算する(ステップS17)。そして、制御部71は、撮影pass数が(撮影pass数の上限+1)の値であるか否か判定する(ステップS18)。制御部71は、撮影pass数が(撮影pass数の上限+1)の値であると判定した場合(ステップS18のYES)、予め設定した撮影pass数の撮影動作を実行したと認識して処理を終了する。
制御部71は、撮影pass数が(撮影pass数の上限+1)の値でないと判定した場合(ステップS18のNO)、予め設定した撮影pass数の撮影動作を実行していないと認識して、ステップS16において複数回実行されたことによる対物レンズ21の総移動量(撮影Z間隔×(層数−1))だけ対物レンズ21の焦点位置を移動させる移行制御を行う(ステップS19)。これにより、対物レンズ21の焦点位置が撮影領域下限の位置に戻る。制御部71は、ステップS19の処理を実行してから予め設定された撮影時間間隔が経過したか否かを判定する(ステップS20)。制御部71は、撮影時間間隔が経過したと判定した場合(ステップS20のYES)、ステップS14の処理に移行させる。これにより、次の撮影passにおける撮影領域下限から撮影領域上限までの撮影動作が実行される。
図10は、図9のステップS13、S16及びS19の処理(移行制御処理)を示すフローチャートである。ステップS13、ステップS16及びステップS19の処理(移行制御処理)が開始されると、図10に示す対物レンズ21の焦点位置を移行させる処理が行われる。図10に示す処理において、制御部71は、まず、フラグの値を0に設定する(ステップS21)。そして、制御部71は、対物レンズ21の焦点位置の目標値を設定する(ステップS22)。そして、制御部71は、対物レンズ21の焦点位置の現在値と目標値とを比較し、現在値と目標値の差d(目標値の位置から現在値の位置を引いた値)を算出する(ステップS23)。ここで、目標値としては、ステップS13の処理中の場合は、対物レンズ21の焦点位置の初期位置から撮影領域下限の位置までの距離であり、ステップS16の処理中の場合、撮影Z間隔の距離である。また、ステップS19の処理中の場合、撮影領域上限の位置から撮影領域下限の位置までの距離である。
制御部71は、現在値と目標値の差dが0であるか否か判定する(ステップS24)。差dが0であると判定した場合(ステップS24のYES)、制御部71は処理を終了する。一方、差dが0でないと判定した場合(ステップS24のNO)、差dが0より大きいか否か判定する(ステップS25)。差dが0より大きいと判定した場合(ステップS25のYES)、フラグの値が1であるか否か判定し(ステップS26)、フラグの値が1である場合は、規定量p(n)をp(n−1)/m(ただし、mは1より大きい値)に設定する(ステップS27)。そして、制御部71は、差d(d>0)が0に近付く方向にオフセットレンズ32を規定量p(n)移動させる(ステップS28)。また、制御部71は、フラグの値を2に設定し(ステップS29)、ステップS23の処理に移行させる。
一方、制御部71は、ステップS25において差dが0より小さいと判定した場合(ステップS25のNO)、フラグの値が2であるか否か判定し(ステップS30)、フラグの値が2である場合は、規定量p(n)をp(n−1)/m(ただし、mは1より大きい値)に設定する(ステップS31)。そして、制御部71は、差d(d<0)が0に近付く方向にオフセットレンズ32を規定量p(n)移動させる(ステップS32)。また、制御部71は、フラグの値を1に設定し(ステップS33)、ステップS23の処理に移行させる。
図11は、図10の処理中の動作を示す図である。図11において、横軸はオフセットレンズ32の位置を示し、縦軸は対物レンズ21の焦点位置を示す。図11に示すように、オフセットレンズ32の位置と対物レンズ21の焦点位置の関係は線形ではない。
図11に示す例では、最初、現在値と目標値の差dが0でなく(ステップS24のNO参照)、その差dが0より大きく(ステップS25のYES参照)、さらに、フラグの値が1ではなく0であるので(ステップS26のNO参照)、差分d(d>0)が0に近付くような方向にオフセットレンズ32が規定量p1だけ移動される(ステップS28参照)。そして、フラグの値が2に設定される(ステップS29参照)。
このようなステップS23からS29の処理が繰り返し実行されることにより、オフセットレンズ32の位置が目標値に対応する位置を超える。この場合、現在値と目標値の差dが0より小さいと判定され(ステップS25のNO参照)、フラグの値が2であるので(ステップS29、S30参照)、規定量p2を規定量p1/mの値に設定される(ステップS31)。そして、差分d(d<0)が0に近付くような方向にオフセットレンズ32が規定量p2だけ移動される(ステップS32参照)。そして、フラグの値が1に設定される(ステップS33参照)。
このようなステップS23〜S25及びステップS30〜S33の処理が繰り返し実行されることにより、オフセットレンズ32の位置が目標値に対応する位置を超える。この場合、現在値と目標値の差dが0より大きいと判定され(ステップS25のYES参照)、フラグの値が1であるので(ステップS33、S26参照)、規定量p3が規定量p2/mの値に設定される(ステップS27)。そして、差分d(d>0)が0に近付くような方向にオフセットレンズ32が規定量p3だけ移動される(ステップS28参照)。そして、フラグの値が2に設定される(ステップS29参照)。
上記の処理を実行することで、対物レンズ21の焦点位置が最終的に目標値に到達する。図10及び図11に示したように、第1実施形態では、制御部71はオフセットレンズ32の移動に伴う信号処理部131からの検出信号の変化に基づいて対物レンズ21の位置を移動させる。
以上に説明したように、第1実施形態では、観察対象物(試料)2を収容する容器3にある界面の位置を検出する界面検出部30と、観察対象物2の所定の第1位置に対物レンズ21の焦点位置を維持する焦点維持制御を実行し、対物レンズ21と観察対象物2との少なくとも一方を光軸O1方向に移動させることで、対物レンズ21の焦点位置を焦点維持制御が実行されている第1位置から光軸O1方向に所定間隔の第2位置に移行させる移行制御を実行し、第1位置及び第2位置において撮像部60に撮像させる撮像制御を実行する制御部71と、を備える。このような構成によれば、ドリフトの影響を受けることなく所望の位置で画像を取得することができる。
また、第1実施形態では、制御部71は、第1位置及び第2位置を含む所定間隔(撮影Z間隔)ごとの複数の位置において焦点維持制御を実行し、複数の位置の各々への移行制御を実行し、複数の位置において撮像制御を実行するので、1つの観察対象物2に対して複数の位置で撮像することで複数枚の画像を取得するまでの時間がかかってしまう場合でも、例えば時間経過に伴う温度変化などのために発生するドリフトの影響を受けることなく複数の位置で複数枚の画像を取得することができる。また、本発明において、第1位置とは界面または界面から対物レンズ21の光軸O1方向に所定の距離だけ離れた位置を称する。
また、第1実施形態では、界面検出部30は、光源31と、光源31からの光に基づく光像を対物レンズ21を介して界面上に結像させ、界面からの光像の反射光を対物レンズ21を介して受光して光像の反射像を結像させるフォーカス用光学系30A,107と、フォーカス用光学系30A,107による反射像の結像位置に設けられ、反射像を検出する光電変換器130と、を含み、フォーカス用光学系30A,107は、該光学系の第2光軸O2方向に移動可能なレンズ32を含み、制御部71は、光電変換器130からの信号に基づき界面検出部30に界面の検出を実行させつつレンズ32を第2光軸O2方向に移動させることで界面と焦点位置との距離(オフセット値OS)を変更し、該距離の変更に連動させて対物レンズ21と観察対象物2との少なくとも一方を光軸O1方向に所定間隔移動させる。このような構成によれば、界面検出部30で界面を検出しつつレンズ32の移動に連動させて対物レンズ21の焦点位置を所望の位置に移動させることができるので、ドリフトの影響を受けることなく対物レンズ21の焦点位置を所望の位置に移動させることができる。
<第2実施形態>
上記した第1実施形態では、制御部71がオフセットレンズ32の移動に伴う信号処理部131からの検出信号の変化に基づいて対物レンズ21の焦点位置を所望の位置に移動させていた。これに対して、第2実施形態では、制御部71が対物レンズ21の焦点位置を所望の位置に移動させてから、その焦点位置の移動に伴う信号処理部131からの検出信号の変化に基づいてオフセットレンズ32の位置を制御部71が移動させる。なお、顕微鏡装置1の構成は図1で説明した構成と同様であるので、重複する説明を省略する。
図12は、第2実施形態に係るZスタック撮影の処理を示すフローチャートである。図12に示す処理において、ステップS11、S12の処理は図9に示した処理と同様であるので、説明を省略する。制御部71は、ユニット駆動部36に制御信号を出力することにより、対物レンズ21の焦点位置を撮影領域下限の位置(第1層の位置)に移動させる(ステップS13A)。このとき、対物レンズ21の移動に伴って光像の結像位置Aと基準面の位置とがずれてしまう。そこで、制御部71は、レンズ駆動部34に制御信号を出力することにより、対物レンズ21の移動によって生じた光像の結像位置Aと基準面の位置とのずれがなくなるようにオフセットレンズ32を第2光軸O2方向に所定量移動させる(ステップS13B)。
ステップS13A,S13Bの処理中における対物レンズ21及びオフセットレンズ32の移動を図13に基づいて説明する。図13は、対物レンズ21を移動したときの反射像の合焦状態を表す図であって、(a)はオフセット値0の状態を表す図であり、(b)は対物レンズの焦点位置を撮影領域下限の位置に移動させた状態を表す図であり、(c)は光像の結像位置が基準面となるようにオフセットレンズを移動させた状態を表す図である。図13(a)は、赤外光に基づく光像の結像位置Aが反射面3a(基準面)に位置し、かつ、対物レンズ21の焦点位置Fも反射面3aに位置している。このとき、界面(基準面)において、オフセット値OSが0の状態で、界面検出部30がオン状態となっている。図13(b)は、図13(a)の状態から対物レンズ21の焦点位置を撮影領域下限の位置(第1層の位置)に移動させた状態に移行している(ステップS13A参照)。このとき、対物レンズ21の移動に伴って光像の結像位置Aと反射面3a(基準面、界面)がずれてしまう。図13(c)は、対物レンズ21の移動に伴う信号処理部131からの検出信号の変化に基づいて、制御部71がレンズ駆動部34に制御信号を出力することによりオフセットレンズ32の位置を移動させ、光像の結像位置Aと反射面3a(基準面)との位置のずれがなくなった状態を示している。
ステップS14、S15の処理は図9に示した処理と同様であるので、説明を省略する。制御部71は、ユニット駆動部36に制御信号を出力することにより、対物レンズ21の焦点位置(試料2のドリフトが生じている場合は、焦点維持制御によりドリフトに追従して対物レンズ21の焦点位置を変化させている現在の位置)を撮影Z間隔だけ移動させる(ステップS16A)。このときも、対物レンズ21の移動による光像の結像位置Aと基準面の位置のずれに伴う信号処理部131からの検出信号の変化に基づいて、制御部71はレンズ駆動部34に制御信号を出力することにより、対物レンズ21の移動によって生じた光像の結像位置Aと基準面の位置とのずれがなくなるようにオフセットレンズ32を第2光軸O2方向に移動させる(ステップS16B)。
ステップS17、S18の処理は図9に示した処理と同様であるので、説明を省略する。制御部71は、ユニット駆動部36に制御信号を出力することにより、対物レンズ21の焦点位置を(撮影Z間隔×(層数−1)だけ移動させる(ステップS19A)。このときも、対物レンズ21の移動による光像の結像位置Aと基準面の位置のずれに伴う信号処理部131からの検出信号の変化に基づいて、制御部71はレンズ駆動部34に制御信号を出力することにより、対物レンズ21の移動によって生じた光像の結像位置Aと基準面の位置とのずれがなくなるようにオフセットレンズ32を第2光軸O2方向に移動させる(ステップS19B)。
以上のように、第2実施形態では、制御部71は、対物レンズ21と観察対象物2との少なくとも一方を光軸O1方向に所定間隔移動させ、該所定間隔の移動に合わせて界面検出部30が光電変換器130からの信号に基づき界面を検出する位置にレンズ32を第2光軸O2方向に移動させるので、対物レンズ21を所定間隔だけ直接移動させることとなり、焦点位置の層間の移動を高速に行うことができる。
<第3実施形態>
第3実施形態では、1回目の撮影passにおいて移行制御を実行した際のオフセットレンズ32の位置を記憶しておき、2回目以降の撮影passにおいて記憶したオフセットレンズ32の位置を使用して移行制御を行う。
図14及び図15は、第3実施形態に係るZスタック撮影の処理を示すフローチャートである。図14及び図15に示す処理において、ステップS41〜S43の処理は図9のステップS11〜S13の処理と同様であるため、説明を省略する。制御部71は、ステップS43で移動させた際のオフセットレンズ32の位置を記憶する(ステップS44)。ステップS45〜S47の処理は図9のステップS14〜S16の処理と同様であるため、説明を省略する。制御部71は、ステップS47で移動させた際のオフセットレンズ32の位置を記憶する(ステップS48)。
ステップS49、S50の処理は図9のステップS17、S18の処理と同様であるため、説明を省略する。制御部71は、オフセットレンズ32の位置をステップS44で記憶した位置に移動させ、オフセットレンズ32の移動に伴う信号処理部131からの検出信号の変化に基づいて対物レンズ21の焦点位置を第1層の位置(撮影領域下限の位置)へ移動させる(ステップS51)。そして、制御部71は、撮影時間間隔が経過したか否か判定し(ステップS52)、撮影時間間隔が経過したと判定した場合(ステップS52のYES)、撮像部60に制御信号を出力することで、撮像部60に撮像を実行させる(ステップS53)。次に、制御部71は、対物レンズ21の焦点位置が撮影領域上限に達したか否か判定する(ステップS54)。制御部71は、対物レンズ21の焦点位置が撮像領域上限に達していないと判定した場合(ステップS54のNO)、オフセットレンズ32の位置をステップS48で記憶した位置に移動させ、オフセットレンズ32の移動に伴う信号処理部131からの検出信号の変化に基づいて対物レンズ21の焦点位置を次の層の位置へ移動させる(ステップS55)。このようなステップS53〜S55の処理を撮影領域上限に達するまで繰り返し実行する。制御部71は、対物レンズ21の焦点位置が撮像領域上限に達したと判定した場合(ステップS54のYES)、ステップS49の処理に移行させる(ステップS54のYES)。
以上のように、第3実施形態では、制御部71は、1回目の撮影passで記憶したオフセットレンズ32の位置に基づいて2回目以降の撮影passにおける移行制御を実行するので、対物レンズ21の焦点位置を探す手間が省け、より高速に焦点位置の移動を行うことができる。また、記憶したオフセットレンズ32の位置に復帰することで精度よくオフセットレンズ32を移動させることができる。
また、制御部71は、撮影領域下限、撮影領域上限、及び撮影Z間隔の撮影条件から、各層におけるオフセットレンズ32の位置を線形補間等により算出して記憶部73に記憶しても良い。この場合、S43、S47におけるオフセットレンズ32の移動には記憶部73に記憶した位置を適用する。また、この場合、S44、S48におけるオフセットレンズ位置の記憶を行う必要が無い。このようにすることで、1回目の撮影passから記憶したオフセットレンズ32の位置に基づいて移行制御を実行するので、対物レンズ21の焦点位置を捜す手間が省け、さらに高速にZスタック撮影を行う事が出来る。
<第4実施形態>
上記した第3実施形態では、図9に示した第1実施形態の処理において、1回目の撮影passの移行制御の後に記憶したオフセットレンズ32の位置を使用して、2回目以降の撮影passの移行制御を実行していた(図14及び図15参照)。しかし、図12に示した第2実施形態の処理においても、1回目の撮影passの移行制御の後に記憶したオフセットレンズ32の位置を使用して、2回目以降の撮影passの移行制御を実行してもよい。この場合、制御部71は、図12のステップS13Bの処理の実行後に図14のステップS44の処理(オフセットレンズ32の位置の記憶)を行い、図12のステップS16Bの処理の実行後に図14のステップS48の処理(オフセットレンズ32の位置の記憶)を行う。そして、制御部71は、図12のステップS18のNOの場合(すなわち撮影pass数が(上限+1)でない場合)、図15のステップS51〜S55の処理を実行する。このような構成によっても、1回目の撮影passで記憶したオフセットレンズ32の位置に基づいて2回目以降の撮影passにおける移行制御を実行するので、対物レンズ21の焦点位置を探す手間が省け、より高速に焦点位置の移動を行うことができる。また、記憶したオフセットレンズ32の位置に復帰することで精度よくオフセットレンズ32を移動させることができる。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施の形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施の形態や変形例の構成を適宜組み合わせて適用することも可能である。
図1に示した光学顕微鏡は倒立型顕微鏡であったが、このような顕微鏡に限定されず、上記した実施の形態や変形例の構成は正立型顕微鏡などにも適用することが可能である。また、図1に示した光学顕微鏡の照明装置として反射式照明を利用していたが、透過式照明を利用してもよい。
また、試料2を収容する容器は試料容器3を用いていたが、このような構成に限らず、例えば試料2をカバーガラスとスライドガラスとで挟み込む構成でもよい。また、界面3aは試料容器3の底部の底面としていたが、赤外光の反射が強ければ試料容器3の底部の上面であってもよい。
また、光電変換器130はラインCCDセンサを用いていたが、ラインCMOSセンサ(CMOS:Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)を用いてもよい。
また、オフセットレンズ32は、凹レンズ32bを第2光軸O2に沿って移動させて結像位置Aを変更するように構成していたが、凸レンズ32aを第2光軸O2に沿って移動させて結像位置Aを変更してもよく、また凸レンズ32a及び凹レンズ32bの両方を第2光軸O2に沿って移動させて結像位置Aを変更してもよい。
また、焦点調節装置のすべての構成が顕微鏡装置1に設けられていない構成でもよい。例えば、制御部71、入力部72、記憶部73などの構成が顕微鏡装置1とは別のコンピュータなどの装置に設けられてもよい。また、顕微鏡装置1は画像解析装置や画像解析用の制御プログラムを備えたコンピュータなどと接続されてもよい。また、制御部71に制御・処理を実行させる制御プログラムは記憶部73に記憶されていたが、制御プログラムは記憶媒体に記憶させてもよい。
また、撮像部60によって1回に撮像される試料2(サンプル)の数は1つに限らず、2つ以上であってもよい。また、撮像部60はCCDセンサを用いていたが、CCDセンサに代えてCMOSセンサを用いてもよい。
また、ユニット駆動部36は、対物レンズ21と界面検出部30とが結合されたユニットをZ方向に移動させていたが、対物レンズ21だけをZ方向に移動させてもよい。また、ステージ駆動部11、レンズ駆動部34、及びユニット駆動部36の駆動方法は、電動モータの回転させる方法が想定される。しかし、このような駆動方法に限定されず、例えばピエゾ素子をXYステージ10、オフセットレンズ32の保持部、及び対物レンズ21の取り付け部に取り付けて、ピエゾ素子により移動させてもよい。
1…顕微鏡装置、2…試料(観察対象物)、3…試料容器(容器)、10…XYステージ10…ステージ駆動部、21…対物レンズ、30…界面検出部、30A…フォーカス用照明光学系(フォーカス光学系)、31…第1光源(光源)、32…オフセットレンズ(レンズ)、34…レンズ駆動部、36…ユニット駆動部、60…撮像部、61…信号処理部、71…制御部、72…入力部、OS…オフセット値、A…結像位置、F…焦点位置、O1…第1光軸、O2…第2光軸、130…光電変換器、107…フォーカス用結像光学系(フォーカス光学系)

Claims (9)

  1. 観察対象物の所定の第1位置に対物レンズの焦点位置を維持する焦点維持制御を実行し、前記対物レンズの焦点位置を前記焦点維持制御が実行された前記第1位置から前記光軸方向に所定間隔の第2位置に移行し、前記第2位置に前記対物レンズの焦点位置を維持する焦点維持制御を実行させる移行制御を実行する制御部を備える制御装置。
  2. 前記制御部は、前記第1位置及び前記第2位置を含む前記所定間隔ごとの複数の位置において前記焦点維持制御を実行し、前記複数の位置の各々への前記移行制御を実行し、前記複数の位置において前記撮像制御を実行する請求項1に記載の制御装置。
  3. 前記制御装置は、
    光源と、
    前記光源からの光に基づく光像を前記観察対象物を収容する容器にある界面上に結像させ、前記界面からの前記光像の反射光を受光して前記光像の反射像を結像させるフォーカス用光学系と、
    前記反射像の結像位置に設けられ、前記反射像を検出する光電変換器と、
    前記観察対象物を収容する容器にある界面の位置を検出する界面検出部と、
    を含み、
    前記フォーカス用光学系は、該光学系の第2光軸方向に移動可能なレンズを含み、
    前記制御部は、前記光電変換器からの信号に基づき前記界面検出部に前記界面の検出を実行させ前記検出結果を基に前記レンズを前記第2光軸方向に移動させることで前記界面と前記焦点位置との距離を変更し、該距離の変更に基づき前記対物レンズと前記観察対象物との少なくとも一方を前記光軸方向に前記所定間隔移動させる請求項1または請求項2に記載の制御装置。
  4. 前記制御部は、前記対物レンズと前記観察対象物との少なくとも一方を前記光軸方向に前記所定間隔移動させ、該所定間隔の移動に合わせて前記界面検出部が前記光電変換器からの信号に基づき前記界面を検出する位置に前記レンズを前記第2光軸方向に移動させる請求項3に記載の制御装置。
  5. 前記制御部は、前記観察対象物についての前記所定間隔ごとの画像群の取得を複数回実行する場合に、前記移行制御が実行されたときの各位置を記憶し、記憶した前記各位置に基づいて次回以降の画像群の取得時おける前記移行制御を実行する請求項1から請求項4のいずれか1項に記載の制御装置。
  6. 前記制御部は、前記複数の位置の各々において複数回撮像させる請求項1から請求項5のいずれか1項に記載の制御装置。
  7. 請求項1から請求項6のいずれか1項に記載の制御装置を備えた顕微鏡装置。
  8. 観察対象物の所定の第1位置に対物レンズの焦点位置を維持する焦点維持制御を実行し、前記対物レンズの焦点位置を前記焦点維持制御が実行された前記第1位置から前記光軸方向に所定間隔の第2位置に移行し、前記第2位置に前記対物レンズの焦点位置を維持する焦点維持制御を実行させる移行制御を実行することを備える制御方法。
  9. コンピュータに、
    観察対象物の第1位置に対物レンズの焦点位置を維持する焦点維持制御を実行し、前記対物レンズの焦点位置を前記焦点維持制御が実行された前記第1位置から前記光軸方向に所定間隔の第2位置に移行させる移行制御を実行する制御処理を実行させる制御プログラム。
JP2015232338A 2015-11-27 2015-11-27 制御装置、顕微鏡装置、制御方法、及び制御プログラム Pending JP2017097301A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015232338A JP2017097301A (ja) 2015-11-27 2015-11-27 制御装置、顕微鏡装置、制御方法、及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015232338A JP2017097301A (ja) 2015-11-27 2015-11-27 制御装置、顕微鏡装置、制御方法、及び制御プログラム

Publications (1)

Publication Number Publication Date
JP2017097301A true JP2017097301A (ja) 2017-06-01

Family

ID=58803826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232338A Pending JP2017097301A (ja) 2015-11-27 2015-11-27 制御装置、顕微鏡装置、制御方法、及び制御プログラム

Country Status (1)

Country Link
JP (1) JP2017097301A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022184786A (ja) * 2021-05-26 2022-12-13 エフエーイー ドイチュラント ゲセルシャフト ミット ベシュレンクテル ハフツング サンプルを画像化およびアブレーションするためのシステムおよび方法
WO2023214197A1 (zh) * 2022-05-02 2023-11-09 刘正锋 应用光学新理论提升光学仪器分辨能力的方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022184786A (ja) * 2021-05-26 2022-12-13 エフエーイー ドイチュラント ゲセルシャフト ミット ベシュレンクテル ハフツング サンプルを画像化およびアブレーションするためのシステムおよび方法
JP7429256B2 (ja) 2021-05-26 2024-02-07 エフエーイー ドイチュラント ゲセルシャフト ミット ベシュレンクテル ハフツング サンプルを画像化およびアブレーションするためのシステムおよび方法
WO2023214197A1 (zh) * 2022-05-02 2023-11-09 刘正锋 应用光学新理论提升光学仪器分辨能力的方法及装置

Similar Documents

Publication Publication Date Title
US7660523B2 (en) Intermittent photo-taking device
JP4847690B2 (ja) 顕微鏡システム
JP5199407B2 (ja) 顕微鏡システム及び観察方法
JP6044941B2 (ja) 光学顕微鏡、および、光学顕微鏡のオートフォーカス装置
JP6673198B2 (ja) 顕微鏡
JP6178656B2 (ja) 補償光学素子の設定方法及び顕微鏡
JP2009162974A (ja) 顕微鏡システム及びその制御方法
JP2017097301A (ja) 制御装置、顕微鏡装置、制御方法、及び制御プログラム
JP5959247B2 (ja) 顕微鏡
JP6822535B2 (ja) 焦点調節装置、顕微鏡装置、焦点調節方法、及び制御プログラム
JP2001091821A (ja) 顕微鏡用オートフォーカスシステム
JP5019279B2 (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP5145698B2 (ja) 顕微鏡用焦点検出装置と、これを具備する顕微鏡
JP2018194634A (ja) ライトフィールド顕微鏡
JP5530330B2 (ja) 顕微鏡システム
US10782515B2 (en) Microscope system, observation method, and computer-readable recording medium
JP5278489B2 (ja) 顕微鏡、顕微鏡の焦点調節制御方法
JP2017003827A (ja) 顕微鏡装置、制御方法および制御プログラム
JP2013174709A (ja) 顕微鏡装置およびバーチャル顕微鏡装置
JP2010091739A (ja) 自動焦点合焦装置を備えた画像撮像装置
JPH11271623A (ja) 顕微鏡用オートフォーカス装置
CN114911047A (zh) 用于确定焦平面的优化位置以用于通过显微镜检查标本的方法和装置
JP2010139787A (ja) 撮像装置
KR20080112757A (ko) 실시간으로 자동초점조절 기능과 줌 기능을 수행하는카메라 시스템
JP2016157025A (ja) 焦点検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190717

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203