JP2015082096A - 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム - Google Patents

顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム Download PDF

Info

Publication number
JP2015082096A
JP2015082096A JP2013221497A JP2013221497A JP2015082096A JP 2015082096 A JP2015082096 A JP 2015082096A JP 2013221497 A JP2013221497 A JP 2013221497A JP 2013221497 A JP2013221497 A JP 2013221497A JP 2015082096 A JP2015082096 A JP 2015082096A
Authority
JP
Japan
Prior art keywords
sample
image
microscope
objective lens
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013221497A
Other languages
English (en)
Other versions
JP6327829B2 (ja
Inventor
宇範 康
Woobum Kang
宇範 康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2013221497A priority Critical patent/JP6327829B2/ja
Publication of JP2015082096A publication Critical patent/JP2015082096A/ja
Application granted granted Critical
Publication of JP6327829B2 publication Critical patent/JP6327829B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【課題】標本に対する光毒性の影響を低減しつつ、タイムラプス撮影の成功率を高める。【解決手段】顕微鏡システム100は、対物レンズと試料3との間の距離を変えながら試料3を撮影して複数の画像を取得し、各画像を取得したときの対物レンズの光軸方向におけるZ位置を示す位置データとを関連付けて記憶する。顕微鏡システム100は、複数の画像のそれぞれにおいて試料3に対する合焦状態を示す合焦値を決定し、合焦値に基づき複数の画像から1つの画像を決定し、当該画像に関連付けられている位置データに基づき、試料3について再度撮影をする際の対物レンズの基準位置を決定する。そして、顕微鏡システム100は、基準位置を含む所定の移動範囲内で対物レンズを移動させることで対物レンズと試料3との間の距離を変えさせながら顕微鏡1に試料3を再度撮影させる。【選択図】図1

Description

本発明は、タイムラプス撮影を実行している際のフォーカス追尾に関する。
細胞が分裂・成長する様子などを捉えるために、ある撮影間隔を置いて撮影することをタイムラプス撮影と言う(特許文献1、2)。撮影時には電動制御の顕微鏡システムと、細胞の温度や湿度、CO2濃度(酸性・アルカリ性を示すPHを一定に保つため)などを制御するチャンバーが用いられることがある。タイムラプス撮影の撮影間隔は数分から数時間であり、予定された複数枚を撮影するのによう必要となるトータルの撮影期間は数時間から数日に及ぶこともある。このように、トータルの撮影期間は長くなるため、光毒性や経時的な合焦位置(ピント位置)の変化が問題となる。
(i)光毒性
細胞を撮影する際には光を細胞に照射する必要があるが、特に蛍光観察を行う場合には強力な励起光を細胞に照射する必要がある。タイムラプス撮影では何度も光を細胞に照射することになるため、細胞にダメージが及ぶことがある。このように、光による標本への悪影響を総じて光毒性と呼ぶ。光毒性は細胞に有毒であると言われる紫外線が用いられるケースでは更に悪影響が大きくなるため注意が必要となる。そのため、一般的なタイムラプス撮影顕微鏡では観察対象である細胞に極力ダメージを与えないようにするために撮影中のみ励起光を照射し、ある撮影タイミングから次の撮影タイミングまでの時間である待ち時間中は励起光を照射しないように制御されてもよい。特許文献3ではオートフォーカス中に励起光とは異なる光源を使ってオートフォーカスを行い、撮影時にのみ励起光を照射する技術が開示されている。
(ii)経時的なピント位置の変化
タイムラプス撮影中には、温度変化によってステージなど構造部材が膨張・収縮する現象(温度ドリフト)が発生し、ピント位置が変化する。ドリフト量は数μm〜数十μm程度であるが、高倍率には問題が顕在化しやすい。高倍率の対物レンズの中にはピントが合う範囲、すなわち被写界深度はたとえば1μm程度のものもあるからである。その他にも細胞そのものがXYZ方向に移動することによってピント位置が変化することもある。
従来技術としては、撮影前にオートフォーカスによる合焦動作を行う技術が開示されている(特許文献4、5)。特許文献4では、オートフォーカス時には、撮影に使用する光学系と同一の光学系を用いて画像のコントラストから合焦位置を求めるパッシブ型と、赤外線レーザーなどを照射して標本が置かれているガラス表面位置を測定し、表面とサンプルとのオフセット量を一定とするアクティブ型に言及している。特許文献5では、アクティブ型で大まかな位置を求めてパッシブ型で詳細位置を求める技術を提案している。しかし、パッシブ型では合焦動作を撮影前に一度行う必要があり、光毒性の問題が発生する。一方、アクティブ型では撮影系と合焦系とで2つの光学系が必要となるため、顕微鏡のコストが増加する。さらに、アクティブ型では、ガラス表面と標本が置かれている面との距離に変動があった場合にピントずれが発生してしまう。
ところで、顕微鏡の撮影技法としてZスタックと呼ばれる技術が存在する。これは標本とレンズとの間における光軸方向(Z軸方向)の距離を変化させながら標本を撮影して複数枚の画像(Zスタック画像)を取得する技術である。1枚の画像では標本の平面的な構造しか判別できないが、Zスタック画像からは標本の立体的な構造を判別できる。Zスタック画像から疑似的に3次元画像も作成できる。さらに、標本に対して部分的に合焦位置の異なるZスタック画像から合焦とされるZ位置の画素を抜き出して合成した全合焦合成画像を作ることもできる。特許文献6では、所定距離ずつステージを移動しながら撮影を繰り返すZスタックを用いることで、手動での合焦動作を実行しない技術が開示されている。
特開2002−277754号公報 特開2006−178044号公報 特開2012−159854号公報 特開2010−152407号公報 特開2001−091821号公報 特開2003−21790号公報
特許文献6はタイムラプス撮影を考慮していない。タイムラプス撮影においても、光軸方向における標本の予想移動範囲を全てカバーするようにZスタックすることでピント位置のあった画像を取得できると考えられる。しかし、タイムラプス撮影の実行中にどれだけ合焦位置が変化するかを事前に正しく予想することは困難である。さらに、ステージの移動範囲が広大となり撮影枚数も増加してしまうと、光毒性の影響が大きくなりやすい。
そこで、本発明は、標本に対する光毒性の影響を低減しつつ、タイムラプス撮影の成功率を高めることを目的とする。
本発明は、たとえば、顕微鏡を制御する制御装置であって、
前記顕微鏡において対物レンズと試料との間の距離を変えながら当該試料を撮影して取得された複数の画像と、各画像を取得したときの前記対物レンズの光軸方向における位置を示す位置データとを関連付けて記憶する記憶手段と、
前記複数の画像のそれぞれにおいて前記試料に対する合焦状態を示す合焦値を決定する合焦値決定手段と、
前記合焦値に基づき前記複数の画像から1つの画像を決定し、当該画像に関連付けられている位置データに基づき、前記試料について再度撮影をする際の前記対物レンズの基準位置を決定する決定手段と、
前記基準位置を含む所定の移動範囲内で前記対物レンズを移動させることで前記対物レンズと前記試料との間の距離を変えさせながら前記顕微鏡に前記試料を撮影させる撮影制御手段と
を有することを特徴とする。
本発明によれば、標本に対する光毒性の影響を低減しつつ、タイムラプス撮影の成功率を高めることが可能となる。
図1は顕微鏡システムの中核をなす顕微鏡の斜視図である。 図2は顕微鏡システムを構成する主要部を示すブロック図である。 図3はZスタック画像の一例を示す図である。 図4は制御プログラムを実行することにより実現される機能を示すブロック図である。 図5はタイムラプス撮影においてZスタックを実行する処理を示すフローチャートである。 図6はS506を詳細に示したフローチャートである。 図7はZスタック画像の概要を説明する図である。
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
図1(A)および図1(B)は顕微鏡システムの中核をなす顕微鏡1の斜視図である。図1(A)が示すように顕微鏡1は、筐体自体を暗室として利用するため、ユーザーが暗室を用意する必要がない。ユーザー(操作者)は、上面カバー190を開けると、透過照明光学系5の下方に配置されたXYステージ6にアクセス可能となる。XYステージ6は試料が載置される載置手段の一例である。上面カバー190を閉じることで、暗室が形成される。ユーザーは前面カバー191を開けることでフィルタターレット14に搭載されたフィルタキューブ(カラーフィルタなど)を交換できる。
図2は、顕微鏡システム100を構成する主要部を示すブロック図である。顕微鏡1は図2に示す制御装置2によって制御される。制御装置2は、たとえば、制御プログラムをインストールされた情報処理装置(パーソナルコンピュータ:PC)である。つまりPCが顕微鏡1の制御装置2として機能する。このように顕微鏡システム100は、顕微鏡1と制御装置2とを有している。
顕微鏡1は、試料3のモノクロ画像、カラー画像および蛍光画像を取得することができる顕微鏡であるが、このうち1つの画像のみを取得する顕微鏡であってもよい。XYステージ6には試料3を保持するための容器ユニット7が固定される。試料3は標本、サンプル、検体またはワークと呼ばれることもある。容器ユニット7は、プレパラート、ディッシュまたはウェル等の容器とこの容器を支持するホルダーとを有している。透過照明光源4が出力された照明光はコンデンサレンズなどを含む透過照明光学系5を介して試料3に照射される。透過照明光学系5には遮光用のメカシャッターが設けられていてもよい。透過照明光源4からの照明光は、試料3のモノクロ画像やカラー画像を取得する際に使用される。試料3について蛍光観察を実行する際は、蛍光落射照明光源8から励起光が出力される。励起光は、蛍光落射照明光学系9および励起フィルタ10を通過する。蛍光落射照明光学系9には遮光用のメカシャッターが設けられていてもよい。励起フィルタ10は、蛍光落射照明光源8から出力された光のうち励起光となる波長成分のみを透過させる波長選択性フィルタである。励起光はさらにダイクロックミラー11で反射され、対物レンズユニット12の対物レンズを通過して試料3に照射される。ダイクロックミラー11も波長選択性のミラーであり、励起光を反射するが、試料3に添加された蛍光試薬(蛍光染料や蛍光色素とも呼ばれる)が発光する蛍光については透過する。対物レンズユニット12は、モータ13によって回転する電動レボルバと、電動レボルバに搭載された複数の対物レンズとを有している。フィルタターレット14は、4つの開口を有し、そのうち3つの開口には励起フィルタ10、ダイクロイックミラー11、吸収フィルタ16を有するそれぞれ異なるフィルタキューブが取り付けられているが、残りの1つの開口は何も取り付けられていない。フィルタの取り付けられていない開口は、明視野画像を取得する際に使用される。フィルタターレット14は、モータ15によって回転する。吸収フィルタ16は、試料3からの光のうち必要な波長成分のみを透過させる波長選択性フィルタである。結像光学系17は、試料3を撮影装置18の撮影面に結像させる結像レンズを含む。カラーフィルタ24は、たとえば、液晶チューナブルフィルタであり、透過波長を切り替えることにより順にR、G、Bの画像を取得、これらを画像処理部19で合成することでカラー画像を作成する。なお、カラーフィルタとしては上述した液晶チューナブルフィルタに限られず、異なる透過波長のフィルタを機械的に切り替えるカラーフィルタターレットを配置してもよい。画像処理部19は、撮影装置18から出力される画像信号を増幅してA/D変換し、さらにシェーディング補正を行ったりするなど、様々な画像処理を行う。制御部20は、制御装置2からの指示にしたがって顕微鏡1の各部を制御する。たとえば、制御部20は、モータ群21を制御してXYステージ6をX軸方向またはY軸方向へ移動させたり、モータ22を制御してZステージと呼ばれることもある対物レンズユニット12をZ軸方向に移動させたりする。対物レンズユニット12をZ軸方向に移動させることで合焦位置が変化し、オートフォーカスが実行される。XYステージ6およびZステージは手動調整機構を有していてもよい。ここで、Z軸方向は対物レンズの光軸方向であり、X軸方向およびY軸方向はZ軸方向に直交した方向である。通信部23は、制御装置2からの指示を受信したり、制御部20からの情報や画像データを制御装置2へ送信したりするユニットである。制御部20は、たとえば、マイクロプロセッサやCPU、LSI、FPGA、ASICなどで構成される。つまり、制御部20はソフトウエアとその実行手段で実現されてもよいし、ハードウエアのみで実現されてもよいし、前者と後者との混在によって実現されてもよい。
制御装置2においてCPU30は、記憶装置31に記憶された制御プログラムを実行して顕微鏡1を制御したり、通信インタフェース32を通じて受信した画像データを表示部34に表示させたりする。通信部23および通信インタフェース32は、USBやIEEE1394、LANなどの一般的な通信プロトコルで接続されていてもよいし、専用の通信プロトコルで接続されていてもよい。記憶装置31は、ROM、RAMなどのメモリやハードディスク記憶装置などを含んでいる。操作部33は、キーボードやポインティングデバイスなどの入力装置である。表示部34は、顕微鏡1を制御するための制御パラメータを設定するユーザーインタフェース(UI)や観察結果(静止画または動画)を表示するUIを提供する。
顕微鏡システム100はZスタック画像の撮影やタイムラプス撮影を実行できる。Zスタック画像とは、Zステージを少しずつ移動させることで合焦位置をずらしながら各合焦位置において取得された試料3の複数の画像(レイヤー画像/スライス画像)をいう。微生物などの試料3は観察中にX軸方向やY軸方向だけでなくZ軸方向にも移動する。よって、Z軸方向に少量ずつ合焦位置をずらして複数の画像を取得することで、試料3に合焦した画像を取得しやすくなる。なお、1回のZスタックによって取得される画像の枚数をZスタック数またはZスタック枚数と呼ぶことにする。つまり、Zスタック数Nzは、Zスタック画像を構成している画像の枚数を示している。タイムラプス撮影とは、一定時間ごとに1枚または複数枚の画像を取得する撮影方法をいう。微生物などの試料3は観察中に成長したり変化したりする。そのため、その経過を知る上でタイムラプス撮影は有効である。本実施形態は、基本的に、Zスタックとタイムラプス撮影とを組み合わせて実行する。つまり、顕微鏡1は、一定時間ごとに到来する各撮影タイミングでZスタックを実行する。なお、タイムラプス撮影の開始から終了までの全工程において取得された画像の枚数をトータル撮影枚数Ntと呼ぶことにする。
[Zスタック画像]
操作部33を通じてZスタック画像の取得(つまりZスタックの実行)が指示されると、CPU30は、Zスタックの実行を顕微鏡1の制御部20に指示する。この際に、CPU30は、操作部33を通じてユーザーにより設定された制御パラメータ(たとえば、露光時間、Zスタック数Nz、トータル撮影枚数Nt、撮影開始時刻、光源の種類、フィルタ、対物レンズの倍率、Zステージの移動範囲Wなど)も制御部20に送信される。制御部20は、制御パラメータにしたがって露光時間などを撮影装置18に設定するとともに、Zステージ(対物レンズユニット12)を撮影開始位置に移動させるためにモータ13を制御する。制御部20は、撮影開始時刻になると光源を点灯させて撮影を開始する。制御部20は、移動範囲WをZスタック数Nz撮影枚数で除算して一回の移動距離である移動ピッチPを求め、それに応じてモータ13を駆動してZステージを移動させる。つまり、1枚の画像を取得するたびに移動ピッチPだけZステージが移動する。撮影枚数がZスタック数Nzに一致するまでZステージの移動と撮影とが繰り返し実行される。これにより、指定された枚数(Zスタック数Nz)の画像が取得される。制御部20は、各画像を撮影したときの制御パラメータ(撮影時刻、対物レンズ、ZステージのZ位置)を含むメタデータを作成して各画像に添付する。ZステージのZ位置は、実質的に、対物レンズと試料3との間の距離を示しており、Z位置を示す位置データは距離を示す距離データに相当する。制御部20は、画像を取得するたびに通信部23を通じて当該画像を制御装置2に送信してもよいし、または、Zスタック数Nz分の複数の画像の取得が完了するたびにこれらの画像を一括して制御装置2に送信してもよい。なお、制御部20は、メタデータとしてZ位置を示す位置データ(距離データ)を各画像に付与してもよいが、制御パラメータに基づいてCPU30がこのようなメタデータを作成してもよい。顕微鏡1に設定した制御パラメータには移動範囲および移動ピッチの情報が含まれているため、CPU30は移動範囲を移動ピッチで除算することによって各画像のZ位置を求めることができる。CPU30は、通信インタフェース32を通じて受信した複数のレイヤー画像を記憶装置31に記憶する。このように、記憶装置31は、顕微鏡1において対物レンズと試料3との間の距離を変えながら当該試料を撮影して取得された複数の画像と、各画像を取得したときの対物レンズの光軸方向における位置を示す位置データとを関連付けて記憶する記憶手段として機能する。この複数のレイヤー画像がZスタック画像である。CPU30は、操作部33からの指示に応じてZスタック画像から3次元画像を構築して表示部34に表示してもよい。
図3はZスタック画像の一例を示す図である。このZスタック画像は、6枚のレイヤー画像から構成されている。各レイヤー画像のメタデータにはZステージのZ位置が書き込まれている。
[合焦位置の制御]
本実施形態では、Zスタックを伴うタイムラプス撮影において、過去の撮影タイミングにおいて取得されたZスタック画像から合焦位置が判定され、合焦位置を基準位置として次回の撮影が実行される。基準位置は、ZスタックにおけるZステージの移動範囲Wを決定するための基準となる位置である。たとえば、基準位置が移動範囲Wにおいて中央の位置となるように移動範囲Wの上限位置と下限位置とが決定される。移動範囲Wは一回のZスタックにおけるZステージの移動距離である。この移動距離を2Lと仮定すると、基準位置から+LとなるZ位置がZスタックの開始位置(または終了位置)となり、基準位置から−LとなるZ位置がZスタックの終了位置(または開始位置)となる。もちろんこれは一例にすぎず、試料3の移動方向が予測可能であれば、移動方向をカバーするようにZステージの移動範囲を決定すればよい。たとえば、試料3が基準位置から+方向に移動(成長)することがわかっていれば、基準位置を開始位置に決定してもよい。なお、制御部20およびCPU30は、基準位置にZステージを移動した後に合焦動作(オートフォーカス)を実行して合焦位置を探索し、見つかった合焦位置が中央となるように移動範囲をシフトしてもよい。
このように、過去または直前に取得されたZスタック画像を用いて合焦位置を追跡することで、別途の合焦動作が不要となるか、または合焦動作に必要となる時間を短縮できる。その結果、試料3に光が照射される時間も短縮されるため、光毒性を低減できる。
なお、Zスタックではタイムラプス撮影の開始から終了までの全期間においてZステージの移動しうる全範囲(最大範囲Wmax)を各撮影タイミングにおけるZステージの移動範囲Wに設定することも考えられる。しかし、これは、1回の撮影タイミングにおけるZスタック数が増加し、光の照射時間も長時間となってしまう。一方で、本実施形態では、1回の撮影タイミングにおける撮影開始から撮影終了までの間におけるZステージの移動しうる範囲のみを実際の移動範囲Wに設定すればよい。そのため、移動範囲Wは、試料3の厚みであるたとえば数μmの範囲内に十分収まるだろう。よって、Zスタック以外のための余分な撮影(フォーカス追尾のための撮影)は基本的に不要である。その結果、光毒性の低減と撮影時間の短縮を図ることができる。
図4は、CPU30が記憶装置31に記憶されている制御プログラムを実行することにより制御装置2によって実現される機能を示すブロック図である。撮影制御部401は顕微鏡1に対して制御信号を送信して制御し、顕微鏡1から送信される画像信号を受信して画像データを作成して画像保存部407に記憶する。顕微鏡1ですでに画像データが作成されていれば、CPU30はメタデータを作成してこの画像データに付与し、画像保存部407に記憶することになる。撮影制御部401は、タイムラプス撮影を実行するために顕微鏡に一定時間ごとに撮影を実行させる。また、Zスタックを実行する際には、撮影制御部401が顕微鏡1を制御することで、基準位置を含む所定の移動範囲内(基準距離を含む所定範囲内)で対物レンズと試料3との間の距離を変えさせながら顕微鏡1に試料3を撮影させる。この場合、画像保存部407は、顕微鏡1において対物レンズと試料3との間の距離を変えながら試料3を撮影して取得された複数の画像と、各画像を取得したときの対物レンズの光軸方向におけるZ位置を示す位置データ(距離データ)とを関連付けて記憶する。なお、画像とZ位置との関連付けを示すデータについてはデータベース化されてデータ保存部403に記憶されてもよい。このように、対物レンズと試料3との間の距離はZステージのZ軸方向における位置(Z位置)によって表現可能である。
合焦判定部404は、複数の画像のそれぞれにおいて試料3にピントが合っているかどうかを判定する。これによって試料3に対して最もピントが合っている1つの画像が特定される。たとえば、合焦判定部404は、複数の画像のそれぞれにおいて試料3に対する合焦状態を示す合焦値を決定する合焦値決定手段として機能してもよい。
設定部402は、合焦値に基づき複数の画像から1つの画像を決定し、当該画像に関連付けられている位置データに基づき、試料3について再度撮影を実行する際の対物レンズの基準位置を決定する。たとえば、設定部402は、一定の時間間隔で並んだ複数の撮影タイミングのうちn番目の撮影タイミングでZスタックを実行するときはn−1番目の撮影タイミングで取得されたZスタック画像を構成する複数の画像のうちで試料3に対して最もピントが合っている画像に関連付けられている位置データが示すZ位置を基準位置として決定してもよい。なお、設定部402は、Z位置に代えて距離を用いてもよい。設定部402は、試料3について再度撮影を実行する際に、試料3にピントが合っている画像に関連付けられている距離データが示す距離を基準距離として顕微鏡1に設定してもよい。このように、設定部402は、一定の時間間隔で並んだ複数の撮影タイミングのうちn番目の撮影タイミングで撮影を実行するときはn−1番目の撮影タイミングでの撮影において取得された複数の画像のうちで試料にピントが合っている画像に関連付けられている距離データが示す距離を基準距離として顕微鏡1に設定する。
設定部402は、さらに移動範囲指定部405や移動ピッチ決定部406、撮影回数指定部408などを有していてもよい。移動範囲指定部405は、各Zスタックにおける移動範囲の上限位置Zhiと下限位置Zloとを指定する機能である。基本的に、移動範囲指定部405は、基準位置Zrが移動範囲Wの中央となるように移動範囲Wの上限位置Zhiと下限位置Zloとを指定する。なお、移動範囲指定部405は、基準位置Zrに対して非対称となるように上限位置Zhiと下限位置Zloとを決定してもよい。また、移動範囲指定部405は、予め設定された最大範囲を超えないように上限位置Zhiと下限位置Zloとを指定してもよい。たとえば、最大範囲は、対物レンズが試料3を保持している容器に接触しないように決定される。データ保存部403には、対物レンズの倍率と関連付けて最大範囲Wmaxが保存されている。移動範囲指定部405は、制御パラメータにおいて設定されている倍率を特定し、特定した倍率に対応する最大範囲Wmaxをデータ保存部403から読み出してもよい。撮影回数指定部408は、1回の撮影タイミングで撮影する撮影回数(Zスタック数Nz)を顕微鏡1に指定する機能である。つまり、撮影回数指定部408は、各撮影タイミングで実行されるZスタックによって取得される画像の数であるZスタック数を指定するZスタック数指定手段として機能する。撮影回数指定部408は、操作部33からのユーザーの指示に応じてトータル撮影枚数Ntを指定してもよい。移動ピッチ決定部406は、移動範囲WとZスタック数Nzとに基づいて対物レンズの移動ピッチP(対物レンズユニット12の移動距離)を決定する機能である。撮影制御部401は、1回の撮影タイミング中において、移動ピッチPずつ対物レンズユニット12を移動させるたびに1回の撮影を顕微鏡1に実行させる。
図5は、タイムラプス撮影においてZスタックを実行する処理を示すフローチャートである。
S501で、設定部402は操作部33を通じてユーザーにより入力される指示にしたがって撮影の設定を行う。たとえば、ユーザーは、対物レンズの倍率、撮影に用いる検鏡法(明視野・暗視野・位相差・微分干渉・偏光・蛍光など)、撮影装置18の設定(露光時間、各撮影タイミングにおけるレイヤー画像間の撮影時間間隔(各撮影タイミングで1枚の画像だけを取得するときはこの間隔は無視される)、タイムラプス撮影時の撮影タイミング間の時間間隔)、撮影の実行されるXY位置(XYステージの座標など)、光源4や光源8の強度や絞りを設定し、撮影制御部401を通じて顕微鏡1に設定する。さらに、移動範囲指定部405は、Zスタックを実行する際のZステージの上限位置Zhiや下限位置Zloとその移動ピッチPを指定してもよい。撮影回数指定部408は、各撮影タイミングでの撮影回数(Zスタック数Nz)やタイムラプス撮影におけるトータル撮影回数Ntなどを指定してもよい。なお、各撮影タイミングにおいて複数のXY位置で撮影を実行する多点タイムラプス撮影や、異なる蛍光波長や検鏡法を用いて同一視野でかつ同一Z位置で複数枚の画像を取得するマルチカラー撮影、異なるXY視野を撮影して1枚の広視野画像を得る画像連結撮影も設定部402が顕微鏡1に設定してもよい。設定が完了するとS502に進む。
S502で、撮影制御部401は、顕微鏡1に撮影を開始させるための制御信号を送信する。顕微鏡1の制御部20は制御信号を受信すると、顕微鏡1の制御部20は撮影準備を実行する。たとえば、制御部20は、設定部402などにより設定された制御パラメータにしたがってXYステージ6を移動させたり、Zステージを移動させたり、対物レンズを選択したり、フィルタを選択したりする。
S503で、撮影制御部401は、次の撮影タイミングまで待機する。たとえば、撮影制御部401は、設定部402により設定された撮影開始時刻が到来したかどうかを、タイマーを用いて判定する。撮影タイミングが到来すると、S504に進む。
S504で、撮影制御部401は撮影タイミングが到来したことを示す制御信号を顕微鏡1の制御部20に送信し、Zスタックを開始させる。制御部20は、設定部402により設定された制御パラメータにしたがって光源8を制御して励起光の照射を開始させ、撮影装置18にZスタックを開始させる。光源8がメタルハライドランプや水銀といった点灯開始から光量が安定するまでに時間を要する光源であれば、制御部20は、予め光源8を点灯しておき、撮影タイミングが到来すると、光源8の光軸に設けられたメカシャッターを開いて励起光の照射を開始してもよい。なお、メカシャッターに代えて高速にON・OFF可能な光変調素子による遮光制御が採用されてもよい。光源8がLEDのように点灯直後から光量が安定している光源であれば、制御部20は、光源8への印加電圧の制御によって点灯・消灯を制御してもよい。制御部20は、設定部402により設定された移動開始位置から1ピッチずつZステージを移動させる。これにより、対物レンズと試料3との間の距離が1ピッチずつ変化する。また、制御部20は、Zステージを移動させるごとに撮影装置18に撮影を実行させる。制御部20またはCPU30は、撮影回数(撮影枚数)をカウントし、設定部402により設定されたZスタック数Nzにカウント値が一致したかどうかを判定する。これにより、1つの撮影タイミングにおけるZスタック画像の取得が完了したかどうかを判定してもよい。制御部20は、画像処理部19から出力されたZスタック画像に関する画像信号を、通信部23を通じて制御装置2に送信する。撮影制御部401は、顕微鏡1から受信したZスタック画像に関する画像信号(画像データ)を画像保存部407に保存する。Zスタック画像は複数の画像から構成されているが、1つの画像が取得されるたびに顕微鏡1から制御装置2に転送されてもよいし、複数の画像がまとめて顕微鏡1から制御装置2に転送されてもよい。
撮影制御部401は、Zスタック画像を構成する複数の画像をそれぞれ画像保存部407に保存する際に、各画像を撮影したときに使用された制御パラメータ(特にZ位置など)をメタデータとして各画像に付加してもよい。あるいは、撮影制御部401は、データベースを作成し、各画像のファイル名と制御パラメータとを関連付けてデータベースに登録してもよい。これにより画像とZ位置とが関連付けて管理される。
S505で、撮影制御部401は、タイムラプス撮影が完了したかどうかを判定する。たとえば、撮影制御部401は、タイムラプス撮影における撮影枚数をカウントして行き、カウント値がトータル撮影枚数Ntに達したかどうかを判定してもよい。タイムラプス撮影の終了時刻が予め設定されているときは、撮影制御部401がリアルタイムクロックを監視し、終了時刻が到来したかどうかを判定してもよい。タイムラプス撮影を終了すべき条件が満たされると、撮影制御部401は、タイムラプス撮影を終了する。一方で、タイムラプス撮影を終了すべき条件が満たされていなければ、S506に進む。
S506で、設定部402は、次回の撮影タイミングで使用されることになる設定を決定する。たとえば、合焦判定部404に今回の撮影タイミングで取得されたZスタック画像を構成する複数の画像のうちで試料3に対して最も合焦している画像を判別し、その画像を撮像したときの設定(特にZ位置など)をデータ保存部403に保存する。設定部402は、合焦判定部404に特定された画像に関連付けられている制御パラメータに基づき次回の撮影タイミングで使用される制御パラメータを決定する。
図6は、S506を詳細に示したフローチャートである。ここでは、n−1回目の撮影タイミングで取得されたZスタック画像からn回目の撮影で使用される制御パラメータが決定される。
S601で、合焦判定部404は、n−1回目の撮影タイミングで取得されたZスタック画像を構成する複数の画像のそれぞれについて合焦値を求める(nは2以上の自然数)。合焦値はどのように求められてもよいが、たとえば、画像のコントラストから計算されてもよい。あるいは、ラプラシアンフィルタやアンシャープマスクといった一般的な高周波フィルタを用いて合焦値が算出されてもよい。画像の分散値を合焦値としてもよい。たとえば、合焦判定部404は、画像を16個x16個の画素グループに区切って各画素グループの分散値を求めてその和(局所分散値)を計算し、その和を合焦値として使用してもよい。
S602で、合焦判定部404は、Zスタック画像を構成する各画像の合焦値を比較して最大値を決定し、合焦値が最大値となった画像を決定する。合焦値が最大値となった画像は、試料3に対して最もピントが合っている画像である。合焦判定部404は、試料3に対して最もピントが合っている画像の識別情報(例:ファイル名など)を設定部402に通知する。
S603で、設定部402は、試料3に対して最もピントが合っている画像を撮像したときのZ位置をn回目の撮影タイミングで使用されるZスタックの基準位置Zrに決定する。たとえば、設定部402は、試料3に対して最もピントが合っている画像のメタデータからZ位置を読み出し、読み出したZ位置を基準位置Zrに決定する。
S604で、設定部402は、基準位置Zrを基にn回目の撮影タイミングで使用されるZステージの上限位置Zhiと下限位置Zloとを決定する。上述したように基準位置を中心として上限位置Zhiと下限位置Zloとが設定されてもよい。また、合焦位置から上に観察対象が伸びているなど非対称な観察対象に対しては、基準位置Zrから上限位置Zhiまでの距離と基準位置Zrから下限位置Zloまでの距離とを非対称に設定してもよい。たとえば、ユーザーが基準位置Zrから上側で5枚の画像を取得し、基準位置Zrの下側で2枚の画像を取得するよう設定すると、設定部402は、基準位置Zrに対して5ピッチを加算したZ位置を上限位置Zhiに決定し、基準位置Zrに対して2ピッチを減算したZ位置を下限位置Zloに決定する。この場合に、基準位置Zrにおいても撮影が実行されてもよい。これにより、非対称なZスタック設定が実現される。
なお、上述したS501では、上限位置Zhiの初期値、下限位置Zhiの初期値、基準位置Zrの初期値および移動ピッチがユーザーによって指定されてもよい。初期値は1番目の撮影タイミングで使用される値である。
移動範囲指定部405は操作部33を通じたユーザーの指定よって事前に最大範囲Wmaxを設定してもよい。この場合、設定部402は、最大範囲Wmaxを逸脱しない範囲で上限位置Zhiと下限位置Zloを決定する。たとえば、設定部402は、上限位置が最大範囲Wmaxを逸脱する場合、上限位置を最大範囲Wmaxの端部に設定する。なお、設定部402は、上限位置Zhiをずらした分だけZステージの移動範囲Wを下限側にシフトしてもよいし、移動範囲Wを狭くしてもよい。移動範囲Wを狭くすることで、Zスタック画像を構成する画像の枚数が減少することになる。
S605で、設定部402は、決定した移動範囲W(上限位置Zhiと下限位置Zlo)を、撮影制御部401を通じて顕微鏡1に設定する。
なお、本実施形態の合焦判定部404はコントラスト値の最大値を基に合焦位置(基準位置)を決定したが、画像の平均輝度の最大値を基準に合焦位置を決定してもよい。合焦判定部404は、Zスタック画像を構成する複数の画像のうちでコントラスト値または平均輝度値がある一定値を上回る画像を決定してもよい。このような画像は、経験的に、試料3の存在する画像と考えられる。このような画像が複数存在する場合、設定部402は、各画像のZ位置をメタデータから読み出し、Z位置を比較し、上限となるZ位置、下限となるZ位置または中央となるZ位置を決定する。設定部402は、これらのZ位置を基準位置として使用する。上限となるZ位置、下限となるZ位置または中央となるZ位置のいずれを基準位置に設定するかは、試料3の特徴に依存するため、ユーザーがいずれかを選択または指定してもよい。
図7を用いて本実施形態で撮影されるZスタック画像の概要を説明する。ここでは、ユーザーにより、5枚の画像がZスタック画像として撮影されること、および、ピント追尾範囲の下限Zloと上限Zhiが設定されている。5枚の画像の各Z位置はZ1、Z2、Z3、Z4、Z5である。タイムラプス撮影の撮影タイミングは4回とする。
第1回目の撮影タイミング(T=0)ではZ1−Z5の各Z位置で順に撮影が事項される。合焦判定部404は、斜線で強調した画像を合焦位置の画像と判定したと仮定する。ここでは、Z4が第2回目の撮影タイミング(T=1)における基準位置として決定される。
第2回目の撮影タイミング(T=1)ではZ4を基準位置とし、ここを中心としてZステージの移動範囲が決定され、Zスタック画像が取得される。合焦判定部404は、Zスタック画像を解析し、Z位置がZ6に設定されていたときに取得された画像が最もピントが合っていると判定する。よって、設定部402は、Z6を第3回目の撮影タイミング(T=2)における基準位置として決定する。
第3回目の撮影タイミング(T=2)ではZ6を基準位置とし、ここを中心としてZステージの移動範囲を決定しようとするが、Z6が中心となるように移動範囲を決定すると、移動範囲の上限値が、ピント追尾範囲の上限Zhiを超えてしまう。そこで、設定部402は、移動範囲の上限値をピント追尾範囲の上限Zhiに設定することで、ピント追尾範囲を逸脱しないようにZスタックが実行される。本実施形態では、設定部402は、画像の撮影枚数とピッチを変更せずに、下側に移動範囲を拡張している。合焦判定部404は、Zスタック画像を解析し、Z位置がZ5に設定されていたときに取得された画像が最もピントが合っていると判定する。よって、設定部402は、Z5を第4回目の撮影タイミング(T=3)における基準位置として決定する。
第4回目の撮影タイミング(T=3)ではZ5を基準位置とし、ここを中心としてZステージの移動範囲が決定され、Zスタック画像が取得される。これにより、4回の撮影タイミングにより構成されたタイムラプス撮影が終了する。
なお、異なる複数の検鏡法で撮影するマルチカラー撮影の場合、Zスタック範囲(Zステージの移動範囲W)を各検鏡法で個別に設定することで基準位置を個別に追尾してもよい。あるいは、複数の検鏡法のうちでどれか一つの検鏡法で撮影した画像を用いて共通の基準位置と撮影範囲が決定されてもよい。
[撮影画像の編集・解析]
CPU30は、画像を編集したり解析したりする際に、撮影地点ごとや検鏡法ごと区別して読み込む。この区別を実現するには、たとえば、画像を保存するフォルダ構成やファイルの命名規則、画像ファイルリストデータベース等が使用されてもよい。Zスタック画像を構成している個々の画像はZ位置が異なる画像であり、3次元的に存在する画像と観念できる。そこで、CPU30は、Zスタック画像から3次元動画や全焦点動画を作成してもよいし、画像連結を用いて広視野3次元/全焦点動画を作成してもよい。また、CPU30は、3次元動画を作成する際に各画像のZ位置の変化を反映させ、3次元的に変化していく様を可視化してもよい。
CPU30は、あるZ位置の画像、たとえば基準位置の画像のみで動画を作成してもよい。さらに、CPU30は、基準位置以上または以下のZ位置で取得された画像であって基準位置から見てn枚上または下に存在する画像のみから動画を作成してもよい。これにより、ある合焦位置にのみ着目した動画を作成することができる。
CPU30は、座標A、B、Cの3点など多点で試料3を撮影して取得した画像について動画を作成してもよい。たとえば、CPU30は、A1→B1→C1→A2→B2→C2→A3→…という順で取得された静止画をA1,A2,A3,…と並び替えて動画を生成してもよい。この場合、A1→B1→C1→A2と座標を移動する際のXYステージの繰り返し精度によって微小に振動したような安定しない動画が生成されてしまうことがある。これを抑制するためには、A1,A2,A3間での微小なズレを画像間のパターンマッチングによって検出して位置合わせを行って動画を作成すればよい。
上述した実施形態ではZステージを移動させることで対物レンズと試料3との間の距離を変えているが、XYステージ6をZ軸方向に移動させることで対物レンズと試料3との間の距離を変えてもよい。前者の場合はZステージのZ位置が対物レンズと試料3との間の距離を示す距離データに相当し、後者の場合はXYステージ6のZ位置が対物レンズと試料3との間の距離を示す距離データに相当する。このように、対物レンズと試料3との間の距離は、対物レンズを移動するか試料3を移動することで、変更される。なお、上述したZ軸方向の基準位置は基準距離と呼ばれてもよい。
以上説明したように本実施形態の顕微鏡システム100は、顕微鏡1において対物レンズと試料3との間の距離を変えながら試料3を撮影して取得された複数の画像と、各画像を取得したときの対物レンズの光軸方向におけるZ位置を示す位置データとを関連付けて記憶する。顕微鏡システム100は、複数の画像のそれぞれにおいて試料3に対する合焦状態を示す合焦値を決定し、合焦値に基づき複数の画像から1つの画像を決定し、当該画像に関連付けられている位置データに基づき、試料3について再度撮影をする際の対物レンズの基準位置を決定する。そして、顕微鏡システム100は、基準位置を含む所定の移動範囲内で対物レンズを移動させることで対物レンズと試料3との間の距離を変えさせながら顕微鏡1に試料3を再度撮影させる。このように、本実施形態の顕微鏡システム100は、過去に取得した複数の画像から将来に取得することになる画像の制御パラメータを決定する。とりわけ、過去に取得した複数の画像の合焦値から将来の撮影における対物レンズの基準位置を決定することで、次回に撮影される複数の画像についても試料3に合焦している可能性が高まる。これは、対物レンズについてのオートフォーカスを不要にできるか、オートフォーカスを短時間で終了できることを間接的に意味している。その結果、試料3に対する照明光の照射時間も削減される。よって、試料3に対する光毒性の影響を低減しつつ、タイムラプス撮影の成功率も向上すると考えられる。
より具体的に、顕微鏡システム100は、タイムラプス撮影を実行するために一定時間ごとに到来する各撮影タイミングで顕微鏡1にZスタックを実行させてもよい。つまり、複数の画像はいわゆるZスタック画像であってもよい。顕微鏡システム100は、一定の時間間隔で並んだ複数の撮影タイミングのうちn番目の撮影タイミングでZスタックを実行するときはn−1番目の撮影タイミングで取得されたZスタック画像を構成する複数の画像のうちで試料3に対して最もピントが合っている画像に関連付けられている位置データが示す位置を基準位置として決定してもよい。Zスタック画像は一般に一定の移動ピッチずつZステージを移動させることで対物レンズと試料3との間の距離を変化させる。これは合焦位置を移動させることを間接的には意味している。このようなZスタックにおけるZステージの動作はフォーカス制御における動作と似ている。それゆえに、Zスタック画像には試料3に対して合焦している画像が含まれている可能性が高いため、その画像を取得したときのZ位置を次回のZスタックにおけるZステージの移動範囲の基準位置として利用できる。
顕微鏡システム100は、移動範囲の上限位置と下限位置とを指定してもよい。移動範囲をZスタックステージが機構的に移動可能な全範囲に指定してもよいが、これではZタック数が非常に多くなり、かつ、1回のZスタックに必要となる処理時間も膨大となってしまう。また、試料3が移動可能な全範囲にわたって移動することはほとんど考えられない。よって、全範囲よりも狭い範囲となるように移動範囲の上限位置と下限位置とを指定してもよい。これにより、Zタック数を削減でき、処理時間も短縮できるようになろう。とりわけ、試料3がn−1回目の撮影タイミングからn回目の撮影タイミングまでにZスタック軸方向においてどの程度にわたり移動するかは経験的な知識が必要となる。よって、ユーザーが経験的な知識に基づいて適切に移動範囲を設定すれば、より効率的にタイムラプス撮影を実行できるようになろう。
顕微鏡システム100は、基準位置が移動範囲の中央となるように移動範囲の上限位置と下限位置を設定してもよいし、基準位置に対して非対称となるように上限位置と下限位置を指定してもよい。試料3がZ軸方向において下方にも上方にもほぼ等しい確率で移動する場合は、基準位置が次回の移動範囲の中央に位置するように移動範囲の上限位置と下限位置を設定してもよい。また、試料3がZ軸方向において下方または上方の一方にのみ移動する確率が高ければ、試料3が移動する可能性のある方向のZ位置で多くの撮影が実行されるように、基準位置に対して非対称となるように上限位置と下限位置を指定してもよい。これにより、試料3にピントの合った画像を取得できる確率が高まるであろう。
上述したように、Zステージには機構的に移動可能な範囲が存在する。また、機構的に移動可能な範囲であってもあるZ位置よりもZステージが移動すると対物レンズが容器に接触してしまう可能性もある。よって、このような問題が生じないように予めZステージの移動する最大範囲を設定することが望ましい。そこで、顕微鏡システム100は、最大範囲を超えないように上限位置と下限位置を指定してもよい。
移動ピッチについては直接ユーザーによって指定されてもよいし、他の制御パラメータに基づいて決定されてもよい。たとえば、顕微鏡システム100は、各撮影タイミングで実行されるZスタックによって取得される画像の数であるZスタック数と、移動範囲とに基づいて対物レンズの移動ピッチを決定してもよい。移動ピッチに関しても専門的な知識がなくても、移動ピッチを設定できるようになる。
1番目の撮影タイミングで使用される基準位置と移動範囲は操作者によって指定されてもよい。本実施形態では、2番目の以降の撮影タイミングで使用される基準位置は、直前の撮影タイミングで取得された画像から基準位置を決定できる。これは、1番目の撮影タイミングで使用される基準位置については別の方法で決定できる必要がある。よって、1番目の撮影タイミングで使用される基準位置についてはユーザーが指定できるようにしてもよい。あるいは、1番目の撮影タイミングで使用される基準位置についてはオートフォーカスを実行して決定してもよい。つまり、オートフォーカスにより決定された合焦位置が移動範囲を決定する基準位置となる。この場合であってもタイムラプス撮影の全期間におけるオートフォーカスの実行時間は、各撮影タイミングのすべてでオートフォーカスを実行する場合と比較して、短縮される。
顕微鏡1は、蛍光試薬を添加された試料に対して励起光を照射し、試料3から発する蛍光を撮影する蛍光顕微鏡であってもよい。とりわけ、励起光は生物に対して有害となる波長の光であるため、本実施形態に係る発明は蛍光顕微鏡において有効であろう。もちろん、通常の顕微鏡であっても照明光によって標本の退色などが発生することがあるため、やはり照明光の照射時間を短縮可能な本実施形態は有効である。

Claims (13)

  1. 顕微鏡を制御する制御装置であって、
    前記顕微鏡において対物レンズと試料との間の距離を変えながら当該試料を撮影して取得された複数の画像と、各画像を取得したときの前記対物レンズの光軸方向における位置を示す位置データとを関連付けて記憶する記憶手段と、
    前記複数の画像のそれぞれにおいて前記試料に対する合焦状態を示す合焦値を決定する合焦値決定手段と、
    前記合焦値に基づき前記複数の画像から1つの画像を決定し、当該画像に関連付けられている位置データに基づき、前記試料について再度撮影をする際の前記対物レンズの基準位置を決定する決定手段と、
    前記基準位置を含む所定の移動範囲内で前記対物レンズを移動させることで前記対物レンズと前記試料との間の距離を変えさせながら前記顕微鏡に前記試料を撮影させる撮影制御手段と
    を有することを特徴とする制御装置。
  2. 前記撮影制御手段は、タイムラプス撮影を実行するために一定時間ごとに到来する各撮影タイミングで前記顕微鏡にZスタックを実行させ、
    前記決定手段は、前記一定の時間間隔で並んだ複数の撮影タイミングのうちn番目の撮影タイミングで前記Zスタックを実行するときはn−1番目の撮影タイミングで取得されたZスタック画像を構成する複数の画像のうちで前記試料に対して最もピントが合っている画像に関連付けられている位置データが示す位置を基準位置として決定することを特徴とする請求項1に記載の制御装置。
  3. 前記移動範囲の上限位置と下限位置とを指定する範囲指定手段をさらに有することを特徴とする請求項1または2に記載の制御装置。
  4. 前記範囲指定手段は、前記基準位置が前記移動範囲の中央となるように当該移動範囲の上限位置と下限位置とを指定することを特徴とする請求項3に記載の制御装置。
  5. 前記範囲指定手段は、前記基準位置に対して非対称となるように前記上限位置と前記下限位置とを指定することを特徴とする請求項3に記載の制御装置。
  6. 前記範囲指定手段は、予め設定された最大範囲を超えないように前記上限位置と前記下限位置を指定することを特徴とする請求項3ないし5のいずれか1項に記載の制御装置。
  7. 各撮影タイミングで実行されるZスタックによって取得される画像の数であるZスタック数を指定するZスタック数指定手段と、
    前記移動範囲と前記Zスタック数とに基づいて前記対物レンズの移動ピッチを決定する移動ピッチ決定手段と
    をさらに有し、
    前記撮影制御手段は、1回の撮影タイミング中において、前記移動ピッチずつ前記対物レンズを移動させるたびに1回の撮影を前記顕微鏡に実行させることを特徴とする請求項1ないし6のいずれか1項に記載の制御装置。
  8. 1番目の撮影タイミングで使用される基準位置と前記移動範囲は操作者によって指定されることを特徴とする請求項1ないし7のいずれか1項に記載の制御装置。
  9. 前記顕微鏡は、蛍光試薬を添加された前記試料に対して励起光を照射し、前記試料から発する蛍光を撮影する蛍光顕微鏡であることを特徴とする請求項1ないし8のいずれか1項に記載の制御装置。
  10. 顕微鏡と、当該顕微鏡を制御する制御装置とを有する顕微鏡システムであって、
    前記顕微鏡は、
    試料が載置される載置手段と、
    対物レンズと、
    前記対物レンズを移動させて前記対物レンズと前記試料との間の距離を変更する移動手段と、
    前記試料からの光を結像する結像レンズと、
    前記試料からの光が結像される撮影手段と
    を有し、
    前記制御装置は、
    顕微鏡において対物レンズと試料との間の距離を変えながら当該試料を撮影して取得された複数の画像と、各画像を取得したときの前記対物レンズの光軸方向における位置を示す位置データとを関連付けて記憶する記憶手段と、
    前記複数の画像のそれぞれにおいて前記試料に対する合焦状態を示す合焦値を決定する合焦値決定手段と、
    前記合焦値に基づき前記複数の画像から1つの画像を決定し、当該画像に関連付けられている位置データに基づき、前記試料について再度撮影をする際の前記対物レンズの基準位置を決定する決定手段と、
    前記基準位置を含む所定の移動範囲内で前記対物レンズを移動させることで前記対物レンズと前記試料との間の距離を変えさせながら前記顕微鏡に前記試料を撮影させる撮影制御手段と
    を有することを特徴とする顕微鏡システム。
  11. 顕微鏡を制御するコンピュータを、
    顕微鏡において対物レンズと試料との間の距離を変えながら当該試料を撮影して取得された複数の画像と、各画像を取得したときの前記対物レンズの光軸方向における位置を示す位置データとを関連付けて記憶する記憶手段と、
    前記複数の画像のそれぞれにおいて前記試料に対する合焦状態を示す合焦値を決定する合焦値決定手段と、
    前記合焦値に基づき前記複数の画像から1つの画像を決定し、当該画像に関連付けられている位置データに基づき、前記試料について再度撮影をする際の前記対物レンズの基準位置を決定する決定手段と、
    前記基準位置を含む所定の移動範囲内で前記対物レンズを移動させることで前記対物レンズと前記試料との間の距離を変えさせながら前記顕微鏡に前記試料を撮影させる撮影制御手段として機能させるプログラム。
  12. 顕微鏡を制御する制御方法であって、
    前記顕微鏡において対物レンズと試料との間の距離を変えながら当該試料を撮影して取得された複数の画像と、各画像を取得したときの前記対物レンズの光軸方向における位置を示す位置データとを関連付けて記憶手段に記憶する記憶工程と、
    前記複数の画像のそれぞれにおいて前記試料に対する合焦状態を示す合焦値を決定する合焦値決定工程と、
    前記合焦値に基づき前記複数の画像から1つの画像を決定し、当該画像に関連付けられている位置データに基づき、前記試料について再度撮影をする際の前記対物レンズの基準位置を決定する決定工程と、
    前記基準位置を含む所定の移動範囲内で前記対物レンズを移動させることで前記対物レンズと前記試料との間の距離を変えさせながら前記顕微鏡に前記試料を撮影させる撮影制御工程と
    を有することを特徴とする制御方法。
  13. 顕微鏡を制御する制御装置であって、
    顕微鏡において対物レンズと試料との間の距離を変えながら撮影された複数の画像と、各画像を撮影したときの前記対物レンズと前記試料との間の距離を示す距離データとを関連付けて記憶する記憶手段と、
    前記複数の画像のそれぞれにおいて前記試料にピントが合っているかどうかを判定する合焦判定手段と、
    前記試料について再度撮影をする際に、前記試料に対して最もピントが合っている画像に関連付けられている距離データが示す距離を基準距離として前記顕微鏡に設定する設定手段と、
    前記基準距離を含む所定範囲内で前記対物レンズと前記試料との間の距離を変えさせながら前記顕微鏡に前記試料を撮影させる撮影制御手段と
    を有することを特徴とする制御装置。
JP2013221497A 2013-10-24 2013-10-24 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム Active JP6327829B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013221497A JP6327829B2 (ja) 2013-10-24 2013-10-24 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013221497A JP6327829B2 (ja) 2013-10-24 2013-10-24 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2015082096A true JP2015082096A (ja) 2015-04-27
JP6327829B2 JP6327829B2 (ja) 2018-05-23

Family

ID=53012694

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013221497A Active JP6327829B2 (ja) 2013-10-24 2013-10-24 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6327829B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106019557A (zh) * 2016-08-17 2016-10-12 珠海科域生物工程有限公司 一种显微镜镜检的多层拍摄方法与拍摄系统
EP3208771A1 (en) 2016-02-16 2017-08-23 SCREEN Holdings Co., Ltd. Apparatus for and method of observing cells
JP2017156443A (ja) * 2016-02-29 2017-09-07 富士フイルム株式会社 細胞観察装置および方法
JP2018087708A (ja) * 2016-11-28 2018-06-07 アンリツ株式会社 端面検査装置とその合焦画像データ取得方法
US10341550B2 (en) 2016-11-28 2019-07-02 Anritsu Corporation End face inspection apparatus and focused image data acquisition method
JP7415216B1 (ja) 2023-09-11 2024-01-17 ダイトロン株式会社 外観検査装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331887A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP2007101578A (ja) * 2005-09-30 2007-04-19 Olympus Corp 顕微鏡のフォーカス維持装置及び顕微鏡装置
JP2007148221A (ja) * 2005-11-30 2007-06-14 Nikon Corp 間欠撮影装置
JP2012159854A (ja) * 2012-04-04 2012-08-23 Olympus Corp 倒立顕微鏡システム
JP2013061433A (ja) * 2011-09-12 2013-04-04 Olympus Corp タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005331887A (ja) * 2004-05-21 2005-12-02 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡装置を使用した表示方法、蛍光顕微鏡画像表示プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
JP2007101578A (ja) * 2005-09-30 2007-04-19 Olympus Corp 顕微鏡のフォーカス維持装置及び顕微鏡装置
JP2007148221A (ja) * 2005-11-30 2007-06-14 Nikon Corp 間欠撮影装置
JP2013061433A (ja) * 2011-09-12 2013-04-04 Olympus Corp タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
JP2012159854A (ja) * 2012-04-04 2012-08-23 Olympus Corp 倒立顕微鏡システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3208771A1 (en) 2016-02-16 2017-08-23 SCREEN Holdings Co., Ltd. Apparatus for and method of observing cells
US10110798B2 (en) 2016-02-16 2018-10-23 SCREEN Holdings Co., Ltd. Apparatus for and method of observing cells
JP2017156443A (ja) * 2016-02-29 2017-09-07 富士フイルム株式会社 細胞観察装置および方法
WO2017149880A1 (ja) * 2016-02-29 2017-09-08 富士フイルム株式会社 細胞観察装置および方法
US11061214B2 (en) 2016-02-29 2021-07-13 Fujifilm Corporation Cell observation apparatus and method
CN106019557A (zh) * 2016-08-17 2016-10-12 珠海科域生物工程有限公司 一种显微镜镜检的多层拍摄方法与拍摄系统
JP2018087708A (ja) * 2016-11-28 2018-06-07 アンリツ株式会社 端面検査装置とその合焦画像データ取得方法
US10341550B2 (en) 2016-11-28 2019-07-02 Anritsu Corporation End face inspection apparatus and focused image data acquisition method
JP7415216B1 (ja) 2023-09-11 2024-01-17 ダイトロン株式会社 外観検査装置

Also Published As

Publication number Publication date
JP6327829B2 (ja) 2018-05-23

Similar Documents

Publication Publication Date Title
JP6327829B2 (ja) 顕微鏡の制御装置、顕微鏡システム、制御方法およびプログラム
JP6158197B2 (ja) 自動化された顕微鏡使用のための多関数型自動焦点システムおよび方法
US9810895B2 (en) Biological observation apparatus
JP5157901B2 (ja) 観察装置
JP4973162B2 (ja) 画像処理装置、画像処理プログラム及び観察システム
JP5863357B2 (ja) 拡大観察装置、並びに、拡大観察装置の画像表示方法及び検鏡法切換方法
JP5814709B2 (ja) タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置
JP6143098B2 (ja) 対物レンズの駆動制御方法及び蛍光顕微鏡システム
JP6157155B2 (ja) 顕微鏡システム、駆動方法およびプログラム
JP2007286310A (ja) 光学装置及び結像方法
JP6246551B2 (ja) 制御装置、顕微鏡システム、制御方法およびプログラム
JP6253509B2 (ja) 画像表示方法、制御装置、顕微鏡システム
JP2012159854A (ja) 倒立顕微鏡システム
JP2012163767A (ja) 制御プログラム、制御プログラムを記録した媒体、顕微鏡システム
JP2008102535A (ja) 実体顕微鏡
JP7082482B2 (ja) ディスク走査型顕微鏡システム、プログラム
JP6378869B2 (ja) 顕微鏡、顕微鏡システム、制御方法およびプログラム
JP2014178403A (ja) デジタル顕微鏡装置、情報処理方法、および情報処理プログラム
JP2007102102A (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
JP5278489B2 (ja) 顕微鏡、顕微鏡の焦点調節制御方法
JP2007328135A (ja) 観察装置、および観察プログラム
JP2010091739A (ja) 自動焦点合焦装置を備えた画像撮像装置
US20220252856A1 (en) Method and device for determining the optimal position of the focal plane for examining a specimen by microscopy
JP2018101092A (ja) ライトフィールド顕微鏡
JP2015082101A (ja) 顕微鏡、制御装置、顕微鏡システムおよび制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180417

R150 Certificate of patent or registration of utility model

Ref document number: 6327829

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250