JP2021101241A - 画像取得装置、画像取得方法、及び画像取得プログラム - Google Patents

画像取得装置、画像取得方法、及び画像取得プログラム Download PDF

Info

Publication number
JP2021101241A
JP2021101241A JP2021025399A JP2021025399A JP2021101241A JP 2021101241 A JP2021101241 A JP 2021101241A JP 2021025399 A JP2021025399 A JP 2021025399A JP 2021025399 A JP2021025399 A JP 2021025399A JP 2021101241 A JP2021101241 A JP 2021101241A
Authority
JP
Japan
Prior art keywords
image
lane
tile
images
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021025399A
Other languages
English (en)
Other versions
JP7093435B2 (ja
Inventor
高橋 聡
Satoshi Takahashi
聡 高橋
孝之 河島
Takayuki Kawashima
孝之 河島
仁一 須々木
Jinichi SUSUKI
仁一 須々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hamamatsu Photonics KK
Original Assignee
Hamamatsu Photonics KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hamamatsu Photonics KK filed Critical Hamamatsu Photonics KK
Priority to JP2021025399A priority Critical patent/JP7093435B2/ja
Publication of JP2021101241A publication Critical patent/JP2021101241A/ja
Application granted granted Critical
Publication of JP7093435B2 publication Critical patent/JP7093435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Abstract

【課題】観察画像におけるタイル画像の欠落を防止できる画像取得装置及び画像取得方法を提供する。【解決手段】画像取得装置1では、試料Sの光像をレーンスキャンによって撮像するにあたり、一のレーンで取得したタイル画像列Rに含まれるタイル画像Tの画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。そして、画像数が取得予定数に達していないと判別された場合に、そのレーンに対するレーンスキャンを再実行する。したがって、環境負荷に起因してタイル画像Tの欠落が生じたとしても、レーンスキャンの再実行によってタイル画像Tが補完され、観察画像におけるタイル画像Tの欠落を防止できる。【選択図】図1

Description

本開示は、画像取得装置及び画像取得方法に関する。
組織細胞などの試料の静止画像を取得するための画像取得装置において、試料が撮像素子の撮像視野に対して大きい場合、例えば試料が保持されたステージを対物レンズに対して移動させながら試料の部分画像を順次取得し、その後に部分画像を合成することで試料の全体画像を取得する。このような画像取得装置では、例えばタイリングスキャン方式と呼ばれる画像取得方法が用いられている。タイリングスキャン方式では、試料の所定領域が対物レンズの視野に含まれるようにステージを移動させ、エリアセンサなどの二次元撮像素子を用いてタイル画像(試料の部分画像)を取得する。以降、同様の動作を繰り返し実行することで複数のタイル画像列からなる観察画像(試料の全体画像)を取得する(例えば特許文献1,2参照)。
特開2015−087723号公報 特開2015−087719号公報
タイリングスキャン方式を採用した画像取得装置では、リニアエンコーダ等の位置検出部を用いて試料が保持されたステージの位置をモニタリングし、試料が目標位置に到達したタイミングで試料の光像の撮像を実行する。しかしながら、スキャンの実行時に外部からの振動、静電気、温度といった環境負荷が画像取得装置に加わると、位置検出部に誤動作が生じることが考えられる。位置検出部に誤動作が生じると、二次元撮像素子が目標位置での撮像をスキップし、観察画像を構成するタイル画像が欠落してしまうおそれがある。
本開示は、上記課題の解決のためになされたものであり、観察画像におけるタイル画像の欠落を防止できる画像取得装置及び画像取得方法を提供することを目的とする。
本開示の一側面に係る画像取得装置は、試料が保持されるステージと、瞬間光を出射する光出射部と、ステージ上の試料と対峙するように配置された対物レンズを含む導光光学系と、試料を対物レンズの光軸に交差するスキャン方向に所定速度で移動させる駆動部と、光出射部及び駆動部との協働により、導光光学系で導光された試料の光像をレーンスキャンによって撮像し、複数のタイル画像列からなる観察画像データを取得する二次元撮像素子と、光出射部、駆動部、及び二次元撮像素子によるレーンスキャンの実行を制御する制御部と、一のレーンで取得したタイル画像列に含まれるタイル画像の画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する判別部と、を備え、制御部は、判別部によって画像数が取得予定数に達していないと判別された場合に、一のレーンに対するレーンスキャンを再実行する。
この画像取得装置では、試料の光像をレーンスキャンによって撮像するにあたり、一のレーンで取得したタイル画像列に含まれるタイル画像の画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。そして、画像数が取得予定数に達していないと判別された場合に、そのレーンに対するレーンスキャンを再実行する。したがって、環境負荷に起因してタイル画像の欠落が生じたとしても、レーンスキャンの再実行によってタイル画像が補完され、観察画像におけるタイル画像の欠落を防止できる。
また、制御部は、レーンスキャンを再実行する際、ステージの移動速度を所定速度よりも遅い速度に設定してもよい。これにより、レーンスキャンの再実行時にタイル画像の欠落が生じることを抑制できる。
また、画像取得装置は、ステージの位置を検出する位置検出部を更に備え、制御部は、位置検出部によって生成されたステージの位置情報に基づいて、二次元撮像素子による撮像と光出射部による瞬間光の出射とを同期させてもよい。これにより、試料の目標位置でのタイル画像の取得を好適に実行できる。
また、判別部は、一のレーンにおける撮像の完了毎にタイル画像列に含まれるタイル画像の画像数をカウントしてもよい。この場合、タイル画像の補完の要否を各タイル画像列の取得時に判断するので、レーンスキャンの完了と同時にタイル画像の欠落の無い観察画像を得ることができる。
また、判別部は、全てのレーンにおける撮像の完了後に各タイル画像列に含まれるタイル画像の画像数をカウントしてもよい。この場合、タイル画像の補完の要否を全てのタイル画像列の取得後に判断するので、タイル画像の欠落が無かった場合には、観察画像を得るまでの時間を短縮できる。
また、本発明の一側面に係る画像取得方法は、対物レンズの視野位置がレーンスキャンの開始位置に位置するように、試料が保持されるステージを対物レンズに対して位置合わせする位置合わせステップと、ステージをレーンスキャンのスキャン方向に所定速度で移動させながら、瞬間光の照射に同期して試料の光像を二次元撮像素子によって撮像し、複数のタイル画像列からなる観察画像データを取得する撮像ステップと、一のレーンで取得したタイル画像列に含まれるタイル画像の画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する判別ステップと、判別ステップにおいて画像数が前記取得予定数に達していないと判別された場合に、一のレーンに対するレーンスキャンを再実行する再実行ステップを含む。
この画像取得方法では、試料の光像をレーンスキャンによって撮像するにあたり、一のレーンで取得したタイル画像列に含まれるタイル画像の画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。そして、画像数が取得予定数に達していないと判別された場合に、そのレーンに対するレーンスキャンを再実行する。したがって、環境負荷に起因してタイル画像の欠落が生じたとしても、レーンスキャンの再実行によってタイル画像が補完され、観察画像におけるタイル画像の欠落を防止できる。
また、再実行ステップでは、ステージの移動速度を所定速度よりも遅い速度に設定してもよい。これにより、レーンスキャンの再実行時にタイル画像の欠落が生じることを抑制できる。
また、画像取得方法は、ステージの位置を検出する位置検出ステップを更に備え、撮像ステップでは、位置検出ステップによって生成されたステージの位置情報に基づいて、二次元撮像素子による撮像と瞬間光の出射とを同期させてもよい。これにより、試料の目標位置でのタイル画像の取得を好適に実行できる。
また、判別ステップでは、一のレーンにおける撮像の完了毎に当該タイル画像列に含まれるタイル画像の画像数をカウントしてもよい。この場合、タイル画像の補完の要否を各タイル画像列の取得時に判断するので、レーンスキャンの完了と同時にタイル画像の欠落の無い観察画像を得ることができる。
また、判別ステップでは、全てのレーンにおける撮像の完了後に各タイル画像列に含まれるタイル画像の画像数をカウントしてもよい。この場合、タイル画像の補完の要否を全てのタイル画像列の取得後に判断するので、タイル画像の欠落が無かった場合には、観察画像を得るまでの時間を短縮できる。
この画像取得装置及び画像取得方法によれば、観察画像におけるタイル画像の欠落を防止できる。
画像取得装置の一実施形態を示す図である。 画像取得装置を構成する撮像素子の受光面を示す図である。 コンピュータの機能的な構成要素を示すブロック図である。 試料に対するマクロ画像の一例を示す図である。 試料に対する画像取得領域の一例を示す図である。 撮像素子における露光期間及び読み出し期間と瞬間光の照射との関係の一例を示す図である。 画像取得方法の一例を示すフローチャートである。 レーンスキャンの一例を示すフローチャートである。 画像取得方法の別例を示すフローチャートである。
以下、図面を参照しながら、本開示の一側面に係る画像取得装置及び画像取得方法の好適な実施形態について詳細に説明する。
図1は、画像取得装置の一実施形態を示す図である。同図に示すように、画像取得装置1は、試料Sが保持されるステージ2と、試料Sに向けて瞬間光Lを照射する光源3(光出射部)と、ステージ2上の試料Sと対峙するように配置された対物レンズ25を含む導光光学系5と、導光光学系5によって導光された試料Sの光像を撮像する二次元撮像素子6とを備えている。
また、画像取得装置1は、試料Sに対する対物レンズ25の焦点位置を変更させる対物レンズ駆動部11と、試料Sを対物レンズ25の光軸に交差する方向(スキャン方向)に所定速度で移動させるステージ駆動部(駆動部)12と、ステージ2の位置を検出する位置検出部13と、画像取得装置1の動作を統括するコンピュータ14とを備えている。
画像取得装置1で観察する試料Sは、例えば組織細胞などの生体サンプルであり、例えばスライドガラスに密封された状態でステージ2に載置される。光源3は、ステージ2の底面側に配置されている。光源3としては、例えばレーザダイオード(LD)、発光ダイオード(LED)、スーパールミネッセントダイオード(SLD)、キセノンフラッシュランプといったフラッシュランプ方式光源などが用いられる。光源3の動作は、後述する光源制御部101Aによって制御される。
導光光学系5は、光源3とステージ2との間に配置される照明光学系21と、ステージ2と二次元撮像素子6との間に配置される顕微鏡光学系22とによって構成されている。照明光学系21は、例えば集光レンズ23と投影レンズ24とによって構成されるケーラー照明光学系を有し、光源3からの光を導光して試料Sに均一な光を照射するようになっている。
一方、顕微鏡光学系22は、対物レンズ25と、対物レンズ25の後段側(二次元撮像素子6側)に配置された結像レンズ26とを有し、試料Sの光像を二次元撮像素子6に導光する。なお、試料Sの光像とは、明視野照明の場合は透過光による像、暗視野照明の場合は散乱光による像、発光観察(蛍光観察)の場合は発光(蛍光)による像である。また、試料Sからの反射光による像であってもよい。これらの場合、導光光学系5として、試料Sの透過光画像、散乱光画像、及び発光(蛍光)画像の画像取得に対応した光学系を採用することができる。
二次元撮像素子6は、複数の画素列を有する撮像素子である。二次元撮像素子6としては、例えばCCDイメージセンサやCMOSイメージセンサが挙げられる。二次元撮像素子6の受光面6aには、図2に示すように、例えば複数の画素が一次元に配置されてなる画素列31(第1の画素列31、第2の画素列31、第3の画素列31、…、第M−2の画素列31M−2、第M−1の画素列31M−1、第Mの画素列31)が互いに平行になるようにM列配列されている。二次元撮像素子6は、コンピュータ14から出力されるトリガ信号の入力に基づいて、導光光学系5によって導光された試料Sの光像を所定のフレームレートで順次撮像し、撮像によって取得した画像データ(後述するタイル画像T)をコンピュータ14に出力する。なお、トリガ信号は、ステージ駆動部12或いは位置検出部13から出力されてもよい。
対物レンズ駆動部11は、例えばステッピングモータ(パルスモータ)といったモータやピエゾアクチュエータといったアクチュエータによって構成されている。対物レンズ駆動部11は、後述する対物レンズ制御部101Bによる制御に基づき、対物レンズ25を対物レンズ25の光軸に沿ったZ方向に駆動する。これにより、試料Sに対する対物レンズ25の焦点位置が移動する。
ステージ駆動部12は、例えばステッピングモータ(パルスモータ)といったモータやピエゾアクチュエータといったアクチュエータによって構成されている。ステージ駆動部12は、後述するステージ制御部101Cによる制御に基づき、ステージ2を対物レンズ25の光軸の直交面に対して所定の角度(例えば90度)を有する面についてXY方向に駆動する。これにより、ステージ2に保持された試料Sが対物レンズの光軸に対して移動し、試料Sに対する対物レンズ25の視野位置が移動することとなる。
また、位置検出部13は、例えばステージ2に取り付けられたリニアエンコーダによって構成されている。位置検出部13は、ステージ2のXY座標を検出する。位置検出部13は、検出結果を示す位置情報を生成し、コンピュータ14に出力する。
コンピュータ14は、物理的には、RAM、ROM等のメモリ、及びCPU等のプロセッサ(演算回路)、通信インターフェイス、ハードディスク等の格納部、ディスプレイ等の表示部を備えて構成されている。かかるコンピュータ14としては、例えばパーソナルコンピュータ、マイクロコンピュータ、クラウドサーバ、スマートデバイス(スマートフォン、タブレット端末など)などが挙げられる。
コンピュータ14は、メモリに格納されるプログラムをコンピュータシステムのCPUで実行することにより、図3に示すように、画像取得装置1の動作を制御する制御部101、二次元撮像素子6で撮像した画像データの処理を実行する画像処理部102、二次元撮像素子6で撮像した画像データの状態を判別する判別部103として機能する。また、コンピュータ14は、画像データ等の各種情報を記憶する記憶部104を有している。なお、コンピュータ14は、複数のコンピュータによって構成されてもよく、例えば、一のコンピュータで制御部101の機能を実行し、別のコンピュータによって、他の機能を実行してもよい。
制御部101は、より具体的には、光源3の動作を制御する光源制御部101Aと、対物レンズ駆動部11の動作を制御する対物レンズ制御部101Bと、ステージ駆動部12の動作を制御するステージ制御部101Cとによって構成されている。制御部101は、光源制御部101A、対物レンズ制御部101B、及びステージ制御部101Cにより、光源3、ステージ駆動部12、及び二次元撮像素子6によるレーンスキャンの実行を制御する。以下、レーンスキャンについて説明する。
画像取得装置1では、例えば20倍や40倍といった高倍率で試料Sの撮像が行われる。このため、対物レンズ25の視野は、試料Sに対して小さく、一回の撮像で画像を取得できる領域も試料Sに対して小さくなる。したがって、試料Sの全体を撮像するためには、対物レンズ25の視野を試料Sに対して移動させる必要がある。そこで、画像取得装置1では、試料Sを保持するスライドガラスに対して試料Sを含むように画像取得領域が設定され、画像取得領域に対するレーンスキャンが実行される。
本実施形態におけるレーンスキャンでは、事前設定として、図4に示すように、予めスライドガラス全体のマクロ画像をマクロ画像取得装置(不図示)で取得し、取得したマクロ画像に基づいて試料Sに対する画像取得領域32を設定する。画像取得領域32の設定の際には、マクロ画像における試料Sの範囲の特定を容易化するため、マクロ画像の二値化を行うことが好適である。画像取得領域32の設定の後、フォーカスマップの作成のため、画像取得領域32における焦点計測位置を設定する。
図4に示す例では、画像取得領域32がマトリクス状に9分割され、各分割領域33の中央に焦点計測位置Pが設定されている。また、分割領域33の中央が試料Sから外れている場合には、ユーザによる手動の設定などにより、試料Sが位置する任意の位置に焦点計測位置Pが設定される。次に、スライドガラスをミクロ画像取得装置である画像取得装置1にセットし、各焦点計測位置P上に対物レンズ25が位置するようにステージ2を移動させる。そして、各焦点計測位置Pにおいて対物レンズ25をZ方向に駆動させながら分割領域33における複数の二次元画像を取得し、取得した二次元画像のコントラストに基づいて合焦点位置を決定する。各焦点計測位置Pにおいてそれぞれ決定された合焦点位置に最小二乗法を適用し、試料Sのフォーカスマップを作成する。
フォーカスマップの作成後、画像取得領域32における撮像位置を設定する。対物レンズ25の試料S上の視野Fは、使用する対物レンズ25の倍率等によって予め定まる。このため、設定された画像取得領域32に対して視野Fの大きさを割り当てることで、画像取得領域32に複数の撮像位置34がマトリクス状に設定される。図5に示す例では、画像取得領域32には、Y方向に第1〜第nまでの複数のレーンが設定され、各レーンには、X方向(スキャン方向)に第1〜第mまでの複数の撮像位置34が設定されている。各撮像位置34のXY座標、及びフォーカスマップから求まる撮像位置34のZ座標は、各レーンにおける撮像位置34の数と共に記憶部104に記憶される。
レーンスキャンでは、ステージ2をXY方向に移動させながら、瞬間光Lによって試料Sの一部をストロボ撮影する。ステージ2がXステージ及びYステージを組み合わせて構成される場合、ステージ2のX軸とY軸とが完全に直交せず、各レーンにおける撮像位置34のY座標が一致しないことが考えられる。したがって、撮像位置34の設定の際には、上述したように撮像位置34のY座標を含めることが好適である。ステージ2のX軸とY軸との間の直交からのずれが無視できる程度に小さい場合には、処理の簡単化のため、撮像位置34のXZ座標のみを記憶部104に記憶してもよい。
画像取得装置1は、撮像位置34に対応する試料Sの一部を二次元撮像素子6によって撮像することで、撮像位置34に対応するタイル画像Tをそれぞれ取得する。対物レンズ25の視野Fが次に撮像する撮像位置34に移動した後、再び撮像を行って次のタイル画像Tを取得する。以降、画像取得装置1では、レーン毎に撮像位置34を順次撮像する動作が繰り返し実行され、複数のタイル画像列Rからなる画像データの取得が行われる。
ステージ制御部101Cによる対物レンズ25の視野位置の移動方式は、例えば図5に示すように、各レーンでスキャン方向が同方向となる一方向スキャン(Uni-directional scanning)が採用される。対物レンズ25の視野位置の移動方式は、一方向スキャンに限られず、隣り合うレーン間でスキャン方向が反転する双方向スキャン(Bi-directional scanning)を採用してもよい。また、光源制御部101Aは、光源3から瞬間光Lを照射させる。本実施形態では、図6に示すように、二次元撮像素子6が露光と読み出しとを交互に実行し、画素列31(第1の画素列31、第2の画素列31、第3の画素列31…第Mの画素列31)の露光期間中にトリガ信号が光源制御部101Aに出力される。光源制御部101Aは、トリガ信号に基づいて光源3から瞬間光Lを照射させる。
二次元撮像素子6の読み出し方式は、各画素列31の露光期間が一致するグローバルシャッタ方式であってもよく、各画素列31の露光期間が所定時間ずつずれるローリングシャッタ方式であってもよい。トリガ信号は、例えば位置検出部13によって検出されたステージ2の位置情報に基づいて、ステージ2の駆動によって対物レンズ25の視野Fが撮像対象となる撮像位置34に移動したときに制御部101から二次元撮像素子6及び光源制御部101Aに出力される。また、ステージ駆動部12を制御するためのクロック数を制御部101でカウントし、所定のカウント数に達したときに制御部101から二次元撮像素子6及び光源制御部101Aにトリガ信号が出力されてもよい。なお、瞬間光Lとローリングシャッタ方式とを組み合わせる場合には、画素列31の全てが露光しているときに瞬間光Lを出力する必要がある。したがって、ステージ2の駆動によって対物レンズ25の視野Fが撮像対象となる撮像位置34に移動する際に瞬間光Lが出力されるように、光源制御部101Aにトリガ信号を出力すればよい。
画像処理部102は、二次元撮像素子6から出力される画像データの処理を実行する。画像処理部102は、二次元撮像素子6から出力されるタイル画像Tを受け取り、各レーンで取得したタイル画像列Rを合成することにより試料S全体の観察画像データを生成する。観察画像データの生成にあたっては、例えば位置検出部13から出力される位置情報に基づいて、隣接するタイル画像T,Tの一部同士を重畳するようにしてもよい。
判別部103は、一のレーンで取得したタイル画像列Rに含まれるタイル画像Tの画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。図5に示した例では、各レーンにおける撮像位置34の数はm個であり、タイル画像列Rは、m個のタイル画像Tによって構成されている。したがって、判別部103は、記憶部104を参照し、一のレーンで取得したタイル画像列Rに含まれるタイル画像Tがm個である場合には、タイル画像Tの画像数が予め設定された取得予定数に達していると判断し、タイル画像Tがm個未満である場合には、タイル画像Tの画像数が予め設定された取得予定数に達していないと判断する。判別部103は、一のレーンにおける撮像の完了毎に当該タイル画像列Rに含まれるタイル画像Tの画像数をカウントしてもよく、全てのレーンにおける撮像の完了後に各タイル画像列Rに含まれるタイル画像の画像数をカウントしてもよい。
判別部103は、一のレーンにおけるタイル画像列Rの画像数が予め設定された取得予定数に達していないと判断した場合、そのレーンに対するレーンスキャンの再実行を指示する旨の指示情報を制御部101に出力する。指示情報を受け取った制御部101は、タイル画像Tの画像数が予め設定された取得予定数に達していないと判断されたレーンについて、光源3、ステージ駆動部12、及び二次元撮像素子6によるレーンスキャンを再実行する。制御部101は、レーンスキャンを再実行する際、ステージ2の速度Vを初回のレーンスキャンの際の速度Vよりも遅い速度に設定してもよい。例えば、制御部101は、レーンスキャンの再実行の際のステージ2の速度Vを初回のレーンスキャンの際の速度Vの2/3以下に設定する。
次に、上述した画像取得装置1を用いた画像取得方法について説明する。
図7は、画像取得装置1を用いた画像取得方法の一例を示すフローチャートである。同図に示すように、この画像取得方法では、事前設定として、まず、フォーカスマップを作成する(ステップS01)。ここでは、予めスライドガラス全体のマクロ画像をマクロ画像取得装置(不図示)で取得し、取得したマクロ画像に基づいて試料Sに対する画像取得領域32を設定する。画像取得領域32の設定の後、画像取得領域32における焦点計測位置を設定し、各焦点計測位置Pで取得した二次元画像のコントラストに基づいて合焦点位置を決定する。そして、各焦点計測位置Pにおいてそれぞれ決定された合焦点位置に最小二乗法を適用し、試料Sのフォーカスマップを作成する。
フォーカスマップの作成後、レーンスキャンを実行する際のステージ2の速度Vを設定する(ステップS02)。また、作成したマクロ画像に基づいて、画像取得領域32における撮像位置34を設定する(ステップS03)。すなわち、画像取得領域32において、Y方向に第1〜第nまでの複数のレーンを設定し、各レーンについてX方向に第1〜第mまでの複数の撮像位置34を設定する。そして、各撮像位置34のXY座標、及びフォーカスマップから求まる撮像位置34のZ座標を、各レーンにおける撮像位置34の数と共に記憶部104に記憶する。
撮像位置34の設定後、記憶部104から全ての撮像位置34の座標を読み出し、対物レンズ25の視野位置がレーンスキャンの開始位置に位置するようにステージ2を対物レンズ25に対して位置合わせを行う(ステップS04:位置合わせステップ)。このとき、ステージ2に対する対物レンズ25の高さも開始位置に位置するように対物レンズ駆動部11を制御する。そして、一のレーンに対するレーンスキャンを実行する(ステップS05)。レーンスキャンでは、図8に示すように、まず、ステージ2の駆動により、対物レンズ25の視野位置を撮像位置34に移動させる(ステップS11)。このとき、ステージ2の位置を位置検出部13によって検出する(ステップS12:位置検出ステップ)。
ステージ2の位置検出結果に基づき、対物レンズ25の視野位置が撮像位置34に到達したタイミングでトリガ信号を生成し(ステップS13)、瞬間光Lの照射及び試料Sの撮像を行う(ステップS14:撮像ステップ)。この撮像ステップでは、ステージ2をレーンスキャンのスキャン方向に速度Vで移動させながら、瞬間光Lの照射に同期して試料Sの光像を二次元撮像素子6によって撮像し、撮像位置34におけるタイル画像Tを取得する。また、撮像ステップでは、位置検出ステップによって生成されたステージ2の位置情報に基づいて、二次元撮像素子6による撮像と瞬間光Lの出射とを同期させる。
一の撮像位置34における撮像の実行後、対物レンズ25の視野位置がレーンの終了位置に到達したか否かを判断する(ステップS15)。対物レンズ25の視野位置がレーンの終了位置に到達していないと判断された場合には、次の撮像位置34に対してステップS11〜ステップS15までの処理を繰り返し実行し、当該レーンに含まれる各撮像位置34におけるタイル画像列Rを取得する。対物レンズ25の視野位置がレーンの終了位置に到達したと判断された場合には、当該レーンに対する処理が完了する。
一のレーンに対するレーンスキャンが完了した後、図7に示すように、一のレーンで取得したタイル画像列Rに含まれるタイル画像Tの画像数をカウントし(ステップS06)、画像数が予め設定された取得予定数に達しているか否かを判別する(ステッS07:判別ステップ)。判別ステップにおいて画像数が予め設定された取得予定数に達していないと判断された場合、そのレーンに対するレーンスキャンを再実行する(再実行ステップ)。再実行ステップでは、ステージ2の速度がステップS02で設定された速度Vよりも遅い速度Vに再設定された後(ステップS08)、ステップS03〜ステップS07の処理が再実行される。
一方、判別ステップにおいて画像数が予め設定された取得予定数に達していると判断された場合、全てのレーンでレーンスキャンが完了したか否かを判断する(ステップS09)。レーンスキャンが完了していないと判断された場合、次のレーンに対してステップS02〜ステップS09までの処理を繰り返し実行する。直前のレーンに対してレーンスキャンの再実行を行った場合には、次のレーンに対するステップS02の処理において、ステージ2の速度を速度Vに再設定する。レーンスキャンが完了したと判断された場合、各レーンのレーンスキャンで取得したタイル画像列Rを合成し、試料S全体の観察画像データを生成する(ステップS10)。
図7に示した例では、一のレーンにおける撮像の完了毎に当該タイル画像列Rに含まれるタイル画像Tの画像数をカウントしているが、図9に示すように、全てのレーンにおける撮像の完了後に各タイル画像列Rに含まれるタイル画像Tの画像数をカウントしてもよい。図9に示す例では、図7におけるステップS01〜ステップS05と同様に、フォーカスマップの作成(ステップS21)、ステージ速度の設定(ステップS22)、撮像位置の設定(ステップS23)、レーンスキャンの開始位置への対物レンズ25の位置合わせ(ステップS24)、及びレーンスキャンの実行(ステップS25)の各処理を行う。
レーンスキャンの実行後、全てのレーンでレーンスキャンが完了したか否かを判断する(ステップS26)。全てのレーンスキャンが完了していないと判断された場合、次のレーンに対してステップS22〜ステップS26までの処理を繰り返し実行する。全てのレーンスキャンが完了したと判断された場合、各レーンで取得したタイル画像列Rに含まれるタイル画像Tの画像数をカウントし(ステップS27)、画像数が予め設定された取得予定数に達しているか否かを判別する(ステップS28:判別ステップ)。
判別ステップにおいて画像数が予め設定された取得予定数に達していないと判断された場合、そのレーンに対するレーンスキャンを再実行する(再実行ステップ)。再実行ステップでは、ステージ2の速度がステップS22で設定された速度Vよりも遅い速度Vに再設定された後(ステップS29)、ステップS23〜ステップS28の処理が再実行される。判別ステップにおいて画像数が予め設定された取得予定数に達していると判断された場合、各レーンのレーンスキャンで取得したタイル画像列Rを合成し、試料S全体の観察画像データを生成する(ステップS30)。
以上説明したように、画像取得装置1では、試料Sの光像をレーンスキャンによって撮像するにあたり、一のレーンで取得したタイル画像列Rに含まれるタイル画像Tの画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。そして、画像数が取得予定数に達していないと判別された場合に、そのレーンに対するレーンスキャンを再実行する。したがって、環境負荷に起因してタイル画像Tの欠落が生じたとしても、レーンスキャンの再実行によってタイル画像Tが補完され、観察画像におけるタイル画像Tの欠落を防止できる。
また、画像取得装置1では、レーンスキャンを再実行する際、制御部101がステージ2の移動速度を所定速度よりも遅い速度に設定する。これにより、レーンスキャンの再実行時にタイル画像Tの欠落が生じることを抑制できる。
また、画像取得装置1では、ステージ2の位置を位置検出部13によって検出し、制御部101は、位置検出部13によって生成されたステージ2の位置情報に基づいて、二次元撮像素子6による撮像と光源3による瞬間光Lの出射とを同期させる。これにより、試料Sの目標位置でのタイル画像Tの取得を好適に実行できる。
また、画像取得装置1では、判別部103が一のレーンにおける撮像の完了毎にタイル画像列Rに含まれるタイル画像Tの画像数をカウントし得る。この場合、タイル画像Tの補完の要否を各タイル画像列Rの取得時に判断するので、レーンスキャンの完了と同時にタイル画像Tの欠落の無い観察画像を得ることができる。
また、画像取得装置1では、判別部103が全てのレーンにおける撮像の完了後に各タイル画像列Rに含まれるタイル画像Tの画像数をカウントし得る。この場合、タイル画像Tの補完の要否を全てのタイル画像列Rの取得後に判断するので、タイル画像Tの欠落が無かった場合には、観察画像を得るまでの時間を短縮できる。
1…画像取得装置、2…ステージ、3…光源(光出射部)、5…導光光学系、6…二次元撮像素子、12…ステージ駆動部(駆動部)、13…位置検出部、25…対物レンズ、101…制御部、103…判別部、L…瞬間光、R…タイル画像列、T…タイル画像、S…試料。

Claims (10)

  1. 試料が保持されるステージと、
    瞬間光を出射する光出射部と、
    前記ステージ上の前記試料と対峙するように配置された対物レンズを含む導光光学系と、
    前記試料を前記対物レンズの光軸に交差するスキャン方向に所定速度で移動させる駆動部と、
    前記光出射部及び前記駆動部との協働により、前記導光光学系で導光された前記試料の光像をレーンスキャンによって撮像し、複数のタイル画像列からなる観察画像データを取得する二次元撮像素子と、
    前記光出射部、前記駆動部、及び前記二次元撮像素子による前記レーンスキャンの実行を制御する制御部と、
    一のレーンで取得した前記タイル画像列に含まれるタイル画像の画像数をカウントし、前記画像数が予め設定された取得予定数に達しているか否かを判別する判別部と、を備え、
    前記制御部は、前記判別部によって前記画像数が前記取得予定数に達していないと判別された場合に、前記一のレーンに対するレーンスキャンを再実行する画像取得装置。
  2. 前記制御部は、前記レーンスキャンを再実行する際、前記ステージの移動速度を前記所定速度よりも遅い速度に設定する請求項1記載の画像取得装置。
  3. 前記ステージの位置を検出する位置検出部を更に備え、
    前記制御部は、前記位置検出部によって生成された前記ステージの位置情報に基づいて、前記二次元撮像素子による撮像と前記光出射部による前記瞬間光の出射とを同期させる請求項1又は2記載の画像取得装置。
  4. 前記判別部は、前記一のレーンにおける撮像の完了毎にタイル画像列に含まれるタイル画像の画像数をカウントする請求項1〜3のいずれか一項記載の画像取得装置。
  5. 前記判別部は、全てのレーンにおける撮像の完了後に各タイル画像列に含まれるタイル画像の画像数をカウントする請求項1〜3のいずれか一項記載の画像取得装置。
  6. 対物レンズの視野位置がレーンスキャンの開始位置に位置するように、試料が保持されるステージを前記対物レンズに対して位置合わせする位置合わせステップと、
    前記ステージを前記レーンスキャンのスキャン方向に所定速度で移動させながら、瞬間光の照射に同期して前記試料の光像を二次元撮像素子によって撮像し、複数のタイル画像列からなる観察画像データを取得する撮像ステップと、
    一のレーンで取得した前記タイル画像列に含まれるタイル画像の画像数をカウントし、前記画像数が予め設定された取得予定数に達しているか否かを判別する判別ステップと、
    前記判別ステップにおいて前記画像数が前記取得予定数に達していないと判別された場合に、前記一のレーンに対するレーンスキャンを再実行する再実行ステップを含む画像取得方法。
  7. 前記再実行ステップでは、前記ステージの移動速度を前記所定速度よりも遅い速度に設定する請求項6記載の画像取得方法。
  8. 前記ステージの位置を検出する位置検出ステップを更に備え、
    前記撮像ステップでは、前記位置検出ステップによって生成された前記ステージの位置情報に基づいて、前記二次元撮像素子による撮像と前記瞬間光の出射とを同期させる請求項6又は7記載の画像取得方法。
  9. 前記判別ステップでは、前記一のレーンにおける撮像の完了毎にタイル画像列に含まれるタイル画像の画像数をカウントする請求項6〜8のいずれか一項記載の画像取得方法。
  10. 前記判別ステップでは、全てのレーンにおける撮像の完了後に各タイル画像列に含まれるタイル画像の画像数をカウントする請求項6〜8のいずれか一項記載の画像取得方法。
JP2021025399A 2017-08-31 2021-02-19 画像取得装置、画像取得方法、及び画像取得プログラム Active JP7093435B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021025399A JP7093435B2 (ja) 2017-08-31 2021-02-19 画像取得装置、画像取得方法、及び画像取得プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017167294A JP6842387B2 (ja) 2017-08-31 2017-08-31 画像取得装置及び画像取得方法
JP2021025399A JP7093435B2 (ja) 2017-08-31 2021-02-19 画像取得装置、画像取得方法、及び画像取得プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017167294A Division JP6842387B2 (ja) 2017-08-31 2017-08-31 画像取得装置及び画像取得方法

Publications (2)

Publication Number Publication Date
JP2021101241A true JP2021101241A (ja) 2021-07-08
JP7093435B2 JP7093435B2 (ja) 2022-06-29

Family

ID=65527241

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017167294A Active JP6842387B2 (ja) 2017-08-31 2017-08-31 画像取得装置及び画像取得方法
JP2021025399A Active JP7093435B2 (ja) 2017-08-31 2021-02-19 画像取得装置、画像取得方法、及び画像取得プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017167294A Active JP6842387B2 (ja) 2017-08-31 2017-08-31 画像取得装置及び画像取得方法

Country Status (5)

Country Link
US (2) US11280991B2 (ja)
EP (1) EP3677946A4 (ja)
JP (2) JP6842387B2 (ja)
CN (1) CN111033352B (ja)
WO (1) WO2019044076A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6842387B2 (ja) * 2017-08-31 2021-03-17 浜松ホトニクス株式会社 画像取得装置及び画像取得方法
JP2021083408A (ja) * 2019-11-29 2021-06-03 株式会社島津製作所 検査方法および検査装置
KR102258958B1 (ko) * 2019-12-26 2021-06-02 나노스코프시스템즈 주식회사 고속 이미징 방법 및 이를 이용한 고속 이미징 현미경

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11264937A (ja) * 1998-03-18 1999-09-28 Olympus Optical Co Ltd 顕微鏡
JP2006308337A (ja) * 2005-04-26 2006-11-09 Honda Electronic Co Ltd 光学顕微鏡用超音波プローブ、超音波顕微鏡システム、及び光学/超音波顕微鏡システム
US20130077892A1 (en) * 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
JP2015087719A (ja) * 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
JP2016125913A (ja) * 2015-01-05 2016-07-11 キヤノン株式会社 画像取得装置及び画像取得装置の制御方法
JP2017097229A (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 顕微鏡システムとその制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7155049B2 (en) * 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
US7792338B2 (en) 2004-08-16 2010-09-07 Olympus America Inc. Method and apparatus of mechanical stage positioning in virtual microscopy image capture
EP2227711A4 (en) * 2008-01-02 2014-01-22 Univ California TELEMIC ROSCOPY DEVICE WITH HIGH NUMERICAL APERTURE
US8870751B2 (en) * 2010-09-28 2014-10-28 Fujifilm Corporation Endoscope system, endoscope image recording apparatus, endoscope image acquisition assisting method and computer readable medium
US20120127297A1 (en) * 2010-11-24 2012-05-24 Baxi Vipul A Digital microscopy with focus grading in zones distinguished for comparable image structures
JP6134249B2 (ja) 2013-11-01 2017-05-24 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
JP6494294B2 (ja) * 2014-05-15 2019-04-03 キヤノン株式会社 画像処理装置、及び撮像システム
WO2016079853A1 (ja) 2014-11-20 2016-05-26 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法及び画像処理プログラム
JP6842387B2 (ja) * 2017-08-31 2021-03-17 浜松ホトニクス株式会社 画像取得装置及び画像取得方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11264937A (ja) * 1998-03-18 1999-09-28 Olympus Optical Co Ltd 顕微鏡
JP2006308337A (ja) * 2005-04-26 2006-11-09 Honda Electronic Co Ltd 光学顕微鏡用超音波プローブ、超音波顕微鏡システム、及び光学/超音波顕微鏡システム
US20130077892A1 (en) * 2011-09-27 2013-03-28 Yasunori Ikeno Scan Order Optimization and Virtual Slide Stitching
JP2015087719A (ja) * 2013-11-01 2015-05-07 浜松ホトニクス株式会社 画像取得装置及び画像取得装置の画像取得方法
JP2016125913A (ja) * 2015-01-05 2016-07-11 キヤノン株式会社 画像取得装置及び画像取得装置の制御方法
JP2017097229A (ja) * 2015-11-26 2017-06-01 オリンパス株式会社 顕微鏡システムとその制御方法

Also Published As

Publication number Publication date
CN111033352B (zh) 2021-08-03
EP3677946A1 (en) 2020-07-08
US11698519B2 (en) 2023-07-11
JP6842387B2 (ja) 2021-03-17
US20220128807A1 (en) 2022-04-28
US11280991B2 (en) 2022-03-22
CN111033352A (zh) 2020-04-17
EP3677946A4 (en) 2021-06-23
JP7093435B2 (ja) 2022-06-29
US20200257099A1 (en) 2020-08-13
JP2019045632A (ja) 2019-03-22
WO2019044076A1 (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
JP7093435B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP6266601B2 (ja) 画像取得装置、試料のフォーカスマップを作成する方法及びシステム
JP5852527B2 (ja) 3次元形状測定方法および基板検査方法
US20150358533A1 (en) Control method for imaging apparatus and imaging system
JP2015001531A (ja) マシンビジョン検査システム及び高速合焦高さ測定動作を実行する方法
EP3064981B1 (en) Image acquisition device and image acquisition method for image acquisition device
US10598916B2 (en) Image acquisition device and method and system for acquiring focusing information for specimen
JP2017053741A (ja) 硬さ試験機及び硬さ試験方法
WO2014174919A1 (ja) 画像取得装置及び画像取得装置のフォーカス方法
JP6134249B2 (ja) 画像取得装置及び画像取得装置の画像取得方法
JP2003295065A (ja) 顕微鏡装置
KR102157450B1 (ko) 관찰 장치 및 방법과, 관찰 장치 제어 프로그램
KR101178055B1 (ko) 높이차 측정 장치 및 방법
JP6076205B2 (ja) 画像取得装置及び画像取得装置のフォーカス方法
WO2019123869A1 (ja) 画像取得装置及び画像取得方法
EP2947487A1 (en) Image acquisition device and focus method for image acquisition device
CN112881384A (zh) 检查方法以及检查装置
RU2304807C1 (ru) Формирователь изображения
JP2018054613A (ja) マルチチャンバの分析装置および分析方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220617

R150 Certificate of patent or registration of utility model

Ref document number: 7093435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150