以下、図面を参照しながら、本発明の一側面に係る画像取得装置及び画像取得方法の好適な実施形態について詳細に説明する。
図1は、画像取得装置の一実施形態を示す図である。同図に示すように、画像取得装置1は、試料Sが保持されるステージ2と、試料Sに向けて瞬間光Lを照射する光源3(光出射部)と、ステージ2上の試料Sと対峙するように配置された対物レンズ25を含む導光光学系5と、導光光学系5によって導光された試料Sの光像を撮像する二次元撮像素子6とを備えている。
また、画像取得装置1は、試料Sに対する対物レンズ25の焦点位置を変更させる対物レンズ駆動部11と、試料Sを対物レンズ25の光軸に交差する方向(スキャン方向)に所定速度で移動させるステージ駆動部(駆動部)12と、ステージ2の位置を検出する位置検出部13と、画像取得装置1の動作を統括するコンピュータ14とを備えている。
画像取得装置1で観察する試料Sは、例えば組織細胞などの生体サンプルであり、例えばスライドガラスに密封された状態でステージ2に載置される。光源3は、ステージ2の底面側に配置されている。光源3としては、例えばレーザダイオード(LD)、発光ダイオード(LED)、スーパールミネッセントダイオード(SLD)、キセノンフラッシュランプといったフラッシュランプ方式光源などが用いられる。光源3の動作は、後述する光源制御部101Aによって制御される。
導光光学系5は、光源3とステージ2との間に配置される照明光学系21と、ステージ2と二次元撮像素子6との間に配置される顕微鏡光学系22とによって構成されている。照明光学系21は、例えば集光レンズ23と投影レンズ24とによって構成されるケーラー照明光学系を有し、光源3からの光を導光して試料Sに均一な光を照射するようになっている。
一方、顕微鏡光学系22は、対物レンズ25と、対物レンズ25の後段側(二次元撮像素子6側)に配置された結像レンズ26とを有し、試料Sの光像を二次元撮像素子6に導光する。なお、試料Sの光像とは、明視野照明の場合は透過光による像、暗視野照明の場合は散乱光による像、発光観察(蛍光観察)の場合は発光(蛍光)による像である。また、試料Sからの反射光による像であってもよい。これらの場合、導光光学系5として、試料Sの透過光画像、散乱光画像、及び発光(蛍光)画像の画像取得に対応した光学系を採用することができる。
二次元撮像素子6は、複数の画素列を有する撮像素子である。二次元撮像素子6としては、例えばCCDイメージセンサやCMOSイメージセンサが挙げられる。二次元撮像素子6の受光面6aには、図2に示すように、例えば複数の画素が一次元に配置されてなる画素列31(第1の画素列311、第2の画素列312、第3の画素列313、…、第M−2の画素列31M−2、第M−1の画素列31M−1、第Mの画素列31M)が互いに平行になるようにM列配列されている。二次元撮像素子6は、コンピュータ14から出力されるトリガ信号の入力に基づいて、導光光学系5によって導光された試料Sの光像を所定のフレームレートで順次撮像し、撮像によって取得した画像データ(後述するタイル画像T)をコンピュータ14に出力する。なお、トリガ信号は、ステージ駆動部12或いは位置検出部13から出力されてもよい。
対物レンズ駆動部11は、例えばステッピングモータ(パルスモータ)といったモータやピエゾアクチュエータといったアクチュエータによって構成されている。対物レンズ駆動部11は、後述する対物レンズ制御部101Bによる制御に基づき、対物レンズ25を対物レンズ25の光軸に沿ったZ方向に駆動する。これにより、試料Sに対する対物レンズ25の焦点位置が移動する。
ステージ駆動部12は、例えばステッピングモータ(パルスモータ)といったモータやピエゾアクチュエータといったアクチュエータによって構成されている。ステージ駆動部12は、後述するステージ制御部101Cによる制御に基づき、ステージ2を対物レンズ25の光軸の直交面に対して所定の角度(例えば90度)を有する面についてXY方向に駆動する。これにより、ステージ2に保持された試料Sが対物レンズの光軸に対して移動し、試料Sに対する対物レンズ25の視野位置が移動することとなる。
また、位置検出部13は、例えばステージ2に取り付けられたリニアエンコーダによって構成されている。位置検出部13は、ステージ2のXY座標を検出する。位置検出部13は、検出結果を示す位置情報を生成し、コンピュータ14に出力する。
コンピュータ14は、物理的には、RAM、ROM等のメモリ、及びCPU等のプロセッサ(演算回路)、通信インターフェイス、ハードディスク等の格納部、ディスプレイ等の表示部を備えて構成されている。かかるコンピュータ14としては、例えばパーソナルコンピュータ、マイクロコンピュータ、クラウドサーバ、スマートデバイス(スマートフォン、タブレット端末など)などが挙げられる。
コンピュータ14は、メモリに格納されるプログラムをコンピュータシステムのCPUで実行することにより、図3に示すように、画像取得装置1の動作を制御する制御部101、二次元撮像素子6で撮像した画像データの処理を実行する画像処理部102、二次元撮像素子6で撮像した画像データの状態を判別する判別部103として機能する。また、コンピュータ14は、画像データ等の各種情報を記憶する記憶部104を有している。なお、コンピュータ14は、複数のコンピュータによって構成されてもよく、例えば、一のコンピュータで制御部101の機能を実行し、別のコンピュータによって、他の機能を実行してもよい。
制御部101は、より具体的には、光源3の動作を制御する光源制御部101Aと、対物レンズ駆動部11の動作を制御する対物レンズ制御部101Bと、ステージ駆動部12の動作を制御するステージ制御部101Cとによって構成されている。制御部101は、光源制御部101A、対物レンズ制御部101B、及びステージ制御部101Cにより、光源3、ステージ駆動部12、及び二次元撮像素子6によるレーンスキャンの実行を制御する。以下、レーンスキャンについて説明する。
画像取得装置1では、例えば20倍や40倍といった高倍率で試料Sの撮像が行われる。このため、対物レンズ25の視野は、試料Sに対して小さく、一回の撮像で画像を取得できる領域も試料Sに対して小さくなる。したがって、試料Sの全体を撮像するためには、対物レンズ25の視野を試料Sに対して移動させる必要がある。そこで、画像取得装置1では、試料Sを保持するスライドガラスに対して試料Sを含むように画像取得領域が設定され、画像取得領域に対するレーンスキャンが実行される。
本実施形態におけるレーンスキャンでは、事前設定として、図4に示すように、予めスライドガラス全体のマクロ画像をマクロ画像取得装置(不図示)で取得し、取得したマクロ画像に基づいて試料Sに対する画像取得領域32を設定する。画像取得領域32の設定の際には、マクロ画像における試料Sの範囲の特定を容易化するため、マクロ画像の二値化を行うことが好適である。画像取得領域32の設定の後、フォーカスマップの作成のため、画像取得領域32における焦点計測位置を設定する。
図4に示す例では、画像取得領域32がマトリクス状に9分割され、各分割領域33の中央に焦点計測位置Pが設定されている。また、分割領域33の中央が試料Sから外れている場合には、ユーザによる手動の設定などにより、試料Sが位置する任意の位置に焦点計測位置Pが設定される。次に、スライドガラスをミクロ画像取得装置である画像取得装置1にセットし、各焦点計測位置P上に対物レンズ25が位置するようにステージ2を移動させる。そして、各焦点計測位置Pにおいて対物レンズ25をZ方向に駆動させながら分割領域33における複数の二次元画像を取得し、取得した二次元画像のコントラストに基づいて合焦点位置を決定する。各焦点計測位置Pにおいてそれぞれ決定された合焦点位置に最小二乗法を適用し、試料Sのフォーカスマップを作成する。
フォーカスマップの作成後、画像取得領域32における撮像位置を設定する。対物レンズ25の試料S上の視野Fは、使用する対物レンズ25の倍率等によって予め定まる。このため、設定された画像取得領域32に対して視野Fの大きさを割り当てることで、画像取得領域32に複数の撮像位置34がマトリクス状に設定される。図5に示す例では、画像取得領域32には、Y方向に第1〜第nまでの複数のレーンが設定され、各レーンには、X方向(スキャン方向)に第1〜第mまでの複数の撮像位置34が設定されている。各撮像位置34のXY座標、及びフォーカスマップから求まる撮像位置34のZ座標は、各レーンにおける撮像位置34の数と共に記憶部104に記憶される。
レーンスキャンでは、ステージ2をXY方向に移動させながら、瞬間光Lによって試料Sの一部をストロボ撮影する。ステージ2がXステージ及びYステージを組み合わせて構成される場合、ステージ2のX軸とY軸とが完全に直交せず、各レーンにおける撮像位置34のY座標が一致しないことが考えられる。したがって、撮像位置34の設定の際には、上述したように撮像位置34のY座標を含めることが好適である。ステージ2のX軸とY軸との間の直交からのずれが無視できる程度に小さい場合には、処理の簡単化のため、撮像位置34のXZ座標のみを記憶部104に記憶してもよい。
画像取得装置1は、撮像位置34に対応する試料Sの一部を二次元撮像素子6によって撮像することで、撮像位置34に対応するタイル画像Tをそれぞれ取得する。対物レンズ25の視野Fが次に撮像する撮像位置34に移動した後、再び撮像を行って次のタイル画像Tを取得する。以降、画像取得装置1では、レーン毎に撮像位置34を順次撮像する動作が繰り返し実行され、複数のタイル画像列Rからなる画像データの取得が行われる。
ステージ制御部101Cによる対物レンズ25の視野位置の移動方式は、例えば図5に示すように、各レーンでスキャン方向が同方向となる一方向スキャン(Uni-directional scanning)が採用される。対物レンズ25の視野位置の移動方式は、一方向スキャンに限られず、隣り合うレーン間でスキャン方向が反転する双方向スキャン(Bi-directional scanning)を採用してもよい。また、光源制御部101Aは、光源3から瞬間光Lを照射させる。本実施形態では、図6に示すように、二次元撮像素子6が露光と読み出しとを交互に実行し、画素列31(第1の画素列311、第2の画素列312、第3の画素列313…第Mの画素列31M)の露光期間中にトリガ信号が光源制御部101Aに出力される。光源制御部101Aは、トリガ信号に基づいて光源3から瞬間光Lを照射させる。
二次元撮像素子6の読み出し方式は、各画素列31の露光期間が一致するグローバルシャッタ方式であってもよく、各画素列31の露光期間が所定時間ずつずれるローリングシャッタ方式であってもよい。トリガ信号は、例えば位置検出部13によって検出されたステージ2の位置情報に基づいて、ステージ2の駆動によって対物レンズ25の視野Fが撮像対象となる撮像位置34に移動したときに制御部101から二次元撮像素子6及び光源制御部101Aに出力される。また、ステージ駆動部12を制御するためのクロック数を制御部101でカウントし、所定のカウント数に達したときに制御部101から二次元撮像素子6及び光源制御部101Aにトリガ信号が出力されてもよい。なお、瞬間光Lとローリングシャッタ方式とを組み合わせる場合には、画素列31の全てが露光しているときに瞬間光Lを出力する必要がある。したがって、ステージ2の駆動によって対物レンズ25の視野Fが撮像対象となる撮像位置34に移動する際に瞬間光Lが出力されるように、光源制御部101Aにトリガ信号を出力すればよい。
画像処理部102は、二次元撮像素子6から出力される画像データの処理を実行する。画像処理部102は、二次元撮像素子6から出力されるタイル画像Tを受け取り、各レーンで取得したタイル画像列Rを合成することにより試料S全体の観察画像データを生成する。観察画像データの生成にあたっては、例えば位置検出部13から出力される位置情報に基づいて、隣接するタイル画像T,Tの一部同士を重畳するようにしてもよい。
判別部103は、一のレーンで取得したタイル画像列Rに含まれるタイル画像Tの画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。図5に示した例では、各レーンにおける撮像位置34の数はm個であり、タイル画像列Rは、m個のタイル画像Tによって構成されている。したがって、判別部103は、記憶部104を参照し、一のレーンで取得したタイル画像列Rに含まれるタイル画像Tがm個である場合には、タイル画像Tの画像数が予め設定された取得予定数に達していると判断し、タイル画像Tがm個未満である場合には、タイル画像Tの画像数が予め設定された取得予定数に達していないと判断する。判別部103は、一のレーンにおける撮像の完了毎に当該タイル画像列Rに含まれるタイル画像Tの画像数をカウントしてもよく、全てのレーンにおける撮像の完了後に各タイル画像列Rに含まれるタイル画像の画像数をカウントしてもよい。
判別部103は、一のレーンにおけるタイル画像列Rの画像数が予め設定された取得予定数に達していないと判断した場合、そのレーンに対するレーンスキャンの再実行を指示する旨の指示情報を制御部101に出力する。指示情報を受け取った制御部101は、タイル画像Tの画像数が予め設定された取得予定数に達していないと判断されたレーンについて、光源3、ステージ駆動部12、及び二次元撮像素子6によるレーンスキャンを再実行する。制御部101は、レーンスキャンを再実行する際、ステージ2の速度V1を初回のレーンスキャンの際の速度V0よりも遅い速度に設定してもよい。例えば、制御部101は、レーンスキャンの再実行の際のステージ2の速度V1を初回のレーンスキャンの際の速度V0の2/3以下に設定する。
次に、上述した画像取得装置1を用いた画像取得方法について説明する。
図7は、画像取得装置1を用いた画像取得方法の一例を示すフローチャートである。同図に示すように、この画像取得方法では、事前設定として、まず、フォーカスマップを作成する(ステップS01)。ここでは、予めスライドガラス全体のマクロ画像をマクロ画像取得装置(不図示)で取得し、取得したマクロ画像に基づいて試料Sに対する画像取得領域32を設定する。画像取得領域32の設定の後、画像取得領域32における焦点計測位置を設定し、各焦点計測位置Pで取得した二次元画像のコントラストに基づいて合焦点位置を決定する。そして、各焦点計測位置Pにおいてそれぞれ決定された合焦点位置に最小二乗法を適用し、試料Sのフォーカスマップを作成する。
フォーカスマップの作成後、レーンスキャンを実行する際のステージ2の速度V0を設定する(ステップS02)。また、作成したマクロ画像に基づいて、画像取得領域32における撮像位置34を設定する(ステップS03)。すなわち、画像取得領域32において、Y方向に第1〜第nまでの複数のレーンを設定し、各レーンについてX方向に第1〜第mまでの複数の撮像位置34を設定する。そして、各撮像位置34のXY座標、及びフォーカスマップから求まる撮像位置34のZ座標を、各レーンにおける撮像位置34の数と共に記憶部104に記憶する。
撮像位置34の設定後、記憶部104から全ての撮像位置34の座標を読み出し、対物レンズ25の視野位置がレーンスキャンの開始位置に位置するようにステージ2を対物レンズ25に対して位置合わせを行う(ステップS04:位置合わせステップ)。このとき、ステージ2に対する対物レンズ25の高さも開始位置に位置するように対物レンズ駆動部11を制御する。そして、一のレーンに対するレーンスキャンを実行する(ステップS05)。レーンスキャンでは、図8に示すように、まず、ステージ2の駆動により、対物レンズ25の視野位置を撮像位置34に移動させる(ステップS11)。このとき、ステージ2の位置を位置検出部13によって検出する(ステップS12:位置検出ステップ)。
ステージ2の位置検出結果に基づき、対物レンズ25の視野位置が撮像位置34に到達したタイミングでトリガ信号を生成し(ステップS13)、瞬間光Lの照射及び試料Sの撮像を行う(ステップS14:撮像ステップ)。この撮像ステップでは、ステージ2をレーンスキャンのスキャン方向に速度V0で移動させながら、瞬間光Lの照射に同期して試料Sの光像を二次元撮像素子6によって撮像し、撮像位置34におけるタイル画像Tを取得する。また、撮像ステップでは、位置検出ステップによって生成されたステージ2の位置情報に基づいて、二次元撮像素子6による撮像と瞬間光Lの出射とを同期させる。
一の撮像位置34における撮像の実行後、対物レンズ25の視野位置がレーンの終了位置に到達したか否かを判断する(ステップS15)。対物レンズ25の視野位置がレーンの終了位置に到達していないと判断された場合には、次の撮像位置34に対してステップS11〜ステップS15までの処理を繰り返し実行し、当該レーンに含まれる各撮像位置34におけるタイル画像列Rを取得する。対物レンズ25の視野位置がレーンの終了位置に到達したと判断された場合には、当該レーンに対する処理が完了する。
一のレーンに対するレーンスキャンが完了した後、図7に示すように、一のレーンで取得したタイル画像列Rに含まれるタイル画像Tの画像数をカウントし(ステップS06)、画像数が予め設定された取得予定数に達しているか否かを判別する(ステッS07:判別ステップ)。判別ステップにおいて画像数が予め設定された取得予定数に達していないと判断された場合、そのレーンに対するレーンスキャンを再実行する(再実行ステップ)。再実行ステップでは、ステージ2の速度がステップS02で設定された速度V0よりも遅い速度V1に再設定された後(ステップS08)、ステップS03〜ステップS07の処理が再実行される。
一方、判別ステップにおいて画像数が予め設定された取得予定数に達していると判断された場合、全てのレーンでレーンスキャンが完了したか否かを判断する(ステップS09)。レーンスキャンが完了していないと判断された場合、次のレーンに対してステップS02〜ステップS09までの処理を繰り返し実行する。直前のレーンに対してレーンスキャンの再実行を行った場合には、次のレーンに対するステップS02の処理において、ステージ2の速度を速度V0に再設定する。レーンスキャンが完了したと判断された場合、各レーンのレーンスキャンで取得したタイル画像列Rを合成し、試料S全体の観察画像データを生成する(ステップS10)。
図7に示した例では、一のレーンにおける撮像の完了毎に当該タイル画像列Rに含まれるタイル画像Tの画像数をカウントしているが、図9に示すように、全てのレーンにおける撮像の完了後に各タイル画像列Rに含まれるタイル画像Tの画像数をカウントしてもよい。図9に示す例では、図7におけるステップS01〜ステップS05と同様に、フォーカスマップの作成(ステップS21)、ステージ速度の設定(ステップS22)、撮像位置の設定(ステップS23)、レーンスキャンの開始位置への対物レンズ25の位置合わせ(ステップS24)、及びレーンスキャンの実行(ステップS25)の各処理を行う。
レーンスキャンの実行後、全てのレーンでレーンスキャンが完了したか否かを判断する(ステップS26)。全てのレーンスキャンが完了していないと判断された場合、次のレーンに対してステップS22〜ステップS26までの処理を繰り返し実行する。全てのレーンスキャンが完了したと判断された場合、各レーンで取得したタイル画像列Rに含まれるタイル画像Tの画像数をカウントし(ステップS27)、画像数が予め設定された取得予定数に達しているか否かを判別する(ステップS28:判別ステップ)。
判別ステップにおいて画像数が予め設定された取得予定数に達していないと判断された場合、そのレーンに対するレーンスキャンを再実行する(再実行ステップ)。再実行ステップでは、ステージ2の速度がステップS22で設定された速度V0よりも遅い速度V1に再設定された後(ステップS29)、ステップS23〜ステップS28の処理が再実行される。判別ステップにおいて画像数が予め設定された取得予定数に達していると判断された場合、各レーンのレーンスキャンで取得したタイル画像列Rを合成し、試料S全体の観察画像データを生成する(ステップS30)。
以上説明したように、画像取得装置1では、試料Sの光像をレーンスキャンによって撮像するにあたり、一のレーンで取得したタイル画像列Rに含まれるタイル画像Tの画像数をカウントし、画像数が予め設定された取得予定数に達しているか否かを判別する。そして、画像数が取得予定数に達していないと判別された場合に、そのレーンに対するレーンスキャンを再実行する。したがって、環境負荷に起因してタイル画像Tの欠落が生じたとしても、レーンスキャンの再実行によってタイル画像Tが補完され、観察画像におけるタイル画像Tの欠落を防止できる。
また、画像取得装置1では、レーンスキャンを再実行する際、制御部101がステージ2の移動速度を所定速度よりも遅い速度に設定する。これにより、レーンスキャンの再実行時にタイル画像Tの欠落が生じることを抑制できる。
また、画像取得装置1では、ステージ2の位置を位置検出部13によって検出し、制御部101は、位置検出部13によって生成されたステージ2の位置情報に基づいて、二次元撮像素子6による撮像と光源3による瞬間光Lの出射とを同期させる。これにより、試料Sの目標位置でのタイル画像Tの取得を好適に実行できる。
また、画像取得装置1では、判別部103が一のレーンにおける撮像の完了毎にタイル画像列Rに含まれるタイル画像Tの画像数をカウントし得る。この場合、タイル画像Tの補完の要否を各タイル画像列Rの取得時に判断するので、レーンスキャンの完了と同時にタイル画像Tの欠落の無い観察画像を得ることができる。
また、画像取得装置1では、判別部103が全てのレーンにおける撮像の完了後に各タイル画像列Rに含まれるタイル画像Tの画像数をカウントし得る。この場合、タイル画像Tの補完の要否を全てのタイル画像列Rの取得後に判断するので、タイル画像Tの欠落が無かった場合には、観察画像を得るまでの時間を短縮できる。