JP2013061433A - タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置 - Google Patents

Abstract

【課題】タイムラプス観察において、標本に与えるダメージを抑制しながら、標本の所定の撮像対象領域を撮像したタイムラプス画像を取得する技術を提供することを課題とする。
【解決手段】初回のタイムラプス画像の取得処理の前に、タイムラプス画像として画像化すべき領域である撮像対象領域のうちの一部の領域（参照領域）を撮像して、参照画像を取得する。所定の時間間隔毎に行うタイムラプス画像の取得処理の前に、撮像領域のサイズを参照領域のサイズと同じサイズに設定し、参照画像を取得した位置を含む互いに対物レンズの光軸方向に異なる複数の位置で複数の比較対象画像を取得する。参照画像と複数の比較対象画像との比較し、その結果に基づいて、タイムラプス画像を取得するときの撮像領域を撮像対象領域に一致させる。
【選択図】図４

Description

本発明は、タイムラプス観察方法及びタイムラプス観察装置に関し、特に、in vivo観察で用いられるタイムラプス観察方法、及び、それに用いられるタイムラプス観察装置に関する。

近年、生物研究分野において、その重要性が認識されているin vivo観察では、生きた標本の活性や変化を記録するために、タイムラプス観察が一般的に行われている。

ところで、タイムラプス観察では、所定の時間間隔毎に標本の同じ領域（以降、撮像対象領域と記す。）を撮像することが標本の活性や変化を観察する上で望ましい。しかしながら、生きた標本は装置の撮像領域に対して移動するため、撮像時に実際に撮像される撮像領域と標本の撮像対象領域とを一致させて、常に標本の撮像対象領域を撮像することは容易ではない。
このような課題に関連する技術は、例えば、特許文献１に開示されている。

特許文献１では、タイムラプス観察の各ラウンドで取得したＺ座標の異なる複数のスライス画像の画像データから手動または自動でラウンド毎に一枚のスライス画像を選出することにより、観察対象物を追跡する技術が開示されている。

特開２００８−１３９５７９号公報

しかしながら、上述した技術によっても、タイムラプス観察において、標本に与えるダメージを抑制しながら、生きた標本の予め設定した撮像対象領域を撮像したタイムラプス画像を取得することは困難である。

特許文献１に開示される技術では、各ラウンドで取得されるＺ座標の異なる複数のスライス画像からタイムラプス画像が選択される。従って、各スライス画像は、標本の撮像対象領域全体が撮像された高解像且つ高Ｓ／Ｎの画像であることが必要である。このため、タイムラプス画像の取得にあたり、各スライス画像を標本の撮像対象領域全体の撮像により取得する必要がある。従って、タイムラプス画像の１枚撮像毎に照明光を撮像対象領域全体に複数回照射することになり、標本に与えるダメージを抑制することはできない。

以上のような実情を踏まえ、本発明では、タイムラプス観察において、標本に与えるダメージを抑制しながら、標本の所定の撮像対象領域を撮像したタイムラプス画像を取得する技術を提供することを課題とする。

本発明の第１の態様は、撮像領域を予め設定した標本上の撮像対象領域に一致させて、所定の時間間隔毎に前記撮像対象領域を撮像してタイムラプス画像を取得するタイムラプス観察方法であって、初回の前記タイムラプス画像の取得処理の前に、前記撮像対象領域のうちの一部の領域、または、前記撮像対象領域の近傍で且つ前記撮像対象領域よりも狭い領域である標本上の参照領域を撮像して、参照画像を取得し、前記参照画像の撮像時における撮像領域の位置、サイズをそれぞれ参照位置、参照サイズとして記憶し、前記所定の時間間隔毎に行う前記タイムラプス画像の取得処理の前に、撮像領域のサイズを前記参照サイズに設定して、撮像領域の位置を前記参照位置を含む対物レンズの光軸方向に異なる複数の位置に順番に設定して、前記複数の位置の各々で撮像して、複数の比較対象画像を取得し、前記参照画像と前記複数の比較対象画像との比較結果に基づいて、前記タイムラプス画像を取得するときの撮像領域を前記撮像対象領域に一致させるタイムラプス観察方法を提供する。

本発明の第２の態様は、第１の態様に記載のタイムラプス観察方法において、前記参照画像と前記複数の比較対象画像の各々とのパターンマッチング処理により前記参照画像と最も相関が高い比較対象画像を特定し、前記最も相関が高い比較対象画像と前記参照画像との前記光軸方向の位置関係に基づいて、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向の位置と前記撮像対象領域の前記光軸方向の位置とを一致させるタイムラプス観察方法を提供する。

本発明の第３の態様は、第２の態様に記載のタイムラプス観察方法において、前記参照画像と前記最も相関が高い比較対象画像との比較結果に基づいて、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向と直交するＸＹ方向の位置と前記撮像対象領域の前記ＸＹ方向の位置とを一致させるタイムラプス観察方法を提供する。

本発明の第４の態様は、第２の態様に記載のタイムラプス観察方法において、前記参照画像と前記参照位置で撮像した前記比較対象画像との比較結果に基づいて、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向と直交するＸＹ方向の位置と前記撮像対象領域の前記ＸＹ方向の位置とを一致させるタイムラプス観察方法を提供する。

本発明の第５の態様は、第２の態様乃至第４の態様のいずれか１つに記載のタイムラプス観察方法において、前記タイムラプス画像を取得するときに前記撮像対象領域に照射される単位面積当たりの光量に比べて少ない単位面積当たりの光量を照射して、前記複数の比較対象画像を取得するタイムラプス観察方法を提供する。

本発明の第６の態様は、第５の態様に記載のタイムラプス観察方法において、前記タイムラプス画像を取得するときに前記撮像対象領域に光を照射する単位面積当たりの照射時間に比べて短い単位面積当たりの照明時間で光を照射して、前記複数の比較対象画像を取得するタイムラプス観察方法を提供する。

本発明の第７の態様は、第５の態様に記載のタイムラプス観察方法において、前記タイムラプス画像を取得するときに前記撮像対象領域に照射する光の強度に比べて弱い強度の光を照射して、前記複数の比較対象画像を取得するタイムラプス観察方法を提供する。

本発明の第８の態様は、第６の態様または第７の態様に記載のタイムラプス観察方法において、前記タイムラプス画像を取得するときの検出器の感度の設定に比べて高い検出器の感度の設定で前記複数の比較対象画像を取得するタイムラプス観察方法を提供する。

本発明の第９の態様は、第２の態様乃至第８の態様のいずれか１つに記載のタイムラプス観察方法において、さらに、前記タイムラプス画像を取得する毎に、前記参照画像を更新し、更新された前記参照画像の撮像時における撮像領域の位置で前記参照位置を更新するタイムラプス観察方法を提供する。

本発明の第１０の態様は、第９の態様に記載にタイムラプス観察方法において、前記タイムラプス画像を取得する毎に、前回の前記タイムラプス画像を取得する前に取得した前記複数の比較対象画像からパターンマッチング処理により特定された前記最も相関が高い比較対象画像で前記参照画像を更新し、更新された前記参照画像の撮像時における撮像領域の位置で前記参照位置を更新する
タイムラプス観察方法を提供する。

本発明の第１１の態様は、第２の態様乃至第１０の態様のいずれか１つに記載のタイムラプス観察方法において、前記対物レンズの前記光軸方向への移動により、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向の位置と前記撮像対象領域の前記光軸方向の位置とを一致させるタイムラプス観察方法を提供する。

本発明の第１２の態様は、第２の態様乃至第１０の態様のいずれか１つに記載のタイムラプス観察方法において、前記標本を配置するステージの前記光軸方向への移動により、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向の位置と前記撮像対象領域の前記光軸方向の位置とを一致させるタイムラプス観察方法を提供する。

本発明の第１３の態様は、第２の態様乃至第１２の態様のいずれか１つに記載のタイムラプス観察方法において、走査手段の走査範囲の変更により、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向と直交するＸＹ方向の位置と前記撮像対象領域の前記ＸＹ方向の位置とを一致させるタイムラプス観察方法を提供する。

本発明の第１４の態様は、第２の態様乃至第１２の態様のいずれか１つに記載のタイムラプス観察方法において、前記標本を配置するステージの前記光軸方向と直交するＸＹ方向への移動により、前記タイムラプス画像を取得するときの撮像領域の前記ＸＹ方向の位置と前記撮像対象領域の前記ＸＹ方向の位置とを一致させるタイムラプス観察方法を提供する。

本発明の第１５の態様は、第２の態様乃至第１４の態様のいずれか１つに記載のタイムラプス観察方法において、初回のタイムラプス画像の取得処理の前に、複数の前記参照領域を撮像して、前記複数の前記参照画像を取得し、前記複数の前記参照位置を記憶し、前記所定の時間間隔毎に行うタイムラプス画像の取得処理の前に、前記複数の前記参照画像の各々に対応する、それぞれ複数の前記比較対象画像を取得し、前記複数の参照画像と対応する前記複数の前記比較対象画像との比較結果に基づいて、前記タイムラプス画像を取得するときの撮像領域を前記撮像対象領域に一致させるタイムラプス観察方法を提供する。

本発明の第１６の態様は、第２の態様乃至第１５の態様のいずれか１つに記載のタイムラプス観察方法において、前記タイムラプス画像及び前記比較対象画像は、蛍光画像であるタイムラプス観察方法を提供する。

本発明の第１７の態様は、第２の態様乃至第１５の態様のいずれか１つに記載のタイムラプス観察方法において、前記タイムラプス画像及び前記比較対象画像は、ＳＨＧ画像であるタイムラプス観察方法を提供する。

本発明の第１８の態様は、第２の態様乃至第１７の態様のいずれか１つに記載の方法に用いられるタイムラプス観察装置を提供する。
本発明の第１９の態様は、第２の態様乃至第１７の態様のいずれか１つに記載の方法に用いられるマルチフォトン顕微鏡を提供する。

本発明によれば、タイムラプス観察において、標本に与えるダメージを抑制しながら、標本の所定の撮像対象領域を撮像したタイムラプス画像を取得する技術を提供することができる。

実施例１に係るタイムラプス観察装置の構成を例示した図である。 実施例１に係るタイムラプス観察装置でタイムラプス画像の取得前に実行される処理について説明するための図である。 実施例１に係るタイムラプス観察装置で取得される複数の比較対象画像のＺ座標と相関値を示した図である。 実施例１に係るタイムラプス観察装置で実行されるタイムラプス観察の処理を示すフローチャートである。 実施例１に係るタイムラプス観察装置で実行されるタイムラプス観察の処理の変形例を示すフローチャートである。 実施例１に係るタイムラプス観察装置で実行されるタイムラプス観察の処理の他の変形例を示すフローチャートである。 実施例２に係るタイムラプス観察装置で実行されるタイムラプス観察の処理を示すフローチャートである。 実施例２に係るタイムラプス観察装置でタイムラプス画像の取得前に実行される参照領域の設定処理について説明するための図である。 実施例３に係るタイムラプス観察装置で実行されるタイムラプス観察の処理を示すフローチャートである。 実施例３に係るタイムラプス観察装置で実行されるタイムラプス観察の処理の変形例を示すフローチャートである。 実施例４に係るタイムラプス観察装置で実行されるタイムラプス観察の処理を示すフローチャートである。 実施例４に係るタイムラプス観察装置でタイムラプス画像の取得前に実行される参照領域の設定処理について説明するための図である。

図１は、本実施例に係るタイムラプス観察装置の構成を例示した図である。まず、図１を参照しながら、本実施例に係るタイムラプス観察装置１の構成について説明する。

図１に例示される本実施例に係るタイムラプス観察装置１は、所定の時間間隔毎に予め設定した標本上の撮像対象領域を撮像してタイムラプス画像を取得する装置である。標本は、例えば、蛍光を発する細胞やコラーゲンを有する生体標本である。その場合、タイムラプス観察装置１は、例えば、第２高調波顕微鏡やマルチフォトン顕微鏡であり、タイムラプス観察装置１で取得される画像（後述するタイムラプス画像、参照画像、比較対象画像など）は、ＳＨＧ画像や蛍光画像である。

タイムラプス観察装置１は、標本に照射するレーザー光を射出するレーザー光源２と、レーザー光で標本を走査するためのスキャナ３と、対物レンズ５が装着された電動ノースピース４と、標本が配置される電動ステージ６と、標本からの光を検出するディテクタ７と、タイムラプス観察装置１全体の動作を制御する制御装置８と、制御装置８で生成された標本の画像を表示する表示装置９とを備えている。
制御装置８は、駆動制御部８ａと、観察条件記憶部８ｂと、画像記憶部８ｃと、画像処理部８ｄと、表示制御部８ｅとを備えている。

駆動制御部８ａは、タイムラプス観察装置１の各構成部位の駆動を制御する。例えば、レーザー光源２の駆動を制御してレーザー光の射出強度を調整する。また、スキャナ３の駆動を制御して走査範囲や走査速度を調整する。また、電動ノースピース４や電動ステージ６の駆動を制御して対物レンズ５により取得される画像領域を変化させる。さらに、ディテクタ７の駆動を制御して検出感度を調整する。

観察条件記憶部８ｂは、タイムラプス観察装置１によるタイムラプス観察の観察条件を記憶する。具体的には、例えば、タイムラプス画像を取得する所定の時間間隔、取得回数などを記憶する。
画像記憶部８ｃは、タイムラプス観察装置１で取得したタイムラプス画像の他、後述する参照画像や比較対象画像を記憶する。

画像処理部８ｄは、タイムラプス観察装置１で取得した画像を処理する。具体的には、例えば、ディテクタ７からの信号とスキャナ３を制御する駆動制御部８ａからの信号に基づいて画像を生成する画像生成処理や、後述するよう参照画像と比較対象画像のパターンマッチング処理などを行う。
表示制御部８ｅは、表示装置９の表示を制御し、タイムラプス画像などを表示装置９に表示させる。

図２は、本実施例に係るタイムラプス観察装置でタイムラプス画像の取得前に実行される処理について説明するための図である。図２に例示される直交座標系のＺ方向は、図１に例示される対物レンズ５の光軸方向と一致している。図３は、本実施例に係るタイムラプス観察装置で取得される複数の比較対象画像のＺ座標と相関値を示した図である。

タイムラプス観察装置１は、標本が移動した場合であってもその移動に追従して標本の撮像対象領域を撮像する。これを実現するために、タイムラプス観察装置１は、タイムラプス画像を取得する前に、撮像領域を標本上の撮像対象領域に一致させる処理を実行する。

なお、本明細書において、撮像領域とは、タイムラプス観察装置により撮像される領域のことを意味し、タイムラプス観察装置を基準として定まる標本の領域である。ディテクタ７の撮像素子の領域（受光面）を意味するものではない。一方、撮像対象領域とは、タイムラプス観察装置により撮像すべき標本の特定の領域を意味し、標本を基準として定まる領域である。従って、標本が移動してもタイムラプス観察装置が動作しない限り、撮像領域は移動しないのに対して、撮像対象領域は、標本が移動すると、移動する。

以下、図２を参照しながら、タイムラプス観察装置１により行われる、撮像領域を標本上の撮像対象領域に一致させる処理動作について説明する。なお、本明細書で撮像領域を撮像対象領域に一致させるとは、撮像領域と撮像対象領域の位置あわせを行うといった程度の意味であり、撮像領域と撮像対象領域が厳密に一致するように位置合わせする場合のみでなく、略一致するように位置合わせする場合も含む。

図２（ａ）には、タイムラプス観察でタイムラプス画像を取得する標本上の領域である撮像対象領域Ｓと、その撮像対象領域Ｓのうちの一部の領域である参照領域Ｒとが示されている。なお、参照領域Ｒも、撮像対象領域Ｓと同様に、標本の特定の領域を意味し、標本を基準として定まる領域である。

まず、タイムラプス観察装置１では、タイムラプス観察開始後の初回のタイムラプス画像取得前に、表示装置９に表示される標本の画像を見ながら撮像対象領域Ｓを設定し、その設定時の撮像対象領域Ｓの位置（以降、初期位置と記す。）とサイズをそれぞれ観察条件記憶部８ｂに保存する。

さらに、表示装置９に表示される標本の画像を見ながら、撮像対象領域Ｓのうちの一部の領域を参照領域Ｒとして設定する。そして、その参照領域Ｒを撮像し、取得した画像を参照画像として画像記憶部８ｃに保存する。また、その参照画像の撮像時の撮像領域の位置とサイズをそれぞれ参照位置、参照サイズとして観察条件記憶部８ｂに保存する。

このように、観察条件記憶部８ｂが初回のタイムラプス画像取得前における撮像対象領域Ｓの位置（初期位置）と参照領域Ｒの位置（参照位置）を記憶することで、予め撮像対象領域Ｓと参照領域Ｒの位置関係を特定する。

なお、観察条件記憶部８ｂに記憶されるこれらの位置は、タイムラプス観察装置１を基準とした位置である。つまり、標本が移動した場合には、移動後の撮像対象領域Ｓ、参照領域Ｒの位置は、それぞれ、初期位置、参照位置とは異なる位置となる。

次に、タイムラプス画像を取得すべき時刻（以降、タイムラプス時刻と記す。）が近づくと、タイムラプス観察装置１は、タイムラプス画像を取得する前に、撮像領域を標本上の撮像対象領域Ｓに一致させるため、図２（ｂ）から図２（ｄ）に示す動作を実行する。

図２（ｂ）には、参照位置に対してＺスタック画像を取得する様子が示されている。タイムラプス観察装置１は、まず、観察条件記憶部８ｂに記憶された参照位置と参照サイズを読み出して、撮像領域のサイズ、位置を、それぞれ、参照サイズ、参照位置に設定する。さらに、参照位置に対してＺ方向（対物レンズ５の光軸方向）の位置のみが異なる複数の位置に順番に設定する。この際、それぞれの位置（参照位置及び複数の異なる位置）で参照領域Ｒと等しいサイズの比較対象領域（比較対象領域Ｍ１からＭ７）を走査して撮像することにより、参照位置に対するＺスタック画像である複数の画像（以降、比較対象画像と記す。）を取得する。取得した複数の比較対象画像は、画像記憶部８ｃに保存する。なお、図２（ｂ）では、比較対象領域Ｍ４の位置が参照位置である。

図２（ｃ）には、参照画像と比較対象領域Ｍ１からＭ７を撮像した複数の比較対象画像の各々とのパターンマッチング処理の結果が示されている。タイムラプス観察装置１では、画像処理部８ｄは、画像記憶部８ｃに記憶された参照画像と各比較対象画像とのパターンマッチング処理を実行することで、図２（ｃ）に示されるような参照画像と各比較対象画像との相関値を得る。そして、参照画像との比較で最も高い相関を示す比較対象画像を特定する。一般的に相関係数を求める場合、相関値は-1から1の値を持つ。値がマイナスの場合は負の相関、プラスの場合は正の相関を持つ。値が１に近いほど相関が高く、値が１の場合は完全に同じ像であるといえる。

図２（ｃ）に示す例では、比較対象領域Ｍ６を撮像した比較対象画像が最も高い相関を示す画像として特定される。なお、画像処理部８ｄが実行するパターンマッチング処理の手法については特に限定されず、既存の任意の手法を用いることができる。

図２（ｄ）には、撮像領域Ｔを標本上の撮像対象領域Ｓと一致させた様子が示されている。タイムラプス観察装置１は、参照画像と複数の比較対象画像との比較結果に基づいて、タイムラプス画像の撮像領域Ｔを標本上の撮像対象領域Ｓに一致させる。

パターンマッチング処理の結果から、図２（ａ）に示す撮像対象領域Ｓ及び参照領域Ｒを設定した後に、標本上の参照領域Ｒは参照位置（比較対象領域Ｍ４の位置）から比較対象領域Ｍ６の位置に移動していると考えられる。従って、撮像対象領域Ｓも標本上の参照領域Ｒが移動した方向に同じ移動量だけ移動していると考えられる。

これを踏まえ、初期位置（図２（ａ）に示す撮像対象領域Ｓの位置）から参照領域Ｒが移動したのと同じ方向に同じ移動量だけ移動した位置に撮像領域Ｔを設定する。つまり、ここでは、撮像領域ＴのＺ位置を比較対象領域Ｍ６のＺ位置に一致させる。さらに、タイムラプス画像の撮像領域Ｔのサイズを観察条件記憶部８ｂに記憶されている撮像対象領域Ｓのサイズと同じサイズに設定する。これにより、撮像領域Ｔと比較対象領域Ｍ６の位置関係が画像記憶部８ｃに記憶されている撮像対象領域Ｓと参照領域Ｒの位置関係と一致することになり、撮像領域Ｔは現時点における標本の撮像対象領域Ｓと一致することになる。

以上のような処理を実行することで、タイムラプス観察装置１は、タイムラプス画像取得時に撮像領域Ｔと標本上の撮像対象領域Ｓとを一致させることができる。

なお、図２では、参照画像と最も相関の高い比較対象画像を特定することで、参照領域Ｒ、即ち、標本の移動量を算出する例を示したが、標本の移動量を算出する方法は、特にこの方法に限られない。より高精度に標本の移動量を算出するために、例えば、図３に例示されるように、複数の比較対象画像のＺ座標及び相関値から、例えば最小二乗法などを用いて、Ｚ座標と相関値の関係を示す関数を算出してもよい。そして、その関数において、相関値が最大となるＺ座標（図３では、Ｚ０）に参照領域Ｒが移動したと推定して標本の移動量を算出してもよい。

図４は、本実施例に係るタイムラプス観察装置で実行されるタイムラプス観察の処理を示すフローチャートである。図４を参照しながら、タイムラプス観察装置１の処理フローについて、具体的に説明する。

まず、ステップＳ１では、タイムラプス観察装置１の観察条件が利用者により設定され、観察条件記憶部８ｂが設定された条件を記憶する。ステップＳ１で設定されるタイムラプス観察装置１の観察条件は、例えば、タイムラプス画像を取得する所定の時間間隔（以降、タイムラプス間隔と記す。）や取得回数、タイムラプス画像を取得する際のレーザー光源２のレーザー光の射出強度やスキャナ３の走査速度などである。

ステップＳ２では、タイムラプス画像として画像化すべき標本の領域が撮像対象領域として利用者により設定される。利用者は、表示装置９に表示された標本の画像を見ながら撮像対象領域を設定する。例えば、表示装置９に表示されている標本の領域（以降、観察領域と記す。）の全体が撮像対象領域と設定される場合であれば、利用者は、タイムラプス観察装置１を操作して観察領域を調整することにより、撮像対象領域を設定する。観察領域内の一部の領域が撮像対象領域と設定される場合であれば、利用者は、観察領域を調整してからその範囲内で撮像対象領域を設定する。観察条件記憶部８ｂは、その設定時の撮像対象領域の位置（初期位置）とサイズを記憶する。

ステップＳ３では、撮像対象領域のうちの一部の領域が参照領域として利用者により設定される。利用者は、表示装置９に表示された標本の画像を見ながら参照領域を設定する。

タイムラプス観察装置１は、設定された参照領域をスキャナ３により走査して撮像し、参照画像を取得する。画像記憶部８ｃは、参照画像を記憶する。観察条件記憶部８ｂは、参照画像の撮像時の撮像領域の位置とサイズをそれぞれ参照位置、参照サイズとして記憶する。

ステップＳ４では、参照位置に対するＺスタック画像である複数の比較対象画像を取得する条件（以降、Ｚスタック条件と記す。）が利用者により設定されて、観察条件記憶部８ｂが設定されたＺスタック条件を記憶する。ステップＳ４で設定されるＺスタック条件は、例えば、比較対象画像を取得する際のＺスタック枚数やＺスタック間隔、比較対象画像を取得する際のレーザー光源２からのレーザー光の射出強度やスキャナ３の走査速度である。なお、比較対象画像と参照画像は同じ条件で取得すること望ましいため、Ｚスタック条件（特に、レーザー光の射出強度や走査速度など）は、ステップＳ３で参照画像を取得する前に、設定されてもよい。

ステップＳ４で設定されるレーザー光の射出強度は、ステップＳ１で設定されるレーザー光の射出強度よりも弱い強度に設定され、走査速度は、ステップＳ１で設定される走査速度よりも高速な速度に設定されることが望ましい。また、後述するパターンマッチング処理を実行するのに十分な画質の比較対象画像を得るために、これらの設定に合わせて、ディテクタ７の検出感度を高感度に設定することが望ましい。具体的には、ゲインやオフセットの設定を高くする。

以上の設定が終了すると、設定された条件に従って所定の時間間隔（タイムラプス間隔）毎に行われるタイムラプス処理が開始される。なお、以降の処理は、利用者の操作を介すことなく、タイムラプス観察装置１により自動的に実行される。また、ステップＳ３、ステップＳ４の処理についても、予め設定された基準に従って自動的に実行されても良い。

ステップＳ５では、タイムラプス観察装置１が複数の比較対象画像を取得する。具体的には、タイムラプス観察装置１は、まず、観察条件記憶部８ｂに記憶された参照位置、参照サイズ、Ｚスタック条件（Ｚスタック枚数、Ｚスタック間隔、レーザー光の射出強度、走査速度、検出感度など）を読み出す。そして、参照位置を含む互いにＺスタック間隔ずつＺ方向にずれた位置のそれぞれで参照サイズの領域を撮像して、Ｚスタック枚数の比較対象画像を取得する。画像記憶部８ｃは、取得した比較対象画像を記憶する。

ステップＳ６では、タイムラプス観察装置１が標本のＸＹ方向の移動量を算出する。具体的には、タイムラプス観察装置１の画像処理部８ｄが、ステップＳ３で取得した参照画像と、ステップＳ５で取得した任意の比較対象画像（例えば、参照位置で撮像した比較対象画像）とを比較することにより、標本のＸＹ方向の移動量を算出する。この移動量の算出には、既知の任意の手法が用いられ得る。

なお、ステップＳ６では、標本のＺ方向の移動量は未だ算出されていない。従って、任意に選択された比較対象画像は、通常、対物レンズ５の焦点位置が参照画像を取得する際とは標本に対して異なるＺ位置にある状態で取得された画像である。このため、任意に選択された比較対象画像は、標本の異なるＺ位置に合焦した画像である。しかしながら、そのＺ位置の違いがわずかであれば、問題はほとんど生じない。

ステップＳ７では、タイムラプス観察装置１が、タイムラプス画像を取得する撮像領域のＸＹ位置を設定する。具体的には、タイムラプス観察装置１は、タイムラプス画像を取得する撮像領域のＸＹ位置を、初期位置からステップＳ６で算出されたＸＹ方向の移動量だけ移動した位置に設定する。

タイムラプス観察装置１は、ステップＳ７の設定に従って、スキャナ３の走査範囲を変更することにより、タイムラプス画像を取得するときの撮像領域のＸＹ位置と撮像対象領域のＸＹ位置とを一致させることができる。電動ステージ６をＸＹ方向へ移動させることによりタイムラプス画像を取得するときの撮像領域のＸＹ位置と撮像対象領域のＸＹ位置とを一致させてもよい。

ステップＳ８では、タイムラプス観察装置１がパターンマッチング処理を実行して標本のＺ方向の移動量を算出する。具体的には、タイムラプス観察装置１の画像処理部８ｄが、ステップＳ３で取得した参照画像とステップＳ５で取得した複数の比較対象画像の各々とのパターンマッチング処理を実行し、各比較対象画像の参照画像との相関値を得る。そして、最も高い相関を示す比較対象画像が撮像された比較対象領域のＺ位置と参照位置のＺ位置との関係から、標本のＺ方向への移動量を算出する。ステップＳ６にて決定されたＸＹ移動量を比較対象画像へ適用させあらかじめ比較対象画像をＸＹ方向にシフトさせた状態で参照画像と相関値を得ると、より精度の良い相関値を得ることができる。

ステップＳ９では、タイムラプス観察装置１が、タイムラプス画像を取得する撮像領域のＺ位置を設定する。具体的には、タイムラプス観察装置１は、タイムラプス画像を取得する撮像領域のＺ位置を、初期位置からステップＳ８で算出されたＺ方向の移動量だけ移動した位置に設定する。

タイムラプス観察装置１は、ステップＳ９の設定に従って、対物レンズ５をＺ方向への移動により、タイムラプス画像を取得するときの撮像領域のＺ位置と撮像対象領域のＺ位置とを一致させることができる。また、電動ステージ６をＺ方向へ移動させることにより、タイムラプス画像を取得するときの撮像領域のＺ位置と撮像対象領域のＺ位置とを一致させてもよい。

ステップＳ１０では、タイムラプス観察装置１が、タイムラプス画像を取得する。具体的には、タイムラプス観察装置１は、撮像領域のサイズを観察条件記憶部８ｂに記憶されている撮像対象領域のサイズと同じサイズに設定する。また、レーザー光源２のレーザー光の射出強度やスキャナ３の走査速度についても、観察条件記憶部８ｂに記憶されたタイムラプス画像取得時の設定に変更する。その後、観察条件記憶部８ｂに記憶された所定の時間間隔（タイムラプス間隔）から算出されるタイムラプス時刻に合わせて、撮像領域に一致した標本の撮像対象領域を撮像して、タイムラプス画像を取得する。画像記憶部８ｃは、取得したタイムラプス画像を記憶する。
ステップＳ１１では、タイムラプス観察装置１が、観察条件記憶部８ｂに記憶された所定の取得回数だけタイムラプス画像が取得されたか否かが判断される。

所定の取得回数だけタイムラプス画像が取得されていない場合には、タイムラプス観察装置１は、次のタイムラプス時刻が近づくまで待機する（ステップＳ１２）。そして、その後、ステップＳ５からステップＳ１１までの処理を繰り返す。なお、待機時間間隔は、例えば、ステップＳ５からステップＳ１０までの処理時間を考慮した上で、できる限りタイムラプス間隔に近い時間間隔が設定されることが望ましい。一方、所定の取得回数だけタイムラプス画像が取得されている場合には、タイムラプス観察装置１は、処理を終了する。

以上、本実施例に係るタイムラプス観察装置１によれば、標本が移動した場合であっても標本の移動に追従して、撮像領域を標本上の撮像対象領域に一致させることができる。このため、タイムラプス観察において、標本に与えるダメージを抑制しながら、生きた標本の所定の撮像対象領域を撮像したタイムラプス画像を取得することができる。従って、標本を長時間生かした状態で標本の所定の領域を観察することができる。

また、タイムラプス観察装置１では、標本の移動に追従するために取得する画像（比較対象画像）とは別に、タイムラプス画像を取得する。このため、タイムラプス画像を取得するタイミングはスケジュールにより正確に管理することができる。

また、タイムラプス観察装置１では、タイムラプス画像を取得する撮像対象領域に比べて狭い領域（図２（ｂ）の比較対象領域Ｍ１からＭ７）に対してレーザー光を照射してＺスタック画像（比較対象画像）を取得する。このため、タイムラプス画像取得前の処理により標本が負うダメージは極めて限定的であり、例えば、Ｚスタック画像を取得するために撮像対象領域全体にレーザー光を照射する従来の標本追従技術に比べて、標本に与えるダメージを大きく抑制することができる。さらに、Ｚスタック画像を取得する領域が狭いことから、Ｚスタック画像の取得に要する時間も従来に比べて短縮することができる。

また、タイムラプス画像を取得するときに撮像対象領域に照射される単位面積当たりのレーザー光の光量に比べて少ない単位面積当たりの光量を照射して、Ｚスタック画像（比較対象画像）を取得することで、標本に与えるダメージをさらに抑制することができる。

単位面積当たりのレーザー光の光量を抑制して標本のダメージを抑える具体的な方法としては、例えば、次のような方法がある。第１に、タイムラプス画像を取得するときに撮像対象領域に光を照射する単位面積当たりの照射時間に比べて短い単位面積当たりの照明時間で、レーザー光を照射して、Ｚスタック画像（比較対象画像）を取得する方法がある。また、第２に、タイムラプス画像を取得するときに撮像対象領域に照射する光の強度に比べて弱い強度の光を照射して、Ｚスタック画像（比較対象画像）を取得する方法がある。いずれの方法も、比較対象画像に求められる画質がタイムラプス画像の画質に比べて低いもので足りることを利用するものである。なお、この場合、標本の移動量の算出が可能な範囲内に画質の劣化を抑えるために、検出感度を上げてディテクタ７を動作させることが望ましい。

なお、本実施例に係るタイムラプス観察装置１は、in vivo観察で用いられる種々の顕微鏡に応用され得る。それらの中でも、コントラストＡＦなどの既存の合焦技術を利用して標本のＺ方向への移動に追従する方法が採用し得ない顕微鏡、例えば、マルチフォトン顕微鏡などへの応用は、特に好適である。マルチフォトン顕微鏡は、例えば、標本の深部を観察することができる、標本に与えるダメージを抑制することができる、などの特徴の点からも見ても、本実施例に係るタイムラプス観察装置１の応用例として好適である。

また、図４では、ＸＹ方向の追従に関して、ステップＳ６で算出したＸＹ方向の移動量に基づいて撮像領域を標本上の撮像対象領域と一致させる例を示した。しかし、ＸＹ方向の追従の方法は、他の方法により行われても良い。例えば、ステップＳ１０の直前に、画像処理部８ｄが、ステップＳ３で取得した参照画像とステップＳ８で取得した最も高い相関を示す比較対象画像とを比較することにより、標本のＸＹ方向の移動量を算出して、その移動量に基づいて撮像領域を標本上の撮像対象領域と一致させてもよい。

また、図４では、標本のＸＹ方向の移動量が比較的小さい場合を例に説明したが、ステップＳ６で算出されたＸＹ方向の移動量が比較的大きい場合など、撮像対象領域が観察領域外に移動している場合には、例えば、以下のような方法を併用することが望ましい。

ステップＳ５で比較対象画像を取得する前に、まず、撮像領域のサイズを撮像対象領域と同じサイズに設定した上で、ステップＳ５で取得される比較対象画像のＺスタック幅よりも広い間隔で別途Ｚスタック画像を取得する。そして、取得されたそれらの画像と前回のタイムラプス画像とを比較することで、ある程度の誤差を許容した上で、撮像領域を標本上の撮像対象領域に一致させる。その後、さらに、精度良く撮像領域を標本上の撮像対象領域に一致させるために、ステップＳ５以降の処理を実行する。

このような方法を図４に例示される方法と併用することで、標本の移動量が大きい場合であって、標本に与えるダメージを抑制しながら、標本を追従することができる。

図５及び図６は、それぞれ本実施例に係るタイムラプス観察装置で実行されるタイムラプス観察の処理の変形例を示すフローチャートである。なお、図４で上述した処理と同一の処理には、同一のステップ番号を付して説明を省略する。

図５に例示されるタイムラプス観察の処理フローは、ステップＳ６からステップＳ９で示される処理の代わりに、ステップＳ１３からステップＳ１６で示される処理を含む点が、図４に例示されるタイムラプス観察装置１の処理フローと異なっている。

図５に例示される処理フローで動作するタイムラプス観察装置１は、ステップＳ５で複数の比較対象画像を取得した後に、画像処理部８ｄにより標本のＺ方向の移動量を算出するためにパターンマッチング処理が実行される（ステップＳ１３）。そして、タイムラプス観察装置１は、算出されたＺ方向の移動量を基に撮像領域のＺ位置を設定する（ステップＳ１４）。なお、ステップＳ１３、ステップＳ１４の処理は、図４に例示されるステップＳ８、ステップＳ９の処理と同じである。

その後、標本のＸＹ方向の移動量を算出する（ステップＳ１５）。この処理は、図４に例示されるステップＳ６に相当する処理である。ただし、ステップＳ１５では、参照画像とステップＳ１３において最も高い相関を示す画像として特定された比較対象画像とを比較することにより、標本のＸＹ方向の移動量を算出する点が、図４に例示されるステップＳ６と異なっている。

そして、タイムラプス観察装置１が、ステップＳ１５で算出されたＸＹ方向の移動量を基に撮像領域のＸＹ位置を設定する（ステップＳ１６）。ステップＳ１６の処理は、図４に例示されるステップＳ７の処理と同じである。

本実施例に係るタイムラプス観察装置１は、図５に例示されるタイムラプス観察の処理の変形例を実行するように構成された場合であっても、図４に例示されるタイムラプス観察の処理を実行するように構成された場合と同様の効果を得ることができる。さらに、図５に例示される処理を実行する場合には、Ｚ方向の位置が一致した画像の比較によりＸＹ方向の移動量が算出されるため、ＸＹ方向の移動量の算出精度が向上し、その結果、より高い精度で撮像領域と撮像対象領域を一致させることが可能となる。従って、標本に与えるダメージを抑制しながら、生きた標本の所定の撮像対象領域をより精度良く撮像したタイムラプス画像を取得することができる。

図６に例示されるタイムラプス観察の処理フローは、ステップＳ５からステップＳ９で示される処理の代わりに、ステップＳ１７からステップＳ２２で示される処理を含む点が、図４に例示されるタイムラプス観察装置１の処理フローと異なっている。

図６に例示される処理フローで動作するタイムラプス観察装置１は、ステップＳ４でＺスタック条件を設定した後に（または、ステップＳ１２でタイムラプス時刻が近づくまで待機した後に）、まず、撮像領域の位置、サイズを、それぞれ参照位置、参照サイズに設定して、一枚の比較対象画像を取得する（ステップＳ１７）。そして、画像処理部８ｄが、参照画像とステップＳ１７で取得した比較対象画像とを比較することにより、標本のＸＹ方向の移動量を算出する（ステップＳ１８）。

その後に、タイムラプス観察装置１が標本のＺ方向の移動量を算出するために用いられる複数の比較対象画像を取得する（ステップＳ１９）。ただし、ステップＳ１９では、タイムラプス観察装置１が撮像領域の位置を参照位置からステップＳ１８で算出されたＸＹ方向の移動量だけ移動させてから、その移動後の位置を含む互いにＺスタック間隔ずつＺ方向にずれた位置のそれぞれで参照サイズの領域を撮像して、Ｚスタック枚数の比較対象画像を取得する。

そして、タイムラプス観察装置１は、ステップＳ１８で算出されたＸＹ方向の移動量を基にタイムラプス画像を取得する撮像領域のＸＹ位置を設定する（ステップＳ２０）。さらに、標本のＺ方向の移動量を算出するためにパターンマッチング処理を実行し（ステップＳ２１）、算出されたＺ方向の移動量を基にタイムラプス画像を取得する撮像領域のＺ位置を設定する（ステップＳ２２）。なお、ステップＳ２０からステップＳ２２の処理は、図４に例示されるステップＳ７からステップＳ９の処理と同じである。

本実施例に係るタイムラプス観察装置１は、図６に例示されるタイムラプス観察の処理の変形例を実行するように構成された場合であっても、図４に例示されるタイムラプス観察の処理を実行するように構成された場合と同様の効果を得ることができる。さらに、図６に例示される処理を実行する場合には、ＸＹ方向の位置が参照画像と一致している複数の比較対象画像を用いて標本のＺ方向の移動量が算出されるため、Ｚ方向の移動量の算出精度が向上する。その結果、より高い精度で撮像領域と撮像対象領域を一致させることができる。従って、標本に与えるダメージを抑制しながら、生きた標本の所定の撮像対象領域をより精度良く撮像したタイムラプス画像を取得することができる。

図７は、本実施例に係るタイムラプス観察装置で実行されるタイムラプス観察の処理を示すフローチャートである。図８は、本実施例に係るタイムラプス観察装置でタイムラプス画像の取得前に実行される参照領域の設定処理について説明するための図である。本実施例に係るタイムラプス観察装置は、撮像対象領域の外側の領域を参照領域として設定する点が、実施例１に係るタイムラプス観察装置１と異なっている。本実施例に係るタイムラプス観察装置の構成は、図１に例示される実施例１に係るタイムラプス観察装置１の構成と同様である。

以下、図７及び図８を参照しながら、本実施例に係るタイムラプス観察装置の処理フローについて、図４に例示される実施例１に係るタイムラプス観察装置１の処理フローとの相違点に注目して、具体的に説明する。なお、図４で上述した処理と同一の処理には、同一のステップ番号を付して説明を省略する。

図７に例示されるタイムラプス観察の処理フローは、ステップＳ２３、ステップＳ２４、及び、ステップＳ２５で示される処理が追加されている点が、図４に例示される処理フローと異なっている。

本実施例に係るタイムラプス観察装置は、ステップＳ２で撮像対象領域を設定した後に、表示装置９に表示される観察領域の位置を移動させて標本の異なる領域を表示装置９に表示する（ステップＳ２３）。

なお、以降では、ステップＳ２３での移動前の観察領域の位置を第１の位置と記し、ステップＳ２３での移動後の観察領域の位置を第２の位置と記す。第１の位置は、タイムラプス画像を取得する際の観察領域の位置であり、第２の位置は、Ｚスタック画像を取得する際の観察領域の位置である。

そして、ステップＳ３で、図８に例示されるように、撮像対象領域Ｓの外側の領域を参照領域Ｒ１として設定する。参照領域Ｒ１は、標本が移動した場合であっても撮像対象領域Ｓとの位置関係が維持される領域であることが必要である。このため、撮像対象領域Ｓから大きく離れた領域は好ましくなく、撮像対象領域Ｓの近傍に参照領域Ｒ１を設定する。なお、撮像対象領域Ｓとの位置関係が維持される限りは、参照領域Ｒ１は撮像対象領域Ｓと同一平面（ＸＹ平面）に位置する必要はない。また、標本に与えるダメージをさらに抑制するために、撮像対象領域Ｓよりも狭く設定する。

また、本実施例に係るタイムラプス観察装置は、ステップＳ５でＺスタック画像を取得した後に、観察領域の位置を第１の位置に移動させて観察領域を変更し（ステップＳ２４）、ステップＳ１２の待機する前に、観察領域の位置を第２の位置に移動させて観察領域を変更する（ステップＳ２５）。

なお、ステップＳ６で算出されたＸＹ方向の移動量に基づいて、さらに観察領域の移動が必要と判断される場合には、タイムラプス画像取得前に観察領域の位置を第１の位置からさらに移動させても良い。

以上、本実施例に係るタイムラプス観察装置によっても、実施例１に係るタイムラプス観察装置１と同様の効果を得ることができる。即ち、タイムラプス観察において、標本に与えるダメージを抑制しながら、生きた標本の所定の撮像対象領域を撮像したタイムラプス画像を取得することができる。

また、本実施例に係るタイムラプス観察装置では、参照領域が撮像対象領域の外側に設定されているため、実施例１に係るタイムラプス観察装置１に比べて、標本の撮像部位（撮像撮像領域）へのダメージをさらに抑制することができる。

図９は、本実施例に係るタイムラプス観察装置で実行されるタイムラプス観察の処理を示すフローチャートである。本実施例に係るタイムラプス観察装置は、参照画像を最も相関が高い画像として特定された比較対象画像で更新する点が、実施例１に係るタイムラプス観察装置１と異なっている。本実施例に係るタイムラプス観察装置の構成は、図１に例示される実施例１に係るタイムラプス観察装置１の構成と同様である。

以下、図９を参照しながら、本実施例に係るタイムラプス観察装置の処理フローについて、図４に例示される実施例１に係るタイムラプス観察装置１の処理フローとの相違点に注目して、具体的に説明する。なお、図４で上述した処理と同一の処理には、同一のステップ番号を付して説明を省略する。
図９に例示されるタイムラプス観察の処理フローは、ステップＳ２６で示される処理が追加されている点が、図４に例示される処理フローと異なっている。

本実施例に係るタイムラプス観察装置は、ステップＳ１１で所定の取得回数だけタイムラプス画像が取得されていないと判断されると、画像記憶部８ｃに記憶されている参照画像を、ステップＳ８で実行されたパターンマッチング処理により特定された最も高い相関を示す比較対象画像で更新する（ステップＳ２６）。これに合わせて、観察条件記憶部８ｂに記憶されている参照位置も、その最も高い相関を示す比較対象画像の撮像時の撮像領域の位置で更新する。

なお、最も高い相関を示す比較対象画像で自動的に参照画像を更新する代わりに、例えば、表示装置９に更新前の参照画像と更新予定の画像（最も高い相関を示す比較対象画像）とを並べて表示して、参照画像を更新するか否かを利用者に選択させてもよい。また、この場合、タイムラプス処理の遅延や停止などを防止するために、更新するか否かについて利用者からの選択指示が一定時間以上入力されなかったときには、参照画像を更新せずに、または、参照画像を更新して、ステップＳ２５を終了するように構成してもよい。

以上、本実施例に係るタイムラプス観察装置によっても、実施例１に係るタイムラプス観察装置１と同様の効果を得ることができる。即ち、タイムラプス観察において、標本に与えるダメージを抑制しながら、生きた標本の所定の撮像対象領域を撮像したタイムラプス画像を取得することができる。

また、一般に、生体標本を対象とするタイムラプス観察では、時間の経過とともに標本の位置だけでなく標本の形状や色も変化する。このため、タイムラプス観察開始直後の取得された参照画像に現された標本と現時点の標本との相違も、時間の経過とともに大きくなり、その結果、パターンマッチングで得られる相関値も低くなる。このような状態は、パターンマッチングの判定精度を低下させることになるため、算出される標本の移動量の精度の低下を引き起こすことがある。

このような課題に対しても、本実施例に係るタイムラプス観察装置によれば、タイムラプス画像を取得する度に参照画像が更新されるため、参照画像に現される標本と現時点の標本との乖離を小さく抑えることが可能となり、その結果、時間の経過とともに生じる標本の移動量の精度の低下を抑えることができる。従って、実施例１に係るタイムラプス観察装置１に比べて、より長時間にわたって標本の所定の領域を観察することができる。
図１０は、本実施例に係るタイムラプス観察装置で実行されるタイムラプス観察の処理の変形例を示すフローチャートである。

図１０に例示されるタイムラプス観察の処理フローは、参照画像を更新するか否かについて利用者に選択させる点（ステップＳ２７）、参照画像を更新する場合に利用者が参照領域を改めて設定して参照画像を取得し直す点（ステップＳ２８）、Ｚスタック条件を改めて設定し直す点（ステップＳ２９）が、図９に例示されるタイムラプス観察装置の処理フローと異なっている。なお、ステップＳ２８、ステップＳ２９の処理は、図９に例示されるステップＳ３、ステップＳ４の処理と同じである。

本実施例に係るタイムラプス観察装置は、図１０に例示されるタイムラプス観察の処理の変形例を実行するように構成された場合であっても、図９に例示されるタイムラプス観察の処理を実行するように構成された場合と同様の効果を得ることができる。

図１１は、本実施例に係るタイムラプス観察装置で実行されるタイムラプス観察の処理を示すフローチャートである。図１２は、本実施例に係るタイムラプス観察装置でタイムラプス画像の取得前に実行される参照領域の設定処理について説明するための図である。本実施例に係るタイムラプス観察装置は、一の撮像対象領域に対して複数の参照領域を設定して複数の参照画像を取得する。そして、その複数の参照画像を利用して撮像領域を標本上の撮像対象領域に一致させる点が、実施例１に係るタイムラプス観察装置１と異なっている。本実施例に係るタイムラプス観察装置の構成は、図１に例示される実施例１に係るタイムラプス観察装置１の構成と同様である。
図１１を参照しながら、タイムラプス観察装置の処理フローについて、具体的に説明する。

まず、ステップＳ３０では、タイムラプス観察装置の観察条件が利用者により設定され、観察条件記憶部８ｂが設定された条件を記憶する。ステップＳ３１では、タイムラプス画像として画像化すべき標本の領域が撮像対象領域として利用者により設定される。観察条件記憶部８ｂは、その設定時の撮像対象領域の位置（初期位置）とサイズを記憶する。なお、ステップＳ３０、ステップＳ３１の処理は、図４に例示されるステップＳ１、ステップＳ２の処理と同じである。
次に、設定する参照領域の数Ｎを指定し（ステップＳ３２）、参照領域の番号を管理する一時変数ｉをｉ＝１に設定する（ステップＳ３３）。

ステップＳ３４では、撮像対象領域のうちの一部の領域が参照領域として利用者により設定される。利用者は、表示装置９に表示された標本の画像を見ながらｉ番目の参照領域を設定する。タイムラプス観察装置は、設定されたｉ番目の参照領域を走査して撮像し、ｉ番目の参照画像を取得する。画像記憶部８ｃは、取得したｉ番目の参照画像を記憶する。観察条件記憶部８ｂは、ｉ番目の参照画像の撮像時の撮像領域の位置とサイズをそれぞれｉ番目の参照位置、参照サイズとして記憶する。

ステップＳ３５では、ｉ番目の参照位置に対するＺスタック画像である複数の比較対象画像を取得する条件（以降、Ｚスタック条件と記す。）が利用者により設定されて、観察条件記憶部８ｂが設定されたｉ番目のＺスタック条件を記憶する。

その後、一時変数ｉがｉ＝Ｎであるか否か、即ち、Ｎ個の参照画像が取得済みか否かを判定する（ステップＳ３６）。取得済みでない場合には、一時変数ｉを１だけインクリメントして（ステップＳ３７）、ステップＳ３４からステップＳ３６の処理を繰り返す。なお、ステップＳ３４、ステップＳ３５の処理は、図４に例示されるステップＳ３、ステップＳ４の処理に相当する。
Ｎ個の参照画像の取得が終了すると、設定された条件に従って所定の時間間隔（タイムラプス間隔）毎に行われるタイムラプス処理が開始される。

まず、参照領域の番号を管理する一時変数ｉを再びｉ＝１に設定する（ステップＳ３８）。そして、ステップＳ３９では、タイムラプス観察装置がｉ番目の参照画像に対応する、複数の比較対象画像を取得する。具体的には、タイムラプス観察装置は、まず、観察条件記憶部８ｂに記憶されたｉ番目の参照位置、参照サイズ、Ｚスタック条件（Ｚスタック枚数、Ｚスタック間隔、レーザー光の射出強度、走査速度、検出感度など）に従って、複数の比較対象画像を取得する。画像記憶部８ｃは、取得したｉ番目の参照画像に対応する、複数の比較対象画像を記憶する。

ステップＳ４０では、タイムラプス観察装置が標本のＸＹ方向の移動量を算出する。具体的には、タイムラプス観察装置の画像処理部８ｄが、ステップＳ３４で取得したｉ番目の参照画像と、ステップＳ３９で取得したｉ番目の参照画像に対応する比較対象画像、例えば、参照位置で撮像した比較対象画像とを比較することにより、標本のＸＹ方向の移動量を算出する。

ステップＳ４１では、タイムラプス観察装置がパターンマッチング処理を実行して標本のＺ方向の移動量を算出する。具体的には、タイムラプス観察装置の画像処理部８ｄが、ステップＳ３４で取得したｉ番目の参照画像とステップＳ３９で取得したｉ番目の参照画像に対応する複数の比較対象画像の各々とのパターンマッチング処理を実行し、各比較対象画像の参照画像との相関値を得る。そして、最も高い相関を示す比較対象画像が撮像された比較対象領域のＺ位置と参照位置のＺ位置との関係から、標本のＺ方向への移動量を算出する。

その後、一時変数ｉがｉ＝Ｎであるか否か、Ｎ個の参照画像から標本のＸＹ方向、Ｚ方向の移動量をそれぞれＮ個算出が取得済みか否かを判定する（ステップＳ４２）。算出済みでない場合には、一時変数ｉを１だけインクリメントして（ステップＳ４３）、ステップＳ３９からステップＳ４２の処理を繰り返す。なお、ステップＳ３９、ステップＳ４０、ステップＳ４１の処理は、図４に例示されるステップＳ５、ステップＳ６、ステップＳ８の処理に相当する。

ステップＳ４４では、タイムラプス観察装置が、タイムラプス画像を取得する撮像領域のＸＹ位置及びＺ位置を設定する。具体的には、ステップＳ４０及びステップＳ４１で算出されたそれぞれＮ個のＸＹ方向、Ｚ方向の移動量を考慮して、標本のＸＹ方向の移動量とＹ方向の移動量を再計算する。そして、タイムラプス画像を取得する撮像領域のＸＹ位置及びＺ位置を、初期位置から再計算により得られた移動量だけ移動した位置に設定する。
ステップＳ４５では、タイムラプス観察装置が、タイムラプス画像を取得する。そして、画像記憶部８ｃが、取得したタイムラプス画像を記憶する。

ステップＳ４６では、タイムラプス観察装置１が、観察条件記憶部８ｂに記憶された所定の取得回数だけタイムラプス画像が取得されたか否かが判断される。所定の取得回数だけタイムラプス画像が取得されていない場合には、タイムラプス観察装置は、次のタイムラプス時刻が近づくまで待機し（ステップＳ４７）、その後、ステップＳ３８からステップＳ４６までの処理を繰り返す。一方、所定の取得回数だけタイムラプス画像が取得されている場合には、タイムラプス観察装置は、処理を終了する。

以上、本実施例に係るタイムラプス観察装置によっても、実施例１に係るタイムラプス観察装置１と同様の効果を得ることができる。即ち、タイムラプス観察において、標本に与えるダメージを抑制しながら、生きた標本の所定の撮像対象領域を撮像したタイムラプス画像を取得することができる。

また、本実施例に係るタイムラプス観察装置では、複数の参照領域を設定し複数の参照画像を用いて標本の移動量を算出するため、より標本の移動量をより高精度に算出することができる。従って、標本に与えるダメージを抑制しながら、生きた標本の所定の撮像対象領域をさらに精度良く撮像したタイムラプス画像を取得することができる。
なお、実施例２から実施例４に係るタイムラプス観察装置で実行される処理についても、図５や図６に例示されるような種々の変形を施すことができる。

１・・・タイムラプス観察装置
２・・・レーザー光源
３・・・スキャナ
４・・・電動ノースピース
５・・・対物レンズ
６・・・電動ステージ
７・・・ディテクタ
８・・・制御装置
８ａ・・・駆動制御部
８ｂ・・・観察条件記憶部
８ｃ・・・画像記憶部
８ｄ・・・画像処理部
８ｅ・・・表示制御部
９・・・表示装置
Ｔ・・・撮像対象領域
Ｒ、Ｒ１、Ｒ２、Ｒ３・・・参照領域
Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍ７・・・比較対象領域

Claims (19)

1. 撮像領域を予め設定した標本上の撮像対象領域に一致させて、所定の時間間隔毎に前記撮像対象領域を撮像してタイムラプス画像を取得するタイムラプス観察方法であって、
   初回の前記タイムラプス画像の取得処理の前に、
   前記撮像対象領域のうちの一部の領域、または、前記撮像対象領域の近傍で且つ前記撮像対象領域よりも狭い領域である標本上の参照領域を撮像して、参照画像を取得し、
   前記参照画像の撮像時における撮像領域の位置、サイズをそれぞれ参照位置、参照サイズとして記憶し、
   前記所定の時間間隔毎に行う前記タイムラプス画像の取得処理の前に、
   撮像領域のサイズを前記参照サイズに設定して、撮像領域の位置を前記参照位置を含む対物レンズの光軸方向に異なる複数の位置に順番に設定して、前記複数の位置の各々で撮像して、複数の比較対象画像を取得し、
   前記参照画像と前記複数の比較対象画像との比較結果に基づいて、前記タイムラプス画像を取得するときの撮像領域を前記撮像対象領域に一致させる
   ことを特徴とするタイムラプス観察方法。
2. 請求項１に記載のタイムラプス観察方法において、
   前記参照画像と前記複数の比較対象画像の各々とのパターンマッチング処理により前記参照画像と最も相関が高い比較対象画像を特定し、
   前記最も相関が高い比較対象画像と前記参照画像との前記光軸方向の位置関係に基づいて、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向の位置と前記撮像対象領域の前記光軸方向の位置とを一致させる
   ことを特徴とするタイムラプス観察方法。
3. 請求項２に記載のタイムラプス観察方法において、
   前記参照画像と前記最も相関が高い比較対象画像との比較結果に基づいて、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向と直交するＸＹ方向の位置と前記撮像対象領域の前記ＸＹ方向の位置とを一致させる
   ことを特徴とするタイムラプス観察方法。
4. 請求項２に記載のタイムラプス観察方法において、
   前記参照画像と前記参照位置で撮像した前記比較対象画像との比較結果に基づいて、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向と直交するＸＹ方向の位置と前記撮像対象領域の前記ＸＹ方向の位置とを一致させる
   ことを特徴とするタイムラプス観察方法。
5. 請求項２乃至請求項４のいずれか１項に記載のタイムラプス観察方法において、
   前記タイムラプス画像を取得するときに前記撮像対象領域に照射される単位面積当たりの光量に比べて少ない単位面積当たりの光量を照射して、前記複数の比較対象画像を取得する
   ことを特徴とするタイムラプス観察方法。
6. 請求項５に記載のタイムラプス観察方法において、
   前記タイムラプス画像を取得するときに前記撮像対象領域に光を照射する単位面積当たりの照射時間に比べて短い単位面積当たりの照明時間で光を照射して、前記複数の比較対象画像を取得する
   ことを特徴とするタイムラプス観察方法。
7. 請求項５に記載のタイムラプス観察方法において、
   前記タイムラプス画像を取得するときに前記撮像対象領域に照射する光の強度に比べて弱い強度の光を照射して、前記複数の比較対象画像を取得する
   ことを特徴とするタイムラプス観察方法。
8. 請求項６または請求項７に記載のタイムラプス観察方法において、
   前記タイムラプス画像を取得するときの検出器の感度の設定に比べて高い検出器の感度の設定で前記複数の比較対象画像を取得する
   ことを特徴とするタイムラプス観察方法。
9. 請求項２乃至請求項８のいずれか１項に記載のタイムラプス観察方法において、さらに、
   前記タイムラプス画像を取得する毎に、前記参照画像を更新し、更新された前記参照画像の撮像時における撮像領域の位置で前記参照位置を更新する
   ことを特徴とするタイムラプス観察方法。
10. 請求項９に記載のタイムラプス観察方法において、
    前記タイムラプス画像を取得する毎に、前回の前記タイムラプス画像を取得する前に取得した前記複数の比較対象画像からパターンマッチング処理により特定された前記最も相関が高い比較対象画像で前記参照画像を更新し、更新された前記参照画像の撮像時における撮像領域の位置で前記参照位置を更新する
    ことを特徴とするタイムラプス観察方法。
11. 請求項２乃至請求項１０のいずれか１項に記載のタイムラプス観察方法において、
    前記対物レンズの前記光軸方向への移動により、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向の位置と前記撮像対象領域の前記光軸方向の位置とを一致させる
    ことを特徴とするタイムラプス観察方法。
12. 請求項２乃至請求項１０のいずれか１項に記載のタイムラプス観察方法において、
    前記標本を配置するステージの前記光軸方向への移動により、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向の位置と前記撮像対象領域の前記光軸方向の位置とを一致させる
    ことを特徴とするタイムラプス観察方法。
13. 請求項２乃至請求項１２のいずれか１項に記載のタイムラプス観察方法において、
    走査手段の走査範囲の変更により、前記タイムラプス画像を取得するときの撮像領域の前記光軸方向と直交するＸＹ方向の位置と前記撮像対象領域の前記ＸＹ方向の位置とを一致させる
    ことを特徴とするタイムラプス観察方法。
14. 請求項２乃至請求項１２のいずれか１項に記載のタイムラプス観察方法において、
    前記標本を配置するステージの前記光軸方向と直交するＸＹ方向への移動により、前記タイムラプス画像を取得するときの撮像領域の前記ＸＹ方向の位置と前記撮像対象領域の前記ＸＹ方向の位置とを一致させる
    ことを特徴とするタイムラプス観察方法。
15. 請求項２乃至請求項１４のいずれか１項に記載のタイムラプス観察方法において、
    初回のタイムラプス画像の取得処理の前に、
    複数の前記参照領域を撮像して、前記複数の前記参照画像を取得し、
    前記複数の前記参照位置を記憶し、
    前記所定の時間間隔毎に行うタイムラプス画像の取得処理の前に、
    前記複数の前記参照画像の各々に対応する、それぞれ複数の前記比較対象画像を取得し、
    前記複数の参照画像と対応する前記複数の前記比較対象画像との比較結果に基づいて、前記タイムラプス画像を取得するときの撮像領域を前記撮像対象領域に一致させる
    ことを特徴とするタイムラプス観察方法。
16. 請求項２乃至請求項１５のいずれか１項に記載のタイムラプス観察方法において、
    前記タイムラプス画像及び前記比較対象画像は、蛍光画像である
    ことを特徴とするタイムラプス観察方法。
17. 請求項２乃至請求項１５のいずれか１項に記載のタイムラプス観察方法において、
    前記タイムラプス画像及び前記比較対象画像は、ＳＨＧ画像である
    ことを特徴とするタイムラプス観察方法。
18. 請求項２乃至請求項１７のいずれか１項に記載の方法に用いられることを特徴とするタイムラプス観察装置。
19. 請求項２乃至請求項１７のいずれか１項に記載の方法に用いられることを特徴とするマルチフォトン顕微鏡。

Images