JP2004191846A - レーザ走査型顕微鏡 - Google Patents
レーザ走査型顕微鏡 Download PDFInfo
- Publication number
- JP2004191846A JP2004191846A JP2002362466A JP2002362466A JP2004191846A JP 2004191846 A JP2004191846 A JP 2004191846A JP 2002362466 A JP2002362466 A JP 2002362466A JP 2002362466 A JP2002362466 A JP 2002362466A JP 2004191846 A JP2004191846 A JP 2004191846A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- observation
- sample
- observation point
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】標本の観察中の調整作業を不要とすると共に、長時間に及ぶ観察でも確実に期待できる３次元画像データを取得すること。
【解決手段】予め設定されたインターバル時間間隔で、変化量検出部３５により複数の観察ポイントにおける例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データを作成し、これらエクステンド画像データを比較して時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとを検出し、補正部３６により位置ずれとフォーカスずれとに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さを補正する。
【選択図】 図１
【解決手段】予め設定されたインターバル時間間隔で、変化量検出部３５により複数の観察ポイントにおける例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データを作成し、これらエクステンド画像データを比較して時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとを検出し、補正部３６により位置ずれとフォーカスずれとに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さを補正する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ステージ上に載せられた標本上の複数ポイントにおける時間経過に伴って変化する３次元的な様子を観察するために、各観察ポイントにおける３次元画像データを所定時間毎に繰り返し取得するレーザ走査型顕微鏡に関する。
【０００２】
【従来の技術】
レーザ走査型顕微鏡は、共焦点光学系を有する。この共焦点光学系は、対物レンズによる標本の焦点と共役な位置にピンホールを配置し、標本の非焦点位置からのボケ像を除外し、焦点位置の像のみをピンホールに通過させる。これにより、共焦点光学系は、高い共焦点効果（光学的セクショニング効果）を得る。この共焦点光学系を用いれば、所定の厚さを有する標本の断層面のスライス像が容易に取得できる。
【０００３】
レーザ走査型顕微鏡としては、例えば特許文献１に記載されている。この特許文献１は、標本として生きている細胞に対して様々な刺激を与え、この刺激に対する標本の経時的な反応を観察することによって、標本の３次元的な時間変化を観察することを記載する。
【０００４】
又、レーザ走査型顕微鏡は、電動ステージを有する。この共焦点光学顕微鏡は、複数の観察ポイントを指定することにより、電動ステージの駆動により各観察ポイントに自動的に移動し、これら観察ポイント毎の３次元的な時間変化を観察する。
【０００５】
【特許文献１】
特開平６−２７３８３号公報
【０００６】
【発明が解決しようとする課題】
標本を長時間観察する場合、時間経過によって共焦点光学顕微鏡の状態が変化する。例えばレーザ走査型顕微鏡は、温度変化により顕微鏡本体に歪みが生じる。これにより、レーザ走査型顕微鏡は、標本に対するフォーカスすなわち対物レンズと標本との間隔が変化する。
【０００７】
標本は、時間経過に伴って位置を移動したり又は形状を変化する。これにより、標本は、常に同一位置（ＸＹ平面上の位置）に存在しなくなる。このため、レーザ走査型顕微鏡において観察開始時に決定した条件、例えばステージ位置、フォーカス位置などの条件を変えずに観察を続けると、観察の途中から標本の位置がずれてしまう。この結果、標本の観察像から期待するデータが取得できなくなる。
【０００８】
このような事から標本の３次元画像の観察の合間に、標本の観察ポイントやフォーカス位置の調整作業が必要になる。このため、観察者は、標本の観察中に観察ポイントやフォーカス位置の調整作業を強いられる。そのうえ電動ステージを有するレーザ走査型顕微鏡では、複数の観察ポイントの各ステージ位置や各フォーカス位置をそれぞれ標本の観察中に調整作業しなければならず、非常に煩雑な調整作業になる。
【０００９】
そこで本発明は、標本の観察中の調整作業を不要とすると共に、長時間に及ぶ観察でも確実に期待できる３次元画像データを取得できるレーザ走査型顕微鏡を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、標本上の観察ポイントにおける３次元画像データを所定時間毎に繰り返し取得するレーザ走査型顕微鏡において、所定時間毎に繰り返し取得された３次元画像データを保存する画像保存手段と、この画像保存手段に保存された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本に関する変化量を検出する変化量検出手段と、標本に関する変化量を検出した後に観察ポイントの３次元画像データを取得するとき、変化量検出手段により検出された変化量に基づいて標本の位置を補正する補正手段とを具備したことを特徴とするレーザ走査型顕微鏡である。
【００１１】
本発明におけるレーザ走査型顕微鏡の変化量検出手段は、標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方を検出し、補正手段は、標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方に基づいてステージをＸＹ方向又はＺ方向のいずれか一方又は両方に補正することが好ましい。
【００１２】
本発明のレーザ走査型顕微鏡は、変化量検出手段により検出された変化量に基づいて標本の形状が変化して画像データの領域外に出たと判断すると、観察ポイントに隣接して新たな観察ポイントを追加する観察ポイント追加手段を具備することが好ましい。
【００１３】
本発明におけるレーザ走査型顕微鏡の観察ポイント追加手段は、新たな観察ポイントを複数追加することが好ましい。
【００１４】
本発明のレーザ走査型顕微鏡は、標本上の複数の観察ポイントに対するステージの各ステージ位置を記憶する記憶手段を有し、補正手段は、ステージを移動して任意の観察ポイントの３次元画像データを取得するときに、標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方に基づいて記憶手段に記憶されている観察ポイントのステージ位置を補正することが好ましい。
【００１５】
【発明の実施の形態】
以下、本発明の第１の実施の形態について図面を参照して説明する。
【００１６】
図１はレーザ走査型顕微鏡の構成図である。このレーザ走査型顕微鏡は、レーザ走査型顕微鏡本体１とコンピュータシステム２とを有する。レーザ走査型顕微鏡本体１は、共焦点光学系を有する。このレーザ走査型顕微鏡本体１のコ字形状の顕微鏡筐体３に対物レンズ４と電動ステージ５とが対向して設けられている。標本６は、電動ステージ５上に載置される。
【００１７】
又、レーザ走査型顕微鏡本体１は、３つレーザ光源７〜９、例えばＡｒレーザ７、ＨｅＮｅ−Ｇレーザ８及びＨｅＮｅ−Ｒレーザ９を有する。このうち各レーザ光源７、８から出射される各レーザ光の光路上にそれぞれ各合成用ダイクロイックミラー１０、１１が設けられている。又、レーザ光源９から出射されるレーザ光の光路上にミラー１２が設けられている。これら合成用ダイクロイックミラー１０、１１は、ミラー１２の反射光路上に設けられている。
【００１８】
従って、レーザ光源７から出射されたレーザ光は、合成用ダイクロイックミラー１０を透過する。レーザ光源８から出射されたレーザ光は、合成用ダイクロイックミラー１１で反射して合成用ダイクロイックミラー１０に入射して反射する。レーザ光源９から出射されたレーザ光は、ミラー１２で反射し、合成用ダイクロイックミラー１１を透過し、合成用ダイクロイックミラー１０に入射して反射する。これにより、各レーザ光源７〜９から出射された各レーザ光は、合成される。
【００１９】
合成用ダイクロイックミラー１０から出射される合成レーザ光の光路上にミラー１３が設けられている。なお、選択されるレーザ光源７〜９が１つであれば、合成用ダイクロイックミラー１０から出射されるレーザ光は、複数のレーザ光を合成したものでない。しかし、ここでは便宜上、合成用ダイクロイックミラー１０から出射されるレーザ光の全ては、合成レーザ光と称する。
【００２０】
反射ミラー１３の反射光路上に分光フィルタ１４が設けられている。この分光フィルタ１４は、標本６で発生した蛍光成分を反射する。
【００２１】
走査ユニット１５は、Ｘ走査ガルバノミラーとＹ走査ガルバノミラーとを有する。この走査ユニット１５は、分光フィルタ１４を透過した合成レーザ光をＸ走査ガルバノミラーとＹ走査ガルバノミラーとの動作により２次元平面上（ＸＹ軸方向）に走査する。この走査ユニット１５は、ＸＹ軸方向に走査した合成レーザを対物レンズ４に送り、かつ標本６で発生した蛍光又は反射光を分光フィルタ１４に戻す。
【００２２】
この分光フィルタ１４の反射光路上に分光フィルタ１６が設けられている。この分光フィルタ１６は、予め設定された波長を境に短波長の光と長波長の光とに波長選択する。この分光フィルタ１６は、例えば短波長の光を透過し、長波長の光を反射する。
【００２３】
この分光フィルタ１６の透過光路上にバリアフィルタ１７が設けられている。このバリアフィルタ１７は、分光フィルタ１６を透過した短波長の光を予め設定された波長帯域で透過する。
【００２４】
光検出器１８は、バリアフィルタ１７を透過した短波長の光を入射し、標本６の画像信号を出力する。
【００２５】
又、分光フィルタ１６の反射光路上にミラー１９を介してバリアフィルタ２０が設けられている。このバリアフィルタ２０は、分光フィルタ１６で反射した長波長の光を予め設定された波長帯域で透過する。
【００２６】
光検出器２１は、バリアフィルタ２０を透過した長波長の光を入射し、標本６の画像信号を出力する。
【００２７】
コントロールユニット２２は、コンピュータシステム２から発せられる走査指示指令を受けると、この走査指示指令に従った走査制御信号を走査ユニット１５に送出する。
【００２８】
又、コントロールユニット２２は、各レーザ光源７〜９のうち１乃至３つのレーザ光源７〜９を組み合わせて動作制御し、標本６上にＸＹ走査するレーザ光を選択する。
【００２９】
又、コントロールユニット２２は、各光検出器１８、２１から出力された各画像信号を入力し、これら画像信号からそれぞれ標本６の各画像データを作成してコンピュータシステム２に転送する。
【００３０】
このコンピュータシステム２は、接続インターフェース２３を介してレーザ走査型顕微鏡本体１に接続されている。このコンピュータシステム２は、ＣＰＵ３０、記憶媒体３１、キーボード３２、マウス３３及びモニタ装置３４を有する。
【００３１】
記憶媒体３１は、レーザ走査型顕微鏡本体１の制御、レーザ走査型顕微鏡本体１から転送される画像データの記憶、画像処理などを行うための制御プログラムを記憶する。
【００３２】
又、記憶媒体３１は、標本６上にレーザ光をＸＹ軸方向に走査するに必要な条件データを記憶する。この条件データは、標本６上の複数の観察ポイントの位置と、これら観察ポイントにおける各フォーカス位置と、標本６上にレーザ光を走査するときのレーザ光のＺ軸上の範囲と、レーザ走査型顕微鏡本体１の共焦点光学系のセクショニング効果を利用して取得する標本６のＺ軸上のスライス画像の枚数と、各光検出器１８、２１の各感度と、各レーザ光源７〜９から出射される各レーザ光の強度等を有する。
【００３３】
又、記憶媒体３１は、コントロールユニット２２から転送された標本６の画像データなどを記憶する。なお、これら制御プログラムや条件データ、画像データなどは、それぞれ別々の記憶領域（メモリ部とも称する）に記憶される。
【００３４】
ＣＰＵ３０は、記憶媒体３１に記憶されている制御プログラムを実行し、レーザ走査型顕微鏡本体１の制御、レーザ走査型顕微鏡本体１から転送される画像データの記憶、画像処理などを行う。
【００３５】
又、ＣＰＵ３０は、記憶媒体３１に記憶されている制御プログラムを実行し、コントロールユニット２２から転送された標本６の画像データを基に３次元画像データを作成して記憶媒体３１に記憶する。
【００３６】
又、ＣＰＵ３０は、記憶媒体３１に記憶されている制御プログラムを実行し、記憶媒体３１に記憶された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本６のＸＹ軸方向の変化量（以下、位置ずれと称する）、又はＺ軸方向の変化量（以下、フォーカスずれと称する）のいずれか一方又は両方を検出する。以下、このＣＰＵ３０の動作は、変化量検出部３５として説明する。
【００３７】
又、ＣＰＵ３０は、標本６のＸＹ軸方向への位置ずれを検出した後に観察ポイントの３次元画像データを取得するとき、変化量検出部３５により検出された位置ずれ又はフォーカスずれに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さのいずれか一方又は両方を補正する。以下、このＣＰＵ３０の動作は、補正部３６として説明する。
【００３８】
次に、上記の如く構成された装置の動作について説明する。
【００３９】
観察者は、例えばレーザ走査型顕微鏡本体１の接眼レンズを通して標本６の拡大像を観察する。そして、観察者は、標本６の拡大像を観察しながら電動ステージ５を操作し、標本６上に複数の観察ポイントを決定する。図２は標本６上に決定された複数の観察ポイントＮｏ．１〜Ｎｏ．３の例を示す。
【００４０】
次に、観察者は、例えば複数の観察ポイントＮｏ．１〜Ｎｏ．３における位置と、これら観察ポイントＮｏ．１〜Ｎｏ．３における各フォーカス位置と、各観察ポイントＮｏ．１〜Ｎｏ．３にレーザ光を走査するときのレーザ光のＺ軸上の範囲と、スライス画像の枚数などの条件を設定する。これと共に観察者は、各光検出器１８、２１の各感度や各レーザ光源７〜９から出射される各レーザ光の強度等を調整する。
【００４１】
これら観察ポイントＮｏ．１〜Ｎｏ．３における位置や各フォーカス位置、レーザ光のＺ軸上の範囲、スライス画像の枚数、各光検出器１８、２１の各感度、各レーザ光源７〜９から出射される各レーザ光の強度等は、例えば観察者のキーボード３２やマウス３３の操作により条件データとして記憶媒体３１に記憶される。
【００４２】
次に、観察者は、キーボード３２やマウス３３を操作してコンピュータシステム２にレーザ光の走査開始を指示する。コンピュータシステム２は、記憶媒体３１に記憶されている観察ポイントＮｏ．１の条件データを読み出し、この条件データを接続インターフェース２３を介してレーザ走査型顕微鏡本体１のコントロールユニット２２に設定する。
【００４３】
これにより、コントロールユニット２２に観察ポイントＮｏ．１の位置と、観察ポイントＮｏ．１のフォーカス位置と、観察ポイントＮｏ．１にレーザ光を走査するときのレーザ光のＺ軸上の範囲と、スライス画像の枚数と、各光検出器１８、２１の各感度と、各レーザ光源７〜９から出射される各レーザ光の強度等が設定される。
【００４４】
次に、コンピュータシステム２は、コントロールユニット２２に走査開始指示を送出する。このコントロールユニット２２は、走査ユニット１５に対して走査制御信号を送出する。又、コントロールユニット２２は、各レーザ光源７〜９から標本６上に走査するレーザ光を出力する１つ乃至３のレーザ光源７、８又は９を選択する。
【００４５】
レーザ光源７から出射されたレーザ光は、合成用ダイクロイックミラー１０を透過する。レーザ光源８から出射されたレーザ光は、合成用ダイクロイックミラー１１で反射し、次の合成用ダイクロイックミラー１０でも反射する。レーザ光源９から出射されたレーザ光は、ミラー１２で反射し、合成用ダイクロイックミラー１１を透過し、次の合成用ダイクロイックミラー１０で反射する。これにより、各レーザ光源７〜９から出射された各レーザ光は、合成用ダイクロイックミラー１０で合成される。
【００４６】
この合成用ダイクロイックミラー１０から出射された合成レーザ光は、ミラー１３で反射し、分光フィルタ１４を透過して走査ユニット１５に入射する。
【００４７】
この走査ユニット１５は、分光フィルタ１４を透過した合成レーザ光をＸ走査ガルバノミラーとＹ走査ガルバノミラーとの動作により２次元平面上（ＸＹ軸方向）に走査する。
【００４８】
これにより合成レーザ光は、対物レンズ４を通して標本６上にスポット光としてＸＹ軸方向に走査される。
【００４９】
標本６で発生した蛍光又は反射光は、合成レーザ光の標本６への入射光路と逆光路を戻る。すなわち、蛍光又は反射光は、対物レンズ４から走査ユニット１５を通り分光フィルタ１４に入射する。
【００５０】
この分光フィルタ１４は、標本６で発生した蛍光成分を反射する。この蛍光成分は、分光フィルタ１６により予め設定された波長を境に短波長の光と長波長の光とに波長選択する。例えば蛍光成分の短波長の光は、分光フィルタ１６を透過する。蛍光成分の長波長の光は、分光フィルタ１６で反射する。
【００５１】
このうち蛍光成分の短波長の光は、バリアフィルタ１７に入射し、このバリアフィルタ１７で予め設定された波長帯域内の波長成分のみが透過する。この透過した蛍光成分の短波長の光は、光検出器１８に入射する。
【００５２】
この光検出器１８は、バリアフィルタ１７を透過した蛍光成分の短波長の光を入射し、標本６の画像信号を出力する。
【００５３】
これと共に蛍光成分の長波長の光は、ミラー１９で反射してバリアフィルタ２０に入射する。この蛍光成分の長波長の光は、バリアフィルタ２０で予め設定された波長帯域内の波長成分のみが透過する。この透過した蛍光成分の長波長の光は、光検出器２１に入射する。
【００５４】
この光検出器２１は、バリアフィルタ２０を透過した蛍光成分の長波長の光を入射し、観察ポイントＮｏ．１における標本６の画像信号を出力する。
【００５５】
コントロールユニット２２は、各光検出器１８、２１から出力された各画像信号を入力し、これら画像信号からそれぞれ標本６の各画像データを作成してコンピュータシステム２に転送する。
【００５６】
このコンピュータシステム２は、標本６の各画像データを記憶媒体３１に記憶すると共に、モニタ装置３４に表示する。
【００５７】
この場合、レーザ走査型顕微鏡本体１は、条件データにおける観察ポイントＮｏ．１のフォーカス位置と、レーザ光を走査するときのレーザ光のＺ軸上の範囲と、スライス画像の枚数などに基づいて電動ステージ５をＺ軸方向に上下移動させ、共焦点光学系によって標本６のスライス像を複数枚取得する。
【００５８】
従って、コンピュータシステム２は、観察ポイントＮｏ．１における複数枚のスライス画像データを３次元画像データとして記憶媒体３１に記憶する。
【００５９】
次に、コンピュータシステム２は、記憶媒体３１に記憶されている観察ポイントＮｏ．２の条件データを読み出し、この条件データを接続インターフェース２３を介してレーザ走査型顕微鏡本体１のコントロールユニット２２に設定する。
【００６０】
これにより、上記観察ポイントＮｏ．１の場合と同様に、観察ポイントＮｏ．２における複数枚のスライス像が取得される。従って、コンピュータシステム２は、観察ポイントＮｏ．２における複数枚のスライス画像データを３次元画像データとして記憶媒体３１に記憶する。
【００６１】
以上のようにして指定された全ての観察ポイントＮｏ．１〜Ｎｏ．３ごとの複数枚の３次元画像データがそれぞれ記憶媒体３１に記憶される。これにより、これら３次元画像データをモニタ装置３４に表示することにより、各観察ポイントＮｏ．１〜Ｎｏ．３の観察が行なわれる。なお、この観察を第１回目の観察と称する。
【００６２】
この後、予め設定されたインターバル時間が経過すると、再度、コンピュータシステム２は、上記同様に各観察ポイントＮｏ．１〜Ｎｏ．３ごとに条件データを読み出し、この条件データを接続インターフェース２３を介してレーザ走査型顕微鏡本体１のコントロールユニット２２に設定する。これにより、コンピュータシステム２は、上記同様に各観察ポイントＮｏ．１〜Ｎｏ．３におけるインターバル時間を経過した複数枚のスライス画像データを取得し、これらスライス画像データを３次元画像データとして記憶媒体３１に記憶する。これにより、予め設定されたインターバル時間経過後における各観察ポイントＮｏ．１〜Ｎｏ．３の観察が行なわれる。なお、この観察を第２回目の観察と称する。
【００６３】
さらに、予め設定されたインターバル時間が経過すると、第３回目の観察が行なわれる。この第３回目の観察において、コンピュータシステム２の変化量検出部３５は、記憶媒体３１に記憶された各観察ポイントＮｏ．１〜Ｎｏ．３の第１回目と第２回目との各観察における各３次元画像データを読み出す。
【００６４】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに第１回目と第２回目との各観察で取得された各３次元画像データ同士を比較し、この比較結果からインターバル時間の経過に伴う標本６のＸＹ軸方向の位置ずれを検出する。
【００６５】
ここで、標本６のＸＹ軸方向の位置ずれ検出方法について具体的に説明する。
【００６６】
各観察ポイントＮｏ．１〜Ｎｏ．３ごとの第１回目と第２回目との各３次元画像データの取得が終了すると、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、それぞれ３次元画像データの各スライス画像データ毎に当該スライス画像データ中で最も輝度の高いピクセルを抽出する。例えば図３に示すように観察ポイントＮｏ．１におけるＺ軸方向の例えばＺ１位置、Ｚ２位置、Ｚ３位置における各スライス画像データＤ１、Ｄ２、Ｄ３中の最も輝度の高い各ピクセル部分Ｐ１、Ｐ２、Ｐ３、Ｐ４を抽出する。これらピクセル部分Ｐ１、Ｐ２、Ｐ３、Ｐ４は、最も高い輝度であることから各Ｚ１位置、Ｚ２位置、Ｚ３位置においてそれぞれジャストフォーカスになっている。
【００６７】
次に、変化量検出部３５は、各ピクセル部分Ｐ１、Ｐ２、Ｐ３、Ｐ４を合わせてＸＹ軸方向のエクステンド画像データＥを作成して記憶媒体３１に記憶する。これにより、エクステンド画像データＥからは、Ｚ軸方向の全てのＺ位置に対してフォーカスの合った画像データを取得できる。
【００６８】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、第１回目と第２回目とで取得された各３次元画像データからそれぞれ第１回目と第２回目との各エクステンド画像データＥを取得する。
【００６９】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、第１回目と第２回目との各エクステンド画像データＥ同士を比較し、この比較結果から検出される例えば各ピクセル部分Ｐ１、Ｐ２、Ｐ３、Ｐ４の画素単位のずれから標本６のＸＹ軸方向の位置ずれを検出する。
【００７０】
なお、標本６のＸＹ軸方向の位置ずれの検出方法は、別の方法を用いてもよい。その一方法は、例えば、上記同様に観察ポイントにおける第１回目と第２回目との各観察の各エクステンド画像データＥを取得する。
【００７１】
次に、これらエクステンド画像データＥをそれぞれ２値化する。
【００７２】
次に、これら２値化した各エクステンド画像データＥにおいてそれぞれ標本６中の観察対象の各重心位置を求める。
【００７３】
次に、第１回目と第２回目との各観察の観察対象の各重心位置の位置変化を求め、これを標本６のＸＹ軸方向の位置ずれとして検出する。
【００７４】
さらに一方法は、例えば、上記同様に観察ポイントにおける第１回目と第２回目との各観察の各エクステンド画像データＥを取得する。
【００７５】
次に、これらエクステンド画像データＥにおいてそれぞれ観察対象物のエッジを検出する。
【００７６】
次に、これらエッジに対してパターン認識を行うことで、第１回目と第２回目との各観察の観察対象の位置変化を求め、これを標本６のＸＹ軸方向の位置ずれとして検出する。
【００７７】
次に、補正部３６は、第３回目の観察において、各観察ポイントＮｏ．１〜Ｎｏ．３の３次元画像データを取得するとき、変化量検出部３５により検出された標本６のＸＹ軸方向の位置ずれに基づいて電動ステージ５のＸＹ軸方向の位置を補正する。
【００７８】
ここで、電動ステージ５の位置補正について具体的に説明する。
【００７９】
例えば観察ポイントＮｏ．１における第１回目の観察時の電動ステージ５の位置は、例えば図４に示すように（ＸＰ１，ＹＰ１）である。なお、このステージ位置（ＸＰ１，ＹＰ１）は、第２回目の観察位置と同じである。
【００８０】
第１回目と第２回目との各観察による標本６のＸＹ軸方向の位置ずれが例えばΔＸ０，ΔＹ０の場合、観察ポイントＮｏ．１に対する第３回目の観察の移動先は、例えば図５に示すように（ＸＰ１＋ΔＸ０，ＹＰ１＋ΔＹ０）にする。
【００８１】
なお、ＸＹ軸方向の位置ずれΔＸ０，ΔＹ０は、第１回目と第２回目の各観察で取得された各エクステンド画像データＥ間における観察対象の移動量と、第１回目と第２回目の各観察での電動ステージ５の位置の差を含む。
【００８２】
これにより、第ｎ回目の観察での電動ステージ５の移動先は、図４に示すように（ＸＰ１＋ΔＸｎ，ＹＰ１＋ΔＹｎ）になる。なお、ｎは自然数である。ここで、ΔＸｎ，ΔＹｎは、第１回目と第ｎ−１回目の各観察で取得された各エクステンド画像データＥ及び電動ステージ５の位置によって求まる標本６中の観察対象の移動量になる。
【００８３】
従って、補正部３６は、第ｎ回目の観察ポイントＮｏ．１の観察において、電動ステージ５の移動先を（ＸＰ１＋ΔＸｎ，ＹＰ１＋ΔＹｎ）にする補正指令をコントロールユニット２２に送出する。これにより、電動ステージ５は、
（ＸＰ１＋ΔＸｎ，ＹＰ１＋ΔＹｎ）の位置に移動する。
【００８４】
標本を長時間観察する場合、時間経過によってレーザ走査型顕微鏡において例えば温度変化により顕微鏡本体に歪みを生じる。又、標本６は、時間経過に伴って位置を移動する。これにより、レーザ走査型顕微鏡は、電動ステーシ５のステージ位置を調整しなければ、同一位置の観察ポイントＮｏ．１で標本６を観察できなくなる。
【００８５】
これに対して補正部３６は、電動ステージ５のステージ位置を補正するので、レーザ走査型顕微鏡は、第ｎ回目、例えば第３回目の観察において、観察ポイントＮｏ．１の観察対象の３次元画像データを確実に取得できる。
【００８６】
なお、レーザ走査型顕微鏡は、電動ステージ５を移動させて各観察ポイントＮｏ．１〜Ｎｏ．３の観察対象の３次元画像データを所定のインターバル時間毎に繰り返し取得する。このとき、補正部３６は、各観察ポイントＮｏ．１〜Ｎｏ．３への移動毎に電動ステージ５のステージ位置を補正する。この結果、レーザ走査型顕微鏡は、各観察ポイントＮｏ．１〜Ｎｏ．３において観察対象の３次元画像データを確実に取得できる。
【００８７】
なお、標本６のＸＹ軸方向の位置ずれの補正方法は、別の方法を用いてもよい。その一方法は、標本６中の観察対象の位置ずれの変化量を考慮したものである。
【００８８】
先ず、観察ポイントＮｏ．１において、上記同様に第３回目の観察により標本６中の観察対象の位置ずれを求める。この位置ずれは、
例えば（ΔＸ１，ΔＹ１）である。
【００８９】
次に、位置ずれ（ΔＸ１，ΔＹ１）と上記位置ずれ（ΔＸ０，ΔＹ０）との差分（ΔＸ１−ΔＸ０，ΔＹ１−ΔＹ０）を求める。
【００９０】
次に、上記電動ステージ５の移動先（ＸＰ１＋ΔＸｎ，ＹＰ１＋ΔＹｎ）に
差分（ΔＸ１−ΔＸ０，ΔＹ１−ΔＹ０）を付加する。ここで、ΔＸｎ＝ΔＸ１、
ΔＹｎ＝ΔＹ１とすれば、次の電動ステージ５の移動先は、
（ＸＰ１＋２・ΔＸ１−ΔＸ０，ＹＰ１＋２・ΔＹ１−ΔＹ０）になる。
【００９１】
従って、第ｎ回目の観察時の電動ステージ５の移動先は、
（ＸＰ１＋２・ΔＸｎ−ΔＸｎ−１，ＹＰ１＋２・ΔＹｎ−ΔＹｎ−１）になる。
【００９２】
ここで、ΔＸｎ、ΔＹｎは、第１回目と第ｎ−１回目の各観察で取得された３次元画像データ及びこれら観察での電動ステージ５のステージ位置による観察対象の位置ずれを示す。又、ΔＸｎ−１、ΔＹｎ−１は、第１回目と第ｎ−２回目の各観察で取得された３次元画像データ及びこれら観察での電動ステージ５のステージ位置による観察対象の位置ずれを示す。
【００９３】
次に、標本６のＺ軸方向の高さずれ、すわわちフォーカスずれの検出方法について具体的に説明する。
【００９４】
先ず、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、それぞれの三次元画像データから任意のＹ軸位置からＸＺ切片画像を抽出する。これにより、変化量検出部３５は、図７に示すようなＺ切片画像データＱを作成する。
【００９５】
なお、このＺ切片画像データＱは、第１回目と第２回目の各観察ごとに作成される。これらＺ切片画像データＱは、記憶媒体３１に記憶される。
【００９６】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、第１回目と第２回目の各Ｚ切片画像データＱ同士を比較し、この比較結果から検出される例えば各ピクセル部分Ｐ２、Ｐ３の画素単位のずれから標本６のＺ軸方向のフォーカスずれを検出する。
【００９７】
次に、補正部３６は、第３回目の観察において、各観察ポイントＮｏ．１〜Ｎｏ．３の３次元画像データを取得するとき、変化量検出部３５により検出された標本６のＺ軸方向のフォーカスずれに基づいて電動ステージ５のＺ軸方向の位置を補正する。
【００９８】
標本を長時間観察する場合、時間経過によって例えばレーザ走査型顕微鏡における温度変化により顕微鏡本体が歪む。これにより、レーザ走査型顕微鏡は、標本６に対するフォーカス位置が変化する。このため、レーザ走査型顕微鏡において観察開始時に決定したフォーカス位置を変えずに観察を続けると、観察の途中から標本６に対するフォーカス位置がずれてしまう。
【００９９】
これに対して補正部３６は、電動ステージ５のＺ軸方向を補正するので、レーザ走査型顕微鏡は、第ｎ回目、例えば第３回目の観察において、観察ポイントＮｏ．１の観察対象に対するフォーカスの合った３次元画像データを確実に取得できる。
【０１００】
なお、標本６のフォーカスずれの補正方法は、別の方法を用いてもよい。その一方法は、図６に示すようなエクステンド画像データＥを作成するとき、最も高い輝度を有するピクセルのＺ位置データを輝度に割り付けてエクステンド画像データを作成する。このとき、Ｚ位置の低いピクセルの輝度を小さくすると共に、Ｚ位置の高いピクセルの輝度を大きく割付ける。このＺ位置データのエクステンド画像データは、第１回目と第２回目の各観察ごとに作成され、記憶媒体３１に記憶される。
【０１０１】
これにより、第１回目と第２回目の各観察で取得された各エクステンド画像データにおける各観察対象の位置を比較することにより、標本６のＸＹ軸方向の位置ずれが求められる。又、これらエクステンド画像データにおける輝度値すなわちＺ位置データを比較することにより、標本６に対するフォーカスずれが求められる。
【０１０２】
この結果、電動ステージ５のＺ軸方向を補正することにより、例えば第３回目の観察において、観察ポイントＮｏ．１の観察対象に対するフォーカスの合った３次元画像データを確実に取得できる。
【０１０３】
このように上記第１の実施の形態においては、予め設定されたインターバル時間間隔で複数の観察ポイントＮｏ．１〜Ｎｏ．３における例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データＥを作成し、これらエクステンド画像データＥを比較して時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとを検出し、これら位置ずれとフォーカスずれとに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さを補正する。
【０１０４】
従って、標本を長時間観察する場合、時間経過によってレーザ走査型顕微鏡において例えば温度変化により顕微鏡本体に歪みを生じたり、標本６が時間経過に伴って位置を移動したとしても、複数の観察ポイントＮｏ．１〜Ｎｏ．３において標本６中の観察対象をレーザ走査型顕微鏡の視野内に確実に捉え続けることができる。又、時間経過によってレーザ走査型顕微鏡に例えば温度変化による顕微鏡本体の歪みが発生しても、複数の観察ポイントＮｏ．１〜Ｎｏ．３において標本６に対するフォーカスを合わせ続けることができる。
【０１０５】
これにより、標本６の位置が時間経過に伴ってずれても、又標本６に対するフォーカスがずれたとしても、自動的に電動ステージ５をＸＹ軸方向又はＺ軸方向に補正できる。観察者は、標本６の長時間の観察中に非常に煩雑なステージ位置の調整作業をしなくてよい。
【０１０６】
この結果、例えば標本６として生きている細胞に対して様々な刺激を与え、この刺激に対する標本６の経時的な反応を観察することによって、標本６の３次元的な時間変化が観察できる。
【０１０７】
次に、本発明の第２の実施の形態について図面を参照して説明する。なお、図１と同一部分には同一符号を付してその詳しい説明は省略する。
【０１０８】
図８はレーザ走査型顕微鏡の構成図である。このレーザ走査型顕微鏡は、コンピュータシステム２に観察ポイント追加部３７を有する。この観察ポイント追加部３７は、変化量検出部３５により検出された時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとに基づいて標本６の形状が変化して３次元画像データの領域外に出たか否かを判断する。
【０１０９】
この判断の結果、標本６が３次元画像データの領域外に出たと判断すると、観察ポイント追加部３７は、例えば図９に示すように複数の観察ポイントＮｏ．１〜Ｎｏ．３、例えば観察ポイントＮｏ．２に隣接して新たな観察ポイントＮｏ．２−１を追加する。
【０１１０】
この観察ポイント追加部３７は、例えば観察ポイントＮｏ．２に隣接して新たな観察ポイントＮｏ．２−１を１つ追加するに限らず、例えば観察ポイントＮｏ．２に隣接して新たな複数の観察ポイントＮｏ．２−１を追加したり、これら新たな各観察ポイントＮｏ．２−１に隣接してそれぞれ新たな複数の観察ポイントＮｏ．２−１を追加してもよい。
【０１１１】
次に、上記の如く構成された装置の動作について説明する。
【０１１２】
標本６は、例えば神経細胞６ａである。この神経細胞６ａは、時間経過に伴って形状が変化する。例えば図１０に示すように観察ポイントＮｏ．２において、神経細胞６ａは、時間経過（時刻Ｔ１、Ｔ２、Ｔ３）に伴って形状を変化させる。これにより、神経細胞６ａは、３次元画像データの領域から出てしまう。いわゆる観察対象である神経細胞６ａの画像の欠けが生じる。
【０１１３】
このため、神経細胞６ａを長時間観察する場合、複数の観察ポイントＮｏ．１〜Ｎｏ．３におけるＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとの調整では不十分になる。
【０１１４】
従って、先ず、変化量検出部３６は、上記第１の実施の形態と同様に、予め設定されたインターバル時間間隔で複数の観察ポイントＮｏ．１〜Ｎｏ．３における例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データＥを作成する。
【０１１５】
次に、観察ポイント追加部３７は、変化量検出部３５により作成した複数の観察ポイントＮｏ．１〜Ｎｏ．３における第１回目と第２回目の各観察での各エクステンド画像データＥ上で神経細胞６ａの画像に欠けが生じたか否かを判断する。
【０１１６】
この判断の結果、神経細胞６ａの画像が例えば図１０に示すように観察ポイントＮｏ．２において時刻Ｔ３に欠けたと判断すると、観察ポイント追加部３７は、神経細胞６ａの画像の欠けた位置を判断する。
【０１１７】
次に、観察ポイント追加部３７は、図９に示すように観察ポイントＮｏ．２における神経細胞６ａの画像の欠けた位置に隣接して新たな観察ポイントＮｏ．２−１を追加する。
【０１１８】
この後、変化量検出部３６は、上記第１の実施の形態と同様に、予め設定されたインターバル時間間隔で複数の観察ポイントＮｏ．２−１における例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データＥを作成する。
【０１１９】
次に、変化量検出部３６は、観察ポイントＮｏ．２−１における例えば第１回目と第２回目での各エクステンド画像データＥを比較して時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとを検出する。
【０１２０】
次に、補正部３７は、標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さを補正する。
【０１２１】
この結果、神経細胞６ａの形状が時間経過に伴って変化しても、神経細胞６ａの画像に欠けが生じることはない。これにより、時間経過に伴って形状が変化する神経細胞６ａの画像データを取りこぼすことなく、神経細胞６ａの全体の３次元画像データが確実に取得できる。従って、時間経過に伴って形状の変化する神経細胞６ａを長時間観察しても、神経細胞６ａの３次元的な時間変化が確実に観察できる。
【０１２２】
そのうえ観察ポイント追加部３７は、例えば観察ポイントＮｏ．２に隣接して新たな観察ポイントＮｏ．２−１を１つ追加するに限らず、例えば観察ポイントＮｏ．２に隣接して新たな複数の観察ポイントＮｏ．２−１を追加したり、これら新たな各観察ポイントＮｏ．２−１に隣接してそれぞれ新たな複数の観察ポイントＮｏ．２−１を追加する。
【０１２３】
これにより、観察ポイント追加部３７は、神経細胞６ａの形状がＸＹ平面内のあらゆる方向に変化しても、神経細胞６ａの形状変化に追従して新たな観察ポイントＮｏ．２−１を追加できる。
【０１２４】
なお、これら新たに追加した各観察ポイントＮｏ．２−１に対しても、標本６のＸＹ軸方向の位置ずれ及び標本６のＺ軸方向のフォーカスずれを補正できることは言うまでもない。
【０１２５】
ここで、本発明のレーザ走査型顕微鏡における特徴とするところについて説明する。
【０１２６】
本発明は、標本６上の観察ポイントにおける３次元画像データを所定のインターバル時間毎に繰り返し取得するレーザ走査型顕微鏡を動作制御するのに、所定のインターバル時間毎に繰り返し取得された３次元画像データを保存する第１の工程と、この第１の工程により保存された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本６に関する変化量、例えば標本６のＸＹ軸方向の位置ずれ又は標本６のＺ軸方向のフォーカスずれのいずれか一方又は両方を検出する第２の工程と、標本６に関する上記変化量を検出した後に観察ポイントの３次元画像データを取得するとき、第２の工程により検出された変化量に基づいて標本６の位置を補正する第３の工程とを有することを特徴とするレーザ走査型顕微鏡の制御方法である。
【０１２７】
又、本発明のレーザ走査型顕微鏡の記憶媒体３１に記憶されている制御プログラムは、所定のインターバル時間毎に繰り返し取得された３次元画像データを保存する第１のステップと、この第１のステップにより保存された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本６に関する変化量、例えば標本６のＸＹ軸方向の位置ずれ又は標本６のＺ軸方向のフォーカスずれのいずれか一方又は両方を検出する第２のステップと、標本６に関する上記変化量を検出した後に観察ポイントの３次元画像データを取得するとき、第２のステップにより検出された変化量に基づいて標本６の位置を補正する第３のステップとを有する。
【０１２８】
なお、本発明は、上記第１及び第２の実施の形態に限定されるものでなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。
【０１２９】
さらに、上記実施形態には、種々の段階の発明が含まれており、開示されている複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施形態に示されている全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【０１３０】
例えば、フォーカスずれの補正は、電動ステージ５をＺ軸方向に調整するのに限らず、対物レンズ４をＺ軸方向に上下移動させてもよい。
【０１３１】
又、標本６のＸＹ軸方向の位置ずれ検出方法や標本６のＺ軸方向のフォーカスずれの検出方法は、上記第１及び第２の実施の形態に記載した各方法に限らず、各種方法を用いてもよい。
【０１３２】
【発明の効果】
以上詳記したように本発明によれば、標本の観察中の調整作業を不要とすると共に、長時間に及ぶ観察でも確実に期待できる３次元画像データを取得できるレーザ走査型顕微鏡を提供できる。
【図面の簡単な説明】
【図１】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態を示す構成図。
【図２】標本上に決定された複数の観察ポイントの例を示す図。
【図３】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態における変化量検出部により抽出された各スライス画像データ中の最も輝度の高いピクセル部分を示す模式図。
【図４】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態における電動ステージ５の位置補正方法を説明するための図。
【図５】観察ポイントの移動先の一例をしめす図。
【図６】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態におけるエクステンド画像データからのＺ切片画像の抽出位置を示す模式図。
【図７】Ｚ切片画像データの模式図。
【図８】本発明に係わるレーザ走査型顕微鏡の第２の実施の形態を示す構成図。
【図９】本発明に係わるレーザ走査型顕微鏡の第２の実施の形態における新たな観察ポイントの追加を示す図。
【図１０】神経細胞の時間経過に伴う形状変化による神経細胞の画像の欠けを示す模式図。
【図１１】本発明に係わるレーザ走査型顕微鏡の第２の実施の形態における新たな観察ポイントでの３次元画像データを示す模式図。
【符号の説明】
１：レーザ走査型顕微鏡本体
２：コンピュータシステム
３：顕微鏡筐体
４：対物レンズ
５：電動ステージ
６：標本
６ａ：神経細胞
７〜９：レーザ光源
１０，１１：合成用ダイクロイックミラー
１２，１３，１９：ミラー
１４，１６：分光フィルタ
１５：走査ユニット
１７：バリアフィルタ
１８：光検出器
２０：バリアフィルタ
２１：光検出器
２２：コントロールユニット
２３：接続インターフェース
３０：ＣＰＵ
３１：記憶媒体
３２：キーボード
３３：マウス
３４：モニタ装置
３５：変化量検出部
３６：補正部
３７：観察ポイント追加部
【発明の属する技術分野】
本発明は、ステージ上に載せられた標本上の複数ポイントにおける時間経過に伴って変化する３次元的な様子を観察するために、各観察ポイントにおける３次元画像データを所定時間毎に繰り返し取得するレーザ走査型顕微鏡に関する。
【０００２】
【従来の技術】
レーザ走査型顕微鏡は、共焦点光学系を有する。この共焦点光学系は、対物レンズによる標本の焦点と共役な位置にピンホールを配置し、標本の非焦点位置からのボケ像を除外し、焦点位置の像のみをピンホールに通過させる。これにより、共焦点光学系は、高い共焦点効果（光学的セクショニング効果）を得る。この共焦点光学系を用いれば、所定の厚さを有する標本の断層面のスライス像が容易に取得できる。
【０００３】
レーザ走査型顕微鏡としては、例えば特許文献１に記載されている。この特許文献１は、標本として生きている細胞に対して様々な刺激を与え、この刺激に対する標本の経時的な反応を観察することによって、標本の３次元的な時間変化を観察することを記載する。
【０００４】
又、レーザ走査型顕微鏡は、電動ステージを有する。この共焦点光学顕微鏡は、複数の観察ポイントを指定することにより、電動ステージの駆動により各観察ポイントに自動的に移動し、これら観察ポイント毎の３次元的な時間変化を観察する。
【０００５】
【特許文献１】
特開平６−２７３８３号公報
【０００６】
【発明が解決しようとする課題】
標本を長時間観察する場合、時間経過によって共焦点光学顕微鏡の状態が変化する。例えばレーザ走査型顕微鏡は、温度変化により顕微鏡本体に歪みが生じる。これにより、レーザ走査型顕微鏡は、標本に対するフォーカスすなわち対物レンズと標本との間隔が変化する。
【０００７】
標本は、時間経過に伴って位置を移動したり又は形状を変化する。これにより、標本は、常に同一位置（ＸＹ平面上の位置）に存在しなくなる。このため、レーザ走査型顕微鏡において観察開始時に決定した条件、例えばステージ位置、フォーカス位置などの条件を変えずに観察を続けると、観察の途中から標本の位置がずれてしまう。この結果、標本の観察像から期待するデータが取得できなくなる。
【０００８】
このような事から標本の３次元画像の観察の合間に、標本の観察ポイントやフォーカス位置の調整作業が必要になる。このため、観察者は、標本の観察中に観察ポイントやフォーカス位置の調整作業を強いられる。そのうえ電動ステージを有するレーザ走査型顕微鏡では、複数の観察ポイントの各ステージ位置や各フォーカス位置をそれぞれ標本の観察中に調整作業しなければならず、非常に煩雑な調整作業になる。
【０００９】
そこで本発明は、標本の観察中の調整作業を不要とすると共に、長時間に及ぶ観察でも確実に期待できる３次元画像データを取得できるレーザ走査型顕微鏡を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、標本上の観察ポイントにおける３次元画像データを所定時間毎に繰り返し取得するレーザ走査型顕微鏡において、所定時間毎に繰り返し取得された３次元画像データを保存する画像保存手段と、この画像保存手段に保存された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本に関する変化量を検出する変化量検出手段と、標本に関する変化量を検出した後に観察ポイントの３次元画像データを取得するとき、変化量検出手段により検出された変化量に基づいて標本の位置を補正する補正手段とを具備したことを特徴とするレーザ走査型顕微鏡である。
【００１１】
本発明におけるレーザ走査型顕微鏡の変化量検出手段は、標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方を検出し、補正手段は、標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方に基づいてステージをＸＹ方向又はＺ方向のいずれか一方又は両方に補正することが好ましい。
【００１２】
本発明のレーザ走査型顕微鏡は、変化量検出手段により検出された変化量に基づいて標本の形状が変化して画像データの領域外に出たと判断すると、観察ポイントに隣接して新たな観察ポイントを追加する観察ポイント追加手段を具備することが好ましい。
【００１３】
本発明におけるレーザ走査型顕微鏡の観察ポイント追加手段は、新たな観察ポイントを複数追加することが好ましい。
【００１４】
本発明のレーザ走査型顕微鏡は、標本上の複数の観察ポイントに対するステージの各ステージ位置を記憶する記憶手段を有し、補正手段は、ステージを移動して任意の観察ポイントの３次元画像データを取得するときに、標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方に基づいて記憶手段に記憶されている観察ポイントのステージ位置を補正することが好ましい。
【００１５】
【発明の実施の形態】
以下、本発明の第１の実施の形態について図面を参照して説明する。
【００１６】
図１はレーザ走査型顕微鏡の構成図である。このレーザ走査型顕微鏡は、レーザ走査型顕微鏡本体１とコンピュータシステム２とを有する。レーザ走査型顕微鏡本体１は、共焦点光学系を有する。このレーザ走査型顕微鏡本体１のコ字形状の顕微鏡筐体３に対物レンズ４と電動ステージ５とが対向して設けられている。標本６は、電動ステージ５上に載置される。
【００１７】
又、レーザ走査型顕微鏡本体１は、３つレーザ光源７〜９、例えばＡｒレーザ７、ＨｅＮｅ−Ｇレーザ８及びＨｅＮｅ−Ｒレーザ９を有する。このうち各レーザ光源７、８から出射される各レーザ光の光路上にそれぞれ各合成用ダイクロイックミラー１０、１１が設けられている。又、レーザ光源９から出射されるレーザ光の光路上にミラー１２が設けられている。これら合成用ダイクロイックミラー１０、１１は、ミラー１２の反射光路上に設けられている。
【００１８】
従って、レーザ光源７から出射されたレーザ光は、合成用ダイクロイックミラー１０を透過する。レーザ光源８から出射されたレーザ光は、合成用ダイクロイックミラー１１で反射して合成用ダイクロイックミラー１０に入射して反射する。レーザ光源９から出射されたレーザ光は、ミラー１２で反射し、合成用ダイクロイックミラー１１を透過し、合成用ダイクロイックミラー１０に入射して反射する。これにより、各レーザ光源７〜９から出射された各レーザ光は、合成される。
【００１９】
合成用ダイクロイックミラー１０から出射される合成レーザ光の光路上にミラー１３が設けられている。なお、選択されるレーザ光源７〜９が１つであれば、合成用ダイクロイックミラー１０から出射されるレーザ光は、複数のレーザ光を合成したものでない。しかし、ここでは便宜上、合成用ダイクロイックミラー１０から出射されるレーザ光の全ては、合成レーザ光と称する。
【００２０】
反射ミラー１３の反射光路上に分光フィルタ１４が設けられている。この分光フィルタ１４は、標本６で発生した蛍光成分を反射する。
【００２１】
走査ユニット１５は、Ｘ走査ガルバノミラーとＹ走査ガルバノミラーとを有する。この走査ユニット１５は、分光フィルタ１４を透過した合成レーザ光をＸ走査ガルバノミラーとＹ走査ガルバノミラーとの動作により２次元平面上（ＸＹ軸方向）に走査する。この走査ユニット１５は、ＸＹ軸方向に走査した合成レーザを対物レンズ４に送り、かつ標本６で発生した蛍光又は反射光を分光フィルタ１４に戻す。
【００２２】
この分光フィルタ１４の反射光路上に分光フィルタ１６が設けられている。この分光フィルタ１６は、予め設定された波長を境に短波長の光と長波長の光とに波長選択する。この分光フィルタ１６は、例えば短波長の光を透過し、長波長の光を反射する。
【００２３】
この分光フィルタ１６の透過光路上にバリアフィルタ１７が設けられている。このバリアフィルタ１７は、分光フィルタ１６を透過した短波長の光を予め設定された波長帯域で透過する。
【００２４】
光検出器１８は、バリアフィルタ１７を透過した短波長の光を入射し、標本６の画像信号を出力する。
【００２５】
又、分光フィルタ１６の反射光路上にミラー１９を介してバリアフィルタ２０が設けられている。このバリアフィルタ２０は、分光フィルタ１６で反射した長波長の光を予め設定された波長帯域で透過する。
【００２６】
光検出器２１は、バリアフィルタ２０を透過した長波長の光を入射し、標本６の画像信号を出力する。
【００２７】
コントロールユニット２２は、コンピュータシステム２から発せられる走査指示指令を受けると、この走査指示指令に従った走査制御信号を走査ユニット１５に送出する。
【００２８】
又、コントロールユニット２２は、各レーザ光源７〜９のうち１乃至３つのレーザ光源７〜９を組み合わせて動作制御し、標本６上にＸＹ走査するレーザ光を選択する。
【００２９】
又、コントロールユニット２２は、各光検出器１８、２１から出力された各画像信号を入力し、これら画像信号からそれぞれ標本６の各画像データを作成してコンピュータシステム２に転送する。
【００３０】
このコンピュータシステム２は、接続インターフェース２３を介してレーザ走査型顕微鏡本体１に接続されている。このコンピュータシステム２は、ＣＰＵ３０、記憶媒体３１、キーボード３２、マウス３３及びモニタ装置３４を有する。
【００３１】
記憶媒体３１は、レーザ走査型顕微鏡本体１の制御、レーザ走査型顕微鏡本体１から転送される画像データの記憶、画像処理などを行うための制御プログラムを記憶する。
【００３２】
又、記憶媒体３１は、標本６上にレーザ光をＸＹ軸方向に走査するに必要な条件データを記憶する。この条件データは、標本６上の複数の観察ポイントの位置と、これら観察ポイントにおける各フォーカス位置と、標本６上にレーザ光を走査するときのレーザ光のＺ軸上の範囲と、レーザ走査型顕微鏡本体１の共焦点光学系のセクショニング効果を利用して取得する標本６のＺ軸上のスライス画像の枚数と、各光検出器１８、２１の各感度と、各レーザ光源７〜９から出射される各レーザ光の強度等を有する。
【００３３】
又、記憶媒体３１は、コントロールユニット２２から転送された標本６の画像データなどを記憶する。なお、これら制御プログラムや条件データ、画像データなどは、それぞれ別々の記憶領域（メモリ部とも称する）に記憶される。
【００３４】
ＣＰＵ３０は、記憶媒体３１に記憶されている制御プログラムを実行し、レーザ走査型顕微鏡本体１の制御、レーザ走査型顕微鏡本体１から転送される画像データの記憶、画像処理などを行う。
【００３５】
又、ＣＰＵ３０は、記憶媒体３１に記憶されている制御プログラムを実行し、コントロールユニット２２から転送された標本６の画像データを基に３次元画像データを作成して記憶媒体３１に記憶する。
【００３６】
又、ＣＰＵ３０は、記憶媒体３１に記憶されている制御プログラムを実行し、記憶媒体３１に記憶された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本６のＸＹ軸方向の変化量（以下、位置ずれと称する）、又はＺ軸方向の変化量（以下、フォーカスずれと称する）のいずれか一方又は両方を検出する。以下、このＣＰＵ３０の動作は、変化量検出部３５として説明する。
【００３７】
又、ＣＰＵ３０は、標本６のＸＹ軸方向への位置ずれを検出した後に観察ポイントの３次元画像データを取得するとき、変化量検出部３５により検出された位置ずれ又はフォーカスずれに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さのいずれか一方又は両方を補正する。以下、このＣＰＵ３０の動作は、補正部３６として説明する。
【００３８】
次に、上記の如く構成された装置の動作について説明する。
【００３９】
観察者は、例えばレーザ走査型顕微鏡本体１の接眼レンズを通して標本６の拡大像を観察する。そして、観察者は、標本６の拡大像を観察しながら電動ステージ５を操作し、標本６上に複数の観察ポイントを決定する。図２は標本６上に決定された複数の観察ポイントＮｏ．１〜Ｎｏ．３の例を示す。
【００４０】
次に、観察者は、例えば複数の観察ポイントＮｏ．１〜Ｎｏ．３における位置と、これら観察ポイントＮｏ．１〜Ｎｏ．３における各フォーカス位置と、各観察ポイントＮｏ．１〜Ｎｏ．３にレーザ光を走査するときのレーザ光のＺ軸上の範囲と、スライス画像の枚数などの条件を設定する。これと共に観察者は、各光検出器１８、２１の各感度や各レーザ光源７〜９から出射される各レーザ光の強度等を調整する。
【００４１】
これら観察ポイントＮｏ．１〜Ｎｏ．３における位置や各フォーカス位置、レーザ光のＺ軸上の範囲、スライス画像の枚数、各光検出器１８、２１の各感度、各レーザ光源７〜９から出射される各レーザ光の強度等は、例えば観察者のキーボード３２やマウス３３の操作により条件データとして記憶媒体３１に記憶される。
【００４２】
次に、観察者は、キーボード３２やマウス３３を操作してコンピュータシステム２にレーザ光の走査開始を指示する。コンピュータシステム２は、記憶媒体３１に記憶されている観察ポイントＮｏ．１の条件データを読み出し、この条件データを接続インターフェース２３を介してレーザ走査型顕微鏡本体１のコントロールユニット２２に設定する。
【００４３】
これにより、コントロールユニット２２に観察ポイントＮｏ．１の位置と、観察ポイントＮｏ．１のフォーカス位置と、観察ポイントＮｏ．１にレーザ光を走査するときのレーザ光のＺ軸上の範囲と、スライス画像の枚数と、各光検出器１８、２１の各感度と、各レーザ光源７〜９から出射される各レーザ光の強度等が設定される。
【００４４】
次に、コンピュータシステム２は、コントロールユニット２２に走査開始指示を送出する。このコントロールユニット２２は、走査ユニット１５に対して走査制御信号を送出する。又、コントロールユニット２２は、各レーザ光源７〜９から標本６上に走査するレーザ光を出力する１つ乃至３のレーザ光源７、８又は９を選択する。
【００４５】
レーザ光源７から出射されたレーザ光は、合成用ダイクロイックミラー１０を透過する。レーザ光源８から出射されたレーザ光は、合成用ダイクロイックミラー１１で反射し、次の合成用ダイクロイックミラー１０でも反射する。レーザ光源９から出射されたレーザ光は、ミラー１２で反射し、合成用ダイクロイックミラー１１を透過し、次の合成用ダイクロイックミラー１０で反射する。これにより、各レーザ光源７〜９から出射された各レーザ光は、合成用ダイクロイックミラー１０で合成される。
【００４６】
この合成用ダイクロイックミラー１０から出射された合成レーザ光は、ミラー１３で反射し、分光フィルタ１４を透過して走査ユニット１５に入射する。
【００４７】
この走査ユニット１５は、分光フィルタ１４を透過した合成レーザ光をＸ走査ガルバノミラーとＹ走査ガルバノミラーとの動作により２次元平面上（ＸＹ軸方向）に走査する。
【００４８】
これにより合成レーザ光は、対物レンズ４を通して標本６上にスポット光としてＸＹ軸方向に走査される。
【００４９】
標本６で発生した蛍光又は反射光は、合成レーザ光の標本６への入射光路と逆光路を戻る。すなわち、蛍光又は反射光は、対物レンズ４から走査ユニット１５を通り分光フィルタ１４に入射する。
【００５０】
この分光フィルタ１４は、標本６で発生した蛍光成分を反射する。この蛍光成分は、分光フィルタ１６により予め設定された波長を境に短波長の光と長波長の光とに波長選択する。例えば蛍光成分の短波長の光は、分光フィルタ１６を透過する。蛍光成分の長波長の光は、分光フィルタ１６で反射する。
【００５１】
このうち蛍光成分の短波長の光は、バリアフィルタ１７に入射し、このバリアフィルタ１７で予め設定された波長帯域内の波長成分のみが透過する。この透過した蛍光成分の短波長の光は、光検出器１８に入射する。
【００５２】
この光検出器１８は、バリアフィルタ１７を透過した蛍光成分の短波長の光を入射し、標本６の画像信号を出力する。
【００５３】
これと共に蛍光成分の長波長の光は、ミラー１９で反射してバリアフィルタ２０に入射する。この蛍光成分の長波長の光は、バリアフィルタ２０で予め設定された波長帯域内の波長成分のみが透過する。この透過した蛍光成分の長波長の光は、光検出器２１に入射する。
【００５４】
この光検出器２１は、バリアフィルタ２０を透過した蛍光成分の長波長の光を入射し、観察ポイントＮｏ．１における標本６の画像信号を出力する。
【００５５】
コントロールユニット２２は、各光検出器１８、２１から出力された各画像信号を入力し、これら画像信号からそれぞれ標本６の各画像データを作成してコンピュータシステム２に転送する。
【００５６】
このコンピュータシステム２は、標本６の各画像データを記憶媒体３１に記憶すると共に、モニタ装置３４に表示する。
【００５７】
この場合、レーザ走査型顕微鏡本体１は、条件データにおける観察ポイントＮｏ．１のフォーカス位置と、レーザ光を走査するときのレーザ光のＺ軸上の範囲と、スライス画像の枚数などに基づいて電動ステージ５をＺ軸方向に上下移動させ、共焦点光学系によって標本６のスライス像を複数枚取得する。
【００５８】
従って、コンピュータシステム２は、観察ポイントＮｏ．１における複数枚のスライス画像データを３次元画像データとして記憶媒体３１に記憶する。
【００５９】
次に、コンピュータシステム２は、記憶媒体３１に記憶されている観察ポイントＮｏ．２の条件データを読み出し、この条件データを接続インターフェース２３を介してレーザ走査型顕微鏡本体１のコントロールユニット２２に設定する。
【００６０】
これにより、上記観察ポイントＮｏ．１の場合と同様に、観察ポイントＮｏ．２における複数枚のスライス像が取得される。従って、コンピュータシステム２は、観察ポイントＮｏ．２における複数枚のスライス画像データを３次元画像データとして記憶媒体３１に記憶する。
【００６１】
以上のようにして指定された全ての観察ポイントＮｏ．１〜Ｎｏ．３ごとの複数枚の３次元画像データがそれぞれ記憶媒体３１に記憶される。これにより、これら３次元画像データをモニタ装置３４に表示することにより、各観察ポイントＮｏ．１〜Ｎｏ．３の観察が行なわれる。なお、この観察を第１回目の観察と称する。
【００６２】
この後、予め設定されたインターバル時間が経過すると、再度、コンピュータシステム２は、上記同様に各観察ポイントＮｏ．１〜Ｎｏ．３ごとに条件データを読み出し、この条件データを接続インターフェース２３を介してレーザ走査型顕微鏡本体１のコントロールユニット２２に設定する。これにより、コンピュータシステム２は、上記同様に各観察ポイントＮｏ．１〜Ｎｏ．３におけるインターバル時間を経過した複数枚のスライス画像データを取得し、これらスライス画像データを３次元画像データとして記憶媒体３１に記憶する。これにより、予め設定されたインターバル時間経過後における各観察ポイントＮｏ．１〜Ｎｏ．３の観察が行なわれる。なお、この観察を第２回目の観察と称する。
【００６３】
さらに、予め設定されたインターバル時間が経過すると、第３回目の観察が行なわれる。この第３回目の観察において、コンピュータシステム２の変化量検出部３５は、記憶媒体３１に記憶された各観察ポイントＮｏ．１〜Ｎｏ．３の第１回目と第２回目との各観察における各３次元画像データを読み出す。
【００６４】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに第１回目と第２回目との各観察で取得された各３次元画像データ同士を比較し、この比較結果からインターバル時間の経過に伴う標本６のＸＹ軸方向の位置ずれを検出する。
【００６５】
ここで、標本６のＸＹ軸方向の位置ずれ検出方法について具体的に説明する。
【００６６】
各観察ポイントＮｏ．１〜Ｎｏ．３ごとの第１回目と第２回目との各３次元画像データの取得が終了すると、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、それぞれ３次元画像データの各スライス画像データ毎に当該スライス画像データ中で最も輝度の高いピクセルを抽出する。例えば図３に示すように観察ポイントＮｏ．１におけるＺ軸方向の例えばＺ１位置、Ｚ２位置、Ｚ３位置における各スライス画像データＤ１、Ｄ２、Ｄ３中の最も輝度の高い各ピクセル部分Ｐ１、Ｐ２、Ｐ３、Ｐ４を抽出する。これらピクセル部分Ｐ１、Ｐ２、Ｐ３、Ｐ４は、最も高い輝度であることから各Ｚ１位置、Ｚ２位置、Ｚ３位置においてそれぞれジャストフォーカスになっている。
【００６７】
次に、変化量検出部３５は、各ピクセル部分Ｐ１、Ｐ２、Ｐ３、Ｐ４を合わせてＸＹ軸方向のエクステンド画像データＥを作成して記憶媒体３１に記憶する。これにより、エクステンド画像データＥからは、Ｚ軸方向の全てのＺ位置に対してフォーカスの合った画像データを取得できる。
【００６８】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、第１回目と第２回目とで取得された各３次元画像データからそれぞれ第１回目と第２回目との各エクステンド画像データＥを取得する。
【００６９】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、第１回目と第２回目との各エクステンド画像データＥ同士を比較し、この比較結果から検出される例えば各ピクセル部分Ｐ１、Ｐ２、Ｐ３、Ｐ４の画素単位のずれから標本６のＸＹ軸方向の位置ずれを検出する。
【００７０】
なお、標本６のＸＹ軸方向の位置ずれの検出方法は、別の方法を用いてもよい。その一方法は、例えば、上記同様に観察ポイントにおける第１回目と第２回目との各観察の各エクステンド画像データＥを取得する。
【００７１】
次に、これらエクステンド画像データＥをそれぞれ２値化する。
【００７２】
次に、これら２値化した各エクステンド画像データＥにおいてそれぞれ標本６中の観察対象の各重心位置を求める。
【００７３】
次に、第１回目と第２回目との各観察の観察対象の各重心位置の位置変化を求め、これを標本６のＸＹ軸方向の位置ずれとして検出する。
【００７４】
さらに一方法は、例えば、上記同様に観察ポイントにおける第１回目と第２回目との各観察の各エクステンド画像データＥを取得する。
【００７５】
次に、これらエクステンド画像データＥにおいてそれぞれ観察対象物のエッジを検出する。
【００７６】
次に、これらエッジに対してパターン認識を行うことで、第１回目と第２回目との各観察の観察対象の位置変化を求め、これを標本６のＸＹ軸方向の位置ずれとして検出する。
【００７７】
次に、補正部３６は、第３回目の観察において、各観察ポイントＮｏ．１〜Ｎｏ．３の３次元画像データを取得するとき、変化量検出部３５により検出された標本６のＸＹ軸方向の位置ずれに基づいて電動ステージ５のＸＹ軸方向の位置を補正する。
【００７８】
ここで、電動ステージ５の位置補正について具体的に説明する。
【００７９】
例えば観察ポイントＮｏ．１における第１回目の観察時の電動ステージ５の位置は、例えば図４に示すように（ＸＰ１，ＹＰ１）である。なお、このステージ位置（ＸＰ１，ＹＰ１）は、第２回目の観察位置と同じである。
【００８０】
第１回目と第２回目との各観察による標本６のＸＹ軸方向の位置ずれが例えばΔＸ０，ΔＹ０の場合、観察ポイントＮｏ．１に対する第３回目の観察の移動先は、例えば図５に示すように（ＸＰ１＋ΔＸ０，ＹＰ１＋ΔＹ０）にする。
【００８１】
なお、ＸＹ軸方向の位置ずれΔＸ０，ΔＹ０は、第１回目と第２回目の各観察で取得された各エクステンド画像データＥ間における観察対象の移動量と、第１回目と第２回目の各観察での電動ステージ５の位置の差を含む。
【００８２】
これにより、第ｎ回目の観察での電動ステージ５の移動先は、図４に示すように（ＸＰ１＋ΔＸｎ，ＹＰ１＋ΔＹｎ）になる。なお、ｎは自然数である。ここで、ΔＸｎ，ΔＹｎは、第１回目と第ｎ−１回目の各観察で取得された各エクステンド画像データＥ及び電動ステージ５の位置によって求まる標本６中の観察対象の移動量になる。
【００８３】
従って、補正部３６は、第ｎ回目の観察ポイントＮｏ．１の観察において、電動ステージ５の移動先を（ＸＰ１＋ΔＸｎ，ＹＰ１＋ΔＹｎ）にする補正指令をコントロールユニット２２に送出する。これにより、電動ステージ５は、
（ＸＰ１＋ΔＸｎ，ＹＰ１＋ΔＹｎ）の位置に移動する。
【００８４】
標本を長時間観察する場合、時間経過によってレーザ走査型顕微鏡において例えば温度変化により顕微鏡本体に歪みを生じる。又、標本６は、時間経過に伴って位置を移動する。これにより、レーザ走査型顕微鏡は、電動ステーシ５のステージ位置を調整しなければ、同一位置の観察ポイントＮｏ．１で標本６を観察できなくなる。
【００８５】
これに対して補正部３６は、電動ステージ５のステージ位置を補正するので、レーザ走査型顕微鏡は、第ｎ回目、例えば第３回目の観察において、観察ポイントＮｏ．１の観察対象の３次元画像データを確実に取得できる。
【００８６】
なお、レーザ走査型顕微鏡は、電動ステージ５を移動させて各観察ポイントＮｏ．１〜Ｎｏ．３の観察対象の３次元画像データを所定のインターバル時間毎に繰り返し取得する。このとき、補正部３６は、各観察ポイントＮｏ．１〜Ｎｏ．３への移動毎に電動ステージ５のステージ位置を補正する。この結果、レーザ走査型顕微鏡は、各観察ポイントＮｏ．１〜Ｎｏ．３において観察対象の３次元画像データを確実に取得できる。
【００８７】
なお、標本６のＸＹ軸方向の位置ずれの補正方法は、別の方法を用いてもよい。その一方法は、標本６中の観察対象の位置ずれの変化量を考慮したものである。
【００８８】
先ず、観察ポイントＮｏ．１において、上記同様に第３回目の観察により標本６中の観察対象の位置ずれを求める。この位置ずれは、
例えば（ΔＸ１，ΔＹ１）である。
【００８９】
次に、位置ずれ（ΔＸ１，ΔＹ１）と上記位置ずれ（ΔＸ０，ΔＹ０）との差分（ΔＸ１−ΔＸ０，ΔＹ１−ΔＹ０）を求める。
【００９０】
次に、上記電動ステージ５の移動先（ＸＰ１＋ΔＸｎ，ＹＰ１＋ΔＹｎ）に
差分（ΔＸ１−ΔＸ０，ΔＹ１−ΔＹ０）を付加する。ここで、ΔＸｎ＝ΔＸ１、
ΔＹｎ＝ΔＹ１とすれば、次の電動ステージ５の移動先は、
（ＸＰ１＋２・ΔＸ１−ΔＸ０，ＹＰ１＋２・ΔＹ１−ΔＹ０）になる。
【００９１】
従って、第ｎ回目の観察時の電動ステージ５の移動先は、
（ＸＰ１＋２・ΔＸｎ−ΔＸｎ−１，ＹＰ１＋２・ΔＹｎ−ΔＹｎ−１）になる。
【００９２】
ここで、ΔＸｎ、ΔＹｎは、第１回目と第ｎ−１回目の各観察で取得された３次元画像データ及びこれら観察での電動ステージ５のステージ位置による観察対象の位置ずれを示す。又、ΔＸｎ−１、ΔＹｎ−１は、第１回目と第ｎ−２回目の各観察で取得された３次元画像データ及びこれら観察での電動ステージ５のステージ位置による観察対象の位置ずれを示す。
【００９３】
次に、標本６のＺ軸方向の高さずれ、すわわちフォーカスずれの検出方法について具体的に説明する。
【００９４】
先ず、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、それぞれの三次元画像データから任意のＹ軸位置からＸＺ切片画像を抽出する。これにより、変化量検出部３５は、図７に示すようなＺ切片画像データＱを作成する。
【００９５】
なお、このＺ切片画像データＱは、第１回目と第２回目の各観察ごとに作成される。これらＺ切片画像データＱは、記憶媒体３１に記憶される。
【００９６】
次に、変化量検出部３５は、各観察ポイントＮｏ．１〜Ｎｏ．３ごとに、第１回目と第２回目の各Ｚ切片画像データＱ同士を比較し、この比較結果から検出される例えば各ピクセル部分Ｐ２、Ｐ３の画素単位のずれから標本６のＺ軸方向のフォーカスずれを検出する。
【００９７】
次に、補正部３６は、第３回目の観察において、各観察ポイントＮｏ．１〜Ｎｏ．３の３次元画像データを取得するとき、変化量検出部３５により検出された標本６のＺ軸方向のフォーカスずれに基づいて電動ステージ５のＺ軸方向の位置を補正する。
【００９８】
標本を長時間観察する場合、時間経過によって例えばレーザ走査型顕微鏡における温度変化により顕微鏡本体が歪む。これにより、レーザ走査型顕微鏡は、標本６に対するフォーカス位置が変化する。このため、レーザ走査型顕微鏡において観察開始時に決定したフォーカス位置を変えずに観察を続けると、観察の途中から標本６に対するフォーカス位置がずれてしまう。
【００９９】
これに対して補正部３６は、電動ステージ５のＺ軸方向を補正するので、レーザ走査型顕微鏡は、第ｎ回目、例えば第３回目の観察において、観察ポイントＮｏ．１の観察対象に対するフォーカスの合った３次元画像データを確実に取得できる。
【０１００】
なお、標本６のフォーカスずれの補正方法は、別の方法を用いてもよい。その一方法は、図６に示すようなエクステンド画像データＥを作成するとき、最も高い輝度を有するピクセルのＺ位置データを輝度に割り付けてエクステンド画像データを作成する。このとき、Ｚ位置の低いピクセルの輝度を小さくすると共に、Ｚ位置の高いピクセルの輝度を大きく割付ける。このＺ位置データのエクステンド画像データは、第１回目と第２回目の各観察ごとに作成され、記憶媒体３１に記憶される。
【０１０１】
これにより、第１回目と第２回目の各観察で取得された各エクステンド画像データにおける各観察対象の位置を比較することにより、標本６のＸＹ軸方向の位置ずれが求められる。又、これらエクステンド画像データにおける輝度値すなわちＺ位置データを比較することにより、標本６に対するフォーカスずれが求められる。
【０１０２】
この結果、電動ステージ５のＺ軸方向を補正することにより、例えば第３回目の観察において、観察ポイントＮｏ．１の観察対象に対するフォーカスの合った３次元画像データを確実に取得できる。
【０１０３】
このように上記第１の実施の形態においては、予め設定されたインターバル時間間隔で複数の観察ポイントＮｏ．１〜Ｎｏ．３における例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データＥを作成し、これらエクステンド画像データＥを比較して時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとを検出し、これら位置ずれとフォーカスずれとに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さを補正する。
【０１０４】
従って、標本を長時間観察する場合、時間経過によってレーザ走査型顕微鏡において例えば温度変化により顕微鏡本体に歪みを生じたり、標本６が時間経過に伴って位置を移動したとしても、複数の観察ポイントＮｏ．１〜Ｎｏ．３において標本６中の観察対象をレーザ走査型顕微鏡の視野内に確実に捉え続けることができる。又、時間経過によってレーザ走査型顕微鏡に例えば温度変化による顕微鏡本体の歪みが発生しても、複数の観察ポイントＮｏ．１〜Ｎｏ．３において標本６に対するフォーカスを合わせ続けることができる。
【０１０５】
これにより、標本６の位置が時間経過に伴ってずれても、又標本６に対するフォーカスがずれたとしても、自動的に電動ステージ５をＸＹ軸方向又はＺ軸方向に補正できる。観察者は、標本６の長時間の観察中に非常に煩雑なステージ位置の調整作業をしなくてよい。
【０１０６】
この結果、例えば標本６として生きている細胞に対して様々な刺激を与え、この刺激に対する標本６の経時的な反応を観察することによって、標本６の３次元的な時間変化が観察できる。
【０１０７】
次に、本発明の第２の実施の形態について図面を参照して説明する。なお、図１と同一部分には同一符号を付してその詳しい説明は省略する。
【０１０８】
図８はレーザ走査型顕微鏡の構成図である。このレーザ走査型顕微鏡は、コンピュータシステム２に観察ポイント追加部３７を有する。この観察ポイント追加部３７は、変化量検出部３５により検出された時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとに基づいて標本６の形状が変化して３次元画像データの領域外に出たか否かを判断する。
【０１０９】
この判断の結果、標本６が３次元画像データの領域外に出たと判断すると、観察ポイント追加部３７は、例えば図９に示すように複数の観察ポイントＮｏ．１〜Ｎｏ．３、例えば観察ポイントＮｏ．２に隣接して新たな観察ポイントＮｏ．２−１を追加する。
【０１１０】
この観察ポイント追加部３７は、例えば観察ポイントＮｏ．２に隣接して新たな観察ポイントＮｏ．２−１を１つ追加するに限らず、例えば観察ポイントＮｏ．２に隣接して新たな複数の観察ポイントＮｏ．２−１を追加したり、これら新たな各観察ポイントＮｏ．２−１に隣接してそれぞれ新たな複数の観察ポイントＮｏ．２−１を追加してもよい。
【０１１１】
次に、上記の如く構成された装置の動作について説明する。
【０１１２】
標本６は、例えば神経細胞６ａである。この神経細胞６ａは、時間経過に伴って形状が変化する。例えば図１０に示すように観察ポイントＮｏ．２において、神経細胞６ａは、時間経過（時刻Ｔ１、Ｔ２、Ｔ３）に伴って形状を変化させる。これにより、神経細胞６ａは、３次元画像データの領域から出てしまう。いわゆる観察対象である神経細胞６ａの画像の欠けが生じる。
【０１１３】
このため、神経細胞６ａを長時間観察する場合、複数の観察ポイントＮｏ．１〜Ｎｏ．３におけるＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとの調整では不十分になる。
【０１１４】
従って、先ず、変化量検出部３６は、上記第１の実施の形態と同様に、予め設定されたインターバル時間間隔で複数の観察ポイントＮｏ．１〜Ｎｏ．３における例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データＥを作成する。
【０１１５】
次に、観察ポイント追加部３７は、変化量検出部３５により作成した複数の観察ポイントＮｏ．１〜Ｎｏ．３における第１回目と第２回目の各観察での各エクステンド画像データＥ上で神経細胞６ａの画像に欠けが生じたか否かを判断する。
【０１１６】
この判断の結果、神経細胞６ａの画像が例えば図１０に示すように観察ポイントＮｏ．２において時刻Ｔ３に欠けたと判断すると、観察ポイント追加部３７は、神経細胞６ａの画像の欠けた位置を判断する。
【０１１７】
次に、観察ポイント追加部３７は、図９に示すように観察ポイントＮｏ．２における神経細胞６ａの画像の欠けた位置に隣接して新たな観察ポイントＮｏ．２−１を追加する。
【０１１８】
この後、変化量検出部３６は、上記第１の実施の形態と同様に、予め設定されたインターバル時間間隔で複数の観察ポイントＮｏ．２−１における例えば第１回目と第２回目の各観察で取得さたれ各３次元画像データの各エクステンド画像データＥを作成する。
【０１１９】
次に、変化量検出部３６は、観察ポイントＮｏ．２−１における例えば第１回目と第２回目での各エクステンド画像データＥを比較して時間経過に伴う標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとを検出する。
【０１２０】
次に、補正部３７は、標本６のＸＹ軸方向の位置ずれとＺ軸方向のフォーカスずれとに基づいて電動ステージ５のＸＹ軸方向の位置又はＺ軸方向の高さを補正する。
【０１２１】
この結果、神経細胞６ａの形状が時間経過に伴って変化しても、神経細胞６ａの画像に欠けが生じることはない。これにより、時間経過に伴って形状が変化する神経細胞６ａの画像データを取りこぼすことなく、神経細胞６ａの全体の３次元画像データが確実に取得できる。従って、時間経過に伴って形状の変化する神経細胞６ａを長時間観察しても、神経細胞６ａの３次元的な時間変化が確実に観察できる。
【０１２２】
そのうえ観察ポイント追加部３７は、例えば観察ポイントＮｏ．２に隣接して新たな観察ポイントＮｏ．２−１を１つ追加するに限らず、例えば観察ポイントＮｏ．２に隣接して新たな複数の観察ポイントＮｏ．２−１を追加したり、これら新たな各観察ポイントＮｏ．２−１に隣接してそれぞれ新たな複数の観察ポイントＮｏ．２−１を追加する。
【０１２３】
これにより、観察ポイント追加部３７は、神経細胞６ａの形状がＸＹ平面内のあらゆる方向に変化しても、神経細胞６ａの形状変化に追従して新たな観察ポイントＮｏ．２−１を追加できる。
【０１２４】
なお、これら新たに追加した各観察ポイントＮｏ．２−１に対しても、標本６のＸＹ軸方向の位置ずれ及び標本６のＺ軸方向のフォーカスずれを補正できることは言うまでもない。
【０１２５】
ここで、本発明のレーザ走査型顕微鏡における特徴とするところについて説明する。
【０１２６】
本発明は、標本６上の観察ポイントにおける３次元画像データを所定のインターバル時間毎に繰り返し取得するレーザ走査型顕微鏡を動作制御するのに、所定のインターバル時間毎に繰り返し取得された３次元画像データを保存する第１の工程と、この第１の工程により保存された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本６に関する変化量、例えば標本６のＸＹ軸方向の位置ずれ又は標本６のＺ軸方向のフォーカスずれのいずれか一方又は両方を検出する第２の工程と、標本６に関する上記変化量を検出した後に観察ポイントの３次元画像データを取得するとき、第２の工程により検出された変化量に基づいて標本６の位置を補正する第３の工程とを有することを特徴とするレーザ走査型顕微鏡の制御方法である。
【０１２７】
又、本発明のレーザ走査型顕微鏡の記憶媒体３１に記憶されている制御プログラムは、所定のインターバル時間毎に繰り返し取得された３次元画像データを保存する第１のステップと、この第１のステップにより保存された３次元画像データのうち互いに画像取得に時間差のある各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う標本６に関する変化量、例えば標本６のＸＹ軸方向の位置ずれ又は標本６のＺ軸方向のフォーカスずれのいずれか一方又は両方を検出する第２のステップと、標本６に関する上記変化量を検出した後に観察ポイントの３次元画像データを取得するとき、第２のステップにより検出された変化量に基づいて標本６の位置を補正する第３のステップとを有する。
【０１２８】
なお、本発明は、上記第１及び第２の実施の形態に限定されるものでなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。
【０１２９】
さらに、上記実施形態には、種々の段階の発明が含まれており、開示されている複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施形態に示されている全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【０１３０】
例えば、フォーカスずれの補正は、電動ステージ５をＺ軸方向に調整するのに限らず、対物レンズ４をＺ軸方向に上下移動させてもよい。
【０１３１】
又、標本６のＸＹ軸方向の位置ずれ検出方法や標本６のＺ軸方向のフォーカスずれの検出方法は、上記第１及び第２の実施の形態に記載した各方法に限らず、各種方法を用いてもよい。
【０１３２】
【発明の効果】
以上詳記したように本発明によれば、標本の観察中の調整作業を不要とすると共に、長時間に及ぶ観察でも確実に期待できる３次元画像データを取得できるレーザ走査型顕微鏡を提供できる。
【図面の簡単な説明】
【図１】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態を示す構成図。
【図２】標本上に決定された複数の観察ポイントの例を示す図。
【図３】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態における変化量検出部により抽出された各スライス画像データ中の最も輝度の高いピクセル部分を示す模式図。
【図４】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態における電動ステージ５の位置補正方法を説明するための図。
【図５】観察ポイントの移動先の一例をしめす図。
【図６】本発明に係わるレーザ走査型顕微鏡の第１の実施の形態におけるエクステンド画像データからのＺ切片画像の抽出位置を示す模式図。
【図７】Ｚ切片画像データの模式図。
【図８】本発明に係わるレーザ走査型顕微鏡の第２の実施の形態を示す構成図。
【図９】本発明に係わるレーザ走査型顕微鏡の第２の実施の形態における新たな観察ポイントの追加を示す図。
【図１０】神経細胞の時間経過に伴う形状変化による神経細胞の画像の欠けを示す模式図。
【図１１】本発明に係わるレーザ走査型顕微鏡の第２の実施の形態における新たな観察ポイントでの３次元画像データを示す模式図。
【符号の説明】
１：レーザ走査型顕微鏡本体
２：コンピュータシステム
３：顕微鏡筐体
４：対物レンズ
５：電動ステージ
６：標本
６ａ：神経細胞
７〜９：レーザ光源
１０，１１：合成用ダイクロイックミラー
１２，１３，１９：ミラー
１４，１６：分光フィルタ
１５：走査ユニット
１７：バリアフィルタ
１８：光検出器
２０：バリアフィルタ
２１：光検出器
２２：コントロールユニット
２３：接続インターフェース
３０：ＣＰＵ
３１：記憶媒体
３２：キーボード
３３：マウス
３４：モニタ装置
３５：変化量検出部
３６：補正部
３７：観察ポイント追加部
Claims (5)
- 標本上の観察ポイントにおける３次元画像データを所定時間毎に繰り返し取得するレーザ走査型顕微鏡において、
前記所定時間毎に繰り返し取得された前記３次元画像データを保存する画像保存手段と、
この画像保存手段に保存された前記３次元画像データのうち互いに画像取得に時間差のある前記各３次元画像データ同士を比較し、これら３次元画像データから時間経過に伴う前記標本に関する変化量を検出する変化量検出手段と、
前記標本に関する前記変化量を検出した後に前記観察ポイントの３次元画像データを取得するとき、前記変化量検出手段により検出された前記変化量に基づいて前記標本の位置を補正する補正手段と、
を具備したことを特徴とするレーザ走査型顕微鏡。 - 前記変化量検出手段は、前記標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方を検出し、
前記補正手段は、前記標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方に基づいて前記ステージを前記ＸＹ方向又はＺ方向のいずれか一方又は両方に補正することを特徴とする請求項１記載のレーザ走査型顕微鏡。 - 前記変化量検出手段により検出された前記変化量に基づいて前記標本の形状が変化して前記画像データの領域外に出たと判断すると、前記観察ポイントに隣接して新たな観察ポイントを追加する観察ポイント追加手段を具備したことを特徴とする請求項１記載のレーザ走査型顕微鏡。
- 前記観察ポイント追加手段は、前記新たな観察ポイントを複数追加することを特徴とする請求項３記載のレーザ走査型顕微鏡。
- 前記標本上の複数の前記観察ポイントに対する前記ステージの各ステージ位置を記憶する記憶手段を有し、
前記補正手段は、前記ステージを移動して任意の前記観察ポイントの３次元画像データを取得するときに、前記標本のＸＹ平面上の位置ずれ又はＺ方向のフォーカスずれのいずれか一方又は両方に基づいて前記記憶手段に記憶されている前記観察ポイントの前記ステージ位置を補正することを特徴とする請求項１記載のレーザ走査型顕微鏡。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002362466A JP4350365B2 (ja) | 2002-12-13 | 2002-12-13 | レーザ走査型顕微鏡 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002362466A JP4350365B2 (ja) | 2002-12-13 | 2002-12-13 | レーザ走査型顕微鏡 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004191846A true JP2004191846A (ja) | 2004-07-08 |
| JP4350365B2 JP4350365B2 (ja) | 2009-10-21 |
Family
ID=32760904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002362466A Expired - Fee Related JP4350365B2 (ja) | 2002-12-13 | 2002-12-13 | レーザ走査型顕微鏡 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4350365B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006350005A (ja) * | 2005-06-16 | 2006-12-28 | Yokogawa Electric Corp | 共焦点顕微鏡システム |
| JP2006350004A (ja) * | 2005-06-16 | 2006-12-28 | Yokogawa Electric Corp | 共焦点顕微鏡システム |
| KR100998716B1 (ko) | 2009-04-01 | 2010-12-07 | 한국기초과학지원연구원 | 현미경 영상정보 자동화 시스템 처리방법 |
| JP2013061433A (ja) * | 2011-09-12 | 2013-04-04 | Olympus Corp | タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置 |
| CN103728304A (zh) * | 2013-12-18 | 2014-04-16 | 宁波江丰生物信息技术有限公司 | 一种用于病理切片扫描仪的对焦方法 |
| JP2018033410A (ja) * | 2016-09-01 | 2018-03-08 | 憲治 杉本 | 細胞観察装置 |
| JP2020134227A (ja) * | 2019-02-15 | 2020-08-31 | 日本分光株式会社 | 位置補正機能を有する顕微分光装置 |
| JP2020134228A (ja) * | 2019-02-15 | 2020-08-31 | 日本分光株式会社 | 自動サンプル検出機能を有する顕微分光装置 |
-
2002
- 2002-12-13 JP JP2002362466A patent/JP4350365B2/ja not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006350005A (ja) * | 2005-06-16 | 2006-12-28 | Yokogawa Electric Corp | 共焦点顕微鏡システム |
| JP2006350004A (ja) * | 2005-06-16 | 2006-12-28 | Yokogawa Electric Corp | 共焦点顕微鏡システム |
| KR100998716B1 (ko) | 2009-04-01 | 2010-12-07 | 한국기초과학지원연구원 | 현미경 영상정보 자동화 시스템 처리방법 |
| JP2013061433A (ja) * | 2011-09-12 | 2013-04-04 | Olympus Corp | タイムラプス観察方法、及び、それに用いられるタイムラプス観察装置 |
| CN103728304A (zh) * | 2013-12-18 | 2014-04-16 | 宁波江丰生物信息技术有限公司 | 一种用于病理切片扫描仪的对焦方法 |
| JP2018033410A (ja) * | 2016-09-01 | 2018-03-08 | 憲治 杉本 | 細胞観察装置 |
| JP2020134227A (ja) * | 2019-02-15 | 2020-08-31 | 日本分光株式会社 | 位置補正機能を有する顕微分光装置 |
| JP2020134228A (ja) * | 2019-02-15 | 2020-08-31 | 日本分光株式会社 | 自動サンプル検出機能を有する顕微分光装置 |
| JP7246073B2 (ja) | 2019-02-15 | 2023-03-27 | 日本分光株式会社 | 位置補正機能を有する顕微分光装置 |
| US11635605B2 (en) | 2019-02-15 | 2023-04-25 | Jasco Corporation | Microspectroscope having position correction function |
| JP7265248B2 (ja) | 2019-02-15 | 2023-04-26 | 日本分光株式会社 | 自動サンプル検出機能を有する顕微分光装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4350365B2 (ja) | 2009-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7253420B2 (en) | Scanning microscope system | |
| US7355702B2 (en) | Confocal observation system | |
| EP1681589B1 (en) | Scanning microscope and specimen image obtaining method | |
| EP2322969A1 (en) | Microscope device | |
| JP4700299B2 (ja) | 共焦点走査型顕微鏡 | |
| JP3634343B2 (ja) | デジタル制御走査方法および装置 | |
| JP2006504140A (ja) | ランダムアクセス高速度共焦点顕微鏡 | |
| JP2010286566A (ja) | レーザ走査型蛍光顕微鏡および蛍光観察方法 | |
| EP1882967B1 (en) | Scanning examination apparatus | |
| JP4350365B2 (ja) | レーザ走査型顕微鏡 | |
| JP6832093B2 (ja) | 顕微鏡システム | |
| JP2010286565A (ja) | 蛍光観察装置 | |
| US6680796B2 (en) | Microscope assemblage | |
| JPH1152252A (ja) | 蛍光顕微鏡 | |
| JP2000305021A (ja) | 共焦点顕微鏡 | |
| JPH11326778A (ja) | 顕微鏡画像観察装置 | |
| JP4885439B2 (ja) | カラー画像取得方法及び共焦点レーザ顕微鏡 | |
| JP4398183B2 (ja) | 共焦点顕微鏡 | |
| JP2006003805A (ja) | 共焦点観察システム、光照射方法、及び光照射プログラム | |
| JPH1138324A (ja) | レーザ走査顕微鏡 | |
| JP2006106346A (ja) | 顕微鏡システム | |
| JP2005345764A (ja) | 走査型光学装置 | |
| JP6128862B2 (ja) | 顕微鏡装置および顕微鏡システム | |
| JP2004177732A (ja) | 光学測定装置 | |
| JP2005351703A (ja) | 走査型レーザ顕微鏡および検出波長範囲設定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090722 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |