JP2006072109A - 観察方法および観察装置 - Google Patents

Abstract

【課題】 試料の動きに合わせてリアルタイムに観察光学系を動作させることなく、画像に発生するブレを低減し、見やすい観察画像を得る。
【解決手段】 試料の観察対象部位Ｂの観察に先立って、所定の時間範囲にわたり、観察対象部位Ｂを含む観察範囲の試料表面を撮像し、取得された試料表面の画像Ｇを処理して複数の特徴点を抽出し、抽出された各特徴点の前記時間範囲にわたる動作軌跡Ｑを算出し、観察対象部位Ｂに配される特徴点の動作軌跡Ｑが最も短くなる位置に観察光学系の光軸を配置する観察方法を提供する。
【選択図】 図５

Description

この発明は、生体等の試料を生きたまま（in vivo）観察するための観察方法および観察装置に関するものである。

近年、光学顕微鏡を用いて蛍光プローブによるイオン濃度、膜電位などの可視化が行われるようになっており、例えば、神経細胞などの生体機能観察、特に動的挙動の観察が行われるようになっている。
このような動的挙動を観察するものとしては、顕微鏡写真撮影装置が知られている（例えば、特許文献１参照。）。
特開２０００−２７５５３９号公報

しかしながら、このような従来の顕微鏡写真撮影装置は、試料としての生体の動的な挙動に合わせて写真を撮影するものであるが、カメラの焦点距離を一定に保ちながら、試料の動的な挙動の内の、ピントの合う静止状態を選択的に撮影するものであるため、得られる画像は細切れになり、特に、動いている状態の試料の様子を観察することができないという問題がある。

また、現実に生きたままの試料の動いている状態を観察しようとする場合、呼吸動作、拍動等の脈動によって、試料が３次元的に動くために、画像にブレが生じてしまう不都合がある。画像のブレは、特に、カメラの光軸に対して交差する方向に試料が動いてしまう場合に発生する。しかしながら、試料の動きに合わせてリアルタイムにカメラを含む観察光学系の光軸を移動させることは、装置を複雑化させてしまう不都合があるとともに、特に、試料の拡大観察を行う顕微鏡装置の場合には非現実的である。

この発明は、上述した事情に鑑みてなされたものであって、試料の動きに合わせてリアルタイムに観察光学系を動作させることなく、画像に発生するブレを低減し、見やすい観察画像を得ることができる観察方法および観察装置を提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、観察光学系による観察対象部位の観察に先立って、所定の時間範囲にわたり、観察対象部位を含む観察範囲の試料表面を撮像し、取得された試料表面の画像を処理して複数の特徴点を抽出し、抽出された各特徴点の前記時間範囲にわたる動作軌跡を算出し、観察対象部位に配される特徴点の動作軌跡が最も短くなる位置に観察光学系の光軸を配置する観察方法を提供する。

本発明によれば、観察光学系による観察に先立って、試料表面の画像における観察対象部位に配される特徴点の所定時間範囲にわたる動作軌跡が最も短くなる位置に観察光学系の光軸を配置するので、観察光学系による観察時には、試料の観察対象部位が観察光学系の光軸方向に沿って移動するように、試料と観察光学系との相対位置関係を設定することができる。観察光学系の光軸方向に沿う試料の動きに対しては、観察光学系の被写界深度を大きくしたり、オートフォーカスを採用することにより、ピントを合わせた状態に保持することが可能である。これにより、観察光学系により取得される画像のブレを低減し、観察対象部位の観察を容易にすることができる。

また、本発明は、観察対象部位を含む観察範囲の試料表面を所定の時間範囲にわたり撮像する撮像部と、該撮像部により取得された試料表面の画像を処理して複数の特徴点を抽出する特徴点抽出部と、抽出された各特徴点の前記時間範囲にわたる動作軌跡を算出する動作軌跡算出部と、試料表面を観察する観察光学系と、前記試料表面に対する該観察光学系の光軸の方向を変化させる光軸方向変更部と、該光軸方向変更部の動作を制御する制御部とを備え、該制御部が、観察光学系による観察に先立って、前記動作軌跡算出部により算出された観察対象部位に配される特徴点の動作軌跡が最も短くなる位置に観察光学系の光軸を配置するよう光軸方向変更部を制御する観察装置を提供する。

本発明によれば、撮像部により撮像された所定の時間範囲にわたる試料表面の画像が、特徴点抽出部の作動により処理されて、試料表面の画像内から複数の特徴点が抽出される。動作軌跡算出部は、抽出された特徴点の動作を所定の時間範囲にわたって追跡することにより、各特徴点の動作軌跡を算出する。動作軌跡は、撮像部の光軸に対して直交する方向への各特徴点の移動量を表すため、試料に対して撮像部の光軸を変化させると各特徴点の動作軌跡の長さが変化する。そこで、制御部の作動により、動作軌跡算出部により算出された観察対象部位に配される特徴点の動作軌跡が最も短くなる位置に、観察光学系の光軸を配置するよう光軸方向変更部を作動させることにより、観察対象部位が、主として観察光学系の光軸に沿う方向のみに変位するようになる。この状態で、観察光学系による観察を行うことにより、ブレの少ない画像を得ることができる。

また、本発明は、観察対象部位を含む観察範囲の試料表面を所定の時間範囲にわたり撮像する撮像部を備える観察光学系と、前記撮像部により取得された試料表面の画像を処理して複数の特徴点を抽出する特徴点抽出部と、抽出された各特徴点の前記時間範囲にわたる動作軌跡を算出する動作軌跡算出部と、前記撮像部により取得された試料表面の画像と、前記動作軌跡算出部により算出された各特徴点の動作軌跡とを重ね合わせて表示する画像表示部とを備える観察装置を提供する。

本発明によれば、観察光学系の撮像部の作動により試料表面の画像が撮像され、特徴点抽出部の作動により、取得された試料表面の画像が処理されて複数の特徴点が抽出され、動作軌跡算出部の作動により各特徴点の所定の時間範囲にわたる動作軌跡が算出される。画像表示部は、撮像部により取得された試料表面の画像と動作軌跡算出部により算出された特徴点の動作軌跡とを重ね合わせて表示するので、観察者は、画像表示部上において、これから観察しようとする観察対象部位がどの方向にどれだけ移動しているのかを確認することができる。そして、観察対象部位の移動軌跡が小さくなるように、観察光学系の光軸を移動させた後に、観察光学系によって観察を行うことにより、ブレの小さい観察対象部位の画像を得ることが可能となる。

本発明によれば、観察光学系による観察に先立って、試料の観察対象部位が観察光学系の光軸に対して交差する方向に移動しない位置に設定されるので、試料の動きに合わせてリアルタイムに観察光学系を動作させることなく、画像に発生するブレを低減し、見やすい観察画像を得ることができるという効果を奏する。

以下、本発明の第１の実施形態に係る観察装置および観察方法について、図１〜図６を参照して説明する。
本実施形態に係る観察装置１は、図１および図２に示されるように、観察対象である生体Ａを載置するステージ２と、ステージ２に対向配置される測定ヘッド３と、レーザ光源４および光検出器５を備える光学ユニット６と、これら測定ヘッド３と光学ユニット６とを接続する光ファイバ７と、測定ヘッド３の姿勢を変更可能に支持する姿勢変更機構８と、姿勢変更機構８の動作を制御する制御装置９とを備えている。

前記ステージ２は、ベース１０に対して該ステージ２を鉛直軸線Ｃ１回りに回転させるステージ回転機構２ａを備えている。測定ヘッド３を固定し、ステージ回転機構２ａを作動させることで、生体Ａを全周にわたって異なる角度方向から観察することができるようになっている。

前記測定ヘッド３は、ステージ２に対向する先端に配置された対物光学系１１と、該対物光学系１１を取り付ける筐体１２内に配置されたコリメート光学系１３、光走査部１４、瞳投影光学系１５および結像光学系１６を備えている。コリメート光学系１３は光ファイバ７により伝播されてきたレーザ光を平行光に変換するようになっている。光走査部１４は図中には模式的に示しているが、例えば、２枚のガルバノミラーを直交する２軸回りにそれぞれ揺動させることでコリメート光学系１３からの平行光を２次元的に走査させることができるようになっている。

前記瞳投影光学系１５は光走査部１４により走査されたレーザ光を集光させて中間像を結像させるようになっている。前記結像光学系１６は、中間像を結像したレーザ光を集光させて平行光に変換するようになっている。
前記対物光学系１１は、ステージ２に搭載された生体Ａに近接して配置され、結像光学系１６からの平行光を集光して生体Ａの表面あるは生体Ａの内部組織に設定した焦点位置に再結像させるようになっている。

また、測定ヘッド３内には、瞳投影光学系１５から光走査部１４側に戻る戻り光の光路中に挿脱可能に配されるミラー１７と、該ミラー１７が光路中に挿入されたときに、該ミラー１７により対物光学系１１の光軸Ｃ２に沿って照明光を入射させる照明光学系１８と、ミラー１７により反射された生体Ａからの戻り光を撮像する撮像光学系１９とを備えている。
照明光学系１８は、ＬＥＤ等の光源１８ａと、光源１８ａから発せられた光を平行光にするコリメートレンズ１８ｂと、平行光に変換された光源１８ａからの光をミラー１７に入射させるハーフミラー１８ｃとを備えている。撮像光学系１９は、集光レンズ１９ａとＣＣＤカメラ１９ｂとを備えている。

さらに、測定ヘッド３には、生体Ａ表面までの距離を測定する距離センサ２０と、該距離センサ２０からの出力に応じて焦点位置を調節するようコリメート光学系１３を光軸方向に移動させるオートフォーカス機構２１とが備えられている。

前記光学ユニット６はレーザ光源４から発せられたレーザ光を平行光に変換するコリメートレンズ２２と、該レーザ光を反射するとともに光学ユニット６に戻ってきた戻り光を透過させるダイクロイックミラー２３と、該ダイクロイックミラー２３によって反射されたレーザ光を光ファイバ７の端面７ａに集光させる集光レンズ２４と、ダイクロイックミラー２３を透過した戻り光を光検出器５に集光する集光レンズ２５とを備えている。光検出器５は、例えば、光電子増倍管である。光検出器５には、制御装置９内の画像処理装置（図示略）を介してモニタ２６が接続され、撮像された画像がモニタ２６に表示されるようになっている。

前記光ファイバ７は、前記光学ユニット６および測定ヘッド３に接続され、光学ユニット６から送られるレーザ光を伝播して測定ヘッド３内に入射させるとともに、測定ヘッド３から戻る戻り光を伝播して光学ユニット６内に入射させるようになっている
前記姿勢変更機構８は、例えば、水平軸線Ｃ３回りに回転可能な回転アーム２７と、該回転アーム２７の先端に取り付けられ回転アーム２７の長手方向に沿う方向およびそれに直交する方向にそれぞれ測定ヘッド３を移動させる２軸の直動機構２８とを備えている。

回転アーム２７は、モータ２９によって、鉛直面内において揺動可能に設けられている。直動機構２８は、例えば、モータ３０と、ボールネジ３１と、図示しないリニアガイドによって支持されボールネジ３１によって直線移動させられるスライダ３２とを備えている。

前記制御装置９は、前記ＣＣＤカメラ１９ｂに接続され、所定の時間間隔をあけて少なくとも２枚の画像を取得するようになっている。ＣＣＤカメラ１９ｂにより最初の画像が取得されると、制御装置９は、まず、取得された画像においてその特徴点を複数抽出するようになっている。特徴点は、例えば、画像中の輝度が所定値より高い画素である。所定範囲内に所定値より高い画素が複数存在する場合には、その範囲内においては最も輝度が高い画素を特徴点として抽出するようになっている。

次いで、制御装置９は、抽出された画像中の特徴点が、取得された複数の画像間において、どのように移動したのかを示す、各特徴点の動作軌跡を計算するようになっている。ＣＣＤカメラ１９ｂにより撮像する画像数が、例えば、２枚の場合には、その２枚の画像を重ねて、対応する特徴点どうしを結ぶことにより動作軌跡が計算される。そして、画像中における観察対象部位、例えば、画像の中心位置近傍における動作軌跡が最も短くなるように、姿勢変更機構８を作動させるようになっている。

このように構成された本実施形態に係る観察装置１による観察方法について以下に説明する。
本実施形態に係る観察装置１により、マウス等の実験小動物のような生体Ａを生きたままで観察する場合には、まず、測定ヘッド３内において、光走査部１４と瞳投影光学系１５との間にミラー１７を挿入して、光源１８ａからの光を、コリメートレンズ１８ｂ、ハーフミラー１８ｃ、ミラー１７、瞳投影光学系１５、結像光学系１６および対物光学系１１を介して生体Ａに照射し、対物光学系１１、結像光学系１６、瞳投影光学系１５、ミラー１７、ハーフミラー１８ｃを介して戻る生体Ａからの戻り光を集光レンズ１９ａにより集光してＣＣＤカメラ１９ｂにより撮像する。

撮像は、例えば、時間間隔をあけて２回行われる。そして、制御装置９の作動により、ＣＣＤカメラ１９ｂによって撮像された２枚の画像中の対応する特徴点が抽出され、その動作軌跡が計算される。

具体的には、撮像された２枚の画像Ｇにおいて所定値以上の輝度を有する画素を特徴点Ｐとして、図３に示されるように抽出する。ここでは、説明の容易のために画像Ｇを視覚的に示すが、本実施形態においては、この過程の画像をモニタ２６に表示する必要は必ずしもなく、計算上において行えばよい。図中、符号Ｂは観察対象部位である。そして、２枚の画像Ｇを図４に示されるように重ね合わせ、対応する特徴点Ｐ１，Ｐ２の中心点どうしを図５に示されるように接続することにより、動作軌跡Ｑを算出することができる。

図５においては、観察対象部位Ｂ内における動作軌跡Ｑは、画像Ｇ中の最も短い動作軌跡ではなく、生体Ａは、観察対象部位Ｂにおいて対物光学系１１の光軸Ｃ２に対して交差する方向に移動していることになる。このまま観察作業を行うと、観察対象部位Ｂの画像においてブレが生ずることになるので、計算された複数の特徴点Ｐにおける動作軌跡Ｑの内、観察対象部位Ｂにおける動作軌跡Ｑが最も短くなるように、姿勢変更機構８が作動させられる。

本実施形態においては姿勢変更機構８は、回転アーム２７と２軸の直動機構２８とから構成されているため、対物光学系１１の焦点位置を固定したままの状態で、回転アーム２７の回転面に平行な平面内において測定ヘッド３の光軸Ｃ２の角度を、任意に調節することができる。また、それ以外の方向に、測定ヘッド３の光軸Ｃ２の角度を変更したい場合には、ステージ回転機構２ａの作動により、ステージを鉛直軸線回りに回転させる。これにより、生体Ａに対して任意の３次元方向に光軸Ｃ２の姿勢を調節することが可能となる。

そして、これにより、観察対象部位Ｂにおける特徴点Ｐが移動しないように測定ヘッド３の光軸Ｃ２の姿勢が調節され、３次元的に変位している生体Ａは、当該観察対象部位Ｂにおいては測定ヘッド３の光軸Ｃ２に沿う方向にのみ変位するようになる。
この状態で、測定ヘッド３内において、光走査部１４と瞳投影光学系１５との間からミラー１７を抜き出して、光学ユニット６を作動させ、レーザ光源４からレーザ光を出射すると、出射されたレーザ光が、コリメートレンズ２２、ダイクロイックミラー２３および集光レンズ２４を経て光ファイバ７の端面７ａに集光されて入射される。

光ファイバ７内に入射されたレーザ光は、光ファイバ７内を伝播させられて測定ヘッド３に伝達され、測定ヘッド３内のコリメート光学系１３、光走査部１４、瞳投影光学系１５、結像光学系１６および対物光学系１１を経て、生体Ａ内に設定された焦点位置に結像される。レーザ光が照射されることにより生体Ａの内部組織において発生した蛍光は、対物光学系１１、結像光学系１６、瞳投影光学系１５、光走査部１４およびコリメート光学系１３を介して光ファイバ７内を伝播して戻り、光学ユニット６の集光レンズ２４によって平行光に変換された後に、ダイクロイックミラー２３を通過させられて集光レンズ２５により光検出器５に入射される。光検出器５における検出信号は、制御装置９に送られ、画像処理されて蛍光画像としてモニタ２６に表示されることになる。

この場合において、本実施形態に係る観察装置１によれば、観察対象部位Ｂの観察に先立って、制御装置９により、観察対象部位Ｂが光軸Ｃ２方向にのみ変位するように、生体Ａに対して測定ヘッド３の光軸Ｃ２方向が設定されるので、観察中に光軸Ｃ２を固定したままの状態に維持することができ、ブレを抑えた蛍光画像を得ることができる。また、距離センサ２０の作動によって、生体Ａ表面の測定ヘッド３の光軸Ｃ２方向に沿う変位を検出し、それに応じてオートフォーカス機構２１を作動させるだけで、観察対象部位Ｂに対してピントを合わせた状態に維持することができる。したがって、鮮明な蛍光画像を得ることができるという利点がある。なお、共焦点効果を利用して生体Ａ内部を撮像する場合には、距離センサ２０の検出する表面位置と対物光学系１１の焦点位置とをずらしておくことにより、生体Ａ内部の所定の深さ位置に焦点位置を固定した状態で共焦点観察を行うことが可能となる。

このように、本実施形態に係る観察装置１によれば、例えば、マウスのような生体Ａの観察対象部位Ｂが、呼吸動作等の周期的な変位を伴う場合においても、観察に先立って、予めその観察対象部位Ｂの３次元的な変位方向に測定ヘッド３の光軸Ｃ２を沿わせて固定しておくので、生体Ａの変位による画像Ｇのブレを極力抑えることができる。そして、光軸Ｃ２方向に沿う観察対象部位Ｂの変位に対しては、オートフォーカス機構２１により、常に焦点位置を観察対象部位Ｂに一致させた状態に維持することができる。その結果、ブレおよびボケのない鮮明な画像Ｇが得られることになる。

なお、上記実施形態においては、ＣＣＤカメラ１９ｂへの光路と光学ユニット６への光路とをミラー１７の挿脱により切り替える構造を例示したが、これに限定されるものではない。例えば、ＣＣＤカメラ１９ｂへの切替時に、倍率の小さな対物光学系に同時に切り替えることにより、測定ヘッド３の光軸Ｃ２合わせ作業時には、比較的広い範囲を撮像してその動作軌跡Ｑを確認し、光学ユニット６を用いた観察時には、倍率の大きな対物光学系１１に切り替えることで、狭い範囲に限定した観察対象部位Ｂの拡大観察を行うことができる。

また、上記実施形態においては、測定ヘッド３の光軸Ｃ２の姿勢を変更する機構として、回転アーム２７と２軸の直動機構２８とからなる姿勢変更機構８および鉛直軸線回りに回転可能なステージ２を採用したが、これに代えて、他の任意の軸構成を有するマニピュレータを採用することができる。
また、時間間隔をあけて撮像した２枚の画像を用いて動作軌跡を算出する場合を例に挙げて説明したが、これに代えて、３以上の画像、あるいは動画を用いて動作軌跡を算出することにしてもよい。

次に、この発明の第２の実施形態に係る観察装置および観察方法について、図５〜図８を参照して以下に説明する。
なお、本実施形態の説明においては、上述した第１の実施形態に係る観察装置１と構成を共通とする箇所に同一符号を付して説明を簡略化する。

本実施形態に係る観察装置４０は、姿勢変更機構８を自動的に制御する制御装置９に代えて、図７に示されるように、姿勢変更機構８を手動により操縦するための操縦装置４１を備えた制御装置４２を備えている。操縦装置４１は、マウス、ジョイスティック等の任意の入力手段により構成されている。

制御装置４２は、内部に画像処理装置４３を備えている。画像処理装置４３は、図８に示されるように、ＣＣＤカメラ１９ｂにより取得された生体Ａの画像情報Ｓ１を記憶する画像記憶部４４と、取得された画像情報Ｓ１を処理して複数の特徴点Ｐを抽出して特徴点情報Ｓ２を出力する特徴点抽出部４５と、抽出された各特徴点Ｐの動作軌跡Ｑを算出して、動作軌跡情報Ｓ３を出力する動作軌跡算出部４６と、ＣＣＤカメラ１９ｂにより取得された生体Ａの画像と、算出された各特徴点Ｐの動作軌跡Ｑとを重ね合わせる画像合成部４７とを備えている。画像処理装置４３の画像合成部４７から出力された画像信号Ｓ４はモニタ２６に送られて表示されるようになっている。
操縦装置４１は、測定ヘッド３の光軸Ｃ２を所望の角度方向に移動させることができるようになっている。

このように構成された本実施形態に係る観察装置４０によれば、図５に示されるように、ＣＣＤカメラ１９ｂにより撮像された画像Ｇとともに各部の動作軌跡Ｑがモニタ２６に表示される。観察者は、モニタ２６の画像を見ながら、操縦装置４１を操作することにより、モニタ２６の画像Ｇ上の動作軌跡Ｑの変化を確認できる。モニタ２６の画像Ｇ上に現れている観察対象部位Ｂにおける動作軌跡Ｑが長いときには、測定ヘッド３の光軸Ｃ２が生体Ａの表面の動作方向に対して傾斜していることになり、動作軌跡Ｑが短いときには、測定ヘッド３の光軸Ｃ２が生体Ａの表面の動作方向に近い方向に配されていることがわかる。

したがって、観察者は、操縦装置４１を操作してモニタ２６の画像Ｇ上の動作軌跡Ｑが短くなるように、測定ヘッド３の光軸Ｃ２の姿勢を調節することができる。
このようにして、測定ヘッド３の光軸Ｃ２が生体Ａの変位方向に沿う方向に配置された後に、光学ユニット６による観察に切り替えて、観察を行うことにより、ブレのない蛍光画像を撮像することができる。

本発明の第１の実施形態に係る観察装置を示す正面図である。 図１の観察装置を示す側面図である。 図１の観察装置の測定ヘッドの姿勢変更手順の説明図であり、画像中に抽出された特徴点を示す図である。 図１の観察装置の測定ヘッドの姿勢変更手順の説明図であり、２枚の画像における特徴点の変位を示す図である。 図４の特徴点どうしを接続した姿勢変更前の動作軌跡を示す図である。 姿勢変更後の動作軌跡を示す図である。 本発明の第２の実施形態に係る観察装置を示す正面図である。 図７の観察装置の画像処理装置を説明するブロック図である。

符号の説明

Ａ 生体（試料）
Ｂ 観察対象部位
Ｃ２ 光軸
Ｇ 画像
Ｐ，Ｐ１，Ｐ２ 特徴点
Ｑ 動作軌跡
１，４０ 観察装置
２ ステージ（光軸方向変更部）
３ 測定ヘッド（観察光学系）
８ 姿勢変更機構（光軸方向変更部）
９ 制御装置（制御部）
１１ 対物光学系（観察光学系）
１９ 撮像光学系（撮像部）
２６ モニタ（画像表示部）
４５ 特徴点抽出部
４６ 動作軌跡算出部
４７ 画像合成部（画像表示部）

Claims (3)

1. 試料の観察対象部位の観察に先立って、
   所定の時間範囲にわたり、観察対象部位を含む観察範囲の試料表面を撮像し、
   取得された試料表面の画像を処理して複数の特徴点を抽出し、
   抽出された各特徴点の前記時間範囲にわたる動作軌跡を算出し、
   観察対象部位に配される特徴点の動作軌跡が最も短くなる位置に観察光学系の光軸を配置する観察方法。
2. 観察対象部位を含む観察範囲の試料表面を所定の時間範囲にわたり撮像する撮像部と、
   該撮像部により取得された試料表面の画像を処理して複数の特徴点を抽出する特徴点抽出部と、
   抽出された各特徴点の前記時間範囲にわたる動作軌跡を算出する動作軌跡算出部と、
   試料表面を観察する観察光学系と、
   前記試料表面に対する該観察光学系の光軸の方向を変化させる光軸方向変更部と、
   該光軸方向変更部の動作を制御する制御部とを備え、
   該制御部は、観察光学系による観察に先立って、前記動作軌跡算出部により算出された観察対象部位に配される特徴点の動作軌跡が最も短くなる位置に観察光学系の光軸を配置するよう光軸方向変更部を制御する観察装置。
3. 観察対象部位を含む観察範囲の試料表面を所定の時間範囲にわたり撮像する撮像部を備える観察光学系と、
   前記撮像部により取得された試料表面の画像を処理して複数の特徴点を抽出する特徴点抽出部と、
   抽出された各特徴点の前記時間範囲にわたる動作軌跡を算出する動作軌跡算出部と、
   前記撮像部により取得された試料表面の画像と、前記動作軌跡算出部により算出された各特徴点の動作軌跡とを重ね合わせて表示する画像表示部とを備える観察装置。

Images