JP2018097215A - 顕微鏡装置、プログラム、観察方法 - Google Patents

Abstract

【課題】特にステージを移動させながら画像を取得している状態においても、取得する画像及び位置情報を対応させることができるような技術を提供する。【解決手段】顕微鏡装置１０は、対物レンズ５と、標本Ｓの観察画像を取得するカラーカメラ３と、標本Ｓの位置情報を検出する位置情報検出装置９と、位置情報検出装置９から取得する、カラーカメラ３の露光時間内に位置情報検出装置９で検出される第２の位置情報を用いて、標本Ｓと対物レンズ５との相対位置関係を検出する相対位置関係検出装置と、を備えることを特徴とする。【選択図】図１

Description

本発明は、マップ画像を作成する顕微鏡装置及びプログラム及び観察方法に関する。

従来、顕微鏡の観察技術として、取得した複数の画像を組み合わせることで大きなマップ画像を作成する技術が知られている（特許文献１）。このような技術によって、顕微鏡に備わる対物レンズの視野よりも広い領域における画像を生成することができ、広範囲で標本の特徴を観察することができる。

また、画像を組み合わせてマップ画像の作成を行う際に、標本を設置したステージの位置を示す位置情報（測定顕微鏡に内設された測定器に基づく座標データ）をもとに、取得した画像を配置する方法が知られている（特許文献２）。即ち、画像と位置情報とをそれぞれ取得し、各画像に対応する位置情報をもとに画像を配置していくことでマップ画像を作成する。

特表2001-519944号公報 特開2010-061488号公報

一方で、画像と位置情報とを正確に対応させる方法については具体的に例示されていない。例えば、ステージを移動させながら画像を取得している状態では、画像と位置情報が正確に対応されない場合が生じる。より詳しくは、画像を取得した実際の位置と、位置情報を取得した位置との間にズレが生じている状態となり得る。そのような状態で取得された画像と位置情報とに基づいてマップ画像を作成した場合、本来の位置情報をもとに画像が配置されず、正しいマップ画像が作成されない。特に、ステージの移動速度が大きい場合には、上記の画像を取得した実際の位置と、位置情報を取得した位置との間のズレはより大きなものとなり得る。

本発明では上記実情を鑑み、特にステージを移動させながら画像を取得している状態においても、取得する画像及び位置情報を対応させることができるような技術を提供することを目的とする。

本発明の一態様における顕微鏡装置は、対物レンズと、標本の観察画像を取得する撮像装置と、前記標本の位置情報を検出する位置情報検出装置と、前記位置情報検出装置から取得する、前記撮像装置の露光時間内に前記位置情報検出装置で検出される第２の位置情報を用いて、前記標本と前記対物レンズとの相対位置関係を検出する相対位置関係検出装置と、を備えることを特徴とする。

本発明の一態様におけるプログラムは、撮像装置が標本の観察画像を取得し、相対位置関係検出装置が、前記標本の位置情報を検出する前記位置情報検出装置から取得する、前記撮像装置の露光時間内に前記位置情報検出装置で検出される第２の位置情報を用いて、前記標本と顕微鏡装置内の対物レンズとの相対位置関係を検出するように前記撮像素子と前記相対位置関係検出装置とを動作させる処理をコンピュータに実行させることを特徴とする。

本発明の一態様における観察方法は、撮像装置によって標本の観察画像を取得し、前記撮像装置の露光時間内に検出される前記標本の第２の位置情報を用いて、前記標本と顕微鏡装置内の対物レンズとの相対位置関係を検出することを特徴とする。

本発明によれば、特にステージを移動させながら画像を取得している状態においても、取得する画像及び位置情報を対応させるような技術を提供することができる。

第１の実施形態における顕微鏡装置の構成を示す図。 第１の実施形態の制御装置の構成例を示す図。 第１の実施形態の制御装置の機能構成を示す図。 画像処理部の処理により作成されるマップ画像を示す図。 第１の実施形態の制御装置によって、マップ画像が作成される処理手順を示すフローチャート。 第１の実施形態の変形例の制御装置の機能構成を示す図。 第１の実施形態の変形例の制御装置によって、マップ画像が作成される処理手順を示すフローチャート。 第２の実施形態における顕微鏡装置の構成を示す図。 第２の実施形態の制御装置の機能構成を示す図。 第２の実施形態の制御装置によって、マップ画像が作成される処理手順を示すフローチャート。

以下、本発明の第１の実施形態における顕微鏡装置１０について図面を参照しつつ説明する。図１は、顕微鏡装置１０の構成を示す図である。

顕微鏡装置１０は、カラー観察光学系１と、対物レンズ５と、標本Ｓを積載して固定するステージ６と、駆動モータ７、８と、位置情報検出装置９と、制御装置２０とを備える。

カラー観察光学系１は、白色光源２と、カラーカメラ３と、ハーフミラー４とを備える。カラー観察光学系１を用いて観察を行う場合、白色光源２から射出される照明光を、ハーフミラー４で反射させ、対物レンズ５を介して標本Ｓに照射する。標本Ｓでの反射光が照明光と同じ光路を辿りカラーカメラ３で検出されることで、カラーの明視野観察画像が取得される。

カラーカメラ３は、標本Ｓからの反射光を検出し、標本Ｓの観察画像を取得する撮像装置である。カラーカメラ３としては、ＣＣＤカメラやＣＭＯＳイメージセンサ等が用いられる。

また、カラーカメラ３は、信号発生装置１３を有しており、その信号発生装置１３によって発生される信号を制御装置２０へ出力するように動作する。信号発生装置１３によって発生される信号は、制御装置２０が有する後述される一機能構成によって制御装置２０が相対位置関係検出装置として動作する際に用いられる、制御用の信号である（以降、トリガ信号と記載する）。カラーカメラ３が有する信号発生装置１３は、撮像装置であるカラーカメラ３が観察画像の取得をするとトリガ信号を出力する。信号発生装置１３は、例えば、観察画像を取得するために露光を開始したタイミングでトリガ信号を発生させ、制御装置２０へ出力する。制御装置２０がトリガ信号を受信することで実行する動作については、後述する。

対物レンズ５は、駆動モータ７と接続されている。駆動モータ７は、制御装置２０の制御によって作動し、対物レンズ５をその光軸方向に移動させることで照明光の合焦位置をＺ軸方向に変更する。

また、複数の対物レンズを備え、複数の対物レンズの中から光路上に配置して使用する対物レンズ５を切り替えることができるようなリボルバを備えていても良い。

ステージ６は、標本Ｓを積載して固定すると共に、駆動モータ８と位置情報検出装置９と接続されている。

駆動モータ８は、ステージ６をＸ、Ｙ、Ｚ方向に移動させることで、照明光の照射位置をＸ、Ｙ、Ｚ方向に変更する。カラー観察光学系１を用いて観察を行うときに、駆動モータ８によるステージ６の移動により照明光の照射位置を変更することができる。

位置情報検出装置９は、標本Ｓの位置情報を検知する。位置情報検出装置９は例えば標本Ｓが設置されたステージ６に付属するスケールの値を読み取り、制御装置２０へその値を位置情報として出力する。

制御装置２０は、顕微鏡装置１０の各構成を制御するコンピュータである。図２は、制御装置２０の構成例を示している。

制御装置２０は、例えば、入力インタフェース（入力ＩＦ）２１、出力インタフェース（出力ＩＦ）２２、記憶装置２３、メモリ２４、ＣＰＵ２５、可搬媒体駆動装置２６、を備えていて、それらはバス２８により互いに接続されている。

ＣＰＵ２５は、メモリ２４を利用してプログラムを実行する。ＣＰＵ２５がプログラムを実行することにより、制御装置２０は、顕微鏡装置１０の各構成を制御する制御装置として機能する。メモリ２４は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などの半導体メモリである。記憶装置２３は、例えば磁気ディスク装置であり、ハードディスクドライブであってもよい。なお、記憶装置２３は、テープ装置であってもよく、フラッシュメモリなどの半導体メモリであってもよい。記憶装置２３は、プログラム、観察画像データ、マップ画像データ、などを格納する。記憶装置２３に格納されたプログラム、観察画像データ、及びマップ画像データは、メモリ２４にロードして使用される。

可搬媒体駆動装置２６は、可搬記録媒体２７を駆動する装置であり、可搬記録媒体２７の記録内容にアクセスする。可搬記録媒体２７は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などである。可搬記録媒体２７は、プログラム、観察画像データ、及び、マップ画像データなどを格納してもよい。可搬記録媒体２７に格納されたプログラム、観察画像データ、及び、マップ画像データが、メモリ２４にロードされ、使用されてもよい。

出力ＩＦ２２は、観察画像データ、マップ画像データを不図示のモニタ等の表示媒体へ画像信号として出力するインタフェースである。入力ＩＦ２１は、例えば、不図示の入力装置（キーボードやマウスなど）からデータを受信するインタフェースであり、観察者からの入力を受け付ける。

図３は、制御装置２０の機能構成図である。制御装置２０は、顕微鏡装置１０の各構成を制御する制御装置であり、光源制御部３１、露光制御部３２、画像入出力部３３、相対位置関係検出部３４、画像処理部３５、信号受信部３６、ステージ制御部３７を備えている。

光源制御部３１は、白色光源２のＯＮ、ＯＦＦを制御する。また、白色光源２に使用する光源の波長の切り替え等を制御してもよい。

露光制御部３２は、カラーカメラ３の露光を制御する。即ち、光源制御部３１と露光制御部３２の制御により、カラー観察光学系１を用いて標本Ｓの撮像を行う。また、露光制御部３２は、カラーカメラ３が有する信号発生装置１３による信号の出力を制御してもよい。また、カラーカメラ３が有する信号発生装置１３は、露光制御部３２によってカラーカメラ３の露光が開始されたタイミングに基づいて、信号の出力を行ってもよい。

画像入出力部３３は、カラーカメラ３からの画像信号（標本Ｓの観察画像データである）を受信し、不図示の表示媒体に画像データを出力する。画像入出力部３３が出力する画像データは、後述する画像処理部３５で作成されたマップ画像等である。

相対位置関係検出部３４は、標本Ｓと対物レンズ５との相対位置関係を検出する。相対位置関係は、対物レンズ５に対する標本Ｓの相対的な位置であり、規定の座標（以下、観察座標と記す）上の位置として記録される。尚、観察座標は、X、Y、Z方向それぞれの座標情報を有していてもよいが、ここではX、Y方向の座標情報を有していればよい。相対位置関係は、位置情報検出装置９から位置情報を取得することで、決定される。

ここで、相対位置関係検出部３４は、カラーカメラ３が有する信号発生装置１３が出力したトリガ信号を後述する信号受信部３６が受信すると、位置情報検出装置９から位置情報を取得するように動作することを特徴とする。トリガ信号はカラーカメラ３が観察画像の取得を開始した後に送られる信号である。即ち、相対位置関係検出部３４が、トリガ信号の受信によって位置情報検出装置９から位置情報を取得するように動作することで、カラーカメラ３が観察画像の取得を開始した後の露光時間内で取得された位置情報から、相対位置関係を検出することができる。尚、露光時間内で検出される位置情報について、以降では第２の位置情報と記す。

本実施形態では、カラーカメラ３が有する信号発生装置１３と信号受信部３６との間のトリガ信号のやり取りによって、カラーカメラ３が観察画像を取得するタイミングと、位置情報検出装置が位置情報を検出するタイミングとを同期させ、それにより位置情報検出装置が第２の位置情報を取得することを特徴としている。

画像処理部３５は、カラーカメラ３が取得した複数の観察画像を、相対位置関係に基づいて組み合わせてマップ画像を作成するマップ画像作成処理を行う。図４は、画像処理部３５の処理により作成されるマップ画像を示す図である。マップ画像Ａは、対物レンズ５の視野範囲内で取得される観察画像である観察画像Ｂを複数組み合わせて作成される画像である。このようなマップ画像Ａを作成することで、一枚の観察画像Ｂよりもはるかに広い範囲の標本Ｓの情報を含む画像を観察者に提供することができる。

上記のようなマップ画像は、例えば、画像処理装置（画像処理部３５として機能する制御装置２０）が、相対位置関係と、相対位置関係を規定する座標系である観察座標系とマップ画像座標系との相対関係と、に基づいてカラーカメラ３が取得した複数の観察画像を組み合わせることで作成する。マップ画像座標とは、観察画像を組み合わせる際に、観察画像を配置する座標系のことである。制御装置２０には、予めこのマップ画像座標と観察座標とを対応させる相対関係が記憶されている。即ち、各相対位置関係で取得した観察画像をマップ画像座標と観察座標との相対関係に基づいてマップ画像座標上に配置していくことで、一つのマップ画像を作成する。

信号受信部３６は、カラーカメラ３が有する信号発生装置１３からのトリガ信号を受信する。信号受信部３６がトリガ信号を受信したことをきっかけに、位置情報検出装置９から取得した第２の位置情報を用いて、相対位置関係検出部３４が相対位置関係を検出するように、相対位置関係検出部３４と信号受信部３６とが制御装置２０の内部でやり取りを行う。

ステージ制御部３７は、カラー観察光学系１を用いて観察画像を取得している状態で、照明光の走査を行う手段である。ステージ制御部３７は、駆動モータ９を制御する。

以上の構成を有する顕微鏡装置１０によって、マップ画像を作成する処理手順についてフローチャートを用いて説明する。図５は、顕微鏡装置１０における制御装置２０と、カラーカメラ３が有する信号発生装置１３によって、マップ画像が作成される処理手順を示すフローチャートである。図５の処理は、制御装置２０が、観察者からのマップ画像の作成を開始する指示を受信した後に開始される。

ステップＳ１では、露光制御部３２によってカラーカメラ３が制御され、標本Ｓの観察画像が取得される。その後、画像入出力部３３が、カラーカメラ３が取得した観察画像を受信する。ステップＳ１では、カラーカメラ３が観察画像の取得のために露光を開始した後に、信号発生装置１３によってトリガ信号が生成される。

ステップＳ２では、カラーカメラ３が有する信号発生装置１３は、カラーカメラ３が露光を開始したことを示すトリガ信号を信号受信装置（信号受信部３６として機能する制御装置２０）に出力する。その後、信号受信部装置がそのトリガ信号を受信する（ステップＳ３）。
ステップＳ４では、トリガ信号を受信したことをきっかけとして、相対位置関係検出装置（相対位置関係検出部３４として機能する制御装置２０）が、位置情報検出装置９から取得した位置情報を用いて、相対位置関係を検出する。ステップＳ１〜Ｓ４の過程で相対位置関係検出装置が用いた位置情報は、カラーカメラ３の露光時間内に取得された第２の位置情報であり、カラーカメラ３が取得した観察画像と正確に対応している。従って、例えば、ステージ６を移動させながらカラーカメラ３で画像を取得しているような場合であっても、観察画像を取得した実際の位置と、ステージ６で検出された位置情報との間にズレは生じない。

ステップＳ５では、ステップＳ１〜Ｓ４によって取得された複数の観察画像と、各観察画像に対応した位置情報をもとに検出された相対位置関係と、観察座標系とマップ画像座標系との相対関係と、に基づいて画像処理部３５によってマップ画像が作成される。このステップＳ５の処理において行われるマップ画像の作成、即ちマップ画像座標系への観察画像の配置は、一つの観察画像を取得する毎に行ってもよいし、規定の数の複数の観察画像を取得する毎に行ってもよい。

図５の処理後には、制御装置２０は、作成済みのマップ画像を表示媒体へ出力する。尚、制御装置２０は、図５の処理過程で作成途中のマップ画像を、マップ画像が作成されていく過程を含めリアルタイムで表示媒体に出力してもよい。

以上の顕微鏡装置１０によれば、相対位置関係検出部３４は、信号受信部３６がカラーカメラ３からのトリガ信号を受信することによって、カラーカメラ３の露光時間内であることが確定的に明らかな状態で位置情報検出装置９によって取得された位置情報（第２の位置情報）を用いて相対位置関係の検出を行う。そのため、取得する観察画像と相対位置関係とを正確に対応させることができる。例えば、ステージ６を移動しながら観察画像の取得、相対位置関係の検出を行う場合であっても、上記のようにカラーカメラ３の露光時間内で位置情報の検出が行われることから、観察画像を取得した位置と、位置情報検出装置が検出した位置情報と、がズレてしまうことが防止される。

従って、顕微鏡装置１０によれば、相対位置関係検出装置（相対位置関係検出部３４として機能する制御装置２０）は、位置情報が変更されている間においても第２の位置情報を位置情報検出装置９から取得することが可能であり、本実施形態では、そのような状況での観察を想定している。

また、カラーカメラ３が有する信号発生装置１３がトリガ信号を発生させ、出力するタイミングは、カラーカメラ３が露光を開始した後の任意のタイミングであってよい。例えば、カラーカメラ３の露光時間のちょうど中間付近となるタイミングでトリガ信号を制御装置２０へ出力するように予め設定しておくことで、位置情報検出装置９による位置情報の検出が上記設定されたタイミングに同期して行われるため、各観察画像の取得と、対応する位置情報の取得とをズレなく行うことができる。

以下、第１の実施形態の顕微鏡装置１０の変形例について説明する。本変形例では、顕微鏡装置内のカラーカメラ３が信号発生装置１３の代わりに後述する信号出力部３８からのトリガ信号を受信する信号受信装置（不図示）を有していること、顕微鏡装置が制御装置２０の代わりに制御装置４０を備えていること、が顕微鏡装置１０の構成と異なっている。尚、以降ではカラーカメラ３が有している信号受信装置を第１の信号受信装置と記す。

制御装置４０は、制御装置２０と同様、顕微鏡装置の各構成を制御するためのコンピュータである。

図６は、変形例に係る制御装置４０の機能構成を示す図である。

制御装置４０は、光源制御部３１、露光制御部３２、画像入出力部３３、相対位置関係検出部３４、画像処理部３５、信号受信部３６、ステージ制御部３７、信号出力部３８を備えている。光源制御部３１、露光制御部３２、画像入出力部３３、相対位置関係検出部３４、画像処理部３５、信号受信部３６、ステージ制御部３７については、制御装置２０の機能構成として説明したものと同様である。

信号出力部３８は、カラーカメラ３による観察画像の取得と、相対位置関係検出装置（相対位置関係検出部３４として機能する制御装置４０）による相対位置関係の検出と、を開始するためのトリガ信号を発生させ、そのトリガ信号をカラーカメラ３（カラーカメラ３が有する第１の信号受信装置）と、信号受信部３６に対しそれぞれ出力する。また、信号受信部３６として機能する制御装置４０を第２の信号受信装置とも記す。

カラーカメラ３は、第１の信号受信装置がトリガ信号を受信すると、標本Ｓの観察画像を取得する。また、相対位置関係検出装置は、第２の信号受信装置がトリガ信号を受信すると、位置情報検出装置９から第２の位置情報を取得し、相対位置関係の検出を行う。

即ち、第１の実施形態では、カラーカメラ３が有する信号発生装置１３がトリガ信号の発生と出力を行っていたのに対し、本変形例では、信号出力部３８として機能する制御装置４０が、信号発生装置としてトリガ信号の発生と出力を行っている。この構成によっても、カラーカメラ３が観察画像を取得するタイミングと、位置情報検出装置９が位置情報を検出するタイミングとが同期されることで、カラーカメラ３の露光時間内に取得された第２の位置情報を用いて、相対位置関係検出装置が相対位置関係を検出することが可能となる。

尚、カラーカメラ３の露光時間内で位置情報の検出を行うために、信号発生装置がトリガ信号を第１の受信装置へ出力するタイミングと、第２の受信装置へ出力するタイミングを適宜ずらして調整してもよい。例えば、カラーカメラ３の露光時間のちょうど中間付近となるタイミングでトリガ信号を第２の受信装置へ出力するように予め設定しておくことで、位置情報検出装置９による位置情報の検出が上記設定されたタイミングに同期して行われるため、各観察画像の取得と、対応する位置情報の取得とをズレなく行うことができる。

以上の構成を有する顕微鏡装置１０の変形例に係る顕微鏡装置によって、マップ画像を作成する処理手順についてフローチャートを用いて説明する。図７は、制御装置４０によって、マップ画像が作成される処理手順を示すフローチャートである。図７の処理は、制御装置４０が、観察者からのマップ画像の作成を開始する指示を受信した後に開始される。

ステップＳ１１では、信号発生装置（信号出力部３８として機能する制御装置４０）が第１の信号受信装置、第２の信号受信装置（信号受信部３６として機能する制御装置４０）にトリガ信号を出力する。

ステップＳ１２では、ステップＳ１１のトリガ信号を第１の信号受信装置を介して受信することで、カラーカメラ３が観察画像の取得を行い、その後画像入出力部３３によって観察画像を受信する。

ステップＳ１３では、ステップＳ１１のトリガ信号を第２の信号受信装置を介して受信することで、位置情報検出装置９が位置情報の取得を行い、相対位置関係検出装置（相対位置関係検出部３４として機能する制御装置４０）が、位置情報検出装置９が取得した位置情報から相対位置関係を検出する。

ステップＳ１２、Ｓ１３では、同一のトリガ信号によってカラーカメラ３の観察画像の取得と、位置情報検出装置９の位置情報の検出が同期して行われるため、得られた観察画像と位置情報とが正確に対応されている。

ステップＳ１４では、ステップＳ１１〜Ｓ１３によって取得された複数の観察画像と、各観察画像に対応した相対位置関係と、観察座標系とマップ画像座標系との相対関係と、に基づいて画像処理部３５によってマップ画像が作成される。このステップＳ１４の処理において行われるマップ画像の作成、即ちマップ画像座標系への観察画像の配置は、一つの観察画像を取得する毎に行ってもよいし、規定の数の複数の観察画像を取得する毎に行ってもよい。

以上の変形例に係る顕微鏡装置によっても、取得する観察画像と相対位置関係とを正確に対応させることができる。例えば、ステージ６を移動しながら観察画像の取得、相対位置関係の検出を行う場合であっても、上記のようにカラーカメラ３の露光時間内で位置情報の検出が行われることから、観察画像を取得した位置と、位置情報検出装置が検出した位置情報と、がズレてしまうことが防止される。

以下、本発明の第２の実施形態における顕微鏡装置６０について図面を参照しつつ説明する。図８は、顕微鏡装置６０の構成を示す図である。

顕微鏡装置６０は、カラーカメラ３に接続された第１の記録装置１１と、ステージ６に接続された第２の記録装置１２と、を新たに備え、制御装置２０の代わりに制御装置５０を備えている点で顕微鏡装置１０と異なる。本実施形態のカラー観察光学系は、第１の記録装置１１を備えている点でカラー観察光学系１と異なることから、カラー観察光学系５１と表記する。また、本実施形態では、カラーカメラ３は信号発生装置１３を有していなくてもよい。

第１の記録装置１１は、撮像装置であるカラーカメラ３が観察画像の取得を行う時間である取得時間を記録する。例えば、第１の記録装置１１は、顕微鏡装置６０による標本Ｓの観察を行う際に時間のカウントを開始し、カラーカメラ３が観察画像の取得を行う毎にカウント中の時間の中から取得時間を記録する。また、第１の記録装置１１は、後述する時間情報入力部３９に取得時間を出力する。

第２の記録装置１２は、位置情報検出装置９が位置情報の検出を行う検出時間を記録する。第２の記録装置１２は、第１の記録装置１１と同じタイミングで時間のカウントを開始し、位置情報検出装置９が位置情報の検出を行う毎にカウント中の時間の中から検出時間を記録する。また、第２の記録装置１２は、後述する時間情報入力部３９に検出時間を出力する。

制御装置５０は、制御装置２０と同様、顕微鏡装置６０の各構成を制御するためのコンピュータである。

図９は、制御装置５０の機能構成図である。制御装置５０は、顕微鏡装置６０の各構成を制御する制御装置であり、光源制御部３１、露光制御部３２、画像入出力部３３、相対位置関係検出部３４、画像処理部３５、ステージ制御部３７、時間情報入力部３９を備えている。光源制御部３１、露光制御部３２、画像入出力部３３、相対位置関係検出部３４、画像処理部３５、ステージ制御部３７については、制御装置２０の機能構成として説明したものと同様である。

本実施形態では、トリガ信号を発生させる構成がないことから、カラーカメラ３及び相対位置関係検出部３４は、トリガ信号に依らずに各々観察画像の取得や相対位置関係の検出を行う。一方で、第１の記録装置１１、第２の記録装置１２によって観察画像の取得や位置情報の検出が行われている時間である、取得時間と検出時間が記録されている。

時間情報入力部３９は、第１の記録装置１１が記録する取得時間と、第２の記録装置１２が記録する検出時間とを受信する。時間情報入力部３９が受信した取得時間、検出時間は、相対位置関係検出部３４が相対位置関係を検出する際と、画像処理部３５がマップ画像を作成する際に使用される。

相対位置関係検出部３４は、時間情報入力部３９が受信した取得時間、検出時間と、に基づいて、位置情報検出装置９から取得した位置情報の中から第２の位置情報を取得する。例えば、相対位置関係検出部３４は、取得時間と、検出時間と、を比較し、取得時間と一致する検出時間に検出された位置情報を抜き出して取得する。このように抜き出された位置情報は、観察画像の取得時間、即ちカラーカメラ３の露光時間内に検出された第２の位置情報に相当する。また、相対位置関係検出部３４は、そのように取得された第２の位置情報から相対位置関係を検出する。

そして画像処理部３５は、相対位置関係に基づいて、観察画像を組み合わせてマップ画像を作成する。また、画像処理部３５がマップ画像を作成する処理については、第１の実施形態で説明したとおりである。

即ち、撮像装置であるカラーカメラ３の露光時間内に第２の位置情報を取得する方法は、位置情報検出装置９が行う位置情報の検出と、カラーカメラ３による観察画像の取得を同期させる方法に限らない。本実施形態のように、位置情報検出装置９が位置情報の検出を行った後に、第２の位置情報を抜き出すことで取得しても構わない。

以上の構成を有する顕微鏡装置６０によって、マップ画像を作成する処理手順についてフローチャートを用いて説明する。図１０は、制御装置５０によって、マップ画像が作成される処理手順を示すフローチャートである。図１０の処理は、制御装置５０が、観察者からのマップ画像の作成を開始する指示を受信した後に開始される。

ステップＳ２１では、カラーカメラ３が観察画像の取得を行い、その後画像入出力部３３によって観察画像を受信する。

ステップＳ２２では、位置情報検出装置９が位置情報を検出し、相対位置関係検出装置（相対位置関係検出部３４として機能する制御装置５０）がその位置情報を位置情報検出装置９から取得する。

ステップＳ２３では、時間情報入力部３９が第１の記録装置１１及び第２の記録装置１２から受信した取得時間、検出時間をもとに、相対位置関係検出装置は、位置情報検出装置９によってカラーカメラ３の露光時間内に検出された位置情報（第２の位置情報）を選択して抜き出し、その第２の位置情報を用いて相対位置関係を検出する。

ステップＳ２４では、ステップＳ２３で抜き出された相対位置関係に基づいて、観察画像をマップ画像座標系に配置していく。より具体的には、ステップＳ２１〜Ｓ２３によって取得された複数の観察画像と、各観察画像に対応した相対位置関係と、観察座標系とマップ画像座標系との相対関係と、に基づいて画像処理部３５によってマップ画像が作成される。このステップＳ２４の処理において行われるマップ画像の作成、即ちマップ画像座標系への観察画像の配置は、一つの観察画像を取得する毎に行ってもよいし、規定の数の複数の観察画像を取得する毎に行ってもよい。

以上の顕微鏡装置６０によっても、取得する観察画像と位置情報とを正確に対応させることができる。例えば、ステージ６を移動しながら観察画像の取得、相対位置関係の検出を行う場合であっても、上記のようにカラーカメラ３の露光時間内で検出された位置情報が取得されることから、観察画像を取得した位置と、位置情報の検出を行ったときの位置と、がズレてしまうことが防止される。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述した顕微鏡装置、及び、プログラム、及び、観察方法は、特許請求の範囲に記載した本発明を逸脱しない範囲において、さまざまな変形、変更が可能である。

１０、６０ 顕微鏡装置
１、５１ カラー観察光学系
２ 白色光源
３ カラーカメラ
４ ハーフミラー
５ 対物レンズ
６ ステージ
７、８ 駆動モータ
９ 位置情報検出装置
１１ 第１の記録装置
１２ 第２の記録装置
１３ 信号発生装置
２０、５０ 制御装置
２１ 入力ＩＦ
２２ 出力ＩＦ
２３ 記憶装置
２４ メモリ
２５ ＣＰＵ
２６ 可搬記録媒体駆動装置
２７ 可搬記録媒体
２８ バス
３１ 光源制御部
３２ 露光制御部
３３ 画像入出力部
３４ 相対位置関係検出部
３５ 画像処理部
３６ 信号受信部
３７ ステージ制御部
３８ 信号出力部
３９ 時間情報入力部
Ａ マップ画像
Ｂ 観察画像
Ｓ 標本

Claims (8)

1. 対物レンズと、
   標本の観察画像を取得する撮像装置と、
   前記標本の位置情報を検出する位置情報検出装置と、
   前記位置情報検出装置から取得する、前記撮像装置の露光時間内に前記位置情報検出装置で検出される第２の位置情報を用いて、前記標本と前記対物レンズとの相対位置関係を検出する相対位置関係検出装置と、を備える
   ことを特徴とする顕微鏡装置。
2. 請求項１に記載の顕微鏡装置であって、さらに、
   前記相対位置関係と、前記相対位置関係を規定する座標系である観察座標系とマップ画像座標系との相対関係と、に基づいて、前記撮像装置が複数取得した前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行する画像処理装置を備える
   ことを特徴とする顕微鏡装置。
3. 請求項１または請求項２に記載の顕微鏡装置であって、
   前記撮像装置は、トリガ信号を発生させ、前記トリガ信号を前記相対位置関係検出装置に出力する信号発生装置を有し、
   前記相対位置関係検出装置は、前記トリガ信号を受信する信号受信装置を有し、前記信号受信装置が前記トリガ信号を受信すると、前記位置情報検出装置から前記第２の位置情報を取得する
   ことを特徴とする顕微鏡装置。
4. 請求項１または請求項２に記載の顕微鏡装置であって、さらに、
   トリガ信号を発生させ、前記トリガ信号を前記撮像装置と前記相対位置関係検出装置とにそれぞれ出力する信号発生装置を備え、
   前記撮像装置は、前記トリガ信号を受信する第１の信号受信装置を有し、前記第１の信号受信装置が前記トリガ信号を受信すると前記観察画像を取得し、
   前記相対位置関係検出装置は、前記トリガ信号を受信する第２の信号受信装置を有し、前記第２の信号受信装置が前記トリガ信号を受信すると、前記位置情報検出装置から前記第２の位置情報を取得する
   ことを特徴とする顕微鏡装置。
5. 請求項１または請求項２に記載の顕微鏡装置であって、さらに、
   前記撮像装置が前記観察画像の取得を行う取得時間を記録する第１の記録装置と、
   前記位置情報検出装置が前記位置情報の検出を行う検出時間を記録する第２の記録装置と、を備え、
   前記相対位置関係検出装置は、前記取得時間と、前記検出時間と、に基づいて、前記位置情報検出装置から取得した前記位置情報の中から前記第２の位置情報を取得する
   ことを特徴とする顕微鏡装置。
6. 請求項１乃至請求項５のいずれか１項に記載の顕微鏡装置であって、
   前記相対位置関係検出装置は、前記位置情報が変更されている間に前記第２の位置情報を前記位置情報検出装置から取得する
   ことを特徴とする顕微鏡装置。
7. 撮像装置が標本の観察画像を取得し、
   相対位置関係検出装置が、前記標本の位置情報を検出する前記位置情報検出装置から取得する、前記撮像装置の露光時間内に前記位置情報検出装置で検出される第２の位置情報を用いて、前記標本と顕微鏡装置内の対物レンズとの相対位置関係を検出する
   ように前記撮像素子と前記相対位置関係検出装置とを動作させる処理をコンピュータに実行させることを特徴とするプログラム。
8. 撮像装置によって標本の観察画像を取得し、
   前記撮像装置の露光時間内に検出される前記標本の第２の位置情報を用いて、前記標本と顕微鏡装置内の対物レンズとの相対位置関係を検出する
   ことを特徴とする観察方法。