JP2018101091A - 顕微鏡装置、プログラム、観察方法 - Google Patents

Abstract

【課題】マップ画像の作成中において画質に問題のないマップ画像を自動的に作成する技術を提供する。
【解決手段】顕微鏡装置１０は、標本Ｓの観察画像を取得するカラーカメラ３と、カラーカメラ３が取得した複数の観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行する画像処理装置と、観察画像をマップ画像作成処理に使用するかどうかを判定する第１の判定処理を実行する判定装置と、を備え、画像処理装置は、第１の判定処理でマップ画像作成処理に使用すると判定された観察画像を含む、観察画像を組み合わせてマップ画像を作成し、第１の判定処理でマップ画像作成処理に使用しないと判定された観察画像をマップ画像作成処理に使用しないことを特徴とする。
【選択図】図１

Description

本発明は、マップ画像を作成する顕微鏡装置及びプログラム及び観察方法に関する。

従来、顕微鏡の観察技術として、取得した複数の画像を組み合わせることで大きなマップ画像を作成する技術が知られている（特許文献１、特許文献２）。このような技術によって、顕微鏡に備わる対物レンズの視野よりも広い領域における画像を生成することができ、広範囲で標本の特徴を観察することができる。

また、マップ画像の一部領域が、フォーカスずれが原因で画質等に問題がある場合、その問題のある領域を再度取得した画像で置き換えることで適切なマップ画像とすることが望まれる。特許文献２では、複数の画像が連結されることで構成される連結画像データのうち、連結画像データを構成する一部の画像を他の画像によって置換する技術が開示されている。

特開2011-186305号公報 特開2013-050594号公報

一方で、特許文献２の方法では、使用者からの選択指示により画像の置き換えが行われる。即ち、使用者が連結画像データの中から問題のある画像を探し出し、画像の置き換えの判断と指示を行わなければならないため、画像連結中（即ちマップ画像の作成中）における使用者の負担が大きなものとなる。

以上の実情を考慮し、本発明では、マップ画像の作成に際して、適切なマップ画像を自動的に作成する技術を提供することを目的とする。

本発明の一態様の顕微鏡装置は、標本の観察画像を取得する撮像装置と、前記撮像装置が取得した複数の前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行する画像処理装置と、前記観察画像を前記マップ画像作成処理に使用するかどうかを判定する第１の判定処理を実行する判定装置と、を備え、前記画像処理装置は、前記第１の判定処理で前記マップ画像作成処理に使用すると判定された観察画像を含む、前記観察画像を組み合わせて前記マップ画像を作成し、前記第１の判定処理で前記マップ画像作成処理に使用しないと判定された観察画像を前記マップ画像作成処理に使用しないことを特徴とする。

本発明の一態様のプログラムは、撮像装置が標本の観察画像を取得し、画像処理装置が、前記撮像装置が取得した複数の前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行し、判定装置が前記観察画像を前記マップ画像作成処理に使用するかどうかを判定する第１の判定処理を実行し、前記画像処理装置は、前記第１の判定処理で前記マップ画像作成処理に使用すると判定された観察画像を含む、前記観察画像を組み合わせて前記マップ画像を作成し、前記第１の判定処理で前記マップ画像作成処理に使用しないと判定された観察画像を前記マップ画像作成処理に使用しないように前記撮像素子と前記画像処理装置と前記判定装置とを動作させる処理をコンピュータに実行させることを特徴とする。

本発明の一態様の観察方法は、標本の観察画像を取得し、取得した複数の前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理に、前記観察画像を使用するかどうかを判定する第１の判定処理を実行し、前記第１の判定処理で前記マップ画像作成処理に使用すると判定された観察画像を含む、前記観察画像を組み合わせて前記マップ画像を作成し、前記第１の判定処理で前記マップ画像作成処理に使用しないと判定された観察画像を前記マップ画像作成処理に使用しないことを特徴とする。

本発明によれば、マップ画像の作成に際して、適切なマップ画像を自動的に作成することができる。

第１の実施形態における顕微鏡装置の構成を示す図。 制御装置の構成例を示す図。 制御装置の機能構成を示す図。 画像処理装置（画像処理部）の処理により作成されるマップ画像を示す図。 マップ画像が作成される処理手順を示すフローチャート。 変形例におけるマップ画像作成処理の処理手順を示すフローチャート。 さらに別の変形例におけるマップ画像作成処理の処理手順を示すフローチャート。

以下、本発明の第１の実施形態における顕微鏡装置１０について図面を参照しつつ説明する。図１は、顕微鏡装置１０の構成を示す図である。

顕微鏡装置１０は、カラー観察光学系１と、対物レンズ５と、標本Ｓを積載して固定するステージ６と、駆動モータ７、８と、ステージ位置検知機構９と、制御装置２０とを備える。

カラー観察光学系１は、白色光源２と、カラーカメラ３と、ハーフミラー４とを備える。カラー観察光学系１を用いて観察を行う場合、白色光源２から射出される照明光を、ハーフミラー４で反射させ、対物レンズ５を介して標本Ｓに照射する。標本Ｓでの反射光が照明光と同じ光路を辿りカラーカメラ３で検出されることで、カラーの明視野観察画像が取得される。

カラーカメラ３は、標本Ｓからの反射光を検出し、標本Ｓの観察画像を取得する撮像装置である。カラーカメラ３としては、ＣＣＤカメラやＣＭＯＳイメージセンサ等が用いられる。

対物レンズ５は、駆動モータ７と接続されている。駆動モータ７は、制御装置２０の制御によって作動し、対物レンズ５をその光軸方向に移動させることで照明光の合焦位置をＺ軸方向に変更する。

また、顕微鏡装置１０は、複数の対物レンズを備え、複数の対物レンズの中から光路上に配置して使用する対物レンズ５を切り替えることができるようなリボルバを備えていても良い。

ステージ６は、標本Ｓを積載して固定すると共に、駆動モータ８とステージ位置検知機構９と接続されている。

駆動モータ８は、ステージ６をＸ、Ｙ、Ｚ方向に移動させることで、照明光の照射位置をＸ、Ｙ、Ｚ方向に変更する。カラー観察光学系１を用いて観察を行うときに、駆動モータ８によるステージ６の移動により照明光の照射位置を変更することができる。

ステージ位置検知機構９は、標本Ｓの位置情報を検知する。ステージ位置検知機構９は例えば標本Ｓが設置されたステージ６に付属するスケールの値を読み取り、制御装置２０へその値を位置情報として出力する。

制御装置２０は、顕微鏡装置１０の各構成を制御するコンピュータである。図２は、制御装置２０の構成例を示している。

制御装置２０は、例えば、入力インタフェース（入力ＩＦ）２１、出力インタフェース（出力ＩＦ）２２、記憶装置２３、メモリ２４、ＣＰＵ２５、可搬媒体駆動装置２６、を備えていて、それらはバス２８により互いに接続されている。

ＣＰＵ２５は、メモリ２４を利用してプログラムを実行する。ＣＰＵ２５がプログラムを実行することにより、制御装置２０は、顕微鏡装置１０の各構成を制御する制御装置として機能する。メモリ２４は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）などの半導体メモリである。記憶装置２３は、例えば磁気ディスク装置であり、ハードディスクドライブであってもよい。なお、記憶装置２３は、テープ装置であってもよく、フラッシュメモリなどの半導体メモリであってもよい。記憶装置２３は、プログラム、観察画像データ、マップ画像データ、などを格納する。記憶装置２３に格納されたプログラム、観察画像データ、及びマップ画像データは、メモリ２４にロードして使用される。

可搬媒体駆動装置２６は、可搬記録媒体２７を駆動する装置であり、可搬記録媒体２７の記録内容にアクセスする。可搬記録媒体２７は、例えば、半導体デバイス（ＵＳＢメモリ等）、磁気的作用により情報が入出力される媒体（磁気ディスク等）、光学的作用により情報が入出力される媒体（ＣＤ−ＲＯＭ、ＤＶＤ等）などである。可搬記録媒体２７は、プログラム、観察画像データ、及び、マップ画像データなどを格納してもよい。可搬記録媒体２７に格納されたプログラム、観察画像データ、及び、マップ画像データが、メモリ２４にロードされ、使用されてもよい。

出力ＩＦ２２は、観察画像データ、マップ画像データを不図示のモニタ等の表示媒体へ画像信号として出力するインタフェースである。入力ＩＦ２１は、例えば、不図示の入力装置（キーボードやマウスなど）からデータを受信するインタフェースであり、観察者からの入力を受け付ける。

図３は、制御装置２０の機能構成図である。制御装置２０は、顕微鏡装置１０の各構成を制御する制御装置であり、光源制御部３１、露光制御部３２、画像入出力部３３、相対位置関係検出部３４、画像処理部３５、画質評価部３６、ステージ制御部３７を備えている。

光源制御部３１は、白色光源２のＯＮ、ＯＦＦを制御する。また、白色光源２に使用する光源の波長の切り替え等を制御してもよい。

露光制御部３２は、カラーカメラ３の露光を制御する。即ち、光源制御部３１と露光制御部３２の制御により、カラー観察光学系１を用いて標本Ｓの撮像を行う。

画像入出力部３３は、カラーカメラ３からの画像信号（標本Ｓの観察画像データである）を受信し、不図示の表示媒体に画像データを出力する。画像入出力部３３が出力する画像データは、後述する画像処理部３５で作成されたマップ画像等である。

相対位置関係検出部３４は、標本Ｓと対物レンズ５との相対位置関係を検出する。相対位置関係は、対物レンズ５に対する標本Ｓの相対的な位置であり、規定の座標（以下、観察座標と記す）上の位置として記録される。尚、観察座標は、X、Y、Z方向それぞれの座標情報を有していてもよいが、ここではX、Y方向の座標情報を有していればよい。相対位置関係は、ステージ位置検知機構９から位置情報を取得することで、決定される。また、相対位置関係検出部３４として機能する制御装置２０を相対位置関係検出装置とも表記する。

尚、相対位置関係は、取得された２枚以上の観察画像の重複領域において共通する特徴をテンプレートとして、その２枚以上の観察画像を重ねて配置するようなパターンマッチング処理を実行することで検出されてもよい。具体的には、重複部分を有する観察画像を、テンプレートを一致させるように制御装置２０内の仮想的な座標上で配置することで、二つの観察画像のそれぞれの相対的位置関係が把握される。

画像処理部３５は、カラーカメラ３が取得した複数の観察画像を、相対位置関係に基づいて組み合わせてマップ画像を作成するマップ画像作成処理を行う。また、画像処理部３５として機能する制御装置２０を画像処理装置とも表記する。図４は、画像処理部３５の処理により作成されるマップ画像を示す図である。マップ画像Ａは、対物レンズ５の視野範囲内で取得される観察画像である観察画像Ｂを複数組み合わせて作成される画像である。このようなマップ画像Ａを作成することで、一枚の観察画像Ｂよりもはるかに広い範囲の標本Ｓの情報を含む画像を観察者に提供することができる。

上記のようなマップ画像は、例えば、観察画像と、相対位置関係と、相対位置関係を規定する座標系である観察座標系とマップ画像座標系との相対関係と、に基づいて作成される。このようにしてマップ画像を作成することをマップ画像作成処理、または、マップ画像の作成処理と記載する。マップ画像座標とは、観察画像を組み合わせる際に、観察画像を配置する座標系のことである。制御装置２０には、予めこのマップ画像座標と観察座標とを対応させる相対関係が記憶されている。即ち、各相対位置関係で取得した観察画像をマップ画像座標と観察座標との相対関係に基づいてマップ画像座標上に配置していくことで、一つのマップ画像を作成する。

また、相対位置関係をステージ８の位置情報ではなく、パターンマッチング処理を用いて検出する場合には、例えば画像処理部３６において以下のようにマップ画像の作成処理が行われる。マップ画像の作成にあたり、最初に取得した観察画像をマップ画像の座標系に配置する。その後、共通する特徴となるテンプレートが得られるような重複領域を有するように複数の観察画像を取得していき、パターンマッチング処理によりマップ画像座標上で観察画像を配置していくことで、一つのマップ画像を作成する。このようなマップ画像の作成処理では、パターンマッチング処理により観察画像を配置していく過程で、各観察画像の位置を決定する相対位置関係が検出される。

また、相対位置関係は、ステージ８の位置情報と、パターンマッチング処理を組み合わせて検出されるものとしてもよい。その場合、例えば、画像処理部３６は、ステージ位置検知機構１６が検知したステージ８の位置情報に基づいて相対位置関係を検出し、各相対位置関係で取得した観察画像をマップ画像座標と観察座標との相対関係に基づいてマップ画像座標上に配置していく。その後、マップ画像座標上に配置された複数の観察画像（即ちマップ画像を構成する観察画像）に対し、さらにパターンマッチング処理を実行し、複数の観察画像の相対位置関係を補正する。このようにステージ８の位置情報をもとにマップ画像座標上に観察画像を配置し、その後パターンマッチング処理を実行することで、観察画像間の位置ズレ等が補正された、より信頼性の高いマップ画像を作成することが可能となる。

また、本実施形態において行われるマップ画像作成処理では、マップ画像座標上に既に配置された観察画像（第２の観察画像とも表記する）に対応する相対位置関係において、新たに観察画像を取得した後にその観察画像を用いて、マップ画像作成処理を実行することを特徴としている。言い換えるならば、画像処理部３５は、一度観察画像を配置済みのマップ画像座標上において、配置済みの観察画像（第２の観察画像）と同じ相対位置関係で取得される新たな観察画像を、配置済みの観察画像（第２の観察画像）と置き換えて配置する処理を実行する。以下では、新たに取得した観察画像を第２の観察画像と置き換えて配置することを、第２の観察画像を新たに取得した観察画像で更新する、とも記載する。即ち、画像処理部３５によって行われるマップ画像作成処理では、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されていない状態で、取得した観察画像をマップ画像座標上に配置する場合（第１のマップ画像作成パターン）と、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されている状態で、取得した観察画像で第２の観察画像を更新する場合（第２のマップ画像作成パターン）、の２パターンが想定される。

画質評価部３６は、カラーカメラ３が取得した観察画像を、上記の画像処理部３５によるマップ画像作成処理に使用するかどうかを判定する第１の判定処理を実行する。ここでは、第１の判定処理は、対物レンズ５の視野範囲で取得された観察画像毎に行われる。また、画質評価部３６として機能する制御装置２０のことを判定装置とも表記する。

画質評価部３６による第１の判定処理で、マップ画像作成処理に使用すると判定された観察画像を含む、カラーカメラ３で取得された観察画像については、画像処理部３５によってマップ画像作成処理に使用される。つまり、画像処理部３５は、それらの観察画像を組み合わされてマップ画像を作成する。一方、第１の判定処理でマップ画像作成処理に使用しないと判定された観察画像については、画像処理部３５によるマップ画像作成処理に使用されない。

上記の第２のマップ画像作成パターンでは、第１の判定処理の結果、観察画像がマップ画像作成処理に使用されると判定されたとき、画像処理部３５は観察画像の相対位置関係に対応するマップ画像座標系の位置に配置された第２の観察画像を新たに取得した観察画像によって更新するものとする。

また、第１の判定処理は、画質評価部３６で実行される第２の判定処理、若しくは、第３の判定処理の判定結果に基づいて行われる。以下では、第２の判定処理及び第３の判定処理について説明する。

第２の判定処理は、観察画像の画質を評価する判定処理である。ここでいう画質の評価は、観察画像のコントラスト値を用いて行われる。コントラスト値は、観察画像中の各画素について、隣接画素との輝度値の差を計算し、合計した値である。隣接画素は、特定の画素に対しての縦、横方向に存在する画素であってもよく、斜め方向に存在する画素であってもよい。または、縦、横及び斜めの方向に存在する画素であってもよい。また、輝度値は、画像中の特定の色成分（例えば、ＲＧＢのうちＲの成分）の輝度値を使用してもよく、グレースケールに変換した画像における輝度値を用いても構わない。第２の判定処理では、まず観察画像のコントラスト値が算出される。

そして、第２の判定処理では、観察画像のコントラスト値が特定の設定値以上であるか否かを判定することで画質を評価する。一般に、フォーカスが合っている画像のコントラスト値は、フォーカスの合っていない画像のコントラスト値に比べて高くなる。従って、特定の設定値を、フォーカスが合っており画質が良好とされるコントラスト値範囲とフォーカスが合っておらず画質に問題があるとされるコントラスト値範囲との間の閾値として設けることで、コントラスト値による画質評価を行うことができる。設定値として、使用者によってまたは予め決められた任意に設定された値が制御装置２０内に記憶されている。

第２の判定処理によってコントラスト値が設定値以上であると判定された場合には、観察画像の画質が良好であるため、第１の判定処理でマップ画像作成処理に使用する画像と判定される。逆に、第２の判定処理によってコントラスト値が設定値以下であると判定された場合には、観察画像の画質に問題があるため、第１の判定処理でマップ画像作成処理に使用しない画像と判定される。

また、本実施形態では、第２の判定処理は、取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されていない状態で、取得した観察画像をマップ画像座標上に配置する場合（第１のマップ画像作成パターン）において、取得した観察画像に対して行われるものとする。尚、第２の判定処理は、取得した観察画像で更新する場合（第２のマップ画像作成パターン）において実行してもよいが、詳しくは後述する本実施形態の変形例で説明する。

第３の判定処理は、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されている状態で、第２の観察画像を取得した観察画像で更新する場合（第２のマップ画像作成パターン）において、行われる処理である。第３の判定処理では、カラーカメラ３が取得した観察画像と、マップ画像座標上に配置済みの第２の観察画像と、をそれぞれ画質評価し、比較するものである。

第３の判定処理における画質評価は、観察画像のコントラスト値を用いて行われる。第３の判定処理で行われる画質評価では、観察画像のコントラスト値と、既にマップ画像座標上に配置済みの第２の観察画像のコントラスト値とが算出される。コントラスト値の算出は、第２の判定処理で説明した方法と同様に実行される。

そして、第３の判定処理では、観察画像と第２の観察画像とについて、比較を行う。より詳しくは、第３の判定処理では、観察画像と第２の観察画像とでそれぞれ算出されたコントラスト値の比較を行い、どちらの画像が、一方に比べて大きいコントラスト値を有するかを判定する。

第３の判定処理によって、新たに取得した観察画像のコントラスト値が第２の観察画像のコントラスト値と比べて大きいと判定された場合には、新たに取得した観察画像の画質が既に配置済みの第２の観察画像よりも良好な画質を有する画像であるため、第１の判定処理でマップ画像作成処理に使用する画像と判定される。即ち、その場合、画像処理部３５は新たに取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に配置された第２の観察画像を、新たに取得した観察画像によって更新する。逆に、第３の判定処理によって新たに取得した観察画像のコントラスト値が第２の観察画像のコントラスト値と比べて小さいと判定された場合には、既に配置済みの第２の観察画像の画質の方が新たに取得した観察画像よりも良好な画質を有する画像であるため、第１の判定処理でマップ画像作成処理に使用しない画像と判定される。即ち、既に配置済みの第２の観察画像は、新たに取得された観察画像によって更新されず、配置されたままの状態となる。

以上のように、画質評価部３６は、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されていない場合、第２の判定処理を実行し、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されている場合、第３の判定処理を実行するように機能する。

第２の判定処理を行うことで、設定値未満のコントラスト値の画像がマップ画像作成処理に用いられることがなくなり、コントラスト値によってマップ画像作成に用いられる観察画像の画質が保証される。

第３の判定処理を行うことで、既にマップ画像座標上に配置済みの観察画像と比較してより画質のよい観察画像が取得された場合、その観察画像によって配置済みの観察画像を置き換えるため、マップ画像における画質をより向上させることができる。

特に、新たに取得された観察画像によってマップ画像を更新する場合、新たに取得された観察画像が、既に配置済みの観察画像と比較して画質が悪い（フォーカスがずれている等）場合であっても、第３の判定処理を行うことで、画質の悪い観察画像でマップ画像が更新されてしまうことを防ぐことができる。

ステージ制御部３７は、カラー観察光学系１を用いて観察画像を取得している状態で、照明光の走査を行う手段である。ステージ制御部３７は、駆動モータ９を制御する。

以上の構成を有する顕微鏡装置１０によって、マップ画像を作成する処理手順についてフローチャートを用いて説明する。図５は、顕微鏡装置１０における制御装置２０によって、マップ画像が作成される処理手順を示すフローチャートである。図５の処理は、制御装置２０が、観察者からのマップ画像の作成を開始する指示を受信した後に開始される。

ステップＳ１では、露光制御部３２によってカラーカメラ３の露光が開始され、観察画像の取得を行う。

ステップＳ２では、ステップＳ１で取得した観察画像に対応する位置情報（ステージ位置検知機構９から取得した位置情報）を用いて相対位置関係検出部３４は、相対位置関係を検出する。

ステップＳ３では、画質評価部３６は、観察座標系とマップ画像座標系との相対関係をもとに、ステップＳ２で取得した相対位置関係に対応するマップ画像座標系の位置に観察画像（第２の観察画像）が配置済みであるかどうかを判定する。ステップＳ３における判定がＮｏ、即ち第２の観察画像が配置されていない場合、ステップＳ４の処理へ移行する。また、ステップＳ３における判定がＹｅｓ、即ち第２の観察画像が配置されている場合、ステップＳ５の処理へ移行する。

ステップＳ４では、画質評価部３６は、第２の判定処理を実行する。即ち、画質評価部３６は、観察画像のコントラスト値を算出し、観察画像のコントラスト値が特定の設定値以上であるか否かを判定することで画質を評価する。ステップＳ６において、ステップＳ４の判定の結果、観察画像のコントラスト値が特定の設定値以上である場合、規定条件を満たすとされ、ステップＳ８へ移行し、観察画像のコントラスト値が特定の設定値未満である場合、規定条件を見たさないとされ、ステップＳ１で取得された観察画像がマップ画像作成に用いられることなく本フローチャートの処理を終了する。

ステップＳ８では、画像処理部３５は、ステップＳ１で取得された観察画像をステップＳ２で取得された相対位置関係に基づいて、マップ画像座標上に配置する。

少し戻り、ステップＳ３において判定がＹｅｓとされ、ステップＳ５へ移行した状態を説明する。ステップＳ５では、画質評価部３６は、第３の判定処理を実行する。即ち、画質評価部３６は、ステップＳ１で取得された観察画像と、第２の観察画像とのコントラスト値をそれぞれ算出し、各コントラスト値の大小を比較する。ステップＳ７において、ステップＳ５の判定の結果、観察画像のコントラスト値が第２の観察画像のコントラスト値よりも大きい場合、規定条件を満たすとされ、ステップＳ８へ移行し、観察画像のコントラスト値が第２の観察画像のコントラスト値よりも小さい場合、規定条件を見たさないとされ、ステップＳ１で取得された観察画像がマップ画像作成に用いられることなく本フローチャートの処理を終了する。

以上の顕微鏡装置１０によれば、マップ画像の作成に際して、適切なマップ画像を自動的に作成することができる。特に本構成では、使用者は、マップ画像を取得したい観察座標上でマップ画像作成処理を実行するように制御装置２０へ入力指示するだけで自動的に画質に問題のない適切なマップ画像が作成されるため、マップ画像作成に伴う使用者の操作負担を大きく軽減することができる。

また、マップ画像作成時に使用する対物レンズ５をリボルバ等により変更する際、特に高倍率の対物レンズに変更することで対物レンズの変更前と比較してコントラスト値が低下した画質に問題のある観察画像が取得されやすい。本発明によれば、マップ画像作成時に対物レンズを変更するような場合であっても、対物レンズの変更に伴って取得され得る画質に問題のある観察画像によってマップ画像が作成、更新されてしまうことを、第２及び第３の判定処理の判定結果に基づく第１の判定処理を行うことで防ぐことができる。

以下、第１の実施形態の判定装置（画質評価部３６として機能する制御装置２０）において実行される処理の変形例について説明する。第１の実施形態では、画質評価部３６は、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されていない場合、第２の判定処理を実行し、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されている場合、第３の判定処理を実行するものとしたが、画質評価部３６の処理はこれに限られない。

本変形例では、画質評価部３６は、第３の判定処理を行わず、第２の観察画像が配置済みであるかいないかに関わらず、第２の判定処理を実行するものとする。

この場合、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されている状態では、画質評価部３６により、取得された観察画像について画質評価が行われる。そして、取得された観察画像が、設定値以上のコントラスト値を有していた場合、第２の観察画像を取得された観察画像で更新する。尚、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されていない状態における処理については、第１の実施形態と同様に、第２の判定処理が実行される。

以上のように、画質評価部３６が第２の判定処理の判定結果のみに基づいて第１の判定処理を行うように機能する場合であっても、マップ画像の作成に際して、適切なマップ画像を自動的に作成することができる。

また、第２の判定処理に使用される設定値は、第２の観察画像が配置されている状態と第２の観察画像が配置されていない状態とで、異なる設定値を使用しても構わない。例えば、第２の観察画像が配置されている状態に使用する設定値を、第２の観察画像が配置されていない状態で使用する設定値よりも高いコントラスト値に相当するように設定してもよい。即ち、第２の観察画像が配置済みの領域については、より高い画質を有する観察画像によって更新されることとなり、既に配置済みの第２の観察画像とそこまで画質が変わらない観察画像による不要な更新を回避することができる。

また、第１の実施形態では、第１の判定処理は対物レンズ５の視野範囲で取得された観察画像毎に行われるものとしたが、これに限られない。例えば本変形例では、第１の判定処理は、対物レンズ５の視野範囲で取得された観察画像をさらに複数の領域に分割した観察画像毎に行うものとしてもよい。分割する領域の大きさは、ピクセル単位であってもよく、１ピクセル毎にコントラスト値を判定し（第２の判定処理）、１ピクセル毎にマップ画像座標系上に配置された第２の観察画像との置き換えや、配置を実行しても構わない。このようにすれば、マップ画像中のより小さな単位で、第２の判定処理が実行されるため、更なる画質の向上を図ることができる。

以上の変形例における、マップ画像を作成する処理手順についてフローチャートを用いて説明する。図６は、変形例におけるマップ画像作成処理の処理手順を示すフローチャートである。図６の処理は、制御装置２０が、観察者からのマップ画像の作成を開始する指示を受信した後に開始される。

ステップＳ１１、Ｓ１２は、図５のフローチャートのステップＳ１、Ｓ２と同様である。ステップＳ１１、Ｓ１２によって観察画像と、その観察画像に対応する相対位置関係が取得されると、ステップＳ１３へ移行する。

ステップＳ１３では、画質評価部３６は、第２の判定処理を実行する。即ち、画質評価部３６は、観察画像のコントラスト値を算出し、観察画像のコントラスト値が特定の設定値以上であるか否かを判定することで画質を評価する。

ステップＳ１４において、ステップＳ１３の判定の結果、観察画像のコントラスト値が特定の設定値以上である場合、規定条件を満たすとされ、ステップＳ１５へ移行し、観察画像のコントラスト値が特定の設定値未満である場合、規定条件を見たさないとされ、ステップＳ１１で取得された観察画像がマップ画像作成に用いられることなく本フローチャートの処理を終了する。

ステップＳ１５では、画像処理部３５は、ステップＳ１で取得された観察画像をステップＳ２で取得された相対位置関係に基づいて、マップ画像座標上に配置する。

以下、第１の実施形態の判定装置（画質評価部３６として機能する制御装置２０）において実行される処理の、さらに他の変形例について説明する。本変形例では、画質評価部３６は、第２の判定処理を行わない。より詳しくは、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されていない状態で、取得した観察画像をマップ画像座標上に配置する場合（第１のマップ画像作成パターン）では、画質評価部３６による判定処理を実行せず、画像処理部３５は、カラーカメラ３が取得した観察画像を無条件でマップ画像座標系に配置する点が、第１の実施形態での処理と異なる。尚、カラーカメラ３が取得した観察画像の相対位置関係に対応するマップ画像座標系の位置に第２の観察画像が配置されている状態で、取得した観察画像をマップ画像座標上に配置する場合（第２のマップ画像作成パターン）については、第１の実施形態と同様に第３の判定処理が実行される。

以上のように、画質評価部３６が第３の判定処理の判定結果のみに基づいて第１の判定処理を行うように機能する場合であっても、マップ画像の作成に際して、適切なマップ画像を自動的に作成することができる。

以上の変形例における、マップ画像を作成する処理手順についてフローチャートを用いて説明する。図７は、本変形例におけるマップ画像作成処理の処理手順を示すフローチャートである。図７の処理は、制御装置２０が、観察者からのマップ画像の作成を開始する指示を受信した後に開始される。

ステップＳ２１、Ｓ２２は、図５のフローチャートのステップＳ１、Ｓ２と同様である。ステップＳ２１、Ｓ２２によって観察画像と、その観察画像に対応する相対位置関係が取得されると、ステップＳ２３へ移行する。

ステップＳ２３では、画質評価部３６は、観察座標系とマップ画像座標系との相対関係をもとに、ステップＳ２２で取得した相対位置関係に対応するマップ画像座標系の位置に観察画像（第２の観察画像）が配置済みであるかどうかを判定する。ステップＳ２３における判定がＮｏ、即ち第２の観察画像が配置されていない場合、ステップＳ２６へ移行し、ステップＳ２１で取得した観察画像を、ステップＳ２２で取得した相対位置関係に基づき、マップ画像座標系に配置する。また、ステップＳ２３における判定がＹｅｓ、即ち第２の観察画像が配置されている場合、ステップＳ２４の処理へ移行する。

ステップＳ２４の処理及びステップＳ２５の処理は、ステップＳ５、７の処理と同様である。

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述した顕微鏡装置、及び、プログラム、及び、観察方法は、特許請求の範囲に記載した本発明を逸脱しない範囲において、さまざまな変形、変更が可能である。

１０ 顕微鏡装置
１ カラー光学系
２ 白色光源
３ カラーカメラ
４ ハーフミラー
５ 対物レンズ
６ ステージ
７ 駆動モータ
８ 駆動モータ
９ ステージ位置検知機構
２０ 制御装置
２１ 入力ＩＦ
２２ 出力ＩＦ
２３ 記憶装置
２４ メモリ
２５ ＣＰＵ
２６ 可搬記憶媒体駆動装置
２７ 可搬記憶媒体
２８ バス
３１ 光源制御部
３２ 露光制御部
３３ 画像入出力部
３４ 相対位置関係検出部
３５ 画像処理部
３６ 画質評価部
３７ ステージ制御部
Ａ マップ画像
Ｂ 観察画像
Ｓ 標本Ｓ

Claims (12)

1. 標本の観察画像を取得する撮像装置と、
   前記撮像装置が取得した複数の前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行する画像処理装置と、
   前記観察画像を前記マップ画像作成処理に使用するかどうかを判定する第１の判定処理を実行する判定装置と、を備え、
   前記画像処理装置は、前記第１の判定処理で前記マップ画像作成処理に使用すると判定された観察画像を含む、前記観察画像を組み合わせて前記マップ画像を作成し、前記第１の判定処理で前記マップ画像作成処理に使用しないと判定された観察画像を前記マップ画像作成処理に使用しない
   ことを特徴とする顕微鏡装置。
2. 請求項１に記載の顕微鏡装置であって、
   前記判定装置は、前記観察画像の画質を評価する第２の判定処理の結果に基づき前記第１の判定処理を行なう
   ことを特徴とする顕微鏡装置。
3. 請求項２に記載の顕微鏡装置であって、さらに、
   対物レンズと、
   前記標本と前記対物レンズとの相対位置関係を検出する相対位置関係検出装置と、を備え、
   前記画像処理装置は、前記相対位置関係と、前記相対位置関係を規定する座標系である観察座標系とマップ画像座標系との相対関係と、に基づいて前記観察画像を前記マップ画像座標系上に配置していくことで前記マップ画像作成処理を実行する
   ことを特徴とする顕微鏡装置。
4. 請求項３に記載の顕微鏡装置であって、
   前記画像処理装置は、前記撮像装置が取得した前記観察画像の相対位置関係に対応する前記マップ画像座標系の位置に第２の観察画像が配置されている場合に、前記判定装置によって前記第１の判定処理の結果、前記観察画像を前記マップ画像作成処理に使用すると判定されたとき、前記観察画像の相対位置関係に対応する前記マップ画像座標系の位置に配置された前記第２の観察画像を前記観察画像で更新する
   ことを特徴とする顕微鏡装置。
5. 請求項４に記載の顕微鏡装置であって、
   前記判定装置は、前記撮像装置が取得した前記観察画像と、前記第２の観察画像と、をそれぞれ画質評価し、比較する第３の判定処理の結果に基づき前記第１の判定処理を行なう
   ことを特徴とする顕微鏡装置。
6. 請求項５に記載の顕微鏡装置であって、
   前記判定装置は、
   前記撮像装置が取得した前記観察画像の相対位置関係に対応する前記マップ画像座標系の位置に前記第２の観察画像が配置されていない場合、前記第２の判定処理を実行し、
   前記撮像装置が取得した前記観察画像の相対位置関係に対応する前記マップ画像座標系の位置に前記第２の観察画像が配置されている場合、前記第３の判定処理を実行する
   ことを特徴とする顕微鏡装置。
7. 請求項３乃至請求項６のいずれか１項に記載の顕微鏡装置であって、
   前記第１の判定処理は、前記対物レンズの視野範囲で取得された前記観察画像毎に実行される
   ことを特徴とする顕微鏡装置。
8. 請求項３乃至請求項６のいずれか１項に記載の顕微鏡装置であって、
   前記第１の判定処理は、前記対物レンズの視野範囲で取得された前記観察画像をさらに複数の領域に分割した観察画像毎に実行される
   ことを特徴とする顕微鏡装置。
9. 請求項２乃至請求項８のいずれか１項に記載の顕微鏡装置であって、
   前記判定装置は、前記第２の判定処理における前記観察画像の画質の評価を、コントラスト値を用いて行う
   ことを特徴とする顕微鏡装置。
10. 請求項５乃至請求項８のいずれか１項に記載の顕微鏡装置であって、
    前記判定装置は、前記第３の判定処理における前記観察画像の画質の評価を、コントラスト値を用いて行う
    ことを特徴とする顕微鏡装置。
11. 撮像装置が標本の観察画像を取得し、
    画像処理装置が、前記撮像装置が取得した複数の前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理を実行し、
    判定装置が前記観察画像を前記マップ画像作成処理に使用するかどうかを判定する第１の判定処理を実行し、
    前記画像処理装置は、前記第１の判定処理で前記マップ画像作成処理に使用すると判定された観察画像を含む、前記観察画像を組み合わせて前記マップ画像を作成し、前記第１の判定処理で前記マップ画像作成処理に使用しないと判定された観察画像を前記マップ画像作成処理に使用しない
    ように前記撮像素子と前記画像処理装置と前記判定装置とを動作させる処理をコンピュータに実行させることを特徴とするプログラム。
12. 標本の観察画像を取得し、
    取得した複数の前記観察画像を組み合わせてマップ画像を作成するマップ画像作成処理に、前記観察画像を使用するかどうかを判定する第１の判定処理を実行し、
    前記第１の判定処理で前記マップ画像作成処理に使用すると判定された観察画像を含む、前記観察画像を組み合わせて前記マップ画像を作成し、前記第１の判定処理で前記マップ画像作成処理に使用しないと判定された観察画像を前記マップ画像作成処理に使用しない
    ことを特徴とする観察方法。
    
    

Images