JP2016177037A - 観察装置、観察方法、及びプログラム - Google Patents

Abstract

【課題】試料を観察する際の試行錯誤を支援する観察装置を提供する。【解決手段】ユーザの操作を取得する操作部、ユーザの操作に応じた観察条件において対象を撮像する撮像部、及びユーザによる操作に伴って撮像された対象画像を表示装置に表示させる表示処理部を備え、表示処理部は、ユーザの操作に伴う観察条件の遷移の前後に撮像された複数の対象画像同士の間における当該観察条件の遷移の種類を示す遷移表示画像を表示装置に表示させる。【選択図】図５Ｆ

Description

本発明は、観察装置、観察方法、及びプログラムに関する。

微小な物体、微細な組織等の試料を拡大して観察する光学顕微鏡（単に顕微鏡と呼ぶ）等の観察装置が利用されている。顕微鏡により試料を観察する際、試料が載置されるステージを移動して試料上の観察対象を探し、その観察対象を鮮明に捉えるために倍率、フォーカス、照明方法等の観察条件を切り替え、最適化する試行錯誤を要する。この試行錯誤の過程において、頻繁に、試料内の複数の観察対象を比較すること、さらに、それらの観察対象を観察条件を変えて何度も観察することがある。そのため、観察の履歴を記録して、適当な観察条件を再現するなどの試行錯誤を支援する技術が求められていた。

特許文献１には、観察画像とともにそれを取得した際の顕微鏡の設定条件（観察条件）を記録し、記録した複数の観察画像の中から画像を選択することで、その選択された画像とともに、その画像に対応する設定条件が再現されて現時刻における試料の撮影像が表示される顕微鏡用画像の情報処理装置が開示されている。
［特許文献１］ 特開２００９−２１０７７３号公報

しかし、特許文献１に開示される情報処理装置では、ユーザ自らが画像を保存し、比較する画像を検索する操作を必要とする。従って、この従来技術では、試行錯誤の支援の目的を必ずしも十分に果たしていない。

そこで、本発明は、試料を観察する際の試行錯誤を支援する観察装置を提供することを課題とする。

本発明の第１の態様においては、ユーザの操作を取得する操作取得部と、ユーザの操作に応じた観察条件において対象を撮像する撮像部と、ユーザによる操作に伴って撮像された対象画像を表示装置に表示させる表示処理部と、を備え、表示処理部は、ユーザの操作に伴う観察条件の遷移の前後に撮像された複数の対象画像同士の間における当該観察条件の遷移の種類を示す遷移表示画像を表示装置に表示させる観察装置を提供する。

なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

顕微鏡の機能構成を示す。 顕微鏡の動作手順を示す。 履歴マップの作成を示す。 履歴マップの作成を示す。 操作履歴の一例を示す。 木構造による操作履歴の記録の方法を示す。 履歴マップの作成及び表示の遷移を示す。 履歴マップの作成及び表示の遷移を示す。 履歴マップの作成及び表示の遷移を示す。 履歴マップの作成及び表示の遷移を示す。 履歴マップの作成及び表示の遷移を示す。 履歴マップの作成及び表示の遷移を示す。 履歴マップ上で比較画像を選択する状態を示す。 選択された画像の比較表示を示す。 履歴マップ上で複数の操作を１つの操作にマクロ化する操作を示す。 複数の操作が１つの操作にマクロ化された履歴マップを示す。 大画面による履歴マップのクラスタ表示を示す。 小画面による履歴マップのクラスタ表示を示す。 ステージのチルト操作の方法を示す。 フォーカス操作の方法を示す。 本発明の実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１に与えるブロック図は、本実施形態に係る顕微鏡１００の機能構成を示す。顕微鏡１００は、試料の表面又は内部を拡大してその像を表示する観察装置の一例であり、ユーザの操作により指定された観察条件で撮像された複数の撮像画像を表示するとともに、観察条件の遷移の前後に撮像された撮像画像の間における当該観察条件の遷移、すなわち操作を表す遷移表示画像を表示することで、ユーザに対して、試料を観察する際の試行錯誤を支援することを目的とする。なお、試料は、観察対象が表面に付着或いは形成されたガラス、金属、絶縁物、半導体等の基板、又は観察対象を表面に固定したプレパラートであってよい。顕微鏡１００は、本体部１０２及び制御部１０４を備える。

本体部１０２は、光学系１１０、照明系１１５、撮像部１２０、及びステージ部１７０を備える。

光学系１１０は、試料の拡大像を生成する系であり、接眼レンズ、複数の対物レンズ、レボルバ、及び鏡筒（不図示）を有する。接眼レンズは、対物レンズが結ぶ中間像を拡大して見るための光学素子であり、複数の倍率のレンズから選択して交換することができる。複数の対物レンズは、試料の上に配されてその試料の中間像を結ぶ光学素子であり、それぞれ異なる倍率を有する。レボルバは、複数の対物レンズを支持して回転することで、それらのいずれかを光学系１１０の光軸上に位置決めする回転機構である。

レボルバを用いることで、複数の対物レンズを切り替えることができる。レボルバは、例えば回転モータ等の駆動装置を有し、これにより回転する。レボルバの回転位置（又は回転量）はセンサにより測定される。その測定結果は、制御部１０４内の設定部１９０に送信される。駆動装置は、設定部１９０からの指示により、レボルバを目標位置に回転する。なお、駆動装置と併せて、手動で回転できることとしてもよい。

上述の構成の光学系１１０において、接眼レンズ及び複数の対物レンズの一方又は両方を切り替えることにより、それらの組み合わせにより、光学系１１０の倍率を切り替えることができる。なお、接眼レンズ及び対物レンズの組み合わせに関する情報は、適宜、設定部１９０に送信される。

鏡筒（不図示）は、光学系１１０の構成各部及び後述する撮像部１２０を保持する。鏡筒は、駆動装置を有し、これにより光学系１１０を光軸方向に駆動する。鏡筒の光軸方向の位置（或いは変位）は、センサにより測定される。センサとして、例えば、リニアエンコーダを採用することができる。その測定結果は、制御部１０４内の設定部１９０に送信される。駆動装置は、設定部１９０からの指示により、鏡筒を目標位置に駆動する。駆動装置として、例えばモータ等を採用することができる。なお、駆動装置と併せて、駆動ダイヤルを手動で回転することにより鏡筒を駆動する駆動機構を設けてもよい。これにより、光学系１１０のフォーカスを変更することができる。

なお、鏡筒内に、光学系１１０（複数の対物レンズ）と撮像部１２０との間にハーフミラーを配し、これを透過する光を撮像部１２０に、反射する光を接眼レンズに送る構成を採用してよいし、撮像時にのみ光を撮像部１２０に送る構成を採用してもよい。また、接眼レンズに代えて又はこれと併せて、モニタ等により試料を観察可能な構成を採用してもよい。

照明系１１５は、試料を照明する光を生成し、それを用いて下方又は上方（或いは側方）から試料を照明する。試料を下方から照明する場合、試料を透過する光が、光学系１１０を介して撮像部１２０又は接眼レンズに向かう。試料を上方から照明する場合、試料から反射する光が、光学系１１０を介して撮像部１２０又は接眼レンズに向かう。照明系１１５は、輝度、波長、偏光、絞り等、幾つかの照明条件を選択することができる。なお、照明条件に関する情報は、適宜、制御部１０４内の設定部１９０に送信される。

撮像部１２０は、一例としてＣＣＤ、ＣＭＯＳ等の撮像素子を有し、これを用いて光学系１１０を通して試料を撮像し、その撮像画像を制御部１０４内の記憶部１４０に送信する。撮像部１２０は、ユーザが後述する操作部１６０を介して顕微鏡１００を操作して観察条件を変更した後、その観察条件が変更されずに一定時間継続したことが検出されると、それに応じて試料を撮像してよい。それにより、ユーザの操作に応じた観察条件において試料が撮像される。なお、撮像部１２０は、これと併せて、ユーザにより操作部１６０を介して明示的に撮像が指示された場合にも、試料を撮像することとしてもよい。

ステージ部１７０は、試料が載置されるステージ、センサ、及び駆動装置を有する。ステージは、光学系１１０の光軸に対して直交する一面を有する平板状の部材であり、その一面上に試料を支持する。ステージは、光学系１１０の光軸（これに平行にＺ軸を定める）に対して、これに直交する面（ＸＹ面）に平行な方向（Ｘ軸及びＹ軸方向）、Ｚ軸方向、ＸＹ面内での回転方向（θｚ方向）、Ｚ軸に対するチルト方向（θｘ及びθｙ方向）の６ＤＯＦ方向に移動可能に構成される。センサは、ステージの６ＤＯＦ方向それぞれの位置（或いは変位）を測定する。センサとして、例えば、リニアエンコーダを採用することができる。その測定結果は、制御部１０４内の設定部１９０に送信される。駆動装置は、ステージを６ＤＯＦ方向に駆動する。駆動装置として、例えば複数のモータ、ヘキサポッドステージ等を採用することができる。駆動装置は、設定部１９０からの指示により、ステージを目標位置に駆動する。なお、駆動装置に代えて又はこれと併せて、駆動ダイヤル（粗動用ダイヤル及び微動用ダイヤル）を手動で回転することによりステージを駆動する駆動機構を設けてもよい。

上述の構成のステージ部１７０により、駆動装置を用いて試料を保持するステージを駆動することで、光学系１１０の光軸に対して（その視野内で或いは視野範囲を越えて）、試料を移動（試料上の観察位置を移動）することができる。

制御部１０４は、設定部１９０、操作部１６０、表示処理部１３０、記憶部１４０、及び表示部１５０を備える。制御部１０４は、コンピュータ、マイクロコントローラ等を含む情報処理装置に制御用プログラムを実行させることによって実現されてもよい。

設定部１９０は、本体部１０２の構成各部、すなわち光学系１１０、照明系１１５、撮像部１２０、及びステージ部１７０を制御する。設定部１９０は、これら各部からそれぞれの状態に関する情報を収集するとともに、操作部１６０から送信される指示に応じて各部を制御して、それらの状態、すなわち観察条件を設定又は変更する。例えば、設定部１９０は、倍率変更の指示に応じて光学系１１０（レボルバ）を制御して、変更倍率に対応する対物レンズに切り替える。また、設定部１９０は、フォーカスの変更の指示に応じて鏡筒を変更フォーカスに対応する目標位置に駆動して、光学系１１０のフォーカスを変更する。また、設定部１９０は、照明条件の変更の指示に応じて照明系１１５を制御して、変更照明に対応する照明条件を選択する。また、設定部１９０は、撮像部１２０を制御して、試料を撮像する。また、設定部１９０は、観察位置の移動の指示に応じてステージ部１７０（駆動装置）を制御して、試料を支持するステージを指示された目標位置に駆動する又は指示された変位量、駆動することで、試料上の観察位置を移動する。また、設定部１９０は、観察条件の再現の指示に応じて、構成各部を制御して観察条件に対応するそれぞれの状態に設定することで、目的の観察条件を再現する。

操作部１６０は、マウス、キーボード、ペンタブレット等の入力装置１６２を介してユーザからの操作の指示を取得し、処理する。操作は、一例として、倍率の変更、フォーカスの変更、照明条件の変更、ステージの位置（観察位置）の変更、観察条件の再現、画像処理等を含む。なお、倍率の変更は、接眼レンズの交換及び対物レンズの切り替えを含む。フォーカスの変更は、光軸方向への鏡筒及びステージの駆動を含む。照明条件の変更は、照明の輝度、波長、偏光、絞り等の変更を含む。ステージの位置の変更は、ステージの６ＤＯＦ方向への移動を含む。観察条件の再現は、過去に設定された観察条件の中から選択されるいずれかの観察条件を再現することを含む。画像処理は、記録された撮像画像を画像処理すること、それにより撮像画像の特徴、観察された試料の特徴等の特徴量を生成することを含む。

操作部１６０は、入力された操作の指示を処理して、対物レンズの選択、鏡筒の目標位置（又は目標変位）、照明条件の選択、ステージの目標位置（又は目標変位）等、顕微鏡１００の各部の状態設定の指示及び画像処理の指示を設定部１９０に送信する。また、操作部１６０は、撮像部１２０による試料の撮像に併せて、試料が撮像された時刻（撮像時刻）、入力された操作の内容と操作量（操作情報）、及び顕微鏡１００（各部）の設定状態の情報（設定情報）を設定部１９０を介して記憶部１４０に送信する。

なお、入力装置１６２として、ユーザの手指等によるタッチ入力を検知するタッチパネルを採用することもできる。この場合、入力装置１６２は、フリック、ピンチ等のジェスチャ操作（マルチタッチによるジェスチャ操作を含む）による操作を処理することとしてもよい。

記憶部１４０は、撮像部１２０から送信される撮像画像を、操作部１６０による観察条件の設定に応じて設定部１９０から送信される撮像時刻、操作情報、及び設定情報（これらをまとめて履歴情報とも呼ぶ）とともに記憶する。また、表示処理部１３０からの指示に応じて、記録した撮像画像（撮像時刻を含む）、操作情報、及び設定情報を表示処理部１３０に送信する。なお、記憶部１４０は、画像処理プログラム等、顕微鏡１００の機能を拡張するためのプログラムをプラグイン可能に格納する記憶装置を有してもよい。

表示処理部１３０は、記憶部１４０により記録された撮像画像、操作情報、及び設定情報を用いて顕微鏡１００の操作の履歴マップを作成し、表示部１５０に送信する。表示処理部１３０は、レイアウト部１３２、クラスタリング部１３４、統合処理部１３６、及び生成部１３８を含む。レイアウト部１３２は、履歴マップのレイアウトを作成する、すなわち履歴マップ上の撮像画像の配置を決定する。クラスタリング部１３４は、複数の撮像画像をクラスタリングして、それらを代表する一部の撮像画像を代表画像として履歴マップ上に配置する。統合処理部１３６は、複数の撮像画像のうちの１つの撮像画像から別の１つの撮像画像に至る複数の操作による複数回の観察条件の変更を１回の操作による観察条件の変更として統合（マクロ化）する。生成部１３８は、例えばユーザの指示又は自動的に選択されてプラグインされた画像処理プログラムを起動して、画像処理機能を得る。生成部１３８は、複数の撮像画像のうちの対象画像を画像処理して変換後の画像又は特徴量を生成する。履歴マップの作成及び各部の機能の詳細は、後述する。

表示部１５０は、１又は複数の表示装置１５２に接続可能であり、その画面上に表示処理部１３０により作成される履歴マップを表示する。表示装置として、例えば、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、及びプロジェクタ等の表示装置を採用することができる。

なお、操作部１６０及び表示部１５０は、１又は複数のユーザ端末１５４に接続することができる。ユーザ端末１５４は、履歴マップを表示する表示装置として機能するだけでなく、タッチパネル等のポインティングデバイスを有し、それぞれ独立の入力装置としても機能する。

図２のフロー図は、顕微鏡１００の動作手順３００の一例を示す。なお、顕微鏡１００の電源が投入されることで、制御部１０４は、一連の手順を開始する。

ステップ３０２では、設定部１９０は、顕微鏡１００の構成各部、特に光学系１１０、照明系１１５、及びステージ部１７０の状態を初期設定する。初期設定において、例えば、設定部１９０は、光学系１１０、照明系１１５、及びステージ部１７０からそれらの設定情報を収集し、操作部１６０に送信する。これに先立って、設定部１９０は、鏡筒（不図示）の光軸方向に関する位置、ステージの６ＤＯＦ方向それぞれの位置等を較正してもよい。操作部１６０は、それらの情報を表示部１５０に送信して、表示装置１５２の画面上に表示する。また、設定部１９０は、タイマの設定時間をセットする。

ステップ３０４では、設定部１９０は、観察条件が変更されたことを示すフラグＦをクリアし、ゼロとする。

ステップ３０６では、設定部１９０は、ユーザからの操作の指示の有無を判断する。操作部１６０はユーザからの操作の指示を取得し、処理して、顕微鏡１００の各部の状態設定の指示を設定部１９０に送信する。設定部１９０は、状態設定の指示を受信しない限り、操作の指示はないと判断する。判断が肯定されるとステップ３１０に移行し、否定されるとステップ３０８に移行する。

ステップ３０８では、設定部１９０は、フラグＦが立てられているか否か（Ｆは１であるか否か）判断する。判断が肯定されるとステップ３１４に移行し、否定されるとステップ３０６に戻る。ここでは、フラグＦはクリアされているので、ステップ３０６に戻る。それにより、ユーザからの操作の指示があるまで、ステップ３０６，３０８を繰り返す。

ステップ３１０では、設定部１９０は、ステップ３０６において受信した状態設定の指示に従って、光学系１１０、照明系１１５、及びステージ部１７０を制御することにより、顕微鏡１００の観察条件を変更する。設定部１９０による制御の詳細は、先述の通りである。

ステップ３１２では、設定部１９０は、フラグＦを立てる（Ｆに１を代入する）とともにタイマをセットし、観察条件の変更からの経過時間を計る。

ステップ３１４では、設定部１９０は、設定時間が経過したか否かを判断する。設定部１９０は、ステップ３１２にてセットされたタイマを用いて、ステップ３１０において観察条件が変更された後、その条件（顕微鏡１００の設定状態）を維持したまま設定時間が経過したか否かを判断する。判断が肯定されるとステップ３１６に進み、否定されるとステップ３０６に戻る。

ステップ３１４の判断が否定された場合のフローをより詳細に説明する。

ステップ３０６に戻った後、ユーザからの次の操作の指示があると、ステップ３０６の判断が肯定され、設定部１９０はステップ３１０，３１２，３１４を繰り返す。ステップ３１０では、設定部１９０は、先のステップ３１０において指示された操作による観察条件の変更に重ねてさらに新たに指示された操作による観察条件に変更する。ステップ３１２では、設定部１９０は、フラグＦを継続して立て、且つタイマをリセット（リスタート）する。そして、ステップ３１４において、設定部１９０は、リスタートしたタイマにより、観察条件が変更されてからその条件を維持したまま設定時間が経過したか否かを判断する。

ステップ３０６に戻った後、ユーザからの次の操作の指示がないと、ステップ３０６の判断が否定され、設定部１９０はステップ３０８，３１４を繰り返す。ステップ３１４では、観察条件が最後に変更されてから、その条件を維持したまま設定時間が経過したか否かが判断されることとなる。観察条件が最後に変更されてから設定時間が経過してステップ３１４の判断が肯定されると、ユーザによる一連の操作が完了したものとして、設定部１９０はステップ３１６に移行する。経過していない場合、ユーザによる操作はまだ継続しているものとして、設定部１９０はステップ３０６に戻り、ステップ３０６，３０８，３１０，３１２，３１４を繰り返す。

ステップ３１６では、設定部１９０は、試料を撮像する。設定部１９０は、撮像部１２０により、一連のステップ３０６，３０８，３１０，３１２，３１４により設定された観察条件において、試料を撮像する。その結果（撮像画像）は記憶部１４０に送信され、記録される。

なお、本実施形態では、一連のステップ３０６，３０８，３１０，３１２，３１４により観察条件が最後に変更されてからその条件を維持したまま設定時間が経過した場合に、ユーザによる一連の操作が完了したものとして、ステップ３１６に移行して試料を撮像することとしたが、これに限らず、ユーザにより撮像が指示された場合に、設定時間の経過を待つことなく試料を撮像することとしてもよい。係る場合、設定部１９０は、ステップ３１２，３１４を省略し、ステップ３１０からステップ３１６に移行することとしてよい。

ステップ３１８では、設定部１９０は、操作履歴を記録する。設定部１９０は、ステップ３１６にて撮像画像が得られた時刻、一連の操作の内容と操作量、及び一連の操作により最終的に設定された顕微鏡１００の状態の情報を記憶部１４０に送信する。なお、一連の操作は、１つの操作としてその内容と操作量が記録される。送信された各情報は、撮像画像に対応付けて記憶部１４０により記憶される。

ステップ３２０では、表示処理部１３０により履歴マップが作成され、表示装置１５２の画面上に表示される。表示処理部１３０は、ステップ３１８において操作履歴が記録される度に履歴マップを作成する。それにより、ユーザによる複数の操作に伴って撮像された複数の対象画像とともに、操作に伴う観察条件の遷移の前後に撮像された対象画像同士の間における当該観察条件の遷移の種類を示す遷移表示画像が表示される。

図３Ａ及び図３Ｂは、履歴マップの作成の一例を示す。図３Ａは、顕微鏡１００の電源が投入された直後の初期状態Ｓにおける履歴マップを示す。履歴マップの右下に、初期状態Ｓにおいて撮像された撮像画像２００が表示されている。ユーザにより操作の指示が入力され（ステップ３０６）、顕微鏡１００の観察条件が変更され（ステップ３１０）、その操作の履歴が記録されると（ステップ３１８）、表示処理部１３０は、図３Ｂに示すように、撮像画像２００を履歴マップ上で（縮小して）同じ位置又は近傍に残し、この位置から右上に操作後の観察条件における試料のライブビューを表示する。なお、表示処理部１３０は、ライブビューに代えてステップ３１６において得られた撮像画像２０２を表示してもよいし、任意のタイミングでライブビューを撮像画像２０２に置き換えてもよい。試料のライブビュー（又は撮像画像２０２）を表示する際、表示処理部１３０は、操作の内容（さらに操作量等）に応じて異なる種類（例えば、異なる色、形状、線種等）の遷移表示画像２０１を併せて表示する。遷移表示画像２０１は、２つの撮像画像２００，２０２を結ぶように表示される。それにより、操作に伴う観察条件の遷移の前後に撮像された対象画像の対応とそれらの関係が表される。

ステップ３２０が完了すると、設定部１９０は、ステップ３０４に戻る。設定部１９０は、顕微鏡１００の電源がオフされるまで一連のステップ３０４〜３２０を繰り返す。従って、ステップ３０６においてユーザからの操作の指示が確認される都度、ステップ３１０にて観察条件が変更され、ステップ３１６にてその観察条件で試料が撮像され、ステップ３２０にて履歴マップが作成され、表示画面上に表示される。

操作履歴の記録、すなわち、ステップ３１８における操作情報（すなわち、操作の内容と操作量）及び設定情報（すなわち、顕微鏡１００の設定状態の情報）の記録について説明する。

図４Ａは、ユーザにより入力される操作履歴の一例を示す。顕微鏡１００は、時刻ｔ＝０にて、始状態である状態Ｓ０にあるものとする。この時、撮像部１２０により、撮像画像２０２が得られている。時刻ｔ＝１にて、ユーザが操作部１６０を介して操作Ｏ１、すなわち観察位置の移動を指示し、それにより顕微鏡１００は状態Ｓ０から状態Ｓ１に遷移する。この時、撮像部１２０により、撮像画像２０４が得られる。時刻ｔ＝２にて、ユーザがフォーカス変更（操作Ｏ２）を指示し、それにより顕微鏡１００は状態Ｓ１から状態Ｓ２に遷移する。この時、撮像部１２０により、撮像画像２０６が得られる。時刻ｔ＝３にて、ユーザは状態Ｓ１における観察条件を再現する観察条件の再現（操作Ｏ３）を指示し、それにより顕微鏡１００は状態Ｓ２から状態Ｓ１に遷移する。時刻ｔ＝４にて、ユーザがフォーカス変更（操作Ｏ４）を指示し、それにより顕微鏡１００は状態Ｓ１から状態Ｓ４に遷移する。この時、撮像部１２０により、撮像画像２０８が得られる。時刻ｔ＝５にて、ユーザが倍率変更（操作Ｏ５）を指示し、それにより顕微鏡１００は状態Ｓ４から状態Ｓ５に遷移する。この時、撮像部１２０により、撮像画像２１０が得られる。なお、簡単のため、観察位置の移動量、フォーカスの変更量、倍率の変更量等の操作量の詳細は省略する。

図４Ｂは、上記の操作履歴を木構造により記録する方法を示す。記憶部１４０は、撮像部１２０から試料の撮像画像が送信されると、これと併せて設定部１９０から送信される撮像時刻、操作情報（すなわち、操作の内容と操作量）、及び設定情報（すなわち、顕微鏡１００の設定状態）を木構造により記録する。木構造は、ノードとリンクを有し、ノードは観察条件、すなわち顕微鏡１００の設定状態Ｓ０，Ｓ１，Ｓ２，Ｓ４，Ｓ５、それぞれの観察条件において撮像された撮像画像２０２，２０４，２０６，２０８，２１０、及びそれらの撮像時刻を表し、リンクは遷移前後の観察条件間の関係、すなわち操作Ｏ１，Ｏ２，Ｏ３，Ｏ４，Ｏ５を表す。

上の操作履歴の一例に対し、図４Ｂの木構造は、操作Ｏ１により顕微鏡１００が設定状態Ｓ０からＳ１に遷移して、時刻ｔ＝１に画像２０４が得られ、操作Ｏ２により設定状態Ｓ１からＳ２に遷移して、時刻ｔ＝２に画像２０６が得られ、操作Ｏ３により設定状態Ｓ２からＳ１に戻り（時刻ｔ＝３）、操作Ｏ４により設定状態Ｓ１からＳ４に遷移して、時刻ｔ＝４に画像２０８が得られ、操作Ｏ５により設定状態Ｓ４からＳ５に遷移して、時刻ｔ＝５に画像２１０が得られたことが記録される。それにより、観察条件の再現の操作により顕微鏡１００が過去の設定状態に戻り、その状態から別の操作により異なる状態に遷移する履歴を含む場合においても、すべての操作情報と設定情報が記録される。

ステップ３２０における履歴マップの作成及び表示について、より詳細に説明する。

図５Ａから図５Ｆは、上の操作履歴の一例に対して、表示処理部１３０により作成及び表示される履歴マップの遷移の一例を示す。

図５Ａは、時刻ｔ＝０にて、始状態である設定状態Ｓ０において作成された履歴マップを示す。この履歴マップでは、初期状態Ｓ及び設定状態Ｓ０において得られた撮像画像２００，２０２及びそれらの対応及び操作を表す遷移表示画像２０１が表示されている。この状態において、ユーザにより観察位置の移動（操作Ｏ１）が指示されると、試料を保持するステージが移動し、それにより顕微鏡１００は状態Ｓ０から状態Ｓ１に遷移し、時刻ｔ＝１にて状態Ｓ１における撮像画像２０４が得られる。

図５Ｂは、時刻ｔ＝１にて、設定状態Ｓ１に遷移した状態において作成された履歴マップを示す。表示処理部１３０は、撮像画像２００，２０２及び遷移表示画像２０１を同じ位置に残しつつ、撮像画像２００，２０２と異なる位置、すなわち画像２０２の左上近傍に設定状態Ｓ１における試料のライブビュー（又は撮像画像２０４）を表示するとともに、観察位置の移動（操作Ｏ１）を示す遷移表示画像２０３を２つの画像２０２，２０４を結ぶように表示する。

なお、表示処理部１３０内のレイアウト部１３２は、観察位置を移動する操作Ｏ１が指示されたことに応じて、２つの撮像画像２０２，２０４の間の配置を、観察位置の移動方向に基づいて決定してもよい。例えば、観察位置を、撮像画像２０２における観察位置から左上に移動する場合、その操作により得られる撮像画像２０４を操作前の撮像画像２０２の左上に配置する。さらに、撮像画像２０２，２０４の離間距離を、観察位置の移動距離に応じて定めてもよい。

次に、設定状態Ｓ１において、ユーザによりフォーカス変更（操作Ｏ２）が指示されると、鏡筒又はステージが光学系１１０の光軸方向に駆動され、それにより顕微鏡１００は状態Ｓ１から状態Ｓ２に遷移し、時刻ｔ＝２にて状態Ｓ２における撮像画像２０６が得られる。

図５Ｃは、時刻ｔ＝２にて、設定状態Ｓ２に遷移した状態において作成された履歴マップを示す。表示処理部１３０は、撮像画像２００，２０２，２０４及び遷移表示画像２０１，２０３を同じ位置に残しつつ、撮像画像２００，２０２，２０４と異なる位置、すなわち画像２０４の右上近傍に設定状態Ｓ２における試料のライブビュー（撮像画像２０６）を表示するとともに、フォーカス変更（操作Ｏ２）を表す遷移表示画像２０５を２つの画像２０４，２０６を結ぶように表示する。なお、操作の内容を区別できるよう、遷移表示画像２０５として遷移表示画像２０３と異なる色の画像が選択されている。

次に、設定状態Ｓ２において、ユーザによりｔ＝１での観察条件の再現（操作Ｏ３）が指示されると、その観察条件に対応する設定状態Ｓ１が再現される。この時、ユーザは、履歴マップに表示されている複数の撮像画像の中から再現を希望する観察条件に対応する撮像画像（この場合、画像２０４）を選択する。操作部１６０は、設定部１９０に観察条件の再現を指示する。設定部１９０は、その指示に従って選択された撮像画像を撮像した時の観察条件（操作情報及び設定情報）を記憶部１４０から読み出し、本体部１０２の各部を制御して、観察条件に対応する顕微鏡状態を再現する。この場合、鏡筒又はステージが光学系１１０の光軸方向に先と逆方向に同じ駆動量、駆動される。それにより、顕微鏡１００は状態Ｓ１に戻る。

図５Ｄは、設定状態Ｓ１が再現された後の時刻ｔ＝３にて作成された履歴マップを示す。表示処理部１３０は、ユーザにより選択された状態Ｓ１に対応する撮像画像２０４を強調表示する。なお、撮像画像の強調表示として、図５Ｄでは一例として撮像画像２０４の枠を太く表示することとしたが、これに限らず、撮像画像の枠の色を変更する、撮像画像を拡大する等してもよい。このとき、表示処理部１３０は、引き続き撮像画像２０４を表示してもよいし、現時刻での状態Ｓ１における試料のライブビューを表示してもよい。

次に、設定状態Ｓ１において、ユーザによりフォーカス変更（操作Ｏ４）が指示されると、鏡筒又はステージが光学系１１０の光軸方向に駆動され、それにより顕微鏡１００は状態Ｓ１から状態Ｓ４に遷移し、時刻ｔ＝４にて状態Ｓ４における撮像画像２０８が得られる。

図５Ｅは、時刻ｔ＝４にて、設定状態Ｓ４に遷移した状態において作成された履歴マップを示す。表示処理部１３０は、撮像画像２００，２０２，２０４，２０６及び遷移表示画像２０１，２０３，２０５を同じ位置に残しつつ、撮像画像２００，２０２，２０４，２０６と異なる位置、すなわち画像２０４の左下近傍に設定状態Ｓ４における試料のライブビュー（又は撮像画像２０８）を表示するとともに、フォーカス変更（操作Ｏ４）を示す遷移表示画像２０７を２つの画像２０４，２０８を結ぶように表示する。

このように、表示処理部１３０は、再現した観察条件に対応する状態Ｓ１で、ユーザが先と異なる操作をしたことに応じて、先の操作（この場合、操作Ｏ２）に伴って撮像された撮像画像２０６と、新たな操作（操作Ｏ４）に伴って撮像された撮像画像２０８と、を撮像画像２０４から分岐して表示する。

次に、設定状態Ｓ４において、ユーザにより倍率変更（操作Ｏ５）が指示されると、対物レンズが交換され、それにより顕微鏡１００は状態Ｓ４から状態Ｓ５に遷移し、時刻ｔ＝５にて状態Ｓ５における撮像画像２１０、すなわち状態Ｓ４における撮像画像２０８の一部を拡大する画像が得られる。

図５Ｆは、時刻ｔ＝５にて、設定状態Ｓ５に遷移した状態において作成された履歴マップを示す。表示処理部１３０は、撮像画像２００，２０２，２０４，２０６，２０８及び遷移表示画像２０１，２０３，２０５，２０７を残しつつ、撮像画像２００，２０２，２０４，２０６，２０８と異なる位置、すなわち画像２０８の左上近傍に設定状態Ｓ５における試料のライブビュー（又は撮像画像２１０）を表示するとともに、倍率変更（操作Ｏ５）を表す遷移表示画像２０９を２つの画像２０８，２１０を結ぶように表示する。なお、操作の内容を区別できるよう、遷移表示画像２０９は遷移表示画像２０３，２０５，２０７と異なる遷移の方向に拡がる画像が選択されている。

なお、表示処理部１３０は、倍率変更の操作Ｏ５が指示されたことに応じて、２つの撮像画像２０８，２１０の間の配置を、画像の拡大又は縮小の中心位置に基づいて決定してもよい。例えば、撮像画像２０８内の基準位置から左上に位置する中心位置について画像を拡大又は縮小する場合に、新たな画像２１０を元の画像２０８の左上に配置する。また、画像の倍率に応じて、画像２０８に対して画像２１０を拡大又は縮小して表示してもよい。

本実施形態の顕微鏡１００は、上述の履歴マップの作成、表示により、撮像された複数の撮像画像を表示するとともに、それらの撮像画像間の関係、すなわち操作（その内容及び操作量）をユーザが把握できるように表示することで、ユーザに対して、試料を観察する際の試行錯誤を支援することができる。ユーザは、撮像画像間の関係を把握できることで、過去に記録した画像をただ選択するだけでなく、再現したい観察条件を選択し、そしてより最適な観察条件及びより最適な操作を探すことができる。

図６Ａ及び図６Ｂは、履歴マップを利用して２つの撮像画像を選択して、それらを比較表示する一例を示す。ユーザは、図６Ａに示す履歴マップ上に表示されている複数の撮像画像から２つ又はそれ以上の画像を選択する。ここでは、ユーザは、操作部１６０を介して、撮像画像２００，２０６を選択したとする。これに応じて表示処理部１３０は、履歴マップ上で撮像画像２００，２０６を強調表示する。撮像画像２００，２０６が選択されると、表示処理部１３０は、図６Ｂに示すように、履歴マップを表示画面上でその下端を軸に上端を後方斜め右に倒すように射影変換をして表示画面の下側に縮退し、表示画面の上側に選択された２つの画像２００，２０６を拡大して対比可能に表示する。ここで、表示処理部１３０は、拡大して比較表示した撮像画像２００，２０６が履歴マップ上に配置された撮像画像に対応することを表す画像を合わせて表示する。図６Ｂの例では、履歴マップ上の対応する撮像画像から拡大表示された画像まで延びる矢印２１０，２１６が表示されている。

図７Ａ及び図７Ｂは、履歴マップを利用して複数の操作を１つの操作としてマクロ化する一例を示す。ここで、操作のマクロ化とは、履歴マップ上に表示される複数の撮像画像のうちの１つの撮像画像から別の１つの撮像画像に至る複数の操作による複数回の観察条件の変更（設定状態の遷移）を１回の操作による観察条件の変更（設定状態の遷移）として統合することをいう。図７Ａに示すように、ユーザは履歴マップ上に表示されている複数の撮像画像から２つの画像２０２，２０８を選択する。図７Ａでは、選択された２つの画像２０２，２０８が強調表示されている。なお、２つの撮像画像を選択するに代えて、２つの撮像画像を結ぶ２以上の遷移表示画像（この場合、画像２０３，２０７）を選択してもよい。

表示処理部１３０に含まれる統合処理部１３６は、２つの撮像画像２０２，２０８が選択されると、２つの単位操作Ｏ１，Ｏ４を単一の操作Ｏ６として統合し、その操作Ｏ６の内容及び操作量を設定情報（顕微鏡１００の設定状態）とともに記憶部１４０により記録される。操作Ｏ６が記録されると、表示処理部１３０は、図７Ｂに示すように、選択された２つの撮像画像２０２，２０８の間に配置される撮像画像２０４，２０６及びそれらの画像を結ぶ遷移表示画像２０３，２０５，２０７を消去し、２つの撮像画像２０２，２０８を直接結ぶ遷移表示画像２１１を表示する。遷移表示画像２１１は、２つの単位操作Ｏ１，Ｏ４を統合した操作Ｏ６を表す。それにより、ユーザは、新たに表示された図７Ｂの履歴マップを利用して、２つの単位操作Ｏ１，Ｏ４を単一の操作Ｏ６として一括指定することができる。

表示処理部１３０に含まれるレイアウト部１３２は、グラフ可視化アルゴリズムにより履歴マップのレイアウトを作成する、すなわち履歴マップ上の複数の撮像画像の配置を決定する。グラフ可視化アルゴリズムとして、Kamada-Kawaiアルゴリズム、Fruchterman-Reingoldアルゴリズム等を採用することができる。

グラフ可視化アルゴリズムでは、一例として力学モデルを採用することができる。力学モデルでは、複数の撮像画像それぞれを有限の質量を有する質点とみなし、撮像画像を結ぶ複数の遷移表示画像それぞれを有限のばね定数を有するばねとみなし、履歴マップに対応する２次元面上で複数のばねにより連結された複数の質点系の力学的エネルギが安定化する配置を演算により決定する。演算では、複数の質点の運動エネルギ及び複数のばねの弾性エネルギの和によりコスト関数を定義し、そのコスト関数が極小値を持つ力学系の平衡状態を得る。その平衡状態における複数の質点の配置が、複数の撮像画像の配置として決定される。

コスト関数に制約項を追加することで、複数の撮像画像及び複数の遷移表示画像をより好適なレイアウトで履歴マップ上に配置することができる。例えば、複数の質点は撮像画像の表示サイズに相当する面積を有するとし、それらが２次元面上で重ならないように、また複数のばねが交差しないように、相当する制約項をコスト関数に追加してもよい。また、先述の通り、観察位置の移動方向、画像の拡大又は縮小の中心位置等に基づいて撮像画像の配置を決定する場合、相当する制約項をコスト関数に追加してよい。ばねにより結ばれる２つの質点の離間距離は一定としてもよいし、観察位置の移動距離、マクロ化された１つの操作における単位操作の回数（設定状態の遷移回数）、後述するようにクラスタ化された撮像画像の数（設定状態の遷移回数）等に応じて可変としてもよい。ここで、遷移回数が少ない場合に離間距離への影響を大きく、多い場合に影響を小さくしてよい。

表示処理部１３０に含まれるクラスタリング部１３４は、履歴マップ上に配置する撮像画像の数が増えた場合、記憶部１４０に記録されている撮像画像の数と表示部１５０の表示画面の大きさとに応じて、互いに類似する複数の撮像画像をクラスタリングして、それらを代表する一部（１以上又は２以上）の撮像画像を代表画像として表示する。ここで、階層的クラスタ分析を利用して撮像画像をクラスタリングすることができる。

撮像画像の階層的クラスタ分析では、撮像画像に対して類似度を定義し、その類似度に基づいて複数の撮像画像を１以上のクラスタに分類する。ここで、類似度は、撮像画像ｉを得た際の観察条件Ｘ_ｉに基づいて定義することができる。観察条件Ｘ_ｉ［＝（Ｘ_ｉ１，Ｘ_ｉ２，…，Ｘ_ｉｎ，…，Ｘ_ｉＮ）］は、接眼レンズ及び対物レンズの組み合わせにより定まる倍率、鏡筒の光軸方向の位置により定まるフォーカス、照明光の輝度、波長、偏光、絞り等を含む照明条件、試料を支持するステージの位置により定まる観察位置等の各属性を要素とする多次元ベクトルである。また、観察条件の類似度に基づくクラスタリングと併せて、画像のサイズ、コントラスト、色調等の撮像画像の画像特性を用いて類似度を定義し、これに基づいて複数の撮像画像をクラスタリングしてもよい。２つの撮像画像ｉ，ｊの類似度ε_ｉｊは、それぞれの観察条件Ｘ_ｉ，Ｘ_ｊ及び重みｃ［＝（ｃ_１，ｃ_２，…，ｃ_ｎ，…，ｃ_Ｎ）］を用いて、例えばε_ｉｊ＝√Σ_{ｎ＝１〜Ｎ}ｃ_ｎ｜Ｘ_ｉｎ−Ｘ_ｊｎ｜^２と定義される。

階層的クラスタ分析は、全ての撮像画像間の類似度を求め、その類似度が最も高い、すなわちε_ｉｊの値が最小の２つの撮像画像をクラスタ化する。そのクラスタ化された撮像画像を含め、再度、撮像画像の間の類似度を求め、その類似度が最も高い２つの撮像画像をクラスタ化する。この操作を、すべての撮像画像が１つのクラスタにクラスタ化されるまで繰り返す。それにより、互いに類似する撮像画像が１又は複数のクラスタに分類されるとともに、１つのクラスタに属する複数の撮像画像が類似度に対応する階層に応じてさらに複数のクラスタに分類される。

図８Ａ及び図８Ｂは、撮像画像がクラスタリングされた履歴マップのクラスタ表示の一例を示す。これらの例では、複数の撮像画像が４つのクラスタＣ０〜Ｃ４にクラスタ化されている。それぞれのクラスタＣ０〜Ｃ４は互いに類似する撮像画像を含み、それぞれを代表する１以上の代表画像が履歴マップ上に配置されている。

表示装置１５２の表示画面の大きさに基づいて、履歴マップ上に表示するクラスタのサイズ（粒度と呼ぶ）が決定される。表示処理部１３０は、大きいサイズの表示画面に対して、表示するクラスタの階層を下げる。それにより、類似度の大きい画像まで表示されて、表示されるクラスタの粒度が細かくなる。例えば図８Ａに示すように、それぞれのクラスタＣ０〜Ｃ４内に含まれる低い階層のクラスタに属する撮像画像まで表示される。表示処理部１３０は、小さいサイズの表示画面に対して、表示するクラスタの階層を上げる。それにより、類似度の大きい画像が非表示となり、類似度の小さい画像のみが表示されて、表示されるクラスタの粒度が粗くなる。例えば図８Ｂに示すように、それぞれのクラスタＣ０〜Ｃ４内に含まれる高い階層のクラスタに属する１つの撮像画像のみが表示される。

なお、図８Ａ又は図８Ｂのクラスタ表示された履歴マップ上で、いずれかのクラスタ、例えばクラスタＣ０が選択されると、表示処理部１３０は、そのクラスタのみを図５Ｆ等に示すように詳細表示することとしてもよい。それにより、ユーザは、履歴マップをクラスタ表示から詳細表示に切り替えて、顕微鏡１００の操作を続けることができる。

なお、本実施形態の顕微鏡１００では、撮像された複数の撮像画像とともにそれら撮像画像間の関係、すなわち操作をユーザが把握できるように履歴マップ上に表示することとしたが、これに併せて、顕微鏡１００において撮像画像の画像処理を行い、これによる画像処理の遷移を履歴マップ上に表示することとしてもよい。画像処理の一例として、顕微鏡１００を用いて組織を観察する場合にその組織内の特定の細胞の数を数える処理が挙げられる。

表示処理部１３０に含まれる生成部１３８は、操作部１６０がユーザから画像処理の操作の指示を取得すると、これに応じて、指定された対象画像を画像処理して特徴量を生成する。表示処理部１３０は、画像処理された対象画像を複数の撮像画像の一部として履歴マップ上に表示するとともに、その対象画像に対応付けて特徴量を示す情報を履歴マップ上に表示する。ここで、表示処理部１３０は、履歴マップ上に、画像処理された画像を処理される前の画像の近傍に配置し、それら２つの画像を結ぶように、ユーザの操作に伴う画像処理の種類を示す遷移表示画像を表示する。

なお、画像処理により特徴量を生成するのに適する画像と、ユーザに視認可能に提示するのに適する画像と、は異なることがある。その場合、設定部１９０は、例えば、特徴量を対応付ける対象画像に対して、観察位置及び倍率を固定し、フォーカス等、その他の観察条件の少なくとも一部を変更して処理用画像を撮像する。生成部１３８は、対象画像に代えて処理用画像を画像処理して特徴量を生成する。表示処理部１３０は、履歴マップ上に、対象画像と、これに対応付けて生成された特徴量を示す情報を表示する。

なお、複数のユーザ端末１５４を複数のユーザがそれぞれ使用して、１つの共通の顕微鏡１００を操作することとしてもよい。複数のユーザは、それぞれのユーザ端末１５４の画面上に複数の撮像画像が配置された履歴マップ内の異なる部分を独立に表示させ、顕微鏡１００を独立に操作する。操作部１６０は、複数のユーザ端末１５４のそれぞれから複数のユーザの操作の指示を取得する。操作部１６０は、複数のユーザ端末１５４のいずれかから操作の指示を取得すると、それに応じて指示を処理して顕微鏡１００の各部の状態設定の指示を設定部１９０に送信する。

なお、ユーザ端末１５４の画面上に試料のライブビューを表示して試料を観察しつつ、そのユーザ端末１５４を用いてその試料を支持するステージを駆動制御することとしてもよい。ここで、試料上の観察対象を的確な角度及びフォーカスで観察するために、試料を観察しながら、試料を支持するステージをチルト方向（θｘ方向及びθｙ方向）に駆動すること及びステージ又は鏡筒を光軸方向に駆動することがある。そこで、ユーザ端末１５４を用いてのステージのチルト制御及びフォーカス制御について説明する。

ユーザ端末１５４は、表示画面の傾きを測定するチルトセンサ、少なくとも表示画面の法線方向に対するその変位を測定する変位センサを有する。チルトセンサ及び変位センサとして、例えば、それぞれジャイロセンサ及び加速度センサを採用することができる。チルトセンサ及び変位センサの測定結果は、操作部１６０に送信される。また、ユーザ端末１５４を用いて傾きの中心を指定し、その情報を操作部１６０に送信することとしてもよい。操作部１６０は、チルトセンサ及び変位センサの測定結果からステージのチルト量及びフォーカス変更量を算出し、その結果を設定部１９０に送信して、ステージのチルト及びステージ又は鏡筒の光軸方向への駆動を指示する。設定部１９０は、その指示に応じてステージ又は鏡筒を制御して、ステージのチルト及びフォーカスを変更する。

なお、ユーザが表示画面上に表示される試料を観察しつつ、直感的にステージ及び鏡筒を駆動制御できるよう、ステージのＸ軸及びＹ軸方向をそれぞれ表示画面の横及び縦方向に一致するように（これに限らず既定の方向に一致するように）、光学系１１０を介して観察される試料のライブビューを表示することとする。

図９Ａは、ユーザ端末１５４を用いてのステージのチルト操作の方法を示す。ユーザ端末１５４の画面上には、顕微鏡１００により観察されている試料のライブビューが表示されている。ユーザは、一方の手指でユーザ端末１５４を支持しつつ、他方の手指で画面上の一点、すなわちチルト中心１５４ａをタッチする。それにより、ステージのチルト操作が指示されるとともに、傾きの中心が指定される。ユーザは、画面にタッチした状態（傾きの中心を指定した状態）で、ユーザ端末１５４を支持する一方の手指でそのユーザ端末１５４を例えば矢印方向に傾ける。それにより、試料を支持するステージは、指定された傾きの中心を中心に、チルト操作を指示（画面にタッチ）している間におけるユーザ端末１５４のチルトの方向及びその量に応じて、チルト駆動される。ユーザは、チルト操作を指示する手指を画面から離すことで、ステージのチルト操作を終了する。なお、ステージがチルト駆動された後（又はチルト駆動の間においても）、その状態における試料のライブビューが画面上に表示される。

図９Ｂは、ユーザ端末１５４を用いてのフォーカス操作の方法を示す。ユーザ端末１５４の画面上には、顕微鏡１００により観察されている試料のライブビューが表示されている。ユーザは、一方の手指でユーザ端末１５４を支持しつつ、画面左上の領域１５４ｂをタッチする。それにより、フォーカス変更の操作が指示される。ユーザは、画面にタッチした状態（フォーカス変更を指示した状態）で、ユーザ端末１５４を支持する一方の手指でそのユーザ端末１５４を矢印方向（画面の法線方向）に動かす。それにより、試料を支持するステージ又は鏡筒は、フォーカス変更を指示（画面の領域１５４ｂにタッチ）している間におけるユーザ端末１５４の変位量に応じて、光軸方向に駆動される。ユーザは、フォーカス変更を指示する手指を領域１５４ｂから離すことで、フォーカス変更の操作を終了する。なお、フォーカス変更の操作の後（又はその操作の間においても）、試料のライブビューが画面上に表示される。

なお、本実施形態では、観察装置の一例として顕微鏡（光学顕微鏡）を挙げたが、これに限らず、レーザ顕微鏡、電子顕微鏡、Ｘ線顕微鏡、超音波顕微鏡等の顕微鏡システムとしてもよい。また、マイクロスコープ、望遠鏡、双眼鏡等、対象物の観察に用いられる各種の観察装置としてもよい。

図１０は、本実施形態に係るコンピュータ１９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ１９００は、ホスト・コントローラ２０８２により相互に接続されるＣＰＵ２０００、ＲＡＭ２０２０、グラフィック・コントローラ２０７５、及び表示装置２０８０を有するＣＰＵ周辺部と、入出力コントローラ２０８４によりホスト・コントローラ２０８２に接続される通信インターフェイス２０３０、ハードディスクドライブ２０４０、及びＣＤ−ＲＯＭドライブ２０６０を有する入出力部と、入出力コントローラ２０８４に接続されるＲＯＭ２０１０、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０を有するレガシー入出力部とを備える。

ホスト・コントローラ２０８２は、ＲＡＭ２０２０と、高い転送レートでＲＡＭ２０２０をアクセスするＣＰＵ２０００及びグラフィック・コントローラ２０７５とを接続する。ＣＰＵ２０００は、ＲＯＭ２０１０及びＲＡＭ２０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ２０７５は、ＣＰＵ２０００等がＲＡＭ２０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置２０８０上に表示させる。これに代えて、グラフィック・コントローラ２０７５は、ＣＰＵ２０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ２０８４は、ホスト・コントローラ２０８２と、比較的高速な入出力装置である通信インターフェイス２０３０、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０を接続する。通信インターフェイス２０３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ２０４０は、コンピュータ１９００内のＣＰＵ２０００が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ２０６０は、ＣＤ−ＲＯＭ２０９５からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。

また、入出力コントローラ２０８４には、ＲＯＭ２０１０と、フレキシブルディスク・ドライブ２０５０、及び入出力チップ２０７０の比較的低速な入出力装置とが接続される。ＲＯＭ２０１０は、コンピュータ１９００が起動時に実行するブート・プログラム、及び／又は、コンピュータ１９００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ２０５０は、フレキシブルディスク２０９０からプログラム又はデータを読み取り、ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供する。入出力チップ２０７０は、フレキシブルディスク・ドライブ２０５０を入出力コントローラ２０８４へと接続すると共に、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ２０８４へと接続する。

ＲＡＭ２０２０を介してハードディスクドライブ２０４０に提供されるプログラムは、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ２０２０を介してコンピュータ１９００内のハードディスクドライブ２０４０にインストールされ、ＣＰＵ２０００において実行される。

コンピュータ１９００にインストールされ、コンピュータ１９００を顕微鏡１００の制御部１０４として機能させるプログラムは、設定モジュールと、操作モジュールと、表示処理モジュールと、記憶モジュールと、表示モジュールとを備える。これらのプログラム又はモジュールは、ＣＰＵ２０００等に働きかけて、コンピュータ１９００を、設定部１９０、操作部１６０、表示処理部１３０、記憶部１４０、及び表示部１５０としてそれぞれ機能させる。

これらのプログラムに記述された情報処理は、コンピュータ１９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である設定部１９０、操作部１６０、表示処理部１３０、記憶部１４０、及び表示部１５０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の顕微鏡１００の制御部１０４が構築される。

一例として、コンピュータ１９００と外部の装置等との間で通信を行う場合には、ＣＰＵ２０００は、ＲＡＭ２０２０上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス２０３０に対して通信処理を指示する。通信インターフェイス２０３０は、ＣＰＵ２０００の制御を受けて、ＲＡＭ２０２０、ハードディスクドライブ２０４０、フレキシブルディスク２０９０、又はＣＤ−ＲＯＭ２０９５等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス２０３０は、ＤＭＡ（ダイレクト・メモリ・アクセス）方式により記憶装置との間で送受信データを転送してもよく、これに代えて、ＣＰＵ２０００が転送元の記憶装置又は通信インターフェイス２０３０からデータを読み出し、転送先の通信インターフェイス２０３０又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。

また、ＣＰＵ２０００は、ハードディスクドライブ２０４０、ＣＤ−ＲＯＭドライブ２０６０（ＣＤ−ＲＯＭ２０９５）、フレキシブルディスク・ドライブ２０５０（フレキシブルディスク２０９０）等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をＤＭＡ転送等によりＲＡＭ２０２０へと読み込ませ、ＲＡＭ２０２０上のデータに対して各種の処理を行う。そして、ＣＰＵ２０００は、処理を終えたデータを、ＤＭＡ転送等により外部記憶装置へと書き戻す。このような処理において、ＲＡＭ２０２０は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはＲＡＭ２０２０および外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、ＣＰＵ２０００は、ＲＡＭ２０２０の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはＲＡＭ２０２０の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもＲＡＭ２０２０、メモリ、及び／又は記憶装置に含まれるものとする。

また、ＣＰＵ２０００は、ＲＡＭ２０２０から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、ＲＡＭ２０２０へと書き戻す。例えば、ＣＰＵ２０００は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすかどうかを判断し、条件が成立した場合（又は不成立であった場合）に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。

また、ＣＰＵ２０００は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第１属性の属性値に対し第２属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、ＣＰＵ２０００は、記憶装置に格納されている複数のエントリの中から第１属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第２属性の属性値を読み出すことにより、所定の条件を満たす第１属性に対応付けられた第２属性の属性値を得ることができる。

以上に示したプログラム又はモジュールは、外部の記録媒体に格納されてもよい。記録媒体としては、フレキシブルディスク２０９０、ＣＤ−ＲＯＭ２０９５の他に、ＤＶＤ又はＣＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワーク又はインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１９００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００…顕微鏡、１０２…本体部、１０４…制御部、１１０…光学系、１１５…照明系、１２０…撮像部、１３０…表示処理部、１３２…レイアウト部、１３４…クラスタリング部、１３６…統合処理部、１３８…生成部、１４０…記憶部、１５０…表示部、１５２…表示装置、１５４…ユーザ端末、１５４ａ…チルト中心、１５４ｂ…領域、１６０…操作部、１６２…入力装置、１７０…ステージ部、１９０…設定部、２００…撮像画像、２０２…撮像画像、２０４…撮像画像、２０６…撮像画像、２０８…撮像画像、２１０…撮像画像、２０１…遷移表示画像、２０３…遷移表示画像、２０５…遷移表示画像、２０７…遷移表示画像、２０９…遷移表示画像、２１１…遷移表示画像、３００…動作手順、１９００…コンピュータ、２０００…ＣＰＵ、２０１０…ＲＯＭ、２０２０…ＲＡＭ、２０３０…通信インターフェイス、２０４０…ハードディスクドライブ、２０５０…フレキシブルディスク・ドライブ、２０６０…ＣＤ−ＲＯＭドライブ、２０７０…入出力チップ、２０７５…グラフィック・コントローラ、２０８０…表示装置、２０８２…ホスト・コントローラ、２０８４…入出力コントローラ、２０９０…フレキシブルディスク、２０９５…ＣＤ−ＲＯＭ。

Claims (21)

1. ユーザの操作を取得する操作取得部と、
   前記ユーザの操作に応じた観察条件において対象を撮像する撮像部と、
   前記ユーザによる操作に伴って撮像された対象画像を表示装置に表示させる表示処理部と、
   を備え、
   前記表示処理部は、前記ユーザの操作に伴う観察条件の遷移の前後に撮像された複数の対象画像同士の間における当該観察条件の遷移の種類を示す遷移表示画像を前記表示装置に表示させる
   観察装置。
2. 表示された前記複数の対象画像のうち第１対象画像が選択されたことに応じて、当該観察装置に前記第１対象画像を撮像したときの観察条件である第１観察条件を当該観察装置に設定する設定部を更に備える請求項１に記載の観察装置。
3. 前記表示処理部は、前記第１観察条件に設定された状態で前記ユーザが以前とは異なる操作をしたことに応じて、以前の操作に伴って撮像された対象画像群と、新たな操作に伴って撮像された対象画像群とを前記第１対象画像から分岐させて表示させる請求項２に記載の観察装置。
4. 前記表示処理部は、対象画像同士の間で観察位置を変化させる操作が取得されたことに応じて、当該対象画像同士の配置を、観察位置の変化方向に基づいて決定する請求項２または３に記載の観察装置。
5. 前記表示処理部は、対象画像を拡大または縮小させる操作が取得されたことに応じて、拡大または縮小前後の対象画像同士の配置を、対象画像に対する拡大または縮小の中心位置に基づいて決定する請求項２から４のいずれか一項に記載の観察装置。
6. 前記複数の対象画像をクラスタリングするクラスタリング部を更に備え、
   前記表示処理部は、クラスタリングされた２以上の対象画像をクラスタとして表示させる
   請求項２から５のいずれか一項に記載の観察装置。
7. 前記クラスタリング部は、前記複数の対象画像を観察条件同士の類似度に基づいてクラスタリングする請求項６に記載の観察装置。
8. 前記クラスタリング部は、前記複数の対象画像を対象画像同士の類似度に更に基づいてクラスタリングする請求項７に記載の観察装置。
9. 前記クラスタリング部は、前記表示装置の画面の大きさに基づいてクラスタのサイズを決定する請求項６から８のいずれか一項に記載の観察装置。
10. 対象画像を画像処理して特徴量を生成する生成部を更に備え、
    前記表示処理部は、対象画像に対応付けて当該対象画像の特徴量を示す情報を表示させる
    請求項２から９のいずれか一項に記載の観察装置。
11. 前記撮像部は、特徴量を対応付ける対象画像に対して、少なくとも対象の観察位置および観察倍率を固定した状態で他の少なくとも一部の観察条件を変化させた処理用画像を更に撮像し、
    前記生成部は、対象画像に代えて前記処理用画像を画像処理して特徴量を生成する
    請求項１０に記載の観察装置。
12. 前記表示処理部は、前記ユーザの指定に応じて前記複数の対象画像のうち２以上の対象画像を対比可能に表示させる請求項２から１１のいずれか一項に記載の観察装置。
13. 前記操作取得部は、対象画像を画像変換することを指示する前記ユーザの操作を更に取得し、
    前記表示処理部は、前記複数の対象画像の少なくとも一部として、前記ユーザの操作に伴う画像変換前後の対象画像を表示させ、
    前記表示処理部は、前記ユーザの操作に伴う画像変換の種類を示す画像を前記遷移表示画像として前記表示装置に表示させる
    請求項２から１２のいずれか一項に記載の観察装置。
14. 前記複数の対象画像のうち一の対象画像から他の対象画像へと至る観察条件の複数回の遷移を統合してユーザにより一括指定可能とする統合処理部を更に備える請求項２から１３のいずれか一項に記載の観察装置。
15. 当該観察装置は、前記複数の対象画像を配置した表示領域内の異なる部分を独立に表示可能な複数の前記表示装置に接続され、
    前記操作取得部は、前記複数の表示装置のそれぞれから複数のユーザのそれぞれの操作を取得し、
    前記設定部は、一の前記表示装置のユーザから観察条件を遷移させる操作が取得されたことに応じて、遷移後の観察条件を当該観察装置に設定し、
    前記撮像部は、遷移後の観察条件において前記対象を撮像し、
    前記表示処理部は、遷移前後に撮像された対象画像と、遷移前後の間における観察条件の遷移を示す遷移表示画像とを表示させる
    請求項２から１４のいずれか一項に記載の観察装置。
16. 前記表示装置は傾きを検知可能であり、
    前記表示装置の傾きを示す傾き情報を受信する受信部と、
    前記傾き情報に基づいて、前記対象を保持するステージに対する光学系の相対角度を変更する傾き変更部と、
    を備える請求項１から１５のいずれか一項に記載の観察装置。
17. 前記受信部は、前記ステージに対する光学系の相対角度を変更することを前記表示装置に指示するユーザの変更操作を前記表示装置から更に受信し、
    前記傾き変更部は、前記表示装置において前記変更操作がされている間における前記傾き情報の変化に応じて、前記対象に対する光学系の相対角度を変更する
    請求項１６に記載の観察装置。
18. 前記受信部は、前記表示装置の画面上においてユーザが指定した回転中心を示す回転中心情報を更に受信し、
    前記傾き変更部は、前記回転中心情報により指定された回転中心に対応する前記対象の位置を中心として、前記ステージに対する光学系の相対角度を変更する
    請求項１６または１７に記載の観察装置。
19. 前記表示装置は、当該表示装置の移動を検知可能であり、
    前記受信部は、前記表示装置の移動を示す移動情報を受信し、
    前記移動情報に基づいて、前記対象に対する光学系の位置を移動させる移動部を更に備える請求項１６から１８のいずれか一項に記載の観察装置。
20. ユーザの操作を取得する操作取得段階と、
    前記ユーザの操作に応じた観察条件において対象を撮像する撮像段階と、
    前記ユーザによる操作に伴って撮像された対象画像を表示装置に表示させる表示処理段階と、
    を備え、
    前記表示処理段階は、前記ユーザの操作に伴う観察条件の遷移の前後に撮像された複数の対象画像同士の間における当該観察条件の遷移の種類を示す遷移表示画像を前記表示装置に表示させる
    観察方法。
21. コンピュータを請求項１から１９の観察装置として機能させるプログラム。