JP2007017930A - 顕微鏡装置 - Google Patents

顕微鏡装置 Download PDF

Info

Publication number
JP2007017930A
JP2007017930A JP2005328835A JP2005328835A JP2007017930A JP 2007017930 A JP2007017930 A JP 2007017930A JP 2005328835 A JP2005328835 A JP 2005328835A JP 2005328835 A JP2005328835 A JP 2005328835A JP 2007017930 A JP2007017930 A JP 2007017930A
Authority
JP
Japan
Prior art keywords
image
display
observation
microscopic
microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005328835A
Other languages
English (en)
Other versions
JP4878815B2 (ja
Inventor
Tetsuya Shirota
哲也 城田
Takashi Yoneyama
貴 米山
Yasuko Ishii
泰子 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005328835A priority Critical patent/JP4878815B2/ja
Priority to US11/545,416 priority patent/US7929738B2/en
Priority to EP07014992A priority patent/EP1852726A1/en
Priority to EP06021331A priority patent/EP1775618A3/en
Publication of JP2007017930A publication Critical patent/JP2007017930A/ja
Application granted granted Critical
Publication of JP4878815B2 publication Critical patent/JP4878815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Abstract

【課題】 観察体の顕微鏡画像が画像データの形式で提供されるいわゆるバーチャル顕微鏡システムにおいて、検鏡法の切換えがスムーズに行えるようにする。
【解決手段】 ホストシステム2は、検鏡法毎に提供される画像データファイルであって同一の観察体について同一の検鏡法の下で撮像された予め設定されている複数の解像度の各々の顕微鏡画像が1つのデータファイルに統合されている当該画像データファイルに基づき、当該ファイルに統合されている顕微鏡画像のうち指定された解像度であるものの部分画像をモニタ5で表示させる。その後、検鏡法の切り替えの指示に応じ、ホストシステム2は当該部分画像の表示を切り替え、当該指示に係る検鏡法で撮像された顕微鏡画像についての部分画像であって切り替え前のものに表わされていたものと同位置である観察体の部分を当該切り替え前のものと同一の解像度で表わしている部分画像を表示させる。
【選択図】 図1

Description

本発明は、顕微鏡の技術に関し、特に、観察体の顕微鏡画像の取得、及び取得された顕微鏡画像の表示の技術に関する。
顕微鏡を用いて観察体を観察する場合、一度に観察できる範囲(観察範囲)は主に対物レンズの倍率によって決定される。ここで、高倍率の対物レンズを使用するとその観察範囲は観察体のごく一部分に限られてくる。
例えば細胞や組織診といった病理診断においては、診断箇所の見落としを防止するために観察体の全体像を把握したいという要請がある。また、情報処理技術の発達により、このような病理診断においても画像の電子情報化が促進されており、ビデオカメラ等を介して取り込む顕微鏡観察像についても旧来の銀塩フィルム並の高い解像度を得たいという要請がある。
これらの要望を実現するために、例えば、特許文献1や特許文献2には、予め観察体の画像を小区画に分割し、当該小区画に対応する観察体の部分を高解像度の対物レンズで撮影し、得られた小区画毎の顕微鏡画像を繋ぎ合わせることにより、観察体の画像を再構築するシステムが開示されている。このような、いわゆるバーチャル顕微鏡システムを用いれば、実際に観察体が存在しない環境でも観察体の顕微鏡観察を行うことができ、また、画像処理技術の利用により、観察体を実体観察する行為と同様の、以下のような観察を行うことができる。
まず、低倍観察時には、例えば繋ぎ合わせた顕微鏡画像を縮小表示することで広画角の画像を提供する一方で、高倍観察時には、小区画毎に撮影された部分画像を表示することで高い解像度を提供する。
また、観察者によるX−Y方向操作(光軸に対して垂直な面上での水平方向の移動操作)に対応させて表示中の顕微鏡画像の表示範囲を移動させる。
このようなシステムでは、時間の制約にとらわれることなく観察体の診断が可能でありまた、顕微鏡画像を表している画像データを各人で共有しておくことにより、同時に複数の診断者が例え異なる場所に在っても同一観察体の別々の場所を観察することができる。
また、観察体の実体を使用してX−Y方向操作をしながら観察を行う際には、観察体の傾きなどにより生じるピントズレを補正しなければならないが、上述したようなシステムでは、常にピントがあった状態で観察を続けることができるため、観察効率が高まり、ピントずれによる観察漏れも減り、それだけ診断の信頼性も高くなる。
また、例えば病理診断者への教育の際において、従来では同一の観察体を複数作成して観察実習等の教育を行う必要があったのに対し、上述したようなシステムによれば、画像データを共有化できる利点を活かし、同一の観察体画像を用いた教育が可能となる。
更に、スライドガラスに封入した実体の観察体は、色褪せを生じさせてしまったり破損させてしまったりした場合には同じ状態のものを復元することは極めて困難であるが、画像データはバックアップが可能であるので、上述したようなシステムでは、同じ状態の観察体をいつでもどこででも観察することができる。
以上のように、バーチャル顕微鏡システムは、観察体の実体を用いる顕微鏡観察に対して、効率的であって高精度であり、高い信頼性を有している。
特開平9−281405号公報 特開平10−333056号公報
ところで、観察体の実体観察を行う場合には、詳細な分析及び解析のため、例えば蛍光観察における励起波長を切り替えての蛍光観察のように、観察体の同一の部位を複数の検鏡法で観察することが求められる場合がある。この要請に応えるべく、実際の顕微鏡装置の多くには検鏡方法を迅速に切り替える手段を有している。
しかしながら、従来のバーチャル顕微鏡システムは、単一の検鏡方法に対する画像データの蓄積しか想定していないため、同一の観察体についての画像データにはどのような検鏡法で撮影したものが揃っているのかを把握することも容易なことではなかった。また、観察体の同一部分に対しての、例えば明視野と暗視野との観察方法の切り替えや、蛍光観察における異なる波長での観察などといった、検鏡法の切り替えをスムーズに行うことができていなかった。そのため、観察者の作業負担の増大を招いていた。
本発明は、本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、観察体の顕微鏡画像が画像データの形式で提供されるいわゆるバーチャル顕微鏡システムにおいて、検鏡法の切り替えがスムーズに行えるようにすることである。
本発明の態様のひとつである顕微鏡装置は、所定の検鏡法の下で観察体の顕微鏡画像を撮像する撮像手段と、当該撮像手段を制御して、予め設定されている複数の解像度の各々で同一の前記観察体についての顕微鏡画像を撮像させる撮像制御手段と、当該検鏡法を切り替える検鏡法切り替え手段と、を有し、当該撮像制御手段は、予め制御されている第一の解像度で前記観察体の撮像を当該撮像手段に行わせる第一撮像制御手段と、当該第一撮像制御手段による制御の下で当該撮像手段により撮像された第一の顕微鏡画像を分割する複数の小区画を定義する定義手段と、予め設定されている第二の解像度であって当該第一の解像度よりも高い解像度である当該第二の解像度で、当該観察体における当該小区画に対応する部分の撮像を当該撮像手段に行わせる第二撮像制御手段と、当該第二撮像制御手段による制御の下で当該撮像手段により撮像された当該小区画毎の顕微鏡画像を結合して、当該観察体についての当該第二の解像度である第二の顕微鏡画像を生成する画像結合手段と、観察体毎に複数の検鏡法によって撮像されて当該結合された顕微鏡画像を蓄積する画像蓄積手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。
なお、上述した本発明に係る顕微鏡装置において、当該画像蓄積手段に蓄積されている当該検鏡法の下で撮像された顕微鏡画像を表示する表示手段と、当該画像蓄積手段に蓄積されている当該検鏡法の下で撮像された顕微鏡画像のうち指定された解像度であるものの部分画像である第一部分画像を当該表示手段に表示させる第一表示制御手段と、当該検鏡法の切り替えの指示を取得する検鏡法切り替え指示取得手段と、当該検鏡法の切り替えの指示の取得に応じて当該表示手段による当該第一部分画像の表示を切り替えて、当該指示に係る検鏡法で撮像された顕微鏡画像についての部分画像であって、当該第一部分画像に表わされていたものと同位置である当該観察体の部分を当該第一部分画像と同一の解像度で表わしている当該切り替え後の検鏡法で撮像された当該部分画像である第二部分画像を当該表示手段に表示させる第二表示制御手段と、を更に有するように構成してもよい。
なお、このとき、合成表示の指示を取得する合成表示指示取得手段と、当該合成表示の指示の取得に応じ、当該第一部分画像と当該第二部分画像とを重畳合成した画像である合成画像を当該表示手段に表示させる第三表示制御手段と、を更に有するように構成してもよい。
また、このとき、当該表示手段に表示されている画像の回転の指示を取得する回転指示取得手段と、当該回転の指示に応じ、当該表示手段に表示されている画像を回転させて当該表示手段に表示させる第四表示制御手段と、を更に有し、当該第二表示制御手段が、当該切り替えの指示の取得時において当該表示手段によって表示されていた当該第一部分画像が回転した状態で表示されていた場合には、当該第二部分画像に対して当該第一部分画像と同一の回転をさせて当該表示手段に表示させる、ように構成してもよい。
また、本発明の別の態様のひとつである顕微鏡装置は、所定の検鏡法の下で観察体の顕微鏡画像を撮像する撮像手段と、第一の検鏡法で撮像された画像と第二の検鏡法で撮像された画像とを蓄積する画像蓄積手段と、当該画像蓄積手段に蓄積されている当該検鏡法の下で撮像された画像を表示する表示手段と、当該画像蓄積手段によって蓄積されている画像のうち当該第一の検鏡法で撮像されたものであって指定された解像度である画像についての部分画像である第一部分画像を当該表示手段に表示させる第一表示制御手段と、当該第一の検鏡法と当該第二の検鏡法との切り替えの指示を取得する検鏡法切り替え指示取得手段と、当該検鏡法の切り替えの指示に応じて当該表示手段による当該第一部分画像の表示を切り替えて、当該指示に係る検鏡法で撮像された画像についての部分画像であって当該第一部分画像に表されていたものと同位置である当該観察体の部分を当該第一部分画像と同一の解像度で表しており当該切り替え後の検鏡法で撮像された当該部分画像である第二部分画像を当該表示手段に表示させる第二表示制御手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。
なお、上述した本発明に係る顕微鏡装置において、合成表示の指示を取得する合成表示指示取得手段と、当該合成表示の指示の取得に応じ、当該第一部分画像と当該第二部分画像とを重畳合成した画像である合成画像を当該表示手段に表示させる第三表示制御手段と、を更に有するように構成してもよい。
また、このとき、当該表示手段に表示されている画像の回転の指示を取得する回転指示取得手段と、当該回転の指示に応じ、当該表示手段に表示されている画像を回転させて当該表示手段に表示させる第四表示制御手段と、を更に有し、当該第二表示制御手段は、当該切り替えの指示の取得時において当該表示手段によって表示されていた当該第一部分画像が回転した状態で表示されていた場合には、当該第二部分画像に対して当該第一部分画像と同一の回転をさせて当該表示手段に表示させる、ように構成してもよい。
また、本発明の他の態様のひとつである顕微鏡システムは、検鏡法を切り換える切換手段と、前記切換手段により切り換えられた検鏡法の下で観察体の観察を行う顕微鏡装置と、前記観察体を複数の区画に分割する分割手段と、前記切換手段により切り換えられた検鏡法の下で前記分割手段により分割された区画における前記観察体の部分を撮像する撮像手段と、同一の検鏡法の下での前記撮像手段による撮像により得られた隣り合う区画における前記観察体の部分の画像を繋ぎ合わせる画像結合手段と、前記画像結合手段により繋ぎ合わされた画像を表示する画像表示手段と、を有し、前記撮像手段は、前記分割手段により分割された区画における前記観察体の部分毎に、少なくとも、前記切換手段により切り換えられた第1の検鏡法の下での撮像と前記切換手段により切り換えられた第2の検鏡法の下での撮像と、を繰り返す、ことを特徴とする。
また、本発明の他の態様のひとつである顕微鏡システムは、検鏡法を切り換える切換手段と、前記切換手段により切り換えられた検鏡法の下で観察体の観察を行う顕微鏡装置と、前記観察体を複数の区画に分割する分割手段と、前記切換手段により切り換えられた検鏡法の下で、前記観察体の全体、或いは、前記分割手段により分割された区画における前記観察体の部分を撮像する撮像手段と、同一の検鏡法の下での前記撮像手段による撮像により得られた隣り合う区画における前記観察体の部分の画像を繋ぎ合わせる画像結合手段と、撮像時の検鏡法が異なる複数の画像、或いは、検鏡法が異なる複数の前記画像結合手段により繋ぎ合わされた画像を重畳する画像重畳手段と、前記画像重畳手段により重畳された画像を表示する画像表示手段と、前記画像表示手段により表示された前記画像重畳手段により重畳された画像における特定の検鏡法による画像に対する表示条件を入力する表示条件入力手段と、前記表示条件入力手段により入力された表示条件に従って前記特定の検鏡法による画像に対し画像処理を行う画像処理手段と、を有し、前記表示条件入力手段により前記表示条件が入力されたときに、前記画像表示手段により表示さた前記画像重畳手段により重畳された画像における前記特定の検鏡法による画像が、前記画像処理手段により画像処理が行われた画像へ変更される、ことを特徴とする。
本発明は、以上のように構成することにより、観察体の顕微鏡画像が画像データの形式で提供されるいわゆるバーチャル顕微鏡システムにおいて、検鏡法の切換えがスムーズに行えるようになるという効果を奏する。
以下、本発明の実施の形態を図面に基づいて説明する。
図1は本発明を実施する顕微鏡システムの構成の第一の例を示している。
顕微鏡装置1には、透過観察用光学系として、透過照明用光源6と、透過照明用光源6の照明光を集光するコレクタレンズ7と、透過用フィルタユニット8と、透過視野絞り9と、透過開口絞り10と、コンデンサ光学素子ユニット11と、トップレンズユニット12とが備えられている。また、落射観察光学系として、落射照明用光源13と、コレクタレンズ14と、落射用フィルタユニット15と、落射シャッタ16と、落射視野絞り17と、落射開口絞り18とが備えられている。
また、これらの透過観察用光学系の光路と落射観察用光学系の光路とが重なる観察光路上には、観察体19が載置される、上下左右各方向に移動可能な電動ステージ20が備えている。この電動ステージ20の移動の制御はステージX−Y駆動制御部21とステージZ駆動制御部22とによって行われる。なお、電動ステージ20は原点センサによる原点検出機能(不図示)を有しており、電動ステージ20に載置した観察体19の各部に対して座標を設定することができる。
また、観察光路上には、複数装着された対物レンズ23a、23b、…(以下、必要に応じて「対物レンズ23」と総称する)から観察に使用するものを回転動作により選択するレボルバ24と、検鏡法を切り替えるキューブユニット25と、観察光路を接眼レンズ26側とビデオカメラ3側とに分岐するビームスプリッタ27とが備えられている。更に、微分干渉観察用のポラライザー28、DIC(Differential Interference Contrast)プリズム29、及びアナライザー30は観察光路に挿入可能となっている。なお、これらの各ユニットは電動化されており、その動作は後述する顕微鏡コントローラ31によって制御される。
ホストシステム2に接続された顕微鏡コントローラ31は、顕微鏡装置1全体の動作を制御する機能を有するものであり、ホストシステム2からの制御信号に応じ、検鏡法の変更、透過照明用光源6及び落射照明用光源13の調光を行うと共に、現在の顕微鏡装置1による現在の検鏡状態をホストシステム2へ送出する機能を有している。また、顕微鏡コントローラ31はステージX−Y駆動制御部21及びステージZ駆動制御部22にも接続されており、電動ステージ20の制御もホストシステム2で行うことができる。
ビデオカメラ3によって撮像された観察体19の顕微鏡画像は、ビデオボード32を介してホストシステム2に取り込まれる。ホストシステム2は、ビデオカメラ3に対して、自動ゲイン制御のON/OFF、ゲイン設定、自動露出制御のON/OFF、及び露光時間の設定を、カメラコントローラ33を介して行うことができる。また、ホストシステム2は、ビデオカメラ3から送られてきた顕微鏡画像を、画像データファイルとしてデータ記録部4に保存することができる。データ記録部4に記録された画像データはホストシステム2によって読み出され、当該画像データで表わされている顕微鏡画像を、表示部であるモニタ5で表示させることができる。
更に、ホストシステム2は、ビデオカメラ3によって撮像された画像のコントラストに基づいて合焦動作を行う、いわゆるビデオAF機能も提供する。
なお、ホストシステム2は、制御プログラムの実行によって顕微鏡システム全体の動作制御を司るCPU(中央演算装置)、このCPUが必要に応じてワークメモリとして使用するメインメモリ、マウスやキーボードなどといったユーザからの各種の指示を取得するための入力部、この顕微鏡システムの各構成要素との間で各種データの授受を管理するインタフェースユニット、及び各種のプログラムやデータを記憶しておく例えばハードディスク装置などの補助記憶装置を有している、ごく標準的な構成のコンピュータである。
以下、この顕微鏡システムの動作について説明する。
まず、図2A及び図2Bについて説明する。これらの図は、ホストシステム2によって行われる顕微鏡画像データ取得処理の処理内容をフローチャートで示したものである。この処理は、図1に示した顕微鏡システムで観察体19についての顕微鏡画像データの取得を行うための処理であり、ホストシステム2のCPUが所定の制御プログラムを実行することによって実現され、開始される。
まず、図2AのS101において、観察体19の観察における検鏡法の指示をユーザから取得する処理が行われる。
S102では、S101の処理によって取得された検鏡法のうち、顕微鏡画像の撮像を未だ行っていないものが残されているか否かを判定する処理が行われる。ここで、残されていると判定されたとき(判定結果がYesのとき)にはS103に処理を進める。一方、取得された全ての検鏡法で顕微鏡画像の撮像を済ませたと判定されたとき(判定結果がNoのとき)には、この顕微鏡画像データ取得処理を終了する。
S103では、顕微鏡コントローラ31へ指示を与え、顕微鏡装置1の設定を、未だ撮像を行っていない検鏡法での顕微鏡画像の撮像を行うための設定へと変更させる処理が行われる。顕微鏡コントローラ31は、この指示に応じ、顕微鏡装置1の各構成要素の動作制御を行って当該検鏡法での撮像を行うための状態とする。また、このとき、電動ステージ20の原点センサとそのイニシャライズ動作により観察体19の座標系の設定を行う。
S104では、顕微鏡コントローラ31へ指示を与え、レボルバ24を回転させて低倍の対物レンズ23aを選択させる処理が行われ、続くS105では、このときにビデオカメラ3で撮像されている観察体19の顕微鏡画像のコントラストに基づいた合焦動作のための制御処理が行われる。
そして、S106において、カメラコントローラ33へ指示を与え、観察体19の全体像をビデオカメラ3で撮像させる処理が行われ、続くS107において、当該撮像によって得られた低解像度の顕微鏡画像をビデオカメラ3からホストシステム2へビデオボード32を介して取り込む処理が行われる。
S108では、この顕微鏡画像データ取得処理が開始された後に、低倍の対物レンズ23aを用いて撮像された低解像度の顕微鏡画像に対し、高倍の対物レンズ23bを用いた観察体19の撮像時における視野(画角)領域に相当する小区画(メッシュ)を定義する処理が既になされていたか否かを判定する処理が行われる。ここで、この定義の処理が既になされていたと判定されたとき(判定結果がYesのとき)にはS111(図2B)に処理を進める。
一方、このS108の判定処理において、この定義の処理が未だなされていないと判定されたとき(判定結果がNoのとき)にはS109に処理を進め、取り込まれた低解像度の顕微鏡画像に対し、このメッシュを定義する処理が行われる。なお、ここでは、l×n(l行n列)の矩形のメッシュを定義するものとする。
続くS110では、定義されたメッシュによって分割された低解像度の顕微鏡画像の各部分領域に観察体19の部分の画像が含まれているかを判別して、高倍の対物レンズ23bを用いた撮像を行う対象のメッシュを決定する処理が行われる。この判別は、例えば、隣接画素の差分を算出することによって得られる観察体19の輪郭像(コントラスト像)の有無や、各メッシュの画像の色彩などに基づいて行うことができる。なお、このようにして決定された高解像度撮像対象のメッシュには番号が付与される。
処理は図2Bへと進み、S111では、顕微鏡コントローラ31へ指示を与え、レボルバ24を回転させて高倍の対物レンズ23bを選択させる処理が行われる。
S112では、S110の処理によって決定された高解像度撮像対象のメッシュのうち、現在の検鏡法での高解像度撮像を未だ行っていないものが残されているか否かを判定する処理が行われ、残されていると判定されたとき(判定結果がYesのとき)にはS113に処理を進める。一方、撮像対象のメッシュの全てについて現在の検鏡法での高解像度撮像を済ませたと判定されたとき(判定結果がNoのとき)にはS117に処理を進める。
S113では、顕微鏡コントローラ31へ指示を与え、低解像度の顕微鏡画像における未撮像であるメッシュの領域に表わされている観察体19の部分が対物レンズ23bの直下に位置するように電動ステージ20を移動させる処理が行われる。
S114では、このときにビデオカメラ3で撮像されている観察体19の顕微鏡画像のコントラストに基づいた合焦動作のための制御処理が行われ、続く、S115において、カメラコントローラ33へ指示を与え、観察体19の部分の画像をビデオカメラ3で撮像させる処理が行われる。そして、S116において、当該撮像によって得られた観察体19の部分の高解像度顕微鏡画像をビデオカメラ3からホストシステム2へビデオボード32を介して取り込む処理が行われ、その後はS112へと処理を戻して上述した処理が繰り返される。
ところで、S112の判定処理において、撮像対象のメッシュの全てについて現在の検鏡法での高解像度撮像を済ませたと判定されたときには、S117において、これらのメッシュ毎の高解像度顕微鏡画像を結合して、観察体19の全体が表わされている高解像度の顕微鏡画像を作成する処理が行われる。
S118では、S107(図2A)の処理によってホストシステム2へ取り込まれている観察体19についての低解像度の顕微鏡画像と、S117の処理によって得られた観察体19についての高解像度の顕微鏡画像とを1つの画像データファイルとして統合する処理が行われる。なお、このときに1つの画像データファイルに統合される各顕微鏡画像は、同一の検鏡法の下で撮像されたものである。
S119では、前ステップの処理によって得られた画像データファイルをデータ記録部4で記録する処理が行われ、その後はS102(図2A)へと処理を戻して上述した処理が繰り返される。
以上までの処理が顕微鏡画像データ取得処理である。
ここで、ユーザが、観察体19の観察における検鏡法として、明視野観察、微分干渉観察、及び蛍光観察を検鏡法として指示した場合を例にして、この顕微鏡画像データ取得処理による顕微鏡画像の取得の様子を説明する。
まず、S103からS107の処理により、明視野観察による観察体19の低解像度顕微鏡画像が得られ、その後、S108からS110にかけての処理により、その明視野観察の下での低解像度顕微鏡画像に対して高解像度での顕微鏡画像の撮像の対象とするメッシュが決定される。そして、S112からS116にかけての処理により、明視野観察による観察体19のメッシュ毎の高解像度顕微鏡画像が得られ、S117の処理によって各メッシュが結合されて明視野観察による観察体19の高解像度顕微鏡画像が作成される。すると、S118の処理によって、明視野観察による観察体19の低解像度顕微鏡画像と高解像度顕微鏡画像とが統合されて1つの画像データファイルが作成される。
この後、S102からS107の処理によって、今度は、微分干渉観察による観察体19の低解像度顕微鏡画像が得られる。このときには、明視野観察による観察体19の低解像度顕微鏡画像に対してメッシュの定義が既にされているので、S108の判定処理の結果はNoとなり、続くS112からS116にかけての処理により、明視野観察による低解像度顕微鏡画像に対するメッシュの定義に従い、微分干渉観察による観察体19のメッシュ毎の高解像度顕微鏡画像が得られる。この後、S117の処理によって各メッシュが結合されて微分干渉観察による観察体19の高解像度顕微鏡画像が作成される。すると、S118の処理によって、微分干渉観察による観察体19の低解像度顕微鏡画像と高解像度顕微鏡画像とが統合されて1つの画像データファイルが作成される。
その後、S102からS107の処理によって、今度は、蛍光観察による観察体19の低解像度顕微鏡画像が得られる。このときには、明視野観察による観察体19の低解像度顕微鏡画像に対してメッシュの定義が既にされているので、S108の判定処理の結果はNoとなり、続くS112からS116にかけての処理により、明視野観察による低解像度顕微鏡画像に対するメッシュの定義に従い、蛍光観察による観察体19のメッシュ毎の高解像度顕微鏡画像が得られる。この後、S117の処理によって各メッシュが結合されて蛍光観察による観察体19の高解像度顕微鏡画像が作成される。すると、S118の処理によって、蛍光観察による観察体19の低解像度顕微鏡画像と高解像度顕微鏡画像とが統合されて1つの画像データファイルが作成される。
以上のようにして得られた検鏡法毎の画像データファイルに統合されている高解像度顕微鏡画像の例を図3、図4、及び図5に示す。これらの図を説明すると、図3に示されているレイヤー1の画像例は、明視野観察により撮像された観察体19の高解像度顕微鏡画像であり、図4に示されているレイヤー2の画像例は、微分干渉観察により撮像された観察体19の高解像度顕微鏡画像であり、図5に示されているレイヤー3の画像例は、蛍光観察により撮像された観察体19の高解像度顕微鏡画像である。また、これらの各レイヤーの画像例の関係を図6に示す。
このように、上述した顕微鏡画像データ取得処理をホストシステム2が行うことにより、図6に示すように、同一の観察体19について、明視野観察、微分干渉観察、そして蛍光観察といった、異なる検鏡法による顕微鏡画像が取得される。しかも、図3におけるメッシュa(2,2,1)、図4におけるメッシュb(2,2,2)、図5におけるメッシュc(2,2,3)の各座標を比較すると分かるように、これらの顕微鏡画像に表わされている観察体19は、各画像において同一の座標に位置しているのである。
次に、図7A及び図7Bについて説明する。これらの図は、ホストシステム2によって行われる顕微鏡画像再生表示処理の処理内容をフローチャートで示したものである。この処理は、前述した顕微鏡画像データ取得処理の実行によってデータ記録部4に記録された画像データファイルで表わされている顕微鏡画像のバーチャル観察を行うべく、モニタ5で再生表示させるための処理であり、ホストシステム2のCPUが所定の制御プログラムを実行することによって実現され、開始される。
なお、この処理において、ユーザの指示や操作は、ホストシステム2の有する不図示の入力部に対して行われるものとする。
まず、図7AのS151において、観察体19のバーチャル観察における検鏡法の指示をユーザから取得する処理が行われる。
S152では、データ記録部4に記録されている画像データファイルのうち、S151の処理によって取得された検鏡法によって撮像された顕微鏡画像が統合されているものを読み出し、読み出された画像データファイルに統合されている顕微鏡画像のうち解像度が最低のもの(最低倍率での観察体19の撮像により得られたもの)をマクロ画像としてモニタ5に表示させる処理が行われる。
S153では、バーチャル観察におけるユーザによる対物レンズ23の選択内容を取得する処理が行われる。
S154では、S152の処理によって読み出された画像データファイルに統合されている顕微鏡画像のうち、S153の処理によって取得された選択内容に係る対物レンズ23に対応する解像度のもの(選択された対物レンズ23での観察体19の撮像により得られたもの)を取得してホストシステム2の所定の作業記憶領域に一時的に保存する処理が行われる。
S155では、S154の処理によって取得された顕微鏡画像のうち、S153の処理によって取得された選択内容に係る対物レンズ23の倍率に対応する範囲の画像を、前述したマクロ画像の部分の画像を拡大した画像として、モニタ5に当該マクロ画像に並べて表示させる処理が行われる。ユーザはこのときにモニタ5で表示されている顕微鏡画像を見てバーチャル観察を行う。
S156では、観察体19のバーチャル観察における検鏡法の切り替えの指示を取得したか否かを判定する処理が行われ、当該切り替えの指示を取得したと判定したとき(判定結果がYesのとき)にはS157に処理を進め、当該切り替えの指示を取得していないと判定したとき(判定結果がNoのとき)にはS161に処理を進める。
S157では、モニタ5で現在表示中の顕微鏡画像(拡大画像)の解像度と表示位置(表示中の拡大画像のマクロ画像における拡大位置)とを取得する処理が行われる。
S158では、データ記録部4に記録されている画像データファイルのうち、S156の処理によって取得された指示に係る切り替え後の検鏡法によって撮像された顕微鏡画像が統合されているものを読み出し、読み出された画像データファイルに統合されている顕微鏡画像のうち解像度が最低のものを新たなマクロ画像としてモニタ5に切り替え表示させる処理が行われる。
S159では、S158の処理によって読み出された画像データファイルに統合されている顕微鏡画像のうち、S157の処理によって取得された解像度のもの、すなわちモニタ5で現在表示中の顕微鏡画像(拡大画像)と同一の解像度のものを取得してホストシステム2の所定の作業記憶領域に一時的に保存する処理が行われる。
処理は図7Bに進み、S160では、S159の処理によって取得された顕微鏡画像のうち、バーチャル観察において現在選択されている対物レンズ23の倍率に対応する範囲の部分画像であって、S157の処理によって取得された表示位置と同一の位置のものを、モニタ5にマクロ画像に並べて切り替え表示させる処理が行われ、その後はS156(図7A)へと処理を戻して上述した処理が繰り返される。
以上のS157からS160にかけての処理により、モニタ5による画像の表示が切り替えられて、切り替え指示に係る検鏡法で撮像された顕微鏡画像についての部分画像であって、切り替え前の表示部分画像に表わされていたものと同位置である観察体19の部分を当該切り替え前の表示部分画像と同一の解像度で表わしている当該部分画像が、表示されるようになる。
ところで、図7AのS156の判定処理において、検鏡法の切り替えの指示を取得していないと判定されたときには、S161において、ユーザによるX−Y位置の移動操作、すなわち、モニタ5に表示されている拡大画像における観察体19の表示部位の移動のための操作をホストシステム2で検出したか否かを判定する処理が行われる。ここで、当該移動操作を検出したと判定したとき(判定結果がYesのとき)にはS162に処理を進め、当該移動操作を検出していないと判定したとき(判定結果がNoのとき)にはS163に処理を進める。
S162では、前述したS154、S159、若しくは後述するS164の処理によってホストシステム2の所定の作業記憶領域に一時的に保存されている顕微鏡画像が参照され、当該顕微鏡画像においてモニタ5に拡大画像として表示している表示位置を、検出された移動操作に応じた方向・量だけ移動させてモニタ5に切り替え表示させる処理が行われ、その後はS156へと処理を戻して上述した処理が繰り返される。
このように、S162の処理において、作業記憶領域に一時的に保存されている(キャッシュされている)顕微鏡画像を利用した表示を行うようにすることで、データ記録部4から画像データファイルを逐次読み出すようにする場合に比べ、画像表示のスムーズな切り替えが可能となる。なお、顕微鏡画像の全体を作業記憶領域に一時的に保存する代わりに、顕微鏡画像のうちモニタ5で現在表示中の部分画像の近傍の部分画像のみを作業記憶領域に保存しておくようにし、S162の処理においては、ユーザによるX−Y位置の移動操作に応じてその近傍の部分画像を表示すると共に、データ記録部4から画像データファイルを改めて読み出し、新たに表示させた部分画像の近傍の部分画像を改めて作業記憶領域に保存するようにしてもよい。
一方、S161の判定処理において、X−Y位置の移動操作を検出していないと判定されたときは、S163において、観察体19のバーチャル観察における対物レンズ23の選択内容の切り替えの指示を取得したか否かを判定する処理が行われ、当該切り替えの指示を取得したと判定したとき(判定結果がYesのとき)にはS164に処理を進める。一方、当該切り替えの指示を取得していないと判定したとき(判定結果がNoのとき)にはS156へと処理を戻し、上述した処理が繰り返される。
S164では、前述したS152若しくはS158の処理によって読み出された画像データファイルに統合されている顕微鏡画像のうち、S163の処理によって取得されたと判定された選択内容に係る対物レンズ23に対応する解像度のものを取得してホストシステム2の所定の作業記憶領域に一時的に保存する処理が行われる。
S165では、S164の処理によって取得された顕微鏡画像のうち、S163の処理によって取得された選択内容に係る対物レンズ23の倍率に対応する範囲の画像を、モニタ5に当該マクロ画像に並べて切り替え表示させる処理が行われ、その後はS156へと処理を戻し、上述した処理が繰り返される。
以上までの処理が顕微鏡画像再生表示処理である。
ここで、明視野観察、微分干渉観察、及び蛍光観察の各々の検鏡法により撮像された顕微鏡画像が各々統合されている画像データファイルがデータ記録部4に記録されている場合を例にして、この顕微鏡画像再生表示処理による顕微鏡画像の表示の様子を説明する。
例えば、明視野観察によるバーチャル観察をユーザが指示した場合、S151からS155の処理により、モニタ5には、図8の左側に例示するような、観察体19のマクロ画像と、同図の右側に例示するような、当該マクロ画像の一部分を拡大したかのような拡大画像とが表示される。
ここで、ユーザがX−Y位置の移動操作(特にここではX方向の移動操作)を行うと、S161及びS162の処理により、モニタ5における拡大画像の表示は、図9に例示するように、観察体19における図8の表示からX方向に移動した部分の表示に切り替わる。
また、このときに、ユーザが対物レンズ23の選択をより高倍のものへと切り替える指示を行うと、S163からS165にかけての処理により、モニタ5における拡大画像の表示は、図10に例示するように、観察体19における図9の表示からさらに拡大された画像の表示へと切り替わる。
そして、このときに、ユーザが検鏡法の指示を明視野観察から微分干渉観察へと切り替えると、S156からS160にかけての処理により、モニタ5における画像の表示は、図11Aに示すように、明視野観察により撮像されたものから微分干渉観察により撮像された顕微鏡画像へと切り替わる。そして、この表示の切り替えの前後の顕微鏡画像においては、解像度(表示倍率)が同一であり、且つ観察体19の同位置の部分の拡大画像が表示されることとなる。
更に、このときに、ユーザが検鏡法の指示を微分干渉観察から蛍光観察へと切り替えると、S156からS160にかけての処理により、モニタ5における画像の表示は、図11Bに示すように、微分干渉観察により撮像されたものから蛍光観察により撮像された顕微鏡画像へと切り替わる。そして、この表示の切り替えの前後の顕微鏡画像においては、解像度(表示倍率)が同一であり、且つ観察体19の同位置の部分の拡大画像が表示されていることとなる。
このように、上述した顕微鏡画像再生表示処理においては、検鏡法を切り替えると観察体19についての同一倍率且つ同一位置の顕微鏡画像が直ちに表示されるので、観察体を実際に顕微鏡で観察した場合と同様の操作性により、観察体の位置情報を忠実に再現できる高信頼度のバーチャル観察が可能となる。
以上のように、本実施例に係る顕微鏡システムでは、観察体を撮像して得られた顕微鏡画像を繋ぎ合わせることで観察体の画像を再構築するいわゆるバーチャル顕微鏡システムにおいて、観察体を実際に顕微鏡で観察した場合と同様の操作性により検鏡法を切り替えることができる。
なお、本実施例においては、明視野観察、微分干渉観察、及び蛍光観察の3つの検鏡法を例示し、これらの切り替えを行うことを説明したが、検鏡法の切換えという観点ではもちろん3種類の切り替えにのみ本発明を限定させるものではなく、いくつもの検鏡法の切換えを可能としてもよい。
また、各検鏡法間の座標の位置合わせについて、本実施例では電動ステージの20の原点センサとそのイニシャライズ動作により実現していたが、この代わりに、例えば、観察体用のプレートに刻印したマーキングの検出により各検鏡法間の座標の位置合わせを実現するものあってもよい。また、異なる検鏡法の間での画像の座標を合わせるという観点では、周知の画像認識によるマッチング等の方法を用いてもよい。
また、顕微鏡画像データ取得処理においては、1つの検鏡法についての高解像度顕微鏡画像の撮像を全てのメッシュについて完了してから他の検鏡法についての高解像度顕微鏡画像の撮像を行うようにしていたが、その代わりに、指定されている各検鏡法での高解像度顕微鏡画像の撮像を1つのメッシュについて全て行い、この撮像を各メッシュについて繰り返し行うことで高解像度顕微鏡画像を得るようにしてもよい。
図12は本発明を実施する顕微鏡システムの構成の第二の例を示している。なお、同図において図1に示した第一の例と同一の構成要素については同一の符号を付し、詳細な説明を省略する。
図12に示した構成においては、画像合成部34がホストシステム2とモニタ5との間に挿入された点で図1に示した構成と異なっている。この画像合成部34は、ホストシステム2からの指示に応じ、当該指示に係る2枚の画像を重畳合成してモニタ5に表示させる機能を提供する。
次に、図12に示した顕微鏡システムの動作について説明する。
まず、顕微鏡画像の取得動作であるが、この動作については実施例1の動作と同様であり、図2A及び図2Bで示した顕微鏡画像データ取得処理をホストシステム2が行うことによって顕微鏡画像が取得される。
ここで、ユーザが、観察体19の観察における検鏡法として、波長の異なる蛍光観察であるB励起観察とG励起観察とを検鏡法として指示した場合を例にして、この顕微鏡画像データ取得処理による顕微鏡画像の取得の様子を説明する。
ユーザが上述した検鏡法の指示を行うと、ホストシステム2は、図2AのS101の処理によってこの指示を取得する。
すると、S103からS107の処理により、まず、B励起観察による観察体19の低解像度顕微鏡画像が得られ、その後、S108からS110にかけての処理により、そのB励起観察の下での低解像度顕微鏡画像に対してl×nのメッシュの定義がなされ、そのメッシュから高解像度での顕微鏡画像の撮像の対象とするメッシュが決定される。そして、S112からS116にかけての処理により、B励起観察による観察体19のメッシュ毎の高解像度顕微鏡画像が得られ、S117の処理によって各メッシュが結合されて図13に例示するようなB励起観察による観察体19の高解像度顕微鏡画像が作成される。すると、S118の処理によって、B励起観察による観察体19の低解像度顕微鏡画像と高解像度顕微鏡画像とが統合されて1つの画像データファイルが作成される。
この後、S102からS107の処理によって、今度は、G励起観察による観察体19の低解像度顕微鏡画像が得られる。このときには、B励起観察による観察体19の低解像度顕微鏡画像に対してメッシュの定義が既にされているので、S108の判定処理の結果はNoとなり、続くS112からS116にかけての処理により、B励起観察による低解像度顕微鏡画像に対するメッシュの定義に従い、G励起観察による観察体19のメッシュ毎の高解像度顕微鏡画像が得られる。この後、S117の処理によって各メッシュが結合されて図14に例示するようなG励起観察による観察体19の高解像度顕微鏡画像が作成される。すると、S118の処理によって、G励起観察による観察体19の低解像度顕微鏡画像と高解像度顕微鏡画像とが統合されて1つの画像データファイルが作成される。
このように、上述した顕微鏡画像データ取得処理をホストシステム2が行うことにより、図15に示すように、同一の観察体19について、B励起観察(レイヤー1)とG励起観察(レイヤー2)といった異なる検鏡法による顕微鏡画像が取得される。しかも、図13におけるメッシュa’(6,4,1)と図14におけるメッシュb’(6,4,2)との座標を比較すると分かるように、これらの顕微鏡画像に表わされている観察体19は、各画像において同一の座標に位置している。
次に、顕微鏡画像の再生表示動作について説明する。
この再生表示動作についても基本的には実施例1の動作と同様であり、図7A及び図7Bで示した顕微鏡画像再生表示処理をホストシステム2が行うことによって実現されるのであるが、本実施例においては、図7A及び図7Bのフローチャートに変更を加える。
ここで図16について説明する。同図は、図7A及び図7Bに示した顕微鏡画像再生表示処理についての本実施例における変更部分を示したものである。この図16のフローチャートは、図7AにおけるS163の判定処理の結果がNoのときに実行される。
図7AのS163において、観察体19のバーチャル観察における対物レンズ23の選択内容の切り替えの指示を取得していないとの判定がされると、処理は図16に進み、S201において、他の検鏡法で撮像された顕微鏡画像を表示中の顕微鏡画像に重畳合成して表示する指示を取得したか否かを判定する処理が行われる。ここで、当該指示を取得したと判定されたとき(判定結果がYesのとき)は、S202に処理を進める。一方、当該指示を取得していないと判定されたとき(判定結果がNoのとき)は、図7AのS156へ処理を戻し、前述した処理が繰り返される。
S202では、モニタ5で現在表示中の顕微鏡画像(拡大画像)の解像度と表示位置(表示中の拡大画像のマクロ画像における拡大位置)とを取得する処理が行われる。
S203では、データ記録部4に記録されている画像データファイルのうち、S201の処理によって取得された指示に係る合成対象の顕微鏡画像(表示中のものと異なる検鏡法で撮像された顕微鏡画像)が統合されているものを読み出す処理が行われる。
S204では、S203の処理によって読み出された画像データファイルに統合されている顕微鏡画像のうち、S202の処理によって取得された解像度のもの、すなわちモニタ5で現在表示中の顕微鏡画像(拡大画像)と同一の解像度のものを取得してホストシステム2の所定の作業記憶領域に一時的に保存する処理が行われる。
S205では、画像合成部34に指示を与え、S204の処理によって取得された顕微鏡画像のうち、バーチャル観察において現在選択されている対物レンズ23の倍率に対応する範囲の部分画像であって、S202の処理によって取得された表示位置と同一の位置のものを、モニタ5で現在表示中の顕微鏡画像(拡大画像)に重畳合成して表示させる処理が行われ、その後は図7AのS156へ処理を戻し、前述した処理が繰り返される。なお、このS205の処理においては、マクロ画像の重畳合成表示も併せて画像合成部34に行わせる。
以上の処理がホストシステム2で行われることにより、同一の観察体19についての検鏡法の異なる顕微鏡画像の重畳合成表示が図12の顕微鏡システムで行えるようになる。
ここで、前述したB励起観察とG励起観察との各々の検鏡法により撮像された顕微鏡画像が各々統合されている画像データファイルがデータ記録部4に記録されている場合を例にして、この顕微鏡画像再生表示処理による顕微鏡画像の重畳合成表示の様子を説明する。
まず、例えば、B励起観察によるバーチャル観察をユーザが指示した場合、図7AのS151からS155の処理により、モニタ5には、図17の左側に例示するような、観察体19のマクロ画像と、同図の右側に例示するような、当該マクロ画像の一部分を拡大したかのような拡大画像とが表示される。
ここで、ユーザが検鏡法の指示をB励起観察からG励起観察へと切り替えると、図7AのS156から図7BのS160にかけての処理により、モニタ5における画像の表示は、図18に例示するように、B励起観察により撮像されたものからG励起観察により撮像された顕微鏡画像へと切り替わる。そして、この表示の切り替えの前後の顕微鏡画像においては、解像度(表示倍率)が同一であり、且つ観察体19の同位置の部分を表わしている拡大画像が表示されることとなる。
更に、このときに、モニタ5で表示中のG励起観察による顕微鏡画像に対してB励起観察による顕微鏡画像の重畳合成表示をユーザが指示すると、図16のS201からS205にかけての処理により、モニタ5における画像の表示は、図19に例示するように、G励起観察により撮像されたものとB励起観察により撮像されたものとが重畳合成された顕微鏡画像へと切り替わる。そして、この表示の切り替えの前後の顕微鏡画像においては、解像度(表示倍率)が同一であり、且つ観察体19の同位置の部分の合成拡大画像となっている。
以上のように、本実施例に係る顕微鏡システムでは、異なる検鏡法により撮像された観察体19についての同一倍率且つ同一位置の顕微鏡画像が合成表示されるので、観察体を実際に顕微鏡で観察した場合と同様の操作性により、観察体の位置情報を忠実に再現できる高信頼度のバーチャル観察が可能となる。
なお、本実施例においては、異なる検鏡法により撮像された観察体19についての同一倍率且つ同一位置の顕微鏡画像を重畳合成して表示するようにしていたが、その代わりに、バーチャル観察の目的に応じ、このような異なる検鏡法により撮像された観察体19についての同一倍率且つ同一位置の顕微鏡画像をモニタ5で並べて表示するようにしてもよい。
また、本実施例においては、実施例1と同様に、電動ステージの20の原点センサとそのイニシャライズ動作により実現していたが、更に、B励起観察とG励起観察とにおける蛍光キューブ(キューブユニット25)におけるそれぞれの光軸のずれを予め取得しておき、取得画像からこのずれを補正するようにしてもよい。
また、顕微鏡画像データ取得処理においては、1つの検鏡法(例えばB励起観察)についての高解像度顕微鏡画像の撮像を全てのメッシュについて完了してから他の検鏡法(例えばG励起観察)についての高解像度顕微鏡画像の撮像を行うようにしていたが、その代わりに、指定されている各検鏡法での高解像度顕微鏡画像の撮像を1つのメッシュについて全て行い、この撮像を各メッシュについて繰り返し行うことで高解像度顕微鏡画像を得るようにしてもよい。
なお、本実施例においては、B励起観察とG励起観察との2つの検鏡法を例示し、これらの切り替えを行うことを説明したが、検鏡法の切換えという観点ではもちろん2種類の切り替えにのみ本発明を限定させるものではなく、いくつもの検鏡法の切換えを可能としてもよい。
図20は本発明を実施する顕微鏡システムの構成の第三の例を示している。なお、同図において図12に示した第二の例と同一の構成要素については同一の符号を付し、詳細な説明を省略する。
図20に示した構成においては、座標変換部35がホストシステム2とデータ記録部34との間に挿入された点で図12に示した構成と異なっている。この座標変換部35は、ホストシステム2からの指示に応じ、当該指示に係る画像を構成している各画素の座標を回転変換する機能を提供する。
次に、図20に示した顕微鏡システムの動作について説明する。
まず、顕微鏡画像の取得動作であるが、この動作については実施例2の動作と同様であり、図2A及び図2Bで示した顕微鏡画像データ取得処理をホストシステム2が行うことによって顕微鏡画像が取得される。
ここで、ユーザが、観察体19の観察における検鏡法として、波長の異なる蛍光観察であるB励起観察とG励起観察とを検鏡法として指示した場合を例にして、この顕微鏡画像データ取得処理による顕微鏡画像の取得の様子を説明する。
ユーザが上述した検鏡法の指示を行うと、ホストシステム2は、図2AのS101の処理によってこの指示を取得する。
すると、S103からS107の処理により、まず、B励起観察による観察体19の低解像度顕微鏡画像が得られ、その後、S108からS110にかけての処理により、そのB励起観察の下での低解像度顕微鏡画像に対してl×nのメッシュの定義がなされ、そのメッシュから高解像度での顕微鏡画像の撮像の対象とするメッシュが決定される。そして、S112からS116にかけての処理により、B励起観察による観察体19のメッシュ毎の高解像度顕微鏡画像が得られ、S117の処理によって各メッシュが結合されて図21に例示するようなB励起観察による観察体19の高解像度顕微鏡画像が作成される。すると、S118の処理によって、B励起観察による観察体19の低解像度顕微鏡画像と高解像度顕微鏡画像とが統合されて1つの画像データファイルが作成される。
この後、S102からS107の処理によって、今度は、G励起観察による観察体19の低解像度顕微鏡画像が得られる。このときには、B励起観察による観察体19の低解像度顕微鏡画像に対してメッシュの定義が既にされているので、S108の判定処理の結果はNoとなり、続くS112からS116にかけての処理により、B励起観察による低解像度顕微鏡画像に対するメッシュの定義に従い、G励起観察による観察体19のメッシュ毎の高解像度顕微鏡画像が得られる。この後、S117の処理によって各メッシュが結合されて図22に例示するようなG励起観察による観察体19の高解像度顕微鏡画像が作成される。すると、S118の処理によって、G励起観察による観察体19の低解像度顕微鏡画像と高解像度顕微鏡画像とが統合されて1つの画像データファイルが作成される。
このように、上述した顕微鏡画像データ取得処理をホストシステム2が行うことにより、図23に示すように、同一の観察体19について、B励起観察(レイヤー1)とG励起観察(レイヤー2)といった異なる検鏡法による顕微鏡画像が取得される。
次に、顕微鏡画像の再生表示動作について説明する。
この再生表示動作についても基本的には実施例2の動作と同様であり、図7A、図7B、及び図16で示した顕微鏡画像再生表示処理をホストシステム2が行うことによって実現されるのであるが、本実施例においては、これらの図に示したフローチャートに変更を加える。
ここで図24Aについて説明する。同図は、図7A、図7B、及び図16に示した顕微鏡画像再生表示処理についての本実施例における第一の変更部分を示したものである。この図24Aのフローチャートは、図16におけるS201の判定処理の結果がNoのときに実行される。
図16のS201において、他の検鏡法で撮像された観察体19の顕微鏡画像を表示中の顕微鏡画像に重畳合成して表示する指示を取得していないとの判定がされると、処理は図24Aに進み、S301において、ユーザによる回転操作、すなわち、モニタ5にて観察中の顕微鏡画像を回転させるための操作をホストシステム2で検出したか否かを判定する処理が行われる。ここで、当該回転操作を検出したと判定したとき(判定結果がYesのとき)にはS302に処理を進める。一方、当該回転操作を検出していないと判定したとき(判定結果がNoのとき)には、図7AのS156へ処理を戻し、前述した処理が繰り返される。
S302では、座標変換部35に指示を与え、モニタ5で現在表示中の顕微鏡画像を構成している各画素の座標を、ユーザによる回転操作によって示されている回転角度で回転変換させる処理が行われる。
続くS303では、前ステップでの処理による回転変換後の画素で構成される顕微鏡画像をモニタ5に切り替え表示させる処理が行われ、その後は図7AのS156へ処理を戻し、前述した処理が繰り返される。
以上の処理がホストシステム2で行われることにより、モニタ5で表示中の観察体19についての顕微鏡画像が、ユーザによる指示に応じて回転する。
次に図24Bについて説明する。同図は、図7A、図7B、及び図16に示した顕微鏡画像再生表示処理についての本実施例における第二の変更部分を示したものである。この図24Bのフローチャートは、図7AにおけるS156の判定処理の結果がYesの場合に、図7AのS157から図7BのS160の処理に代えて実行される。
図7AのS156において、観察体19のバーチャル観察における検鏡法の切り替えの指示を取得したと判定されると、処理は図24Bに進み、S311において、モニタ5で現在表示中の顕微鏡画像の解像度及び表示位置と、その表示中の顕微鏡画像の回転角度とを取得する処理が行われる。なお、このとき、表示中の顕微鏡画像が回転していない場合には、回転角度は「0°」となる。
S312では、データ記録部4に記録されている画像データファイルのうち、S156の処理によって取得された指示に係る切り替え後の検鏡法によって撮像された顕微鏡画像が統合されているものを読み出し、読み出された画像データファイルに統合されている顕微鏡画像のうち解像度が最低のものを新たなマクロ画像としてモニタ5に切り替え表示させる処理が行われる。
S313では、S312の処理によって読み出された画像データファイルに統合されている顕微鏡画像のうち、S311の処理によって取得された解像度のものを取得してホストシステム2の所定の作業記憶領域に一時的に保存する処理が行われる。
S314では、座標変換部35に指示を与え、モニタ5で現在表示中の顕微鏡画像を構成している各画素の座標を、S311の処理によって取得された回転角度で回転変換させる処理が行われる。
S315では、前ステップでの処理による回転変換後の画素で構成される顕微鏡画像をモニタ5に切り替え表示させる処理が行われ、その後は図7AのS156へ処理を戻し、前述した処理が繰り返される。
以上の処理がホストシステム2で行われることにより、モニタ5による画像の表示が切り替えられて、切り替え指示に係る検鏡法で撮像された顕微鏡画像についての部分画像であって、切り替え前の表示部分画像に表わされていたものと同位置である観察体19の部分を当該切り替え前の表示部分画像と同一の解像度で表わしている当該部分画像が、当該切り替え前の表示部分画像と同一の回転をさせた上で表示されるようになる。
ここで、前述したB励起観察とG励起観察との各々の検鏡法により撮像された顕微鏡画像が各々統合されている画像データファイルがデータ記録部4に記録されている場合を例にして、この顕微鏡画像再生表示処理による顕微鏡画像の重畳合成表示の様子を説明する。
まず、例えば、B励起観察によるバーチャル観察をユーザが指示した場合、図7AのS151からS155の処理により、モニタ5には、図25の左側に例示するような、観察体19のマクロ画像と、同図の右側に例示するような、当該マクロ画像の一部分を拡大したかのような拡大画像とが表示される。
ここで、ユーザが回転操作(特にここでは右回りの移動操作)を行うと、図24AのS301からS303にかけての処理により、モニタ5における顕微鏡画像の表示は、図26に例示するように、観察体19における図25の表示から右回りに回転した部分の表示に切り替わる。
また、このとき、ユーザがX−Y位置の移動操作(特にここでは上述した回転後の横方向であるX’方向の移動操作)を行うと、図7AのS161及びS162の処理により、モニタ5における拡大画像の表示は、図27に例示するように、観察体19における図26の表示からX’方向に移動した部分の表示に切り替わる。
ここで、ユーザが検鏡法の指示をB励起観察からG励起観察へと切り替えると、図7AのS156及び図24BのS311からS315にかけての処理により、モニタ5における画像の表示は、図28に例示するように、B励起観察により撮像されたものからG励起観察により撮像された顕微鏡画像へと切り替わる。そして、この表示の切り替えの前後の顕微鏡画像においては、解像度(表示倍率)が同一であり、観察体19の同位置の部分の拡大画像となっており、且つ、同一の回転が施されて表示されている。
このように、本実施例に係る顕微鏡システムでは、異なる検鏡法により撮像された観察体19についての同一倍率且つ同一位置の顕微鏡画像が同一の回転を施された上で表示されるので、観察体を実際に顕微鏡で観察した場合と同様の操作性により、観察体の位置情報を忠実に再現できる高信頼度のバーチャル観察が可能となる。
以上のように、本実施例に係る顕微鏡システムでは、観察体を撮像して得られた顕微鏡画像を繋ぎ合わせることで観察体の画像を再構築するいわゆるバーチャル顕微鏡システムにおいて、観察体を実際に顕微鏡で観察した場合と同様の操作性により顕微鏡画像の回転及び検鏡法の切り替えを行うことができる。
なお、本実施例においては、B励起観察とG励起観察との2つの検鏡法を例示し、これらの切り替えを行うことを説明したが、検鏡法の切換えという観点ではもちろん2種類の切り替えにのみ本発明を限定させるものではなく、いくつもの検鏡法の切換えを可能としてもよい。
本実施例に係る顕微鏡システムは、顕微鏡画像データ取得処理の内容が図2A及び図2Bに示したものと異なり、その他の動作及び構成については実施例1(或いは実施例2又は実施例3でもよい)と同様である。
図2A及び図2Bに示した顕微鏡画像データ取得処理では、1つの検鏡法についての高解像度顕微鏡画像の撮像を全てのメッシュについて完了してから他の検鏡法についての高解像度顕微鏡画像の撮像を行うようにしていたが、本実施例に係る顕微鏡画像データ取得処理においては、指定されている各検鏡法での高解像度顕微鏡画像の撮像を1つのメッシュについて全て行い、この撮像を各メッシュについて繰り返し行うことで高解像度顕微鏡画像を得るようにしたものである。
図29A及び図29Bは、本実施例に係る顕微鏡画像データ取得処理の処理内容を示すフローチャートである。この処理も、ホストシステム2のCPUが所定の制御プログラムを実行することによって実現され、開始される。
まず、図29AのS401では、観察体19の観察における検鏡法の指示をユーザから取得する処理が行われる。本実施例では、一例として、第1の検鏡法、第2検鏡法、及び第3の検鏡法といった異なる3つの検鏡法の指示が取得されたとする。
S402では、顕微鏡コントローラ31へ指示を与え、顕微鏡装置1の設定を、第1の検鏡法での顕微鏡画像の撮像を行うための設定へと変更させる処理が行われる。顕微鏡コントローラ31は、この指示に応じ、顕微鏡装置1の各構成要素の動作制御を行って当該第1の検鏡法での撮像を行うための状態とする。また、このとき、電動ステージ20の原点センサとそのイニシャライズ動作により観察体19の座標系の設定を行う。
続くS403乃至S406及びS407乃至S409では、図2AのS104乃至S107及びS109乃至S111と同様の処理が行われるので、ここでは説明を省略する。
続くS410では、S408の処理によって決定された高解像度撮像対象のメッシュのうち、S401の処理によって取得された各検鏡法での高解像度撮像を未だ行っていないものが残されているか否かを判定する処理が行われる。ここで、その判定結果がYesの場合にはS411へ処理が進み、Noの場合にはS417(図29B)へ処理が進む。
S410の判定がYesの場合、続くS411乃至S414では、図2AのS112乃至S116と同様の処理が行われるので、ここでは説明を省略する。
続くS415では、S401の処理によって取得された検鏡法のうち、現在の対物レンズ23bの直下に位置する観察体19の部分の顕微鏡画像の撮像を未だ行っていないものが残されているか否かを判定する処理が行われる。ここで、その判定結果がYesの場合にはS416へ処理が進み、Noの場合にはS410へ処理が戻って上述の処理が繰り返される。
S416の後は、S412へ処理が戻り、上述の処理が繰り返される。
このように、S416の判定がNoになるまでS412乃至S416の処理が繰り返されることによって、対物レンズ23bの直下に位置する観察体19の部分が第1乃至第3の各検鏡法の下で撮像され、検鏡法が異なる3つの顕微鏡画像が得られる。そして、S410の判定がNoになるまでS410乃至S416の処理が繰り返されることによって、その検鏡法が異なる3つの顕微鏡画像が、高解像度撮像対象のメッシュにおける観察体19の部分毎に得られる。
S415の判定がYesの場合、S416では、顕微鏡コントローラ31へ指示を与え、顕微鏡装置1の設定を、未だ撮像を行っていない検鏡法による現在の対物レンズ23bの直下に位置する観察体19の部分の顕微鏡画像の撮像を行うための設定へと変更させる処理が行われる。顕微鏡コントローラ31は、この指示に応じ、顕微鏡装置1の各構成要素の動作制御を行って当該検鏡法での撮像を行うための状態とする。
一方、S410の判定がNoの場合、S417(図29B)では、S401の処理によって取得された検鏡法のうち、メッシュ毎の高解像度顕微鏡画像を未だ結合していないものが残されているか否かを判定する処理が行われる。ここで、その判定結果がYesの場合にはS418へ処理が進み、Noの場合には、この顕微鏡画像データ取得処理を終了する。
S417の判定がYesの場合、S418では、その残されている一つの検鏡法の下で撮像されたメッシュ毎の高解像度顕微鏡画像を結合して観察体19の全体が表されている高解像度の顕微鏡画像を作成する処理が行われる。尚、この処理では、その検鏡法の下で撮像された隣り合うメッシュの高解像度顕微鏡画像をそれぞれ繋ぎ合わせることによって観察体19の全体が表されている高解像度の顕微鏡画像が作成される。
S419では、S406(図29A)の処理によってホストシステム2へ取り込まれている観察体19についての低解像度の顕微鏡画像と、S418の処理によって作成された観察体19の全体が表されている高解像度の顕微鏡画像とを、1つの画像データファイルとして統合する処理が行われる。
S420では、前ステップの処理によって得られた画像データファイルをデータ記録部4に記録する処理が行われ、その後はS417へ処理が戻り、上述した処理が繰り返される。
このようにS417の判定がNoになるまでS417乃至S420が繰り返されることによって、第1の検鏡法の下で撮像された高解像度顕微鏡画像が結合された画像を含む画像データファイルと、第2の検鏡法の下で撮像された高解像度顕微鏡画像が結合された画像を含む画像データファイルと、第3の検鏡法の下で撮像された高解像度顕微鏡画像が結合された画像を含む画像データファイルとが、記録部4に記録される。
以上までの処理が本実施例に係る顕微鏡画像データ取得処理である。
ここで、ユーザが、観察体19の観察における検鏡法として、微分干渉観察(第1の検鏡法)、B励起蛍光観察(第2の検鏡法)、及びG励起蛍光観察(第3の検鏡法)を指示した場合を例にして、この顕微鏡画像データ取得処理による顕微鏡画像の取得の様子を説明する。
まず、S402乃至S406の処理により、微分干渉観察による観察体19の低解像度顕微鏡画像が得られ、その後、S407乃至S408の処理により、その微分干渉観察の下での低解像度顕微鏡画像に対して高解像度での顕微鏡画像の撮像の対象とするメッシュが決定される。そして、S409乃至S416の処理により、微分干渉観察による低解像度顕微鏡画像に対するメッシュの定義に従い、そのメッシュ毎に、微分干渉観察による高解像度顕微鏡画像と、B励起蛍光観察による高解像度顕微鏡画像と、G励起蛍光観察による高解像度顕微鏡画像とが得られる。さらに、S417乃至420の処理により、微分干渉観察による高解像度顕微鏡画像が結合された画像と微分干渉観察による低解像度顕微鏡画像とが統合された画像データファイルと、B励起蛍光観察による高解像度顕微鏡画像が結合された画像と微分干渉観察による低解像度顕微鏡画像とが統合された画像データファイルと、G励起蛍光観察による高解像度顕微鏡画像が結合された画像と微分干渉観察による低解像度顕微鏡画像とが統合された画像データファイルとが、データ記録部4に記録される。
以上、本実施例によれば、異なる検鏡法の下で取得された高解像度顕微鏡画像のXY座標が同一となるので、XY座標の再現性が向上する。また、1回の撮像毎に電動ステージ20をXY方向に移動させる必要がなくなるので、顕微鏡画像データ取得処理に要する時間を短縮させることができる。
尚、本実施例に係る顕微鏡画像データ取得処理では、S416の後にS412へ処理が戻るため、一つのメッシュに対し検鏡法毎に合焦動作が行われていたが、例えば、S416の後にS413へ処理が戻るようにして、一つのメッシュに対し一回だけ合焦動作を行うようにすることも可能である。これにより、顕微鏡画像データ取得処理に要する時間を、より短縮させることができる。また、S401で指示された検鏡法の中で第1の検鏡法以外の検鏡法の中に蛍光観察が含まれる場合には、蛍光観察時の退色防止をはかることもできる。
また、本実施例に係る顕微鏡画像データ取得処理では、第1の検鏡法の下でしか低解像度の顕微鏡画像が取得されないが、例えば、他の各検鏡法による低解像度の顕微鏡画像も取得するようにしてもよい。この場合には、画像データファイルに、同一の検鏡法の下で得られた、低解像度顕微鏡画像と高解像度顕微鏡画像が結合された画像とを、統合することができる。
また、本実施例において、第1の検鏡法は、部分干渉観察に限定されるものではなく、例えば、明視野観察、暗視野観察、位相差観察など、各種周知の検鏡法であってもよい。また、第2及び第3の検鏡法も、蛍光観察に限定されるものではなく、同様に、各種周知の検鏡法であってもよい。また、指示される検鏡法の数は、3つに限らず、2つ、又は4つ以上であっても構わない。
本実施例に係る顕微鏡システムは、実施例2に係る顕微鏡システムにおいて、更に、図16に示した処理によって表示されている重畳合成された画像(以下、「重畳合成画像」という)における所望の検鏡法による顕微鏡画像の表示条件を変更可能にする表示条件変更機能を備えている。
この表示条件変更機能によれば、図16のS205の処理により重畳合成画像(例えば図19に示した重畳合成されたマクロ画像及び拡大画像)が表示されている時に、ユーザがホストシステム2の不図示の入力部を介して所定の指示を行うと、モニタ5に更に、重畳合成画像における所望の検鏡法による顕微鏡画像の表示条件を入力可能にする表示ウィンドウが表示される。
図30は、その表示ウィンドウの一例である。
同図に示したように、表示ウィンドウには、モニタ5に表示されている重畳合成されたマクロ画像(例えば図19の左側に示した重畳合成されたマクロ画像)36と、重畳合成画像を構成する各検鏡法による顕微鏡画像に対する明るさ(Brightness)を入力可能にするスライダー37(37a、37b)とが表示される。尚、表示ウィンドウ中の重畳合成されたマクロ画像36においては、観察の容易さを考慮し、背景部分が黒く着色されて表示される。
本例において、重畳合成画像は、G励起観察による顕微鏡画像とB励起観察による顕微鏡画像とが重畳された画像である。スライダー37aは、G励起観察による顕微鏡画像に対する明るさを入力可能にするものであり、スライダー37bは、B励起観察による顕微鏡画像に対する明るさを入力可能にするものである。各スライダーは、ホストシステム2の不図示の入力部(例えばマウス)の操作により上下に移動可能に構成されており、それを上に移動させるほど明るさのレベルを高く入力させることができ、下に移動させるほど明るさのレベルを低く入力させることができる。
このような表示ウィンドウが表示されている時に、ユーザが、例えば、スライダー37aを上側に移動させると、重畳合成画像を構成するG励起観察による顕微鏡画像に対し、当該画像が、移動後のスライダー37aの位置に応じた明るさで表される画像になるように画像処理が行われる。そして、表示されている重畳合成画像を構成するG励起観察による顕微鏡画像を、その画像処理後の画像に差し替える処理が行われる。これにより、表示ウィンドウにおいては、図31に示したように、重畳合成されたマクロ画像36におけるG励起観察による顕微鏡画像が、移動後のスライダー37aの位置に応じた明るさで表された画像として、すなわち明るさアップされた画像として表示される。また、モニタ5に表示されている、重畳合成されたマクロ画像及び拡大画像(例えば図19に示したマクロ画像及び拡大画像)においても同様に、重畳合成画像におけるG励起観察による顕微鏡画像が、移動後のスライダー37aの位置に応じた明るさで表示される。
以上、本実施例によれば、各検鏡法による顕微鏡画像が重畳合成されて表示されている時に、ユーザは、所望の検鏡法による顕微鏡画像に対する表示条件を自由に変更することができるので、観察部位を容易に認識することができる。
尚、本実施例では、重畳合成画像を構成する顕微鏡画像が2つの例を示したが、これが3つ以上であっても構わない。尚、この場合には、表示ウィンドウに、重畳合成画像を構成する顕微鏡画像の数だけ、対応するスライダーが表示される。
また、本実施例では、表示条件を明るさとして説明したが、例えば、コントラストやα補正コントロールやカラーバランスなどとしても良く、或いは、ゲイン及びコントラストやガンマ補正としても良く、若しくは、ゲインとコントラストとガンマ補正としても良い。
また、本実施例では、各スライダーの移動によって表示条件を入力するものであったが、例えば、数値で直接入力するようにしても良い。
ところで、図2A、図2B、図7A、図7B、図16、図24A、図24B、図29A、及び図29Bにフローチャートで示した処理を、前述したような標準的な構成のコンピュータのCPUに行わせるための制御プログラムを作成してコンピュータ読み取り可能な記録媒体に記録させておき、そのプログラムを記録媒体からコンピュータに読み込ませてCPUで実行させるようにしても、本発明の実施は可能である。
記録させた制御プログラムをコンピュータで読み取ることの可能な記録媒体としては、例えば、コンピュータに内蔵若しくは外付けの付属装置として備えられるROMやハードディスク装置などの記憶装置、コンピュータに備えられる媒体駆動装置へ挿入することによって記録された制御プログラムを読み出すことのできるフレキシブルディスク、MO(光磁気ディスク)、CD−ROM、DVD−ROMなどといった携帯可能記録媒体等が利用できる。
また、記録媒体は通信回線を介してコンピュータと接続される、プログラムサーバとして機能するコンピュータシステムが備えている記憶装置であってもよい。この場合には、制御プログラムを表現するデータ信号で搬送波を変調して得られる伝送信号を、プログラムサーバから伝送媒体である通信回線を通じてコンピュータへ伝送するようにし、コンピュータでは受信した伝送信号を復調して制御プログラムを再生することでこの制御プログラムをコンピュータのCPUで実行できるようになる。
また、本実施例においては、画像取得手段をビデオカメラとしたが、CCDやラインセンサといった周知の画像取得手段に置き換えが可能である。また、合焦動作は、いわゆるビデオAFとしたが、アクティブAFやその他周知のAF手段であってもよく、また収差レンズによって更にAFの精度を高めるようにしてもよい。
以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、上述した各実施例に係る顕微鏡システムにおいては、顕微鏡装置1として正立顕微鏡装置を採用していたが、その代わりに、倒立顕微鏡装置を採用することももちろん可能であり、また、顕微鏡装置を組み込んだライン装置といった各種システムに本実施例を適応することも可能である。
また、例えば、上述した各実施例においては、顕微鏡システムで撮像した顕微鏡画像を同一の顕微鏡システムで再生表示するようにしていたが、この代わりに、この顕微鏡システムを離れた場所に個々に設置し、一方の顕微鏡システムで生成した顕微鏡画像の画像データファイルを他方の顕微鏡システムまで通信回線を利用して伝送し、当該他方の顕微鏡システムにおいて当該画像データファイルで表わされている顕微鏡画像の再生表示を行うようにすることも可能である。
本発明を実施する顕微鏡システムの構成の第一の例を示す図である。 顕微鏡画像データ取得処理の処理内容を示すフローチャート(その1)である。 顕微鏡画像データ取得処理の処理内容を示すフローチャート(その2)である。 明視野観察により撮像された観察体の高解像度顕微鏡画像の例を示す図である。 微分干渉観察により撮像された観察体の高解像度顕微鏡画像の例を示す図である。 蛍光観察により撮像された観察体の高解像度顕微鏡画像の例を示す図である。 図3、図4、及び図5の各図に示した画像の関係を示す図である。 顕微鏡画像再生表示処理の処理内容を示すフローチャート(その1)である。 顕微鏡画像再生表示処理の処理内容を示すフローチャート(その2)である。 明視野観察によるバーチャル観察が指示された場合の顕微鏡画像の表示例を示す図である。 図8の表示がされているときにX−Y位置の移動操作がされた場合の顕微鏡画像の表示例を示す図である。 図9の表示がされているときに対物レンズの選択を高倍のものへと切り替える指示がされた場合の顕微鏡画像の表示例を示す図である。 図10の表示がされているときに微分干渉観察によるバーチャル観察が指示された場合の顕微鏡画像の表示例を示す図である。 図11Aの表示がされているときに蛍光観察によるバーチャル観察が指示された場合の顕微鏡画像の表示例を示す図である。 本発明を実施する顕微鏡システムの構成の第二の例を示す図である。 B励起観察による観察体の高解像度顕微鏡画像の第一の例を示す図である。 G励起観察による観察体の高解像度顕微鏡画像の第一の例を示す図である。 図13及び図14の各図に示した画像の関係を示す図である。 顕微鏡画像再生表示処理についての実施例2における変更部分を示す図である。 B励起観察によるバーチャル観察が指示された場合の顕微鏡画像の第一の表示例を示す図である。 図17の表示がされているときにG励起観察によるバーチャル観察が指示された場合の顕微鏡画像の表示例を示す図である。 図18の表示がされているときに、B励起観察による顕微鏡画像の重畳合成表示が支持された場合の画面表示例を示す図である。 本発明を実施する顕微鏡システムの構成の第三の例を示す図である。 B励起観察による観察体の高解像度顕微鏡画像の第二の例を示す図である。 G励起観察による観察体の高解像度顕微鏡画像の第二の例を示す図である。 図21及び図22の各図に示した画像の関係を示す図である。 顕微鏡画像再生表示処理についての実施例3における第一の変更部分を示す図である。 顕微鏡画像再生表示処理についての実施例3における第二の変更部分を示す図である。 B励起観察によるバーチャル観察が指示された場合の顕微鏡画像の第二の表示例を示す図である。 図25の表示がされているときに回転操作がされた場合の顕微鏡画像の表示例を示す図である。 図26の表示がされているときにX−Y位置の移動操作がされた場合の顕微鏡画像の表示例を示す図である。 図27の表示がされているときにG励起観察によるバーチャル観察が指示された場合の顕微鏡画像の表示例を示す図である。 実施例4における顕微鏡画像データ取得処理の処理内容を示すフローチャート(その1)である。 実施例4における顕微鏡画像データ取得処理の処理内容を示すフローチャート(その2)である。 表示ウィンドウの一例を示す図である。 スライダー移動後の表示ウィンドウの一例を示す図である。
符号の説明
1 顕微鏡装置
2 ホストシステム
3 ビデオカメラ
4 データ記録部
5 モニタ
6 透過照明用光源
7 コレクタレンズ
8 透過用フィルタユニット
9 透過視野絞り
10 透過開口絞り
11 コンデンサ光学素子ユニット
12 トップレンズユニット
13 落射照明用光源
14 コレクタレンズ
15 落射用フィルタユニット
16 落射シャッタ
17 落射視野絞り
18 落射開口絞り
19 観察体
20 電動ステージ
21 ステージX−Y駆動制御部
22 ステージZ駆動制御部
23a、23b 対物レンズ
24 レボルバ
25 キューブユニット
26 接眼レンズ
27 ビームスプリッタ
28 ポラライザー
29 DICプリズム
30 アナライザー
31 顕微鏡コントローラ
32 ビデオボード
33 カメラコントローラ
34 画像合成部
35 座標変換部
36 重畳合成されたマクロ画像
37 スライダー

Claims (9)

  1. 所定の検鏡法の下で観察体の顕微鏡画像を撮像する撮像手段と、
    前記撮像手段を制御して、予め設定されている複数の解像度の各々で同一の前記観察体についての顕微鏡画像を撮像させる撮像制御手段と、
    前記検鏡法を切り替える検鏡法切り替え手段と、
    を有し、
    前記撮像制御手段は、
    予め制御されている第一の解像度で前記観察体の撮像を前記撮像手段に行わせる第一撮像制御手段と、
    前記第一撮像制御手段による制御の下で前記撮像手段により撮像された第一の顕微鏡画像を分割する複数の小区画を定義する定義手段と、
    予め設定されている第二の解像度であって前記第一の解像度よりも高い解像度である当該第二の解像度で、前記観察体における前記小区画に対応する部分の撮像を前記撮像手段に行わせる第二撮像制御手段と、
    前記第二撮像制御手段による制御の下で前記撮像手段により撮像された前記小区画毎の顕微鏡画像を結合して、前記観察体についての前記第二の解像度である第二の顕微鏡画像を生成する画像結合手段と、
    観察体毎に複数の検鏡法によって撮像されて前記結合された顕微鏡画像を蓄積する画像蓄積手段と、
    を有することを特徴とする顕微鏡装置。
  2. 前記画像蓄積手段に蓄積されている前記検鏡法の下で撮像された顕微鏡画像を表示する表示手段と、
    前記画像蓄積手段に蓄積されている前記検鏡法の下で撮像された顕微鏡画像のうち指定された解像度であるものの部分画像である第一部分画像を前記表示手段に表示させる第一表示制御手段と、
    前記検鏡法の切り替えの指示を取得する検鏡法切り替え指示取得手段と、
    前記検鏡法の切り替えの指示の取得に応じて前記表示手段による前記第一部分画像の表示を切り替えて、当該指示に係る検鏡法で撮像された顕微鏡画像についての部分画像であって、当該第一部分画像に表わされていたものと同位置である前記観察体の部分を当該第一部分画像と同一の解像度で表わしている前記切り替え後の検鏡法で撮像された当該部分画像である第二部分画像を当該表示手段に表示させる第二表示制御手段と、
    を更に有することを特徴とする請求項1に記載の顕微鏡装置。
  3. 合成表示の指示を取得する合成表示指示取得手段と、
    前記合成表示の指示の取得に応じ、前記第一部分画像と前記第二部分画像とを重畳合成した画像である合成画像を前記表示手段に表示させる第三表示制御手段と、
    を更に有することを特徴とする請求項2に記載の顕微鏡装置。
  4. 前記表示手段に表示されている画像の回転の指示を取得する回転指示取得手段と、
    前記回転の指示に応じ、前記表示手段に表示されている画像を回転させて当該表示手段に表示させる第四表示制御手段と、
    を更に有し、
    前記第二表示制御手段は、前記切り替えの指示の取得時において前記表示手段によって表示されていた前記第一部分画像が回転した状態で表示されていた場合には、前記第二部分画像に対して当該第一部分画像と同一の回転をさせて当該表示手段に表示させる、
    ことを特徴とする請求項2または3に記載の顕微鏡装置。
  5. 所定の検鏡法の下で観察体の顕微鏡画像を撮像する撮像手段と、
    第一の検鏡法で撮像された画像と第二の検鏡法で撮像された画像とを蓄積する画像蓄積手段と、
    前記画像蓄積手段に蓄積されている前記検鏡法の下で撮像された画像を表示する表示手段と、
    前記画像蓄積手段によって蓄積されている画像のうち前記第一の検鏡法で撮像されたものであって指定された解像度である画像についての部分画像である第一部分画像を前記表示手段に表示させる第一表示制御手段と、
    前記第一の検鏡法と前記第二の検鏡法との切り替えの指示を取得する検鏡法切り替え指示取得手段と、
    前記検鏡法の切り替えの指示に応じて前記表示手段による前記第一部分画像の表示を切り替えて、当該指示に係る検鏡法で撮像された画像についての部分画像であって当該第一部分画像に表されていたものと同位置である前記観察体の部分を当該第一部分画像と同一の解像度で表しており前記切り替え後の検鏡法で撮像された当該部分画像である第二部分画像を当該表示手段に表示させる第二表示制御手段と、
    を有することを特徴とする顕微鏡装置。
  6. 合成表示の指示を取得する合成表示指示取得手段と、
    前記合成表示の指示の取得に応じ、前記第一部分画像と前記第二部分画像とを重畳合成した画像である合成画像を前記表示手段に表示させる第三表示制御手段と、
    を更に有することを特徴とする請求項5に記載の顕微鏡装置。
  7. 前記表示手段に表示されている画像の回転の指示を取得する回転指示取得手段と、
    前記回転の指示に応じ、前記表示手段に表示されている画像を回転させて当該表示手段に表示させる第四表示制御手段と、
    を更に有し、
    前記第二表示制御手段は、前記切り替えの指示の取得時において前記表示手段によって表示されていた前記第一部分画像が回転した状態で表示されていた場合には、前記第二部分画像に対して当該第一部分画像と同一の回転をさせて当該表示手段に表示させる、
    ことを特徴とする請求項5または6に記載の顕微鏡装置。
  8. 検鏡法を切り換える切換手段と、
    前記切換手段により切り換えられた検鏡法の下で観察体の観察を行う顕微鏡装置と、
    前記観察体を複数の区画に分割する分割手段と、
    前記切換手段により切り換えられた検鏡法の下で前記分割手段により分割された区画における前記観察体の部分を撮像する撮像手段と、
    同一の検鏡法の下での前記撮像手段による撮像により得られた隣り合う区画における前記観察体の部分の画像を繋ぎ合わせる画像結合手段と、
    前記画像結合手段により繋ぎ合わされた画像を表示する画像表示手段と、
    を有し、
    前記撮像手段は、前記分割手段により分割された区画における前記観察体の部分毎に、少なくとも、前記切換手段により切り換えられた第1の検鏡法の下での撮像と前記切換手段により切り換えられた第2の検鏡法の下での撮像と、を繰り返す、
    ことを特徴とする顕微鏡システム。
  9. 検鏡法を切り換える切換手段と、
    前記切換手段により切り換えられた検鏡法の下で観察体の観察を行う顕微鏡装置と、
    前記観察体を複数の区画に分割する分割手段と、
    前記切換手段により切り換えられた検鏡法の下で、前記観察体の全体、或いは、前記分割手段により分割された区画における前記観察体の部分を撮像する撮像手段と、
    同一の検鏡法の下での前記撮像手段による撮像により得られた隣り合う区画における前記観察体の部分の画像を繋ぎ合わせる画像結合手段と、
    撮像時の検鏡法が異なる複数の画像、或いは、検鏡法が異なる複数の前記画像結合手段により繋ぎ合わされた画像を重畳する画像重畳手段と、
    前記画像重畳手段により重畳された画像を表示する画像表示手段と、
    前記画像表示手段により表示された前記画像重畳手段により重畳された画像における特定の検鏡法による画像に対する表示条件を入力する表示条件入力手段と、
    前記表示条件入力手段により入力された表示条件に従って前記特定の検鏡法による画像に対し画像処理を行う画像処理手段と、
    を有し、
    前記表示条件入力手段により前記表示条件が入力されたときに、前記画像表示手段により表示さた前記画像重畳手段により重畳された画像における前記特定の検鏡法による画像が、前記画像処理手段により画像処理が行われた画像へ変更される、
    ことを特徴とする顕微鏡システム。
JP2005328835A 2005-06-10 2005-11-14 顕微鏡装置 Active JP4878815B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005328835A JP4878815B2 (ja) 2005-06-10 2005-11-14 顕微鏡装置
US11/545,416 US7929738B2 (en) 2005-10-11 2006-10-10 Microscope apparatus and microscope system
EP07014992A EP1852726A1 (en) 2005-10-11 2006-10-11 Microscope apparatus comprising an image accumulation unit for combining images captured with different resolutions and with different observation methods
EP06021331A EP1775618A3 (en) 2005-10-11 2006-10-11 Microscope apparatus comprising an image accumulation unit for combining images captured with different resolutions and with different observation methods

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005171708 2005-06-10
JP2005171708 2005-06-10
JP2005328835A JP4878815B2 (ja) 2005-06-10 2005-11-14 顕微鏡装置

Publications (2)

Publication Number Publication Date
JP2007017930A true JP2007017930A (ja) 2007-01-25
JP4878815B2 JP4878815B2 (ja) 2012-02-15

Family

ID=37755120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005328835A Active JP4878815B2 (ja) 2005-06-10 2005-11-14 顕微鏡装置

Country Status (1)

Country Link
JP (1) JP4878815B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
JP2009042462A (ja) * 2007-08-08 2009-02-26 Nikon Corp 顕微鏡装置、観察方法、及び観察画像処理方法
WO2010035414A1 (ja) 2008-09-26 2010-04-01 オリンパス株式会社 顕微鏡システム、該制御プログラムが格納された記憶媒体、及び該制御方法
JP2011118477A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP2012507756A (ja) * 2008-11-03 2012-03-29 カール・ツァイス・マイクロイメージング・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 組み合わせ顕微鏡検査法
WO2013084414A1 (ja) * 2011-12-08 2013-06-13 パナソニック株式会社 デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
US8837676B2 (en) 2010-03-10 2014-09-16 Olympus Corporation Virtual-slide creating device
US9088729B2 (en) 2012-03-23 2015-07-21 Canon Kabushiki Kaisha Imaging apparatus and method of controlling same
WO2018062595A1 (ko) * 2016-09-29 2018-04-05 주식회사 싸이토젠 세포 이미지 스티칭 중 고해상도 구현방법

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014939A (ja) * 2007-07-03 2009-01-22 Olympus Corp 顕微鏡システム、そのvs画像生成方法、プログラム
JP2009042462A (ja) * 2007-08-08 2009-02-26 Nikon Corp 顕微鏡装置、観察方法、及び観察画像処理方法
US8699129B2 (en) 2008-09-26 2014-04-15 Olympus Corporation Microscope system, storage medium storing control program, and control method
US8339702B2 (en) 2008-09-26 2012-12-25 Olympus Corporation Microscope system, storage medium storing control program, and control method
EP2339389A1 (en) 2008-09-26 2011-06-29 Olympus Corporation Microscope system, storage medium storing control program, and control method
WO2010035414A1 (ja) 2008-09-26 2010-04-01 オリンパス株式会社 顕微鏡システム、該制御プログラムが格納された記憶媒体、及び該制御方法
US8704196B2 (en) 2008-11-03 2014-04-22 Carl Zeiss Microscopy Gmbh Combination microscopy
JP2012507756A (ja) * 2008-11-03 2012-03-29 カール・ツァイス・マイクロイメージング・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 組み合わせ顕微鏡検査法
JP2011118477A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
US9536272B2 (en) 2009-11-30 2017-01-03 Sony Corporation Information processing apparatus, method and computer-readable medium
US10871833B2 (en) 2009-11-30 2020-12-22 Sony Corporation Information processing apparatus, method and computer-readable medium
US8837676B2 (en) 2010-03-10 2014-09-16 Olympus Corporation Virtual-slide creating device
WO2013084414A1 (ja) * 2011-12-08 2013-06-13 パナソニック株式会社 デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
JPWO2013084414A1 (ja) * 2011-12-08 2015-04-27 パナソニックIpマネジメント株式会社 デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
US9947089B2 (en) 2011-12-08 2018-04-17 Panasonic Intellectual Property Management Co., Ltd. Digital specimen manufacturing device, digital specimen manufacturing method, and digital specimen manufacturing server
US9088729B2 (en) 2012-03-23 2015-07-21 Canon Kabushiki Kaisha Imaging apparatus and method of controlling same
WO2018062595A1 (ko) * 2016-09-29 2018-04-05 주식회사 싸이토젠 세포 이미지 스티칭 중 고해상도 구현방법

Also Published As

Publication number Publication date
JP4878815B2 (ja) 2012-02-15

Similar Documents

Publication Publication Date Title
US7929738B2 (en) Microscope apparatus and microscope system
JP4937850B2 (ja) 顕微鏡システム、そのvs画像生成方法、プログラム
JP4878815B2 (ja) 顕微鏡装置
JP6462763B2 (ja) デジタル顕微鏡を備えたシステム及びこれを用いた試料の検査方法
JP4878913B2 (ja) 顕微鏡システム、顕微鏡画像の合成方法、及びプログラム
JP5006062B2 (ja) バーチャルスライド作成装置、バーチャルスライド作成方法およびバーチャルスライド作成プログラム
JP4970869B2 (ja) 観察装置および観察方法
JP4917331B2 (ja) 画像取得装置、画像取得方法、及び画像取得プログラム
JP4818592B2 (ja) 顕微鏡システム、顕微鏡画像表示システム、観察体画像表示方法、及びプログラム
US7756357B2 (en) Microscope system for obtaining high and low magnification images
EP1764640A2 (en) Microscope for multipoint time-lapse imaging
JP6448996B2 (ja) 顕微鏡システム
US8339702B2 (en) Microscope system, storage medium storing control program, and control method
WO2006050395A2 (en) Optically enhanced digital imaging system
EP2804039B1 (en) Microscope system and method for deciding stitched area
JP4847101B2 (ja) 顕微鏡システム
CN111788508B (zh) 数码显微镜和用于改变数码显微镜的放大率的方法
US20160062101A1 (en) Method and apparatus for small and large format histology sample examination
JP6172146B2 (ja) 情報処理装置、情報処理方法、プログラム及び顕微鏡システム
JP2007108223A (ja) 顕微鏡システム
WO2017098587A1 (ja) 顕微鏡観察システム、顕微鏡観察方法、及び顕微鏡観察プログラム
JP2005266718A (ja) 顕微鏡画像撮影システム
JP5197246B2 (ja) 顕微鏡システム
JP2009237267A (ja) 顕微鏡システム、顕微鏡システムの制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111115

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111129

R151 Written notification of patent or utility model registration

Ref document number: 4878815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350