JP2007316258A - 顕微鏡システム、顕微鏡画像の合成方法、及びプログラム - Google Patents

Abstract

【課題】細胞診断スクリーニング等において、詳細観察ポイントの再現作業の速度を向上させつつ、作業者の負担を軽減させる。
【解決手段】ホストシステム２は、観察体１９を撮像して得られる時系列の顕微鏡画像を動画像として取得すると共に、当該顕微鏡画像の各々に対応付けられている情報であって当該顕微鏡画像が撮像されたときの顕微鏡装置１の観察状態を示している当該情報である顕微鏡情報を取得する。そして、当該顕微鏡情報に含まれており前記顕微鏡画像が撮像されたときの観察体１９の位置を示している位置情報に基づいて、当該動画像を構成している各顕微鏡画像を合成することで、当該顕微鏡画像よりも視野の広いワイド画像を生成する。
【選択図】 図１

Description

本発明は、顕微鏡の技術に関し、特に、顕微鏡での観察に要する作業負担を軽減させる技術に関する。

顕微鏡は、生物分野や工業分野における研究や検査等において広く利用されている。顕微鏡を使用して行う検査では、一般に拡大倍率の異なる複数の対物レンズを顕微鏡に備えておき、対物レンズからの観察光路と直交する平面内で観察試料を移動させる電動ステージを操作して観察し検査を行う。このような観察では、まず対物レンズを低倍にセットして観察試料全体を洩れのないようにスクリーニングする。そして、その後に、その観察試料のうち異常が発見されたポイントや記録を残したいポイントへ戻り、高倍率の対物レンズへと切換えてこれらのポイントを詳細に検査し、観察データの記録を行う。

このような観察に適した顕微鏡に関し、例えば特許文献１には、注目領域の画像は動画像を表示し、当該注目領域を含むその周辺領域の画像は静止画を表示して観察することのできる顕微鏡画像遠隔観察装置が開示されている。

また、例えば特許文献２には、煩雑な調整作業を繰り返すことなく、各部の設定状態を容易に再現することのできる顕微鏡システムが開示されている。
特開平７−３３３５２号公報 特開２００４−３０９７６８号公報

前述したようなスクリーニング作業において、低倍率の対物レンズにて試料全体のスクリーニング観察を行った後に、その観察試料における高倍率の対物レンズによる観察記録を残したいポイントへ戻るには、再度顕微鏡システムを操作してそのポイントを探し出さなければならない。例えばこのようなポイントが複数存在したことにより、その中から記録に残すポイントを選択する場合には、顕微鏡の操作は作業者にとって大きな負担となる。また、低倍率の対物レンズにて行われる試料全体のスクリーニング観察は、観察漏れのないように試料上の全ての領域を走査する必要があるため、非常に長い時間を要する作業となる。更に、迅速な判断が要求させる場合や、一度に多くの標本を観察しなければならない場合には、迅速且つ容易にそのポイントの記録を残せることが重要となる。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、細胞診断スクリーニング等において、詳細観察ポイントの再現作業の速度を向上させつつ、作業者の負担を軽減させることである。

本発明の態様のひとつである顕微鏡システムは、観察体を撮像して得られる時系列の顕微鏡画像を動画像として取得すると共に、当該顕微鏡画像の各々に対応付けられている情報であって当該顕微鏡画像が撮像されたときの顕微鏡の観察状態を示している当該情報である顕微鏡情報を取得する取得手段と、前記顕微鏡情報に含まれており前記顕微鏡画像が撮像されたときの前記観察体の位置を示している位置情報に基づいて、前記動画像を構成している各顕微鏡画像を合成することで、当該顕微鏡画像よりも視野の広いワイド画像を生成する画像合成手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。

なお、上述した本発明に係る顕微鏡システムにおいて、前記顕微鏡は、前記観察体を載置するステージを備えており、前記位置情報は、前記ステージの位置を示す座標情報である、ように構成することもできる。

また、前述した本発明に係る顕微鏡システムにおいて、前記画像合成手段は、前記動画像を構成している各顕微鏡画像に対応付けられている前記位置情報に基づいて前記ワイド画像の外周枠の寸法を算出する算出手段と、前記動画像を構成している顕微鏡画像の各々を、当該顕微鏡画像に対応付けられている前記位置情報に基づいて前記外周枠内に配置する画像配置手段と、を有するように構成することもできる。

なお、このとき、前記画像合成手段は、前記外周枠内における前記画像配置手段による配置後の余白部分へ所定の画像を配置して埋めるように構成することもできる。
また、前述した本発明に係る顕微鏡システムにおいて、前記動画像と前記ワイド画像とを併せて表示する表示手段を更に有するように構成することもできる。

なお、このとき、前記表示手段により表示される前記ワイド画像には、前記動画像の表示として当該ワイド画像に併せて表示されている前記顕微鏡画像の撮像位置を示す枠が重ねられて表示されるように構成することもできる。

あるいは、このとき、前記顕微鏡システムは、ホスト側システムとセンタ側システムとを有しており、前記ホスト側システムは、前記顕微鏡、前記取得手段、及び前記画像合成手段を有しており、前記センタ側システムは、前記表示手段を有しており、通信網を介して前記ホスト側システムと前記センタ側システムとの間で各種のデータを授受する通信手段を更に有し、前記表示手段は、前記ホスト側システムから前記通信網を介して送付される、前記動画像を構成している各顕微鏡画像と前記ワイド画像とを表示する、ように構成することもできる。

なお、このとき、前記通信手段は、前記動画像を構成している顕微鏡画像の各々に対応付けられている前記顕微鏡情報を前記ホスト側システムから前記センタ側システムへ更に送付すると共に、当該センタ側システムにおいて当該顕微鏡画像の各々より選択される顕微鏡画像に対応付けられている前記顕微鏡情報を当該センタ側システムから当該ホスト側システムへ送付し、前記ホスト側システムは、前記顕微鏡を制御して、前記センタ側システムから送付される顕微鏡情報によって示されている観察状態を当該顕微鏡に再現させる顕微鏡制御手段を更に有する、ように構成することもできる。

なお、このとき、前記ホスト側システムは、前記表示手段により表示される前記ワイド画像に対する領域の選択の指示に応じ、当該選択に係る領域に対応する顕微鏡画像を、前記動画像を構成している顕微鏡画像より検索して選び出す検索手段を更に有し、前記通信手段は、前記検索手段が選び出した顕微鏡画像に対応付けられている前記顕微鏡情報を前記センタ側システムから前記ホスト側システムへ送付する、ように構成することもできる。

また、本発明の別の態様のひとつである顕微鏡画像の合成方法は、観察体を撮像して得られる時系列の顕微鏡画像を動画像として取得すると共に、当該顕微鏡画像の各々に対応付けられている情報であって当該顕微鏡画像が撮像されたときの顕微鏡の観察状態を示している当該情報である顕微鏡情報を取得し、前記顕微鏡情報に含まれており前記顕微鏡画像が撮像されたときの前記観察体の位置を示している位置情報に基づいて、前記動画像を構成している各顕微鏡画像を合成することで、当該顕微鏡画像よりも視野の広いワイド画像を生成する、ことを特徴とするものであり、この特徴によって前述した課題を解決する。

なお、観察体を撮像して得られる時系列の顕微鏡画像を動画像として取得すると共に、当該顕微鏡画像の各々に対応付けられている情報であって当該顕微鏡画像が撮像されたときの顕微鏡の観察状態を示している当該情報である顕微鏡情報を取得する処理と、前記顕微鏡情報に含まれており前記顕微鏡画像が撮像されたときの前記観察体の位置を示している位置情報に基づいて、前記動画像を構成している各顕微鏡画像を合成することで、当該顕微鏡画像よりも視野の広いワイド画像を生成する処理と、をコンピュータに行わせるためのプログラムも本発明に係るものであり、当該プログラムをコンピュータで実行させることによって、前述した課題が解決される。

本発明によれば、以上のようにすることにより、細胞診断スクリーニング等において、詳細観察ポイントの再現作業の速度が向上すると共に、作業者の負担が軽減するという効果を奏する。

以下、本発明の実施の形態を図面に基づいて説明する。

図１は本実施例に係る顕微鏡システムの構成を示している。
図１において、顕微鏡装置１に接続されたホストシステム２は、顕微鏡装置１の制御を行うと共に、観察体１９の動画像データと顕微鏡装置１の観察状態と観察体１９の座標とを同期して記録を行う。ビデオカメラ３は顕微鏡装置１を用いて取得される観察体１９の顕微鏡画像の撮影を行う。ホストシステム２に接続されたモニタ５は各種の画像の表示を行う。

顕微鏡装置１には透過観察用光学系と落射観察光学系とが備えられている。ここで、透過観察用光学系としては、透過照明用光源６と、透過照明用光源６の照明光を集光するコレクタレンズ７と、透過用フィルタユニット８と、透過視野絞り９と、透過開口絞り１０と、コンデンサ光学素子ユニット１１と、トップレンズユニット１２とが備えられている。また、落射観察光学系としては、落射照明用光源１３と、落射照明用光源１３の照明光を集光するコレクタレンズ１４と、落射用フィルタユニット１５と、落射シャッタ１６と、落射視野絞り１７と、落射開口絞り１８とが備えられている。

また、これらの透過観察用光学系と落射観察光学系との光路が重なる観察光路上には、観察体１９が載置され、上下左右の各方向に移動自在な電動ステージ２０が備えられている。電動ステージ２０の移動の制御はステージＸ−Ｙ駆動制御部２１とステージＺ駆動制御部２２とによって行われる。なお、電動ステージ２０は不図示の原点センサによる原点検出機能を備えており、電動ステージ２０に載置されている観察体１９の座標検出及び座標指定による移動制御を行うことができる。

また、観察光路上には、複数装着された対物レンズ２３ａ、２３ｂ、…（以下、必要に応じて「対物レンズ２３」と総称することとする）から観察に使用するものを回転動作により選択するレボルバ２４と、検鏡法を切り替えるキューブユニット２５と、観察光路を接眼レンズ２６側とビデオカメラ３側とに分岐するビームスプリッタ２７とが備えられている。また、微分干渉観察のために備えられているポラライザ２８、ＤＩＣ（Differential Interference Contrast）プリズム２９、及びアナライザ３０は、必要に応じて観察光路に挿入可能となっている。なお、これらの各ユニットは電動化されており、その動作は顕微鏡コントローラ３１によって制御される。

ホストシステム２に接続された顕微鏡コントローラ３１は、顕微鏡装置１全体の動作を制御する顕微鏡制御手段としての機能を有しており、上述した制御に加え、ホストシステム２からの制御信号に応じ、検鏡法の変更や、透過照明光源６及び落射照明用光源１３の調光を行う。また、顕微鏡コントローラ３１は、顕微鏡装置１による現在の検鏡状態をホストシステム２へ通知する機能も有している。更に、顕微鏡コントローラ３１はステージＸ−Ｙ駆動制御部２１及びステージＺ駆動制御部２２とも接続されており、電動ステージ２０の制御もホストシステム２から行うことができる。

顕微鏡操作部３４は、顕微鏡装置１に対する動作指示の入力をホストシステム２と共に取得するための各種入力部を備えたハンドスイッチであり、これに備えられている不図示のジョイスティックやエンコーダを操作することにより、電動ステージ２０の操作も行えるものとなっている。

ビデオカメラ３によって撮像された観察体１９の顕微鏡画像は、ビデオボード３２を介してホストシステム２に取り込まれる。ホストシステム２は、ビデオカメラ３に対して、自動ゲイン制御のＯＮ／ＯＦＦ、ゲイン設定、自動露出制御のＯＮ／ＯＦＦ、及び露光時間の設定を、カメラコントローラ３３を介して行うことができる。また、ホストシステム２は、ビデオカメラ３から送られてきた観察体１９の顕微鏡画像を、動画像データ及び静止画像データとしてデータ記録部４に保存することができる。データ記録部４に記録された動画像データ及び静止画像データはホストシステム２によって読み出され、画像表示部であるモニタ５で表示させることができる。

更に、ホストシステム２は、ビデオカメラ３で撮像された顕微鏡画像のコントラストに基づいて合焦動作を行う、いわゆるビデオＡＦ（Auto Focus）機能も提供する。
なお、ホストシステム２は、ごく標準的な構成のコンピュータであり、制御プログラムの実行によって顕微鏡システム全体の動作制御を司るＣＰＵ（中央演算装置）、このＣＰＵが必要に応じてワークメモリとして使用するメインメモリ、マウスやキーボードなどといったユーザからの各種の指示を取得するための入力部、この顕微鏡システムの各構成要素との間で各種データの授受を管理するインタフェースユニット、及び、各種のプログラムやデータを記憶しておく例えばハードディスク装置なとの補助記憶装置を有している。

次に、この顕微鏡システムの動作を説明する。
図２は、図１のホストシステム２によって行われる制御処理の処理内容をフローチャートで示したものである。この処理は、ホストシステム２のＣＰＵが所定の制御プログラムを実行することによって実現され、図１の顕微鏡システムのユーザによりなされる観察体１９の撮像開始の指示をホストシステム２が取得すると開始される。

図２において、まず、Ｓ２０１では、カメラコントローラ３３を介してビデオカメラ３を制御し、観察体１９の顕微鏡画像の撮像を開始させ、続くＳ２０２からＳ２０４の処理の繰り返しによって、観察体１９の動画像の録画が行われる。

Ｓ２０２では、ビデオカメラ３で撮像された観察体１９の時系列の顕微鏡画像を、ビデオボード３２を介して動画像として取得し、取得された時系列の顕微鏡画像を動画像のデータとしてホストシステム２内に一時的に記録する処理が行われる。

Ｓ２０３では、動画像を構成している顕微鏡画像毎に、観察体１９の現在位置を示す電動ステージ２０のＸＹ座標及びＺ座標の座標データを含む、顕微鏡装置１の現在の観察状態（顕微鏡画像が取得されたときの観察状態）を示している顕微鏡情報を、顕微鏡コントローラ３１を介して取得し、各顕微鏡画像と対応付けてホストシステム２内に一時的に記録する処理が行われる。従って、動画像のフレームレートが例えば３０コマ／秒であるときには、１秒間当たりで３０組の顕微鏡情報が取得される。

この顕微鏡情報の例を図３に示す。同図の表には、観察体１９の位置を示す位置情報としても利用される電動ステージ２０のＸ、Ｙ、及びＺ座標の値と共に、顕微鏡画像の倍率の情報、照明光の光量の情報、観察方法（検鏡法）の情報が示されている。

なお、顕微鏡情報としては、観察方法の情報の代わりに、顕微鏡画像の取得時に使用したフィルタの種類やキューブの種類を示す情報としてもよく、また、照明光の光量の情報に加え、挿入されているＮＤ（Neutral Density ）フィルタの種類を示す情報など、様々な情報を付加してもよい。

図２の説明へ戻る。
動画像の録画を開始させた後、ユーザは、観察体１９の観察像を見ながら顕微鏡操作部３４に備えられている不図示のジョイスティック等を操作して電動ステージ２０を移動させ、観察体１９の任意の場所を観察する（スクリーニング）。この間、観察体１９の顕微鏡画像は動画像として記録されると共に、各顕微鏡画像の取得時における顕微鏡装置１の観察状態を示している顕微鏡情報も記録される。

その後、Ｓ２０４において、観察体１９の観察が終了したことによってユーザによりなされる観察体１９の撮像停止の指示を取得したか否かを判定する処理が行われる。ここで、撮像停止指示を取得したと判定したとき（判定結果がＹｅｓのとき）にはＳ２０５に処理を進める。一方、撮像停止指示を未だ取得していないと判定したとき（判定結果がＮｏのとき）にはＳ２０２へと処理を戻し、観察体１９の動画像の録画を継続する。

Ｓ２０５では、上述した処理によってホストシステム２内に記録されていた動画像のデータと当該動画像を構成している各顕微鏡画像に対応付けられている顕微鏡情報とを、データ記録部４に記録して保存する処理が行われる。

Ｓ２０６では、次に説明するワイド画像作成処理が行われ、その後はこの図２の制御処理を終了する。
次に図４について説明する。同図は、図２のＳ２０６の処理であるワイド画像作成処理の処理内容をフローチャートで示したものである。この処理は、データ記録部４で保存されている観察体１９の動画像のデータと当該動画像を構成している各顕微鏡画像に対応付けられている顕微鏡情報とに基づいて、観察体１９の全体像が表されているワイド画像を作成する処理である。

まず、Ｓ４０１からＳ４０４では、図３に例示した顕微鏡情報から、電動ステージ２０のＸ及びＹ座標の各々の最大値と最小値とを検索して読み出す処理が行われる。
ここで図５について説明する。同図は、観察体１９の動画像を構成している顕微鏡画像の撮像領域の位置関係の例を示している。

図５においては、電動ステージ２０の位置座標を原点位置（Ｘ，Ｙ）＝（０，０）とし、図上において右上方向に行くにつれてＸ及びＹ座標の値が増加する。
図５の例においては、Ｘ座標が最大である位置で撮像された顕微鏡画像は「Ｄ」であり、そのＸ座標は１００００である。また、Ｙ座標が最大である位置で撮像された顕微鏡画像は「Ｃ」であり、Ｘ座標が最小である位置で撮像された顕微鏡画像は「Ａ」であり、Ｙ座標が最小である位置で撮像された顕微鏡画像は「Ｂ」である。

図４の説明へ戻る。
Ｓ４０５及びＳ４０６では、図３に例示した顕微鏡情報から顕微鏡画像の倍率の情報を検索して読み出すと共に、ビデオカメラ３の１フレームの画素数と実視野との関係を示す情報を、当該情報が予め記録されているホストシステム２の補助記憶装置から読み出す処理が行われる。そして、読み出した情報に基づいて、作成するワイド画像の外周枠のサイズを算出する処理がＳ４０７において行われる。

以下、このワイド画像の外周枠のサイズの算出について、図５の例を用いて説明する。
まず、動画像を構成している各顕微鏡画像が撮像されたときの電動ステージ２０の位置を示すＸ及びＹ座標の各々で最大のものと最小のものとの差を算出する。図５の例では、
Ｘ座標：１１０００−２０００＝９０００
Ｙ座標： ７０００−１０００＝６０００
となる。この算出結果は、動画像の撮像時における電動ステージ２０の座標の変化範囲を表している。

次に、電動ステージ２０の座標の変化範囲を実際の移動範囲に変換する。例えば、ここで、電動ステージ２０のＸＹ平面における移動分解能を２μｍとすると、
Ｘ方向移動範囲：９０００×２μｍ＝１８０００μｍ
Ｙ方向移動範囲：６０００×２μｍ＝１２０００μｍ
となる。

次に、顕微鏡画像の１フレーム当たりでの観察領域の実視野寸法を算出する。例えば、ここで、倍率１０倍の対物レンズ２３を使用することにより、１フレームの画素数が１５０×２００画素（ピクセル）であるビデオカメラ３で１．５ｍｍ×２．０ｍｍの実視野領域が撮像されるとすると、
Ｘ方向実視野寸法：１８０００μｍ＋２．０ｍｍ＝２０．０ｍｍ
Ｙ方向実視野寸法：１２０００μｍ＋１．５ｍｍ＝１３．５ｍｍ
となる。従って、ワイド画像枠は、２０．０ｍｍ×１３．５ｍｍの実視野領域に相当するものとなる。ここで、１画素当たりの表示領域が１０μｍであるから、この実視野領域全体の画面表示に必要な画素数は、
（２０．０［ｍｍ］×１００［画素］）×（１３．５［ｍｍ］×１００［画素］）
＝２０００画素×１３５０画素
となる。つまり、２０００×１３５０画素分の画像領域がワイド画像の作成用として準備され、ワイド画像の外周枠は、この画像領域を囲むサイズとなる。

図４の説明へ戻る。
Ｓ４０８では、観察体１９の動画像を構成している各顕微鏡画像を、当該顕微鏡画像の取得時における電動ステージ２０のＸ及びＹ座標に対応するワイド画像の画像領域の位置に配置して嵌め込む配置処理が行われる。

なお、この顕微鏡画像の配置処理は、動画像のデータにおいて時系列に並べられている顕微鏡画像の時間順に行われ、ワイド画像の画像領域に重畳して顕微鏡画像が嵌め込まれる場合には、後から嵌め込まれる方の顕微鏡画像を当該画像領域に上書き処理して嵌め込むようにする。なお、このときに、各顕微鏡画像で明るさを均一化する調整を行うようにしてもよい。

Ｓ４０９では、動画像を構成している全ての顕微鏡画像についてＳ４０８の嵌め込み処理を完了したか否かを判定する処理が行われる。ここで、全ての嵌め込み処理を完了したと判定したとき（判定結果がＹｅｓのとき）にはＳ４１０に処理を進める。一方、嵌め込み処理を行っていない顕微鏡画像が未だ残されていると判定したとき（判定結果がＮｏのとき）には、Ｓ４０８へと処理を戻して嵌め込み処理を繰り返す。

Ｓ４１０では、以上のようにして作成されるワイド画像のデータをデータ記録部４に記録して保存する処理が行われ、その後は図２へと処理を戻す。
以上までの処理がワイド画像作成処理である。

観察体１９の観察領域と作成されたワイド画像との関係を図６Ａ及び図６Ｂに示す。
図６Ａは、観察体１９の全体と、その観察像を動画像として記録しながら電動ステージ２０を移動させた際の軌跡との例を表す模式図である。同図に描かれている複数の長方形は、ビデオカメラ３の撮像領域を示す枠であり、この例では、左下の開始位置から観察体１９の観察を始め、その後は順に上方向、右方向、右下方向へと電動ステージ２０を移動させていることが分かる。

これに対し、図６Ｂは、この動画像から作成されたワイド画像の例である。なお、同図において、図５の処理によって算出されたワイド画像の枠内で動画像には顕微鏡画像が含まれていなかった画像領域については、モザイク等の所定の画像を配置して埋めておくようする。

以上までの処理をホストシステム２が行うことにより、図１の顕微鏡システムで、観察体１９に対するスクリーニングでの顕微鏡画像が取得されて動画像が生成され、更に、当該動画像を構成している顕微鏡画像よりも視野の広い、観察体１９についてのワイド画像が当該動画像から生成される。

次に、図１の顕微鏡システムのユーザは、以上のようにして得られた観察体１９の動画像及びワイド画像を参照して詳細な観察を所望するポイントを観察体１９から探し出し、各種の観察方法によって詳細な観察を行う。このとき記録に残すことを所望するポイントは、ビデオカメラ３で撮像し、静止画像として保存する。以降、この撮像によって取得される観察体１９の顕微鏡画像を詳細観察像と称することとする。

なお、図１の顕微鏡システムでは、この詳細観察像の撮像の際にも、前述した動画撮像時と同様に顕微鏡情報を取得してデータ記録部４に記録しておき、詳細観察像の位置（座標）や観察方法を後で参照できるようにしておく。

次に、以上のようにしてデータ記録部４に記録された各種の画像の閲覧方法について説明する。
図７は、ホストシステム２がモニタ５に表示させる画像表示画面の例を示している。

図７に示されている画面には、ユーザが各種の指示を顕微鏡システムに与えるために操作される操作部７００と、前述したワイド画像を縮小表示する画面右側の参照像表示部７１０と、データ記録部４で保存されている動画像や、参照画像表示部７１０に表示されている縮小ワイド画像の部分拡大画像が表示される画面左側の拡大再生表示部７２０とが設けられている。

ここで、操作部７００には、拡大再生表示部７２０での画像表示における表示モードを、動画モードと合成ワイド画像モードとの間で切り替えるためのモード切り替えボタン７０２、動画モードが選択されているときにおける動画再生の各種制御（再生開始、コマ送り、早送り、巻き戻し、一時停止、停止など）を行うためのボタンが設けられているコントロールＢＯＸ（ボックス）７０１とが備えられている。ここで、これら各種のボタンは、例えば不図示のマウス装置等のポインティングデバイスに対する、指標カーソルの当該ボタン上への移動操作とクリック操作とによって操作することができる。

拡大再生表示部７２０は、モード切り替えボタン７０２によって動画モードが選択されると、データ記録部４で保存されている動画像を表示し、合成ワイド画像モードが選択されると、前述したワイド画像を表示する。また、参照像表示部７１０には、前述のワイド画像の全域が表示されるようにした縮小画像を表示する。ここで、顕微鏡画像が取得されていなかった画像領域については、モザイク等の所定の画像が表示される。更に、動画像の撮像を開始したポイント（図中α）と、動画像の撮像を終了したポイント（図中β）には、観察時の撮像領域に相当する枠（図においては破線の枠）が表示される。

動画像の撮像時に記録した電動ステージ２０の位置を示す座標と動画像のフレーム（顕微鏡画像）のサイズとに基づいてワイド画像が生成されているので、動画像を構成している各フレーム画像とワイド画像における位置及び観察領域との対応関係は容易に知ることができる。そこで、モード切り替えボタン７０２によって動画モードが選択されているときには、図７の参照像表示部７１０上には、併せて拡大再生表示部７２０において再生表示されている動画フレーム（顕微鏡画像）が、参照像表示部７１０に表示されているワイド画像上のどの位置且つどの領域で撮像されたものであるのかを示す枠を重ねて表示する（図中γ）。つまり、コントロールＢＯＸ７０１のボタンを押下操作すると、保存されている動画像が拡大再生表示部７２０に表示されると共に、参照像表示部７１０には、拡大再生表示部７２０に表示の動画フレームの撮像位置を示す枠が表示され、その枠の位置は、拡大再生表示部７２０での動画像の進行に応じて刻々と変化する。なお、この枠は、動画像の撮像開始ポイント及び撮像終了ポイントを示す枠とは区別できる形態（図７においては実線の枠）で表示される。

また、前述した詳細観察像の撮像が行われた場合には、その詳細観察像の位置及び領域に対応する枠も、参照像表示部７１０の縮小ワイド画像に表示する（図中δ）。
ところで、参照像表示部７１０は、拡大再生表示部７２０に表示させる動画フレームの選択指示を行うことができるように構成されている。すなわち、図７において、γの枠をマウス等により操作可能なポインタでドラッグ操作すると、動画像の撮像時における電動ステージ２０の軌跡に沿ってγの枠を移動させることができ、移動させたγの枠位置に対応する動画フレームが、拡大再生表示部７２０に表示される。また、α及びβのいずれかの枠若しくは枠内に対しクリック操作が行われたときには、それぞれ開始位置及び終了位置での動画フレームを拡大再生表示部７２０に表示する。更に、δの枠若しくは枠内に対しクリック操作が行われたときには、データ記録部４で保存されている詳細観察像が拡大再生表示部７２０に表示される。

一方、モード切り替えボタン７０２によって、合成ワイド画像モードが選択されているときには、参照像表示部７１０に表示される縮小ワイド画像上の枠γに対応するワイド画像の部分像を拡大再生表示部７２０に表示する。なお、このとき、参照像表示部７１０の枠γは、マウス等に対する所定の操作によって拡大、縮小、及び移動が可能であり、これらの変形・移動のされた枠γに対応しているワイド画像を拡大再生表示部７２０に表示する。

なお、以上のようにして得られた動画像、ワイド画像、詳細観察画像、及び顕微鏡情報は一群のデータとしてデータ記録部４に纏めて記録しておき、所定のアプリケーションで読み出すと、観察時の状態をいつでも再現できるようにしておく。

以上のように、本実施例によれば、観察体１９の観察像を動画像として撮像しておき、その動画像から観察体１９のワイド画像を生成するので、特別な事前処理をすることなく迅速に観察体１９の全体像を把握することができる。また、観察体１９の観察の際に観察者が辿った観察経路が記録として残されるので、観察後の調査・検討が容易になる。

なお、本実施例では、ワイド画像の外周枠のサイズは、取得した顕微鏡情報における電動ステージ２０の位置を示すＸ及びＹ座標から算出していた。この代わりに、電動ステージ２０の移動範囲を予め設定するようにし、ワイド画像の枠のサイズが、図８に例示するように、その移動範囲に対応するサイズ（Ｘ方向及びＹ方向各々における電動ステージ２０の移動範囲と動画フレームの視野との和）に設定されるように構成してもよい。

また、本実施例では、観察体１９を載置するステージとして、モータ駆動である電動ステージ２０を顕微鏡装置１に備えていた。この代わりに、一般的な手動タイプのステージを顕微鏡装置１に備えるように構成することもできる。なお、この場合には、例えば、ステージを駆動させるために、ジョイスティックやボタン等の代わりに操作されるハンドル部にロータリーエンコーダを設ける、あるいは、ステージの可動部にリニアエンコーダを設ける等して、ステージの位置を表す座標を検出するように構成すればよい。

また、本実施例では、画像閲覧時には、生成したワイド画像の全域を参照像表示部７１０に縮小表示するようにしていた。この代わりに、ワイド画像のうちの限定した領域を参照像表示部７１０で選択的に表示させるようにしてもよい。このようにすることにより、作成したワイド画像の領域が動画フレーム１枚の撮像領域に比較して著しく広い場合に、枠γが極小となってその位置が判別し難くなってしまうことを回避できる。

また、本実施例では、ワイド画像の画像領域として、動画フレームの画像サイズを縮小することなくそのままで電動ステージ２０の移動領域を満たす分だけ用意するようにしていた。この代わりに、ワイド画像の枠のサイズを算出するときに、枠サイズを一定の割合にて縮小しておき、それに合わせて動画フレームの画像サイズを縮小してからワイド画像の枠内に貼り合わせるようにしてもよい。こうすることにより、ワイド画像のデータ量をコンパクトにすることができる。

また、本実施例では、ワイド画像における観察像を撮像していない領域には、モザイク等の規定画像を表示するようにした。この代わりに、ワイド画像の生成の元とした動画像を撮像した際の観察倍率よりも小さい観察倍率で予め撮像しておいた観察体１９全域の静止画像を表示させるようにしてもよい。なお、この場合において、当該静止画像は、生成されるワイド画像の画素数および表示領域に合わせるために、撮像した際の倍率と解像度の情報とに基づいて伸縮するようにする。

例えば、観察倍率１倍にて、観察体１９全域の観察像（静止画像）を撮像できたとし、そのときに記録した画像のサイズを１０００×１５００ピクセルとする。ここで、ワイド画像の元となる動画像を、観察倍率が２０倍で画像サイズ１００×１５０ピクセルで撮像していたとすると、この動画像の解像度で観察倍率１倍での撮像領域を満たすには２０００×３０００ピクセルの画像サイズが必要となる。従って、このときには、観察倍率１倍で撮像した静止画像をこのワイド画像のサイズに合わせるには、当該静止画像を２倍のサイズに伸長すればよい。

本実施例の特徴は、外部との通信が可能な通信部を実施例１におけるホストシステム２に備えるようにして観察体１９の観察画像を遠隔地へ送信すると共に、顕微鏡装置１の遠隔地での操作を可能とする点にある。

図９は本実施例に係る顕微鏡システムの構成を示している。なお、同図において、図１に示した顕微鏡システムの同一の構成要素には同一の符号を付し、その説明はここでは省略する。

図９において、ホストシステム２には、通信部９５が接続されている。また、ホストシステム２の設置場所から物理的・地理的に離れた場所に設置されている画像受信側システム（以下、「センタ」と称することとする。）は、ＣＰＵ、メモリ等からなる標準的な構成のコンピュータ９０に、表示装置としてモニタ９１を、そして、操作入力装置としてキーボード９３及びマウス装置９４を接続し、更に、ホストシステム２と同様の通信部９２を接続して構成されている。この通信部９２及び９５は、それぞれホストシステム２及びコンピュータ９０を電話回線や光ファイバ等の既存の通信網に接続し、この通信網を介してホストシステム２とセンタ側システムとの間で各種のデータの授受を可能とする。

次に、この顕微鏡システムの動作を説明する。
図９に示した顕微鏡システムでも、まず、ホストシステム２側でユーザが顕微鏡操作部３４を操作しながら観察体１９の顕微鏡観察像の動画の撮像を行い、続いて、取得された動画像から観察体１９のワイド画像を生成する。この一連の動作は、実施例１におけるものと同様であり、図２及び図４に示した制御処理をホストシステム２が行うことによって実現される。

次に、以上のようにして得られた観察体１９のワイド画像及び動画像をセンタ側で閲覧する動作を説明する。図１０Ａは、この閲覧処理の処理内容をフローチャートで示したものである。また、図１０Ｂは、図１０Ａに示した各処理ステップが図９におけるホストシステム２側とセンタ側とのどちらで行われるかを示した図である。

まず、Ｓ１００１では、閲覧用のアプリケーションソフトを起動する処理が、センタ側のコンピュータ９０において行われ、このアプリケーションソフトが起動すると、接続先であるホストシステム２の選択と、閲覧対象である観察体１８動画像及びワイド画像の選択とがなされ、この選択結果を示す情報がセンタ側のコンピュータ９０からホストシステム２へと送信される。センタ側のコンピュータ９０は、この選択結果を示す情報を取得すると、データ記録部４に記録されている観察体１９の動画像のデータ、ワイド画像データ、及び顕微鏡情報データをデータ記録部４から読み出して通信部９５に送信させる処理が行われる。

Ｓ１００２では、ホストシステム２側から送られてくる、観察体１９の動画像のデータ、ワイド画像データ、顕微鏡情報データを通信部９２に受信させる処理がセンタ側のコンピュータ９０で行われる。

Ｓ１００３では、受信したデータで表されている画像（動画像である顕微鏡画像及びワイド画像）をモニタ９１に表示させる処理がセンタ側のコンピュータ９０で行われる。
このＳ１００３の処理によってモニタ９１に表示される画面例を図１１に示す。

図１１の画面の構成は、図７に示した画面と同様であるが、操作部７００に設けられている表示モードの切り替えのためのボタンが、モード切り替えボタン７０２の代わりに、動画モード選択ボタン１００１、合成ワイド画像モード選択ボタン１００２、及びライブモード選択ボタン１００３の３つのボタンが設けられている点で異なっている。

ここで、動画モード選択ボタン１００１と合成ワイド画像モード選択ボタン１００２については、図７におけるモード切り替えボタン７０２を分離し、動画モードと合成ワイド画像モードとを個別選択できるようにしたものであり、これらのボタンが押下操作されたときの動作は実施例１と全く同じであるのでここでの説明は省略する。

ライブモード選択ボタン１００３は、観察体１９の現在のライブ画像をリアルタイムで表示させるライブモードを選択するためのボタンであり、このボタンが押下操作されると、ビデオカメラ３で現在撮像中の観察体１９の画像を拡大再生表示部７２０に表示する。

図１０Ａ及び図１０Ｂの説明へ戻る。
Ｓ１００４では、ライブモード選択ボタン１００３に対する押下操作が取得されたか否かを判定する処理がセンタ側のコンピュータ９０で行われる。ここで、当該操作を取得したと判定したとき（判定結果がＹｅｓのとき）にはＳ１００５に処理を進める。一方、当該操作を取得していないと判定したとき（判定結果がＮｏのとき）にはＳ１００３へと処理を戻して上述した処理が繰り返される。

Ｓ１００５では、ライブモード選択ボタン１００３に対する押下操作を取得した直前の表示モードが動画モードであったか否かを判定する処理がセンタ側のコンピュータ９０で行われる。ここで、このときの表示モードが動画モードであったと判定されたとき（判定結果がＹｅｓのとき）には、このときに拡大再生表示部７２０に表示されている顕微鏡画像が観察者によって選択されたものとみなし、Ｓ１００６に処理を進める。そして、このときに拡大再生表示部７２０に表示されている動画フレーム（顕微鏡画像）のフレーム番号を検出し、Ｓ１００２の処理で受信した顕微鏡情報よりそのフレーム番号に対応するものを抽出し、抽出された顕微鏡情報のホストシステム２側への送信を通信部９２に行わせる処理がセンタ側のコンピュータ９０で行われ、その後はＳ１００７に処理を進める。

一方、Ｓ１００５判定処理において、このときの表示モードが合成ワイド画像モードであったと判定されたとき（判定結果がＮｏのとき）には、Ｓ１００９において、拡大再生表示部７２０に現在表示されているワイド画像の部分領域表示における中心位置に最も近くの位置の画像領域を表している動画フレームを検索する処理がセンタ側のコンピュータ９０で行われる。例えば、ワイド画像が図１１に示すように拡大再生表示部７２０に表示されており、そのワイド画像の元となった動画フレームとして、画像Ａ、Ｂ、及びＣが存在している場合には、拡大再生表示部７２０に表示されている領域における中心点（図中の＋印）と、動画フレームの中心点の距離とが最も短い画像Ｂが選択される。

このＳ１００９に続くＳ１００６では、このようにして選択された動画フレームのフレーム番号を検出し、Ｓ１００２の処理で受信した顕微鏡情報よりそのフレーム番号に対応するものを抽出し、抽出された顕微鏡情報のホストシステム２側への送信を通信部９２に行わせる処理がセンタ側のコンピュータ９０で行われる。

Ｓ１００７では、観察体１９の観察像のビデオカメラ３での撮像を開始させる処理がホストシステム２で行われる。なお、このときの顕微鏡装置１の観察状態は、Ｓ１００６の処理によってセンタ側から送信された顕微鏡情報に示されている、電動ステージ２０のＸ、Ｙ、及びＺ座標の値、顕微鏡画像の倍率、照明光の光量、観察方法（検鏡法）を再現するように、ホストシステム２が顕微鏡コントローラ３１を制御して設定される。

Ｓ１００８では、ビデオカメラ３で撮像された動画像を表している画像データをセンタ側へと通信部９５に送信させる処理がホストシステム２で行われ、センタ側のコンピュータ９０ではこの画像データを通信部９２に受信させ、受信された画像データで表されている画像をモニタ９１の表示画面における拡大再生表示部７２０に表示させる処理が行われる。

以上のように、本実施例によれば、実施例１のシステムに、既存の通信網を介してデータのやり取りが可能なように構成したセンタ側システムを加えたことにより、いわゆる遠隔地診断において、センタ側システムからの指示で観察体１９の全域をスキャンさせることなく記録済みの画像から観察体１９の全体像を把握することができるので、迅速な診断が可能となる。

なお、本実施例においては、表示モードを動画モード以外（合成ワイド画像モード）からライブモードへ切り替える場合には、拡大再生表示部７２０に拡大表示中のワイド画像の画像領域に最も近い動画フレームの顕微鏡情報をホストシステム２へ送信して顕微鏡装置１の観察状態の再現を行っている。この代わりに、動画フレームに対応する電動ステージ２０のＸ及びＹ座標を、拡大表示中のワイド画像の中心がライブ像として表示させる動画フレーム画像の中心位置と一致するようなＸＹ座標を計算により求めるようにし、この算出された座標をセンタ側からホストシステム２へと伝送し、その座標でしめされる位置へ電動ステージ２０を移動させるようにしてもよい。

以上のように、本発明のどちらの実施例によっても、細胞診断スクリーニング等において、ユーザが観察体１９を顕微鏡装置１で任意に観察したときの顕微鏡装置１の観察状態を観察体１９の観察像に関連付けて記録し、そこから観察体１９の全体像を把握できるワイド画像を生成することができる。従って、詳細な観察ポイントの再現作業や発見作業が効率的になると共に、作業者の作業負担が大きく軽減される。

以上、本発明の各実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。

実施例１に係る顕微鏡システムの構成を示す図である。 図１のホストシステムによって行われる制御処理の処理内容をフローチャートで示した図である。 顕微鏡情報の例を示す図である。 ワイド画像作成処理の処理内容をフローチャートで示した図である。 観察体の動画像を構成している顕微鏡画像の撮像領域の位置関係の例を示す図である。 観察体の全体と、その観察像を動画像として記録しながら電動ステージを移動させた際の軌跡との例を表す模式図を示す図である。 動画像から作成されたワイド画像の例を示す図である。 ホストシステムがモニタに表示させる画像表示画面の例を示す図である。 ワイド画像の外周枠を電動ステージの移動範囲に対応するサイズに設定する例を示す図である。 実施例２に係る顕微鏡システムの構成を示す図である。 閲覧処理の処理内容をフローチャートで示した図である。 図１０Ａに示した各処理ステップが図９におけるホストシステム側とセンタ側とのどちらで行われるかを示した図である。 拡大再生表示部に表示されているワイド画像の部分領域表示における中心位置に最も近くの位置の画像領域を表している動画フレームの検索の例を示す図である。

符号の説明

１ 顕微鏡装置
２ ホストシステム
３ ビデオカメラ
４ データ記録部
５ モニタ
６ 透過照明用光源
７ コレクタレンズ
８ 透過用フィルタユニット
９ 透過視野絞り
１０ 透過開口絞り
１１ コンデンサ光学素子ユニット
１２ トップレンズユニット
１３ 落射照明用光源
１４ コレクタレンズ
１５ 落射用フィルタユニット
１６ 落射シャッタ
１７ 落射視野絞り
１８ 落射開口絞り
１９ 観察体
２０ 電動ステージ
２１ ステージＸ−Ｙ駆動制御部
２２ ステージＺ駆動制御部
２３、２３ａ、２３ｂ 対物レンズ
２４ レボルバ
２５ キューブユニット
２６ 接眼レンズ
２７ ビームスプリッタ
２８ ポラライザ
２９ ＤＩＣプリズム
３０ アナライザ
３１ 顕微鏡コントローラ
３２ ビデオボード
３３ カメラコントローラ
３４ 顕微鏡操作部
９０ コンピュータ
９１ モニタ
９２、９５ 通信部
９３ キーボード
９４ マウス装置
７００ 操作部
７０１ コントロールＢＯＸ
７０２ モード切り替えボタン
７１０ 参照像表示部
７２０ 拡大再生表示部
１００１ 動画モード選択ボタン
１００２ 合成ワイド画像モード選択ボタン
１００３ ライブモード選択ボタン

Claims (11)

1. 観察体を撮像して得られる時系列の顕微鏡画像を動画像として取得すると共に、当該顕微鏡画像の各々に対応付けられている情報であって当該顕微鏡画像が撮像されたときの顕微鏡の観察状態を示している当該情報である顕微鏡情報を取得する取得手段と、
   前記顕微鏡情報に含まれており前記顕微鏡画像が撮像されたときの前記観察体の位置を示している位置情報に基づいて、前記動画像を構成している各顕微鏡画像を合成することで、当該顕微鏡画像よりも視野の広いワイド画像を生成する画像合成手段と、
   を有することを特徴とする顕微鏡システム。
2. 前記顕微鏡は、前記観察体を載置するステージを備えており、
   前記位置情報は、前記ステージの位置を示す座標情報である、
   ことを特徴とする請求項１に記載の顕微鏡システム。
3. 前記画像合成手段は、
   前記動画像を構成している各顕微鏡画像に対応付けられている前記位置情報に基づいて前記ワイド画像の外周枠の寸法を算出する算出手段と、
   前記動画像を構成している顕微鏡画像の各々を、当該顕微鏡画像に対応付けられている前記位置情報に基づいて前記外周枠内に配置する画像配置手段と、
   を有することを特徴とする請求項１に記載の顕微鏡システム。
4. 前記画像合成手段は、前記外周枠内における前記画像配置手段による配置後の余白部分へ所定の画像を配置して埋めることを特徴とする請求項３に記載の顕微鏡システム。
5. 前記動画像と前記ワイド画像とを併せて表示する表示手段を更に有することを特徴とする請求項１に記載の顕微鏡システム。
6. 前記表示手段により表示される前記ワイド画像には、前記動画像の表示として当該ワイド画像に併せて表示されている前記顕微鏡画像の撮像位置を示す枠が重ねられて表示されることを特徴とする請求項５に記載の顕微鏡システム。
7. 前記顕微鏡システムは、ホスト側システムとセンタ側システムとを有しており、
   前記ホスト側システムは、前記顕微鏡、前記取得手段、及び前記画像合成手段を有しており、
   前記センタ側システムは、前記表示手段を有しており、
   通信網を介して前記ホスト側システムと前記センタ側システムとの間で各種のデータを授受する通信手段を更に有し、
   前記表示手段は、前記ホスト側システムから前記通信網を介して送付される、前記動画像を構成している各顕微鏡画像と前記ワイド画像とを表示する、
   ことを特徴とする請求項５に記載の顕微鏡システム。
8. 前記通信手段は、前記動画像を構成している顕微鏡画像の各々に対応付けられている前記顕微鏡情報を前記ホスト側システムから前記センタ側システムへ更に送付すると共に、当該センタ側システムにおいて当該顕微鏡画像の各々より選択される顕微鏡画像に対応付けられている前記顕微鏡情報を当該センタ側システムから当該ホスト側システムへ送付し、
   前記ホスト側システムは、前記顕微鏡を制御して、前記センタ側システムから送付される顕微鏡情報によって示されている観察状態を当該顕微鏡に再現させる顕微鏡制御手段を更に有する、
   ことを特徴とする請求項７に記載の顕微鏡システム。
9. 前記ホスト側システムは、前記表示手段により表示される前記ワイド画像に対する領域の選択の指示に応じ、当該選択に係る領域に対応する顕微鏡画像を、前記動画像を構成している顕微鏡画像より検索して選び出す検索手段を更に有し、
   前記通信手段は、前記検索手段が選び出した顕微鏡画像に対応付けられている前記顕微鏡情報を前記センタ側システムから前記ホスト側システムへ送付する、
   ことを特徴とする請求項８に記載の顕微鏡システム。
10. 観察体を撮像して得られる時系列の顕微鏡画像を動画像として取得すると共に、当該顕微鏡画像の各々に対応付けられている情報であって当該顕微鏡画像が撮像されたときの顕微鏡の観察状態を示している当該情報である顕微鏡情報を取得し、
    前記顕微鏡情報に含まれており前記顕微鏡画像が撮像されたときの前記観察体の位置を示している位置情報に基づいて、前記動画像を構成している各顕微鏡画像を合成することで、当該顕微鏡画像よりも視野の広いワイド画像を生成する、
    ことを特徴とする顕微鏡画像の合成方法。
11. 観察体を撮像して得られる時系列の顕微鏡画像を動画像として取得すると共に、当該顕微鏡画像の各々に対応付けられている情報であって当該顕微鏡画像が撮像されたときの顕微鏡の観察状態を示している当該情報である顕微鏡情報を取得する処理と、
    前記顕微鏡情報に含まれており前記顕微鏡画像が撮像されたときの前記観察体の位置を示している位置情報に基づいて、前記動画像を構成している各顕微鏡画像を合成することで、当該顕微鏡画像よりも視野の広いワイド画像を生成する処理と、
    をコンピュータに行わせるためのプログラム。