JP4937850B2 - 顕微鏡システム、そのｖｓ画像生成方法、プログラム - Google Patents

Description

本発明は、複数枚の顕微鏡画像を繋ぎ合わせて広視野且つ高精細な画像を生成する顕微鏡システムに関する。

従来、顕微鏡を用いて標本を観察する場合、一度に観察できる範囲は、主に対物レンズの倍率によって決まる。高倍率になるほど、高精細な画像が得られる反面、観察範囲が狭くなってしまう。そこで、電動ステージ等を利用して視野を移動しながら、複数枚の画像を撮影し、それらを貼合わせる（又は結合する）ことで、広視野かつ高解像な顕微鏡画像を作成し、病理診断等に活用するシステム（以下、バーチャル顕微鏡システムと言う）が知られている。

例えば、特許文献１や特許文献２には、予め観察体の画像を小区画に分割し、当該小区画に対応する観察体の各部分を高解像度の対物レンズで撮影し、得られた小区画毎の顕微鏡画像を繋ぎ合わせることにより、観察体の全体画像（広視野かつ高解像な顕微鏡画像；以下、ＶＳ（Virtual Slide；バーチャルスライド）画像というものとする）を再構築する上記バーチャル顕微鏡システムが開示されている。また、特許文献３，４にも同様に、広視野かつ高解像な顕微鏡画像を作成するシステムが開示されている。

標本全体を高精細に画像化するＶＳ（Virtual Slide；バーチャルスライド）画像は、パソコンとネットワーク環境があれば、場所、時間を問わずに何時でも何処でも誰でも閲覧可能であり、医学生の病理学実習に加え、病理医間の遠隔コンサルテーションにも活用され始めている。尚、ＶＳ画像は、Whole Slide Imagingとも呼ばれる。

また、従来から行われているＨＥ（ヘマトキシリン・エオジン）染色やパパニコロウ染色といった通常染色による組織又は細胞の形態情報に基づく形態診断を補間する目的で、遺伝子やタンパクの発現異常を調べるための分子学的病理検査が行われている。すなわち、形態異常の診断は、従来の通常染色による明視野観察で行い、遺伝子／タンパク発現異常といった機能異常の診断を、蛍光観察で行うといったことが実施されている。

蛍光標本は、長期保存ができないので、バーチャル顕微鏡システムでＶＳ画像化することは、診断の根拠の記録・保持にもつながり、非常に有用である。
特開平９−２８１４０５号公報 特開平１０−３３３０５６号公報 特開２００６−３４３５７３号公報 特表２００２−５１４３１９号公報

しかしながら、蛍光標本は明視野標本に比べて暗く撮影時間が長くなり、標本全体をＶＳ画像化する為には、一般的には数時間以上は掛かってしまう。また、分子病理診断で必要な検査領域は、腫瘍部であり、正常部位は検査対象外であることが多い。従って、腫瘍部がごく僅かな標本の場合は、画像取得に際して無駄な時間を費やすだけでなく、不必要な画像容量の増大を招くことにもなる。また、蛍光標本は、未励起状態では無色透明であり、明視野観察で特定した腫瘍部位を未励起状態で確認することは非常に困難である。また、励起状態でも、標本の褐色といった問題が存在する他に、形態情報が乏しいために、腫瘍部位を特定することは困難である。また、蛍光シグナルをカウントするといった場合においても、形態情報が乏しいが故に同一シグナルを重複してカウントしたり、その逆にカウント漏れが生じる場合がある。

本発明の課題は、明視野観察法のもとで作成された標本全体画像上で標本の一部の領域を指定させ、この一部の領域に対して蛍光観察法のもとでＶＳ画像を作成することで、蛍光観察法のもとで作成するＶＳ画像である蛍光ＶＳ画像の作成処理時間を大幅に短縮し且つ当該蛍光ＶＳ画像のデータサイズを削減することができる顕微鏡システム、そのＶＳ画像生成方法、プログラム等を提供することである。

本発明の顕微鏡システムは、顕微鏡の対物レンズと標本を光軸に対して直交方向に相対的に移動させて取得した複数枚の顕微鏡画像群を相互に結合して成るＶＳ画像を生成するＶＳ画像生成手段を有する顕微鏡システムにおいて、第１の観察法のもとで前記ＶＳ画像生成手段により前記標本全体の前記ＶＳ画像を生成させて、該生成した第１観察法ＶＳ画像を記憶する第１観察法ＶＳ画像生成・記憶手段と、前記第１観察法ＶＳ画像を表示して、該表示画像上で任意の１以上の注目領域を指定させて該注目領域の座標情報を記憶する注目領域指定手段と、第２の観察法のもとで前記ＶＳ画像生成手段により前記注目領域の前記ＶＳ画像を生成させて、該生成した第２観察法ＶＳ画像を記憶する第２観察法ＶＳ画像生成・記憶手段とを有する。

上記顕微鏡システムは、例えば更に、任意の前記注目領域に係る前記第２観察法ＶＳ画像と、前記第１観察法ＶＳ画像における該任意の注目領域の画像とを、並列又は合成表示する注目領域画像表示手段を有する。

上記顕微鏡システムは、例えば更に、前記第２観察法への切り替えの際に前記標本が脱着される場合、該標本脱着前に生成された該標本の画像と標本脱着後に生成された該標本の画像とを比較することにより該標本の平行位置ズレ量を求めて、該位置ズレ量を用いて前記記憶してある注目領域の座標を補正する第１の注目領域座標補正手段を備え、前記第２観察法ＶＳ画像生成・記憶手段は、該補正後の注目領域座標を用いて前記第２観察法ＶＳ画像の生成を行う。

上記顕微鏡システムは、例えば更に、前記第２観察法で用いる標本が前記第１観察法で用いる標本の近傍切片である場合、前記第１観察法で用いる標本の画像と前記第２観察法で用いる標本の画像とを比較することにより、該２つの標本間の平行位置ズレ量及び回転ズレ量を求めて、該平行位置ズレ量及び回転ズレ量を用いて前記注目領域の座標を補正する第２の注目領域座標補正手段を備え、前記第２観察法ＶＳ画像生成・記憶手段は、該補正後の注目領域座標を用いて前記第２観察法ＶＳ画像の生成を行う。

例えば、前記第１観察法は明視野観察法であり、前記第２観察法は蛍光観察法である。

本発明の顕微鏡システム、そのＶＳ画像生成方法、プログラム等によれば、明視野観察法のもとで作成された標本全体画像上で標本の一部の領域を指定させ、この一部の領域（腫瘍部位等）に対して蛍光観察法のもとでＶＳ画像を作成することで、蛍光観察法のもとで作成するＶＳ画像である蛍光ＶＳ画像の作成処理時間を大幅に短縮し且つ当該蛍光ＶＳ画像のデータサイズを削減することができる。

以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本例の顕微鏡システム全体の構成例を示す図である。
図１に示す顕微鏡装置１には、透過観察用光学系として、透過照明用光源６と、透過照明用光源６の照明光を集光するコレクタレンズ７と、透過用フィルタユニット８と、透過視野絞り９と、透過開口絞り１０と、コンデンサ光学素子ユニット１１と、トップレンズユニット１２とが備えられている。また、落射観察光学系として、落射照明用光源１３と、コレクタレンズ１４と、落射用フィルタユニット１５と、落射シャッタ１６と、落射視野絞り１７と、落射開口絞り１８とが備えられている。

また、これらの透過観察用光学系の光路と落射観察用光学系の光路とが重なる観察光路上には、標本１９が載置される、光軸と平行／垂直の各方向に移動可能な電動ステージ２０を備えている。この電動ステージ２０の移動の制御は、ステージＸ−Ｙ駆動制御部２１とステージＺ駆動制御部２２とによって行われる。尚、電動ステージ２０は、原点センサによる原点位置検出機能（不図示）を有しており、電動ステージ２０に載置した標本１９の各部に対して座標を設定することができる。

また、観察光路上には、複数装着された対物レンズ２３ａ、２３ｂ、・・・（以下、必要に応じて「対物レンズ２３」と総称する）のなかから、そのとき観察に使用する対物レンズ２３を回転動作により選択するレボルバ２４と、検鏡法に応じて選択的に光路に挿入される光学キューブ２５ａ，２５ｂ，・・・（以下、必要に応じて「光学キューブ２５」と総称する）と、観察光路を接眼レンズ２６側とＴＶカメラ３側とに分岐するビームスプリッタ２７とが備えられている。更に、微分干渉観察用のポラライザー２８、ＤＩＣ (Differential Interference Contrast)プリズム２９、及びアナライザー３０は、観察光路に挿入可能となっている。尚、これらの各ユニットは、電動化されており、その動作は後述する顕微鏡コントローラ３１によって制御される。

ホストシステム２に接続された顕微鏡コントローラ３１は、顕微鏡装置１全体の動作を制御する機能を有するものであり、ホストシステム２からの制御信号に応じて、検鏡法の変更、透過照明用光源６及び落射照明用光源１３の調光等といった各ユニットの制御を行うと共に、現在の顕微鏡装置１による現在の各ユニットの状態を検出して、これをホストシステム２へ送出する機能を有している。また、顕微鏡コントローラ３１は、ステージＸ−Ｙ駆動制御部２１及びステージＺ駆動制御部２２にも接続されており、電動ステージ２０の制御も顕微鏡コントローラ３１を介してホストシステム２が行うことができる。

ＴＶカメラ３内の撮像素子であるＣＣＤによって撮像された標本１９（観察体）の顕微鏡画像は、ビデオボード３２を介してホストシステム２に取り込まれる。ホストシステム２は、ＴＶカメラ３に対して、自動ゲイン制御のＯＮ／ＯＦＦ、ゲイン設定、自動露出制御のＯＮ／ＯＦＦ、及び露光時間の設定を、カメラコントローラ３３を介して行うことができる。また、ホストシステム２は、ＴＶカメラ３から送られてきた上記顕微鏡画像を、画像データファイルとしてデータ記録部４に保存することができる。データ記録部４は、例えばハードディスクや大容量メモリ等である。データ記録部４に記録された画像データは、任意のときに例えばユーザ操作等に応じて、ホストシステム２によって読み出されて、当該画像データで表わされている顕微鏡画像を、表示部であるモニター５に表示させることができる。

更に、ホストシステム２は、ＴＶカメラ３によって撮像された画像のコントラストに基づいて合焦動作を行う、いわゆるビデオＡＦ機能も有しており、このビデオＡＦ機能によって得られた合焦位置の座標を、撮影座標記録部３４に記録する機能も有している。

尚、ホストシステム２は、特に図示しないが、制御プログラムの実行によって顕微鏡システム全体の動作制御を司るＣＰＵ（中央演算装置）、このＣＰＵが必要に応じてワークメモリとして使用するメインメモリ、マウスやキーボード等といったユーザからの各種の指示を取得する為の入力部、この顕微鏡システムの上記各構成要素との間で各種データの授受を管理するインタフェースユニット、及び各種のプログラムやデータを記憶しておく例えばハードディスク装置等の補助記憶装置、及びディスプレイ等の表示装置を有している、ごく標準的な構成のコンピュータである。

そして、上記ＣＰＵが、上記補助記憶装置に記憶されている所定のアプリケーションプログラムをメインメモリ上に読み出して実行することにより、後述する各種処理（特に、図２、図８、図１０に示すフローチャートの処理や、図７、図９等で説明する処理）を実現する。これら処理の際、ホストシステム２は、上記顕微鏡コントローラ３１に対して制御信号を送り、顕微鏡コントローラ３１によって上述した例えば電動ステージ２０の移動制御や、検鏡法の変更等の顕微鏡装置１の各ユニットの制御や、各ユニットの状態検出等を行わせる場合があり、以下の説明ではこの様なことは逐一説明しないものとする。

以下、上記図１に示す顕微鏡システムの動作について説明する。
本例では、第一の観察法として明視野観察を、第二の観察法として蛍光を選択した場合について説明する。

図２は、第一の観察法（明視野観察）によるＶＳ画像形成処理を示すフローチャート図である。
尚、ＶＳ画像とは、広義には複数枚の顕微鏡画像を貼合わせて生成する画像のことであり、狭義には特に上述したように上記複数枚の顕微鏡画像を貼合わせて生成する広視野かつ高解像な顕微鏡画像のことである。

また、図３は、スライドガラス標本（スライドガラス上に標本１９が載せられたもの）の一例を示す図である。図１では標本１９のみ示しているが、実際には当該スライドガラス標本が電動ステージ２０上にセットされることになる。これより、以下、スライドガラス標本１９と記す場合もある。

図４は、フォーカスマップ作成の為、標本領域全体の画像を多数の小区画に分割した状態を示す図である。図５は、フォーカスマップのデータ構成例である。
以下、図３〜図５も参照して、図２に示す第一の観察法（明視野観察）によるＶＳ画像形成処理について説明する。但し、この処理については本出願人が出願した上記特許文献３に記述されており、更に本出願人が出願した上記特許文献１に詳細が記述されているので、詳細説明は割愛し、ここでは簡単に説明する。尚、既に述べてある通り、図２に示す処理は、ホストシステム２が実行する。

まず、図２のステップＳ１００において、透過明視野観察法を実現すべく各種光学部材の光路への装脱制御を行う。すなわち、透過明視野観察状態を構築すべく、顕微鏡コントローラ３１を介して、落射シャッタ１６を光路に挿入し、明視野観察用の光学キューブ２５を光路に挿入し、透過照明用光源６を点灯するといった制御が行われる。つまり、観察法を明視野観察法に切り替える制御が行われる。そして、明視野観察法のもとで以下のステップＳ１０１〜Ｓ１０６の処理を実行する。

まず、ステップＳ１０１において、例えば４倍といった低倍の対物レンズ２３を光路に挿入する。次に、ステップＳ１０２において、図３に示すスライドガラス４０上の所定の標本サーチ範囲４１（例；縦：２５mm×横：５０mm）を、ＴＶカメラ３に投影される撮影領域幅に応じて分割する（換言すれば、ステップＳ１０１で光路に挿入した対物レンズ２３の倍率に応じて分割する）。そして、当該標本サーチ範囲４１を分割して成る複数の各区画に対して、電動ステージ２０をＸＹ方向移動して、移動先の区画でＴＶカメラ３を介して顕微鏡画像を取得することを繰り返し行う。これによって得られた複数の顕微鏡画像（低倍率による各区画の画像）を相互に結合することで、スライド全体像画像（図３に示す標本サーチ範囲４１全体の画像）を生成し、データ記録部４にスライド全体像画像ファイルとして記憶する。

尚、上記ＸＹ方向移動とは、光軸に対して直交方向の平面上での移動を意味し、上記ステージＸ−Ｙ駆動制御部２１によって電動ステージ２０の移動制御が行われるものである。

尚、標本サーチ範囲４１は、予め設定されている、スライドガラス４０上の任意の領域であり、標本１９は必ず標本サーチ範囲４１内に載置される。尚、図３に示すようにスライドガラス４０上には、ラベル４３を貼る領域等も予め決められている。

次に、ステップＳ１０３において、予め決められている（又はオペレータ等が操作して指示する）例えば４０倍等の高倍の対物レンズ２３を光路に挿入する。これは、第一の観察法（明視野観察法）のもとで高精細画像を取得する為に対物レンズ２３を切り替えるものである。

そして、ステップＳ１０４において、上記ステップＳ１０２で取得した標本サーチ範囲４１の全体画像を基に、スライドガラス４０上に実際に標本１９が載っている領域を自動抽出する（図３に示す標本領域４２を決定する）。

この標本領域４２の決定処理は、既存の方法で行えるので、特に詳細には説明しないが、例えば、予め標本領域４２は矩形にするものと決められており、上記全体画像を標本の有無により２値化して、Ｘ方向、Ｙ方向それぞれに標本の有る部分をサーチすることで、標本領域４２を決定できる。尚、標本領域４２は、オペレータ等がマウス等を操作して任意に指定してもよい。

そして、この標本領域４２内を例えば図４に示すように千鳥格子状に分割する。尚、この千鳥格子の１区画（小区画）の領域サイズは、上記ステップＳ１０３で選択された高倍の対物レンズ２３を用いた場合のＴＶカメラ３に投影される撮影領域を表している。また、各小区画の図４の画面上でのＸＹ座標（ここでは各小区画は矩形であり、例えば矩形の中心座標）を求め、更にこの画面上での座標を電動ステージ２０上でのＸＹ座標に変換する。

尚、画像上のＸＹ座標を実際の電動ステージ２０上の物理的なＸＹ座標に変換する計算方法は、撮影倍率、撮影素子情報（画素数、画素サイズ）から算出するものであり、特許文献１に詳細が記述されているので、ここでの説明は省略する。

そして、この千鳥格子の各小区画毎に合焦位置（Ｚ座標）を求めるのであるが、例えば図４に示すように区画数が多数である場合には、全ての小区画について実測により合焦位置を求めようとすると非常に時間が掛かることになる。そこで、本例では、全ての小区画の中からサンプリング（実測）する小区画（例えば図４に示すフォーカス位置抽出ポイント）を自動抽出する。この自動抽出は、例えばランダムに抽出してもよいし、規則的に（例えば３区画置きに）抽出するものであってもよい。つまり、自動抽出処理内容は任意に決めてよい。

次に、ステップＳ１０５において、電動ステージ２０をＸＹ方向移動制御して、ステップＳ１０４で抽出した各フォーカス位置抽出ポイントに光軸位置を移動させて、各抽出ポイント毎に、Ｚ軸移動制御を行いながらＴＶカメラ３を介して標本像を入力してコントラスト評価することで、実測による合焦位置（Ｚ座標）を求める。更に、上記ステップＳ１０４でフォーカス位置抽出ポイントとして抽出されなかった領域（小区画）については、その近傍のフォーカス位置抽出ポイントの実測合焦位置（Ｚ座標）に基づき補間演算により合焦位置（Ｚ座標）を求める。

以上の処理を行うことで、例えば図５に一例を示すフォーカスマップ５０が作成され、これを撮影座標記録部３４に格納する。
図示のフォーカスマップ５０には、上記合焦位置（Ｚ座標）を求めた各小区画毎に、その配列番号５１とステージ座標５２とが格納される。配列番号５１は、例えば図４に示したように、各小区画に対してＸ方向、Ｙ方向それぞれに例えば１，２，３、・・・というように規則的に割り当てた番号であり、例えば図示の標本領域４２の左上端の小区画の配列番号５１は、（Ｘ軸，Ｙ軸）＝（１，１）である。

尚、図５に示す例では、配列番号５１にＺ軸があるが、これは後述する“異なる焦点位置を有する３次元のＶＳ蛍光画像”を作成する場合に必要となるものであり、ここでは特に必要ないものとして説明する。ステージ座標５２は、その小区画の中心座標である。尚、このステージ座標５２におけるＸ軸−Ｙ軸座標は、図４に示す画像上の座標ではなく、電動ステージ２０上の物理的なＸＹ座標である。

そして、ステップＳ１０６において、上記作成したフォーカスマップ５０の情報を基に電動ステージ２０を制御して、各小区画毎の画像を取得する。すなわち、光軸位置及び合焦位置を、フォーカスマップ５０に登録されている各ステージ座標５２が示すＸＹＺ座標へ移動させ、ＴＶカメラ３を介して画像を入力する。そして、入力した各小区画の画像をこれと隣接する小区画の画像と結合する。この画像入力・結合処理を、フォーカスマップ５０に登録された全小区画に対して完了するまで繰返すことで、高倍の対物レンズ２３を用いた高精細な顕微鏡画像を相互に結合して成る標本領域４２全体画像、すなわち広視野で且つ高精細な顕微鏡画像（ＶＳ画像）の作成が完了し、これがデータ記録部４に画像ファイルとして格納される。

尚、ステップＳ１０１からＳ１０６までの処理は自動化されており、オペレータはスライドガラス標本１９を電動ステージ２０に載せて、不図示の操作画面で走査開始操作を行うだけで、広視野で且つ高精細な顕微鏡画像が自動的に作成できる。また、データ記録部４に格納される画像ファイルは、公知のＪＰＥＧ、ＪＰＥＧ２０００といった圧縮アルゴリズムで圧縮保存可能なことは当然のこととする。

また、尚、上記対物レンズ２３に係る“低倍”／“高倍”の区別は、明確な線引きがあるものではない。上記の例では、２倍、４倍等は低倍、４０倍、６０倍等は高倍としているが、この例に限るものではない。但し、当然、“高倍”の対物レンズ２３は、“低倍”の対物レンズ２３よりも倍率が高いものであり、上記“低倍”／“高倍”は、少なくともこの様な相対的な意味での“低倍”／“高倍”の条件は満たす必要がある。

また、スライドガラス標本１９のラベル４３等にバーコード印刷されているスライド標本番号を、ホストシステム２に接続されている不図示のバーコードリーダで読み出し、データ記録部４に格納される画像ファイルの付帯情報として同時に記録することが可能といったことも当然のこととする。

ステップＳ１０１からＳ１０６のうちの任意のステップで一時停止し、オペレータの操作介在を可能とし、標本領域の変更、サンプリングするフォーカス位置抽出ポイントの変更／追加／削除、使用する高倍対物レンズ２３の倍率変更といった、各ステップでの調整作業も可能なことは当然のこととする。さらに、対物レンズ２３の変換に伴う顕微鏡の照明系の最適化は、当然のこととする。

また、特許文献１に記載の通り、電動ステージ２０のＸＹ方向移動（水平方向移動；光軸に直交する平面上での移動）の際に、各小区画毎に、それに隣接する小区画の画像とのオーバラップ領域を設けて移動を行い、オーバラップ領域を含む各画像を取得し、これら各画像の貼り合わせ処理を行うことで、ステージ精度に伴う画像の不連続を解消するといったことも可能である。その場合は、上記ステップＳ１０５にて作成するフォーカスマップの１区画の領域サイズは、高倍の対物レンズ２３を用いた場合のＴＶカメラ３に投影される撮影領域から貼合せ処理用のオーバラップ領域を除いたサイズとなる。

図６に、データ記録部４に画像ファイルとして格納されるＶＳ画像データの書式例（データ構成例）を示す。尚、図６に示すデータ構成例は、上述した処理によって得られる明視野観察法によるＶＳ画像（以下、明視野ＶＳ画像という）に限らず、後述する蛍光観察法によるＶＳ画像（以下、蛍光ＶＳ画像という）のデータ構成例でもある。

まず、図６（ａ）には、ＶＳ画像ファイル全体のデータ構成図を示す。図示のＶＳ画像ファイル６０は、付帯情報６１、標本サーチ範囲画像データ６２、広視野・高精細画像データ６３、及び注目領域指定情報６４より成る。

付帯情報６１は、図６（ｂ）に示すように、観察法７１、スライド番号７２、標本サーチ範囲画像データ６２の撮影倍率７３等の情報より成る。観察法７１は、広視野・高精細画像データ６３作成の際に適用された観察法であり、上記明視野観察法、蛍光観察法等である。スライド番号７２は、各スライドガラス標本１９に任意に割り当てられる識別番号であり、例えば上記の通りラベル４３にバーコード印刷等されており、これが入力される。

標本サーチ範囲画像データ６２は、上記ステップＳ１０２の処理によって得られる（低倍の対物レンズ２３による画像を結合して得られる）、標本サーチ範囲４１全体の低解像画像である。“標本サーチ範囲画像データ６２の撮影倍率”７３は、この標本サーチ範囲画像データ６２の生成時の対物レンズ２３（低倍）の倍率である。

広視野・高精細画像データ６３は、上記ステップＳ１０６や、後述するステップＳ１５５、Ｓ２０７の処理により作成されるＶＳ画像（広視野且つ高精細な顕微鏡画像）とこのＶＳ画像に係る各種情報であり、そのデータ構成を図６（ｃ）に示す。尚、このＶＳ画像は、ステップＳ１０６では明視野ＶＳ画像、後述するステップＳ１５５、Ｓ２０７では蛍光ＶＳ画像である。

図６（ｃ）に示す例では、１つのＶＳ画像ファイル６０中に複数のＶＳ画像が格納される場合も想定して、各ＶＳ画像毎の情報として各ＶＳ画像領域情報８２（ＶＳ画像領域＃１情報、ＶＳ画像領域＃２情報、・・・ＶＳ画像領域＃ｎ情報）が格納される。そして、このＶＳ画像領域情報８２の数（図示の例では＃１〜＃ｎまでのｎ個）が、ＶＳ画像領域指定数８１に格納される。但し、当該ＶＳ画像が上記ステップＳ１０６で生成した明視野ＶＳ画像である場合には、上記の通り１つのみ生成されるので、ＶＳ画像領域情報８２は常に‘１’となる（つまり、ＶＳ画像領域＃１情報のみが格納される）。

そして、図６（ｃ）に示すように、各ＶＳ画像領域情報８２は、それぞれ、撮影情報８３、フォーカスマップデータ８４、及び画像データ８５から成る。
撮影情報８２は、例えば図示の撮影倍率９１、Scan開始（左上区画）ステージＸ座標９２、Scan開始（左上区画）ステージＹ座標９３、Ｘ方向のピクセル数９４、Ｙ方向のピクセル数９５の各データより成る。撮影倍率９１は、画像データ８５の撮影時の対物レンズ２３の倍率である。他のデータ（９２〜９５）は、画像データ８５の位置座標（電動ステージ上の座標）、大きさを示すデータである。

フォーカスマップデータ８４は、上記ステップＳ１０５、あるいは後述するステップＳ１５３やＳ２０５の処理により作成されたフォーカスマップ５０（一例を図５に示す）である。

画像データ８５は、上記ステップＳ１０６や、後述するステップＳ１５５、Ｓ２０７の処理により作成されるＶＳ画像（明視野ＶＳ画像又は蛍光ＶＳ画像）データである。
注目領域指定情報６４は、上記図２の処理では未だ作成されないので、後に説明するものとする。尚、注目領域指定情報６４は、基本的には、当該ＶＳ画像ファイル６０の明視野ＶＳ画像ファイルである場合に格納される。但し、この例に限らない。例えば、任意の蛍光ＶＳ画像を表示して、この画像上で任意の注目領域を指定させて、この注目領域に関する蛍光ＶＳ画像を更に生成するようにしてもよく、この場合には当該ＶＳ画像ファイル６０の蛍光ＶＳ画像ファイルである場合にも、注目領域指定情報６４は格納される。

次に、上述した図２の処理により作成された明視野ＶＳ画像を用いて腫瘍部等の蛍光撮影領域を設定するための動作例を、図７を用いて説明する。
図７は、上記明視野ＶＳ画像を縮小表示して全体像をモニター５に写した状態を示している。

そして、この画面上で、例えば医師等の専門家が、一般的な矩形領域の指定方法と同様にして不図示のマウス操作で（例えば左上コーナ→右下コーナの指定により）蛍光ＶＳ画像を取得する領域（図示の注目領域＃１、＃２等）を設定する。そして、不図示の保存操作により、この設定内容が上記図７の表示に用いた明視野ＶＳ画像ファイルの注目領域指定情報６４に格納される。

すなわち、図６（ｄ）に示すように、注目領域指定情報６４は、注目領域の個数１０１、各注目領域情報１０２となら成る。図７に示す例では注目領域の個数１０１＝‘２’となり、上記指定された各注目領域＃１、＃２毎に、注目領域＃１情報、注目領域＃２情報が格納される。

各注目領域情報１０２は、それぞれ、ＶＳ画像領域ＮＯ．１１１、左上コーナーＸ座標（ピクセル単位）１１２、左上コーナーＹ座標（ピクセル単位）１１３、幅（ピクセル数）１１４、高さ（ピクセル単位）１１５、及び関連ファイル情報１１６より成る。

ＶＳ画像領域ＮＯ．１１１は、上記各注目領域に任意に割り当てられる識別番号である。
左上コーナーＸ座標（ピクセル単位）１１２〜高さ（ピクセル単位）１１５は、図７に示す画像上における注目領域の位置、大きさを示す情報である。尚、この例に限らず、例えば右下コーナーのＸＹ座標を更に格納するようにしてもよい。つまり、注目領域（矩形）の４つの頂点のうち、任意の対向する２つの頂点のＸＹ座標を格納するようにしてもよい。

尚、注目領域指定情報６４の１項目である関連ファイル情報１１６には、後述する第二の観察法（蛍光）で作成した蛍光ＶＳ画像ファイル名が格納される（よって、現段階では未だ情報は格納されない）。

次に、上記注目領域指定によって設定された各注目領域に関して、第二の観察法（蛍光）によって広視野で高精細な顕微鏡画像（ＶＳ画像）を形成する処理の流れについて図８を参照して説明する。

図８は、上記指定された各注目領域の蛍光ＶＳ画像の生成処理を示すフローチャート図である。
尚、図２等で説明した明視野ＶＳ画像形成処理と同一の処理内容は説明を簡略化する。また、尚、図８の処理は、図２の処理で用いた標本が形態観察用の染色と分子情報検出用の蛍光標識が同時に行われた標本を用いることを前提とする。従って、標本の着脱が無く、ステージ位置のズレはないものとする。また、図８の処理は、上記１以上の注目領域が指定されている任意の明視野ＶＳ画像ファイルが指定されて不図示の“蛍光ＶＳ画像作成”の指示が行われると開始される。

まず、図８に示すステップＳ１５０の処理において、透過明視野観察法を実現すべく各種光学部材の光路への装脱制御を行う。次に、ステップＳ１５１の処理において、予め決められている（あるいはオペレータ等が任意に指示する）例えば６０倍等の高倍の対物レンズ２３を光路に挿入する。つまり、第二の観察法における高精細画像取得の為の対物レンズ２３へ切り替える。この様に、図２の処理の際に用いた高倍の対物レンズ（上記例では４０倍）とは異なる倍率の対物レンズ２３を用いて蛍光ＶＳ画像を作成する場合もあるので、以下のように、再度、フォーカスマップを作成する必要がある。

そして、上記ステップＳ１０４の処理と同様にフォーカス位置の算出を行い（ステップＳ１５２）、上記ステップＳ１０５の処理と同様にフォーカスマップの作成を行う（ステップＳ１５３）。これらの処理は、上記注目領域指定によって設定された各注目領域毎にそれぞれ行う。尚、上記の通り、各注目領域の情報は、上記処理開始の際に指定された明視野ＶＳ画像ファイルの注目領域指定情報６４に格納されている。勿論、作成されるフォーカスマップは、６０倍の対物レンズ２３に対応したものとなる。

そして、ステップＳ１５４において、落射蛍光観察法を実現すべく各種光学部材の光路への装脱制御を行う。すなわち、顕微鏡コントローラ３１を介して、透過照明用光源６を消灯し、蛍光観察用の光学キューブ２６を光路に挿入し、落射シャッタ１６を開放する、といった制御が行われる。

そして、上記ステップＳ１０６と同様の処理を、上記各注目領域毎にそれぞれ行う（ステップＳ１５５）。すなわち、各注目領域毎に、上記ステップＳ１５３で作成したフォーカスマップ５０の情報をもとに、各小区画の画像を撮影する。すなわち、電動ステージ２０をフォーカスマップ５０に登録されている各指定ＸＹＺ座標（ステージ座標５２）に移動させる制御を行って、各移動先でＴＶカメラ３を介してその小区画の画像を入力する。そして、この入力画像を、それ以前に入力した画像のなかで現在位置の小区画と隣接する小区画の画像がある場合には、この隣接画像と結合する処理を行う。

この様な処理を繰り返し行うことで、最終的には、注目領域のＶＳ画像、すなわち注目領域全体の広視野で且つ高精細な画像（但し、第二の観察法による画像；蛍光ＶＳ画像）が作成される。作成した蛍光ＶＳ画像は、データ記録部４に画像ファイルとして格納する。更に、この蛍光ＶＳ画像ファイル名が、対応する（上記図８の処理開始の際に指定される）明視野ＶＳ画像ファイルにおける関連ファイル情報１１６に記録される。

他の注目領域がある場合には、同様にして、その注目領域の蛍光ＶＳ画像を作成して、これをデータ記録部４に画像ファイルとして格納すると共にこのファイル名を関連ファイル情報１１６に記録する。上記設定された全ての注目領域の蛍光ＶＳ画像を作成したら、本処理は終了する。

尚、本処理では、上記の通り最初から蛍光標識標本を用いたうえで、標本の褪色防止及び処理速度向上の為に、フォーカス位置等を明視野観察下で求めているが、この例に限らず、蛍光観察下でフォーカス位置等を求めるようにしてもよい。

また、異なる焦点位置を有する３次元のＶＳ蛍光画像を作成するために、光路中に挿入されている対物レンズの焦点深度で決定される所定距離を基本単位として、フォーカスマップに登録されたＺ座標（焦点位置）を中心に、電動ステージ２０を上下に（Ｚ軸方向に）複数回移動させる制御を行い、同一ＸＹ座標において異なるＺ座標で複数の蛍光画像を撮影してもよい。詳しくは特許文献１等に記載されているので、ここではこれ以上は説明しないものとする。

また、尚、電動ステージ２０のＸＹ方向移動時に、不必要な標本の励起を防ぐといった意味で、落射シャッタ１６を開閉制御を行うといったことも可能である。更には、対物レンズ２３を介してＴＶカメラ３の撮像素子に投影される領域のみを励起するために、落射視野絞り１７を必要最小限な範囲に絞り込むといったことは当然のこととする。また、明視野ＶＳ画像上で標本が存在しない背景区画については、実際に蛍光画像を撮影せずに無データで代用するといったことも当然のこととする。

また、上記腫瘍部等の領域設定を、矩形ではなく、多点指定やフリーライン指定で行えるようにして、不必要な領域を含まないように出来るといったことも当然のこととする。
以上説明した実施形態（第１の実施形態とする）によれば、明視野ＶＳ画像上で容易に腫瘍部位の領域を指定して（複数指定可）、この各注目領域毎の蛍光ＶＳ画像を自動作成できるので、非腫瘍部や背景部等を除いた必要最小限の領域に対する蛍光ＶＳ画像作成が可能であり、ＶＳ画像作成時間の短縮及びＶＳ画像容量の削減を実現できる。

次に、以下、図７、図９を参照して、上述したように作成した２種類のＶＳ画像ファイル（明視野、蛍光）を並列表示又はオーバーラップ表示させて、必要に応じて蛍光ＶＳ画像を補正する処理について説明する。すなわち、ここでは、上述した各種処理によって、明視野ＶＳ画像ファイル、蛍光ＶＳ画像ファイルが、データ記録部４に格納されている状態を前提とする。この場合、上記の通り、明視野ＶＳ画像ファイルにおける注目領域指定情報６４によって、明視野ＶＳ画像に、各注目領域及びその蛍光ＶＳ画像ファイルの情報が関連付けられている状態となっている。

尚、以下に説明する処理も、既に述べた通り、ホストシステム２が実行する。つまり、上記の通り、この処理は、ホストシステム２内の不図示のＣＰＵ等が、不図示の記憶装置（ハードディスク等）に格納されている所定のアプリケーションプログラムを読み出し・実行することにより実現される。

尚、ここでは、図７と図９の画面は一緒にモニター５に表示されるものとする。そして、初期状態では、図７の画面内には何も表示されておらず、同様に、図９の図上左下に示す左側ウィンドウ１２０、及び図上右下に示す右側ウィンドウ１２１内には何も表示されていないものとする。一方、図９の図上上側に示す表示倍率指定ボタン１２２、上下左右スクロールボタン１２３、及び“並列／オーバーラップ”ボタン１２４は、初期状態から表示されているものとする。

まず、ユーザ等がキーボード、マウス等を操作して所望の明視野ＶＳ画像ファイルをオープンすると、図７に示す画面がモニター５に表示される。図７に示す画面は、既に説明した通り、上記明視野ＶＳ画像を縮小表示して全体像を表示したものであるが、ここでは既に注目領域が設定済みであるので、注目領域指定情報６４を読み出すことで、図示の注目領域＃１、＃２も表示される。その際、分かり易くする為に、注目領域＃１、＃２を特定色で表示するようにしてもよい。

そして、ユーザが、マウス等を操作してカーソルを所望の注目領域（この例では注目領域＃１、＃２の何れか一方）に合わせて、不図示の蛍光ＶＳ画像同期表示の開始操作を行うと、上記表示されている明視野ＶＳ画像から上記指定された注目領域の部分を切り出して、これ（明視野ＶＳ画像の一部）が左側ウィンドウ１２０に表示すると共に、上記オープンした明視野ＶＳ画像ファイル内の注目領域指定情報６４における関連ファイル情報１１６を参照することで、当該指定された注目領域の蛍光ＶＳ画像ファイルをオープンして、右側ウィンドウ１２１に表示する。

この状態でユーザ（オペレータ等）がマウス操作等により表示倍率指定ボタン１２２上の任意の倍率を選択・操作することにより、この選択された倍率に相当するように、左側ウィンドウ１２０及び右側ウィンドウ１２１に表示される明視野ＶＳ画像及び蛍光ＶＳ画像が、同時に拡大／縮小表示される。また、ユーザ等がマウス等により上下左右スクロールボタン１２３を操作することにより、明視野ＶＳ画像及び蛍光ＶＳ画像が同時にスクロール表示され、標本の同一箇所を同一表示倍率で観察できることになる。

上述した処理では、スライドガラス４０の着脱に伴う標本１９の位置ズレは考慮していないが、それでも、メカ精度等の影響に伴い、例えば明視野ＶＳ画像と蛍光ＶＳ画像とで多少のＸＹ座標ズレや回転ズレが生じている場合がある。その補正方法を以下に示す。

蛍光標識標本を作製する場合は、検出試薬の他に、検出シグナルの細胞における局在情報が分かるようにカウンターステイン（ＤＡＰＩ等の核染色）が同時に行われる。従って、明視野ＶＳ画像上での細胞核の位置と蛍光ＶＳ画像上での細胞核の位置とがズレることによって、オペレータが両画像間での位置ズレを認識できる。

そこで、図９の左側ウィンドウ１２０内に示すように、オペレータ等が明視野ＶＳ画像上で複数の細胞核をそれぞれ矩形１２５（点線）で囲むように指定すると（例えば対向する頂点２点を指定する）、図示の通り右側ウィンドウ１２１内にも同一サイズ・同一座標の矩形（点線）で表示される。もし、明視野ＶＳ画像と蛍光ＶＳ画像とで位置／回転ズレが無いならば、右側ウィンドウ１２１内に表示される各細胞核は、各々対応する矩形内に収まるはずである。一方、図示の例では、見ての通り、各細胞核と矩形とにはズレが生じている。

本例では、オペレータは、右側ウィンドウ１２１上でこのズレを手動で修正できる。すなわち、例えば、オペレータ等が不図示のマウス操作等を行うことで、右側ウィンドウ１２１内に表示されている各矩形を、同時にＸＹ方向移動（平行移動）又は回転移動することができるようになっている。これより、オペレータ等は手動で右側ウィンドウ１２１内の全矩形を一緒に平行移動又は回転移動させて、右側ウィンドウ１２１内に表示されている各細胞核が各々対応する矩形内に収まる（囲まれる）ように調整する。

これにより、右側ウィンドウ１２１内の表示は、図９の図上右下に示す右側ウィンドウ１２１’の状態となる。そして、このときの平行移動量と回転移動量を検出することで、明視野ＶＳ画像と蛍光ＶＳ画像との平行位置ズレ量と回転ズレ量が分かるので、右側ウィンドウ１２１内に表示されている蛍光ＶＳ画像に対して、平行位置ズレ量に基づきトリミング（平行移動補正）を行い、回転ズレ量に応じて回転補正を行うことで、その補正画像を作成する。この様に作成した補正後の蛍光ＶＳ画像ファイルを右側ウィンドウ１２１内に表示する（不図示）。オペレータはこの表示を見て、処理結果が適切であるか否かを確認する。もし適切であれば、オペレータが確認ＯＫ等の何らかの操作を行うと、既存の蛍光ＶＳ画像に補正後の蛍光ＶＳ画像を上書きすることで、次回以降の同期表示では上述した手動の補正処理は不要となる。

尚、図９に示す表示例は、オペレータ等が図示の“並列／オーバラップ”ボタン１２４を操作して“並列”表示を指定した場合を例におり、図示の通り明視野ＶＳ画像と蛍光ＶＳ画像とがサイドバイサイド（並列）表示されているが、“オーバラップ”表示が指定された場合には、ウィンドウは上記のように左右２つとはならずに１つのみとなり、このウィンドウ内に明視野ＶＳ画像と蛍光ＶＳ画像とが重ね合わせて表示（合成表示）されることになる。尚、その際、蛍光ＶＳ画像における蛍光シグナル部（規定の輝度値以上の部分）のみを、明視野ＶＳ画像上に重ねて表示する等といったことは、当然のこととする。

また、上記オーバラップ表示の際に、カウンターステイン部を、背景部と同様に非シグナル部として扱うことが可能といったことも当然のこととする。更に、オーバラップ表示を点滅させることができるといったことも当然可能とする。また、サイドバイサイドの表示状態で、マウスカーソルを例えば左側ウィンドウ１２０内に置くと、右側ウィンドウ１２１内の同一ウィンドウ座標にもカーソルが表示されるようにすることで、非オーバラップ状態でも明視野ＶＳ画像上と蛍光ＶＳ画像上の位置関係が容易に把握できるようにするといったことも当然のこととする。

以上説明したように、任意の注目領域に関して２種類の画像（明視野ＶＳ画像、蛍光ＶＳ画像）をサイドバイサイド（並列）表示又はオーバラップ表示させることができ、形態情報と相関のとれた蛍光ＶＳ画像の表示が行える。これを観察できるので、形態診断と分子診断を突き合わせることが可能となり、より精度の高い病理診断につなげることができる。更に、上記任意の注目領域に関する２種類の画像（明視野ＶＳ画像と蛍光ＶＳ画像）が完全に同じ部位の画像とはなっていない場合（多少の位置ズレが生じている場合）でも、手動により容易に位置ズレを補正することができる。

以下、他の実施形態について説明する。
上述した実施例では、スライドガラス標本の脱着に伴って生じ得る、標本１９の位置ズレは、考慮しないか、もしくはズレ量はわずかであるので上述した手動による微調整で対応可能であることを前提とした処理を示している。

一方、以下に説明する他の実施形態では、スライドガラス標本の脱着に伴って標本１９の位置ズレが生じる場合に対応する処理例を示す。
すなわち、図２の処理の際に標本１９に対して行った、形態観察用のＨＥ染色やパパニコロウ染色は、自家蛍光を発生するので、遺伝子／タンパクのシグナル検出を阻害する。そこで、電動ステージ２０上に載置されている、ＨＥ染色等されたスライドガラス標本を、一旦取り出して、脱染色した後に蛍光標識を行い、再度、電動ステージ２０上に載置するといったことが行われている。この様にスライドガラス標本を手作業で脱着すると、標本を完全に元の位置に戻せるとは限らず、ＸＹ座標の位置ズレ（平行位置ズレ）が生じる可能性がある。つまり、脱着作業前に求めた任意の箇所のＸＹ座標を用いても同一箇所を見られるとは限らない。尚、通常、電動ステージ２０上にはスライドガラスのガイドがある為、回転ズレは生じないと考えてよい。

当該他の実施の形態は、この様なスライドガラス標本の脱着に伴って生じるＸＹ座標の位置ズレ（上記の通り回転ズレはないものと見做し、平行位置ズレのみとする）に対応するものである。

図１０は、当該他の実施の形態による蛍光ＶＳ画像生成処理のフローチャート図である。
尚、図１０に示す処理も、既に述べた通り、ホストシステム２が実行する。すなわち、図１０の処理は、ホストシステム２内の不図示のＣＰＵ等が、不図示の記憶装置（ハードディスク等）に格納されている所定のアプリケーションプログラムを読み出し・実行することにより実現される。また、図１０の処理は、図２の処理の際に用いた標本１９を用いる（但し、上記の通り、図１０の処理の前に、標本１９に対して、脱染色→蛍光標識を行っている）。

図１０において、まず、脱染色前の標本、すなわちＨＥ染色等されたスライドガラス標本に対して上記図２等の処理によって作成されて格納されていた明視野ＶＳ画像ファイルをオープンする（ステップＳ１９０）。この処理に関しては、例えば、スライドガラス４０上のラベル４３等にバーコード印刷されているスライド標本番号を、ホストシステム２に接続されている不図示のバーコードリーダで読み出し、データ記録部４に格納されている画像ファイルを検索して、該当する明視野ＶＳ画像ファイルを自動選択するといったことも可能である（当然、この場合には、画像ファイル名にはスライド標本番号が含まれるようにしている）。

次に、ステップＳ２００において、透過明視野観察法で偏射照明を実現すべく各種光学部材の光路への装脱制御を行う。すなわち、ホストシステム２は、顕微鏡コントローラ３１を介して、透過明視野観察状態を構築すべく、落射シャッタ１６を光路に挿入し、明視野観察用の光学キューブ２５を光路に挿入し、透過照明用光源６を点灯するといった制御を行い、加えて、偏射照明を実現すべく透過開口絞り１０を光軸から所定距離分ズラす。尚、偏射照明を行う理由は、脱染色・蛍光標識した標本は未励起状態では透明であり、通常の明視野観察では標本の位置を確認できない為である。尚、その意味で、偏射照明に限るものではなく、位相差観察法や微分干渉法を用いても良い。

次に、ステップＳ２０１において例えば４倍といった低倍の対物レンズ２３を光路に挿入する。そして、ステップＳ２０２において、上記ステップＳ１０２と略同様の処理を行う。すなわち、図３に示すスライドガラス４０上の所定の標本サーチ範囲４１（例；縦２５mm×横５０mm）を、ＴＶカメラ３に投影される撮影領域幅に応じて分割して成る上記各区画毎に、その画像を取得する処理を行う。つまり、電動ステージ２０をＸＹ方向移動して、各移動先での区画の顕微鏡像をＴＶカメラ３を介して取得することを繰り返し行う。これによって得られた複数の顕微鏡画像（低倍率による画像）間の結合を行うことで、標本サーチ範囲４１全体の画像（低倍率による全体画像）を生成し、これをデータ記録部４にスライド全体像画像ファイルとして記憶する。

そして、ステップＳ２０３において、標本脱着に伴う標本の位置ズレ量を算出し、これに基づいて蛍光ＶＳ画像化を行うべき注目領域（例えば上記注目領域＃１、＃２等）の座標を補正する。すなわち、ステップＳ１９０でオープンした明視野ＶＳ画像ファイル中の標本サーチ範囲画像データ６２と、ステップＳ２０２で生成した標本サーチ範囲４１全体の画像との比較により、ズレ量（平行移動量）を算出する。具体的には例えば、既知の画像処理アルゴリズムを用いて、上記２つの標本サーチ範囲画像を標本部位と非標本部位とに２値化し、標本の輪郭抽出を行い、標本内部（輪郭内）を標本部（データ有り）として全て塗りつぶす。そして、各標本部の重心を求め、これら２つの重心座標の差を求め、これを用いて注目領域の座標を補正する。すなわち、図６の注目領域指定情報６４内の左上コーナーＸ座標１１２、左上コーナーＹ座標１１３を補正する。尚、図７のように標本が複数ある場合には、任意の１つの標本に関して上記重心を求めても良い。

その後のステップＳ２０４〜Ｓ２０７の処理は、上述したステップＳ１５１、Ｓ１５３〜Ｓ１５５の処理と略同様であるので、その説明は省略する。これら処理によって蛍光ＶＳ画像が作成される。

尚、ステップＳ１９０〜Ｓ２０７までの蛍光ＶＳ画像作成処理は、自動化されており、オペレータは標本１９（スライドガラス標本）を電動ステージ２０に載せて、不図示の操作画面上で走査開始操作を行うだけで、腫瘍部位等の注目領域の蛍光ＶＳ画像が自動的に作成される。従って、本システムにスライドガラス標本搬送装置を追加すれば、夜間等に自動で複数の標本１９の各注目領域の蛍光ＶＳ画像が作成されるシステムが実現できる。

また、ステップＳ１９０〜Ｓ２０７の各ステップで一時停止し、オペレータの操作介在を可能とすることで、例えば標本の位置ズレ量が予め任意に決められている規定値より大きい場合には、手動で修正が可能といったことは当然のこととする。

また、スライドガラス４０上の非標本載置エリアに所定のマーキングが施されており、このマーキングを基に標本の位置ズレ量を求めることで、上記注目領域の座標の補正を行うようにしてもよい。

以上説明したように、本実施の形態によれば、スライドガラス標本の脱着に伴って標本１９の位置がズレる場合でも、自動的に注目領域座標の補正が行われるので、問題なく、指定された注目領域（腫瘍部等）の蛍光ＶＳ画像が作成される。また、スライドガラス標本搬送装置等と組み合わせることで、複数の標本１９の明視野又は蛍光のＶＳ画像を自動作成できるので、省力化にもつながる。

以下、更に別の実施形態について説明する。
明視野ＶＳ画像生成の為に標本１９に対してＨＥ染色やパパニコロウ染色を行い、その後、蛍光ＶＳ画像生成の為にこの標本１９に対して脱染色、抗原賦活化処理を行うといった方法は、手間が掛かるうえに、シグナル検出感度に悪影響を与える場合がある。そのため、組織標本の場合は、パラフィン包埋ブロックから新たな標本を薄切して、これに対して蛍光標識を行うといったことが行われる場合がある。その場合、ＨＥ染色標本と蛍光標識標本が別々のスライドガラス４０上に作成されることになるので、上記平行位置ズレだけでなく、回転ズレも生じる可能性がある。

本実施の形態では、この様な場合にも対応して蛍光ＶＳ画像を生成できる手法を提案するものである。尚、本実施の形態の処理と上記図１０の処理との違いは、ステップＳ２０３とＳ２０７のみであり、他の処理は略同様であるので、本処理のフローチャート図は特に示さずに説明するものとする。

まず、本実施の形態におけるステップＳ２０３の注目領域の座標の補正処理について、以下に説明する。
この処理では、ステップＳ１９０でオープンした明視野ＶＳ画像ファイル中の標本サーチ範囲画像データ６２（以下、標本全体データＡという）と、ステップＳ２０２で生成した標本サーチ範囲４１の全体画像（以下、標本全体データＢという）との比較により、ズレ量（平行移動量と回転量）を算出する。

具体的には例えば、既知の画像処理アルゴリズム（相関演算等）を用いて、上記２つの標本全体データＡ，Ｂを、それぞれ、標本部位と非標本部位とに２値化して標本の輪郭抽出を行い、標本内部（輪郭内）を標本部（データ有り）として全て塗りつぶす（標本部の領域を標本領域と呼ぶ）。そして、各標本領域の重心を求め、これら２つの重心座標の差を求める。次に、標本全体データＢの標本領域の重心と標本全体データＡの標本領域の重心とを一致させた状態で、例えば標本全体データＢの標本領域を、その重心を中心にして所定角度（例；０．１度）単位で時計廻り又は反時計廻りに回転させ、標本全体データＡの標本領域との差分の絶対値が最小になる角度（回転量）を求める。

この様にして求めた重心座標の差と回転量（回転方向も含まれる）が、両標本の電動ステージ２０上での位置ズレ関係を表しており、当該求めた重心座標の差と回転量を用いて、明視野ＶＳ画像ファイル中に記録されている注目領域の座標をアフィン変換（平行移動、回転移動）することで、注目領域の座標値を補正し、補正後の座標値を上書き記録する。

次に、本実施形態のステップＳ２０７の処理では、上述した蛍光ＶＳ画像を生成する処理後に、更に、以下の処理が追加される。
すなわち、生成した蛍光ＶＳ画像は、同じ注目領域の明視野ＶＳ画像と比較すると、上記ステップＳ２０３で求めた回転量分だけ標本が回転された画像となっている。従って、生成した蛍光ＶＳ画像を、ステップＳ２０３で求めた回転方向と反対方向へ、求めた回転量に応じて回転させることで、蛍光ＶＳ画像を完成させて、これを蛍光ＶＳ画像ファイルとして記録する。

尚、ステップＳ２０３で求めたズレ量が予め決められている規定値より大きい場合は、手動で修正が可能といったことは当然のこととする。
以上説明した本実施形態によれば、スライドガラスへの標本の載せ方の差異に起因する、回転を含むＸＹθの座標のズレが生じても、所望する腫瘍部の蛍光ＶＳ画像を生成することができる。

上述したように、明視野観察法のもとで標本画像を生成後、蛍光観察法のもとでＶＳ画像を作成する為に、明視野観察法の際に使用した通常染色標本を脱染色、蛍光標識する方法、もしくは連続切片の近傍切片を蛍光標識する方法を用いる為に生じる標本の位置ズレを検出して注目領域座標を補正することで、正しく、上記注目領域の蛍光ＶＳ画像を作成することができる。

本例の顕微鏡システム全体の構成例を示す図である。 第一の観察法（明視野観察）によるＶＳ画像形成処理を示すフローチャート図である。 スライドガラス標本の一例を示す図である。 フォーカスマップ作成の為、標本領域全体の画像を多数の小区画に分割した状態を示す図である。 フォーカスマップのデータ構成例である。 ＶＳ画像ファイルのデータ構成例であり、（ａ）は全体構成、（ｂ）〜（ｄ）は各部の構成例である。 明視野ＶＳ画像を表示して任意の注目領域を指定させる例である。 各注目領域の蛍光ＶＳ画像の生成処理フローチャート図である。 注目領域のＶＳ画像（２種類）の並列／オーバーラップ表示画面例である。 他の実施の形態による蛍光ＶＳ画像生成処理のフローチャート図である。

符号の説明

１ 顕微鏡装置
２ ホストシステム
３ ＴＶカメラ
４ データ記録部
５ モニター
６ 透過照明用光源
７ コレクタレンズ
８ 透過用フィルタユニット
９ 透過視野絞り
１０ 透過開口絞り
１１ コンデンサ光学素子ユニット
１２ トップレンズユニット
１３ 落射照明用光源
１４ コレクタレンズ
１５ 落射用フィルタユニット
１６ 落射シャッタ
１７ 落射視野絞り
１８ 落射開口絞り
１９ 標本
２０ 電動ステージ
２１ ステージＸ−Ｙ駆動制御部
２２ ステージＺ駆動制御部
２３ 対物レンズ
２４ レボルバ
２５ 光学キューブ
２６ 接眼レンズ
２７ ビームスプリッタ
２８ 微分干渉観察用のポラライザー
２９ ＤＩＣ (Differential Interference Contrast)プリズム
３０ アナライザー
３１ 顕微鏡コントローラ
３２ ビデオボード
３３ カメラコントローラ
３４ 撮影座標記録部
４０ スライドガラス
４１ 標本サーチ範囲
４２ 標本領域
４３ ラベル
５０ フォーカスマップ
５１ 配列番号
５２ ステージ座標
６０ ＶＳ画像ファイル
６１ 付帯情報
６２ 標本サーチ範囲画像データ
６３ 広視野・高精細画像データ
６４ 注目領域指定情報
７１ 観察法
７２ スライド番号
７３ 標本サーチ範囲画像データの撮影倍率
８１ ＶＳ画像領域指定数
８２ 各ＶＳ画像領域情報
８３ 撮影情報
８４ フォーカスマップデータ
８５ 画像データ
９１ 撮影倍率
９２ Scan開始（左上区画）ステージＸ座標
９３ Scan開始（左上区画）ステージＹ座標
９４ Ｘ方向のピクセル数
９５ Ｘ方向のピクセル数
１０１ 注目領域の個数
１０２ 注目領域情報
１１１ ＶＳ画像領域ＮＯ．
１１２ 左上コーナーＸ座標（ピクセル単位）
１１３ 左上コーナーＹ座標（ピクセル単位）
１１４ 幅（ピクセル数）
１１５ 高さ（ピクセル単位）
１１６ 関連ファイル情報
１２０ 左側ウィンドウ
１２１ 右側ウィンドウ
１２２ 表示倍率指定ボタン
１２３ 上下左右スクロールボタン
１２４ “並列／オーバーラップ”ボタン
１２５ 矩形

Claims (4)

1. 顕微鏡の対物レンズとスライドガラス標本を光軸に対して直交方向に相対的に移動させて取得した複数枚の顕微鏡画像群を相互に結合して成るＶＳ画像を生成するＶＳ画像生成手段を有する顕微鏡システムにおけるＶＳ画像生成方法であって、
   形態観察用に染色されたスライドガラス上の標本に対して、明視野観察法のもとで、前記ＶＳ画像生成手段により、該標本全体の明視野ＶＳ画像を生成させて、該生成した明視野ＶＳ画像を記憶し、
   前記明視野ＶＳ画像上で、蛍光画像取得領域である任意の１以上の注目領域を指定させて該注目領域の座標情報を記憶し、
   前記形態観察用に染色された標本を脱染色して蛍光観察用に蛍光標識する為に前記スライドガラス標本を前記顕微鏡システムに対して脱着した後、該蛍光標識されたスライドガラス上の標本に対して、偏射照明による明視野観察法のもとで、前記ＶＳ画像生成手段により、該標本全体の明視野ＶＳ画像を生成させて、該生成した明視野ＶＳ画像を記憶し、
   前記形態観察用に染色された標本及び前記蛍光標識された標本それぞれの前記明視野ＶＳ画像に基づいて、それぞれ標本の輪郭抽出を行って該輪郭内を標本部とし、該２つの標本部の重心座標の差を求め、該重心座標の差に基づいて前記注目領域の座標を補正し、
   次いで、前記補正された前記注目領域の座標情報に基づいて、蛍光観察法のもとで、前記ＶＳ画像生成手段により、前記蛍光標識されたスライドガラス標本に対する前記注目領域の前記ＶＳ画像を生成させて、該生成された蛍光ＶＳ画像を記憶することを特徴とするＶＳ画像生成方法。
2. 前記偏射照明による明視野観察法に代えて、位相差観察法により蛍光観察用に蛍光標識されたスライドガラス標本のＶＳ画像を生成させることを特徴とする請求項１記載のＶＳ画像生成方法。
3. 前記偏射照明による明視野観察法に代えて、微分干渉法により蛍光観察用に蛍光標識されたスライドガラス標本のＶＳ画像を生成させることを特徴とする請求項１記載のＶＳ画像生成方法。
4. 前記蛍光標識された標本が、前記形態観察用に染色された標本の近傍切片である場合、
   前記形態観察用に染色された標本を脱染色して蛍光観察用に蛍光標識する為に前記スライドガラス標本を前記顕微鏡システムに対して脱着することに代えて、前記形態観察用に染色された標本を、該標本の近傍切片を蛍光観察用に蛍光標識した標本に交換する為に前記スライドガラス標本を前記顕微鏡システムに対して脱着するものあって、
   前記各標本部の重心座標の差に加えて該各標本部の回転ズレ量を求めて、前記注目領域の座標の補正は、該重心座標の差と回転ズレ量とを用いて行うことを特徴とする請求項１〜３の何れかに記載のＶＳ画像生成方法。