JP2018185453A - 顕微鏡システム - Google Patents

Abstract

【課題】多重染色された標本からの焦点位置が異なる微弱な光を欠落させることなく、明確に観察し得る深度拡大画像を取得する。
【解決手段】多重染色された標本を載置するステージ２０と、ステージ２０に搭載された標本Ｓからの光を集光する対物レンズ２３と、ステージ２０と対物レンズ２３とを対物レンズ２３の光軸Ｌに沿う方向に相対的に移動させるＺ軸移動部９８と、ステージ２０を光軸Ｌに直交する方向に移動させるＸＹ軸移動部９９と、対物レンズ２３により集光された光を撮影してカラー画像を取得する撮像部２と、Ｚ軸移動部９８により、ステージ２０と対物レンズ２３との異なる相対位置において撮像部２により取得された複数枚のカラー画像に基づいて、色素毎に深度拡大処理を行って深度拡大画像を生成する深度拡大処理部３４とを備える顕微鏡システム１００を提供する。
【選択図】図１

Description

本発明は、顕微鏡システムに関するものである。

対物レンズを光軸に沿う方向に移動させつつ、光軸方向に異なる複数の位置で取得された画像を合成する顕微鏡において、対物レンズの光軸に沿う方向への移動と、画像の撮像処理とを非同期で行う顕微鏡が知られている（例えば、特許文献１参照。）。
また、可変焦点レンズとアクチュエータとを用いて高速に焦点位置を対物レンズの光軸に沿う方向に移動させることにより、準リアルタイムに全焦点画像を生成する顕微鏡が知られている（例えば、特許文献２参照。）。

特開２０１５−１２７７７２号公報 特開２０００−３１６１２０号公報

しかし、特許文献１および特許文献２に記載された顕微鏡は、標本の明るさ情報のみによって全焦点画像を生成するものであるため、例えば、検出したい光が、多重染色された細胞等の標本から発せられるＦＩＳＨシグナルのように、対比染色されるＤＡＰＩ色素からの光に対して焦点位置が異なる微弱な光である場合に、生成された全焦点画像において検出したい光が見え難くなったり、シグナルとして欠落してしまったりする不都合がある。

本発明は上述した事情に鑑みてなされたものであって、多重染色された標本からの焦点位置が異なる微弱な光を欠落させることなく、明確に観察し得る深度拡大画像を取得することができる顕微鏡システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、多重染色された標本を載置するステージと、該ステージに搭載された前記標本からの光を集光する対物レンズと、前記ステージと前記対物レンズとを該対物レンズの光軸に沿う方向に相対的に移動させるＺ軸移動部と、前記ステージを前記光軸に直交する方向に移動させるＸＹ軸移動部と、前記対物レンズにより集光された光を撮影してカラー画像を取得する撮像部と、前記Ｚ軸移動部により、前記ステージと前記対物レンズとの異なる相対位置において前記撮像部により取得された複数枚の前記カラー画像に基づいて、色素毎に深度拡大処理を行って深度拡大画像を生成する深度拡大処理部とを備える顕微鏡システムを提供する。

本態様によれば、多重染色された標本をステージに載置し、ＸＹ軸移動部により対物レンズの光軸を標本の所定の位置に一致させた状態で、ステージと対物レンズとを相対移動させて焦点位置を対物レンズの光軸方向に異ならせた複数枚のカラー画像を撮像部により取得すると、深度拡大処理部によってカラー画像が色素毎に深度拡大処理されて深度拡大画像が生成される。

この場合において、深度拡大処理が色素毎に行われるので、色素毎に合焦位置の評価を行うことができ、標本から発せられる特定色素からの焦点位置が異なる微弱な光が他の色素からの光に紛れて見え難くなった欠落してしまったりすることを防止して、明確に観察し得る深度拡大画像を取得することができる。

上記態様においては、前記撮像部により取得された前記カラー画像を経時的に更新する動画像と、前記深度拡大処理部により生成された前記深度拡大画像とを同時に同期して表示する画像表示部を備えていてもよい。
このようにすることで、撮像部により取得されたカラー画像の動画像と深度拡大画像とが同時に同期して画像表示部に表示される。これにより、細胞内からのＦＩＳＨシグナル等の微弱な光による発現状況の局所領域での位置関係の把握が可能となり、遺伝子転座等を容易に確認することができる。

また、上記態様においては、前記深度拡大処理部が、組合せを異ならせた色素毎に前記深度拡大画像を生成し、前記画像表示部により表示する前記動画像および前記深度拡大画像の組合せ表示条件を設定する表示条件設定部を備えていてもよい。
このようにすることで、深度拡大処理により、種々の色成分を組合せて生成された深度拡大画像を用いて疑似カラー観察することができ、標本における標識部位の局在関係を異なる視点で観察することができる。

また、上記態様においては、前記深度拡大処理部が、前記標本の前記カラー画像に対して、アンミキシング処理を行うことにより、色素成分毎の色素量画像を生成し、生成された前記色素量画像を用いて前記深度拡大画像を生成してもよい。
このようにすることで、蛍光波長や撮像部の分光感度特性のクロストークに起因する標識部位の検出精度の劣化を改善して色素量を抽出することができる。

また、上記態様においては、前記深度拡大処理部が、前記アンミキシング処理により生成された前記色素量画像の輝度を調節してもよい。
このようにすることで、標識部位の存在量や色素の発現効率等に起因する明るさのバラツキを調整して、標識部位の所在の視認性を向上することができる。

また、上記態様においては、前記深度拡大処理部による深度拡大処理が前記色素毎に異なっていてもよい。
例えば、ＦＩＳＨ標本における細胞核はランドマーク的な存在であり、ＦＩＳＨシグナルが細胞核内に存在するか否かが判別できればよい。したがって、細胞核については、合焦評価値の最も高いＺ座標の画像を深度拡大画像として代用する等の簡略処理でよい。

このようにすることで、標識部位別に深度拡大処理を異ならせることにより、深度拡大処理を高速化することができる。また、標識部位の発現様式に応じた適切な深度拡大画像による観察を行うことができる。

また、上記態様においては、前記撮像部により取得された焦点位置が異なる複数の前記カラー画像を経時的に記憶する画像記憶部と、該画像記憶部により記憶された複数の画像を経時的に切り替えて表示することにより再生する画像再生部とを備えていてもよい。
このようにすることで、標本への照明光の照射を停止して画像再生部による再生によって観察を行うことができる。すなわち、蛍光褪色等を気にせず、時間をかけて詳細な深度拡大観察や観察条件の調整等を行うことができる。

また、上記態様においては、前記深度拡大処理部が、生成された前記深度拡大画像の画素毎の深度情報を新たに取得された前記カラー画像の画素毎の深度情報を用いて更新することにより前記深度拡大画像を生成し、前記撮像部により取得された前記カラー画像内における深度情報が更新された画素数を検出する更新画素数検出部と、該更新画素数検出部により検出された前記画素数が所定の閾値以下であるか否かを判定する更新画素数判定部とを備え、前記画像記憶部は、該更新画素数判定部により、深度情報が更新された前記画素数が前記所定の閾値以下であると判定された場合に前記カラー画像を記憶しないこととしてもよい。
このようにすることで、深度拡大に寄与しないカラー画像を削除することにより、画像記憶容量の削減および再生観察時の時間短縮を図ることができる。

また、上記態様においては、前記更新画素数判定部により深度情報が更新された前記画素数が前記所定の閾値以下であると判定された前記カラー画像が所定数時間的に連続して取得された場合に、その旨を報知する報知部を備えていてもよい。
このようにすることで、深度拡大画像の更新状況に応じて、深度拡大処理が完了したものと判断できる場合には、その旨を報知部により報知することによって、不必要な照明光の照射をなくして、標本の健全性を維持することができる。

また、上記態様においては、前記更新画素数検出部により検出された前記画素数を表示する画素数表示部を備えていてもよい。
このようにすることで、深度拡大画像の更新状況を画素数表示部に表示する画素数によって報知することができ、深度拡大処理の継続の是非を観察者に定量的に判断させることができる。

また、上記態様においては、前記画像記憶部に記憶された各前記カラー画像における注目領域を設定する注目領域設定部と、該注目領域設定部により設定された前記注目領域の輝度の時間変化を表示する経過表示部とを備えていてもよい。
このようにすることで、注目領域での輝度の時間変化を観察でき、標本の状態の変化を観察者に把握させることが可能となる。

また、上記態様においては、前記標本への照明が遮光されたことを検出する遮光検出部を備え、前記画像再生部は、前記遮光検出部により遮光されたことが検出された場合に前記画像記憶部に記憶された画像を再生してもよい。
このようにすることで、観察者による遮光操作を検出して画像を再生することにより、標本の健全性を維持しながら動画像および深度拡大画像を観察者に観察させることができる。

また、上記態様においては、前記撮像部により各前記カラー画像が取得された際のＸＹ軸移動部による前記ステージのＸＹ位置を検出するＸＹ位置検出部と、前記撮像部により時間軸方向に隣接して取得された２枚の前記カラー画像のＸＹ位置の差分を算出する移動量算出部とを備え、前記深度拡大処理部は、前記移動量算出部により算出された差分が第１閾値以上である場合に、前記深度拡大処理を最初から開始してもよい。

このようにすることで、観察者による視野移動操作を検出することができ、移動先の視野での深度拡大処理を最初から開始することができる。これにより、深度拡大処理の停止および開始のための追加操作が不要であり、通常の標本観察操作と同じ顕微鏡操作で深度拡大画像を生成することができる。

また、上記態様においては、前記移動量算出部により算出された差分が前記第１閾値より小さく第２閾値以上である場合に、前記カラー画像のＸＹ位置を補正してもよい。
このようにすることで、振動等による微小な画像ブレの補正が可能となり、深度拡大画像の画質を向上することができる。

また、上記態様においては、前記撮像部により取得された前記カラー画像の輝度値を検出する輝度値検出部を備え、前記ＸＹ位置検出部は、前記輝度値検出部により検出された前記輝度値が所定の閾値以下の場合に前記ＸＹ位置の検出を行わなくてもよい。
このようにすることで、観察者による遮断操作が行われた場合等に、ノイズ情報によって誤ってＸＹ位置を誤検出しないようにして深度拡大画像を維持することができる。

本発明によれば、多重染色された標本からの焦点位置が異なる微弱な光を欠落させることなく、明確に観察し得る深度拡大画像を取得することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。 図１の顕微鏡システムの動作を説明するフローチャートである。 標本の一例を示す模式的な（ａ）平面図および（ｂ）側面図である。 （ａ）から（ｄ）は動画像および深度拡大画像の表示レイアウト例を示す図である。 初期設定入力の画面例を示す図である。 深度拡大方法の設定表示例を示す図である。 図１の顕微鏡システムの変形例の動作を説明するフローチャートである。 録画されたフレーム画像の再生処理例を示すフローチャートである。 図１の顕微鏡システムの他の変形例の動作を説明するフローチャートである。 注目領域の輝度変化の表示例を示す図である。

本発明の一実施形態に係る顕微鏡システム１００について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１００は、図１に示されるように、顕微鏡本体１と、撮像部２と、画像処理部３と、表示部（画像表示部、画素数表示部、経過表示部）４と、入力部（表示条件設定部）５とを備えている。

顕微鏡本体１は、透過観察用光学系として、透過照明用光源６と、該透過照明用光源６の照明光を集光するコレクタレンズ７と、透過用フィルタユニット８と、透過視野絞り９と、透過開口絞り１０と、コンデンサ光学素子ユニット１１と、トップレンズユニット１２とを備えている。また、顕微鏡本体１は、落射観察用光学系として、落射照明用光源１３と、コレクタレンズ１４と、落射用フィルタユニット１５と、落射シャッタ１６と、落射視野絞り１７と、落射開口絞り１８とを備えている。図中、符号１９はミラーである。

また、観察光路上には、複数装着された対物レンズ２３ａ，２３ｂ，…（以下、対物レンズ２３ともいう。）のなかから、そのとき観察に使用する対物レンズ２３を回転動作により選択するレボルバ２４と、撮像部２に入射させる標本Ｓの顕微鏡画像のスペクトル帯域特性に応じて選択的に観察光路に挿入される光学キューブ２５ａ，２５ｂ，…（以下、光学キューブ２５ともいう。）と、観察光路を接眼レンズ２６側と撮像部２側とに分岐するビームスプリッタ２７とが備えられている。

透過観察用光学系の光路と落射観察用光学系の光路とが重なる観察光路上には、多重染色処理された標本Ｓが載置され、レボルバ２４により選択された対物レンズ２３の光軸Ｌと平行な方向（Ｚ軸方向）および光軸Ｌに垂直な方向（ＸＹ軸方向）に移動可能なステージ２０が備えられている。このステージ２０の移動は、Ｚ軸移動部９８およびＸＹ軸移動部９９で構成される操作ハンドルを観察者が操作することにより行われる。

撮像部２は、標本像を結像するＣＣＤやＣＭＯＳ等の撮像素子を備えて構成され、所定のフレームレートで連続撮影されるフレーム画像（カラー画像）を取得し、画像処理部３に送るようになっている。

画像処理部３は、例えば、汎用のパーソナルコンピュータやワークステーション、組み込みプロセッサやＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ），ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ Ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）など用いた計算機である。

画像処理部３は、撮像部２から送られてきたフレーム画像を経時的に記憶するデータ記憶部（画像記憶部）３１と、表示処理部（画像再生部）３２と、アンミキシング処理部３３と、深度拡大処理部３４と、ＸＹ移動検出部（ＸＹ位置検出部、移動量算出部）３５と、遮光状態検出部（遮光検出部）３６とを備えている。
画像処理部３においては、撮像部２から送られてくるフレーム画像の入力毎に、以下の処理が行われるようになっている。

まず、アンミキシング処理部３３において、フレーム画像から標本Ｓに適用された色素成分別の画像（以後、アンミキシング画像と称す）が生成される。
また、ＸＹ移動検出部３５では、観察者による視野（ＸＹ軸）移動操作が検出され、動きベクトル情報が生成される。

深度拡大処理部３４では、フレーム画像から、ピントの合っている画素を抽出することによる被写界深度を拡大した深度拡大画像が生成される。深度拡大処理部３４によって、生成された深度拡大画像が、画素毎の深度情報を新たに取得されたフレーム画像の画素毎の深度情報を用いて更新されることが好ましい。
特に、本実施形態においては、アンミキシング処理部３３によってアンミキシング処理されることにより生成されたアンミキシング画像毎に深度拡大処理が行われ深度拡大画像が生成されるようになっている。

遮光状態検出部３６では、フレーム画像の輝度が検出され観察光路への落射シャッタ１６の挿入／離脱（ＩＮ／ＯＵＴ）による遮光状態が検出されるようになっている。
データ記憶部３１は、メモリ、ＨＤＤ、ＳＤＤ等の任意の記憶装置であり、撮像部２から送られてきたフレーム画像を記憶する他、深度拡大処理部３４により生成された深度拡大画像、アンミキシング処理部３３により生成されたアンミキシング画像等の画像データ、ＸＹ移動検出部３５により検出された動きベクトル情報、および遮光状態検出部３６により検出された遮光情報等の検出データ等が格納されるようになっている。

また、データ記憶部３１には、所定のフレームレートで受信されるフレーム画像の録画再生観察用途として、受信順に連番が振られた画像ファイル又はマルチページＴＩＦＦ画像ファイルとして、ファイル保存も行われるようになっている。
また、画像処理部３は、撮像部２により取得されたフレーム画像内における深度情報が更新された画素数を検出する不図示の更新画素数検出部と、該更新画素数検出部により検出された画素数が所定の閾値以下であるか否かを判定する不図示の更新画素数判定部と、データ記憶部３１に記憶された各フレーム画像における注目領域を設定する不図示の注目領域設定部とを備えている。

入力部５は、例えばキーボードやマウス等の任意の入力手段であって、観察者が表示条件を入力（設定）するようになっている。
表示処理部３２は、データ記憶部３１に記憶されたフレーム画像および深度拡大画像等の画像データを、入力部５において入力された表示条件に従って表示部４に出力するようになっている。

このように構成された本実施形態に係る顕微鏡システム１００の作用について以下に説明する。
以下での説明では、標本Ｓとして融合遺伝子変異検出用のＦＩＳＨ標本を使用し、多重蛍光標識された標本Ｓの蛍光画像を観察する場合を例示して説明する。すなわち、図３（ａ）および図３（ｂ）に示されるように、細胞核がＤＡＰＩ色素（ｏｂｊ１）で青色（Ｂ）に、ＦＩＳＨシグナルがＦＩＴＣ色素（ｏｂｊ２）で緑色（Ｇ）とＴｅｘａｓ Ｒｅｄ色素（ｏｂｊ３）で赤色（Ｒ）の２色で標識されているものとする。

また、標本Ｓの動画観察に適するように撮像部２では露出時間が１００ｍｓ以下（フレームレートが１０フレーム／秒以上）となるような固定の露出条件に調整されて標本撮影が行われ、撮影毎に画像処理部３にフレーム画像が送られるものとする。
図２に示されるように、最初に、ステップＳ１００にて、顕微鏡本体１の観察準備と観察条件に必要なパラメータの初期設定処理が行われる。

パラメータの初期設定は、例えば、入力部５において観察者による図５に例示した設定画面操作によって行われる。まず、標本Ｓに適用されている蛍光色素を観察したい色成分に割り当てる。
本実施形態では、色素１としてＤＡＰＩ色素（ｄｙｅ１）をＢ成分（ｃｏｌｏｒ１）、色素２としてＦＩＴＣ色素（ｄｙｅ２）をＧ成分（ｃｏｌｏｒ２）、色素３としてＴｅｘａｓ Ｒｅｄ（ｄｙｅ３）をＲ成分（ｃｏｌｏｒ３）に指定する。そして、蛍光観察として使用する光学キューブ２５を指定する。本実施形態では、上記色素１，２，３の蛍光３バンド観察が可能な光学キューブ（例えば、Ｏｌｙｍｐｕｓ製 Ｕ−ＤＭ３−ＤＡ／ＦＩ／ＴＸ）が選択される。

そして、図４（ａ）から図４（ｄ）に例示するように、動画像（図中でＬｉｖｅと表記。）と深度拡大画像（図中でＥＦＩと表記。）をどのような組み合わせで観察したいかの表示組合せモードを指定する。

これにより、初期設定処理が終了するので、顕微鏡本体１で蛍光観察をするために、所望する倍率の対物レンズ２３および初期設定において指定された光学キューブ２５を選択的に光路に装入し、落射照明用光源１３を点灯し、落射シャッタ１６を光路から離脱させることにより蛍光カラー観察を開始する。

そして、画像処理部３においては、データ記憶部３１において、撮像部２からのフレーム画像の受信（画像入力）の有無が判断され（ステップＳ１１０）。フレーム画像が受信された場合には、データ記憶部３１に記憶されるとともに、受信されたフレーム画像に対し、アンミキシング処理部３３にて、データ記憶部３１に格納された今回受信したフレーム画像が、公知のアンミキシング処理を用いて蛍光色素成分別のアンミキシング画像に変換される（ステップＳ１２０）。

生成されたアンミキシング画像も、データ記憶部３１に格納される。
以下、アンミキシング処理の概要を説明する。

標本Ｓからの蛍光は、光学キューブ２５内の吸収フィルタ、撮像部２内のカラーフィルタを介して撮像素子に入射されることにより撮影される。撮像部２により取得された画像の画素値は、式（１）のように表すことができる。

ここで、波長をλ、撮像部２の輝度値Ｒ，Ｇ，Ｂ、正規化された蛍光スペクトルｆ１（λ），ｆ２（λ），ｆ３（λ）、吸収フィルタの透過率ｅ（λ）、撮像部２の分光感度ｃＲ（λ），ｃＧ（λ），ｃＢ（λ）、蛍光スペクトルの比ａ１，ａ２，ａ３で表す。

蛍光スペクトルの比は、注目画素に３色の蛍光がどの程度の比で存在しているか、すなわち、蛍光色素量（以下、蛍光色素量ａ１，ａ２，ａ３ともいう。）を示すものである。したがって、蛍光スペクトルの比を画像のＲＧＢ成分にそれぞれ割り当てることで、蛍光色素の違いを色の違いとして識別することができる。

そして式（１）は、下記の式（２）に変形することが可能であり、行列Ｍの逆行列Ｍ^−１を送られてきたフレーム画像に乗算することにより、各画素における蛍光色素量を求めることができる。

ステップＳ１００において、標本Ｓに適用されている蛍光色素、観察に使用する光学キューブ２５情報が既知であり、データ記憶部３１に予め記録されている蛍光色素、光学キューブ２５、撮像部２のスペクトル定義情報を利用して、行列Ｍを求めることができる。
したがって、撮像部２から入力した標本画像を各蛍光色素量ａ１，ａ２，ａ３に分解でき、各蛍光色素量ａ１，ａ２，ａ３を画像のＲＧＢ成分に再割当てすることにより、各蛍光色素情報を色（ＲＧＢ）情報として認識することができる。

本実施形態では、上記アンミキシング処理を行うことにより、クロストークによる他色素の影響を除いて、ＤＡＰＩをＢ成分にアサインして青色に、ＦＩＴＣをＧ成分にアサインして緑色に、Ｔｅｘａｓ ＲｅｄをＲ成分にアサインして赤色で観察することができる。
なお、画像中で単一の色素で染まっている領域を観察者が指定して逆行列を求めることができることは言うまでもないことである。

そして、更新画素数判定部によって、更新画素数検出部により検出された画素数が所定の閾値を超えていると判定された場合には、ステップＳ１３０において、深度拡大処理部３４により、ステップＳ１２０によって生成されたアンミキシング画像を用いて、色素毎にピントの合っている画素を抽出することにより、被写界深度が拡大された深度拡大画像を生成することができ、生成された深度拡大画像がデータ記憶部３１に更新して記憶される。また、深度情報が更新された画素数が所定の閾値以下であると判定された場合には、生成された深度拡大画像をデータ記憶部３１に記憶しないようになっている。

初回画像入力時は、合焦状態の比較対象となる深度拡大画像がないため、アンミキシング画像をそのまま深度拡大画像として生成し、２回目移行の画像入力でアンミキシング画像と深度拡大画像の合焦状態が各色素の画素毎に比較され、合焦評価値の高い（ピントの合っている）画素値で深度拡大画像の画素値が更新される。

合焦評価方法としては、画像内の各画素についてそれぞれ近傍の画素との輝度の微分値を算出し、この微分値を評価値として使用する公知の方法を採用すればよい。この評価値は深度拡大画像と同様な形式で合焦評価値画像として、データ記憶部３１に格納され、注目画素のアンミキシング画像の評価値Ｖ１と合焦評価値画像の評価値Ｖ２が比較され、Ｖ１＞Ｖ２の場合に注目画素の深度拡大画像データおよび合焦評価値画像データが更新される。そして、深度拡大処理された画素数の合計値が色成分毎にデータ記憶部３１に格納される。微分フィルタとしては公知のソーベル・フィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）やラプラシアン・フィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）を使用できる。

そして、ステップＳ１４０において、表示処理部３２により、ステップＳ１００によって指定された表示組合せモードに従って、図４（ａ）から図４（ｄ）のいずれかの方法で、フレーム画像が送られてくる毎に更新されるアンミキシング画像および深度拡大画像の表示部４への出力表示が行われる。そして、処理を終了するか否かが判定され、処理を継続する場合はステップＳ１１０からの工程が再実行される（ステップＳ１６０）。

更に、深度拡大画像より、色素成分毎に輝度のＭＩＮ、ＭＡＸ値を求め、トーンカーブの最適化が行われる。
最適化方法は、上記画素のＭＩＮ、ＭＡＸ値を入力範囲として出力範囲を最大化してもよいし、観察者の不図示の操作で決定してもよい。さらに、ＤＡＰＩで標識される細胞核はランドマークであり、ＦＩＳＨシグナルが細胞核内に存在することがわかればよいので、ＤＡＰＩのみ暗めのトーンカーブに自動調整してもよい。すなわち、主旨を逸脱しない範囲で任意に変形可能である。

また、図４（ａ）から図４（ｄ）の表示部４内の各画像ウィンドウ６１は、他の画像ウィンドウ６１と表示倍率、表示位置が同じになるように、観察者の不図示のパン操作、拡大／縮小表示操作時に、同期表示制御される。したがって、例えば、注目細胞において、深度拡大画像でＸＹ座標の局在関係を、アンミキシング画像でＺ方向の局在関係を、といった３次元評価が可能となり、ＦＩＳＨシグナルがスプリットされているか否か（すなわち、融合遺伝子変異か正常遺伝子か）の判定を容易に行うことができる。

更に、図４（ａ）の表示モードでは、細胞核（ＤＡＰＩ）の明るさに影響されることなく、各蛍光色素の局在情報をリアルタイムにＬｉｖｅ観察可能となる。そして、図４（ｂ）の表示モードでは、細胞核内のＦＩＳＨシグナルを個別に観察可能となり、各シグナルの存在を明確に確認できるようになる。

また、図４（ｃ）では細胞核の明るさの影響されることなく各ＦＩＳＨシグナルの存在を確認でき、図４（ｄ）では、極力広い視野でＬｉｖｅ画像と深度拡大画像とを同期して確認できるようになる。すなわち、観察者の所望する視点で多重標識された標本Ｓの観察が可能となる。

さらに、ステップ１３０において算出された色素毎に求められた深度拡大処理された画素数を、表示部４に表示するとともに、画素数が所定の時間（または所定のフレーム数）内に所定の閾値を超えない（所定の閾値以下）場合は、全焦点画像を構築済みと判断し、図示しない報知部により警告音や警告表示が行われる。これにより、観察者は追加のＺ軸移動操作が必要か否かを容易に判断することができ、かつ不必要な励起光の照射を防ぐことで褪色防止が可能となる。

なお、フレーム画像が送られてきていない場合には、例えば、入力部５の操作による、表示組合せモードの変更操作や、画像ウィンドウ６１の拡大／縮小、パン操作等が受け付けられたか判定され（ステップＳ１５０）、観察条件を変更する場合にはステップＳ１４０の表示更新処理によって、操作内容に応じた表示更新処理が行われる。また、観察条件を変更しない場合にはステップＳ１１０からの工程が再実行される。

このように、本実施形態に係る顕微鏡システム１００によれば、深度拡大処理部３４において、色素毎に深度拡大処理が行われて深度拡大画像が生成されるので、多重染色された標本Ｓからの微少・微弱な標識シグナルを欠落させることなく、明確に観察し得る深度拡大画像を取得することができるという利点がある。また、Ｌｉｖｅ画像と並べて深度拡大画像を同期して表示することにより、標識部位の局在（ＸＹＺ）情報の確認も容易に行うことができる。特に、蛍光多重標識標本の場合は、褪色防止を行いつつ上記観察が可能となるという利点がある。

なお、深度拡大処理部３４において色素毎に異なる深度拡大方法を実施する場合について、図６を参照して説明する。
例えば、入力部５において、観察したい色成分（すなわち色素１，２，３）別に、用意されている深度拡大方法（ｍｅｔｈｏｄ１，２，３）を観察者が選択することにより実現する。すなわち、図２のステップＳ１００の初期設定処理において、観察したい色成分毎に深度拡大方法を指定し、ステップＳ１３０の深度拡大処理において、色素毎に指定された方法で深度拡大を行う。

深度拡大方法としては、画素単位に深度拡大を行う方法と、画像全体で最も合焦評価値の高い合焦面を深度拡大画像として採用する合焦面選択（深度拡大省略）の２種類に大別される。
画素単位に深度拡大を行う方法としては、注目画素の近傍領域を利用しての、微分情報、分散情報や種々のコントラスト評価情報を利用する方法や、注目画素の最大輝度値や、最小輝度値を合焦評価値として採用する方法が選択可能である。また、合焦面選択方法としては、微分情報の全画素加算情報、画面全体の分散値、空間周波数情報等を合焦評価値として使用する方法の選択が可能である。

本実施形態では、例えば、ＤＡＰＩ色素（Ｂ成分）として合焦面選択方法（画面全体の分散値）が選択され、ＦＩＳＨシグナル用（Ｇ，Ｒ成分）として、深度拡大方法（最大輝度値）が選択されることが好ましい。
すなわち、ＦＩＳＨ標本における細胞核（ＤＡＰＩ色素）はランドマーク的な存在であり、細胞核内にＦＩＳＨシグナルが存在するか否かが判別できればよい。したがって、合焦評価値の最も高いＺ座標の画像を全焦点画像として代用する等の簡略処理で構わず、処理時間が短縮されるので、操作性を向上することができるという利点がある。

また、ＦＩＳＨシグナルは細胞核内に存在する微少なシグナルであるため、注目部位探索時の１０×や２０×等の比較的低倍の対物レンズでは数画素程度の大きさとなり、例えば深度拡大方法（微分情報方式）ではノイズとＦＩＳＨシグナルの区別がつかなくなるという問題が生じる場合がある。ＦＩＳＨシグナルの存在を確認するためには、輝度値を合焦評価値として使用し、最大輝度値の画素を抽出する方法が望ましい。

以上、上述した本実施形態において、ランドマーク／シグナルといった目的別、標識部位の形態的特徴、観察倍率等の種々の条件に応じて、観察者が標識部位別に適切な深度拡大方法を選択することが可能となり、標本観察の視認性を向上することができる。

また、図７に示されるように、撮像部２からフレーム画像が送られてきた場合には、送られてきた画像を録画再生観察用途として、受信順に連番が振られた画像ファイルまたはマルチページＴＩＦＦ画像ファイル形式で、データ記憶部３１に記憶されることとしてもよい（ステップＳ２１０）。
そして、例えば、ステップＳ１５０で観察条件を変更せず、入力部５における操作により再生モードへの切替え指示が行われた場合には（ステップＳ２２０）、ステップＳ２１０において記憶された画像の再生処理が、再生終了の判定がなされるまで行われる（ステップＳ２３０，Ｓ２４０）。

再生終了か否かの判定は、例えば、入力部５の操作により、再生モードの終了指示（標本画像の観察切替え指示）により行ってもよいし、後述する遮光状態判断方法（遮光状態検出部３６、または位置センサ）により、遮光状態の解除（励起光照射、落射シャッタ１６の光路からの離脱操作）を検出することにより、再生モードの終了を判断してもよい。

そして、再生モードの終了時には、ステップＳ２５０において再生終了処理が行われ、再生終了処理が行われた後にステップＳ１１０からの工程を再実行する。
例えば、ステップＳ１３０において生成される深度拡大画像のリセット処理や、今回再生観察を行った録画画像ファイルの削除処理が行われる。なお、録画画像ファイルは別ファイルとして記録保存しておき、所定の記憶容量以上になったら、古い録画画像ファイルから削除することにより、観察視野（ＸＹ座標）が異なる深度拡大画像を再生観察可能にすることができることは言うまでもない。

また、入力部５における操作によりデータ記憶部３１に記憶された画像を再生することに代えて、取得されたアンミキシング画像の各色成分画像の輝度値を検出する輝度値検出部を備え、遮光状態検出部３６で、アンミキシング画像の各色成分画像の最大輝度値が所定の閾値以下の場合に遮光状態と判断し、その遮光状態が所定時間（または所定フレーム数）継続した場合に、ＸＹ位置の検出を行わない再生モードへの切替えを行ってもよい。
さらに、落射シャッタ１６に位置センサを設け、該位置センサの状態を画像処理部３が認識できる構成として、落射シャッタ１６の光路への装入操作により、再生モードへの切替えを行ってもよい。

ここで、画像の録画再生処理について説明する。
まず、図８に示されるように、ステップＳ２３１にて、データ記憶部３１に格納された録画画像ファイルから時間経過順に該当フレーム画像（録画フレーム画像）が読み出される。すなわち、図７中のステップＳ２２０で再生モード移行時にフレームカウンタが初期化され、本処理で該当フレーム画像を読出す都度にフレームカウンタがインクリメントされ、最終フレームに達した場合は、先頭フレームに戻るといった繰り返し再生処理が行われる。

なお、読出し間隔は撮像部２から受信するフレームレートを初期値とし、観察者が任意の読出し間隔に変更できることや、ポーズ停止、コマ送り、逆再生が可能であることは言うまでもない。
そして、ステップＳ１２０からＳ１４０までは、図２の観察フローと同様な処理が行われ、標本観察時と同様に、アンミキシング画像（Ｌｉｖｅ画像）と深度拡大画像（ＥＦＩ画像）が再生観察可能となる。

ステップＳ１４０の表示更新処理が実行された後、注目領域設定部によるステップＳ２３２の注目領域表示更新処理にて、図１０に示す注目領域の輝度情報の時間経過グラフ表示が行われる。すなわち、観察者は図４の画像ウィンドウ６１内に表示される標本画像上の注目領域を入力部５のマウス操作等により矩形領域指定を行い、指定された矩形領域の輝度情報が輝度曲線として表示部４に描画される。

したがって、アンミキシング画像（Ｌｉｖｅ画像）と深度拡大画像（ＥＦＩ画像）を再生観察しながら、注目領域の輝度の変化情報を確認することが可能となる。従って、観察者が標本Ｓの厚さ方向（Ｚ軸方向）の移動観察を繰り返した場合に、蛍光の褪色がどのように生じるかを再生画像上で確認することが可能となる。例えば、励起光の照明強度の調整や厚さ方向の観察時間の決定等に活用することが可能となり、褪色を抑えた蛍光画像観察が可能となる。

また、深度拡大処理に用いるフレーム画像間で、ＸＹ位置が変化した場合について、図９を用いて以下に説明する。
ステップＳ３１０で、ＸＹ移動検出部３５によって、ＸＹ方向の動きベクトル量（差分）が算出される。動きベクトル量の算出は、データ記憶部３１に格納された時間軸方向に隣接する２枚のフレーム画像間で、画像上のＸＹ軸方向の相対的な位置ずれを計算することにより導出される。

動きベクトル量の算出には、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｏｓｕｌｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）に代表されるテンプレートマッチングや空間周波数に基づく位相限定相関法などの公知技術を利用することができる。また、ＸＹ移動検出部３５では動きベクトルを計算するとともに、計算結果の信頼性も算出される。信頼性にはＮＣＣの相関係数、位相限定相関法のピーク値などが利用でき、動きベクトル量とともに信頼性情報としてデータ記憶部３１に記憶される。

例えば、ステップＳ１２０で作成されたアンミキシング画像のＢ成分（ＤＡＰＩ標識された細胞核）画像が、動き検出評価用の画像として採用される。ＦＩＳＨシグナル画像（アンミキシング画像のＧ、Ｒ成分）は、Ｚ軸方向の移動操作で輝度が大きく変化し、ＸＹ軸移動検出用としては不向きだからである。

そして、算出された動きベクトル量と信頼性情報を用いて、視野の移動および振動等による画像のブレの有無が評価される（ステップＳ３２０）。
算出された動きベクトル量αが所定の閾値（第１閾値）α１以上の場合（α≧α１）、観察者によるステージ２０のＸＹ軸移動操作による観察視野の移動操作が行われたと判断し、深度拡大観察がリセットされて（ステップＳ３３０）、ステップＳ１１０からの工程が再実行される。

動きベクトル量αが、α＜α１の場合は、フレーム画像入力毎に累積加算されデータ記憶部３１に格納される動きベクトル累積量Σαを調べ、動きベクトル累積量Σαが所定の閾値（第２閾値）α２以上の場合（Σα≧α２）、深度拡大観察がリセットされて（ステップＳ３３０）、ステップＳ１１０からの工程が再実行される。

その他の場合は、振動等による画像ブレ状態と判断し、ステップＳ１３０にて、動きベクトル累積量Σαを用いてアンミキシング画像のシフト補正を行って（欠落画素領域は深度拡大しない）、深度拡大処理が行われる。動きベクトル累積量Σαに代えて、動きベクトル量α自体がα２≦α＜α１の場合にシフト補正を行ってもよい。

なお、ステップＳ３３０の深度拡大リセット処理は、視野（ＸＹ軸）移動に伴い、ステップＳ１３０で生成される深度拡大画像のリセット処理や、動きベクトル累積量Σαの初期化といった視野移動に伴う、画像データおよび制御情報の初期化処理が行われる。
このようにすることで、観察者の視野移動操作に追従して、追加の操作指示を必要とせず、標本Ｓの動画観察と深度拡大観察を行うことが可能となり、観察者が標本観察に注力することができる。

また、ステップＳ３２０において、視野の移動および振動等による画像のブレが無い評価された場合には、図２のステップＳ１３０からの工程が実行される。

また、ステップＳ３１０で、動き検出評価用の画像の輝度最大値が所定の閾値以下の場合は、遮光状態と判断して、深度拡大画像の更新を行わないことにしてもよい。
また、動き検出評価用の画像がピンぼけ状態で動き検出に不適切な場合は動き検出を行わす、適正コントラスト値の検出以降に、動きベクトルの算出を行うことにしてもよい。

また、動きベクトル量の信頼性情報が所定の閾値以下といった低信頼性状態では、動き検出を行わない、若しくは所定回数の連続検出により視野移動と判断することにしてもよい。

また、本実施形態においては、標本Ｓとして明視野での色素多重標本を用いてもよい。
標本Ｓとしては、例えば乳癌のＨＥＲ２遺伝子増幅検査に用いられるＤＩＳＨ（Ｄｕａｌ Ｃｏｌｏｒ ｉｎ ｓｉｔｕ ｈｙｂｒｉｄｉｚａｔｉｏｎ）標本を明視野観察する場合を例示することができる。

すなわち、ＨＥＲ２遺伝子を銀粒子で黒褐色に、第１７番染色体のセントロメアが酵素標識で赤色に、細胞核をヘマトキシリン色素で青紫色に染色された標本を用いる。
なお、明視野標本は、蛍光標本と違って単純にＲ，Ｇ，Ｂ成分に色素を割り当てると接眼レンズ２６での標本観察像と異なってしまう。そこで、公知のランベルト・ベールの法則を用いて色素量を求め、色素量が最大となる画素を合焦画像として抽出し、得られた色素量から色素の分光スペクトルを用いて色情報に逆変換することで、接眼レンズ２６で観察される画像と同様な表示色で深度拡大観察が可能となる。概略を以下で説明する。

最初に、ステップＳ１００処理の初期設定処理で、色素１として銀粒子、色素２としてペルオキシダーゼ基質で赤色に、色素３としてヘマトキシリンが選択され、そして、光学キューブ２５は透過明視野観察用の空キューブ、表示組合せモードが指定される。そして、顕微鏡本体１で透過明視野観察をするために、所望する倍率の対物レンズ２３、上記設定処理で指定された光学キューブ２５を選択的に光路に装入し、透過照明用光源６を点灯することにより透過明視野観察を開始する。

そして、ステップＳ１１０にて、撮像部２からのフレーム画像の受信の有無を判断し、受信時はステップＳ１２０へ進み、ステップＳ１２０で、アンミキシング処理部３３にてアンミキシング画像が作成されて各色素量に変換され、ステップＳ１３０の深度拡大処理にて色素量が最大となる画素が抽出され、被写界深度が拡大された深度拡大画像が生成されてデータ記憶部３１に記憶される。

そして、ステップＳ１４０処理にて、色素量で構成されているアンミキシング画像、深度拡大画像を、色素の分光スペクトルを用いて色情報に逆変換して表示部４に出力表示する。
このようにすることで、波長の異なる色素で多重標識された明視野標本において、動画観察と標識部位の深度拡大観察を行うことが可能となる。

なお、本実施形態においては、手動顕微鏡を例に挙げて説明したが、Ｚ軸方向および／またはＸＹ軸方向の移動制御が電動化された顕微鏡を用いてもよい。また、本実施形態ではＺ軸方向の移動としてステージ２０の移動制御を行ったが、レボルバ２４の移動制御としてもよい。

２ 撮像部
４ 表示部（画像表示部、画素数表示部、経過表示部）
５ 入力部（表示条件設定部）
２０ ステージ
２３，２３ａ，２３ｂ 対物レンズ
３１ データ記憶部（画像記憶部）
３２ 表示処理部（画像再生部）
３４ 深度拡大処理部
３５ ＸＹ移動検出部（ＸＹ位置検出部、移動量算出部）
３６ 遮光状態検出部（遮光検出部）
９８ Ｚ軸移動部
９９ ＸＹ軸移動部
１００ 顕微鏡システム
α１ 閾値（第１閾値）
α２ 閾値（第２閾値）
Ｌ 光軸
Ｓ 標本

Claims (15)

1. 多重染色された標本を載置するステージと、
   該ステージに搭載された前記標本からの光を集光する対物レンズと、
   前記ステージと前記対物レンズとを該対物レンズの光軸に沿う方向に相対的に移動させるＺ軸移動部と、
   前記ステージを前記光軸に直交する方向に移動させるＸＹ軸移動部と、
   前記対物レンズにより集光された光を撮影してカラー画像を取得する撮像部と、
   前記Ｚ軸移動部により、前記ステージと前記対物レンズとの異なる相対位置において前記撮像部により取得された複数枚の前記カラー画像に基づいて、色素毎に深度拡大処理を行って深度拡大画像を生成する深度拡大処理部とを備える顕微鏡システム。
2. 前記撮像部により取得された前記カラー画像を経時的に更新する動画像と、前記深度拡大処理部により生成された前記深度拡大画像とを同時に同期して表示する画像表示部を備える請求項１に記載の顕微鏡システム。
3. 前記深度拡大処理部が、組合せを異ならせた色素毎に前記深度拡大画像を生成し、
   前記画像表示部により表示する前記動画像および前記深度拡大画像の組合せ表示条件を設定する表示条件設定部を備える請求項２に記載の顕微鏡システム。
4. 前記深度拡大処理部が、前記標本の前記カラー画像に対して、アンミキシング処理を行うことにより、色素成分毎の色素量画像を生成し、生成された前記色素量画像を用いて前記深度拡大画像を生成する請求項１から請求項３のいずれかに記載の顕微鏡システム。
5. 前記深度拡大処理部が、前記アンミキシング処理により生成された前記色素量画像の輝度を調節する請求項４に記載の顕微鏡システム。
6. 前記深度拡大処理部による深度拡大処理が前記色素毎に異なる請求項１から請求項５のいずれかに記載の顕微鏡システム。
7. 前記撮像部により取得された焦点位置が異なる複数の前記カラー画像を経時的に記憶する画像記憶部と、
   該画像記憶部により記憶された複数の画像を経時的に切り替えて表示することにより再生する画像再生部とを備える請求項１から請求項６のいずれかに記載の顕微鏡システム。
8. 前記深度拡大処理部が、生成された前記深度拡大画像の画素毎の深度情報を新たに取得された前記カラー画像の画素毎の深度情報を用いて更新することにより前記深度拡大画像を生成し、
   前記撮像部により取得された前記カラー画像内における深度情報が更新された画素数を検出する更新画素数検出部と、該更新画素数検出部により検出された前記画素数が所定の閾値以下であるか否かを判定する更新画素数判定部とを備え、前記画像記憶部は、該更新画素数判定部により、深度情報が更新された前記画素数が前記所定の閾値以下であると判定された場合に前記カラー画像を記憶しない請求項７に記載の顕微鏡システム。
9. 前記更新画素数判定部により深度情報が更新された前記画素数が前記所定の閾値以下であると判定された前記カラー画像が所定数時間的に連続して取得された場合に、その旨を報知する報知部を備える請求項８に記載の顕微鏡システム。
10. 前記更新画素数検出部により検出された前記画素数を表示する画素数表示部を備える請求項８または請求項９に記載の顕微鏡システム。
11. 前記画像記憶部に記憶された各前記カラー画像における注目領域を設定する注目領域設定部と、
    該注目領域設定部により設定された前記注目領域の輝度の時間変化を表示する経過表示部とを備える請求項７または請求項８に記載の顕微鏡システム。
12. 前記標本への照明が遮光されたことを検出する遮光検出部を備え、
    前記画像再生部は、前記遮光検出部により遮光されたことが検出された場合に前記画像記憶部に記憶された画像を再生する請求項７または請求項８に記載の顕微鏡システム。
13. 前記撮像部により各前記カラー画像が取得された際のＸＹ軸移動部による前記ステージのＸＹ位置を検出するＸＹ位置検出部と、
    前記撮像部により時間軸方向に隣接して取得された２枚の前記カラー画像のＸＹ位置の差分を算出する移動量算出部とを備え、
    前記深度拡大処理部は、前記移動量算出部により算出された差分が第１閾値以上である場合に、前記深度拡大処理を最初から開始する請求項１から請求項１２のいずれかに記載の顕微鏡システム。
14. 前記移動量算出部により算出された差分が前記第１閾値より小さく第２閾値以上である場合に、前記カラー画像のＸＹ位置を補正する請求項１３に記載の顕微鏡システム。
15. 前記撮像部により取得された前記カラー画像の輝度値を検出する輝度値検出部を備え、
    前記ＸＹ位置検出部は、前記輝度値検出部により検出された前記輝度値が所定の閾値以下の場合に前記ＸＹ位置の検出を行わない請求項１３または請求項１４に記載の顕微鏡システム。

Images