JP2019204009A - 顕微鏡システム - Google Patents

Abstract

【課題】多重染色された標本からの焦点位置が異なる微弱な光を欠落させることなく、明確に観察し得る深度拡大画像を取得する。【解決手段】ステージ２０と、ステージ上の標本Ｓからの光を集光する対物レンズ２３と、ステージと対物レンズとを光軸Ｌに沿う方向に相対的に移動させるＺ軸移動部と、ステージを光軸に直交する方向に移動させるＸＹ軸移動部と、撮影する光の波長を手動により選択的に切替可能な波長選択部２５と、画像を取得する撮像部２と、取得された画像に基づいて波長選択部により選択された波長を検出する波長検出部３３と、ステージと対物レンズとの異なる相対位置において取得された複数枚の画像に基づいて、検出された波長について深度拡大処理を行って深度拡大画像を生成する深度拡大処理部３４と、生成された波長毎の深度拡大画像を重畳する画像重畳部３５とを備える顕微鏡システム１００を提供する。【選択図】図１

Description

本発明は、顕微鏡システムに関するものである。

対物レンズを光軸に沿う方向に移動させつつ、光軸方向に異なる複数の位置で取得された画像を合成する顕微鏡において、対物レンズの光軸に沿う方向への移動と、画像の撮像処理とを非同期で行う顕微鏡が知られている（例えば、特許文献１参照。）。
また、可変焦点レンズとアクチュエータとを用いて高速に焦点位置を対物レンズの光軸に沿う方向に移動させることにより、準リアルタイムに全焦点画像を生成する顕微鏡が知られている（例えば、特許文献２参照。）。

特開２０１５−１２７７７２号公報 特開２０００−３１６１２０号公報

しかし、特許文献１および特許文献２に記載された顕微鏡は、標本の明るさ情報のみによって全焦点画像を生成するものであるため、例えば、検出したい光が、多重染色された細胞等の標本から発せられるＦＩＳＨシグナルである、対比染色されるＤＡＰＩ色素からの光に対して焦点位置が異なる微弱な光である場合に、生成された全焦点画像において検出したい光が見え難くなったり、シグナルとして欠落してしまったりする不都合がある。

本発明は上述した事情に鑑みてなされたものであって、多重染色された標本からの焦点位置が異なる微弱な光を欠落させることなく、明確に観察し得る深度拡大画像を取得することができる顕微鏡システムを提供することを目的としている。

上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、多重染色された標本を載置するステージと、該ステージに搭載された前記標本からの光を集光する対物レンズと、前記ステージと前記対物レンズとを該対物レンズの光軸に沿う方向に相対的に移動させるＺ軸移動部と、前記ステージを前記光軸に直交する方向に移動させるＸＹ軸移動部と、前記対物レンズにより集光された光の内、撮影する光の波長を手動により選択的に切替可能な波長選択部と、該波長選択部により選択された波長の光を撮影することによって画像を取得する撮像部と、該撮像部により取得された前記画像に基づいて前記波長選択部により選択された波長を検出する波長検出部と、前記Ｚ軸移動部により、前記ステージと前記対物レンズとの異なる相対位置において前記撮像部により取得された複数枚の前記画像に基づいて、前記波長検出部により検出された波長について深度拡大処理を行って深度拡大画像を生成する深度拡大処理部と、該深度拡大処理部により生成された波長毎の深度拡大画像を重畳する画像重畳部とを備える顕微鏡システムを提供する。

本態様によれば、多重染色された標本をステージに載置し、操作者が波長選択部を手動により操作して、撮影する光の波長を選択し、選択された光を撮像部により撮影して画像を取得すると、取得された画像に基づいて波長選択部により選択された波長が波長検出部により検出される。そして、ＸＹ軸移動部により対物レンズの光軸を標本の所定の位置に一致させた状態で、ステージと対物レンズとを相対移動させて焦点位置を対物レンズの光軸方向に異ならせた複数枚の画像を撮像部により取得すると、深度拡大処理部によって、波長選択部により選択された波長のカラー画像が深度拡大処理されて深度拡大画像が生成される。

手動で波長選択部を切り替えて、異なる波長について深度拡大画像を生成し、生成された波長毎の深度拡大画像が画像重畳部により重畳されることにより、多色の深度拡大画像が生成される。

この場合において、手動の波長選択部により撮影する光の波長を切り替えて選択し、焦点位置を光軸方向に異ならせた画像を取得するだけで、深度拡大処理が波長毎に行われるので、波長毎に合焦位置の評価を行うことができる。これにより、標本から発せられる特定色素からの焦点位置が異なる微弱な光が他の色素からの光に紛れて見え難くなったり欠落してしまったりすることを防止して、明確に観察し得る多色の深度拡大画像を取得することができる。

上記態様においては、前記波長選択部により撮影する光の波長が選択されたときに、前記撮像部のゲインおよび露出時間の少なくとも一方を設定する露出制御部を備えていてもよい。

また、上記態様においては、前記波長と前記撮像部の前記ゲインおよび前記露出時間の少なくとも一方を含む露出条件を記憶する記憶部を備え、前記露出制御部が、選択された前記波長に対応する露出条件を前記記憶部から読み出してから前記撮像部に設定してもよい。

また、上記態様においては、前記撮像部により経時的に取得された２枚の前記画像間において画像片縁部の輝度の変化を検出する輝度変化検出部を備え、前記深度拡大処理部が、該輝度変化検出部により輝度の低下が検出された場合に、該輝度変化検出部による輝度変化が検出されなくなるまで、深度拡大処理を一時停止してもよい。

また、上記態様においては、前記撮像部により取得された前記画像の輝度値が所定の閾値以下であるか否かを判定する遮光判定部を備え、該遮光判定部により、前記画像の輝度値が所定の閾値以下であると判定された場合に、前記露出制御部が新たな露出条件を前記撮像部に設定してもよい。
上記態様においては、前記撮像部により取得された前記画像を経時的に更新する動画像と、前記画像重畳部により重畳された前記深度拡大画像とを同時に同期した状態で表示する画像表示部を備えていてもよい。
このようにすることで、撮像部により取得された画像に基づく動画像と深度拡大画像とが同時に同期した状態で画像表示部に表示される。これにより、細胞内からのＦＩＳＨシグナル等の微弱な光による発現状況の局所領域での位置関係の把握が可能となり、遺伝子転座等を容易に確認することができる。

また、上記態様においては、前記画像重畳部が、波長の組合せを異ならせた前記深度拡大画像を重畳し、前記画像表示部により表示する前記動画像および前記深度拡大画像の組合せ表示条件を設定する表示条件設定部を備えていてもよい。
このようにすることで、深度拡大処理により、種々の波長を組合せて生成された深度拡大画像を用いて疑似カラー観察することができ、標本における標識部位の局在関係を異なる視点で観察することができる。

本発明によれば、多重染色された標本からの焦点位置が異なる微弱な光を欠落させることなく、明確に観察し得る深度拡大画像を取得することができるという効果を奏する。

本発明の一実施形態に係る顕微鏡システムを示す全体構成図である。 図１の顕微鏡システムの動作を説明するフローチャートである。 標本の一例を示す模式的な（ａ）平面図および（ｂ）側面図である。 （ａ）から（ｄ）は動画像および深度拡大画像の表示レイアウト例を示す図である。 深度拡大方法の設定表示例を示す図である。 図１の顕微鏡システムの変形例の動作を説明するフローチャートである。 図１の顕微鏡システムの他の変形例の動作を説明するフローチャートである。 図７の動作における顕微鏡観察状態の状態管理について示す図である。

本発明の第１の実施形態に係る顕微鏡システム１００について、図面を参照して以下に説明する。
本実施形態に係る顕微鏡システム１００は、図１に示されるように、顕微鏡本体１と、撮像部２と、画像処理部３と、表示部（画像表示部）４と、入力部（表示条件設定部）５とを備えている。

顕微鏡本体１は、透過観察用光学系として、透過照明用光源６と、透過照明用光源６からの照明光を集光するコレクタレンズ７と、透過用フィルタユニット８と、透過視野絞り９と、透過開口絞り１０と、コンデンサ光学素子ユニット１１と、トップレンズユニット１２とを備えている。また、顕微鏡本体１は、落射観察用光学系として、落射照明用光源１３と、コレクタレンズ１４と、落射用フィルタユニット１５と、落射シャッタ１６と、落射視野絞り１７と、落射開口絞り１８とを備えている。図中、符号１９はミラーである。

また、観察光路上には、複数装着された対物レンズ２３ａ，２３ｂ，…（以下、対物レンズ２３ともいう。）のなかから、そのとき観察に使用する対物レンズ２３を回転動作により選択するレボルバ２４と、撮像部２に入射させる標本Ｓの顕微鏡画像のスペクトル帯域特性に応じて選択的に観察光路に挿入される光学キューブ（波長選択部）２５ａ，２５ｂ，…（以下、光学キューブ２５ともいう。）と、観察光路を接眼レンズ２６側と撮像部２側とに分岐するビームスプリッタ２７とが備えられている。レボルバ２４および光学キューブ２５は観察者が手動により切り替えることができる。

透過観察用光学系の光路と落射観察用光学系の光路とが重なる観察光路上には、多重染色処理された標本Ｓが載置され、レボルバ２４により選択された対物レンズ２３の光軸Ｌと平行な方向（Ｚ軸方向）および光軸Ｌに垂直な方向（ＸＹ軸方向）に移動可能なステージ２０が備えられている。このステージ２０の移動は、Ｚ軸移動部およびＸＹ軸移動部で構成される操作ハンドルを観察者が操作することにより行われる。

撮像部２は、標本像を結像するＣＣＤやＣＭＯＳ等の撮像素子上にＲ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが配置されたカラー撮影可能なデジタルカメラである。撮像部２は、画像処理部３内の露出制御処理部３７（後述）から指示されるゲインおよび露出時間等の撮影条件に基づいて、標本像の撮像を行う。撮像部２は、主に露出時間によって決定されるフレームレートで連続撮影されるフレーム画像（カラー画像）を取得し、画像処理部３に送る。

画像処理部３は、例えば、汎用のパーソナルコンピュータ、ワークステーション、組み込みプロセッサまたはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ），ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ Ｐｕｒｐｏｓｅ Ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を用いた計算機である。

画像処理部３は、撮像部２から送られてきたフレーム画像を経時的に記憶するデータ記憶部（記憶部）３１と、表示処理部３２と、画像評価処理部（波長検出部、輝度変化検出部）３３と、合焦画像生成処理部（深度拡大処理部）３４と、画像重畳処理部（画像重畳部）３５と、ＸＹ移動検出部３６と、露出制御処理部（露出制御部）３７とを備えている。
画像処理部３においては、撮像部２から送られてくるフレーム画像の入力毎に、以下の処理が行われる。

まず、ＸＹ移動検出部３６では、観察者による視野（ＸＹ軸）移動操作が検出され、動きベクトル情報が生成される。動きベクトル情報は、データ記憶部３１に格納された時間的に連続する２枚のフレーム画像間において、画像上のＸＹ軸方向の相対的な位置ずれを計算することによって動きベクトル量を導出し、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）あるいはＮＣＣ（Ｎｏｒｍａｌｉｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）に代表されるテンプレートマッチングあるいは空間周波数に基づく位相限定相関法等の公知技術を利用することによって求めることができる。また、ＸＹ移動検出部３６では動きベクトル量を計算するとともに、計算結果の信頼性も計算される。信頼性にはＮＣＣの相関係数、位相限定相関法のピーク値等が利用でき、動きベクトル量と共に信頼性情報としてデータ記憶部３１に記憶される。

また、画像評価処理部３３は、入力されたフレーム画像の輝度情報および色情報から、落射シャッタ１６の照明光路への挿脱、光学キューブ２５の切り替えおよび対物レンズ２３の切り替え等の顕微鏡観察条件の変更の検出および状態管理を行う。観察者が顕微鏡観察条件を切り替えると、露光状態およびフォーカス状態が適切に管理された状態で、複数の観察画像を動画レベルで同時観察できる。

露出制御処理部３７では、入力されたフレーム画像に基づいて、適正フレームレートおよび適正露光状態で画像を取得するための露出条件が算出され、撮像部２に設定指示が行われる。なお、決定された露出条件はデータ記憶部３１に波長毎に格納され、波長の切り替え時に再利用される。

合焦画像生成処理部３４では、フレーム画像から、ベストフォーカス画像の検出およびロック処理、および、ピントの合っている画素を抽出することによる被写界深度を拡大した合焦画像の生成処理が行われる。
画像重畳処理部３５は、合焦画像生成処理部３４により波長毎に生成された合焦画像に疑似カラーを付与するとともに、疑似カラーが付与された合焦画像を重畳することにより、合焦重畳画像を生成する。

データ記憶部３１は、メモリ、ＨＤＤまたはＳＤＤ等の任意の記憶装置であり、撮像部２から送られてきたフレーム画像を記憶する他、合焦画像生成処理部３４により生成された合焦画像、画像重畳処理部３５により生成された合焦重畳画像等の画像データと、ＸＹ移動検出部３６により検出された動きベクトル情報および露出制御処理部３７において算出される露出条件等のデータ等が格納される。

入力部５は、例えばキーボードやマウス等の任意の入力手段であって、観察者が表示条件を入力（設定）する。
表示処理部３２は、データ記憶部３１に記憶されたフレーム画像および合焦重畳画像等の画像データを、入力部５において入力された表示条件に従って表示部４に出力する。

このように構成された本実施形態に係る顕微鏡システム１００の作用について以下に説明する。
以下での説明では、標本Ｓとして融合遺伝子変異検出用のＦＩＳＨ標本を使用し、多重蛍光標識された標本Ｓの蛍光画像を観察する場合を一例として説明する。すなわち、図３（ａ）および図３（ｂ）に示されるように、細胞核がＤＡＰＩ色素（ｏｂｊ１）で青色（Ｂ）に、ＦＩＳＨシグナルがＦＩＴＣ色素（ｏｂｊ２）で緑色（Ｇ）とＴｅｘａｓ Ｒｅｄ色素（ｏｂｊ３）で赤色（Ｒ）の２色で標識されているものとする。

そして、ＤＡＰＩ色素観察用の光学キューブ２５としてＵ励起蛍光キューブ（例えば、Ｏｌｙｍｐｕｓ製 Ｕ−ＦＵＮＡ）、ＦＩＴＣ色素観察用光学キューブ２５としてＢ励起蛍光キューブ（例えば、Ｏｌｙｍｐｕｓ製 Ｕ−ＦＢＮＡ）、Ｔｅｘａｓ Ｒｅｄ色素観察用の光学キューブとしてＧ励起蛍光キューブ（例えば、Ｏｌｙｍｐｕｓ製 Ｕ−ＦＧＷ）が顕微鏡に装着されているものとする。

なお、ＦＩＳＨ検査手順では、ＤＡＰＩ標識された細胞核の異型度、密集度等の形態情報によって腫瘍部位を特定する裸婦スクリーニングが最初に実施されるため、ＤＡＰＩ色素観察用の光学キューブ（Ｕ−ＦＵＮＡ）２５および所望する倍率の対物レンズ２３を選択的に光路に挿入し、落射照明用光源１３を点灯させ、落射シャッタ１６を光路から離脱させることにより蛍光カラー観察を開始する。

図２に示されるように、最初に、ステップＳ１００にて、観察者の操作により、標本Ｓの動画観察に適することを目的としてＩＳＯ感度と露出時間等の露出条件が決定され、露出制御処理部３７を経由して撮像部２に撮影条件が設定される。撮像部２においては、設定された撮影条件に基づいて算出されるフレームレートで連続撮影を行うライブビューモード（動画観察）が開始され、撮影時に画像処理部３にフレーム画像が送られる。

そして、ステップＳ１１０において、撮像部２からのフレーム画像の受信の有無が判定され、受信されたときにはステップＳ１２０へと進む。
ステップＳ１２０では、画像評価処理部３３にて、受信したフレーム画像の色情報に基づき、観察法の決定が行われる。例えば、Ｒ，Ｇ，Ｂ各成分画像の明るさの平均値が、３成分全てで所定の閾値（例：１００）以上の場合には、背景の明るい透過モノクロ観察（透過位相差または透過微分干渉）と判断し、その他の場合には、画像の平均値が最大の成分の蛍光色素の蛍光観察法と判断する。

すなわち、Ｂ成分の画像平均値が最大であればＢ成分（ＤＡＰＩ）蛍光観察、Ｇ成分の画像平均値が最大であればＧ成分（ＦＩＴＣ）蛍光観察、Ｒ成分の画像平均値が最大であれば、Ｒ成分（Ｔｅｘａｓ Ｒｅｄ）蛍光観察と判断され、データ記憶部３１に現在の選択されている波長情報が格納される。
そして、決定された観察法に応じてフレーム画像（ＲＧＢカラー画像）から輝度画像への変換が行われる。

例えば、ＤＡＰＩ蛍光観察時には、Ｂ成分画像のみを抽出することによりＢ成分蛍光画像に変換され、ＦＩＴＣ蛍光観察時にはＧ成分画像のみを抽出することによりＧ成分蛍光画像に変換され、Ｔｅｘａｓ Ｒｅｄ蛍光観察時にはＲ成分画像のみを抽出することによってＲ成分蛍光画像に変換される。また、透過モノクロ観察時は式（１）で示されるグレースケール輝度画像に変換され、データ記憶部３１に格納される。

Ｉ＝０．２９８９×Ｒ＋０．５８６６×Ｇ＋０．１１４５×Ｂ ・・・（１）
ここで、Ｉ：輝度値、Ｒ：赤色成分の明るさ、Ｇ：緑色成分の明るさ、Ｂ：青色成分の明るさである。

そして、ステップＳ１３０では、合焦画像生成処理部３４において、データ記憶部３１に格納された現在の観察法に対応した輝度画像データから画素毎にピントの合っている画素データを抽出および更新する。これにより、被写界深度が拡大された合焦画像が生成および更新されて、観察法に応じた合焦画像データとしてデータ記憶部３１に格納される。

なお、初回画像入力時は、合焦状態の比較対象となる合焦画像がないため、フレーム画像から変換された輝度画像をそのまま深度拡大された合焦画像として生成し、２回目以降のフレーム画像入力で輝度画像と合焦画像の合焦状態が画素毎に比較され、合焦評価値の高い（ピントの合っている）画素値で合焦画像の該画素値が更新される。

合焦評価方法としては、特開２０１３−２０１４０号公報に記載されており、画像内の各画素についてそれぞれ近傍の画素との輝度の微分値を算出し、この微分値を評価値として使用する。この評価値は合焦画像と同様な形式を用いて観察法毎に、合焦評価値画像としてデータ記憶部３１に格納され、輝度画像の評価値Ｖ１と合焦評価値画像の評価値Ｖ２とが比較され、Ｖ１＞Ｖ２の場合に注目画素の深度拡大画像データおよび合焦評価値画像データが更新される。

なお、微分フィルタとしては公知のソーベル・フィルタ（Ｓｏｂｅｌ Ｆｉｌｔｅｒ）またはラプラシアン・フィルタ（Ｌａｐｌａｃｉａｎ Ｆｉｌｔｅｒ）を使用できる。
そして、ステップＳ１４０では、画像重畳処理部３５にて、不図示の観察者により指定される図４（ａ）から図４（ｄ）のいずれかの表示方法でフレーム画像（Ｌｉｖｅ表記）および合焦画像（ＥＦＩ表記）を表示するために、観察法毎の合焦画像の重畳処理が行われる。

例えば、図４（ｂ）の表示方法が指定されている場合は、ＤＡＰＩ（Ｂ成分）およびＦＩＴＣ（Ｇ成分）およびＴｅｘａｓ Ｒｅｄ（Ｒ成分）の重畳画像（ＥＦＩ（ＲＧＢ）表記）、ＤＡＰＩ（Ｂ成分）およびＦＩＴＣ（Ｇ成分）の重畳画像（ＥＦＩ（ＢＧ）表記）、ＤＡＰＩ（Ｂ成分）およびＴｅｘａｓ Ｒｅｄ（Ｒ成分）の重畳画像（ＥＦＩ（ＢＲ）表記）の３種類の合焦重畳画像データが生成され、データ記憶部３１に格納される。

そして、ステップＳ１５０にて、表示処理部３２で、前述の表示組合せモードに従って、図４（ａ）から図４（ｄ）のいずれかの方法で、フレーム入力毎に更新されるフレーム画像（Ｌｉｖｅ表記）と合焦重畳画像（ＥＦＩ表記）の表示部４への出力表示が行われる。

さらに、フレーム画像および合焦画像の明るさの最小値および最大値を求め、トーンカーブの最適化が行われる。最適化方法は、上記画素の最小値および最大値を入力範囲として出力範囲を最大化してもよいし、観察者の不図示の操作で決定してもよい。さらにＤＡＰＩで標識される細胞核はランドマークであり、ＦＩＳＨシグナルが細胞核内に存在することがわかればよいので、ＤＡＰＩのみ暗めのトーンカーブに自動調整してもよい。すなわち、主旨を逸脱しない範囲で任意に変形可能である。

また、図４の表示部４内の各画像ウインドウ６１は、観察者の不図示のパン操作および拡大／縮小表示操作時に、同期表示制御され、他の画像ウインドウと表示倍率および表示位置が同じになる。
したがって、例えば、注目細胞において、合焦画像によってＸＹ座標の局在関係を、フレーム画像（Ｌｉｖｅ画像）によってＺ方向の局在関係を、といった３次元評価が可能となり、ＦＩＳＨシグナルがスプリットされているか否か（すなわち、融合遺伝子変異か正常遺伝子か）の判定を容易に行うことができる。

さらに、図４（ｂ）の表示モードでは、細胞核内のＦＩＳＨシグナルを個別に観察可能となり、各シグナルの存在を明確に確認できる。また、図４（ｃ）では細胞核の明るさに影響されることなく各ＦＩＳＨシグナルの存在を確認でき、図４（ｄ）では、極力広い視野でフレーム画像（Ｌｉｖｅ画像）と合焦重畳画像を同期した状態で確認できる。すなわち、観察者の所望する視点で多重標識された標本Ｓの観察が可能となる。

なお、ステップＳ１１０でフレーム画像入力待ち状態では、例えば、入力部５のキーボード操作（数字キー、ファンクションキー）、マウス操作による、表示組合せモードの変更操作および、画像ウインドウ６１の拡大／縮小、パン操作を受け付け、ステップＳ１５０において、操作内容に応じた表示更新処理が行われる。
また、ステップＳ１２０の観察法の決定処理において、入力フレーム画像のＲ、Ｇ、Ｂ成分情報ではなく、Ｌａｂ色空間またはＨＳＩ空間等の他の空間座標より色情報を算出し、観察法を決定することが可能である。

また、ステップＳ１３０で蛍光観察時のフレーム画像（ＲＧＢカラー画像）から輝度画像への変換を行う際に、特開２０１０−１９１３７７号公報に記載されている方式によって式（２）を用いて輝度画像に変換する。これにより、ＲＧＢ成分の複数成分にまたがる蛍光観察を明るく観察することにより、励起光を抑えて褪色防止ができる。

Ｉ＝ｋＲ×Ｒ＋ｋＧ×Ｇ＋ｋＢ×Ｂ ・・・（２）
ここで、Ｉ：輝度値、Ｒ：赤色成分の明るさ、Ｇ：緑色成分の明るさ、Ｂ：青色成分の明るさ、ｋＲ：赤色成分の補正係数、ｋＧ：緑色成分の補正係数、ｋＢ：青色成分の補正係数である。

補正係数ｋＲ，ｋＧ，ｋＢは、撮像部２の分光感度特性と光学キューブの分光感度特性の波長毎の積和演算等で決定される分光感度特徴量に応じて算出される。
また、フレーム画像（ＲＧＢカラー成分画像）において蛍光観察法で特定される色成分の画素値が所定値（例えば１００）以上の画素を対象として各色成分の明るさの平均値を算出し、蛍光観察法で特定される色成分の補正係数ｋを１．０とし、他色成分の補正係数ｋを上記平均値から算出してもよい。

さらに、フレーム画像の入力毎に露出制御処理部３７で、ピーク測光等の測光演算を行い露出時間の自動調節を行うことにより、観察法の切り替えによる標本画像の明るさの変動が生じた場合でも、白トビ、黒つぶれを防止して適正露光でフレーム画像を取得することができる。

これにより、本実施形態に係る顕微鏡システム１００によれば、光学キューブ２５を手動で切り替えるだけで、画像評価処理部３３により観察法が検出され、合焦画像生成処理部３４において、色素毎に深度拡大処理が行われて合焦画像が生成されるので、多重染色された標本Ｓからの微少・微弱な標識シグナルを欠落させることなく、明確に観察し得る合焦画像を取得することができるという利点がある。また、Ｌｉｖｅ画像と並べて合焦重畳画像を同期した状態で表示することにより、標識部位の局在（ＸＹＺ）情報の確認も容易に行うことができる。特に、蛍光多重標識標本の場合は、褪色防止を行いつつ上記観察が可能となるという利点がある。また、特別な電動機構を必要としない手動の顕微鏡を用いることができるという利点もある。

次に、本発明の第２の実施形態に係る顕微鏡システムについて、図面を参照して以下に説明する。
本実施形態においては、合焦画像の生成方法が観察法毎に異なる場合について、第１の実施形態と同様なＦＩＳＨ標本を用いて蛍光観察と位相差観察を同時観察する場合を例にとって説明する。

具体的には、図５に例示する、観察法別に用意されている合焦画像生成方法を観察者が選択することにより実現する。すなわち、図２のステップＳ１００の初期設定処理において、観察法毎に合焦画像生成方法を指定し、ステップＳ１３０の合焦画像生成処理で、観察法毎に指定された方法で合焦画像の生成を行う。

合焦画像生成方法としては、画素単位に深度拡大を行う方法と、画像全体で最も合焦評価値の高い合焦画像を深採用する合焦面選択（深度拡大省略）の２種類に大別される。
画素単位に深度拡大を行う方法としては、注目画素の近傍領域を利用しての、微分情報、分散情報または種々のコントラスト評価情報を利用する方法、または注目画素の最大輝度値および最小輝度値を合焦評価値として採用する方法が選択可能である。また、合焦面選択方法としては、画像の分散情報、微分画像の全画素加算情報、微分画像の分散情報、または画像の空間周波数情報等を合焦評価値として使用する方法の選択が可能である。

なお、合焦画像生成方法のデフォルト値は、蛍光観察画像の場合は、第１の実施形態で前述のコントラスト評価情報を活用した画素単位の深度拡大処理方法が設定され、位相差画像および微分干渉画像等の透過モノクロ観察の場合は、フォーカス状態により形態情報の変動が大きくなることに起因する画像の劣化を防止するため、合焦面選択（深度拡大省略）処理方法が設定される。したがって、観察者による特別な要望がなければ、図５に例示した観察法別の合焦画像生成方法の選択画面の表示および設定操作は省略できる。

本実施形態では、図５に例示した選択画面操作にて、例えば、ＤＡＰＩ色素（Ｂ成分）として合焦面選択方式（微分画像の分散情報）が選択され、ＦＩＳＨシグナル用（Ｇ、Ｒ成分）として、深度拡大方法（最大輝度値）が選択されることが好ましい。
すなわち、ＦＩＳＨ標本における細胞核（ＤＡＰＩ色素）はランドマーク的な存在であり、細胞核内にＦＩＳＨシグナルが存在するか否かが判別できればよい。したがって、一番合焦評価値の高いＺ座標の画像を全焦点画像として代用する簡略処理でかまわず、処理時間が短縮されるので操作性を向上することができるという効果がある。

また、ＦＩＳＨシグナルは細胞核内に存在する微少なシグナルであるため、注目部位探索時の１０×または２０×等の比較的低倍の対物レンズ２３では数画素程度の大きさとなり、例えば、深度拡大方法（微分情報方式）ではノイズとＦＩＳＨシグナルの区別がつかなくなる問題が生じる場合がある。ＦＩＳＨシグナルの存在を確認するためには、明るさ情報を合焦評価値として使用し、最大輝度値の画素を抽出する方法が望ましい。

なお、ステップＳ１４０の合焦画像重畳処理で、Ｒ（Ｔｅｘａｓ Ｒｅｄ）、Ｇ（ＦＩＴＣ）およびＢ（ＤＡＰＩ）の各色成分に割り当てられた蛍光画像と透過モノクロ形態画像（本実施例では位相差画像）との重畳処理では式（３）に示すようにブレンド係数ｋ（０≦ｋ≦１．０）を用いたブレンド処理が施される。
Ｂ成分画像＝ｋ×Ｂ成分蛍光画像＋（１−ｋ）×透過モノクロ形態画像
Ｇ成分画像＝ｋ×Ｇ成分蛍光画像＋（１−ｋ）×透過モノクロ形態画像
Ｒ成分画像＝ｋ×Ｒ成分蛍光画像＋（１−ｋ）×透過モノクロ形態画像

また、透過モノクロ形態画像の重畳表示をＯＮ／ＯＦＦ設定することにより、例えば、蛍光シグナルのみをＳ／Ｎよく観察できる。
以上、本実施形態によれば、ランドマーク／シグナル等の目的別、標識部位の形態的特徴または観察倍率等の種々の条件に応じて、観察者が観察法別に適切な合焦画像生成を選択することが可能となり、標本動画観察の視認性を向上できる。

次に、本発明の第３の実施形態に係る顕微鏡システムについて図面を参照して以下に説明する。
本実施形態においては視野移動関連処理について、図６の処理フローを用いて説明する。

基本的には、図６の処理フローは、図２の処理フローの変形であり、同一処理の説明は省略する。
最初に、ステップＳ１００にて初期設定処理が行われ、ステップＳ１１０にて撮像部２からのフレーム画像の受信の有無を判断し、受信時はステップＳ１２０にてフレーム画像を基に現在の観察法が決定される。

そして、ステップＳ１７０で、ＸＹ移動検出部３６にて、ＸＹ方向の動きベクトル情報を算出する。
そして、ステップＳ１７２で、前述の動きベクトル量および信頼性情報を用いて、光軸に直交するＸＹ方向の視野移動が評価される。今回算出された動きベクトル量および信頼性情報が所定の閾値以上の場合、観察者によるステージ２０のＸＹ軸移動操作による観察視野の移動操作が行われたと判断し、ステップＳ１８０で、合焦画像生成に関連する情報がリセットされ、合焦処理の初期化および再開が行われる。

すなわちステップＳ１８０では、前述の合成画像生成処理（ステップＳ１３０）にて、合焦画像生成処理部３４で生成および更新されデータ記憶部３１に格納される全ての観察法の合焦画像データ（合焦画像、深度拡大画像）および合焦評価用データの初期化が行われ、新しい観察視野での合焦画像データの作成が開始される。また、ステップＳ１７２において、算出された動きベクトル量および信頼性情報が所定の閾値未満と判断された場合には、ステップＳ１３０の工程を実行する。
なお、ステップＳ１３０（合焦画像生成処理）、ステップＳ１４０（合焦画像重畳処理）、ステップＳ１５０（表示更新処理）の各処理は、前述の第１の実施形態と同じ処理であるため説明を省略する。

本実施形態に係る顕微鏡システムによれば、観察者の視野移動操作に追従して、特別な操作指示を必要とせず、標本の動画観察と複数観察法の合焦重畳画像観察を行うことができ、標本観察に注力できる。
なお、ステップＳ１７０で、データ記憶部３１に格納された時間的に連続する２枚のフレーム画像を用いて動きベクトル量を算出しているが、データ記憶部３１に格納された時間的に連続する２枚の観察法毎の輝度画像を用いてベクトル量を算出してもよい。

また、ステップＳ１７０で、画像の明るさの最大値が所定の閾値未満の場合は遮光状態と判断し、合焦画像の更新を行わなくてもよい。
また、画像がピンぼけ状態で動き検出に不適切な場合は動き検出を行わないことにしてもよいし、および、適正コントラスト値の検出以降に、動きベクトルの算出を行ってもよい。

また、動きベクトル量の信頼性情報が所定の閾値未満である低信頼性状態では、動き検出を行わない、若しくは所定回数の連続検出により視野移動と判断する、若しくは動きベクトル量が所定の閾値α２（信頼性情報が所定の閾値以上といった高信頼性状態の場合の動きベクトル量の閾値をα１とするとα２＞α１の関係を満たす）以上で視野移動と判断することにしてもよい。

次に、本発明の第４の実施形態に係る顕微鏡システムについて、図面を参照して以下に説明する。
本実施形態においては、対物レンズ２３切り替え、光学キューブ２５切り替え等の顕微鏡観察状態の変更操作に伴う標本画像の変動に対応した、合焦重畳画像作成例について図７の処理フローおよび図８の状態遷移図を用いて説明する。なお、図７の処理フローは、図６の処理フローの変形であり、同一処理の説明は省略する。
本実施形態においては、画像処理部３が、撮像部２により取得された画像の輝度値が所定の閾値以下であるか否かを判定する遮光判定部を備えている。

最初に、ステップＳ１００にて初期設定処理が行われ、ステップＳ１１０にて撮像部２からのフレーム画像の受信の有無を判断し、受信時はステップＳ１２０にて観察法の決定および観察法に応じた輝度画像の生成が行われる。なお、第１の実施形態の場合と異なり、観察法の決定は今回入力フレーム画像にのみ限定される一時的な決定であり、観察法の切り替えの確定は、後述の観察状態管理処理（Ｓ２００）内で確定され、観察法の切替処理（Ｓ２２０）が行われる。

そして、ステップＳ１７０にて観察視野のＸＹ移動情報を示す動きベクトル量および信頼性情報が生成される。なお、上記ステップＳ１２０で一時的に決定された観察法が、前回フレーム画像で一時的に決定された観察法と異なる場合は、動きベクトル量の計算は行わない。
ステップＳ２００にて、画像評価処理部３３で、図８に示す状態遷移図に基づいた、顕微鏡観察状態の状態管理と状態変化に基づいた露出条件管理、合焦情報管理が行われる。

続いて、ステップＳ２９０にて、現在の顕微鏡観察状態の判定がなされ、図８に示される定常状態（ＳＴ１）の場合は観察安定状態と判断してステップＳ１３０（合焦画像生成処理）およびステップＳ１４０（合焦画像重畳処理）を実行してステップＳ１５０（表示更新処理）へ進む。また、定常状態（ＳＴ１）以外の場合は、観察不安定状態と判断して、合焦画像の生成、更新処理（Ｓ１３０）および合焦画像の重畳処理（Ｓ１４０）は行わずに、今回入力したフレーム画像の表示更新を行うためにステップＳ１５０（表示更新処理）へ進む。

以下で、入力フレーム画像情報から、顕微鏡観察状態の状態管理の詳細について、図８の状態遷移図を用いて説明する。
状態管理は、未初期化状態（ＳＴ０）から開始され、ＩＳＯ感度や露出時間等の露出条件の適正化が未実施な状態である。そこで、露出条件の最適化処理の実施を許可状態にして、露出制御処理部３７で、露出条件設定処理（Ｓ２１０）が行われ、露出適正化完了後に定常状態（ＳＴ１）に状態遷移する。

ステップＳ２１０の処理では、現在の観察法に応じた輝度画像を基に、ＩＳＯ感度の適正化（例えば微弱蛍光で長時間露光が必要な蛍光色素観察の場合は、ゲインを増大させて露出時間を短縮化する）、露出時間の適正化（ピーク測光等の測光演算により白トビ、黒つぶれを抑制した露出時間の決定）等の動画観察に適した露出条件の最適化処理を行う。そして、決定された露出条件にて撮像部２にて撮像が行われ、複数フレームで適正露出状態が維持されることにより露出条件が確定される。

また、決定された露出条件はデータ記憶部３１に観察法毎に保存され、以降、観察法の切り替え操作によって該観察法が再選択された場合は、保存された露出条件を再現することにより、露出適正化時間の短縮、同一露出条件での標本観察が可能となる。

続いて、観察法の切り替えの状態遷移について以下で説明する。
定常状態（ＳＴ１）で、視野移動を伴わない画像辺縁部（画像片縁部）の輝度低下イベント（ＥＶ３０）を検出した場合に、光学キューブ２５の切替操作の初動状態と判定し、シェーディング検出状態（ＳＴ５）に状態遷移する。

なお、画像辺縁部の輝度低下は、データ記憶部３１に格納された時間的に連続する２枚の観察法毎の輝度画像（またはフレーム画像）の四辺の所定辺縁部（例えば、画素数１０％で限定される辺縁領域）の明るさを比較し、少なくとも一つ以上の辺縁部で所定の閾値以上の明るさ低下が生じることにより検出される。

シェーディング検出状態（ＳＴ５）で、２枚以上の連続フレームで所定の閾値以上の時間、前述のステップＳ１２０で一時的に決定された観察法と現在の観察法とが異なる状態が継続する等のフレーム画像色変更イベント（ＥＶ３１）を検出した場合に、観察法切り替え操作中と判断し、観察法切替処理（Ｓ２２０）が行われ、観察法切替操作中状態（ＳＴ６）に状態遷移する。

観察法切替処理（Ｓ２２０）では、前述の一時的に決定された観察法を新たに観察者が選択した観察法と確定し、データ記憶部３１に記憶する。そして、変更確定された観察法に対応した露出時間の最適化処理が行われる。
すなわち、該観察法での観察が初めての場合（データ記憶部３１への露出条件が未保存）は、前述の露出条件設定処理（Ｓ２１０）が実施され、露出条件が保存済みの場合は、その条件を再現設定することにより、露出条件の最適化が行われる。

また、シェーディング検出状態（ＳＴ５）で、前述のステップＳ１７０で求められた動きベクトル量および信頼性情報により、光軸に直交するＸＹ方向の視野移動イベント（ＥＶ１１）が発生した場合は、前述の第３の実施形態で説明済みの合焦画像リセット処理（Ｓ１８０）が実施され、視野移動開始状態（ＳＴ２）に状態遷移する。

また、シェーディング検出状態（ＳＴ５）で、２枚以上の連続フレームで所定の閾値以上の時間、他イベントが発生しない場合（フレーム画像安定イベント：ＥＶ４０）、光学キューブ２５の切替操作以外の要因で画像辺縁部の輝度低下が一時的に発生したと判定され、定常状態（ＳＴ１）に状態遷移する。

そして、観察法切替操作中状態（ＳＴ６）で、前述のフレーム画像色変更イベント（ＥＶ３１）を検出した場合は、光学キューブ２５の切替操作途中と判断され、前述の観察法切替処理（Ｓ２２０）が実施され、２枚以上の連続フレーム数で所定時間以上、他イベントが発生しない場合（フレーム画像安定イベント：ＥＶ４１）は光学キューブ２５の切替操作が完了したと判定し、定常状態（ＳＴ１）に状態遷移する。

続いて、対物レンズ２３の切替状態遷移について以下で説明する。
定常状態（ＳＴ１）で、前述の視野移動イベント（ＥＶ１１）を検出すると、前述の合焦画像リセット処理（Ｓ１８０）が実施され、視野移動開始状態（ＳＴ２）に状態遷移する。

そして、視野移動開始状態（ＳＴ２）で所定時間以内に、輝度画像の明るさの最大値が所定の閾値未満となる遮光状態を検出した場合（遮光ＯＮイベント：ＥＶ２０）、レボルバ２４の回転操作による対物レンズ２３の切替操作と判定し、対物レンズ２３切替操作中状態（ＳＴ４）に状態遷移する。

そして、遮光状態が解除された状態でかつ２枚以上の連続フレームで所定の閾値以上の時間、視野移動を検出しない場合（フレーム画像安定イベント：ＥＶ４２）、対物レンズ２３の切替操作が完了したと判定し、対物レンズ２３切替処理（Ｓ２３０）を行い、未初期化状態（ＳＴ０）に状態遷移する。

対物レンズ２３切替処理（Ｓ２３０）では、対物レンズ２３の変更に伴い、全ての観察法において適正露出時間の変更が必要となるので、データ記憶部３１に保存されている全ての観察法の露出条件の初期化が実施される。
なお、視野移動開始状態（ＳＴ２）で所定時間以内に、前述の遮光状態を検出しない場合（所定時間経過イベント：ＥＶ１４）、観察者によるステージ２０のＸＹ軸移動操作による観察視野の移動操作が行われたと判定し、視野移動操作中状態（ＳＴ３）に状態遷移し、所定の閾値以上の時間において視野移動を検出しない場合（視野移動停止イベント：ＥＶ１４）、視野移動操作が完了したと判定し、定常状態（ＳＴ１）に状態遷移する。

続いて、蛍光観察と透過モノクロ観察（例として透過位相差観察）の観察法を切り替える時の状態遷移について以下で説明する。
まず、最初に透過位相差観察が行われていたものとする。すなわち、落射シャッタ１６および透過シャッタ（透過用フィルタユニット８内に装着される透過率０の遮光板）を光路に挿入し、透過照明用光源６を点灯し、位相差対物レンズ２３、位相差対物レンズ２３に対応した位相差リングおよび空の光学キューブ２５を光路に挿入し、透過シャッタを透過照明光路から離脱させることにより、透過位相差観察が行われる。

そして、透過位相差観察に応じた露出の適正化、所望する観察視野の特定、合焦画像の生成が行われ、データ記憶部３１に透過位相差観察の合焦画像が生成され、保存される。
続いて、例えば、細胞核を確認するために、状態遷移図上の定常状態（ＳＴ１）から、ＤＡＰＩ蛍光観察に観察法を切り替える。すなわち、透過シャッタを透過照明光路にＩＮすることにより、遮光状態（ＳＴ７）に遷移し、ＤＡＰＩ色素観察用の光学キューブ２５（Ｕ−ＦＵＮＡ）を光路に挿入した後、落射シャッタ１６を落射照明光路から離脱させることにより、標本Ｓへの励起光の照射を開始する。これにより、遮光状態が解除され、定常状態（ＳＴ１）に状態復帰する。

そして、フレーム画像がＢ成分優位のＤＡＰＩ蛍光画像に変わることにより、観察法がＢ成分蛍光観察に変更され、観察法切替操作中状態（ＳＴ６）に遷移した後、フレーム画像の安定化を経て定常状態（ＳＴ１）に状態復帰する。

なお、透過位相差観察（背景の明るい観察像）から蛍光観察（背景の暗い観察像）に切り替える場合は、露出不足により蛍光観察への切替検出が遅延する可能性がある。そこで、透過モノクロ観察状態で遮光を検出した場合は、データ記憶部３１に記憶されている蛍光観察のいずれかの露出条件または所定の露出条件を撮像部２に設定することにより、観察法切替検出の遅延を防止するといったことは当然のこととする。

また、観察法切替処理（Ｓ２２０）にて、定常状態（ＳＴ１）またはシェーディング検出状態（ＳＴ５）から観察法切替操作中状態（ＳＴ６）に状態遷移する際に、切替前の観察法の観察状態（例えば、未観察または観察済みで管理）を観察済みとしてデータ記憶部３１に保存すれば、光学キューブ２５の切替操作中に類似蛍光波長の蛍光観察に使用する光学キューブ２５を通過（光路に一時的に挿入）する場合に、誤って合焦画像の生成処理を防ぐことができる。

また、定常状態（ＳＴ１）でも、露出制御処理部３７にて、適正露出か否かをフレーム画像入力毎に評価し、所定画素数以上の白トビを検出した場合に露出時間を短縮する等の露出調整を行うこと、および、入力部５のキーボード操作やマウス操作により、ＡＥ測光による露出条件の再調整を行うことにしてもよい。

以上、上述した本実施例の形態において、観察者の観察条件変更操作に応じたフレーム画像の変動を検出することにより、顕微鏡観察の変更操作中のフレーム画像に起因する合焦画像の生成処理を防ぎ、適正露出状態を維持しての、標本の動画観察と複数観察法の合焦重畳画像観察を行うことが可能となり、標本観察に注力できる。

２ 撮像部
４ 表示部（画像表示部）
５ 入力部（表示条件設定部）
２０ ステージ
２３，２３ａ，２３ｂ 対物レンズ
２５，２５ａ，２５ｂ 光学キューブ（波長選択部）
３１ データ記憶部（記憶部）
３３ 画像評価処理部（波長検出部、輝度変化検出部）
３４ 合焦画像生成処理部（深度拡大処理部）
３５ 画像重畳処理部（画像重畳部）
３７ 露出制御処理部（露出制御部）
１００ 顕微鏡システム
Ｌ 光軸
Ｓ 標本

Claims (7)

1. 多重染色された標本を載置するステージと、
   該ステージに搭載された前記標本からの光を集光する対物レンズと、
   前記ステージと前記対物レンズとを該対物レンズの光軸に沿う方向に相対的に移動させるＺ軸移動部と、
   前記ステージを前記光軸に直交する方向に移動させるＸＹ軸移動部と、
   前記対物レンズにより集光された光の内、撮影する光の波長を手動により選択的に切替可能な波長選択部と、
   該波長選択部により選択された波長の光を撮影することによって画像を取得する撮像部と、
   該撮像部により取得された前記画像に基づいて前記波長選択部により選択された波長を検出する波長検出部と、
   前記Ｚ軸移動部により、前記ステージと前記対物レンズとの異なる相対位置において前記撮像部により取得された複数枚の前記画像に基づいて、前記波長検出部により検出された波長について深度拡大処理を行って深度拡大画像を生成する深度拡大処理部と、
   該深度拡大処理部により生成された波長毎の深度拡大画像を重畳する画像重畳部とを備える顕微鏡システム。
2. 前記波長選択部により撮影する光の波長が選択されたときに、前記撮像部のゲインおよび露出時間の少なくとも一方を設定する露出制御部を備える請求項１に記載の顕微鏡システム。
3. 前記波長と前記撮像部の前記ゲインおよび前記露出時間の少なくとも一方を含む露出条件を記憶する記憶部を備え、
   前記露出制御部が、選択された前記波長に対応する露出条件を前記記憶部から読み出してから前記撮像部に設定する請求項２に記載の顕微鏡システム。
4. 前記撮像部により経時的に取得された２枚の前記画像間において画像片縁部の輝度の変化を検出する輝度変化検出部を備え、
   前記深度拡大処理部が、該輝度変化検出部により輝度の低下が検出された場合に、該輝度変化検出部による輝度変化が検出されなくなるまで、深度拡大処理を一時停止する請求項１から請求項３のいずれかに記載の顕微鏡システム。
5. 前記撮像部により取得された前記画像の輝度値が所定の閾値以下であるか否かを判定する遮光判定部を備え、
   該遮光判定部により、前記画像の輝度値が所定の閾値以下であると判定された場合に、前記露出制御部が新たな露出条件を前記撮像部に設定する請求項３に記載の顕微鏡システム。
6. 前記撮像部により取得された前記画像を経時的に更新する動画像と、前記画像重畳部により重畳された前記深度拡大画像とを同時に同期した状態で表示する画像表示部を備える請求項１に記載の顕微鏡システム。
7. 前記画像重畳部が、波長の組合せを異ならせた前記深度拡大画像を重畳し、
   前記画像表示部により表示する前記動画像および前記深度拡大画像の組合せ表示条件を設定する表示条件設定部を備える請求項６に記載の顕微鏡システム。

Images