JP2011039247A - 顕微鏡、画像処理装置、及び画像処理方法。 - Google Patents

Abstract

【課題】蛍光波長域の互いに重複する複数種類の光活性化蛍光物質が被観察物に含まれていたとしても同時励起観察を行うことが可能な顕微鏡を提供する。
【解決手段】本発明の顕微鏡は、被観察物（１０Ａ）に含まれる光活性化蛍光物質を所定の活性化密度で活性化する活性化手段（１２１）と、活性化中の光活性化蛍光物質を励起することにより、前記被観察物内に蛍光輝点を点在させる励起手段（１２２）と、前記被観察物の蛍光像を所定の撮像面上に形成することにより、前記撮像面内に蛍光輝点像を点在させる結像光学系（１７、１４、２０）と、前記被観察物から前記撮像面へ向かう蛍光を所定の分光量で分光することにより、前記撮像面内に点在する蛍光輝点像の各々を、空間的拡がりを持った分光像とする分光手段（１８）と、前記撮像面上の輝度分布を示す画像を取得する撮像手段（２１）とを備える。
【選択図】 図１

Description

本発明は、ＰＡＬＭ（Photoactivation Localization Microscopy）又はＳＴＯＲＭ（Stochastic Optical Reconstruction Microscopy）の原理を利用した顕微鏡、画像処理装置、及び画像処理方法に関する。

近年提案されたＰＡＬＭあるいはＳＴＯＲＭは、通常の共焦点顕微鏡よりも分解能の高い顕微鏡として知られている（非特許文献１、２等を参照）。ＰＡＬＭとＳＴＯＲＭは原理的にはほぼ同一の技術なので、以下ＰＡＬＭを例に説明する。

ＰＡＬＭの被観察物である細胞は、活性化されているときにのみ蛍光を発することが可能な蛍光蛋白質（光活性化蛍光蛋白質）で標識される。ＰＡＬＭは、その被観察物へ適当な強度の活性化光を照射することにより、被観察物に含まれる蛍光分子を適当な活性化密度で活性化し、さらに被観察物へ励起光を照射することにより、被観察物に含まれる蛍光分子の分布を画像として検出し、さらに被観察物へ不活性化光（又は高強度の励起光）を照射することにより、活性化中の蛍光分子を不活性化（又は褪色）させる。

ＰＡＬＭは、これらの活性化、励起、検出、不活性化（又は褪色）を繰り返すことにより複数の画像を取得する。これらの画像には、互いに近接していた複数の蛍光分子の像が個別に反映されることになる。よって、これら複数の画像を適切に合成すれば、被観察物上の蛍光強度分布を高い分解能（例えば１０ｎｍの分解能）で観察することができる。

Samuel T. Hess et al. "Ultra-High Resolution Imaging by Fluorescence Photoactivation Localization Microscopy", Biophysical Journal, December 2006, Vol. 91, pp. 4258-4272 Eric Betzig et al. "Imaging Intracellular Flourescent Proteins at Nanometer Resolution" SCIENCE, Vol. 313, 15 September 2006, pp. 1642-1645

ところで、ＰＡＬＭにおいても通常の共焦点顕微鏡と同様、複数種類の光活性化蛍光蛋白質を使用し、被観察物に含まれる複数種類の蛍光分子を同時に励起して観察すること（同時励起観察）が望まれる。

しかしながら、従来のＰＡＬＭで同時励起観察を行おうとしたならば、被観察物で発生する他種類の蛍光を分離可能とするために、複数種類の光活性化蛍光蛋白質として蛍光波長域がなるべく重複していないもの同士を選定しなければならなかった。

そこで本発明は、蛍光波長域の互いに重複する複数種類の光活性化蛍光物質が被観察物に含まれていたとしても同時励起観察を行うことが可能な顕微鏡、それに好適な画像処理装置及び画像処理方法を提供することを目的とする。

本発明の顕微鏡を例示する一態様は、被観察物に含まれる光活性化蛍光物質を所定の活性化密度で活性化する活性化手段と、前記被観察物に含まれる活性化中の光活性化蛍光物質を励起することにより、前記被観察物内に蛍光輝点を点在させる励起手段と、前記被観察物の蛍光像を所定の撮像面上に形成することにより、前記撮像面内に蛍光輝点像を点在させる結像光学系と、前記被観察物から前記撮像面へ向かう蛍光を所定の分光量で分光することにより、前記撮像面内に点在する蛍光輝点像の各々を、空間的拡がりを持った分光像とする分光手段と、前記蛍光像の輝度分布を示す画像を取得する撮像手段とを備える。

また、本発明の画像処理装置を例示する一態様は、前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手段を備える。

また、本発明の画像処理方法を例示する一態様は、前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手順を含む。

本発明によれば、蛍光波長域の互いに重複する複数種類の光活性化蛍光物質が被観察物に含まれていたとしても同時励起観察を行うことが可能な顕微鏡、それに好適な画像処理装置及び画像処理方法が実現する。

第１実施形態のＰＡＬＭ装置の構成図である。 リファレンススペクトルＳ_１〜Ｓ_Ｍの概念図である。 観察視野の非分光像Ｉ_ＦＰ及び分光像Ｉ_ＦＳを示す図である。 発光元蛍光輝点が共通する点像Ｉ_Ｐｋ及び分光像Ｉ_ＳｋのＸ方向の輝度分布の例である。 コントロールユニット３０による測定処理のフローチャートである。以下、図５の各ステップを順に説明する。 コントロールユニット３０によるスペクトル抽出処理のフローチャートである。 コントロールユニット３０によるスペクトル解析処理のフローチャートである。 第２実施形態のＰＡＬＭ装置の構成図である。 或る蛍光蛋白質に関する対応表を説明する図である。

［第１実施形態］
以下、本発明に係るＰＡＬＭ装置を第１実施形態として説明する。

図１は、本実施形態のＰＡＬＭ装置の構成図である。図１に示されているとおり、本装置には活性化レーザ光源１２１と、励起レーザ光源１２２と、ダイクロイックミラー１０１と、レンズ１３と、ダイクロイックミラー１５と、対物レンズ１７と、サンプルステージ１１と、リレー光学系１４と、回折格子１８と、レンズ２０と、ＥＭ−ＣＣＤ(Electron Multiplying CCD)２１と、コントロールユニット３０とが備えられる。

サンプルステージ１１には、標本１０Ａが配置される。標本１０Ａは、複数種類の光活性化蛍光蛋白質で標識された生体細胞である。標本１０Ａの標識に使用された光活性化蛍光蛋白質は、例えばＰＡ−ＧＦＰ、Ｄｒｏｎｐａの２種類である。ＰＡ−ＧＦＰ及びＤｒｏｎｐａの活性化波長は、４００ｎｍの近傍であり、ＰＡ−ＧＦＰ及びＤｒｏｎｐａの励起波長は、５００ｎｍの近傍であり、ＰＡ−ＧＦＰ及びＤｒｏｎｐａの蛍光波長は６００ｎｍの近傍である。

コントロールユニット３０のメモリには、様々な種類の蛍光蛋白質（ここではＭ種類の蛍光蛋白質）に固有の蛍光スペクトルの情報として、リファレンススペクトルＳ_１〜Ｓ_Ｍ（図２参照）が予め格納されており、リファレンススペクトルＳ_１〜Ｓ_Ｍの中には、標本１０Ａに使用されたＰＡ−ＧＦＰ及びＤｒｏｎｐａの各々のリファレンススペクトルも含まれている。

活性化レーザ光源１２１から射出する活性化レーザ光の波長は、ＰＡ−ＧＦＰ及びＤｒｏｎｐａを活性化する約４００ｎｍに設定されており、励起レーザ光源１２２から射出する励起レーザ光の波長は、ＰＡ−ＧＦＰ及びＤｒｏｎｐａを励起する約５００ｎｍに設定されている。また、ダイクロイックミラー１０１の波長特性は、５００ｎｍ及びその近傍の波長に対して透過性を示し、４００ｎｍ及びその近傍に対して反射性を示すように設定されている。

活性化レーザ光源１２１から射出した活性化レーザ光は、ダイクロイックミラー１０１を反射し、励起レーザ光源１２２から射出した励起レーザ光は、ダイクロイックミラー１０１を透過し、両者は同一の光路へ導かれる。同一の光路へ導かれた活性化レーザ光及び励起レーザ光は、レンズ１３によって緩やかに集光されながら、ダイクロイックミラー１５へ入射する。なお、ダイクロイックミラー１５の波長特性は、５００ｎｍ以下の波長に対して反射性を示し、５００ｎｍを超過する波長に対して透過性を示すように設定されている。

ダイクロイックミラー１５へ入射した活性化レーザ光及び励起レーザ光は、ダイクロイックミラー１５を反射し、対物レンズ１７の瞳面上に集光する。対物レンズ１７の瞳面上に集光した励起レーザ光及び活性化レーザ光は、対物レンズ１７の先端から射出し、標本１０Ａ上の円形領域へ照射される。標本１０Ａの観察視野内に存在する幾つかの蛍光分子が光り活性化レーザ光の照射により活性化される。

ここで、活性化レーザ光源１２１のパワー（活性化レーザ光の強度）は、標本１０Ａ上で活性化される蛍光分子の配置密度（活性化密度）が適切になるよう予め設定されている。本実施形態では、観察視野中で同時に活性化される蛍光分子が数個（１〜５個）となるようその設定が行われる。

観察視野内で活性化中の蛍光分子は、励起レーザ光の照射により励起され、蛍光輝点となり、それぞれ蛍光（５００〜７００ｎｍの波長範囲の蛍光）を発する。観察視野で発生した蛍光は、先端側から対物レンズ１７へ入射し、対物レンズ１７を通過した後、ダイクロイックミラー１５へ入射する。ダイクロイックミラー１５へ入射した蛍光は、そのダイクロイックミラー１５を透過し、リレー光学系１４へ入射する。

リレー光学系１４へ入射した蛍光は、リレー光学系１４の一方のレンズ１４ａにより集光され、観察視野の蛍光像（中間像）を形成する。図１において、符号１４ｃで示したのは、中間像の形成面に配置された視野絞りである。視野絞り１４ｃを通過した蛍光は、発散しながらリレー光学系１４の他方のレンズ１４ｂへ入射し、平行光束となる。

平行光束となった蛍光は、対物レンズ１７の瞳面に配置された回折格子１８へ入射し、各次数の回折光に分離される。なお、回折格子１８は、０次回折光及び＋１次回折光の回折効率が、その他の回折光と比べて十分に高くなるように設計されているものとする。よって以下では、その他の回折光を無視する。回折格子１８で０次回折光及び１次回折光は、レンズ２０によって集光され、ＥＭ−ＣＣＤ２１の撮像面上に観察視野の蛍光像を形成する。なお、本実施形態では、０次回折光と１次回折光との双方が撮像面上に到達するので、撮像面上に形成される蛍光像には、０次回折光による蛍光像（非分光像）と、１次回折光による蛍光像（分光像）との２種類がある（詳細は後述）。

ＥＭ−ＣＣＤ２１は、撮像面上の輝度分布を示す画像を取得し、その画像をコントロールユニット３０へ出力する。なお、ＥＭ−ＣＣＤ２１による画像取得のタイミングは、コントロールユニット３０によって制御される。

コントロールユニット３０は、ＥＭ−ＣＣＤ２１、活性化レーザ光源１２１、励起レーザ光源１２２を同期駆動する制御装置としての機能と、ＥＭ−ＣＣＤ２１が取得した画像を処理する画像処理装置としての機能とを有する。例えば、制御装置としてのコントロールユニット３０は、画像を取得する測定処理を実行し、画像処理装置としてのコントロールユニット３０は、その画像からスペクトルデータを抽出するスペクトル抽出処理や、そのスペクトルデータを解析するスペクトル解析処理などを実行する。これら各処理のプログラムは、コントロールユニット３０のメモリに予め格納され、必要に応じて実行される。コントロールユニット３０による各処理の詳細は、後述する。

なお、コントロールユニット３０の画像処理装置として機能は、コントロールユニット３０に接続された不図示のコンピュータに付加されてもよい。

図３は、撮像面上に形成された、観察視野の非分光像Ｉ_ＦＰ及び分光像Ｉ_ＦＳを示す図である。図３において符号Ｘで示す方向が回折による蛍光の分離方向である。

図３では、観察視野内に点在した蛍光輝点の個数が３であったときの様子を示している。この場合、観察視野の非分光像Ｉ_ＦＰには３つの蛍光輝点の非分光像Ｉ_Ｐ１〜Ｉ_Ｐ３が現れており、観察視野の分光像Ｉ_ＦＳには３つの蛍光輝点の分光像Ｉ_Ｓ１〜Ｉ_Ｓ３が現れている。

図３に示すとおり、蛍光輝点の非分光像Ｉ_Ｐｋ（１〜３）の各々は点状であり、蛍光輝点の分光像Ｉ_Ｓｋ（１〜３）の各々はＸ方向に長い線分状である。よって、以下では、蛍光輝点の非分光像を「点像」と称し、蛍光輝点の分光像を「線像」と称す。なお、前述した活性化密度と、１次回折光の拡がり量との関係は、適切に設定されているので、互いに異なる２つの線像Ｉ_Ｓが重なることは無い。

図３に示した点像Ｉ_Ｐｋ（１〜３）及び線像Ｉ_Ｓｋ（１〜３）のうち、共通の添え字ｋが付与されているもの同士の間では、発光元蛍光輝点が共通する。発生元蛍光輝点が共通するもの点像Ｉ_Ｐｋと線像Ｉ_Ｓｋとの間では、ＣＣＤ座標Ｘのみが異なり、ＣＣＤ座標Ｙは共通である。

また、３つの点像Ｉ_Ｐ１、Ｉ_Ｐ２、Ｉ_Ｐ３の位置関係は、それら点像Ｉ_Ｐ１、Ｉ_Ｐ２、Ｉ_Ｐ３の発生元となった３つの蛍光輝点の位置関係（＝線像Ｉ_Ｓ１、Ｉ_Ｓ２、Ｉ_Ｓ３の発生元となった３つの蛍光輝点の位置関係）を示している。

また、３つの線像Ｉ_Ｓ１、Ｉ_Ｓ２、Ｉ_Ｓ３の各々の輝度分布は、点像Ｉ_Ｐ１、Ｉ_Ｐ２、Ｉ_Ｐ３の各々のスペクトル、すなわち点像Ｉ_Ｐ１、Ｉ_Ｐ２、Ｉ_Ｐ３の発生元（＝線像Ｉ_Ｓ１、Ｉ_Ｓ２、Ｉ_Ｓ３の発生元）となった３つの蛍光輝点の各々の発光スペクトルを示している。

図４には、発生元蛍光輝点が共通する点像Ｉ_Ｐ及び線像Ｉ_ＳのＸ方向の輝度分布の例を示した。点像Ｉ_Ｐの輝度最大値は、線像Ｉ_Ｓの輝度最大値よりも大きい。本実施形態では、このうち点像Ｉ_Ｐを検出し、その点像Ｉ_ＰのＣＣＤ座標（Ｘ，ｙ）を変換することにより、蛍光輝点の標本座標（ｘ，ｙ）を取得し、その点像Ｉ_Ｐに対応する線像Ｉ_Ｓの輝度分布のＣＣＤ座標（Ｘ）を変換することにより、蛍光輝点の発光スペクトルＩ（λ）を取得する（詳細は後述）。

以下、本装置の各部の設計例を説明する。

先ず、標本１０Ａにおける観察視野の径は、８０μｍであり、対物レンズ１７から撮像面までのトータルの倍率は１００倍であり、レンズ１４ｂ及びレンズ２０からなる光学系の倍率は１倍である。よって、観察視野の非分光像Ｉ_ＦＰの径は８ｍｍとなり、観察視野の分光像Ｉ_ＦＳの径は８ｍｍ＋αとなる。

また、回折格子１８は、溝本数が１００本／ｍｍの透過型回折格子である。中心波長が５３０ｎｍであり、半値全幅が約５０ｎｍであるスペクトルを有した蛍光を入射角度０度で回折格子１８へ入射させたとき、その回折格子１８で発生する０次回折光と１次回折光との角度差は、約３度であり、その１次回折光の拡がり角度は約０．３度である。

また、レンズ２０の焦点距離は、１００ｍｍである。よって、その０次回折光が撮像面上に形成する点像Ｉ_Ｐと、その１次回折光が撮像面に形成する線像Ｉ_Ｓとの分離量は、約５ｍｍであり、その線像Ｉ_ＳのＸ方向の拡がり幅は、約０．５ｍｍである。

したがって、前述した活性化密度（観察視野内に点在する蛍光輝点は１〜５個）によると、互いに異なる線像Ｉ_Ｓ同士が撮像面上で重なる虞は無い。なお、本実施形態では簡単のため、活性化密度は十分に低いもの（観察視野内に点在する蛍光輝点は１〜３個）と仮定し、撮像面上の同一ライン上に形成される線像Ｉ_Ｓの個数は、多くても１個とする。なお、ここでいう「ライン」は、撮像面上でＸ方向に延びる各ラインのことを指す。

また、撮像面は、観察視野の非分光像Ｉ_ＦＰと観察視野の分光像Ｉ_ＦＳとの双方を最小限の面積でカバーできるようＸ方向に長い長方形状をしている。撮像面の画素ピッチは８μmであり、撮像面のＸ方向の画素数は２０４８であり、Ｘ方向に垂直なＹ方向の画素数は１０２４である。よって、撮像面のＸ方向のサイズは約１６ｍｍ、撮像面のＹ方向のサイズは約８ｍｍとなる。

したがって、本実施形態のＥＭ−ＣＣＤ２１は、観察視野の非分光像Ｉ_ＦＰと観察視野の分光像Ｉ_ＦＳとの双方を一括で検出することができる。

図５は、コントロールユニット３０による測定処理のフローチャートである。以下、図５の各ステップを順に説明する。

ステップＳ１１：コントロールユニット３０は、画像番号ｊを初期値１に設定する。

ステップＳ１２：コントロールユニット３０は、活性化レーザ光源１２１を適当なパワーでオンすることにより観察視野内に存在する蛍光蛋白質を前述した活性化密度で活性化し、その後、活性化レーザ光源１２１をオフする。

ステップＳ１３：コントロールユニット３０は、励起レーザ光源１２２を適当なパワーでオンし、その状態でＥＭ−ＣＣＤ２１を駆動して画像を取り込み、取り込んだ画像を、画像番号ｊに対応する画像Ｉ_ｊとしてメモリへ格納する。なお、本ステップにおける励起レーザ光源１２２のパワーは、活性化中の蛍光分子を励起するのに必要な最小限の値に設定される。また、励起レーザ光源１２２をオンするタイミングは、活性化レーザ光源１２１をオンするタイミングと同じであっても構わない。

ステップＳ１４：コントロールユニット３０は、励起レーザ光源１２２のパワーを高い値に切り換えてから所定期間が経過するのを待機し、その後、励起レーザ光源１２２をオフする。なお、本ステップにおける励起レーザ光源１２３のパワー及び待機期間は、活性化中の蛍光分子を褪色させるのに必要な十分に高い値に設定される。

ステップＳ１５：コントロールユニット３０は、画像番号ｊが最終値に達しているか否かを判別する。コントロールユニット３０は、画像番号ｊが最終値に達していない場合にはステップＳ１６へ移行し、画像番号ｊが最終値に達していた場合には、フローを終了する。なお、ここでは、画像の取得枚数を１００とするために、画像番号ｊの最終値は、１００に設定されたと仮定する。

ステップＳ１６：コントロールユニット３０は、画像番号ｊをインクリメントしてからステップＳ１２に戻り、次の画像の取得を開始する。

以上の結果、コントロールユニット３０のメモリには、１００枚の画像Ｉ_ｊ（ｊ＝１〜１００）が格納される。

図６は、コントロールユニット３０によるスペクトル抽出処理のフローチャートである。なお、スペクトル抽出処理の実行に先立ち、コントロールユニット３０のメモリには前述した１００枚の画像Ｉ_ｊ（ｊ＝１〜１００）が格納されており、かつ、それら１００枚の画像Ｉ_ｊ（ｊ＝１〜１００）に対応する１００個のスペクトル画像Ｉ_ｊ’（ｊ’＝１〜１００）の記憶領域が用意されているものと仮定する。なお、ｊ番目のスペクトル画像Ｉ_ｊ’は、ｊ回目の画像取得時に標本１０Ａで発生した蛍光のスペクトルを、標本座標（ｘ，ｙ）毎に示すものである。

以下、図６の各ステップを順に説明する。

ステップＳ２１：コントロールユニット３０は、画像番号ｊを初期値１に設定する。

ステップＳ２２：コントロールユニット３０は、ライン番号ｍを初期値１に設定する。なお、ライン番号ｍとは、画像Ｉ_ｊ上のｍ番目のラインＬ_ｍの番号である。

ステップＳ２３：コントロールユニット３０は、画像番号ｊに対応する画像Ｉ_ｊをメモリから読み出し、その画像Ｉ_ｊにおけるｍ番目のラインＬ_ｍの各位置の輝度を閾値と比較することにより、そのラインＬ_ｍ上に点像Ｉ_Ｐが存在しているか否かを判別し、存在していたならばステップＳ２４へ移行し、存在していなければステップＳ２６へ移行する。なお、本ステップの閾値は、例えば、比較的暗い点像の輝度と比較的明るい線像の輝度との間の値（例えば、図４の符号Ｔｈで示す値。）に設定される。なお、ラインＬ_ｍ上の点像Ｉ_Ｐが存在しているか否かの判別は、他の方法で行われてもよい。例えば、ラインＬ_ｍの微分データ中に閾値を超える画素が存在するか否かによって判別が行われてもよい。

ステップＳ２４：コントロールユニット３０は、ラインＬ_ｍ上で輝度が最大となる画素のＣＣＤ座標を、点像Ｉ_Ｐの存在しているＣＣＤ座標（Ｘ_０，Ｙ_０）として認識し、ラインＬ_ｍのうち、そのＣＣＤ座標（Ｘ_０，Ｙ_０）の＋Ｘ側に延在する所定画素分（例えば６３０画素分）の部分ラインＬ_ｍ’を参照する。この部分ラインＬ_ｍ’は、その点像Ｉ_Ｐと発生元蛍光輝点が共通する線像Ｉ_Ｓの輝度分布を示している。

ステップＳ２５：コントロールユニット３０は、部分ラインＬ_ｍ’に含まれる各画素のＣＣＤ座標Ｘを波長λへ変換することにより、点像Ｉ_Ｐ及び線像Ｉ_Ｓの発光元となった蛍光輝点の発光スペクトルＩ（λ）を取得する。また、コントロールユニット３０は、点像Ｉ_ＰのＣＣＤ座標（Ｘ_０，Ｙ_０）を蛍光輝点の標本座標（ｘ，ｙ）へ変換する。そして、コントロールユニット３０は、メモリ上に用意されたスペクトル画像Ｉ_ｊ’の標本座標（ｘ，ｙ）に対し、本ステップで取得したスペクトルＩ（λ）を対応付ける。

なお、本ステップにおけるＣＣＤ座標Ｘから波長λへの変換には、次式が使用される。但し、ｆはレンズ１４ｂの焦点距離であり、Ｐｇは回折格子１８の格子ピッチであり、Ｐ_ｃｃｄは画素ピッチである。

また、本ステップにおけるＣＣＤ座標（Ｘ_０，Ｙ_０）から標本座標（ｘ，ｙ）への変換には、次式が使用される。但し、Ｍは標本面から視野絞り面までの倍率である。

ｘ＝Ｘ_０Ｐ_ｃｃｄ／Ｍ
ｙ＝Ｙ_０Ｐ_ｃｃｄ／Ｍ
ステップＳ２６：コントロールユニット３０は、ライン番号ｍが最終値に達したか否かを判別し、達していなかった場合にはステップＳ２７へ移行し、達していた場合にはステップＳ２８へ移行する。

ステップＳ２７：コントロールユニット３０は、ライン番号ｍをインクリメントしてからステップＳ２３に戻り、次のラインの処理を開始する。

ステップＳ２８：コントロールユニット３０は、画像番号ｊが最終値（１００）に達したか否かを判別し、達していなかった場合にはステップＳ２９へ移行し、達していた場合にはフローを終了する。

ステップＳ２９：コントロールユニット３０は、画像番号ｊをインクリメントしてからステップＳ２２に戻り、次の画像の処理を開始する。

以上の結果、コントロールユニット３０のメモリには、１００個のスペクトル画像Ｉ_ｊ’（ｊ’＝１〜１００）が蓄積されることになる。

図７は、コントロールユニット３０によるスペクトル解析処理のフローチャートである。なお、スペクトル解析処理の実行に先立ち、コントロールユニット３０のメモリには、前述した１００個のスペクトル画像Ｉ_ｊ’（ｊ’＝１〜１００）と、Ｍ種類の蛍光蛋白質のリファレンススペクトルＳ_１〜Ｓ_Ｍとが格納されているものと仮定する。なお、リファレンススペクトルＳ_１〜Ｓ_Ｍの各々は、次式のとおり列ベクトルで表される。列ベクトルの各成分は、リファレンススペクトルの各波長における強度を示す。

以下、図７の各ステップを順に説明する。

ステップＳ３１：コントロールユニット３０は、画像番号ｊを初期値１に設定する。

ステップＳ３２：コントロールユニット３０は、画像番号ｊに対応するスペクトル画像Ｉ_ｊ’をメモリから読み出し、そのスペクトル画像Ｉ_ｊ’の個々の標本座標（ｘ，ｙ）に対応付けられたスペクトルＩ（λ）をそれぞれアンミックスする。なお、個々の標本座標（ｘ，ｙ）に関するアンミックスは、例えば次の手順（ａ）〜（ｄ）によって行われる。なお、このアンミックスは、線形最小二乗法によるアンミックスである。

（ａ）コントロールユニット３０は、Ｍ個のリファレンススペクトルＳ_１〜Ｓ_Ｍを、纏めて次式のとおり１つの行列Ｓで表す。

（ｂ）コントロールユニット３０は、標本座標（ｘ，ｙ）のスペクトルＩ（λ）（以下、「観測スペクトルＩ（λ）」と称す。）を次式のとおり１つの列ベクトルＩで表す。列ベクトルＩの各成分は、観測スペクトルＩ（λ）の各波長における強度を示す。また、列ベクトルＩの成分数Ｎは、蛍光蛋白質の種類数Ｍより十分に多く設定される。

（ｃ）コントロールユニット３０は、標本座標（ｘ，ｙ）に対するＭ種類の蛍光蛋白質の寄与率ｐ_１〜ｐ_Ｍを、次式のとおり１つの列ベクトルＰで表す。

この場合、以下の関係が成り立つ。

Ｉ＝Ｓ・Ｐ …（１）
よって、以下の関係が成り立つ（但し、［Ａ］^ｔはＡの転置行列である。）。

Ｐ＝（Ｓ^ｔＳ）^−１Ｓ^ｔＩ …（１’）
（ｄ）コントロールユニット３０は、行列Ｓと、列ベクトルＩと、式（１’）とに基づく最小二乗法により、列ベクトルＰの各成分ｐ_１〜ｐ_Ｍを既知とする（以上、手順（ｄ））。

したがって、本ステップによれば、全ての標本座標（ｘ，ｙ）の各々に関するＭ種類の蛍光蛋白質の寄与率ｐ_１〜ｐ_Ｍが既知となる（以上、ステップＳ３２）。

ステップＳ３３：コントロールユニット３０は、ステップＳ３２で取得した全ての標本座標（ｘ，ｙ）の各々に関するＭ種類の寄与率ｐ_１〜ｐ_Ｍを、蛍光蛋白質の種類毎に纏めることにより、画像番号ｊに関するＭ枚の寄与率画像Ｐ_ｊ１〜Ｐ_ｊＭを作成する。

ステップＳ３４：コントロールユニット３０は、画像番号ｊが最終値（１００）に達したか否かを判別し、達していなかった場合にはステップＳ３５へ移行し、達していた場合にはステップＳ３６へ移行する。

ステップＳ３５：コントロールユニット３０は、画像番号ｊをインクリメントしてからステップＳ３２へ戻る。したがって、Ｍ枚の寄与率画像Ｐ_ｊ１〜Ｐ_ｊＭは、トータルで１００組分作成されることになる。

ステップＳ３６：コントロールユニット３０は、１００組の寄与率画像Ｐ_ｊ１〜Ｐ_ｊＭ（ｊ＝１〜１００）を、蛍光蛋白質の種類毎に合成することにより、Ｍ枚の合成寄与率画像Ｐ_１〜Ｐ_Ｍを作成し、それらＭ枚の合成寄与率画像Ｐ_１〜Ｐ_Ｍを、標本１０Ａの観察データとしてメモリへ格納する。

以上、本実施形態の装置は、対物レンズ１７の瞳面に分光素子（ここでは回折格子１８）を配することにより、撮像面上に点在する蛍光輝点像の各々を、拡がりを持った分光像とするので（図３参照）、標本１０Ａ内に点在していた蛍光輝点の各々の発光スペクトルを、撮像面上に点在する線像として一括に取得することができる。

したがって、本実施形態の標本１０Ａには蛍光波長域の互いに重複する複数の光活性化蛍光蛋白質（ＰＡ−ＧＦＰ、Ｄｒｏｎｐａ）が使用されているにも拘わらず、同時励起観察が可能である。

また、本実施形態の装置は、線像の拡がり量と、活性化密度との関係を、前述したとおり適切に設定しているので、互いに異なる２つの線像同士が撮像面上で重なる可能性は無い。したがって、本実施形態のコントロールユニット３０は、観察視野に点在していた蛍光輝点の各々の発光スペクトルを上述したとおり簡単に求めることができる。

また、本実施形態の装置は、分光素子として回折格子１８を使用することにより、撮像面上に線像と点像との双方を形成する。したがって、本実施形態のコントロールユニット３０は、線像及び点像の発生元となった共通の蛍光輝点の標本座標（ｘ，ｙ）を、点像のＣＣＤ座標（Ｘ_０，Ｙ_０）のみから簡単に算出することができる。

また、本実施形態のコントロールユニット３０は、個々の蛍光輝点の発光スペクトルに対してスペクトルアンミックスの処理を施すので、蛍光輝点に寄与する蛍光蛋白質の種類を同定したり、蛍光輝点に対する複数の蛍光蛋白質の寄与率を既知としたりすることができる。

［第２実施形態］
以下、本発明に係るＰＡＬＭ装置の第２実施形態を説明する。ここでは、第１実施形態との相違点のみを説明する。

図８は、本実施形態のＰＡＬＭ装置の構成図である。図８に示すとおり、本実施形態では回折格子１８の代わりにプリズム２２１が使用される。また、本実施形態では、プリズム２２１の生成する線像が撮像面から外れないよう、レンズ２０及びＥＭ−ＣＣＤ２１は、図８に示すとおり傾斜した姿勢で配置される。

ここで、プリズム２２１の材質がＳＦ１０であったとすると、プリズム２２１の頂角を４５度に設定すれば、撮像面上に蛍光輝点の線像を形成する各蛍光の拡がり角度（スペクトル拡がり）を、第１実施形態のそれと同じにすることができる。

なお、プリズム２２１は回折格子１８とは異なり０次回折光に相当する光が発生しないので、撮像面上に蛍光輝点の点像は生起しない。このため、本実施形態のコントロールユニット３０は、蛍光輝点の標本座標（ｘ，ｙ）の算出を、蛍光輝点の線像に基づき行う必要がある。

ここで、プリズム２２１の頂角をαとおき、波長λにおけるプリズム２２１の屈折率をｎ（λ）とおき、基準波長（５３０ｎｍ）におけるプリズム２２１の屈折率をｎ_０とおくと、標本座標（ｘ，ｙ）に位置する蛍光輝点から射出した波長λの蛍光が到達するＣＣＤ座標（Ｘ，Ｙ）は、次式（２）で表される。

よって、本実施形態のコントロールユニット３０は、この式（２）に基づくことにより、蛍光輝点の線像から蛍光輝点の標本座標（ｘ，ｙ）を算出することができる。

但し、標本座標（ｘ，ｙ）のうち、特に標本座標ｘの算出には式（２）をそのまま使用することが難しいので、式（２）の代わりに、式（２）から導出される対応表を使用することが望ましい。この対応表は、蛍光蛋白質の種類毎に用意され、コントロールユニット３０のメモリに予め記憶される。メモリに予め記憶される対応表の個数は、蛍光蛋白質の種類数と同じくＭである。

Ｍ個の対応表の各々には、図９に示すとおり、蛍光輝点の標本座標ｘと、その蛍光輝点が撮像面上の対応ラインに与える輝度分布Ｌｘ（以下、「リファレンスラインＬｘ」と称す。）とが、互いに対応づけられて格納されている。この対応表において、リファレンスラインＬｘは、全ての標本座標ｘの各々について格納されている。上述したとおり、撮像面のＸ方向の画素数は２０４８なので、ここでは、１つの対応表に含まれるリファレンスラインＬｘの個数を、２０４８個とする。なお、図９では、分かりやすくするためにリファレンスラインＬｘに含まれる各画素の輝度を濃度で表したが、実際の対応表では、各画素の輝度は数値によって表される。また、個々のリファレンスラインＬｘは、本装置から実測されたもの、或いは、本装置の設計データに基づくシミュレーションによって取得されたものである。

本実施形態のコントロールユニット３０は、Ｍ個の対応表に基づくスペクトルアンミックス（以下、「拡張スペクトルアンミックス」と称す。）により、線像の存在するラインＬ_ｍから、その線像の発光元となった蛍光輝点の標本座標（ｘ，ｙ）と、その蛍光輝点に対するＭ種類の蛍光蛋白質の寄与率とを、一緒に算出する。

先ず、蛍光輝点に寄与する蛍光蛋白質の種類数が１である場合に適用可能な拡張スペクトルアンミックスは、次の手順（ａ’）〜（ｃ’）からなる。

（ａ’）コントロールユニット３０は、Ｍ個の対応表の中から、ラインＬ_ｍの輝度分布と最も類似した輝度分布を持つリファレンスラインＬｘを見出し、そのリファレンスラインＬｘに対応づけられた標本座標を、蛍光輝点の標本座標ｘとみなす。

（ｂ’）コントロールユニット３０は、ラインＬ_ｍのＣＣＤ座標Ｙを式（２）へ当てはめることにより、蛍光輝点の標本座標ｙを算出する。これによって、蛍光輝点の標本座標（ｘ，ｙ）が既知となる。

（ｃ’）コントロールユニット３０は、リファレンスラインＬｘの属していた対応表の種類により、蛍光輝点に寄与した蛍光蛋白質の種類を同定し、リファレンスラインＬｘに対するラインＬ_ｍの輝度比を、その蛍光輝点に対するその蛍光蛋白質の寄与率として求める（以上、種類数が１である場合に適用可能な拡張スペクトルアンミックスの手順）。

一方、蛍光輝点に寄与する蛍光蛋白質の種類数が２以上である場合に適用される拡張スペクトルアンミックスは、次の手順（ａ”）〜（ｇ”）からなる。

（ａ”）コントロールユニット３０は、Ｍ種類の対応表に含まれるＭ×２０４８個のリファレンスラインＬｘ_１〜Ｌｘ_２０４８を、それぞれ列ベクトルで表す。なお、Ｍ×２０４８個のリファレンスラインＬｘ_１〜Ｌｘ_２０４８の各々は、列ベクトルで表され、列ベクトルの各成分は、リファレンスラインの各ＣＣＤ座標Ｘにおける輝度を示す。なお、個々の列ベクトルの成分数Ｎは、蛍光蛋白質の種類数Ｍより十分に多く設定される。

（ｂ”）コントロールユニット３０は、Ｍ×２０４８個のリファレンスラインＬｘ_１〜Ｌｘ_２０４８を、纏めて１つの行列Ｓで表す。

（ｃ”）コントロールユニット３０は、ラインＬ_ｍの輝度分布（以下、「観測輝度分布Ｌ_ｍ（Ｘ）」と称す。）を、１つの列ベクトルＩで表す。列ベクトルＩの各成分は、観測輝度分布Ｌ_ｍ（Ｘ）の各ＣＣＤ座標Ｘにおける輝度を示す。また、列ベクトルＩの成分数Ｎは、蛍光蛋白質の種類数Ｍより十分に多く設定される。

（ｄ”）コントロールユニット３０は、ラインＬ_ｍ上の２０４８個のＸ座標の各々に対するＭ種類の蛍光蛋白質の寄与率ｐ_１１〜ｐ_{Ｍ２０４８}を、１つの列ベクトルＰで表す。この場合、上述した式（１），（１’）が成り立つ。

（ｅ”）コントロールユニット３０は、行列Ｓと、列ベクトルＩと、式（１’）とに基づく最小二乗法により、列ベクトルＰの各成分ｐ_１１〜ｐ_{Ｍ２０４８}を既知とする。

（ｆ”）コントロールユニット３０は、手順（ｄ”）で既知とした成分ｐ_１１〜ｐ_{Ｍ２０４８}によって表される列ベクトルＰと、行列Ｓとを、式（１）へ当てはめることにより、列ベクトルＩを合成する。そして、コントロールユニット３０は、合成された列ベクトルＩと、観測輝度分布Ｌ_ｍ（Ｘ）の列ベクトルＩとを比較し、両者の差（残差）が最小となるような標本座標ｘを見出し、その標本座標ｘを、蛍光輝点の標本座標ｘとみなす。

（ｇ”）コントロールユニット３０は、ラインＬ_ｍのＣＣＤ座標Ｙを式（２）へ当てはめることにより、蛍光輝点の標本座標ｙを算出する。これによって、蛍光輝点の標本座標（ｘ，ｙ）が既知となる（以上、種類数が２以上である場合に適用される拡張スペクトルアンミックスの手順）。

なお、以上の拡張スペクトルアンミックスは、第１実施形態へ適用することも可能である。拡張スペクトルアンミックスを適用すれば、点像が撮像面から外れたり、互いに異なる線像同士が撮像面上で重複したりすることを許容できる。

また、本実施形態の装置は、次のように変形することも可能である。

すなわち、プリズム２２１へ向かう蛍光をプリズム２２１の直前で二つに分岐する分岐素子を配置し、分岐された蛍光の一方については、プリズム２２１を介して撮像面上に結像させ、他方については、プリズム２２１を介さずに撮像面上に結像させる。このうち、プリズム２２１を介して結像する蛍光は、撮像面上に分光像を形成し、プリズム２２１を介さずに結像する蛍光は、撮像面上に非分光像を形成する。

このようにして非分光像を形成した場合、本実施形態のコントロールユニット３０は、蛍光輝点の標本座標（ｘ，ｙ）と、その蛍光輝点の発光スペクトルＩ（λ）とを、第１実施形態のコントロールユニット３０と同様の手順で算出することができる。

但し、本実施形態の装置では、回折格子１８の代わりにプリズム２２１が使用されているので、ＣＣＤ座標Ｘから波長λへの変換には、次式が使用される。

具体的には、本実施形態のコントロールユニット３０は、この式による反復計算等により屈折率ｎ（λ）を算出してから、波長λを求めることになる。
［蛍光蛋白質の種類の補足］
上述した何れかの実施形態では、標本１０Ａに使用される蛍光蛋白質を、ＰＡ−ＧＦＰとＤｒｏｎｐａとの組み合わせとした。ＰＡ−ＧＦＰとＤｒｏｎｐａとは、互いの励起波長がほぼ等しいため同時励起が可能であるという利点があるのに対し、互いの蛍光波長の極大波長が１ｎｍ程度しか離れていないため、従来は同時励起観察が困難とされていた。しかし、上述した何れかの実施形態によると、確実に同時励起観察を行うことが可能である。

なお、ＰＡ−ＧＦＰとＤｒｏｎｐａとの組み合わせ以外に、ＰＳ−ＣＦＰ２とＤｒｏｎｐａの組み合わせや、ＰＳ−ＣＦＰ２とＰＡ−ＧＦＰとの組み合わせも採用することが可能である。これらの組み合わせは、互いの励起波長はやや離れているが、４９０ｎｍ〜５００ｎｍの波長で同時励起が可能であり、蛍光の極大波長が６〜７ｎｍ離れているので、使い易い。因みに、ここで挙げた各種の蛍光蛋白質は、何れも４００ｎｍ前後の光により活性化することが可能である。

１２１…活性化レーザ光源、１２２…励起レーザ光源、１０１…ダイクロイックミラー、１３…レンズ、１５…ダイクロイックミラー、１７…対物レンズ、１１…サンプルステージ、１４…リレー光学系、１８…回折格子、２０…レンズ、２１…ＥＭ−ＣＣＤ、３０…コントロールユニット

Claims (12)

1. 被観察物に含まれる光活性化蛍光物質を所定の活性化密度で活性化する活性化手段と、
   前記被観察物に含まれる活性化中の光活性化蛍光物質を励起することにより、前記被観察物内に蛍光輝点を点在させる励起手段と、
   前記被観察物の蛍光像を所定の撮像面上に形成することにより、前記撮像面内に蛍光輝点像を点在させる結像光学系と、
   前記被観察物から前記撮像面へ向かう蛍光を所定の分光量で分光することにより、前記撮像面内に点在する蛍光輝点像の各々を、空間的拡がりを持った分光像とする分光手段と、
   前記撮像面上の輝度分布を示す画像を取得する撮像手段と、
   を備えることを特徴とする顕微鏡。
2. 請求項１に記載の顕微鏡において、
   前記所定の活性化密度と前記所定の分光量との関係は、
   前記撮像面内に点在する分光像同士が互いに重ならないように設定される
   ことを特徴とする顕微鏡。
3. 請求項１又は請求項２に記載の顕微鏡において、
   前記分光手段は、
   前記結像光学系の瞳面に配置された回折格子である
   ことを特徴とする顕微鏡。
4. 請求項１又は請求項２に記載の顕微鏡において、
   前記分光手段は、
   前記結像光学系の瞳面に配置されたプリズムである
   ことを特徴とする顕微鏡。
5. 請求項１〜請求項４の何れか１項に記載の顕微鏡が取得した画像を処理する画像処理装置であって、
   前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手段を備えた
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記演算手段は、
   前記被観察物内に点在した蛍光輝点の各々の発光スペクトルと、複数種類の光活性化蛍光物質の発光特性情報とに基づき、それら蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
   ことを特徴とする画像処理装置。
7. 請求項１〜請求項４の何れか一項に記載の顕微鏡が取得した画像を処理する画像処理装置であって、
   前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々の位置を算出する演算手段を備えた
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記演算手段は、
   前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
   ことを特徴とする画像処理装置。
9. 請求項１〜請求項４の何れか１項に記載の顕微鏡が取得した画像を処理する画像処理方法であって、
   前記画像内に点在する分光像の各々の輝度分布に基づき、前記被観察物内に点在した蛍光輝点の各々の発光スペクトルを求める演算手順を含む
   ことを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法において、
    前記演算手順では、
    前記被観察物内に点在した蛍光輝点の各々の発光スペクトルと、複数種類の光活性化蛍光物質の発光特性情報とに基づき、それら蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
    ことを特徴とする画像処理方法。
11. 請求項１〜請求項４の何れか１項に記載の顕微鏡が取得した画像を処理する画像処理方法であって、
    前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々の位置を算出する演算手順を含む
    ことを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法において、
    前記演算手順では、
    前記画像内に点在する分光像の各々の輝度分布と、複数種類の光活性化蛍光物質の発光特性情報とに基づき、前記被観察物内に点在した蛍光輝点の各々に対する前記複数種類の光活性化蛍光物質の寄与率を算出する
    ことを特徴とする画像処理方法。

Images