JP2005181276A

JP2005181276A - スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法

Info

Publication number: JP2005181276A
Application number: JP2004015536A
Authority: JP
Inventors: Shinichi Hayashi; 林　　真市
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-11-26
Filing date: 2004-01-23
Publication date: 2005-07-07
Anticipated expiration: 2024-01-23
Also published as: JP4021414B2

Abstract

【課題】スペクトラルデコンボリューション等を計算するに際し、計算精度の低下をもたらす画素のデータを排除して、より誤差の少ない計算結果を得られるようにする。
【解決手段】使用する蛍光標識の発光スペクトルをコンピュータに登録するステップ１１と、測定対象の分光画像を取得するステップ１２と、その分光画像の各画素のスペクトルをコンピュータに記録するステップ１３と、その分光画像から、スペクトラルデコンボリューション法を適用する画素を選択するステップ１４と、選択した各画素に対しスペクトラルデコンボリューションを用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解するステップ１５と、各蛍光標識の存在割合を決定するステップ１６とからなる。
【選択図】図１

Description

本発明は、スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法に関するものである。

生体内の複数種類のタンパク分子の運動又は相互作用や、遺伝子の発現を観察するために、それぞれのタンパク分子や遺伝子ＲＮＡに、異なる蛍光標識を結合させて、同時に蛍光観察する手法が利用されている。蛍光標識としては、生体に対し毒性の低い、クラゲやサンゴの遺伝子から抽出された蛍光タンパクを用いることが多くなっている。蛍光タンパクには、よく使われるものでＣＦＰ（シアン色発色）、ＧＦＰ（緑色発色）、ＹＦＰ（黄色発色）、ＤｓＲｅｄ（赤色発色）等がある。

ところが、図１９に示すように、蛍光タンパクの発光スペクトルはバンド幅が広くて、互いに重なり合っている。そのために、それぞれの蛍光タンパクの発光を、バンドパスフィルタやシャープカットフィルタ等の光学的フィルタのみを用いて完全に分離することはできない。

そこで、スペクトラルデコンボリューションと呼ばれる手法を用いて、観測された測定対象の発光スペクトルをそれぞれの蛍光標識の発光スペクトルに分解することが行われる。特許文献１には、スペクトラルデコンボリューション法を用いる場合の手順が簡単に説明されている。その適用手順は、図２０に示すように、ステップ３１で、使用する蛍光標識の発光スペクトルをコンピュータに登録し、ステップ３２で、測定対象の発光スペクトルを計測し、ステップ３３で、測定対象の発光スペクトルをコンピュータに記録し、ステップ３４で、スペクトラルデコンボリューションを用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解し、ステップ３５で、各蛍光標識の存在割合を決定する、というものである。

測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解するデコンボリューション法の数学的手順は、特許文献２や非特許文献１等に具体的に示されているので、ここでは説明を省略する。

また、蛍光標識の発光スペクトルが未知又は不確定の場合には、測定対象の分光画像を撮像することにより、各蛍光標識の発光スペクトルと各蛍光標識の空間分布を同時に算出する、スペクトラルブラインドデコンボリューションと呼ばれる手法も存在する。その適用手順は、図２１に示すように、ステップ４１で、測定対象の分光画像を撮像し、ステップ４２で、分光画像の各画素のスペクトルをコンピュータに記録し、ステップ４３で、スペクトラルブラインドデコンボリューション法を用いて、各蛍光標識の発光スペクトルと、分光画像の各画素における各蛍光標識の存在割合を同時に求め、ステップ４４で、測定対象内の各蛍光標識の分布を決定する、というものである。

スペクトラルブラインドデコンボリューション法の数学的手順は、例えば特許文献３に１つの具体的な例が開示してあるので、ここでは説明を省略する。

ところで、従来のスペクトラルデコンボリューションの方法及びスペクトラルブラインドデコンボリューションの方法には、以下に述べる不都合が存在する。すなわち、一般的に、蛍光標識された観察物体の蛍光像は、コントラストが高いために、撮像された蛍光画像の全ての画素において、正しい発光スペクトルが記録されているとは限らない。従来のスペクトラルデコンボリューションの場合においては、図２０のステップ３３において、測定対象の発光スペクトルを計測する際に、適当な感度に調節された受光素子を用いて各画素における発光スペクトルを計測するのであるが、輝度が高い蛍光色素の発光スペクトルを記録した画素においては、一部の波長領域において受光素子からの出力が飽和していて、正しい発光スペクトルがコンピュータに記録されていない可能性がある。また、輝度が低い蛍光色素像を記録した画素においては、受光素子あるいはそれ以降の電気系から発生するノイズが相対的に強くなり、やはり正しい発光スペクトルが記録されていない可能性がある。コンピュータに記録された測定対象の発光スペクトルが、上述のように、蛍光色素の正しい発光スペクトルと異なっている場合においては、スペクトラルデコンボリューションが誤った結果を与える可能性がある。

従来のスペクトラルブラインドデコンボリューションの方法においても、同様に、ステップ４１において、測定対象の分光画像を撮像する際に、適当な感度に調節された受光素子を用いて各画素における発光スペクトルを計測するのであるが、輝度が高い蛍光色素の発光スペクトルを記録した画素においては、一部の波長領域において受光素子からの出力が飽和していて、ステップ４２において、正しい発光スペクトルが記録されていない可能性がある。また、輝度が低い蛍光色素像を記録した画素においては、受光素子あるいはそれ以降の電気系から発生するノイズが相対的に強くなり、やはり正しい発光スペクトルが記録されていない可能性がある。分光画像に正しい発光スペクトルが記録されていない画素が存在する場合、ステップ４３において、各蛍光標識の発光スペクトルと、各画素における各蛍光標識の存在割合を正しく求められない可能性がある。
米国特許第６，４０３，３３２号明細書米国特許第６，０２５，６０１号明細書特公平７−５００３１号公報 M. Dickinson, et. al., "Multi-Spectral Imaging and Linear Unmixing Add a Whole New Dimension to Laser Scanning Fluorescence Microscopy", BioTechniques, Vol.31, No.6, pp.1272-1278 (2001)

本発明は従来技術のこのような問題点に鑑みなされたものであり、その目的は、スペクトラルデコンボリューションやスペクトラルブラインドデコンボリューションを計算するに際し、計算精度の低下をもたらすと予想される画素のデータを排除することにより、より誤差の少ない計算結果を得られるようにすることにある。

上記目的を達成する本発明のスペクトラルデコンボリューション法は、
使用する蛍光標識の発光スペクトルをコンピュータに登録するステップと、
測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルを前記コンピュータに記録するステップと、
前記分光画像から、スペクトラルデコンボリューション法を適用する画素を選択するステップと、
選択した前記各画素に対しスペクトラルデコンボリューションを用いて前記測定対象の発光スペクトルを前記蛍光標識の発光スペクトルに分解するステップと、
前記各蛍光標識の存在割合を決定するステップと、
からなることを特徴とする方法である。

本発明の別のスペクトラルデコンボリューション法は、
使用する蛍光標識の発光スペクトルをコンピュータに登録するステップと、
測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルを前記コンピュータに記録するステップと、
前記各画素に対しスペクトラルデコンボリューションを用いて前記測定対象の発光スペクトルを前記蛍光標識の発光スペクトルに分解するステップと、
前記各画素において、スペクトラルデコンボリューション法の計算結果の妥当性を判断するステップと、
計算結果の妥当性のある前記画素について、前記各蛍光標識の存在割合を決定するステップと、
からなることを特徴とする方法である。

本発明のもう１つのスペクトラルデコンボリューション法は、
使用する蛍光標識の発光スペクトルをコンピュータに登録するステップと、
測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルを前記コンピュータに記録するステップと、
前記分光画像の各画像から、スペクトラルデコンボリューション法を適用する画像を選択するステップと、
前記選択した分光画像に対してスペクトラルデコンボリューションを用いて前記測定対象の発光スペクトルを前記蛍光標識の発光スペクトルに分解するステップと、
前記各蛍光標識の存在割合を決定するステップと、
からなることを特徴とする方法である。

本発明のスペクトラルブラインドデコンボリューション法は、
未知の固有発光スペクトルを持つの異なる複数の標識を含む測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルをコンピュータに記録するステップと、
前記分光画像の各画素よりスペクトラルブラインドデコンボリューション法に用いる画素を選択するステップと、
前記選択された画素に対してスペクトラルブラインドデコンボリューション法を用いて複数の固有スペクトルと前記分光画像の各画素における前記各固有スペクトル成分の存在割合を同時に求めるステップと、
前記測定対象内の前記各固有スペクトル成分の分布を決定するステップと、
からなることを特徴とする方法である。

本発明の別のスペクトラルブラインドデコンボリューション法は、
未知の固有発光スペクトルを持つの異なる複数の標識を含む測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルをコンピュータに記録するステップと、
スペクトラルブラインドデコンボリューション法を用いて複数の固有スペクトルと前記分光画像の各画素における前記各固有スペクトル成分の存在割合を同時に求めるステップと、
前記各画素においてスペクトラルブラインドデコンボリューション法の計算結果の妥当性を判断するステップと、
計算結果の妥当性のある前記画素について、前記各固有スペクトル成分の存在割合を決定するステップと、
からなることを特徴とする方法である。

本発明のもう１つのスペクトラルブラインドデコンボリューション法は、
未知の固有発光スペクトルを持つの異なる複数の標識を含む測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルをコンピュータに記録するステップと、
前記分光画像の各画像よりスペクトラルブラインドデコンボリューション法に用いる画像を選択するステップと、
前記選択した分光画像に対してスペクトラルブラインドデコンボリューション法を用いて複数の固有スペクトルと前記分光画像の各画素における前記各固有スペクトル成分の存在割合を同時に求めるステップと、
前記測定対象内の前記各固有スペクトル成分の分布を決定するステップと、
からなることを特徴とする方法である。

本発明のスペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法によると、観測された測定対象の発光スペクトルをそれぞれの蛍光標識の発光スペクトルに分解する際の計算誤差を小さくすることができ、信頼性の高い計算結果を得ることができる。また、計算時間の短縮及び計算量の節約を行うことができる。

本発明の実施の形態については、まず、上記の目的を達成することができるスペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法の実施形態と、そのそれぞれの作用効果について説明する。そして、次に、それぞれの実施例を説明することにする。

本発明のスペクトラルデコンボリューション法の第１の形態は、図１の適用手順を表すフローチャートに示すように、使用する蛍光標識の発光スペクトルをコンピュータに登録するステップ１１と、測定対象の分光画像を取得するステップ１２と、その分光画像の各画素のスペクトルをコンピュータに記録するステップ１３と、その分光画像から、スペクトラルデコンボリューション法を適用する画素を選択するステップ１４と、選択した各画素に対しスペクトラルデコンボリューションを用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解するステップ１５と、各蛍光標識の存在割合を決定するステップ１６とからなることを特徴とする方法である。

ここで、上記の本発明の第１の形態のスペクトラルデコンボリューション法においては、ステップ１４において、分光画像からスペクトラルデコンボリューション法を適用する画素を適切に選択することにより、計算誤差を小さくすることができ、さらに、計算時間の短縮及び計算量の節約を行うことができるというメリットがある。

ここで、本発明のスペクトラルデコンボリューション法で前提とするスペクトラルデコンボリューション法を模式的に簡単に説明すると、図２に示すように、画面中のある画素の、波長毎の分光強度（実線）が与えられたとき、それを既知の蛍光色素Ａ、Ｂ、Ｃの分光強度（破線）の線形和に分解することにより、その画素における各蛍光色素の強度を求めることができる方法で、この操作を各画素毎に行うことにより、各蛍光色素Ａ、Ｂ、Ｃそれぞれの存在分布を求めることができるものである。

また、後記の本発明のスペクトラルブラインドデコンボリューション法で前提とするスペクトラルブラインドデコンボリューション法を模式的に簡単に説明すると、図３（ａ）に示すような同一画面の複数の画素ａ〜ｊにおける分光強度曲線の集合より、図３（ｂ）に示すような予め定められた個数の固有スペクトル成分Ａ、Ｂ、Ｃに分解する方法である。固有スペクトル成分Ａ、Ｂ、Ｃは、それぞれ蛍光色素の分光発光強度を表している。ここで求めた各固有スペクトル成分Ａ、Ｂ、Ｃを用いて、図２に示したスペクトラルデコンボリューション法を用いて、各画素における各固有スペクトル成分（各蛍光色素）Ａ、Ｂ、Ｃの存在分布を求めることができるものである。

ここで、測定対象の分光画像を撮像する撮像素子は、図４に受光強度−出力画素値特性を示すように、撮像素子の出力画素値（出力値）がある閾値ｐmax で制限される。受光強度と画素値が比例関係にあるのは、画素値がｐ1 以上ｐ2 以下となるような受光強度（Ｉ1 以上Ｉ2 以下）に限られる。受光強度がＩ1 よりも弱い場合は、暗ノイズの影響を受け、受光強度がＩ2 よりも強い場合は、画素値の最大値ｐmax による飽和の影響を受けて、受光強度と画素値の線形関係が崩れる。

スペクトラルデコンボリューションの計算には、受光強度と画素値の線形性が要求されるため、画素値がｐ1 よりも小さな値を持つ画素や、ｐ2 よりも大きな値を持つ画素を計算に含めると、計算誤差が大きくなる。

図５に適切な強度の分光画素値を持つものの分光画素値特性の例を、図６に過大な強度の分光画素値を持つものの分光画素値特性の例を、図７に微弱な強度の分光画素値を持つものの分光画素値特性の例を示す。

図５の画素の場合は、分光画素値の最大値が、線形の下限値ｐ1 以上、線形の上限値ｐ2 以下となるものであり、その最大値がｐ2 に近いことが望ましい。画素値がｐ1 以上ｐ2 以下である線形波長範囲が広ければ、計算精度が向上する。画素値がｐ1 以下の波長範囲においては、線形性が崩れてはいるものの、全体に対する絶対値が小さいため、計算における誤差への寄与は少ない。

図６の画素の場合は、分光画素値の最大値がｐ2 よりも大きく、画素値の一番大きな波長領域で線形性が崩れているので、計算精度が著しく低下する。このような画素は、計算から除外することが好ましい。

図７の画素の場合は、全部の波長範囲あるいはほとんどの波長範囲において分光画素値がｐ1 より小さく、線形性が崩れている波長領域が広いので、計算精度が著しく低下する。このような画素は、計算から除外することが好ましい。

そこで、図８に画素ａ、ｂ、ｃ、ｄの分光画素値特性を示すように、一部の波長範囲において、ｐ2 よりも大きな分光画素値を持つ画素ａは、画素値飽和による歪みにより、分光画素値が発光強度に比例していない。また、全ての波長範囲において、ｐ1 よりも小さな分光画素値を持つ画素ｄは、ノイズによる歪みが大きいので、分光画素値が発光強度に比例していない。

なお、図６〜図８において、実線は実際の分光画素値、破線は画素飽和やノイズによる歪みがない場合の画素値を表している。

したがって、本発明のスペクトラルデコンボリューション法やスペクトラルブラインドデコンボリューション法の計算に、このような分光画素値が発光強度に比例していない画素ａ及びｄを用いると、計算精度を著しく低下させる。最大分光画素値が線形の下限値ｐ1 以上、線形の上限値ｐ2 以下である画素ｂ、ｃのみを用いて、スペクトラルデコンボリューション法やスペクトラルブラインドデコンボリューション法を計算することが望ましいので、図１のステップ１４において、このような画素ａ、ｄを除外して、画素ｂ、ｃの画素値のみを用いてスペクトラルデコンボリューション法を適用する。

したがって、図１にフローチャートを示した上記の本発明の第１のスペクトラルデコンボリューション法においては、ステップ１４において、分光画像からスペクトラルデコンボリューション法を適用する画素を上記のように適切に選択することにより、計算誤差を小さくすることができ、さらに、計算時間の短縮及び計算量の節約を行うことができるようになる。

この第１の形態のスペクトラルデコンボリューション法において、分光画像から、画素値を予め設定した閾値と比較することにより画素を選択するステップを含むことが望ましい。

その場合に、その閾値は、例えば画素値のとり得る上限近傍の値とすることができ、具体例としては、その閾値は、画素値の飽和を示す値の近傍の値である。

また、その閾値は、画素値のとりうる下限近傍の値とすることができる。

また、その閾値は、信頼性ある画素値の上限近傍又は下限近傍の値とすることができ、具体例としては、その閾値は、画素値の線形性を示す範囲の上限近傍又は下限近傍の値である。

次に、本発明のスペクトラルデコンボリューション法の第２の形態は、図９の適用手順を表すフローチャートに示すように、使用する蛍光標識の発光スペクトルをコンピュータに登録するステップ５１と、測定対象の分光画像を取得するステップ５２と、分光画像の各画素のスペクトルをコンピュータに記録するステップ５３と、各画素に対しスペクトラルデコンボリューションを用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解するステップ５４と、各画素において、スペクトラルデコンボリューション法の計算結果の妥当性を判断するステップ５５と、計算結果の妥当性のある画素について、各蛍光標識の存在割合を決定するステップ５６とからなることを特徴とする方法である。

上記の本発明の第２の形態のスペクトラルデコンボリューション法においては、ステップ５５において、スペクトラルデコンボリューションの計算結果の妥当性を各画素毎に判断することにより、計算精度が低いと思われる画素を明確にして、信頼性の高い計算結果を表示することができるようになる。

この場合に、分光画像を蛍光標識の発光スペクトルに分解した後の残存誤差成分より、スペクトラルデコンボリューション法の計算結果の妥当性を各画素毎に判断することが望ましい。

このように構成すると、残存誤差成分を用いてスペクトラルデコンボリューションの計算結果の妥当性を判断するようにしたので、例えば測定対象に想定外の蛍光色素が混在していたり、局所的に強いノイズが発生していた場合等において、スペクトラルデコンボリューションの計算精度が著しく低下している画素を明示することができるというメリットがある。

ここで、残存誤差成分とは、ステップ５４において、スペクトラルデコンボリューションにより測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解した後の残存誤差成分であり、その残存誤差成分の絶対値が所定の評価基準より小さい場合に妥当性ありと判断する。その評価基準としては、例えば、測定対象の発光スペクトルの最大値の波長において、最大画素値の例えば５％とする。

本発明のスペクトラルブラインドデコンボリューション法の第３の形態は、図１０の適用手順を表すフローチャートに示すように、使用する蛍光標識の発光スペクトルを求めるステップ７１と、各蛍光標識の発光スペクトルをコンピュータに登録するステップ７２と、測定対象の発光スペクトルを計測するステップ７３と、その測定対象の発光スペクトルをコンピュータに記録するステップ７４と、その分光画像から、スペクトラルデコンボリューション法を適用する画像を選択するステップ７５と、選択した画像に対しスペクトラルデコンボリューション法を用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解するステップ７６と、各蛍光標識の存在割合を決定するステップ７７とからなることを特徴とする方法である。

上記本発明の第３の形態のスペクトラルデコンボリューション法においては、ステップ７５において、複数の波長の異なる分光画像からスペクトラルデコンボリューション法を適用する画像を適切に選択して画像の数を減らすことにより、計算量の大幅な削減及び計算時間の短縮を行うことができるというメリットがある。さらに、特にノイズが強く乗っている画像等を選択から外すことにより、計算誤差を小さくすることができるというメリットがある。

この第３の形態のスペクトラルデコンボリューション法において、画素値が予め設定された閾値で示される範囲から外れる画素の割合の少ない画像を選択するようにするのが好ましい。このようにすれば、計算精度を低下させる原因となる歪みの大きな画像を効果的に排除することができるようになる。

また、その閾値は、画素値の飽和を示す値の近傍であるようにするのが好ましい。このようにすれば、例えば励起光の漏洩等、強力なノイズの乗った画像を効果的に排除し、精度の良い計算結果を得ることができるようになる。

次に、本発明のスペクトラルブラインドデコンボリューション法の第１の形態は、図１１の適用手順を表すフローチャートに示すように、未知の固有発光スペクトルを持つの異なる複数の標識を含む測定対象の分光画像を取得するステップ２１と、その分光画像の各画素のスペクトルをコンピュータに記録するステップ２２と、分光画像の各画素よりスペクトラルブラインドデコンボリューション法に用いる画素を選択するステップ２３と、選択された画素に対してスペクトラルブラインドデコンボリューション法を用いて複数の固有スペクトルと分光画像の各画素におけるその各固有スペクトル成分の存在割合を同時に求めるステップ２４と、測定対象内の各固有スペクトル成分の分布を決定するステップ２５とからなることを特徴とする方法である。

上記の本発明の第１の形態のスペクトラルブラインドデコンボリューション法においては、ステップ２３において、分光画像からスペクトラルブラインドデコンボリューション法を適用する画素を適切に選択することにより、計算誤差を小さくすることができ、さらに、計算時間の短縮及び計算量の節約を行うことができるというメリットがある。

この第１の形態のスペクトラルブラインドデコンボリューション法においても、上記第１の形態のスペクトラルデコンボリューション法と同様に、分光画像から、画素値を予め設定した閾値と比較することにより画素を選択するステップを含むことが望ましい。

また、この第１の形態のスペクトラルブラインドデコンボリューション法において、選択する画素数に上限を設けることが望ましい。

このように、スペクトラルブラインドデコンボリューションの計算に用いる画素数に上限を設けることにより、計算時間の不必要な増加を防ぐことができるというメリットがある。このことを、以下に説明する。

スペクトラルブラインドデコンボリューション法においては、図２を用いて説明したように、複数の画素における分光強度曲線の集合より、予め設定された個数の固有スペクトル成分を抽出する。固有スペクトル成分の個数よりも多い画素数の分光強度曲線があれば、各固有スペクトル成分は、最小自乗法等のフィッティングを用いることにより求めることができる。各分光強度曲線には多少の歪みやノイズが混在しているため、固有スペクトル成分の個数よりもある程度多い画素数を用いた方が、固有スペクトル成分を精度良く求めることができる。

しかし、計算に用いる画素数がある範囲を越えると、それ以上画素数を増やしても計算精度の向上にはつながらず、計算時間だけが増加してしまうようになる。したがって、計算に用いる画素数には適当な上限を設定することが好ましい。

そして、計算に用いる画素は、最大分光画素値の大きいものから順に選択することが好ましい。分光画素値が大きい程、計算結果に対するノイズの影響が相対的に少なくなり、精度の良い計算結果を得ることができるようになる。

次に、本発明のスペクトラルブラインドデコンボリューション法の第２の形態は、図１２の適用手順を表すフローチャートに示すように、未知の固有発光スペクトルを持つの異なる複数の標識を含む測定対象の分光画像を取得するステップ６１と、分光画像の各画素のスペクトルをコンピュータに記録するステップ６２と、スペクトラルブラインドデコンボリューション法を用いて複数の固有スペクトルと分光画像の各画素における各固有スペクトル成分の存在割合を同時に求めるステップ６３と、各画素においてスペクトラルブラインドデコンボリューション法の計算結果の妥当性を判断するステップ６４と、計算結果の妥当性のある画素について、各固有スペクトル成分の存在割合を決定するステップ６５とからなることを特徴とする方法である。

上記の本発明の第２の形態のスペクトラルブラインドデコンボリューション法においては、ステップ６４において、スペクトラルブラインドデコンボリューションの計算結果の妥当性を各画素毎に判断することにより、計算精度が低いと思われる画素を明確にして、信頼性の高い計算結果を表示することができるようになる。

この場合に、分光画像を固有スペクトル成分に分解した後の残存誤差成分より、スペクトラルブラインドデコンボリューション法の計算結果の妥当性を各画素毎に判断することにより、測定した発光スペクトルが異常値を示す画素を計算の対象から除外することができ、信頼性の高い計算結果を表示することができるというメリットがある。

また、第１の形態のスペクトラルブラインドデコンボリューション法と同様に、選択する画素数に上限を設けることが望ましい。そのような上限を設けることにより、計算時間の不必要な増加を防ぐことができるというメリットがある。

本発明のスペクトラルブラインドデコンボリューション法の第３の形態は、図１３の適用手順を表すフローチャートに示すように、未知の固有発光スペクトルを持つの異なる複数の蛍光標識を含む測定対象の分光画像を撮像するステップ８１と、分光画像の各画素のスペクトルをコンピュータに記録するステップ８２と、分光画像から、スペクトラルブラインドデコンボリューション法に用いる画像を選択するステップ８３と、選択した画像に対しスペクトラルブラインドデコンボリューション法を用いて、各蛍光標識の発光スペクトルと分光画像の各画素におけるその各蛍光標識の存在割合を同時に求めるステップ８４と、測定対象内の各蛍光標識のの分布を決定するステップ８５とからなることを特徴とする方法である。

上記本発明の第３の形態のスペクトラルブラインドデコンボリューション法においては、ステップ８３において、複数の波長の異なる分光画像からスペクトラルブラインドデコンボリューション法を適用する画像を適切に選択して画像の数を減らすことにより、計算量の大幅な削減及び計算時間の短縮を行うことができるというメリットがある。さらに、特にノイズが強く乗っている画像等を選択から外すことにより、計算誤差を小さくすることができるというメリットがある。

この第３の形態のスペクトラルブラインドデコンボリューション法において、画素値が予め設定された閾値で示される範囲から外れる画素の割合の少ない画像を選択するようにするのが好ましい。このようにすれば、計算精度を低下させる原因となる歪みの大きな画像を効果的に排除することができるようになる。

以下に、図面を用いて、本発明の分光画像から複数の固有スペクトル成分の存在割合を求める方法の実施例について説明する。

本発明によるスペクトラルデコンボリューション法を適用する第１実施例の蛍光顕微鏡の構成は、図１４に示すように、光源１と、照明光学系２と、励起フィルタ３と、ダイクロイックミラー４と、対物レンズ５と、阻止フィルタ６と、結像レンズ７と、回転可能で複数の透過波長帯域の異なるフィルタからなるフィルタホイール８と、ＣＣＤカメラ９と、コンピュータ１０と、表示装置１１からなる。光源１は照明光を発生し、照明光学系２は照明光を集光し、励起フィルタ３は照明光から標本の蛍光標識を励起する励起光成分のみを透過し、ダイクロイックミラー４は励起光を反射して対物レンズ５の開口に導き、対物レンズ５は標本面上に励起光を集光する。標本Ｏでは蛍光標識により蛍光が発せられ、対物レンズ５は蛍光を集光し、ダイクロイックミラー４は蛍光を透過し、結像レンズ７は標本Ｏの拡大像をＣＣＤカメラ９の撮像面上に形成する。フィルタホイール８は、電気的に接続されたコンピュータ１０から制御され、ＣＣＤカメラ９で撮像する蛍光画像の波長帯域を選択する。コンピュータ１０は、フィルタホイール８を回転させながら、波長帯域の異なる複数の蛍光画像をＣＣＤカメラ９から取り込み、標本Ｏの分光画像を作成する。さらに、コンピュータ１０は、本発明によるスペクトラルデコンボリューション法に基づいて、標本Ｏ内の各蛍光標識の空間分布を算出し、コンピュータ１０に電気的に接続された表示装置１１にその空間分布を表示する。阻止フィルタ６は、光学系内での反射、散乱による励起光の蛍光画像への混入を防ぐ目的で、ダイクロイックミラー４の後方に挿入されている。

本実施例のスペクトラルデコンボリューション法に基づいて分光画像から複数の固有スペクトル成分の存在割合を求める方法の手順は、図１５に示すように、フィルタホイール８を回転させながら、ＣＣＤカメラ９で標本Ｏの像を撮像し、それを分光画像としてコンピュータ１０に記録し（ステップ１０１）、各蛍光標識の発光スペクトルを、データベースからコンピュータ１０のメモリに読み込み（ステップ１０２）、分光画像の各画素から、最大分光画素値が予め設定された閾値（例えば、図８の線形の上限値ｐ2 ）より高い画素に、マーキングする（ステップ１０３）。次いで、分光画像の各画素から、最大分光画素値が予め設定された閾値（例えば、図８の線形の下限値ｐ1 ）より低い画素に、マーキングする（ステップ１０４）。ステップ１０３と１０４でマーキングされていない画素を選択し（ステップ１０５）、そのようにして選択された画素に、スペクトラルデコンボリューション法を適用し（ステップ１０６）、その選択された画素に対し、スペクトラルデコンボリューションを用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解する（ステップ１０７）。その後、ステップ１０７でのスペクトラルデコンボリューションの残存誤差が、予め設定された閾値（例えば、その画素の発光スペクトルの最大値の波長での画素値の例えば５％）より大きな画素に、マーキングし（ステップ１０８）、マーキングされていない各画素において、各蛍光標識の存在量を決定する（ステップ１０９）。そして、各蛍光標識の空間分布を表示装置１１に表示する（ステップ１１０）と共に、マーキングされた画素を、算出不能画素として、表示装置１１に表示する（ステップ１１１）。

このように、本実施例においては、標本Ｏの分光画像からスペクトラルデコンボリューション法を適用する画素を適切に選択することにより、計算誤差を小さくすることができ、さらに、計算時間の短縮及び計算量の節約を行うことができるというメリットがある。

また、スペクトラルデコンボリューションの計算結果の妥当性を各画素毎に判断することにより、計算精度が低いと思われる画素を算出不能画素として表示して明確にし、信頼性の高い計算結果を表示することができるようになる。

なお、図１５のフローチャートにおいて、ステップ１０８でマーキングした後に、マーキングされる画素がある場合に、ステップ１０５に戻って、最大分光画素値が予め設定された上限の閾値より高い画素と、下限の閾値より低い画素と、スペクトラルデコンボリューションの残存誤差が予め設定された閾値より大きな画素とを除いた画素を選択し、以後、そのようにして選択された画素に対してステップ１０６〜１１１を適用するようにしてもよい。

本発明のスペクトラルブラインドデコンボリューション法を適用する第２実施例のレーザ顕微鏡の構成は、図１６に示すように、レーザ光源２１と、コリメートレンズ２２と、ダイクロイックミラー２３、一対のガルバノミラー２４と、対物レンズ２５と、結像レンズ２６と、共焦点ピンホール２７と、回折格子２８と、ラインセンサ２９と、コンピュータ３０と、表示装置３１からなる。レーザ光源２１は励起光を発生し、コリメートレンズ２２は励起光を平行光線にし、ダイクロイックミラー２３は励起光を反射して対物レンズ２５に導き、対物レンズ２５は標本Ｏ上に励起光のスポットを形成する。ダイクロイックミラー２３と対物レンズ２５の間に挿入された一対のガルバノミラー２４は、励起光の光線角度を振ることで、標本Ｏ上の励起光のスポットを２次元的に走査する。標本Ｏ内の蛍光標識に励起光が照射されることにより蛍光が発生し、対物レンズ２５は蛍光を集光し、ガルバノミラー２４は蛍光をダイクロイックミラー２３に導き、ダイクロイックミラー２３は蛍光を透過し、結像レンズ２６は共焦点ピンホール２７上に標本Ｏの拡大像を投影し、共焦点ピンホール２７は標本Ｏの共焦点画像成分を抽出する。共焦点ピンホール２７とラインセンサ２９の中心に焦点位置を持つ曲面形状をしたの回折格子２８は、共焦点ピンホール２７を透過した蛍光の分光強度の像をラインセンサ２９上に投影する。ガルバノミラー２４及びラインセンサ２９と電気的に接続されたコンピュータ３０は、ガルバノミラー２４を走査しながらラインセンサ２９からの信号を入力することにより、共焦点分光蛍光画像を作成する。さらに、コンピュータ３０は本発明によるスペクトラルブラインドデコンボリューション法に基づき、標本Ｏ内における蛍光標識の３次元空間分布を算出し、電気的に接続された表示装置３１にその結果を表示する。

本実施例のスペクトラルブラインドデコンボリューションの手順は、図１７と図１８に示すように、ガルバノミラー２４でスキャンしながらラインセンサ２９からの分光強度信号を入力することにより分光画像を得て、この分光画像をコンピュータに記録し（ステップ２０１）、分光画像の各画素から、最大分光画素値が予め設定された閾値（例えば、図８の線形の上限値ｐ2 ）より高い画素に、マーキングし（ステップ２０２）、分光画像の各画素から、最大分光画素値が予め設定された閾値（例えば、図８の線形の下限値ｐ1 ）より低い画素に、マーキングし（ステップ２０３）、ステップ２０２とステップ２０３でマーキングされた画素が特に多い画像を今後の計算対象から除外し（ステップ２０４）、ステップ２０２とステップ２０３でマーキングされていない画素に対し、最大分光画素値を大きい順に数えて、予め設定された計算画素数の上限以下の画素に、マーキングする（ステップ２０５）。そして、固有スペクトルの数を設定し（ステップ２０６）、次いで、マーキングされていない画素を選択し、選択された画素に、ステップ２０６で設定された固有スペクトルの数に基づいて、スペクトラルブラインドデコンボリューション法を適用して、固有スペクトル成分を抽出する（ステップ２０７）。次いで、固有スペクトルの数が妥当か否かを判断する（ステップ２０８）。このステップ２０８での固有スペクトルの数が妥当かどうかの判断は、スペクトラルブラインドデコンボリューション法の計算結果の残存誤差が、予め設定した閾値より小さいか、又は、固有スペクトル成分が重複していないか、又は、計算が発散しないか等によって判断する。このステップ２０８での判断の結果、設定した固有スペクトルの数が妥当でないと判断された場合は、ステップ２０６の固有スペクトルの数の設定が不適切と判断し、ステップ２０６まで戻り、固有スペクトルの数の再設定を行ってやり直す。ステップ２０８で設定した固有スペクトルの数が妥当であると判断されると、選択された画素に、スペクトラルデコンボリューション法を適用し、分光画素値を各固有スペクトルに分解し（ステップ２０９）、ステップ２０９でのスペクトラルデコンボリューションの残存誤差が、予め設定された閾値（例えば、その画素の発光スペクトルの最大値の波長での画素値の例えば５％）より大きな画素に、マーキングし（ステップ２１０）、各スペクトル成分の空間分布を表示装置３１に表示する（ステップ２１１）と共に、マーキングされた画素を、算出不能画素として、表示装置３１に表示する（ステップ２１２）。

このように、本実施例においては、標本Ｏの分光画像からスペクトラルブラインドデコンボリューション法を適用する画素を適切に選択することにより、計算誤差を小さくすることができ、さらに、計算時間の短縮及び計算量の節約を行うことができるというメリットがある。

また、スペクトラルブラインドデコンボリューションの計算結果の妥当性を各画素毎に判断することにより、計算精度が低いと思われる画素を算出不能画素として表示して明確にし、信頼性の高い計算結果を表示することができるようになる。

なお、図１７〜図１８のフローチャートにおいて、ステップ２１０でマーキングされる画素がある場合に、ステップ２０７に戻って、最大分光画素値が予め設定された上限の閾値より高い画素と、下限の閾値より低い画素と、スペクトラルデコンボリューションの残存誤差が予め設定された閾値より大きな画素とを除いた画素を選択し、以後、そのようにして選択された画素に対してステップ２０７〜２１２を適用するようにしてもよい。

以上、本発明のスペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法を実施例に基づいて説明してきたが、本発明はこれら実施例に限定されず種々の変形が可能である。

本発明のスペクトラルデコンボリューション法の第１の形態の適用手順を表すフローチャートである。本発明のスペクトラルデコンボリューション法で前提とするスペクトラルデコンボリューション法を説明するための模式図である。本発明のスペクトラルブラインドデコンボリューション法で前提とするスペクトラルブラインドデコンボリューション法を説明するための模式図である。撮像素子の受光強度−出力画素値特性を示す図である。適切な強度の分光画素値を持つ画素の分光画素値特性の１例を示す図である。過大な強度の分光画素値を持つ画素の分光画素値特性の１例を示す図である。微弱な強度の分光画素値を持つ画素の分光画素値特性の１例を示す図である。本発明において画素を選択する原理を説明するための図である。本発明のスペクトラルデコンボリューション法の第２の形態の適用手順を表すフローチャートである。本発明のスペクトラルデコンボリューション法の第３の形態の適用手順を表すフローチャートである。本発明のスペクトラルブラインドデコンボリューションの第１の形態の適用手順を表すフローチャートである。本発明のスペクトラルブラインドデコンボリューションの第２の形態の適用手順を表すフローチャートである。本発明のスペクトラルブラインドデコンボリューションの第３の形態の適用手順を表すフローチャートである。本発明による第１実施例の蛍光顕微鏡の構成を示す図である。本発明による第１実施例の方法の手順を示すフローチャートである。本発明による第２実施例のレーザ顕微鏡の構成を示す図である。本発明による第２実施例の方法の手順を示すフローチャートの前半部である。本発明による第２実施例の方法の手順を示すフローチャートの後半部である。代表的な蛍光タンパクの発光波長と発光強度を示す図である。従来のスペクトラルデコンボリューションの適用手順を表すフローチャートである。従来のスペクトラルブラインドデコンボリューションの適用手順を表すフローチャートである。

符号の説明

Ｏ…標本
１…光源
２…照明光学系
３…励起フィルタ
４…ダイクロイックミラー
５…対物レンズ
６…阻止フィルタ
７…結像レンズ
８…フィルタホイール
９…ＣＣＤカメラ
１０…コンピュータ
１１…表示装置
２１…レーザ光源
２２…コリメートレンズ
２３…ダイクロイックミラー
２４…一対のガルバノミラー
２５…対物レンズ
２６…結像レンズ
２７…共焦点ピンホール
２８…回折格子
２９…ラインセンサ
３０…コンピュータ
３１…表示装置

Claims

使用する蛍光標識の発光スペクトルをコンピュータに登録するステップと、
測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルを前記コンピュータに記録するステップと、
前記分光画像から、スペクトラルデコンボリューション法を適用する画素を選択するステップと、
選択した前記各画素に対しスペクトラルデコンボリューションを用いて前記測定対象の発光スペクトルを前記蛍光標識の発光スペクトルに分解するステップと、
前記各蛍光標識の存在割合を決定するステップと、
からなることを特徴とするスペクトラルデコンボリューション法。
前記分光画像から、画素値を予め設定した閾値と比較することにより画素を選択するステップを含むことを特徴とする請求項１記載のスペクトラルデコンボリューション法。
前記閾値は、画素値のとり得る上限近傍の値であることを特徴とする請求項２記載のスペクトラルデコンボリューション法。
前記閾値は、画素値の飽和を示す値の近傍の値であることを特徴とする請求項３記載のスペクトラルデコンボリューション法。
前記閾値は、画素値のとりうる下限近傍の値であることを特徴とする請求項２記載のスペクトラルデコンボリューション法。
前記閾値は、信頼性ある画素値の上限近傍又は下限近傍の値であることを特徴とする請求項２記載のスペクトラルデコンボリューション法。
前記閾値は、画素値の線形性を示す範囲の上限近傍又は下限近傍の値であることを特徴とする請求項６記載のスペクトラルデコンボリューション法。
使用する蛍光標識の発光スペクトルをコンピュータに登録するステップと、
測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルを前記コンピュータに記録するステップと、
前記各画素に対しスペクトラルデコンボリューションを用いて前記測定対象の発光スペクトルを前記蛍光標識の発光スペクトルに分解するステップと、
前記各画素において、スペクトラルデコンボリューション法の計算結果の妥当性を判断するステップと、
計算結果の妥当性のある前記画素について、前記各蛍光標識の存在割合を決定するステップと、
からなることを特徴とするスペクトラルデコンボリューション法。
前記分光画像を前記蛍光標識の発光スペクトルに分解した後の残存誤差成分より、前記スペクトラルデコンボリューション法の計算結果の妥当性を各画素毎に判断することを特徴とする請求項８記載のスペクトラルデコンボリューション法。
使用する蛍光標識の発光スペクトルをコンピュータに登録するステップと、
測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルを前記コンピュータに記録するステップと、
前記分光画像の各画像から、スペクトラルデコンボリューション法を適用する画像を選択するステップと、
前記選択した分光画像に対してスペクトラルデコンボリューションを用いて前記測定対象の発光スペクトルを前記蛍光標識の発光スペクトルに分解するステップと、
前記各蛍光標識の存在割合を決定するステップと、
からなることを特徴とするスペクトラルデコンボリューション法。
前記分光画像から、画素値が予め設定された閾値で示される範囲から外れる画素の割合が少ない画像を選択することを特徴とする請求項１０記載のスペクトラルデコンボリューション法。
前記閾値は、画素値の飽和を示す値の近傍であることを特徴とする請求項１１記載のスペクトラルデコンボリューション法。
未知の固有発光スペクトルを持つの異なる複数の標識を含む測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルをコンピュータに記録するステップと、
前記分光画像の各画素よりスペクトラルブラインドデコンボリューション法に用いる画素を選択するステップと、
前記選択された画素に対してスペクトラルブラインドデコンボリューション法を用いて複数の固有スペクトルと前記分光画像の各画素における前記各固有スペクトル成分の存在割合を同時に求めるステップと、
前記測定対象内の前記各固有スペクトル成分の分布を決定するステップと、
からなることを特徴とするスペクトラルブラインドデコンボリューション法。
前記分光画像から、画素値を予め設定した閾値と比較することにより画素を選択するステップを含むことを特徴とする請求項１３記載のスペクトラルブラインドデコンボリューション法。
前記閾値は、画素値のとり得る上限近傍の値であることを特徴とする請求項１４記載のスペクトラルブラインドデコンボリューション法。
前記閾値は、前記閾値は、画素値の飽和を示す値の近傍の値であることを特徴とする請求項１５記載のスペクトラルブラインドデコンボリューション法。
前記閾値は、画素値のとりうる下限近傍の値であることを特徴とする請求項１４記載のスペクトラルブラインドデコンボリューション法。
前記閾値は、信頼性ある画素値の上限近傍又は下限近傍の値であることを特徴とする請求項１４記載のスペクトラルブラインドデコンボリューション法。
前記閾値は、画素値の線形性を示す範囲の上限近傍又は下限近傍の値であることを特徴とする請求項１８記載のスペクトラルブラインドデコンボリューション法。
選択する画素数に上限を設けることを特徴とする請求項１３から１９の何れか１項記載のスペクトラルブラインドデコンボリューション法。
未知の固有発光スペクトルを持つの異なる複数の標識を含む測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルをコンピュータに記録するステップと、
スペクトラルブラインドデコンボリューション法を用いて複数の固有スペクトルと前記分光画像の各画素における前記各固有スペクトル成分の存在割合を同時に求めるステップと、
前記各画素においてスペクトラルブラインドデコンボリューション法の計算結果の妥当性を判断するステップと、
計算結果の妥当性のある前記画素について、前記各固有スペクトル成分の存在割合を決定するステップと、
からなることを特徴とするスペクトラルブラインドデコンボリューション法。
前記分光画像を前記固有スペクトル成分に分解した後の残存誤差成分より、前記スペクトラルデブラインドコンボリューション法の計算結果の妥当性を前記各画素毎に判断することを特徴とする請求項２１記載のスペクトラルデコンボリューション法。
選択する画素数に上限を設けることを特徴とする請求項２１又は２２記載のスペクトラルブラインドデコンボリューション法。
未知の固有発光スペクトルを持つの異なる複数の標識を含む測定対象の分光画像を取得するステップと、
前記分光画像の各画素のスペクトルをコンピュータに記録するステップと、
前記分光画像の各画像よりスペクトラルブラインドデコンボリューション法に用いる画像を選択するステップと、
前記選択した分光画像に対してスペクトラルブラインドデコンボリューション法を用いて複数の固有スペクトルと前記分光画像の各画素における前記各固有スペクトル成分の存在割合を同時に求めるステップと、
前記測定対象内の前記各固有スペクトル成分の分布を決定するステップと、
からなることを特徴とするスペクトラルブラインドデコンボリューション法。
前記分光画像から、画素値が予め設定された閾値で示される範囲から外れる画素の割合が少ない画像を選択することを特徴とする請求項２４記載のスペクトラルブラインドデコンボリューション法。
前記閾値は、画素値の飽和を示す値の近傍であることを特徴とする請求項２５記載のスペクトラルブラインドデコンボリューション法。