JP2004286515A - Method for obtaining existence ratio of a plurality of natural spectrum constituents from spectral image - Google Patents

Method for obtaining existence ratio of a plurality of natural spectrum constituents from spectral image Download PDF

Info

Publication number
JP2004286515A
JP2004286515A JP2003077376A JP2003077376A JP2004286515A JP 2004286515 A JP2004286515 A JP 2004286515A JP 2003077376 A JP2003077376 A JP 2003077376A JP 2003077376 A JP2003077376 A JP 2003077376A JP 2004286515 A JP2004286515 A JP 2004286515A
Authority
JP
Japan
Prior art keywords
spectral
pixel
eigenspectral
image
spectral image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003077376A
Other languages
Japanese (ja)
Other versions
JP4037294B2 (en
Inventor
Shinichi Hayashi
林  真市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2003077376A priority Critical patent/JP4037294B2/en
Publication of JP2004286515A publication Critical patent/JP2004286515A/en
Application granted granted Critical
Publication of JP4037294B2 publication Critical patent/JP4037294B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for obtaining the existence ratio of a plurality of natural spectrum constituents from a spectral image by accurately obtaining the emission spectrum of each fluorescent label to be used for giving a spectral decomposition value having higher precision. <P>SOLUTION: The method comprises steps of: ST 102 for selecting a plurality of wavelenghs; ST104 for mapping the spectral intensity of a plurality of wavelengths in each pixel of the spectral image to a multidimensional spectral intensity space; ST105 for setting the spatial distribution of mapping by using a base line; ST106 for selecting a pixel mapped close to the base line; ST108 for estimating natural spectral constituents from spectral data obtained from the selected pixel; and ST109 for deconvoluting the spectral image by using the estimated spectral constituents. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、分光画像から複数の固有スペクトル成分の存在割合を求める方法に関し、特に、スペクトラルデコンボリューション法及びスペクトラルブラインドデコンボリューション法に関するものである。
【0002】
【従来の技術】
生体内の複数種類のタンパク分子の運動又は相互作用や、遺伝子の発現を観察するために、それぞれのタンパク分子や遺伝子RNAに、異なる蛍光標識を結合させて、同時に蛍光観察する手法が利用されている。蛍光標識としては、生体に対し毒性の低い、クラゲやサンゴの遺伝子から抽出された蛍光タンパクを用いることが多くなっている。蛍光タンパクには、よく使われるものでCFP(シアン色発色)、GFP(緑色発色)、YFP(黄色発色)、DsRed(赤色発色)等がある。
【0003】
ところが、図12(a)にこれら蛍光タンパクの励起波長と励起効率、図12(b)にこれら蛍光タンパクの発光波長と発光強度を示すように、蛍光タンパクの発光スペクトルはバンド幅が広くて、互いに重なり合っている。そのために、それぞれの蛍光タンパクの発光を、バンドパスフィルタやシャープカットフィルタ等の光学的フィルタのみを用いて完全に分離することはできない。
【0004】
そこで、スペクトラルデコンボリューションと呼ばれる手法を用いて、観測された測定対象の発光スペクトルをそれぞれの蛍光標識の発光スペクトルに分解することが行われる。特許文献1には、スペクトラルデコンボリューションを用いる場合の手順が簡単に説明されている。その手順は、図13に示すように、ステップ1で、使用する蛍光標識の発光スペクトルを求め、ステップ2で、各蛍光標識の発光スペクトルを計算機に登録し、ステップ3で、測定対象の発光スペクトルを計測し、ステップ4で、計測した測定対象の発光スペクトルをコンピュータに記録し、ステップ5で、デコンボリューションを用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解し、ステップ6で、各蛍光標識の存在割合を決定する、と言うものである。
【0005】
測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解するデコンボリューション法の数学的手順は、特許文献2や、非特許文献1、非特許文献2等に具体的に示されている。
【0006】
ここで、上記ステップ1において、各蛍光標識の発光スペクトルとして実際とは異なる値を用いると、スペクトラルデコンボリューションが誤った結果を与えることになる。したがって、各蛍光標識の発光スペクトルはできるだけ正確に求めておかなければならない。ステップ1において、使用する蛍光標識の発光スペクトルを決定するために、いくつかの方法が用いられている。その1つは、特許文献2に示されているように、使用する蛍光標識の発光スペクトルを、予め単独で計測して、その発光スペクトルを用いる方法である。他の1つは、非特許文献1に示されているように、測定対象の中で各蛍光標識が孤立している領域を観察して手動で選択して、その領域の発光スペクトルの計測値を用いる方法である。他の1つは、使用する蛍光標識のカタログ値を用いる方法である。
【0007】
ところで、従来のステップ1の方法には、以下に述べる不都合が存在する。すなわち、上述の方法で得られた蛍光標識の発光スペクトルが、測定対象に実際に含まれる蛍光標識の発光スペクトルと異なっているために、スペクトラルデコンボリューションが誤った結果を与える可能性がある。使用する蛍光標識の発光スペクトルを単独で計測した場合、その蛍光標識の周辺の温度、pH等の環境や励起光のスペクトル、褪色度等が、測定対象に含まれている蛍光標識に対するそれらと異なるために、不正確な発光スペクトルを設定してしまうことがある。また、測定対象中で各蛍光標識が孤立している領域を選択しても、実際には、他の蛍光標識が多少混ざっていたり、測定対象や測定装置の自家蛍光の影響で、蛍光標識の発光スペクトルが正確に求められないことがある。また、領域の選択のし方によっても、正しい発光スペクトルが得られないことがある。蛍光標識のカタログ値を用いる場合も、同様な理由で正しい発光スペクトルが得られないことがある。
【0008】
【特許文献1】
米国特許第6,403,332号明細書
【0009】
【特許文献2】
米国特許第6,025,601号明細書
【0010】
【特許文献3】
米国特許第5, 706, 402号明細書
【0011】
【非特許文献1】
M. Dickinson, et. al., ”Multi−Spectral Imaging and Linear Unmixing Add a Whole New Dimension to Laser Scanning Fluorescence Microscopy”, BioTechniques, Vol.31, No.6, pp.1272−1278 (2001)
【0012】
【非特許文献2】
河田聡, 「イメージングスペクトロスコピーによるパターン分析」, 光学,Vol.18, No.1,pp.8−14(1989)
【0013】
【発明が解決しようとする課題】
本発明は従来技術のこのような問題点に鑑みなされたものであり、その目的は、使用する各蛍光標識の発光スペクトルをより正確に求めることにより、スペクトラルデコンボリューションがより高精度な値を与えるようにして、分光画像から複数の固有スペクトル成分の存在割合を求める方法を提供することである。
【0014】
【課題を解決するための手段】
上記目的を達成する本発明の分光画像から複数の固有スペクトル成分の存在割合を求める方法は、複数の固有スペクトル成分が混在する分光画像から前記固有スペクトル成分を分離してその存在割合を求める方法において、複数の波長を選択するステップと、前記分光画像の各画素における前記複数の波長の分光強度を多次元の分光強度空間に写像するステップと、前記写像の空間分布を用いて基線を設定するステップと、前記基線近傍に写像された画素を選択するステップと、前記選択された画素より得られた分光データから前記固有スペクトル成分を推定するステップと、前記推定されたスペクトル成分を用いて前記分光画像をデコンボリューションするステップとを含むことを特徴とする。
【0015】
【発明の実施の形態】
本発明の実施の形態については、まず、上記の目的を達成することができる分光画像から複数の固有スペクトル成分の存在割合を求める方法の実施形態と、そのそれぞれの作用効果について説明する。そして、次に、それぞれの実施例を説明することにする。
【0016】
本発明の分光画像から複数の固有スペクトル成分の存在割合を求める方法は、複数の固有スペクトル成分が混在する分光画像から前記固有スペクトル成分を分離してその存在割合を求める方法において、複数の波長を選択するステップと、前記分光画像の各画素における前記複数の波長の分光強度を多次元の分光強度空間に写像するステップと、前記写像の空間分布を用いて基線を設定するステップと、前記基線近傍に写像された画素を選択するステップと、前記選択された画素より得られた分光データから前記固有スペクトル成分を推定するステップと、前記推定されたスペクトル成分を用いて前記分光画像をデコンボリューションするステップとを含むことことを特徴とする。
【0017】
本発明においては、分光画像の各画素における複数の波長の分光強度を、多次元の分光強度空間に写像し、その写像の空間分布から基線を設定し、基線近傍に写像された画素を選択することにより、各固有スペクトル成分が単独で存在すると思われる画素を容易かつ高精度に選択することができる。そのことを、使用する蛍光標識がA、Bの2種類の場合の例を用いて、以下に説明する。
【0018】
複数の波長を選択するステップにおいては、図1に示すように、使用する2種類の蛍光標識A、Bの発光スペクトルそれぞれのピーク近辺で、2つの波長W、Wを選択する。W、Wは、それぞれの蛍光標識A、Bに対して、その波長間の発光強度の強度比ができるだけ大きく、また、2つの蛍光標識A、Bでその強度比が逆転するような波長に設定することが好ましい。いま、波長Wにおける蛍光標識A、Bの発光強度をそれぞれS1A、S1Bとし、波長Wにおける蛍光標識A、Bの発光強度をそれぞれS2A、S2Bとする。ただし、これらは未知数である。
【0019】
次に、分光画像の各画素における複数の波長の分光強度を多次元の分光強度空間に写像するステップにおいては、図2に示すように、選択した2つの波長W、Wにおける強度を2つの軸とした分光強度空間上に、分光画像の各画素の強度を写像する。
【0020】
写像の空間分布を用いて基線を設定するステップにおいては、図2に示すような分光強度空間上で、原点を通り各画素の写像の分布に接して挟み込むような2つの基線A、Bを設定する。蛍光標識A又はBのみが存在する画素があれば、その画素は、基線A又はB上に存在する。なぜならば、ある画素に蛍光標識AとBが混在する場合、その画素のWの強度とWの強度の比は、必ずS1A:S2AとS1B:S2Bの間の数値になり、蛍光標識A又はBのみが存在する画素において、その強度比がS1A:S2A又はS1B:S2Bとなっているからである。つまり、基線A、Bは、強度比がそれぞれS1A:S2A、S1B:S2Bの直線を表している。
【0021】
基線近傍に写像された画素を選択するステップでは、図2に示すように、基線A、Bの近傍に選択領域A、Bを設定し、その領域中に写像された画素のいくつかを選択する。このとき、選択領域A、Bは、基線A、B近傍で比較強度の強い画素のみを選択するように設定する方が、分光画像計測において生じる様々なノイズの影響を受け難くなり好ましい。
【0022】
選択された画素より得られた分光データから固有スペクトル成分を推定するステップでは、選択領域A及びBの中に写像された画素における分光強度を用いて、蛍光標識A及びBの発光スペクトルを推定する。基線A及びB上に写像された画素には、蛍光標識A及びBのみが存在するため、その画素の強度分布は、蛍光標識A及びBの発光スペクトルに非常に近いと考えられるからである。
【0023】
推定されたスペクトル成分を用いて分光画像をデコンボリューションするステップでは、選択領域A及びBの中に写像された画素における分光強度を用いて推定された蛍光標識A及びBの発光スペクトルの推定値を用いて、分光画像のデコンボリューションを行う。
【0024】
なお、3種類の蛍光標識を用いる場合は、図3に示すように、3つの波長W、W、Wを選択し、図4に示すように、3次元の分光強度空間内に各画素の強度を写像する。そして、上で説明したのと同様に、3本の基線A、B、Cを設定し、それぞれの基線近傍に写像された画素を選択して、蛍光標識A、B、Cの発光スペクトルを推定する。さらに多く種類の蛍光標識を用いる場合も、多次元の分光強度空間を用いて同様に行うことができることは、ここに説明するまでもない。
【0025】
このように、本発明の分光画像から複数の固有スペクトル成分の存在割合を求める方法を用いれば、推定された蛍光標識A、Bの発光スペクトルが、実際の発光スペクトルに非常に近いと推定されるため、より高精度なスペクトラルデコンボリューション結果を得ることができるメリットがある。
【0026】
さらに、本発明の分光画像から複数の固有スペクトル成分の存在割合を求める方法では、基線A、B上の画素を略機械的に選択することができるので、再現性が良く、信頼のおけるスペクトラルデコンボリューション結果を得ることができるメリットがある。
【0027】
ここで、スペクトラルデコンボリューションを簡単に説明しておく。測定対象の座標xの各画素における発光スペクトルの波長λにおける分光強度Iλ,x(λ、xはIの下付き文字とする。)を2次元行列[I]で表し、k番目の固有スペクトル成分の波長λにおける分光強度Sλ,k(λ、kはSの下付き文字とする。)を2次元行列[S]で表し、各画素における各固有スペクトル成分の濃度Ck,x(k,xはCの下付き文字とする。)を2次元行列[C]で表した場合、図5に示すように、次の行列方程式が成立する。なお、図5中の“M”、“Λ”、“O”は部分行列である。
【0028】
[S][C]=[I] ・・・(1)
(1)式の行列方程式において、[S]と[I]は既知であり、[C]が未知である場合に、[C]を求める方法をスペクトラルデコンボリューションと呼ぶ。非特許文献2の解説記事に説明してあるように、最小自乗法を用いて、以下の式により[C]を求めることができる。
【0029】
[C]=([S][S])−1[S][I] ・・・(2)
特に、画素数と固有スペクトル成分の数が等しい場合は、[S]が正方行列であるため、
[C]=[S]−1[I] ・・・(3)
より[C]を求めることができる。
【0030】
本発明の好適1実施形態においては、前記選択された画素の分光データの平均値を用いて、前記固有スペクトル成分を推定することを特徴とする。
【0031】
本実施形態においては、選択された画素の分光データの平均値をとることにより、各画素の分光データに含まれるランダムノイズの影響を低減させて、精度の良いスペクトラルデコンボリューション結果を得ることができるメリットがある。
【0032】
本発明の好適1実施形態においては、前記選択された画素の分光データのモード値を用いて、前記固有スペクトル成分を推定することを特徴とする。
【0033】
本実施形態においては、選択された画素の分光データのモード値(頻度の最も大きな分光データの値)をとることにより、各画素の分光データに含まれるショットキー型ノイズの影響を低減させて、精度の良いスペクトラルデコンボリューション結果を得ることができるメリットがある。
【0034】
また、本発明の好適1実施形態においては、前記推定されたスペクトル成分を用いて前記分光画像をデコンボリューションするステップの後に、前記固有スペクトルの推定の初期値を用いて、前記分光画像のブラインドデコンボリューションをするステップを含むことを特徴とする。
【0035】
ブラインドデコンボリューション法は、前出のデコンボリューションと異なり、固有スペクトル成分が未知あるいは未確定の場合に、固有スペクトルも同時に求めることができる。ただし、与える固有スペクトルの推定の初期値によって、計算における収束性や計算時間が影響を受ける。したがって、固有スペクトルの推定の初期値には、できるだけ真の値に近い値を設定することが望ましい。その数学的手順の説明は、特許文献3に具体的に示されている。
【0036】
本発明においては、分光画像の各画素における複数の波長の分光強度を、多次元の分光強度空間に写像し、その写像の空間分布から基線を設定し、基線近傍に写像された画素を選択し、選択された画素より得られた分光データから固有スペクトル成分の推定の初期値を設定することにより、固有スペクトル成分の推定値の初期値がかなり高い精度で真の固有スペクトル成分に近いため、その後のブラインドデコンボリューションの計算が速く収束し、かつ、より精度の高い計算結果を得ることができるメリットがある。
【0037】
なお、推定された固有スペクトル成分と、デコンボリューションの計算結果を初期値として、分光画像のブラインドデコンボリューションをするようにしてもよい。
【0038】
この場合は、計算時間のかかるブラインドデコンボリューションを行う前に、計算時間の比較的かからないデコンボリューションを行って、ブラインドデコンボリューションに対して精度の良い初期値を与えることができるようにしているので、初めからブラインドデコンボリューションを行う場合に比較して、計算にかかる時間を短縮することができるメリットがある。
【0039】
ここで、スペクトラルブラインドデコンボリューションを簡単に説明しておく。前記の(1)式において、[S]も[C]も未知であり[I]のみが既知である場合に、[S]と[C]を同時に求める方法を、スペクトラルブラインドデコンボリューションと呼ぶことにする。スペクトラルブラインドデコンボリューションには、種々手法が提案されているが、ここでは、最も簡単な解法の1つとして、[C]と[S]の非負拘束条件を利用した反復計算法を、図6のフローチャートを用いて説明する。
【0040】
初めに、繰返し補助変数nを0に設定する(ステップ301)。次に、[C]と[S]の推定の初期値[C]と[S]を設定する(ステップ302)。次に、補助変数nを1つ増やす(ステップ303)。次に、式(1)からの類推で求まる漸化式、
[C]=([Sn−1 [Sn−1 ])−1[Sn−1 [I]・・・(4)
を用いて、[C]を更新する(ステップ304) 。次に、[C]の非負拘束条件に基づいて、[C]の負の要素を全て0に置き換える(ステップ305)。次に、式(1)からの類推で求まる漸化式、
[S]=[I][C([C][C−1 ・・・(5)
を用いて、[S]を更新する(ステップ306)。次に、[S]の非負拘束条件に基づいて、[S]の負の要素を全て0に置き換える(ステップ307)。次に、[S]を最大値が1となるように正規化する(ステップ308)。もし、[C]と[Cn−1 ]の各要素の差の絶対値が、[C]の収束判定用係数 epsCよりも小さくなり、かつ[S]と[Sn−1 ]の各要素の差の絶対値が、[S]の収束判定用係数 epsSよりも小さくなれば、計算が収束したとして、そこで計算を打ち切り終了する(ステップ309)。次に、[C]と[Cn−1 ]の各要素の差の絶対値が[Cn−1 ]と[Cn−2 ]の各要素の差の絶対値より小さく、かつ[S]と[Sn−1 ]の各要素の差の絶対値が[Sn−1 ]と[Sn−2 ]の各要素の差の絶対値より小さい場合は、計算が収束に向かっていると判断して、ステップ303からステップ308を繰り返し、そうでなければ、計算が発散したとして、ステップ301に戻って、[C]と[S]の推定の初期値[C]と[S]を再設定して、初めから計算をやり直す(ステップ310)。
【0041】
この反復計算法は、計算が収束すれば妥当な結果を与えるが、初めに与える[C]と[S]の推定の初期値[C]と[S]が不適当である場合は発散する。また、計算が収束する速度も、[C]と[S]により大きく影響を受ける。
【0042】
したがって、[C]と[S]の値はできるだけ真の値に近いものを設定することが、計算効率上好ましい。
【0043】
以下に、図面を用いて、本発明の分光画像から複数の固有スペクトル成分の存在割合を求める方法の実施例について説明する。
【0044】
本発明による第1実施例の蛍光顕微鏡の構成は、図7に示すように、光源1と、照明光学系2と、励起フィルタ3と、ダイクロイックミラー4と、対物レンズ5と、阻止フィルタ6と、結像レンズ7と、回転可能で複数の透過波長帯域の異なるフィルタからなるフィルタホイール8と、CCDカメラ9と、コンピュータ10と、表示装置11からなる。光源1は照明光を発生し、照明光学系2は照明光を集光し、励起フィルタ3は照明光から標本の蛍光標識を励起する励起光成分のみを透過し、ダイクロイックミラー4は励起光を反射して対物レンズ5の開口に導き、対物レンズ5は標本面上に励起光を集光する。標本Oでは蛍光標識により蛍光が発せられ、対物レンズ5は蛍光を集光し、ダイクロイックミラー4は蛍光を透過し、結像レンズ7は標本Oの拡大像をCCDカメラ9の撮像面上に形成する。フィルタホイール8は、電気的に接続されたコンピュータ10から制御され、CCDカメラ9で撮像する蛍光画像の波長帯域を選択する。コンピュータ10は、フィルタホイール8を回転させながら、波長帯域の異なる複数の蛍光画像をCCDカメラ9から取り込み、標本Oの分光画像を作成する。さらに、コンピュータ10は、本発明によるスペクトラルデコンボリューション法に基づいて、標本O内の各蛍光標識の空間分布を算出し、コンピュータ10に電気的に接続された表示装置11にその空間分布を表示する。阻止フィルタ6は、光学系内での反射、散乱による励起光の蛍光画像への混入を防ぐ目的で、ダイクロイックミラー4の後方に挿入されている。
【0045】
本実施例の分光画像から複数の固有スペクトル成分の存在割合を求める方法の手順は、図8に示すように、フィルタホイール8を回転させながら、波長帯域の異なる複数の蛍光画像をコンピュータ10に取り込むことにより、標本Oの分光画像を作成し(ステップ101)、標本Oに含まれる蛍光標識の種類の数と同じ波長帯域を選択し(ステップ102)、選択した波長帯域を軸にして分光強度空間を作成し(ステップ103)、各波長帯域における分光画像各画素の値を分光強度空間にプロットし(ステップ104)、分光強度空間における各画素の分布から基線を求め(ステップ105)、基線近傍にある画素を選択し(ステップ106)、同一の基線上にある選択した画素の分光強度を平均し(ステップ107)、各基線上の画素の分光強度の平均値を各蛍光標識の発光スペクトルに設定し(ステップ108)、デコンボリューション法を用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解し(ステップ109)、各蛍光標識の存在割合を決定し(ステップ110)、各蛍光標識の空間分布を表示装置11に表示する(ステップ111)。
【0046】
このように、本実施例においては、標本Oの分光画像から各蛍光標識の発光スペクトルを直接求めることができるので、蛍光標識の発光スペクトルを予め登録しておく必要がない。また、本実施例においては、蛍光標識の発光スペクトルが全く未知の場合においても精度の高いスペクトラルデコンボリューション結果を得ることができる。また、本実施例においては、各蛍光標識の発光スペクトルを機械的に設定することができるので、各蛍光標識が孤立している領域を手動で選択して、その画素の分光強度を各蛍光標識の発光スペクトルに設定する従来の方法と比較して、再現性が高く信頼性の高いスペクトラルデコンボリューション結果を得ることができる。
【0047】
本発明による第2実施例のレーザ顕微鏡の構成は、図9に示すように、レーザ光源21と、コリメートレンズ22と、ダイクロイックミラー23、一対のガルバノミラー24と、対物レンズ25と、結像レンズ26と、共焦点ピンホール27と、回折格子28と、ラインセンサ29と、コンピュータ30と、表示装置31からなる。レーザ光源21は励起光を発生し、コリメートレンズ22は励起光を平行光線にし、ダイクロイックミラー23は励起光を反射して対物レンズ25に導き、対物レンズ25は標本O上に励起光のスポットを形成する。ダイクロイックミラー23と対物レンズ25の間に挿入された一対のガルバノミラー24は、励起光の光線角度を振ることで、標本O上の励起光のスポットを2次元的に走査する。標本O内の蛍光標識に励起光が照射されることにより蛍光が発生し、対物レンズ25は蛍光を集光し、ガルバノミラー24は蛍光をダイクロイックミラー23に導き、ダイクロイックミラー23は蛍光を透過し、結像レンズ26は共焦点ピンホール27上に標本Oの拡大像を投影し、共焦点ピンホール27は標本Oの共焦点画像成分を抽出する。共焦点ピンホール27とラインセンサ29の中心に焦点位置を持つ曲面形状をしたの回折格子28は、共焦点ピンホール27を透過した蛍光の分光強度の像をラインセンサ29上に投影する。ガルバノミラー24及びラインセンサ29と電気的に接続されたコンピュータ30は、ガルバノミラー24を走査しながらラインセンサ29からの信号を入力することにより、共焦点分光蛍光画像を作成する。さらに、コンピュータ30は本発明によるスペクトラルブラインドデコンボリューション法に基づき、標本O内における蛍光標識の3次元空間分布を算出し、電気的に接続された表示装置31にその結果を表示する。
【0048】
本実施例のスペクトラルブラインドデコンボリューションの手順は、図10と図11に示すように、ガルバノミラー24でスキャンしながらラインセンサ29からの分光強度信号を入力することにより分光画像を作成し(ステップ201)、複数の波長帯域を選択し(ステップ202)、選択した波長帯域を軸にして分光強度空間を作成し(ステップ203)、各波長帯域における分光画像各画素の値を分光強度空間にプロットし(ステップ204)、分光強度空間における各画素の分布から基線を求め(ステップ205)、各基線が相互に十分離れているかを判定し(ステップ206)、各基線が十分離れていないと判定された場合は、波長帯域の選択が不適切と判断し、ステップ202まで戻り、波長帯域の選択をやり直す。各基線が十分離れていると判断されると、基線近傍にある画素を選択し(ステップ207)、同一の基線上にある選択した画素の分光強度を平均し(ステップ208)、各基線上の画素の分光強度の平均値を各蛍光標識の発光スペクトルに設定し(ステップ209)、デコンボリューション法を用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解する(ステップ210)。
【0049】
次いで、ブラインドデコンボリューション法を行うか否かを判断し(ステップ211)、行うと判断した場合は、各基線上の画素の分光強度の平均値を各蛍光標識の発光スペクトルの推定の初期値に設定し(ステップ212)、ブラインドデコンボリューション法を用いて測定対象の発光スペクトルを蛍光標識の発光スペクトルに分解し(ステップ213)、各蛍光標識の存在割合を決定し(ステップ214)、各蛍光標識の空間分布を表示装置に表示する(ステップ215)。また、ステップ211でブラインドデコンボリューション法を行う必要がないと判断された場合は、ステップ212とステップ213を省略する。
【0050】
ここで、ステップ211でブラインドデコンボリューションを行う判断基準は、ステップ207において、基線近傍に余り画素が存在していない場合、又は、標本Oの自家蛍光が強い等、選択した画素の分光強度が実際の蛍光標識の発光スペクトルと良い一致を示さないと予想される場合は、ブラインドデコンボリューションを行うことが、計算精度上好ましい。その一方、基線上で選択した画素が、蛍光標識の正しい蛍光スペクトルを与えていると判断される場合は、ブラインドデコンボリューションを省略し、計算時間を短縮することができる。
【0051】
このように、本実施例においては、基線の空間的な離れ方を判断基準にして波長帯域の選択の適切性を判断するようにしたため、より信頼度のおける各蛍光標識の発光スペクトルの設定が可能となる。さらに、本実施例においては、ブラインドデコンボリューションを行うことができるので、設定した各蛍光標識の発光スペクトルがノイズ等の影響を受けて不正確である場合にも、高精度な計算結果を得ることができる。さらに、本実施例においては、デコンボリューションを行った後にブラインドデコンボリューションを行うか選択することができるので、必要のない場合は、時間のかかるブラインドデコンボリューションの計算を省略して、効率良く計算結果を得ることができる。
【0052】
以上、本発明の分光画像から複数の固有スペクトル成分の存在割合を求める方法を実施例に基づいて説明してきたが、本発明はこれら実施例に限定されず種々の変形が可能である。
【0053】
【発明の効果】
以上の説明から明らかなように、本発明の分光画像から複数の固有スペクトル成分の存在割合を求める方法を用いると、推定された蛍光標識の発光スペクトルが実際の発光スペクトルに非常に近いと推定されるため、より高精度なスペクトラルデコンボリューション結果を得ることができるメリットがある。さらに、本発明においては、基線上の画素を略機械的に選択することができるので、再現性が良く、信頼のおけるスペクトラルデコンボリューション結果を得ることができるメリットがある。さらに、スペクトラルブラインドデコンボリューション法を用いる場合は、固有スペクトル成分の推定値の初期値がかなり高い精度で真の固有スペクトル成分に近いために、その後のブラインドデコンボリューションの計算が速く収束し、かつ、より精度の高い計算結果を得ることができるメリットがある。
【図面の簡単な説明】
【図1】本発明において2種類の蛍光標識を用いる場合に2つの波長を選択する方法を説明するための図である。
【図2】分光強度空間における各画素の強度の写像を説明するための図である。
【図3】3種類の蛍光標識を用いる場合に3つの波長を選択する方法を説明するための図である。
【図4】3種類の蛍光標識を用いる場合の分光強度空間を示す図である。
【図5】スペクトラルデコンボリューションを表す式(1)を示す図である。
【図6】スペクトラルブラインドデコンボリューションに用いる反復計算法を説明するためのフローチャートである。
【図7】本発明による第1実施例の蛍光顕微鏡の構成を示す図である。
【図8】本発明による第1実施例の方法の手順を示すフローチャートである。
【図9】本発明による第2実施例のレーザ顕微鏡の構成を示す図である。
【図10】本発明による第2実施例の方法の手順を示すフローチャートの前半部である。
【図11】本発明による第2実施例の方法の手順を示すフローチャートの後半部である。
【図12】代表的な蛍光タンパクの励起波長と励起効率、発光波長と発光強度を示す図である。
【図13】従来のスペクトラルデコンボリューションを用いる場合の手順を示すフローチャートである。
【符号の説明】
O…標本
1…光源
2…照明光学系
3…励起フィルタ
4…ダイクロイックミラー
5…対物レンズ
6…阻止フィルタ
7…結像レンズ
8…フィルタホイール
9…CCDカメラ
10…コンピュータ
11…表示装置
21…レーザ光源
22…コリメートレンズ
23…ダイクロイックミラー
24…一対のガルバノミラー
25…対物レンズ
26…結像レンズ
27…共焦点ピンホール
28…回折格子
29…ラインセンサ
30…コンピュータ
31…表示装置
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method for determining the existence ratio of a plurality of eigenspectral components from a spectral image, and more particularly to a spectral deconvolution method and a spectral blind deconvolution method.
[0002]
[Prior art]
In order to observe the movement or interaction of multiple types of protein molecules in the living body and the expression of genes, a method is used in which different fluorescent labels are bound to each protein molecule or gene RNA and simultaneously observed with fluorescence. Yes. As fluorescent labels, fluorescent proteins extracted from jellyfish and coral genes, which are less toxic to living organisms, are increasingly used. Commonly used fluorescent proteins include CFP (cyan color development), GFP (green color development), YFP (yellow color development), and DsRed (red color development).
[0003]
However, as shown in FIG. 12A, the excitation wavelength and excitation efficiency of these fluorescent proteins, and in FIG. 12B, the emission wavelength and emission intensity of these fluorescent proteins, the emission spectrum of the fluorescent proteins has a wide bandwidth. They overlap each other. For this reason, the luminescence of each fluorescent protein cannot be completely separated using only an optical filter such as a bandpass filter or a sharp cut filter.
[0004]
Thus, using a technique called spectral deconvolution, the observed emission spectrum of the measurement object is decomposed into the emission spectra of the respective fluorescent labels. Japanese Patent Application Laid-Open No. 2004-228561 briefly describes the procedure in the case of using spectral deconvolution. As shown in FIG. 13, in step 1, the emission spectrum of the fluorescent label to be used is obtained in step 1, the emission spectrum of each fluorescent label is registered in the computer in step 2, and the emission spectrum of the measurement target is obtained in step 3. In step 4, the measured emission spectrum of the measurement object is recorded in a computer. In step 5, the emission spectrum of the measurement object is decomposed into the emission spectrum of the fluorescent label using deconvolution. It is said that the abundance ratio of the fluorescent label is determined.
[0005]
The mathematical procedure of the deconvolution method for decomposing the emission spectrum of the measurement target into the emission spectrum of the fluorescent label is specifically shown in Patent Document 2, Non-Patent Document 1, Non-Patent Document 2, and the like.
[0006]
Here, if a value different from the actual value is used as the emission spectrum of each fluorescent label in Step 1, the spectral deconvolution gives an incorrect result. Therefore, the emission spectrum of each fluorescent label must be determined as accurately as possible. In step 1, several methods are used to determine the emission spectrum of the fluorescent label used. One of them is a method in which an emission spectrum of a fluorescent label to be used is separately measured in advance and used as shown in Patent Document 2. The other one is, as shown in Non-Patent Document 1, by observing a region where each fluorescent label is isolated in a measurement object and manually selecting it, and measuring the emission spectrum of that region. It is a method using. The other is a method using the catalog value of the fluorescent label to be used.
[0007]
Incidentally, the conventional method of Step 1 has the following disadvantages. That is, since the emission spectrum of the fluorescent label obtained by the above-described method is different from the emission spectrum of the fluorescent label actually included in the measurement target, the spectral deconvolution may give an erroneous result. When the emission spectrum of the fluorescent label used is measured alone, the ambient temperature such as the fluorescent label, the environment such as pH, the spectrum of excitation light, the color fading, etc. are different from those for the fluorescent label included in the measurement target. Therefore, an incorrect emission spectrum may be set. In addition, even if you select an area in the measurement target where each fluorescent label is isolated, in practice, other fluorescent labels are mixed to some extent, or due to the influence of the autofluorescence of the measurement target and measurement device, The emission spectrum may not be obtained accurately. Also, a correct emission spectrum may not be obtained depending on how the region is selected. Even when the catalog value of the fluorescent label is used, a correct emission spectrum may not be obtained for the same reason.
[0008]
[Patent Document 1]
US Pat. No. 6,403,332
[0009]
[Patent Document 2]
US Pat. No. 6,025,601
[0010]
[Patent Document 3]
US Pat. No. 5,706,402
[0011]
[Non-Patent Document 1]
M.M. Dickinson, et. al. , "Multi-Spectral Imaging and Linear Unmixing Add a Whole New Dimension to Laser Scanning Fluorescence Microscopy", BioTechniques, Vol. 31, no. 6, pp. 1272-1278 (2001)
[0012]
[Non-Patent Document 2]
Satoshi Kawada, “Pattern Analysis by Imaging Spectroscopy”, Optics, Vol. 18, no. 1, pp. 8-14 (1989)
[0013]
[Problems to be solved by the invention]
The present invention has been made in view of such problems of the prior art, and its purpose is to obtain more accurate values of spectral deconvolution by more accurately determining the emission spectrum of each fluorescent label used. Thus, it is to provide a method for obtaining the existence ratio of a plurality of intrinsic spectral components from a spectral image.
[0014]
[Means for Solving the Problems]
The method for obtaining the existence ratio of a plurality of eigenspectral components from the spectral image of the present invention that achieves the above object is a method for obtaining the existence ratio by separating the eigenspectral components from a spectral image in which a plurality of eigenspectral components are mixed. A step of selecting a plurality of wavelengths, a step of mapping the spectral intensities of the plurality of wavelengths in each pixel of the spectral image into a multidimensional spectral intensity space, and a step of setting a baseline using the spatial distribution of the mapping Selecting a pixel mapped in the vicinity of the baseline, estimating the intrinsic spectral component from spectral data obtained from the selected pixel, and using the estimated spectral component, the spectral image. Deconvolution.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
As for the embodiment of the present invention, first, an embodiment of a method for obtaining the existence ratio of a plurality of eigenspectral components from a spectral image that can achieve the above-described object and the operation effects thereof will be described. Next, each example will be described.
[0016]
The method for obtaining the existence ratio of a plurality of eigenspectral components from the spectral image of the present invention is a method for separating the eigenspectral component from a spectral image in which a plurality of eigenspectral components are mixed and obtaining the existence ratio. Selecting, mapping the spectral intensities of the plurality of wavelengths in each pixel of the spectral image to a multidimensional spectral intensity space, setting a baseline using the spatial distribution of the mapping, and the vicinity of the baseline Selecting a pixel mapped onto the selected pixel, estimating the intrinsic spectral component from spectral data obtained from the selected pixel, and deconvolving the spectral image using the estimated spectral component It is characterized by including.
[0017]
In the present invention, spectral intensities at a plurality of wavelengths in each pixel of the spectral image are mapped to a multidimensional spectral intensity space, a base line is set from the spatial distribution of the mapping, and a pixel mapped in the vicinity of the base line is selected. This makes it possible to easily and accurately select a pixel in which each unique spectral component is considered to exist alone. This will be described below using an example in which two types of fluorescent labels A and B are used.
[0018]
In the step of selecting a plurality of wavelengths, as shown in FIG. 1, there are two wavelengths W near the peaks of the emission spectra of the two types of fluorescent labels A and B used. 1 , W 2 Select. W 1 , W 2 Can be set to a wavelength such that the intensity ratio of the emission intensity between the wavelengths is as large as possible for each of the fluorescent labels A and B, and the intensity ratio is reversed between the two fluorescent labels A and B. preferable. Now, wavelength W 1 Luminescence intensity of fluorescent labels A and B in S 1A , S 1B And wavelength W 2 Luminescence intensity of fluorescent labels A and B in S 2A , S 2B And However, these are unknown numbers.
[0019]
Next, in the step of mapping the spectral intensities of a plurality of wavelengths in each pixel of the spectral image into a multi-dimensional spectral intensity space, as shown in FIG. 1 , W 2 The intensity of each pixel of the spectral image is mapped onto the spectral intensity space with the intensity at 2 as two axes.
[0020]
In the step of setting the baseline using the spatial distribution of the mapping, two baselines A and B are set in the spectral intensity space as shown in FIG. 2 so as to be sandwiched in contact with the mapping distribution of each pixel through the origin. To do. If there is a pixel in which only the fluorescent label A or B is present, the pixel is on the base line A or B. This is because when a fluorescent label A and B are mixed in a certain pixel, the W of that pixel 1 Strength and W 2 The strength ratio is always S 1A : S 2A And S 1B : S 2B In the pixel where only the fluorescent label A or B exists, the intensity ratio is S 1A : S 2A Or S 1B : S 2B Because it is. That is, the base lines A and B have an intensity ratio of S 1A : S 2A , S 1B : S 2B Represents a straight line.
[0021]
In the step of selecting pixels mapped in the vicinity of the base line, as shown in FIG. 2, selection areas A and B are set in the vicinity of the base lines A and B, and some of the pixels mapped in the areas are selected. . At this time, it is preferable that the selection areas A and B are set so as to select only pixels having a high comparison intensity in the vicinity of the base lines A and B, because they are less susceptible to various noises generated in the spectral image measurement.
[0022]
In the step of estimating the intrinsic spectral component from the spectral data obtained from the selected pixel, the emission spectra of the fluorescent labels A and B are estimated using the spectral intensities at the pixels mapped in the selected areas A and B. . This is because only the fluorescent labels A and B exist in the pixels mapped on the base lines A and B, so that the intensity distribution of the pixels is considered to be very close to the emission spectra of the fluorescent labels A and B.
[0023]
In the step of deconvolution of the spectral image using the estimated spectral components, the estimated values of the emission spectra of the fluorescent labels A and B estimated using the spectral intensities at the pixels mapped in the selected regions A and B are obtained. To deconvolve spectral images.
[0024]
When three types of fluorescent labels are used, as shown in FIG. 1 , W 2 , W 3 Is selected, and the intensity of each pixel is mapped in a three-dimensional spectral intensity space, as shown in FIG. Then, as described above, three baselines A, B, and C are set, pixels mapped in the vicinity of the respective baselines are selected, and the emission spectra of the fluorescent labels A, B, and C are estimated. To do. It goes without saying that even when many types of fluorescent labels are used, the same can be done using a multidimensional spectral intensity space.
[0025]
As described above, when the method for determining the existence ratio of a plurality of intrinsic spectral components from the spectral image of the present invention is used, the estimated emission spectra of the fluorescent labels A and B are estimated to be very close to the actual emission spectrum. Therefore, there is an advantage that a more accurate spectral deconvolution result can be obtained.
[0026]
Furthermore, in the method for determining the existence ratio of a plurality of eigenspectral components from the spectral image of the present invention, the pixels on the base lines A and B can be substantially mechanically selected. There is an advantage that the result of the volume can be obtained.
[0027]
Here, the spectral deconvolution will be briefly described. Measurement target coordinate x i Wavelength λ of the emission spectrum in each pixel of j Spectral intensity Iλ j , X ij , X i Is a subscript of I. ) With a two-dimensional matrix [I], and the wavelength λ of the kth eigenspectral component j Spectral intensity at Sλ j , K (λ j , K are subscripts of S. ) By a two-dimensional matrix [S], and the density Ck, x of each intrinsic spectral component in each pixel i (K, x i Is a subscript of C. ) Is represented by a two-dimensional matrix [C], the following matrix equation is established as shown in FIG. Note that “M”, “Λ”, and “O” in FIG. 5 are submatrices.
[0028]
[S] [C] = [I] (1)
In the matrix equation (1), when [S] and [I] are known and [C] is unknown, the method for obtaining [C] is called spectral deconvolution. [C] can be obtained by the following equation using the method of least squares, as described in the explanatory article of Non-Patent Document 2.
[0029]
[C] = ([S] t [S]) -1 [S] t [I] (2)
In particular, when the number of pixels and the number of eigenspectral components are equal, [S] is a square matrix.
[C] = [S] -1 [I] (3)
[C] can be obtained.
[0030]
In a preferred embodiment of the present invention, the characteristic spectrum component is estimated using an average value of spectral data of the selected pixel.
[0031]
In the present embodiment, by taking the average value of the spectral data of the selected pixel, the influence of random noise included in the spectral data of each pixel can be reduced, and an accurate spectral deconvolution result can be obtained. There are benefits.
[0032]
In a preferred embodiment of the present invention, the characteristic spectral component is estimated using a mode value of spectral data of the selected pixel.
[0033]
In this embodiment, by taking the mode value (spectral data value with the highest frequency) of the spectral data of the selected pixel, the influence of Schottky noise included in the spectral data of each pixel is reduced, There is a merit that an accurate spectral deconvolution result can be obtained.
[0034]
Also, in a preferred embodiment of the present invention, after the step of deconvolution of the spectral image using the estimated spectral component, a blind deconvolution of the spectral image is performed using an initial value of the eigenspectrum estimation. The method includes a step of volume.
[0035]
In the blind deconvolution method, unlike the above-described deconvolution, the eigen spectrum can be obtained simultaneously when the eigen spectrum component is unknown or uncertain. However, the convergence value and calculation time in the calculation are affected by the initial value of the estimated intrinsic spectrum. Therefore, it is desirable to set a value that is as close to a true value as possible to the initial value of eigenspectrum estimation. The mathematical procedure is specifically described in Patent Document 3.
[0036]
In the present invention, the spectral intensities of a plurality of wavelengths in each pixel of the spectral image are mapped to a multidimensional spectral intensity space, a baseline is set from the spatial distribution of the mapping, and a pixel mapped in the vicinity of the baseline is selected. By setting the initial value of the eigenspectral component estimate from the spectroscopic data obtained from the selected pixel, the initial value of the eigenspectral component estimate is close to the true eigenspectral component with fairly high accuracy. There is an advantage that the calculation of the blind deconvolution can be quickly converged and a calculation result with higher accuracy can be obtained.
[0037]
In addition, you may make it perform blind deconvolution of a spectral image by using the estimated characteristic spectrum component and the calculation result of deconvolution as an initial value.
[0038]
In this case, before performing blind deconvolution that requires calculation time, deconvolution that does not require a relatively long calculation time is performed so that an accurate initial value can be given to blind deconvolution. Compared to the case where blind deconvolution is performed from the beginning, there is an advantage that the time required for calculation can be shortened.
[0039]
Here, the spectral blind deconvolution will be briefly described. In the above equation (1), when both [S] and [C] are unknown and only [I] is known, the method of obtaining [S] and [C] simultaneously is called spectral blind deconvolution. To. Various methods have been proposed for spectral blind deconvolution. Here, as one of the simplest solutions, an iterative calculation method using non-negative constraint conditions of [C] and [S] is shown in FIG. This will be described with reference to a flowchart.
[0040]
First, the repetition auxiliary variable n is set to 0 (step 301). Next, initial values [C] and [S] are estimated. 0 ] And [S 0 ] Is set (step 302). Next, the auxiliary variable n is increased by 1 (step 303). Next, a recurrence formula obtained by analogy from equation (1),
[C n ] = ([S n-1 ] t [S n-1 ]) -1 [S n-1 ] t [I] ... (4)
Using [C n ] Is updated (step 304). Next, based on the non-negative constraint condition of [C], [C n ] Are all replaced with 0 (step 305). Next, a recurrence formula obtained by analogy from equation (1),
[S n ] = [I] [C n ] t ([C n ] [C n ] t ) -1 ... (5)
Using [S n ] Is updated (step 306). Next, based on the non-negative constraint condition of [S], [S n ] Are all replaced with 0 (step 307). Next, [S n ] Is normalized so that the maximum value is 1 (step 308). If [C n ] And [C n-1 ], The absolute value of the difference between each element is [C n ] Is smaller than the convergence determination coefficient epsC and [S n ] And [S n-1 ] Is the absolute value of the difference between each element of [S n If the value is smaller than the convergence determination coefficient epsS, the calculation is terminated and the calculation is terminated (step 309). Next, [C n ] And [C n-1 ] The absolute value of the difference between each element is [C n-1 ] And [C n-2 ] Is smaller than the absolute value of the difference between the elements and [S n ] And [S n-1 ], The absolute value of the difference between each element is [S n-1 ] And [S n-2 ] Is smaller than the absolute value of the difference between each element, it is determined that the calculation is toward convergence, and step 303 to step 308 are repeated. Otherwise, it is determined that the calculation has diverged and the process returns to step 301. , [C] and [S] estimation initial values [C 0 ] And [S 0 ] Is reset, and the calculation is restarted from the beginning (step 310).
[0041]
This iterative calculation method gives a reasonable result when the calculation converges, but initially [C] and [S] estimation initial values [C] 0 ] And [S 0 ] Diverges when it is inappropriate. In addition, the speed at which the calculation converges is also [C 0 ] And [S 0 ] Greatly affected.
[0042]
Therefore, [C 0 ] And [S 0 ] Is preferably set as close to the true value as possible in terms of calculation efficiency.
[0043]
Hereinafter, an embodiment of a method for obtaining the existence ratio of a plurality of eigenspectral components from a spectral image of the present invention will be described with reference to the drawings.
[0044]
As shown in FIG. 7, the configuration of the fluorescence microscope of the first embodiment according to the present invention includes a light source 1, an illumination optical system 2, an excitation filter 3, a dichroic mirror 4, an objective lens 5, and a blocking filter 6. The imaging lens 7, a rotatable filter wheel 8 made up of a plurality of filters having different transmission wavelength bands, a CCD camera 9, a computer 10, and a display device 11. The light source 1 generates illumination light, the illumination optical system 2 condenses the illumination light, the excitation filter 3 transmits only the excitation light component that excites the fluorescent label of the sample from the illumination light, and the dichroic mirror 4 transmits the excitation light. The reflected light is guided to the opening of the objective lens 5, and the objective lens 5 collects the excitation light on the sample surface. The specimen O emits fluorescence by a fluorescent label, the objective lens 5 collects the fluorescence, the dichroic mirror 4 transmits the fluorescence, and the imaging lens 7 forms an enlarged image of the specimen O on the imaging surface of the CCD camera 9. To do. The filter wheel 8 is controlled by an electrically connected computer 10 and selects a wavelength band of a fluorescent image captured by the CCD camera 9. The computer 10 captures a plurality of fluorescent images having different wavelength bands from the CCD camera 9 while rotating the filter wheel 8 and creates a spectral image of the specimen O. Further, the computer 10 calculates the spatial distribution of each fluorescent label in the specimen O based on the spectral deconvolution method according to the present invention, and displays the spatial distribution on the display device 11 electrically connected to the computer 10. . The blocking filter 6 is inserted behind the dichroic mirror 4 for the purpose of preventing excitation light from being mixed into the fluorescent image due to reflection and scattering in the optical system.
[0045]
As shown in FIG. 8, the procedure of the method for determining the existence ratio of a plurality of eigenspectral components from the spectral image of this embodiment captures a plurality of fluorescent images having different wavelength bands into the computer 10 while rotating the filter wheel 8. Thus, a spectral image of the specimen O is created (step 101), the same wavelength band as the number of types of fluorescent labels included in the specimen O is selected (step 102), and the spectral intensity space is centered on the selected wavelength band. (Step 103), plot the value of each pixel of the spectral image in each wavelength band in the spectral intensity space (step 104), determine the baseline from the distribution of each pixel in the spectral intensity space (step 105), and near the baseline A pixel is selected (step 106), the spectral intensities of the selected pixels on the same baseline are averaged (step 107), and the pixels on each baseline are averaged. The average value of the light intensity is set to the emission spectrum of each fluorescent label (step 108), and the emission spectrum to be measured is decomposed into the emission spectrum of the fluorescent label using the deconvolution method (step 109), and the presence of each fluorescent label The ratio is determined (step 110), and the spatial distribution of each fluorescent label is displayed on the display device 11 (step 111).
[0046]
Thus, in this embodiment, since the emission spectrum of each fluorescent label can be directly obtained from the spectroscopic image of the specimen O, it is not necessary to register the emission spectrum of the fluorescent label in advance. Further, in this embodiment, even when the emission spectrum of the fluorescent label is completely unknown, a highly accurate spectral deconvolution result can be obtained. In this embodiment, since the emission spectrum of each fluorescent label can be mechanically set, the region where each fluorescent label is isolated is manually selected, and the spectral intensity of the pixel is determined for each fluorescent label. Compared with the conventional method of setting to the emission spectrum, a spectral deconvolution result with high reproducibility and high reliability can be obtained.
[0047]
As shown in FIG. 9, the laser microscope according to the second embodiment of the present invention has a laser light source 21, a collimating lens 22, a dichroic mirror 23, a pair of galvano mirrors 24, an objective lens 25, and an imaging lens. 26, a confocal pinhole 27, a diffraction grating 28, a line sensor 29, a computer 30, and a display device 31. The laser light source 21 generates excitation light, the collimating lens 22 converts the excitation light into parallel rays, the dichroic mirror 23 reflects the excitation light and guides it to the objective lens 25, and the objective lens 25 creates a spot of the excitation light on the specimen O. Form. The pair of galvanometer mirrors 24 inserted between the dichroic mirror 23 and the objective lens 25 scans the spot of the excitation light on the sample O in a two-dimensional manner by changing the ray angle of the excitation light. Fluorescence is generated by irradiating the fluorescent label in the specimen O with excitation light, the objective lens 25 collects the fluorescence, the galvanometer mirror 24 guides the fluorescence to the dichroic mirror 23, and the dichroic mirror 23 transmits the fluorescence. The imaging lens 26 projects an enlarged image of the specimen O onto the confocal pinhole 27, and the confocal pinhole 27 extracts the confocal image component of the specimen O. The diffraction grating 28 having a curved shape having a focal position at the center of the confocal pinhole 27 and the line sensor 29 projects an image of the spectral intensity of the fluorescence transmitted through the confocal pinhole 27 onto the line sensor 29. The computer 30 electrically connected to the galvanometer mirror 24 and the line sensor 29 inputs a signal from the line sensor 29 while scanning the galvanometer mirror 24, thereby creating a confocal spectroscopic fluorescence image. Further, the computer 30 calculates the three-dimensional spatial distribution of the fluorescent label in the specimen O based on the spectral blind deconvolution method according to the present invention, and displays the result on the electrically connected display device 31.
[0048]
As shown in FIGS. 10 and 11, the spectral blind deconvolution procedure of this embodiment creates a spectral image by inputting the spectral intensity signal from the line sensor 29 while scanning with the galvanometer mirror 24 (step 201). ), Select a plurality of wavelength bands (step 202), create a spectral intensity space around the selected wavelength band (step 203), and plot the value of each pixel of the spectral image in each wavelength band in the spectral intensity space. (Step 204), a baseline is obtained from the distribution of each pixel in the spectral intensity space (Step 205), it is determined whether the baselines are sufficiently separated from each other (Step 206), and it is determined that the baselines are not sufficiently separated from each other. In this case, it is determined that the selection of the wavelength band is inappropriate, and the process returns to step 202 to select the wavelength band again. If it is determined that the base lines are sufficiently separated from each other, pixels near the base line are selected (step 207), the spectral intensities of the selected pixels on the same base line are averaged (step 208), and the pixels on each base line are averaged. The average value of the spectral intensities of the pixels is set in the emission spectrum of each fluorescent label (step 209), and the emission spectrum of the measurement target is decomposed into the emission spectrum of the fluorescent label using the deconvolution method (step 210).
[0049]
Next, it is determined whether or not to perform the blind deconvolution method (step 211). If it is determined that the determination is to be performed, the average value of the spectral intensities of the pixels on each baseline is used as the initial value for estimating the emission spectrum of each fluorescent label. Set (step 212), decompose the emission spectrum of the measurement object into the emission spectrum of the fluorescent label using the blind deconvolution method (step 213), determine the presence ratio of each fluorescent label (step 214), and each fluorescent label Are displayed on the display device (step 215). If it is determined in step 211 that the blind deconvolution method is not necessary, steps 212 and 213 are omitted.
[0050]
Here, the criterion for performing the blind deconvolution in step 211 is that the spectral intensity of the selected pixel is actually determined in step 207 when there are no extra pixels in the vicinity of the baseline or when the sample O has strong autofluorescence. In the case where it is expected that the emission spectrum of the fluorescent label is not in good agreement, it is preferable to perform blind deconvolution in terms of calculation accuracy. On the other hand, when it is determined that the pixel selected on the base line gives the correct fluorescence spectrum of the fluorescent label, blind deconvolution can be omitted and the calculation time can be shortened.
[0051]
As described above, in this embodiment, since the appropriateness of the selection of the wavelength band is determined based on the spatial separation of the baseline, the emission spectrum of each fluorescent label can be set more reliably. It becomes possible. Furthermore, in this embodiment, since blind deconvolution can be performed, even when the set emission spectrum of each fluorescent label is inaccurate due to noise or the like, a highly accurate calculation result can be obtained. Can do. Furthermore, in this embodiment, since it is possible to select whether to perform blind deconvolution after deconvolution, if it is not necessary, the calculation of time-consuming blind deconvolution is omitted and the calculation result is efficiently obtained. Can be obtained.
[0052]
As mentioned above, although the method of calculating | requiring the presence rate of several eigenspectral component from the spectral image of this invention was demonstrated based on the Example, this invention is not limited to these Examples, A various deformation | transformation is possible.
[0053]
【The invention's effect】
As is clear from the above explanation, when the method for determining the existence ratio of a plurality of intrinsic spectral components from the spectral image of the present invention is used, it is estimated that the estimated emission spectrum of the fluorescent label is very close to the actual emission spectrum. Therefore, there is an advantage that a more accurate spectral deconvolution result can be obtained. Furthermore, in the present invention, since the pixels on the base line can be substantially mechanically selected, there is an advantage that a reliable spectral deconvolution result can be obtained with good reproducibility. Furthermore, when using the spectral blind deconvolution method, the initial value of the eigenspectral component estimate is close to the true eigenspectral component with fairly high accuracy, so that subsequent blind deconvolution calculations converge quickly, and There is an advantage that a calculation result with higher accuracy can be obtained.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a method of selecting two wavelengths when two types of fluorescent labels are used in the present invention.
FIG. 2 is a diagram for explaining mapping of the intensity of each pixel in a spectral intensity space;
FIG. 3 is a diagram for explaining a method of selecting three wavelengths when three types of fluorescent labels are used.
FIG. 4 is a diagram showing a spectral intensity space when three types of fluorescent labels are used.
FIG. 5 is a diagram illustrating an expression (1) representing spectral deconvolution.
FIG. 6 is a flowchart for explaining an iterative calculation method used for spectral blind deconvolution.
FIG. 7 is a diagram showing a configuration of a fluorescence microscope according to the first embodiment of the present invention.
FIG. 8 is a flowchart showing a procedure of a method according to the first embodiment of the present invention.
FIG. 9 is a diagram showing a configuration of a laser microscope according to a second embodiment of the present invention.
FIG. 10 is the first half of a flowchart showing the procedure of the method of the second embodiment according to the present invention.
FIG. 11 is the latter half of the flowchart showing the procedure of the method of the second embodiment according to the present invention.
FIG. 12 is a diagram showing excitation wavelength and excitation efficiency, emission wavelength, and emission intensity of typical fluorescent proteins.
FIG. 13 is a flowchart showing a procedure when a conventional spectral deconvolution is used.
[Explanation of symbols]
O ... Sample
1 ... Light source
2. Illumination optical system
3 ... Excitation filter
4 ... Dichroic mirror
5 ... Objective lens
6 ... Blocking filter
7 ... Imaging lens
8 ... Filter wheel
9 ... CCD camera
10 ... Computer
11. Display device
21 ... Laser light source
22 ... Collimating lens
23 ... Dichroic mirror
24 ... A pair of galvanometer mirrors
25 ... Objective lens
26. Imaging lens
27 ... Confocal pinhole
28 ... Diffraction grating
29 ... Line sensor
30 ... Computer
31 ... Display device

Claims (4)

複数の固有スペクトル成分が混在する分光画像から前記固有スペクトル成分を分離してその存在割合を求める方法において、複数の波長を選択するステップと、前記分光画像の各画素における前記複数の波長の分光強度を多次元の分光強度空間に写像するステップと、前記写像の空間分布を用いて基線を設定するステップと、前記基線近傍に写像された画素を選択するステップと、前記選択された画素より得られた分光データから前記固有スペクトル成分を推定するステップと、前記推定されたスペクトル成分を用いて前記分光画像をデコンボリューションするステップとを含むことを特徴とする分光画像から複数の固有スペクトル成分の存在割合を求める方法。In a method for separating the intrinsic spectral component from a spectral image in which a plurality of intrinsic spectral components are mixed and determining the existence ratio thereof, a step of selecting a plurality of wavelengths, and a spectral intensity of the plurality of wavelengths in each pixel of the spectral image Obtained from the selected pixel, a step of setting a baseline using the spatial distribution of the mapping, a step of selecting a pixel mapped in the vicinity of the baseline, A ratio of a plurality of eigenspectral components from the spectral image, comprising: estimating the eigenspectral component from the spectroscopic data; and deconvoluting the spectroscopic image using the estimated spectral component. How to ask. 前記選択された画素の分光データの平均値を用いて、前記固有スペクトル成分を推定することを特徴とする請求項1記載の分光画像から複数の固有スペクトル成分の存在割合を求める方法。2. The method for determining the existence ratio of a plurality of eigenspectral components from a spectroscopic image according to claim 1, wherein the eigenspectral components are estimated using an average value of spectral data of the selected pixels. 前記選択された画素の分光データのモード値を用いて、前記固有スペクトル成分を推定することを特徴とする請求項1記載の分光画像から複数の固有スペクトル成分の存在割合を求める方法。The method for obtaining the existence ratio of a plurality of eigenspectral components from a spectroscopic image according to claim 1, wherein the eigenspectral component is estimated using a mode value of spectral data of the selected pixel. 前記推定されたスペクトル成分を用いて前記分光画像をデコンボリューションするステップの後に、前記固有スペクトルの推定の初期値を用いて、前記分光画像のブラインドデコンボリューションをするステップを含むことを特徴とする請求項1から3の何れか1項記載の分光画像から複数の固有スペクトル成分の存在割合を求める方法。The method further comprises the step of performing a blind deconvolution of the spectral image using an initial value of the estimation of the intrinsic spectrum after the step of deconvolving the spectral image using the estimated spectral component. 4. A method for obtaining the existence ratio of a plurality of eigenspectral components from the spectral image according to any one of items 1 to 3.
JP2003077376A 2003-03-20 2003-03-20 Method for determining the existence ratio of multiple intrinsic spectral components from spectral images Expired - Fee Related JP4037294B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003077376A JP4037294B2 (en) 2003-03-20 2003-03-20 Method for determining the existence ratio of multiple intrinsic spectral components from spectral images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003077376A JP4037294B2 (en) 2003-03-20 2003-03-20 Method for determining the existence ratio of multiple intrinsic spectral components from spectral images

Publications (2)

Publication Number Publication Date
JP2004286515A true JP2004286515A (en) 2004-10-14
JP4037294B2 JP4037294B2 (en) 2008-01-23

Family

ID=33292144

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003077376A Expired - Fee Related JP4037294B2 (en) 2003-03-20 2003-03-20 Method for determining the existence ratio of multiple intrinsic spectral components from spectral images

Country Status (1)

Country Link
JP (1) JP4037294B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007010340A (en) * 2005-06-28 2007-01-18 Olympus Corp Camera device
JP2008529000A (en) * 2005-01-31 2008-07-31 ケミマジ コーポレーション Apparatus and method for chemical imaging of biological samples
JP2009031229A (en) * 2007-07-30 2009-02-12 Univ Of Tsukuba Noise handling method for measurement signal
JP2009516557A (en) * 2005-11-23 2009-04-23 シティ ユニバーシティ System and method for estimating the concentration of a substance in a body fluid
JP2009526993A (en) * 2006-02-15 2009-07-23 リ−コール インコーポレーティッド Fluorescence filtering system and method for molecular imaging
JP2010071662A (en) * 2008-09-16 2010-04-02 Nikon Corp Spectral image processing method, spectral image processing program and spectral imaging system
JP2012018108A (en) * 2010-07-09 2012-01-26 Sony Corp Fluorescence intensity correcting method and fluorescence intensity calculating device
JP2012052985A (en) * 2010-09-03 2012-03-15 Sony Corp Fluorescence intensity correction method and fluorescent intensity calculation device
WO2014125819A1 (en) * 2013-02-13 2014-08-21 アトナープ株式会社 Analyzing device
US9121763B2 (en) 2013-03-07 2015-09-01 Seiko Epson Corporation Spectrometer
US9541750B2 (en) 2014-06-23 2017-01-10 Li-Cor, Inc. Telecentric, wide-field fluorescence scanning systems and methods
WO2021157397A1 (en) * 2020-02-06 2021-08-12 ソニーグループ株式会社 Information processing apparatus and information processing system
JP2021526220A (en) * 2018-05-03 2021-09-30 アコヤ・バイオサイエンシズ・インコーポレイテッド Multispectral sample imaging

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008529000A (en) * 2005-01-31 2008-07-31 ケミマジ コーポレーション Apparatus and method for chemical imaging of biological samples
JP2007010340A (en) * 2005-06-28 2007-01-18 Olympus Corp Camera device
JP2009516557A (en) * 2005-11-23 2009-04-23 シティ ユニバーシティ System and method for estimating the concentration of a substance in a body fluid
JP2009526993A (en) * 2006-02-15 2009-07-23 リ−コール インコーポレーティッド Fluorescence filtering system and method for molecular imaging
JP2009031229A (en) * 2007-07-30 2009-02-12 Univ Of Tsukuba Noise handling method for measurement signal
JP2010071662A (en) * 2008-09-16 2010-04-02 Nikon Corp Spectral image processing method, spectral image processing program and spectral imaging system
US8990024B2 (en) 2010-07-09 2015-03-24 Sony Corporation Fluorescence intensity compensation method and fluorescence intensity calculation device
JP2012018108A (en) * 2010-07-09 2012-01-26 Sony Corp Fluorescence intensity correcting method and fluorescence intensity calculating device
JP2012052985A (en) * 2010-09-03 2012-03-15 Sony Corp Fluorescence intensity correction method and fluorescent intensity calculation device
WO2014125819A1 (en) * 2013-02-13 2014-08-21 アトナープ株式会社 Analyzing device
US9121763B2 (en) 2013-03-07 2015-09-01 Seiko Epson Corporation Spectrometer
US9541750B2 (en) 2014-06-23 2017-01-10 Li-Cor, Inc. Telecentric, wide-field fluorescence scanning systems and methods
JP2021526220A (en) * 2018-05-03 2021-09-30 アコヤ・バイオサイエンシズ・インコーポレイテッド Multispectral sample imaging
JP7387720B2 (en) 2018-05-03 2023-11-28 アコヤ・バイオサイエンシズ・インコーポレイテッド Multispectral sample imaging
US11879843B2 (en) 2018-05-03 2024-01-23 Akoya Biosciences, Inc. Multispectral sample imaging
WO2021157397A1 (en) * 2020-02-06 2021-08-12 ソニーグループ株式会社 Information processing apparatus and information processing system

Also Published As

Publication number Publication date
JP4037294B2 (en) 2008-01-23

Similar Documents

Publication Publication Date Title
US7420679B2 (en) Method and apparatus for extended hyperspectral imaging
JP4037294B2 (en) Method for determining the existence ratio of multiple intrinsic spectral components from spectral images
US8126205B2 (en) Sample imaging and classification
Favreau et al. Thin-film tunable filters for hyperspectral fluorescence microscopy
JP5935147B2 (en) Microscope system, microscopy, and storage medium
JP5185151B2 (en) Microscope observation system
Cull et al. Identification of fluorescent beads using a coded aperture snapshot spectral imager
US20080272312A1 (en) Hyperspectral fluorescence and absorption bioimaging
Haaland et al. Hyperspectral confocal fluorescence imaging: exploring alternative multivariate curve resolution approaches
EP2150805B1 (en) Methods of fluorescence imaging, computer program, computerprogram product and fluorescence imaging system
JP5870821B2 (en) Apparatus, system, method, and program for image analysis of multiple fluorescent images
US7060955B1 (en) Apparatus and method for defining illumination parameters of a sample
JP5940288B2 (en) Image processing apparatus, microscope system, image processing method, and image processing program
JP4539342B2 (en) Analysis device, microscope, and analysis program
JP4021414B2 (en) Spectral deconvolution method and Spectral blind deconvolution method
Dimitriadis et al. Spectral and temporal multiplexing for multispectral fluorescence and reflectance imaging using two color sensors
Bayas et al. Easy-DHPSF 2.0: open-source software for three-dimensional localization and two-color registration of single molecules with nanoscale accuracy
JP2007147357A (en) Raman microscope and display method of raman spectrum image
Picollo et al. Application of hyper-spectral imaging technique for colorimetric analysis of paintings
US20230092749A1 (en) High throughput snapshot spectral encoding device for fluorescence spectral microscopy
US20060274301A1 (en) Apparatus and method for chemical imaging of a biological sample
Lindner et al. Rapid microscopy measurement of very large spectral images
JP2007010340A (en) Camera device
US20060221335A1 (en) Method and apparatus for interactive hyperspectral image subtraction
Mazzeo et al. Computer-assisted pigment identification in artworks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071031

R151 Written notification of patent or utility model registration

Ref document number: 4037294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121109

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131109

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371