JP2004502173A - Method and apparatus configuration for optically ascertaining wavelength-dependent characteristic values of an illuminated sample - Google Patents

Method and apparatus configuration for optically ascertaining wavelength-dependent characteristic values of an illuminated sample Download PDF

Info

Publication number
JP2004502173A
JP2004502173A JP2002506104A JP2002506104A JP2004502173A JP 2004502173 A JP2004502173 A JP 2004502173A JP 2002506104 A JP2002506104 A JP 2002506104A JP 2002506104 A JP2002506104 A JP 2002506104A JP 2004502173 A JP2004502173 A JP 2004502173A
Authority
JP
Japan
Prior art keywords
detection
signal
apparatus configuration
fluorescence
dye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002506104A
Other languages
Japanese (ja)
Other versions
JP3836426B2 (en
Inventor
ラルフ ヴォレシェンスキー
グンター メーラー
Original Assignee
カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング filed Critical カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング
Publication of JP2004502173A publication Critical patent/JP2004502173A/en
Application granted granted Critical
Publication of JP3836426B2 publication Critical patent/JP3836426B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/0016Technical microscopes, e.g. for inspection or measuring in industrial production processes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01QSCANNING-PROBE TECHNIQUES OR APPARATUS; APPLICATIONS OF SCANNING-PROBE TECHNIQUES, e.g. SCANNING PROBE MICROSCOPY [SPM]
    • G01Q60/00Particular types of SPM [Scanning Probe Microscopy] or microscopes; Essential components thereof
    • G01Q60/18SNOM [Scanning Near-Field Optical Microscopy] or apparatus therefor, e.g. SNOM probes
    • G01Q60/20Fluorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0064Optical details of the image generation multi-spectral or wavelength-selective arrangements, e.g. wavelength fan-out, chromatic profiling
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control

Abstract

【課題】照射試料が持つ波長依存性の特徴的な特性値、主として蛍光及び/又はルミネセンス及び/又はりん光及び/又は酵素で活性化した光の放射及び/又は酵素で活性化した蛍光についての特に放射及び/又は吸収に関する特性量の光学的把握方法
【解決手段】放射光線及び/又は吸収光線について少なくとも一つの重点及び/又は最大値を測定し、様々な色素の区別のため、及び/又は複数色素の同時使用の場合に画像点に於ける局部的色素組成の測定のため、及び/又は色素の結合している局部周辺に依存する放射スペクトルの局部シフトの測定のため、及び/又は放射率識別色素に基づくイオン濃度測定のため、蛍光クロム放射光線の重心及び/又は最大値の測定を行なう、照射試料が持つ波長依存性の特徴的な特性量の光学的把握方法
【選択図】図6
Disclosed is a characteristic characteristic value of wavelength dependence of an irradiation sample, mainly fluorescence and / or luminescence and / or phosphorescence and / or emission of light activated by an enzyme and / or fluorescence activated by an enzyme. Method for optically grasping characteristic quantities, in particular with respect to radiation and / or absorption, for measuring at least one emphasis and / or maximum value for radiation and / or absorption light to distinguish between different dyes, and / or Or for the measurement of local dye composition at image points in the case of simultaneous use of multiple dyes, and / or for the measurement of local shifts in the emission spectrum that depend on the local surroundings where the dyes are bound, and / or For the measurement of the ion concentration based on the emissivity discriminating dye, the center of gravity and / or the maximum value of the fluorescent chromium emitted light are measured. Method .FIELD 6

Description

【0001】
【発明が属する技術分野】
本発明は、蛍光顕微鏡法、特にレーザ走査型顕微鏡法、蛍光相関分光法および走査型近視野顕微鏡法における、主として生物学上の試料、プレパラートおよび付属する構成成分を検査するための方法および装置構成に関するものである。
それと共に、作用物質を検査するための蛍光検出に基づく方法(ハイ・スループット・スクリーニング)も含まれる。
【0002】
少数の広域スペクトル色素帯の検出から完全なスペクトルの同時記録へと移行することにより、空間的部分構造または動力学的過程に関連して殆どが分析面又は機能面からなされる試料特性の確認、分離、分類において新たな可能性が開けてくる。
それにより、オーバーラップ部分を持つ蛍光スペクトルの場合では、多重蛍光団を含む試料の同時検査が、厚い試料の空間構造においても可能となる。加えて、色素の放射スペクトル帯域の部分的なずれを検出し、空間構造を分類することも可能である。データ記録率は本装置構成によって低下するということはない。
【0003】
【従来の技術】
生物プレパラートを検査するための光学顕微鏡の古典的利用分野の一つに蛍光顕微鏡法(文献:ポーリー「生物共焦点顕微鏡法ハンドブック」、プレーナム・プレス1955年)がある。この場合では特定の色素が細胞部分への特殊標識付けのために使用される。
【0004】
色素分子は、入射した一定エネルギーを持つ光子1個の吸収により光子基底状態から励起状態へ励起される。この励起は一般に一光子吸収と称される(図1a)。色素分子は、このように励起された状態からさまざまな方法で基底状態に戻ることができる。蛍光顕微鏡法では蛍光光子の放射下での移行が最も重要である。放射される光子の波長はストークス変位のため励起放射に比較して原則的に赤側にずれる。すなわち長波長側である。ストークス変位が蛍光光線の励起光線からの分離を可能にする。
【0005】
蛍光は、ブロックフィルタと組み合わせた適当なダイクロイック・ビームスプリッタによって励起放射から分離し別途観察する。そうすることによって、さまざまな色素で着色された個々の細胞部分の描写が可能である。しかし原則的には、プレパラートのいくつかの部分を、独特な堆積の仕方をするさまざまな色素で同時に着色することもできる(多重蛍光)。個々の色素から送出される蛍光信号を区別するために、ここでも特殊なダイクロイック・ビームスプリッタを使用する。
【0006】
高いエネルギーを持つ一光子による色素分子の励起(一光子吸収)のほかに、より小さいエネルギーを持つ複数の光子による励起も可能である(図1b)。この場合、個々の光子のエネルギー総和は高エネルギー光子の何倍にも相当する。この種の色素励起は多光子吸収と称される(文献:コリー、キノ;「共焦点走査型光学顕微鏡法と関連画像システム」;アカデミー・プレス1996年)。しかし、色素放射はこの種の励起によっては影響されない。すなわち、多光子吸収の場合、放射スペクトルは負のストークス・シフトを起すため、励起放射に比較するとその波長は短い。励起光線を放射光線から分離するのは一光子吸収の場合と同じ方法で行う。
【0007】
以下に公知技術を共焦点レーザ走査型顕微鏡(LSM)の例で説明する(図2[L1])。
LSMは大きく分けて次の4モジュールから成っている: 光源、走査モジュール、検出ユニット、顕微鏡。これらのモジュールは以下により詳しく説明する。それに加え、DE19702753A1も参考になる。
【0008】
プレパラート中にあるさまざまな色素の個別励起には、さまざまな波長のレーザをLSM内で使用する。励起波長の選択は検査対象色素の吸収特性に従って行う。励起光線は光源モジュール内で生成される。この場合さまざまなレーザ(アルゴン、アルゴン・クリプトン、TiSaレーザ)が使用の対象になる。そのほか、光源モジュールでは波長の選択および必要な励起波長の強度調整を、たとえば音響光学結晶の使用により行う。それに続き、レーザビームはファイバまたは適当なミラー装置を通じて走査モジュール内に導かれる。
【0009】
光源で生成されたレーザビームは、対物レンズ(2)を通り、回折の抑制下でスキャナ、走査レンズ系、円筒レンズを経由してプレパラート内へ集束される。試料に焦点を当てx−y方向にドット走査する。試料走査における画素上滞留時間は、多くの場合マイクロ秒未満ないし数秒の範囲とする。
【0010】
蛍光の共焦点検出(デスキャン検出)の場合、焦平面(試料)およびその上・下にある平面から放射された光は、スキャナを通じてダイクロイック・ビームスプリッタ(MDB)に達する。MDBは蛍光を励起光から分離する。続いて蛍光は、正確に焦平面と共役な平面内にある絞り(共焦点絞り/ピンホール)で焦点を結ぶ。これによって焦点外の蛍光成分が遮断される。絞りの寸法をさまざまに変化させることによって、顕微鏡の光学解像度を調節することが可能である。絞りの後ろに別のダイクロイック・ブロックフィルタ(EF)があり、これが再度励起ビームを差し止める。蛍光は、ブロックフィルタを通過した後、点像検出器(PMT)によって測定される。
【0011】
多光子吸収を利用した場合、色素蛍光の励起は励起強度が特に強い小ボリューム部分に起こる。この領域は、共焦点装置を使用した場合の検出領域より極僅かに大きいだけである。したがって共焦点絞りの使用は省くことができ、検出は対物レンズの直後で行うことができる(ノンデスキャン検出)。
【0012】
多光子吸収によって励起される色素蛍光を検出するための別の装置構成では、さらに一つのデスキャン検出が行われるが、しかしこの場合では対物レンズのひとみは検出ユニット内へ結像する(非共焦点デスキャン検出)。
【0013】
3次元照明による像のうち、対応の一光子吸収もしくは多光子吸収と接続している二検出器の装置構成によって、対物レンズの焦平面内に存在する平面(光学的断面)のみが再現される。それに続いて、試料のさまざまな深さzにおけるx−y平面内のいくつかの光学的断面の描画により、コンピュータでサポートされた試料3次元像が生み出される。
したがって、LSMは厚いプレパラートを検査するのに適している。励起波長は使用色素の固有吸収特性で決定される。色素の放射特性に合せたダイクロイックフィルタにより、それぞれの色素から送出される蛍光のみが確実に点像検出器で測定されることになる。
【0014】
生医学応用においては、目下のところいくつかのさまざまな細胞領域がさまざまな色素で同時に標識付けされている(多重蛍光)。現状技術では、個々の色素はさまざまな吸収特性に基づき、又は放射特性(スペクトル)に基づき、別々に検出されている。その場合、複数色素の蛍光に対する追加分割が副ビームスプリッタ(DBS)によって行われ、個々の色素放射検出が別々の点像検出器(PMTx)内で行われる。
【0015】
当装置構成では検出及び励起の際、新たな色素特性に対してフレキシブルに適応することが利用者にとって可能でない。従って、それぞれの(新しい)色素について、新しいダイクロイック・ビームスプリッタおよびブロックフィルタが用意されねばならない。DE……に基づく装置構成では、蛍光は1基のプリズムによってスペクトル分割される。本方法はダイクロイック・フィルタを有する前記装置構成とは、使用フィルタの特性曲線を調節できる点が異なるだけであるが、しかしそのほか、点像検出器当たり1色素の放射帯域が記録されるというのも好ましいことである。
【0016】
【発明が解決しようとする課題】
2つの色素の放射スペクトルが重なり合うと、従来の検出装置では限界がある。2つの色素の間で重ね書きを避けるため、スペクトル検出領域を制限しなければならない。両色素が重なり合う領域はこのため単純に切除され、検出されない。これによって検出ユニットの効率が悪化する。同じ信号対雑音比は励起電力を高めることでしか得られず、それによってプレパラートを損なうこととなる。それゆえ、今日では最大で6種の色素探子が同時に使用されている。そうでないと、放射帯域が強く重なり合っているために色素分離できないからである。
これまで色素は、その吸収特性またはその放射特性が互いに異なるように変形されてきた。
【0017】
図3a)はさまざまな典型的色素の放射スペクトルを示したものである。放射信号が波長の関数で描かれている。1ないし4とナンバリングされた色素間で放射スペクトルの位置および形が異なっているのが認められる。しかし、これらの色素は多くの場合生体プレパラートにとって有毒である。したがって、生体プレパラート内における合胞体の進化については検査不可能である。90年代末には、天然界の色素である、いわゆる蛍光蛋白質(GFP、YFP、CFP、TOPAS、GFT、RFP)が発見された(クローンテク社、米国)。
【0018】
これらの色素は試料への影響の少ないことで際立っている。したがって、それらは生体プレパラート内の細胞領域への標識付けに特に適している。しかし、色素の放射特性がごく僅かしか異なっていないという欠点がある。
【0019】
図3b)は波長に依存する放射信号を色素GFP、トパーズ、GFTおよびシアンFPについて示したものである。
従来の方法では、CFPおよびRFPだけが変化した吸収特性に基づき他のものと効果的に区別し得よう。つまり逐次撮像の場合である。色素GFPおよびGFTの分離は従来手段ではまったく不可能であろう。
【0020】
2つの蛋白質の位置決定をするためのさらに別な方法では、両蛋白質は異なった色素で標識付けされる。但し、第1色素の放射スペクトルは第2色素の吸収スペクトルと重り合うものとする。続いて第1の色素は然るべき波長によって励起され、蛍光を発する。双方の分子が互いに非常に近くに(<10nm)ある場合、第1色素の放射ビームは第2色素に吸収されて、そのため第1色素は放射されず、続いて第2色素が放射される。
【0021】
図3d)は、文献に蛍光共鳴エネルギー伝送(FRET)と称されているこの経過のエネルギー準位図を示している(文献:ファンほか;生物物理学雑誌、V76、1999年5月、24122420ページ)。この方法で両色素の放射ビームを検出し、両検出器信号の比を決定すると、両分子相互間の距離を決定することができる。
さらに、生物プレパラート中に存在する色素の放射スペクトルが色素キュベット内で測定された放射スペクトルと区別できることが公知になっている。
【0022】
図3c)は、色素の放射スペクトルが色素の置かれている環境に依存することを示している。図には、放射信号が波長の関数で描かれている。
波長のずれは数10nmにもなることがある。この波長ずれの環境への依存性に関しては、より詳しい検査はこれまで知られていない。それは、この種の検査が現状技術の方法では、できるにしても困難だからである。
【0023】
確かに、今日では分光計がLSMと結合した形でも使用されている。この場合、点像検出器の代わりとして、従来型で殆どが高解像度を持つ分光計が使用されている(特許ディクソンほかUS 5,192,980)。しかし、これらは放射スペクトルを逐一記録するか、ある領域について平均した形で記録するだけである。すなわち、これは一種の分光分析である。
【0024】
別の装置構成では色素蛍光の寿命が測定される。ここでもまた、問題は環境の如何ということに結論づけられるが、完全な像を記録するには、長いデータ受信時間を要することになる。それゆえ、この方法は生プレパラートの検査には、制限された形でしか使用できない。
【0025】
蛍光顕微鏡法のまた別な適用例では、特に生物プレパラート中のイオン濃度(たとえばCa、K、Mg2+、Zn、…)の測定に用いられている。それには、特別な色素や、またはイオン濃度に依存してスペクトルのずれる色素配合(たとえば、フラ、インド、フルオ;モレキュラー・プローブズ社)が使用される。
【0026】
図4a)はカルシウムイオンの濃度に依存するインド1の放射スペクトルを示している。
図4b)はフルオ3とフラ赤色素との組み合わせの場合で、カルシウムイオン濃度に依存する放射スペクトルの例を示している。これらの特殊色素は放射率識別色素と称される。
図4a)に示した二つの蛍光領域を検出して、両強度の比率を出すと、対応のイオン濃度を導き出すことができる。多くの場合この測定によって生命プレパラート中のイオン濃度の動的変化が分析されるが、それには1ミリ秒以内の時間分割が要求される。
【0027】
【課題を解決するための手段】
以上より、本発明の対象とするのは、フレキシブルでプログラミング自由な新しい検出方法ということになる。これらの方法は、解析的顕微鏡法システムと同様に像作成システムでも使用できなければならない。それゆえ、これらの方法を使用する際にはデータ採用率が悪化してはならない。
【0028】
顕微鏡システムとしては、生物プレパラートを200nmまでの光学解像度で3次元検査するためのレーザ走査型顕微鏡や、表面を解像度10nmまでの高解像度で検査するための走査型近視野顕微鏡のような像作成システムがある。
分子濃度の定量測定用、および分子拡散測定用の蛍光相関顕微鏡もある。さらに、蛍光検出に基づく色素検査の方法も含まれる。
上記システムではいずれも、プレパラートに特殊な標識付けをするために蛍光色素が使用される。これらの設定目標は特許請求項に基づく方法および装置構成により解決される。
【0029】
本発明によれば、部分的に、または完全に重なり合う色素でさえも分離させることが可能であり、しかも従来技術の上記短所、制約が回避もしくは克服される。それにより、自然界の蛍光蛋白質を使用した多重蛍光記録が可能である。さらに、この方法によれば、検査対象であるプレパラート中の環境偏差に基づく波長のずれが極めて効率的に測定できる。
【0030】
【発明の実施の形態】
フレキシブルな検出方法の背景には、スペクトル分割された蛍光検出がある。その場合では、放射光を走査モジュール内または顕微鏡内(多光子吸収の場合)でメインカラー・スプリッタ(MDB)により励起光から分割する。
【0031】
それに続いて配置されている検出器ユニットの構成図を図5に示してある。
試料から出た光は、共焦点検出の場合では、結像レンズ系PO、さらには絞り(ピンホール)PHを通って焦点を結び、それによって焦点外に生じる蛍光が遮断される。ノンデスキャン検出の場合には絞りは不要である。
【0032】
この場合では光は角分散素子DIによってそのスペクトル成分へ分解される。角分散素子としてはプリズム、格子および音響光学素子が使用される。分散素子によってそのスペクトル成分へ分割された光は、続いてライン検出器DE上へ結像される。つまり、このライン検出器DEは波長に依存する放射信号を測定し、これを電気信号S( )へ変換する。加えて、検出ユニットには励起波長を抑制するための線型フィルタを直列接続することもできる。
【0033】
図5にブロック接続図で示した検出器ユニットを光学的ビーム光路として用いた場合の考え得る実施態様を図6に示している。
本構造は本質的にはサーニー・ターナー構造に基づくものである。共焦点検出の場合、試料からの光Lは、ピンホールレンズ系POにより共焦点絞りPHを通り集束される。ノンデスキャン検出で多光子吸収の場合には、この絞りは不要である。
【0034】
第1の結像鏡S1は蛍光を視準する。続いて光は線形格子G、たとえばミリ当たり線数651本を有する格子上に当たる。格子は光をその波長に応じてさまざまな方向に偏向させる。第2の結像鏡S2はスペクトル分割された個々の波長成分を、対応ライン検出器DEのチャネル上へ集束させる。
【0035】
浜松製作所のH7260ライン二次電子増倍管を使用するのが特に好ましい。当検出器は32チャネル型で高感度を有する。上記実施態様の自由なスペクトル領域は約350nmである。自由なスペクトル領域はこの装置構成ではライン検出器の32チャネルに均等に配分されるので、光学的解像度は約10nmとなる。したがって、この装置構成は分光測定には限定的にしか適さない。しかしながら、これを結像システムに使用するのは有利である。これは、検出スペクトル帯域が相対的に広く、検出チャネルごとの信号が比較的大きいからである。自由なスペクトル領域の移動は、加えて、たとえば格子をねじることによっても行なえる。
【0036】
また別な実施態様として、マトリクス検出器(たとえばCCD、…)の使用を伴う例もある。この場合、ある座標において、分散素子によりさまざまな波長成分へ分割が行われる。マトリクス検出器上に留まっている方向に、走査像の完全なライン(または隙間)が結像さる。この実施態様は、ライン・スキャナ(文献:コリー、キノ;「共焦点光学顕微鏡法と関連画像システム」;アカデミック・プレス1996年)の構成時には特に有利である。
【0037】
構造原理は本質的には図2記載のLSMに準じている。但し、点焦点でなくて1本の線を焦点に結像させ、検査試料を1方向にのみ走査する。このような構造の場合、共焦点絞りとしては、孔絞りの代りにスリット絞りを用いる。多格子吸収を利用するノンデスキャン検出もこの装置構成によって行われる。ここでも共焦点絞りは省くことができる。
【0038】
以下に、図6に示した装置構成における、すなわち点スキャナにおける測定アルゴリズムについて記述する。但し、本アルゴリズムはラインスキャナの装置構成に対して制限なく適用できる。
図3および図4から明らかなように、個々の色素は放射スペクトルの位置および形が異なっている。アルゴリズム(図7)は像ポイントごとに重心位置もしくは像ポイントで検出される放射信号の最大値を決定する。
【0039】
以下に、有利であり実施可能な重心決定法をより詳しく記述する。たとえば補間適合法等、重心もしくは最大値の別な決定法は、無条件に本発明の一部である。その場合、ライン検出器によって検出されるチャネルごとの信号(左のダイヤグラム)に、較正関数(右のダイヤグラム)を掛け合わせる。すなわちどのチャネルもある一定の加重を持つことになる。
【0040】
図7の左のダイヤグラムは測定された放射信号を、信号の検出されたチャネルの番号毎に表わしている。右のダイヤグラムには当該加重関数例が、個別チャネルについてチャネル番号別に挙げてある。
加重されたチャネルあたりの個別信号を合算し、加重されていない個別信号の総和(総合信号)で割る。それによって、放射スペクトルひいては励起色素の重心位置を表わす特徴量としての信号が得られる(図8a)。この信号は以下位置信号と呼ぶ。
【0041】
図8aは検出された放射スペクトルの重心位置もしくは最大値の位置に依存する位置信号を示している。
位置信号を測定することによって、さまざまな色素をそれらの放射スペクトルの位置および種類に基づいて区別することができる。さらに、たとえばある色素を使用すれば、環境に依存している放射スペクトルの波長ずれを測定することができる。
【0042】
像ポイントに同時にいくつかの色素が存在するならば、ある色素と他の色素との相対濃度に応じて次式で表わされる重心位置の一次連結関係が成り立つ:
位置=ΣPos
ここでPosは色素の特徴的な重心位置、Cは色素濃度、nは当該像点で同時励起されている色素数である。したがって、本アルゴリズムはイオン濃度も決定でき、FRET信号の検出に使用できる。加えて、2つ以上の色素の部分的重なりを分析することも可能である(コロカリゼーション測定)。
【0043】
図8bには、2色素(たとえばフルオ3とフラ赤、モレキュラー・プローブズ社)または2つの特徴的放射帯域を有する1色素(たとえばインド、モレキュラー・プローブズ社)使用時のイオン濃度に依存する信号が描かれている。それはイオン濃度に依存した位置信号を表わすものである。
すでに言及したように、位置信号は、放射スペクトルの重心位置の位置尺度である。すなわち、カラーコード化された強度像を計算するためのマスクとしても利用することができる。
【0044】
本アルゴリズムは図9に図示されている。その場合、第1段階としてマスク(すなわち位置信号)を対応のルックアップ・データと掛け合わせる。ルックアップ・データは放射スペクトル重心位置の別になされた色分類を含んでいる。続いて、この乗算の結果を強度値(総合信号)と掛け合わせ、つまり色の明度を実際の蛍光強度に適合させる。ルックアップ・データの選択によってはそれぞれ、色マスクされた強度像(離散的色分布)を、すなわち画素ごとに1つの色素が存在する強度像を作り出すことも、または個別像ポイントの合成による混合色の強度像を1つの像として作り出すこともできる。
【0045】
本方法の決定的な長所は、どの色素も蛍光全体(総合信号)が放射スペクトルの重なり度に依存せず検出でき、それにもかかわらず色素がなお(位置信号によって)分離した状態のまま表示できるという点にある。したがって、強く重なり合っている色素(図3c)を特に効果的に検出することができる。
【0046】
図6の構成によるアルゴリズムの実施はデジタルでもアナログでも行うことができる。両方の装置構成を以下に詳細に記述する。総合信号および位置信号をデジタルで計算するための装置構成は図10に図示されている。この場合、多チャネルPMTの陽極に流れる電流は、それぞれ第1増幅器A(電流/電圧変換器として接続されている)によって電圧に変換され、増幅される。電圧は積分器Iに導かれ、そこで当該時間(たとえば画素上滞留時間)だけ信号が積分される。
【0047】
迅速に値を求めるため、積分器Iの後に、単純な比較器として次のようなスイッチング閾値を有す比較器Kを、即ち閾値を超えたときにデジタル出力信号を発するか、またはウィンドウ比較器として形成されていて、入力信号がスイッチング閾値の上限と下限との間にあるか、または入力信号がスイッチング閾値の外(下または上)にあれば、デジタル出力信号を発するという比較器Kを配置させることができる。比較器もしくはウィンドウ比較器の装置構成は、積分器の前にすることも後にすることもできる。積分器なしの接続装置構成(いわゆる増幅モード)も同様に考え得る。
【0048】
増幅器モードでの装置構成の場合、比較器Kは然るべき基準に適合させて装置構成する。比較器Kの出力は直接アクティブなチャネルに接続する(オンライン)スイッチ・レジスタRegの制御信号として用いられるか、またはアクティブなチャネルを個別選択するために(オフライン)、その時の状態が付属連結器Vを通じてコンピュータに伝えられる。積分器Iの出力信号は後続のA/D変換のため、レベル適合用の別な増幅器A1へ直接導かれる。AD変換された値は適当なデータ伝送装置を通じて、図7および9に従って位置信号および総合信号の計算を実行するコンピュータPC(またはデジタル信号プロセッサDSP)へ伝送される。
【0049】
図11には、図10の装置構成と等価のアナログデータ処理に基づく装置構成が描かれている。この場合、個々のチャネルの信号は増幅器によって電圧信号に変換される。続いて、個々の電圧信号は積分器I内で画素上滞留時間だけ積分される。
積分器の後に、積分された信号と基準信号との比較を行なう比較器Kが設置されている。
【0050】
積分された信号が比較器閾値より小さい場合、当該個別チャネル内では蛍光信号は測定されていないか、または測定された信号があまりにも小さくなりすぎる。このような場合では、個別チャネルの信号加工は続行すべきでない。当チャネルが総信号に寄与しているのは雑音成分だけだからである。比較器はこのような場合Regを通じてスイッチSを操作し、個別チャネルは実測されている画素に対して遮断される。すなわち比較器とスイッチとの組み合わせによって、実測像ポイントにとって重要なスペクトル領域が自動的に選択される。
【0051】
続いて、積分された電圧信号はここでも抵抗Rを介して電流に変換される。したがって、どの個別チャネルでも、個別チャネルに到来する蛍光の強度に依存して電流を生成する。それに続く位置では、互いに隣接した個別チャネルはすべて、それらの間にある別の抵抗R1に接続されている。
【0052】
検出器の列の上端および下端に発生する全電流も、やはり電流/電圧変換器A1によって電圧に変換される。上端および下端での電圧EoおよびEuは、逆方向の直線で加重された個別チャネルの信号の総和に相当する。上端および下端での両信号は、続いて加算増幅器SVによって合計される。このようにして生じた信号は、全測定蛍光の総合信号に相当する。この総合信号および上端における信号または下端における信号(破線で表示)はアナログ除算器に導かれ、位置信号を出力する。
【0053】
総合信号および位置信号は、続いてそれぞれ1基のアナログ・デジタル変換器によってデジタル信号に変換され、コンピュータまたはDSPによって追処理される。但しその場合、上および下の信号は何の制限もなく変換でき、コンピュータ処理することもできる。この場合では、コンピュータが総合信号および位置信号を決定することになる。どちらの場合も図9のアルゴリズムをコンピュータで実行する。
【0054】
しかし、図9のアルゴリズムを図11の接続で実施することもできる。これについては、以下に3つの可能性をより詳しく説明する。
第1の装置構成では、隣接する個々の検出チャネル間に存在する抵抗(R1)を変更させ、ルックアップ・データを用いて乗算を行う。残りの接続は当初の設定のままとする。
【0055】
第2の装置構成では、増幅器A1内でルックアップ・データにより乗算する。その場合、増幅器A1を可変の非線型特性曲線を用いて作動させる。第3の装置構成(デジタル検出(図10に従う)およびアナログ検出(図11に従う))では、個別検出チャネルの入力信号は、以下によって操作し、もしくは歪ませる:
それは、(A)における増幅の変更、(I)における積分時間の変更、積分器の前の付加オフセット入力および・または光子計数装置によって計数される光子によるデジタルな影響の付与である。3方法はすべて任意相互に組み合わせることもできる。
【0056】
人工産物を避けるため、蛍光測定の際には、試料から後方散乱する励起光を抑制するか、または少なくとも、放射の最大より小さいかまたは同じ系列量になるように弱める必要がある。それには、上記の付加線形フィルタまたは然るべく最適化したメインカラー・スプリッタ(MDB)を、光学的減衰用として使用することができる。励起レーザビームのスペクトル帯域は個別チャネルによって検出される帯域幅よりはるかに狭いから、後方散乱した、もしくは反射した励起ビームも、対応の個別チャネルを図11のスイッチによって所期設定どおり遮断することができる。
【0057】
図11の装置構成は図10の装置構成に対していくつかの長所を持つ。最も目立つ長所は、単に2チャネルのみをデジタルデータに変換してコンピュータに送り込むだけでよいことである。これにより、コンピュータによって処理すべきデータ率は最小化される。このことは、極めて迅速に経過する動力学的過程が記録できるように、たとえば50画像以上を512×512画素および12ビット画素階調で検出する実時間顕微鏡法に本方法を適用した場合に特に重要である。また、この方法を利用すれば、使用されるライン検出器(マトリクス検出器)の個別チャネル数、従ってまた、検出可能なスペクトル領域の広さおよび・またはスペクトルセンサの分光分解能に関しては制限がない。
【0058】
さらに、図10に示された装置では、変換可能な信号レベルは遥かに低い。それにより、信号対雑音比の想定値は小さくなる。
上記の評価アルゴリズム転換のための両装置構成では、個別チャネル信号の検出に積分器スイッチングが使用された。また、光子計数も個別チャネル内で制限を受けることなく行うことができる。しかし、図10に示された装置構成は、画像追加加工のために、位置信号のほかに完全なスペクトル情報さえ提供できるという長所を持っている。本発明はそれゆえ両装置構成の組み合せをも含んでいる。
【0059】
図12は、図10および図11に示された装置構成による測定結果である。
図12aには分光計で測定した使用色素GFP、CFPおよびDIの放射スペクトルが描かれている。色素の励起は波長488nmを有するアルゴンレーザにより行なった。これらの色素は以下では、特に生物プレパラートの特定領域に持ち込んだ。
【0060】
図12bは全3色素が存在する試料片上を走査した際の位置信号のヒストグラムを示している。3色素がそれらの特徴的な位置信号を持つ、3つの最大値がヒストグラムに明瞭に認め得る。3色素の位置関係は次表に掲げた通りである。
色素               CFP  GFP   DI
位置信号(相対的波長シフト)   14    30   80
従って、色素は本発明に基づく装置構成により簡単に分離できるはずである。加えて、色素内のさまざまな局部的環境に基づく局部的波長ずれが認められる。これはヒストグラムでは個別色素の最大値幅に表われる。
【0061】
図13aは総合信号から形成された強度像を示している。
図13bには、位置信号から形成された対応像が描かれている。
この像は放射スペクトルの対応する重心を表わしている。さまざまに染められた細胞核(一部はGFPで、一部はCFPで着色されている)およびDIで着色された細胞枠組みが明瞭に区別できる。
図13cは、図9のアルゴリズムに対応して計算及びカラーコード化された強度像を示している。さまざまな色素が付加した個別領域が、カラーコード化により分離されている。分離は、像を3つのRGBチャネル中で表示することによって明瞭化する。
比較のため、現状技術に基づく検出によって測定した像も図13dに示している。この場合異なる色素の蛍光信号が互いに重ね書きされるのを避けるため、検出は極端に狭いスペクトル帯域内でしか行わなかった。
【0062】
このように検出帯域が非常に狭隘化したことによって、試料から放射される蛍光信号のほんの一部分しか測定できなかった。像をできる限り同じ信号対雑音比に保つには、励起電力を何倍にも大きくしなければならない。
このことから、本発明に基づく装置構成は現状技術に基づく装置構成に比べ高い効率を持っているのが明らかである。そのほか、CFPもしくはGFPが堆積する領域は、両色素の放射スペクトルが重り合っているので分離し得ないということもある。このことは、この細胞領域が黄色に着色されていることに、もしくは2つの画像チャネル(RおよびG)内領域における二重現象に現れている。
【図面の簡単な説明】
【図1】a)一光子吸収、b)多光子吸収
【図2】公知のLSM構築
【図3】典型的なスペクトルa)色素、b)蛍光蛋白質、c)波長のずれ・環境に依存、d) FRET
【図4】比率測定のための典型的なスペクトル、a)1色素と放射率、b)2色素とイオンに依存する信号
【図5】検出器ユニット/光学系のブロック構成図
【図6】検出器ユニット/光学系の構成例
【図7】放射スペクトルの位置を決定するためのアルゴリズム
【図8】位置信号の典型的な経過、a)放射スペクトルの位置に依存する、b)イオン濃度に依存する
【図9】いくつかの色素を使用したときのカラーコード化された強度像を作り出すためのアルゴリズム
【図10】デジタル測定するためのエレクトロニクス構成例
【図11】アナログ信号測定するためのエレクトロニクス構成例
【図12】a)色素スペクトル、b) a)の放射スペクトルシフトのヒストグラム
【図13】色素を分離するための実験、a)総合強度像、b)波長シフトの像、c)展開強度像、d)現状技術に基づく従来型検出器による強度像
【符号の説明】
PO  結像レンズ系
DI  角分散素子
DE  ライン検出器
S( )  電気信号
PH  共焦点絞り
A  第1増幅器
I  積分器
K  比較器
V  付属連結器
Reg スイッチ・レジスタ
DSP デジタル信号プロセッサ
PC コンピュータ
S スイッチ
A 電流/電圧変換器
SV 加算増幅器
S1 第1の結像鏡
G 線形格子
S2 第2の結像鏡
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a method and a device arrangement for the examination of mainly biological samples, preparations and associated components in fluorescence microscopy, in particular laser scanning microscopy, fluorescence correlation spectroscopy and scanning near-field microscopy. It is about.
Also included is a method based on fluorescence detection for testing active substances (high-throughput screening).
[0002]
By moving from the detection of a small number of broad-spectrum dye bands to the simultaneous recording of complete spectra, the identification of sample properties, mostly from an analytical or functional aspect, related to spatial substructure or kinetic processes, New possibilities open up in separation and classification.
Thereby, in the case of a fluorescence spectrum having an overlapping portion, simultaneous inspection of a sample containing multiple fluorophores is possible even in a spatial structure of a thick sample. In addition, it is also possible to detect partial shifts in the emission spectral band of the dye and classify the spatial structure. The data recording rate is not reduced by the configuration of the apparatus.
[0003]
[Prior art]
One of the classical applications of light microscopy for examining biological preparations is fluorescence microscopy (Literature: Pauly "Bioconfocal Microscopy Handbook", Planum Press, 1955). In this case, specific dyes are used for special labeling of the cell parts.
[0004]
The dye molecules are excited from the photon ground state to the excited state by the absorption of one incident photon having a constant energy. This excitation is commonly referred to as one-photon absorption (FIG. 1a). The dye molecule can return to the ground state from the excited state in various ways. In fluorescence microscopy, migration under the emission of fluorescent photons is of paramount importance. The wavelength of the emitted photons is in principle shifted to the red compared to the excitation radiation due to the Stokes displacement. That is, it is on the long wavelength side. The Stokes displacement allows separation of the fluorescent light from the excitation light.
[0005]
The fluorescence is separated from the excitation radiation by a suitable dichroic beam splitter in combination with a block filter and observed separately. By doing so, it is possible to depict individual cell parts colored with various dyes. However, in principle, it is also possible to color several parts of the preparation simultaneously with different dyes which have a unique deposition behavior (multiple fluorescence). Again, a special dichroic beam splitter is used to distinguish the fluorescent signals emitted from the individual dyes.
[0006]
In addition to the excitation of dye molecules by one photon with high energy (one-photon absorption), excitation by multiple photons with lower energy is also possible (FIG. 1b). In this case, the sum of the energies of the individual photons is many times higher than the high energy photons. This type of dye excitation is called multiphoton absorption (Literature: Cory, Kino; "Confocal Scanning Optical Microscopy and Related Imaging Systems"; Academy Press 1996). However, dye emission is not affected by this type of excitation. That is, in the case of multiphoton absorption, the emission spectrum causes a negative Stokes shift, and thus its wavelength is shorter than that of the excitation radiation. Separation of the excitation light from the emitted light is performed in the same manner as in the case of one-photon absorption.
[0007]
The known technique will be described below using an example of a confocal laser scanning microscope (LSM) (FIG. 2 [L1]).
LSM is roughly divided into four modules: (1) light source, scanning module, detection unit, and microscope. These modules are described in more detail below. In addition, DE 19702753A1 is also helpful.
[0008]
Lasers of various wavelengths are used in the LSM for individual excitation of the various dyes in the preparation. The excitation wavelength is selected according to the absorption characteristics of the dye to be inspected. The excitation light is generated in the light source module. In this case, various lasers (argon, argon krypton, TiSa laser) are used. In addition, in the light source module, the selection of the wavelength and the adjustment of the intensity of the necessary excitation wavelength are performed by using, for example, an acousto-optic crystal. Subsequently, the laser beam is directed into the scanning module through a fiber or a suitable mirror device.
[0009]
The laser beam generated by the light source passes through the objective lens (2), and is focused into the preparation through a scanner, a scanning lens system, and a cylindrical lens while suppressing diffraction. A dot is scanned in the xy direction while focusing on the sample. The dwell time on the pixel during sample scanning often ranges from less than a microsecond to several seconds.
[0010]
In the case of fluorescence confocal detection (descanning detection), light emitted from a focal plane (sample) and planes above and below the focal plane reaches a dichroic beam splitter (MDB) through a scanner. MDB separates fluorescence from excitation light. The fluorescence is then focused by a stop (confocal stop / pinhole) exactly in the plane conjugate to the focal plane. This blocks out-of-focus fluorescent components. By varying the size of the stop, it is possible to adjust the optical resolution of the microscope. Behind the stop is another dichroic block filter (EF), which again blocks the excitation beam. After passing through the block filter, the fluorescence is measured by a point image detector (PMT).
[0011]
When multiphoton absorption is used, excitation of dye fluorescence occurs in a small volume portion where the excitation intensity is particularly strong. This area is only slightly larger than the detection area when using a confocal device. Therefore, the use of a confocal stop can be omitted, and detection can be performed immediately after the objective lens (non-descan detection).
[0012]
In another arrangement for detecting dye fluorescence excited by multiphoton absorption, an additional descan detection is performed, but in this case the pupil of the objective lens is imaged into the detection unit (non-confocal). Descan detection).
[0013]
Due to the device configuration of the two detectors connected to the corresponding one-photon absorption or multi-photon absorption, only the plane (optical cross section) existing in the focal plane of the objective lens is reproduced from the three-dimensional illumination image. . Subsequent drawing of several optical cross-sections in the xy plane at various depths z of the sample produces a computer-supported three-dimensional image of the sample.
Therefore, LSM is suitable for testing thick preparations. The excitation wavelength is determined by the intrinsic absorption characteristics of the dye used. The dichroic filter adapted to the emission characteristics of the dye ensures that only the fluorescence emitted from each dye is measured by the point image detector.
[0014]
In biomedical applications, several different cell areas are currently labeled simultaneously with different dyes (multiple fluorescence). In the state of the art, individual dyes are detected separately on the basis of various absorption properties or on the basis of emission properties (spectrum). In that case, additional splitting of the fluorescence of the multiple dyes is performed by the sub-beam splitter (DBS), and the individual dye emission detection is performed in separate point image detectors (PMTx).
[0015]
This arrangement does not allow the user to flexibly adapt to new dye properties during detection and excitation. Therefore, for each (new) dye, a new dichroic beam splitter and block filter must be provided. In the device configuration based on DE..., The fluorescence is spectrally divided by one prism. The method differs from the above-described arrangement with a dichroic filter only in that the characteristic curve of the filter used can be adjusted, but also that the emission band of one dye per point image detector is recorded. It is preferable.
[0016]
[Problems to be solved by the invention]
When the emission spectra of the two dyes overlap, conventional detectors have limitations. To avoid overwriting between the two dyes, the spectral detection area must be limited. The area where both dyes overlap is thus simply excised and not detected. This degrades the efficiency of the detection unit. The same signal-to-noise ratio can only be obtained by increasing the pump power, thereby compromising the preparation. Therefore, today up to six dye probes are used simultaneously. Otherwise, dyes cannot be separated because the emission bands are strongly overlapped.
Heretofore, dyes have been modified such that their absorption properties or their emission properties differ from each other.
[0017]
FIG. 3a) shows the emission spectra of various typical dyes. The emitted signal is plotted as a function of wavelength. It can be seen that the positions and shapes of the emission spectra differ between the dyes numbered 1 to 4 and numbered. However, these dyes are often toxic to biological preparations. Therefore, the evolution of syncytia in living preparations cannot be examined. In the late 1990's, so-called fluorescent proteins (GFP, YFP, CFP, TOPAS, GFT, RFP), which are pigments in the natural world, were discovered (Clonetech, USA).
[0018]
These dyes are distinguished by little effect on the sample. Therefore, they are particularly suitable for labeling cellular regions within a biological preparation. However, there is the disadvantage that the emission properties of the dyes are only slightly different.
[0019]
FIG. 3b) shows the wavelength-dependent emission signal for the dyes GFP, Topaz, GFT and Cyan FP.
In conventional methods, only CFP and RFP could be effectively distinguished from others based on the changed absorption characteristics. That is, this is a case of sequential imaging. Separation of the dyes GFP and GFT would not be possible at all by conventional means.
[0020]
In yet another method for localizing two proteins, both proteins are labeled with different dyes. However, the emission spectrum of the first dye overlaps with the absorption spectrum of the second dye. Subsequently, the first dye is excited by the appropriate wavelength and fluoresces. If both molecules are very close to each other (<10 nm), the radiation beam of the first dye is absorbed by the second dye, so that the first dye is not emitted, followed by the emission of the second dye.
[0021]
FIG. 3d) shows an energy level diagram of this process, which is referred to in the literature as fluorescence resonance energy transfer (FRET) (Literature: Fan et al .; Biophysics Journal, V76, May 1999, 24122420). ). By detecting the radiation beams of both dyes in this manner and determining the ratio of the two detector signals, the distance between the two molecules can be determined.
It is further known that the emission spectrum of the dye present in the biological preparation can be distinguished from the emission spectrum measured in the dye cuvette.
[0022]
FIG. 3c) shows that the emission spectrum of the dye depends on the environment in which the dye is located. In the figure, the radiation signal is depicted as a function of wavelength.
The wavelength shift can be as large as tens of nm. As for the dependence of this wavelength shift on the environment, no more detailed inspection has been known so far. This is because this type of inspection is difficult, if at all possible, with state-of-the-art methods.
[0023]
Certainly, spectrometers are also used today, in combination with LSM. In this case, a conventional, mostly high-resolution spectrometer is used instead of a point image detector (Patent Dixon et al. US Pat. No. 5,192,980). However, they only record the emission spectrum one by one or in an averaged manner over a certain area. That is, this is a kind of spectroscopic analysis.
[0024]
In another arrangement, the lifetime of the dye fluorescence is measured. Again, it can be concluded that the problem is the environment, but recording a complete image requires a long data reception time. Therefore, this method can only be used in a limited manner for testing live preparations.
[0025]
In another application of fluorescence microscopy, ion concentrations (e.g., Ca+, K+, Mg2+, Zn+, ...). It uses special dyes or dye formulations whose spectra shift depending on ion concentration (eg, Hula, India, Fluo; Molecular Probes).
[0026]
FIG. 4a) shows the emission spectrum of India 1 depending on the concentration of calcium ions.
FIG. 4b) shows an example of the emission spectrum depending on the calcium ion concentration in the case of the combination of Fluo 3 and the hula red dye. These special dyes are called emissivity discriminating dyes.
By detecting the two fluorescent regions shown in FIG. 4a) and determining the ratio of the two intensities, the corresponding ion concentration can be derived. In many cases, this measurement will analyze the dynamic change in ion concentration in a biological preparation, which requires a time division within 1 millisecond.
[0027]
[Means for Solving the Problems]
Thus, the object of the present invention is a new detection method that is flexible and free of programming. These methods must be usable in imaging systems as well as analytical microscopy systems. Therefore, the data adoption rate must not deteriorate when using these methods.
[0028]
As a microscope system, an image creation system such as a laser scanning microscope for three-dimensional inspection of biological preparations with an optical resolution of up to 200 nm and a scanning near-field microscope for inspecting the surface with a high resolution of up to 10 nm. There is.
There are also fluorescence correlation microscopes for quantitative measurement of molecular concentration and for measurement of molecular diffusion. Further, a method of dye inspection based on fluorescence detection is also included.
In all of the above systems, fluorescent dyes are used to specially label the preparation. These setting goals are solved by a method and a device configuration according to the claims.
[0029]
According to the present invention, it is possible to separate even partially or completely overlapping dyes, while avoiding or overcoming the disadvantages and limitations of the prior art. Thereby, multiple fluorescence recording using a fluorescent protein in the natural world is possible. Further, according to this method, the wavelength shift based on the environmental deviation in the preparation to be inspected can be measured very efficiently.
[0030]
BEST MODE FOR CARRYING OUT THE INVENTION
Behind the flexible detection method is spectrally divided fluorescence detection. In that case, the emitted light is split from the excitation light by a main color splitter (MDB) in a scanning module or in a microscope (for multiphoton absorption).
[0031]
FIG. 5 shows a block diagram of the detector unit arranged subsequently.
In the case of confocal detection, light emitted from the sample is focused through the imaging lens system PO and further through the aperture (pinhole) PH, thereby blocking out-of-focus fluorescent light. No aperture is required for non-descan detection.
[0032]
In this case, the light is decomposed by the angular dispersion element DI into its spectral components. Prisms, gratings, and acousto-optic elements are used as the angular dispersion elements. The light split into its spectral components by the dispersive element is subsequently imaged on the line detector DE. That is, the line detector DE measures a wavelength-dependent emission signal and converts it into an electric signal S (). In addition, a linear filter for suppressing the excitation wavelength can be connected in series to the detection unit.
[0033]
FIG. 6 shows a possible embodiment in which the detector unit shown in the block diagram in FIG. 5 is used as the optical beam path.
The structure is essentially based on the Sarny-Turner structure. In the case of confocal detection, light L from a sample is focused by a pinhole lens system PO through a confocal stop PH. In the case of multiphoton absorption in non-descan detection, this aperture is unnecessary.
[0034]
The first imaging mirror S1 collimates the fluorescence. The light then impinges on a linear grating G, for example a grating having 651 lines per millimeter. The grating deflects light in different directions depending on its wavelength. The second imaging mirror S2 focuses the individual wavelength components that have been spectrally split onto the channels of the corresponding line detector DE.
[0035]
It is particularly preferred to use a H7260 line secondary electron multiplier from Hamamatsu. This detector is of a 32-channel type and has high sensitivity. The free spectral range of the above embodiment is about 350 nm. The free spectral range is evenly distributed over the 32 channels of the line detector in this configuration, resulting in an optical resolution of about 10 nm. Therefore, this arrangement is only suitable for spectroscopic measurements. However, it is advantageous to use this in an imaging system. This is because the detection spectrum band is relatively wide and the signal for each detection channel is relatively large. The free spectral range movement can additionally be effected, for example, by twisting the grating.
[0036]
Yet another embodiment involves the use of a matrix detector (eg, CCD,...). In this case, at a certain coordinate, division into various wavelength components is performed by the dispersion element. In the direction that remains on the matrix detector, a complete line (or gap) of the scanned image forms. This embodiment is particularly advantageous when configuring a line scanner (Literature: Cory, Kino; "Confocal Optical Microscopy and Related Imaging Systems"; Academic Press 1996).
[0037]
The structural principle essentially conforms to the LSM shown in FIG. However, an image is formed not at a point focus but at a single line at the focus, and the inspection sample is scanned only in one direction. In such a structure, a slit stop is used as a confocal stop instead of a hole stop. Non-descanning detection using multi-grating absorption is also performed by this device configuration. Again, the confocal stop can be omitted.
[0038]
Hereinafter, a measurement algorithm in the apparatus configuration shown in FIG. 6, that is, in the point scanner will be described. However, this algorithm can be applied to the device configuration of the line scanner without limitation.
As is clear from FIGS. 3 and 4, the individual dyes differ in the position and shape of the emission spectrum. The algorithm (FIG. 7) determines for each image point the position of the center of gravity or the maximum value of the radiation signal detected at the image point.
[0039]
In the following, advantageous and practicable methods of determining the center of gravity will be described in more detail. Other methods of determining the center of gravity or maximum, such as, for example, interpolation fitting, are unconditionally part of the present invention. In that case, the signal for each channel (left diagram) detected by the line detector is multiplied by a calibration function (right diagram). That is, every channel has a certain weight.
[0040]
The left diagram in FIG. 7 shows the measured emission signal for each channel number where the signal was detected. In the diagram on the right, examples of the weighting function are listed for individual channels by channel number.
The weighted individual signals per channel are summed and divided by the sum of the unweighted individual signals (total signal). As a result, a signal is obtained as a feature quantity representing the emission spectrum and thus the center of gravity of the excitation dye (FIG. 8A). This signal is hereinafter referred to as a position signal.
[0041]
FIG. 8a shows a position signal depending on the position of the center of gravity or the position of the maximum value of the detected radiation spectrum.
By measuring the position signal, the various dyes can be distinguished based on the position and type of their emission spectrum. Furthermore, for example, if a certain dye is used, it is possible to measure the wavelength shift of the emission spectrum which depends on the environment.
[0042]
If several dyes are present at an image point at the same time, a linear connection of the center of gravity expressed by the following equation is established depending on the relative concentrations of one dye and another dye:
Position =nΣkPoskCk
Where PoskIs the characteristic center of gravity of the pigment, CkIs the dye concentration, and n is the number of dyes that are simultaneously excited at the image point. Therefore, the present algorithm can also determine the ion concentration and can be used to detect FRET signals. In addition, it is also possible to analyze the partial overlap of two or more dyes (colocalization measurement).
[0043]
FIG. 8b shows a signal that depends on ion concentration when using two dyes (eg, Fluo 3 and Hula Red, Molecular Probes) or one dye having two characteristic emission bands (eg, Molecular Probes, India). It is drawn. It represents a position signal dependent on the ion concentration.
As already mentioned, the position signal is a position measure of the position of the center of gravity of the emission spectrum. That is, it can be used as a mask for calculating a color-coded intensity image.
[0044]
This algorithm is illustrated in FIG. In that case, as a first step, the mask (ie, the position signal) is multiplied with the corresponding look-up data. The look-up data includes a customized color classification of the emission spectral centroid location. Subsequently, the result of the multiplication is multiplied by the intensity value (total signal), that is, the lightness of the color is adapted to the actual fluorescence intensity. Depending on the choice of the look-up data, respectively, a color-masked intensity image (discrete color distribution) can be produced, ie an intensity image with one dye per pixel, or a mixed color by combining individual image points. Can be created as one image.
[0045]
The decisive advantage of this method is that any dye can be detected with the overall fluorescence (total signal) independent of the overlap of the emission spectra, and nevertheless the dye can still be displayed in a separate state (by position signal) It is in the point. Thus, strongly overlapping dyes (FIG. 3c) can be detected particularly effectively.
[0046]
The implementation of the algorithm according to the configuration of FIG. 6 can be performed digitally or analogously. Both device configurations are described in detail below. An arrangement for digitally calculating the total signal and the position signal is shown in FIG. In this case, the current flowing through the anode of the multi-channel PMT is converted into a voltage by the first amplifier A (connected as a current / voltage converter) and amplified. The voltage is directed to an integrator I, where the signal is integrated for that time (eg, the dwell time on the pixel).
[0047]
In order to determine the value quickly, after the integrator I, a comparator K having a switching threshold as follows, which is a simple comparator, that is to say a digital output signal when the threshold is exceeded, or a window comparator And a comparator K that emits a digital output signal if the input signal is between the upper and lower switching thresholds or if the input signal is outside (below or above) the switching threshold. Can be done. The configuration of the comparator or window comparator can be before or after the integrator. A connection arrangement without an integrator (so-called amplification mode) is likewise conceivable.
[0048]
In the case of an arrangement in the amplifier mode, the comparator K is adapted to the appropriate standards. The output of the comparator K is used as a control signal for a switch register Reg that connects directly to the active channel (online), or for individually selecting an active channel (offline), the state at that time is determined by the associated coupler V Through to the computer. The output signal of the integrator I is led directly to another level-matching amplifier A1 for the subsequent A / D conversion. The A / D converted values are transmitted through a suitable data transmission device to a computer PC (or digital signal processor DSP) which performs the calculation of the position signal and the total signal according to FIGS.
[0049]
FIG. 11 illustrates a device configuration based on analog data processing equivalent to the device configuration of FIG. In this case, the signals of the individual channels are converted into voltage signals by the amplifier. Subsequently, the individual voltage signals are integrated in the integrator I by the dwell time on the pixel.
After the integrator, a comparator K for comparing the integrated signal with the reference signal is provided.
[0050]
If the integrated signal is smaller than the comparator threshold, the fluorescence signal is not being measured in the individual channel, or the measured signal is too small. In such a case, signal processing of the individual channel should not continue. This is because this channel contributes only to the noise signal to the total signal. The comparator operates the switch S through Reg in such a case, and the individual channel is shut off for the pixel being measured. That is, the spectral region important for the actually measured image point is automatically selected by the combination of the comparator and the switch.
[0051]
Subsequently, the integrated voltage signal is again converted to a current via the resistor R. Therefore, any individual channel generates a current depending on the intensity of the fluorescence arriving at the individual channel. In subsequent positions, all the individual channels adjacent to each other are connected to another resistor R1 between them.
[0052]
The total current generated at the top and bottom of the detector row is also converted to a voltage by the current / voltage converter A1. The voltages Eo and Eu at the top and bottom correspond to the sum of the individual channel signals weighted by the straight lines in the opposite direction. Both signals at the top and bottom are subsequently summed by the summing amplifier SV. The signal thus generated corresponds to the total signal of all measured fluorescence. The total signal and the signal at the upper end or the signal at the lower end (indicated by a broken line) are guided to an analog divider and output a position signal.
[0053]
The integrated signal and the position signal are subsequently converted into digital signals by an analog-to-digital converter, respectively, and further processed by a computer or DSP. However, in that case, the upper and lower signals can be converted without any restrictions and can also be computer processed. In this case, the computer will determine the total signal and the position signal. In both cases, the algorithm of FIG. 9 is executed by a computer.
[0054]
However, the algorithm of FIG. 9 can also be implemented with the connection of FIG. In this regard, three possibilities are described in more detail below.
In the first device configuration, the resistance (R1) existing between the adjacent detection channels is changed, and the multiplication is performed using the lookup data. Remaining connections are left as originally set.
[0055]
In the second configuration, the data is multiplied by the lookup data in the amplifier A1. In that case, the amplifier A1 is operated with a variable nonlinear characteristic curve. In the third arrangement (digital detection (according to FIG. 10) and analog detection (according to FIG. 11)), the input signal of the individual detection channel is manipulated or distorted by:
It is the modification of the amplification in (A), the modification of the integration time in (I), the additional offset input before the integrator and / or the imposition of digital effects by the photons counted by the photon counting device. All three methods can also be combined arbitrarily with one another.
[0056]
In order to avoid artifacts, it is necessary to suppress or at least attenuate the excitation light backscattered from the sample during the fluorescence measurement so that it is smaller than the emission maximum or of the same sequence. For this purpose, an additional linear filter as described above or a suitably optimized main color splitter (MDB) can be used for optical attenuation. Since the spectral bandwidth of the excitation laser beam is much narrower than the bandwidth detected by the individual channels, the backscattered or reflected excitation beam can also be blocked by the switch of FIG. it can.
[0057]
The device configuration of FIG. 11 has several advantages over the device configuration of FIG. The most noticeable advantage is that only two channels need to be converted to digital data and sent to the computer. This minimizes the data rate to be processed by the computer. This is especially true when the method is applied to real-time microscopy, for example, in which more than 50 images are detected at 512 × 512 pixels and 12-bit pixel tones, so that very fast-moving dynamic processes can be recorded. is important. Also, with this method, there is no limit on the number of individual channels of the line detector (matrix detector) used, and thus on the size of the detectable spectral region and / or the spectral resolution of the spectral sensor.
[0058]
Further, in the device shown in FIG. 10, the signal level that can be converted is much lower. Thereby, the assumed value of the signal-to-noise ratio becomes small.
In both arrangements for the above evaluation algorithm conversion, integrator switching was used to detect individual channel signals. Also, photon counting can be performed without restriction in individual channels. However, the device configuration shown in FIG. 10 has the advantage that it can even provide complete spectral information in addition to the position signal for additional image processing. The present invention therefore also includes a combination of both device configurations.
[0059]
FIG. 12 shows a measurement result by the device configuration shown in FIGS. 10 and 11.
FIG. 12a depicts the emission spectra of the used dyes GFP, CFP and DI measured with a spectrometer. Excitation of the dye was performed with an argon laser having a wavelength of 488 nm. In the following, these dyes were introduced, in particular, into specific areas of biological preparations.
[0060]
FIG. 12b shows a histogram of the position signal when scanning over a sample piece where all three dyes are present. Three maxima where the three dyes have their characteristic position signals are clearly visible in the histogram. The positional relationship among the three dyes is as shown in the following table.
Pigment CFP GFP DI
Position signal (relative wavelength shift) 14 30 80
Thus, the dyes should be easily separated by the device configuration according to the present invention. In addition, there are local wavelength shifts due to various local environments within the dye. This appears in the maximum value width of the individual dye in the histogram.
[0061]
FIG. 13a shows an intensity image formed from the total signal.
FIG. 13b depicts the corresponding image formed from the position signal.
This image represents the corresponding centroid of the emission spectrum. The differently stained cell nuclei (partially colored with GFP and partly with CFP) and the cellular framework colored with DI are clearly distinguishable.
FIG. 13c shows a calculated and color-coded intensity image corresponding to the algorithm of FIG. Individual regions to which various dyes have been added are separated by color coding. Separation is clarified by displaying the image in three RGB channels.
For comparison, an image measured by detection according to the state of the art is also shown in FIG. 13d. In this case, the detection was performed only in an extremely narrow spectral band in order to avoid that the fluorescent signals of the different dyes were overwritten on each other.
[0062]
Due to such a very narrow detection band, only a part of the fluorescence signal emitted from the sample could be measured. In order to keep the image at the same signal-to-noise ratio as much as possible, the excitation power must be multiplied.
From this, it is clear that the device configuration based on the present invention has higher efficiency than the device configuration based on the state of the art. In addition, the region where CFP or GFP is deposited may not be separated because the emission spectra of both dyes overlap. This is manifested in the cell area being colored yellow or a double phenomenon in the area within the two image channels (R and G).
[Brief description of the drawings]
FIG. 1 a) one-photon absorption, b) multi-photon absorption
FIG. 2 Known LSM construction
FIG. 3. Typical spectra a) dye, b) fluorescent protein, c) wavelength shift / environment dependent, d) ΔFRET
FIG. 4: Typical spectra for ratio measurement, a) 1 dye and emissivity, b) 2 dye and ion dependent signal
FIG. 5 is a block diagram of a detector unit / optical system.
FIG. 6 shows a configuration example of a detector unit / optical system.
FIG. 7: Algorithm for determining the position of the radiation spectrum
FIG. 8 shows a typical course of the position signal, a) depending on the position of the emission spectrum, b) depending on the ion concentration.
FIG. 9: Algorithm for creating color-coded intensity images when using several dyes
FIG. 10 is an example of an electronic configuration for digital measurement.
FIG. 11 is an example of an electronic configuration for measuring an analog signal.
FIG. 12. Histogram of a) dye spectrum, b) emission spectrum shift of a)
FIG. 13 shows an experiment for separating a dye, a) an overall intensity image, b) an image of a wavelength shift, c) an expanded intensity image, and d) an intensity image with a conventional detector based on the state of the art.
[Explanation of symbols]
PO imaging lens system
DI Angular dispersion element
DE line detector
S () electric signal
PH confocal aperture
A First amplifier
I integrator
K comparator
V attached coupler
Reg switch register
DSP digital signal processor
PC Computer
S switch
A current / voltage converter
SV summing amplifier
S1 First imaging mirror
G linear lattice
S2 Second imaging mirror

Claims (87)

照射試料が持つ波長依存性の特徴的な特性値、主として蛍光及び/又はルミネセンス及び/又はりん光及び/又は酵素で活性化した光の放射及び/又は酵素で活性化した蛍光についての特に放射及び/又は吸収に関する特性値の光学的把握方法において、
放射光線及び/又は吸収光線について少なくとも一つの重点及び/又は最大値を測定する、照射試料が持つ波長依存性の特徴的な特性値の光学的把握方法。
Characteristic values of the wavelength dependence of the irradiated sample, mainly fluorescence and / or luminescence and / or phosphorescence and / or emission of enzyme-activated light and / or especially emission of enzyme-activated fluorescence. And / or in the method of optically grasping characteristic values relating to absorption,
A method for optically grasping characteristic values of wavelength-dependent characteristic of an irradiation sample, wherein at least one emphasis and / or maximum value is measured for the emitted light and / or the absorbed light.
さまざまな色素の区別のため、及び/又は複数色素の同時使用の場合に画像点における局部的色素組成の測定のため、及び/又は色素の結合している局部周辺に依存する放射スペクトルの局部シフトの測定のため、及び/又は放射率識別色素に基づくイオン濃度測定のため、蛍光クロム放射光線の重心及び/又は最大値の測定を行なう、請求項1に記載の方法。Local shifts in the emission spectrum that are dependent on the local surroundings of the dye to distinguish between the various dyes and / or to determine the local dye composition at image points in the case of simultaneous use of multiple dyes, and / or 2. The method according to claim 1, wherein the measurement of the center of gravity and / or the maximum value of the fluorescent chromium radiation is carried out for the determination of and / or for the determination of the ion concentration based on the emissivity discriminating dye. さまざまな色素の区別のため、及び/又は複数色素の同時使用の場合に画像点における局部的色素組成の測定のため、及び/又は色素の結合している局部周辺に依存する吸収スペクトルの局部シフトの測定のため、及び/又は色素吸収比に基づくイオン濃度測定のため、反射又は透過された蛍光クロム励起光線の重心及び/又は最大値の測定を行なう、請求項1に記載の方法。Local shifts in the absorption spectrum depending on the local surroundings of the dye to distinguish between the various dyes and / or to measure the local dye composition at image points in the case of simultaneous use of multiple dyes, and / or The method according to claim 1, wherein the measurement of the center of gravity and / or the maximum of the reflected or transmitted fluorescent chromium excitation light is carried out for the determination of the chromium excitation light and / or the ion concentration measurement based on the dye absorption ratio. 試料の放射光線を分散素子により分割し、少なくとも一つの方向において場所的分解を伴った検出を行なう、先行請求項の少なくとも1に記載の装置構成及び蛍光光線の分割を行なう、先行請求項の少なくとも1項に記載の方法。The device configuration according to at least one of the preceding claims and splitting of the fluorescent light beam, wherein the device divides the light beam of the sample by a dispersive element and performs detection with spatial resolution in at least one direction. Item 2. The method according to item 1. 吸収度測定のため、試料から反射した、又は試料を透過した光線を分散素子によって分割し、少なくとも一つの方向において場所的分解を伴った検出を行なう、先行請求項の少なくとも1項に記載の方法。The method according to at least one of the preceding claims, wherein for the measurement of the absorbance, the light rays reflected from or transmitted through the sample are split by a dispersive element and detection with spatial resolution in at least one direction is performed. . 複数検出チャネル間のスペクトル加重計算、加重計算チャネルにおける検出チャネル信号の総和計算及び検出チャネルの総和計算を行なう、先行請求項の少なくとも1項に記載の方法。The method according to at least one of the preceding claims, comprising performing a spectral weight calculation between the plurality of detection channels, calculating the sum of the detection channel signals in the weight calculation channels, and calculating the sum of the detection channels. 検出チャネルと加重曲線とを掛け合わせることによって検出チャネルの信号を加重計算し、対象チャネルの総和計算によって総合信号を算出し、加重信号の総和を総合信号で割ることによって位置信号を算出する、先行請求項の少なくとも1項に記載の方法。Weighting the signal of the detection channel by multiplying the detection channel by the weighting curve, calculating the total signal by calculating the sum of the target channels, and calculating the position signal by dividing the sum of the weighted signals by the total signal; A method according to at least one of the claims. 加重曲線が直線である、先行請求項の少なくとも1に記載の方法。A method according to at least one of the preceding claims, wherein the weighting curve is a straight line. 検出チャネルの信号を変換してデジタルで読み出しさせ、加重及び総和計算をコンピュータによりデジタルで行なう、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the signals of the detection channels are converted and read out digitally, and the weighting and summation are performed digitally by a computer. アナログデータの加工による加重計算及び総和計算を抵抗縦続により行なう、先行請求項の少なくとも1項に記載の方法。The method according to at least one of the preceding claims, wherein the weighting calculation and the sum calculation by processing the analog data are performed by resistance cascade. 抵抗の調整が可能である、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the adjustment of the resistance is possible. 加重曲線が調整可能である、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the weighting curve is adjustable. 検出チャネルの信号が入力信号の非直線性歪みによって影響される、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, wherein the signal of the detection channel is affected by non-linear distortion of the input signal. 積分パラメータに影響を与える、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the method affects an integration parameter. 増幅器の特性線に影響を与える、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the method influences a characteristic line of an amplifier. 位置信号及び総合信号をアナログで求め、変換してデジタルで読み出しする、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, wherein the position signal and the integrated signal are determined in analog, converted and read out digitally. 逆向きの加重曲線で加重計算した個別チャネルの信号総和に相当する上方信号と下方信号を読み出しし、デジタル変換してコンピュータに送り込む、先行請求項の少なくとも1項に記載の方法。The method according to at least one of the preceding claims, wherein the upper and lower signals corresponding to the sum of the signals of the individual channels weighted by the inverse weighting curve are read out, digitized and sent to a computer. 画像の形成に位置信号と総合信号が使用される、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the position signal and the integrated signal are used to form an image. カラーコード化された蛍光画像が形成される、先行請求項の少なくとも1項に記載の方法。The method according to at least one of the preceding claims, wherein a color-coded fluorescent image is formed. 別な画像によりオーバーラップが行なわれる、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the overlap is performed by another image. 位置信号及び総合信号がルックアップ・データと組み合される、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the position signal and the total signal are combined with the lookup data. ルックアップ・データによってさまざまな色素の表示及び/又は形成画像の展開表示がなされる、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the look-up data provides an indication of various dyes and / or an expanded indication of the formed image. 検出チャネル内の比較器を通じて測定信号と基準信号との比較を行ない、基準信号以下及び/又は基準信号超過の場合には作動指示器の変更を行なう、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, wherein the comparison of the measurement signal with the reference signal is performed via a comparator in the detection channel, and the activation indicator is changed if the reference signal is below and / or exceeded. . 必要に応じ、それぞれの検出チャネルの遮断及び/又は無応答化を行なう、先行請求項の少なくとも1項に記載の方法。The method according to at least one of the preceding claims, wherein the blocking and / or non-response of each detection channel is performed as required. それによってスペクトル領域の分析対象幅を狭隘化させる、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, whereby the spectral width of the spectral region is narrowed. 検出チャネルの信号をそれぞれ少なくとも一つの積分器の接続によって発生させる、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, wherein the signal of the detection channel is generated by the connection of at least one integrator, respectively. 検出チャネルの信号を光子計数及び続いてのデジタル/アナログ変換によって発生させる、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the signal of the detection channel is generated by photon counting and subsequent digital / analog conversion. 光子計数を時間の関数で行なう、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein the photon counting is performed as a function of time. 単一及び/又は複数の光子蛍光を、及び/又は錯綜光子によって励起された蛍光を把握するための、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims for ascertaining single and / or multiple photon fluorescence and / or fluorescence excited by complex photons. 試料が、好ましくは微量滴定プレートであって、特に作用物質の検査において照射と検出が平行になされる、先行請求項の少なくとも1項に記載の方法。The method according to at least one of the preceding claims, wherein the sample is preferably a microtiter plate, in which irradiation and detection are performed in parallel, in particular for testing active substances. 走査型近接場顕微鏡での検出のための、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims for detection with a scanning near-field microscope. 蛍光と相関させた分光器における単一光子及び/又は多光子の色素蛍光検出のための、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims for single-photon and / or multi-photon dye fluorescence detection in a spectrometer correlated with fluorescence. 共焦点型検出による、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, by confocal detection. 走査装置を有する、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, comprising a scanning device. 照射においてX/Yスキャナを用いる、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, wherein an X / Y scanner is used in the irradiation. X/Y走査テーブルを有する、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, comprising an X / Y scan table. 非共焦点型検出による、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, by non-confocal detection. 走査装置を有する、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, comprising a scanning device. デスキャン検出による、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, by descan detection. ブライトフィールド結像による、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, by bright field imaging. 点結像による、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, by point imaging. ノンデスキャン検出による、先行請求項の少なくとも1項に記載の方法。A method according to at least one of the preceding claims, by non-descanning detection. ブライトフィールド結像による、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, by bright field imaging. 非走査、共焦点又は非共焦点での検出及び点結像又はブライトフィールド結像による、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, by non-scanning, confocal or non-confocal detection and by point or bright field imaging. X/Y走査テーブルによる、先行請求項の少なくとも1項に記載の方法。Method according to at least one of the preceding claims, by means of an X / Y scanning table. 照射試料が持つ波長依存性の特徴的な特性値、主として蛍光及び/又はルミネセンス及び/又はりん光及び/又は酵素で活性化した光の放射及び/又は酵素で活性化した蛍光についての特に放射及び/又は吸収に関する特性値の光学的把握のための装置構成において、
放射光線及び/又は吸収光線について少なくとも一つの重点及び/又は最大値の測定のための手段が備えられている、照射試料が持つ波長依存性の特徴的な特性値の光学的把握のための装置構成。
Characteristic values of the wavelength dependence of the irradiated sample, mainly fluorescence and / or luminescence and / or phosphorescence and / or emission of enzyme-activated light and / or especially emission of enzyme-activated fluorescence. And / or in an apparatus configuration for optically grasping characteristic values related to absorption,
Apparatus for optically ascertaining the characteristic value of the wavelength-dependent characteristic of an illuminated sample, comprising means for measuring at least one emphasis and / or maximum value for the emitted light and / or the absorbed light. Constitution.
試料の放射光線を分散素子によって分割し、少なくとも一つの方向において場所的分解を伴った検出を行なう、請求項46に記載の装置構成。47. The apparatus configuration according to claim 46, wherein the radiation emitted from the sample is split by a dispersive element, and detection with spatial resolution is performed in at least one direction. 蛍光光線の分割を行なう、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, wherein the splitting of fluorescent light is performed. 吸収度測定のため、試料から反射した、又は試料を透過した光線を分散素子によって分割し、少なくとも一つの方向において場所的分解を伴った検出を行なう、先行請求項の少なくとも1項に記載の装置構成。Apparatus according to at least one of the preceding claims, wherein the light reflected from or transmitted through the sample is split by a dispersive element for absorption measurement and detection with spatial resolution in at least one direction. Constitution. 複数検出チャネル間のスペクトル加重計算、加重計算チャネルにおける検出チャネル信号の総和計算及び検出チャネルの総和計算を行なう、先行請求項の少なくとも1項に記載の装置構成。The apparatus configuration according to at least one of the preceding claims, wherein the apparatus performs spectrum weight calculation among a plurality of detection channels, sum calculation of detection channel signals in the weight calculation channel, and sum calculation of the detection channels. 検出チャネルと加重曲線とを掛け合わせることによって検出チャネルの信号を加重計算し、対象チャネルの総和計算によって総合信号を算出し、加重信号の総和を総合信号で割ることによって位置信号を算出する、先行請求項の少なくとも1項に記載の装置構成。Weighting the signal of the detection channel by multiplying the detection channel by the weighting curve, calculating the total signal by calculating the sum of the target channels, and calculating the position signal by dividing the sum of the weighted signals by the total signal; An apparatus configuration according to at least one of the claims. 加重曲線が直線である、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, wherein the weighting curve is a straight line. 検出チャネルの信号を変換してデジタルで読み出しさせ、加重及び総和計算をコンピュータによりデジタルで行なう、先行請求項の少なくとも1項に記載の装置構成。The apparatus configuration according to at least one of the preceding claims, wherein the signal of the detection channel is converted and read out digitally, and the weighting and sum calculation are performed digitally by a computer. アナログデータの加工による加重計算及び総和計算を抵抗カスケードにより行なう、先行請求項の少なくとも1項に記載の装置構成。The apparatus configuration according to at least one of the preceding claims, wherein the weight calculation and the sum calculation by processing the analog data are performed by a resistance cascade. 抵抗の調整が可能である、先行請求項の少なくとも1項に記載の装置構成。Device arrangement according to at least one of the preceding claims, wherein the resistance can be adjusted. 加重曲線が調整可能である、先行請求項の少なくとも1項に記載の装置構成。Device arrangement according to at least one of the preceding claims, wherein the weighting curve is adjustable. 位置信号及び総合信号をアナログで求め、変換してデジタルで読み出しする、先行請求項の少なくとも1項に記載の装置構成。The device configuration according to at least one of the preceding claims, wherein the position signal and the integrated signal are obtained in an analog form, converted and read out digitally. 逆向きの加重曲線で加重計算した個別チャネルの信号総和に相当する上方信号と下方信号を読み出し、デジタル変換してコンピュータに送り込む、先行請求項の少なくとも1項に記載の装置構成。The apparatus configuration according to at least one of the preceding claims, wherein an upper signal and a lower signal corresponding to the signal sum of the individual channels weighted and calculated by the inverse weighting curve are read out, digitally converted, and sent to a computer. 画像の形成に位置信号と総合信号が使用される、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, wherein the position signal and the integrated signal are used for forming an image. カラーコード化された蛍光画像が形成される、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, wherein a color-coded fluorescent image is formed. 別な画像によりオーバーラップが行なわれる、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, wherein the overlap is effected by another image. 位置信号及び総合信号がルックアップ・データと組み合される、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, wherein the position signal and the total signal are combined with the lookup data. ルックアップ・データによってさまざまな色素の表示及び/又は形成画像の展開表示がなされる、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, wherein the look-up data provides an indication of various dyes and / or an expanded indication of the formed image. 検出チャネル内の比較器を通じて測定信号と基準信号との比較を行ない、基準信号以下及び/又は基準信号超過の場合に作動指示器の変更を行なう、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, wherein the comparison of the measurement signal with the reference signal is performed via a comparator in the detection channel, and the activation indicator is changed if the reference signal is below and / or over the reference signal. . 必要に応じ、それぞれの検出チャネルの遮断及び/又は無応答化を行なう、先行請求項の少なくとも1項に記載の装置構成。The device configuration according to at least one of the preceding claims, wherein blocking and / or non-response of each detection channel is performed as necessary. スペクトル領域の分析対象幅を狭隘化させることによる、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, by narrowing the spectral width of the spectral region to be analyzed. 検出チャネルの信号をそれぞれ少なくとも一つの積分器の接続によって発生させる、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, wherein the signals of the detection channels are each generated by the connection of at least one integrator. 検出チャネルの信号を光子計数及び続いてのデジタル/アナログ変換によって発生させる、先行請求項の少なくとも1項に記載の装置構成。Device arrangement according to at least one of the preceding claims, wherein the signal of the detection channel is generated by photon counting and subsequent digital / analog conversion. 光子計数を時間の関数で行なう、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, wherein the photon counting is performed as a function of time. 単一及び/又は複数の光子蛍光を、及び/又は錯綜光子によって励起された蛍光を把握するための、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims for ascertaining single and / or multiple photon fluorescence and / or fluorescence excited by complex photons. 試料が、好ましくは微量滴定プレートであって、特に作用物質の検査において照射と検出が平行になされる、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, wherein the sample is preferably a microtiter plate, in which irradiation and detection are performed in parallel, in particular for testing active substances. 顕微鏡内における、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, in a microscope. 走査型近接場顕微鏡での検出のための、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims for detection with a scanning near-field microscope. 蛍光と相関させた分光器における単一光子及び/又は多光子の色素蛍光検出のための、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims for single-photon and / or multi-photon dye fluorescence detection in a spectrometer correlated with fluorescence. 共焦点型検出による、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, by confocal detection. 走査装置による、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, comprising a scanning device. 照射においてX/Yスキャナを用いる、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, wherein an X / Y scanner is used in the irradiation. X/Y走査テーブルによる、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, using an X / Y scanning table. 非共焦点型検出による、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, by non-confocal detection. 走査装置による、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, comprising a scanning device. デスキャン検出による、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, based on descan detection. ブライトフィールド結像による、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, by bright field imaging. 点結像による、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, by point imaging. ノンデスキャン検出による、先行請求項の少なくとも1項に記載の装置構成。The device configuration according to at least one of the preceding claims, wherein the device configuration is based on non-descanning detection. ブライトフィールド結像による、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, by bright field imaging. 非走査、共焦点又は非共焦点での検出及び点結像又はブライトフィールド結像による、先行請求項の少なくとも1項に記載の装置構成。Apparatus arrangement according to at least one of the preceding claims, by non-scanning, confocal or non-confocal detection and point or bright field imaging. X/Y走査テーブルによる、先行請求項の少なくとも1項に記載の装置構成。Apparatus configuration according to at least one of the preceding claims, using an X / Y scanning table.
JP2002506104A 2000-06-29 2001-06-22 Method and apparatus configuration for optically grasping characteristic characteristic values depending on wavelength of illuminated sample Expired - Fee Related JP3836426B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10033180A DE10033180B4 (en) 2000-06-29 2000-06-29 Method for the detection of dyes in fluorescence microscopy
PCT/EP2001/007101 WO2002001222A2 (en) 2000-06-29 2001-06-22 Method and device for detecting dyes in the field of fluorescence microscopy

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006032476A Division JP4452850B2 (en) 2000-06-29 2006-02-09 Method and apparatus configuration for optically grasping characteristic characteristic values depending on wavelength of illuminated sample

Publications (2)

Publication Number Publication Date
JP2004502173A true JP2004502173A (en) 2004-01-22
JP3836426B2 JP3836426B2 (en) 2006-10-25

Family

ID=7648207

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2002506104A Expired - Fee Related JP3836426B2 (en) 2000-06-29 2001-06-22 Method and apparatus configuration for optically grasping characteristic characteristic values depending on wavelength of illuminated sample
JP2006032476A Expired - Fee Related JP4452850B2 (en) 2000-06-29 2006-02-09 Method and apparatus configuration for optically grasping characteristic characteristic values depending on wavelength of illuminated sample

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2006032476A Expired - Fee Related JP4452850B2 (en) 2000-06-29 2006-02-09 Method and apparatus configuration for optically grasping characteristic characteristic values depending on wavelength of illuminated sample

Country Status (4)

Country Link
EP (1) EP1266197A2 (en)
JP (2) JP3836426B2 (en)
DE (1) DE10033180B4 (en)
WO (1) WO2002001222A2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006527858A (en) * 2003-06-16 2006-12-07 カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング Method for fluorescence microscopy
WO2010041560A1 (en) * 2008-10-10 2010-04-15 学校法人 慶應義塾 QUANTITATIVE EVALUATION METHOD AND DEVICE FOR ZETA POTENTIAL, pH OR TEMPERATURE DISTRIBUTION AT WALL SURFACE, AND QUANTITATIVE VISUALIZATION METHOD AND DEVICE FOR SURFACE MODIFICATION
JP2010092041A (en) * 2008-10-10 2010-04-22 Carl Zeiss Microimaging Gmbh Method for imaging sample using microscope, microscope and data storage carrier
JP2015127703A (en) * 2013-12-27 2015-07-09 パロ・アルト・リサーチ・センター・インコーポレーテッドPalo Alto Research Center Incorporated Sensor apparatus and method based on wavelength centroid detection

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10222779A1 (en) * 2002-05-16 2004-03-04 Carl Zeiss Jena Gmbh Method and arrangement for examining samples
DE102005020543A1 (en) 2005-05-03 2006-11-09 Carl Zeiss Jena Gmbh Method and device for adjustable change of light
DE102005058184A1 (en) * 2005-12-01 2007-06-14 Friedrich-Schiller-Universität Jena Motion object e.g. eye-ground, fluorescence and/or reflection spectra detecting method for use during e.g. analysis of sample, involves accumulating local fluorescence and/or reflection signals and spectrometrically evaluating signals
DE102005058185A1 (en) * 2005-12-01 2007-06-14 Friedrich-Schiller-Universität Jena Object e.g. fundus of eye, region`s fluorescence and/or reflection spectra detecting method, involves forming difference signal from accumulated signals for spectral evaluation and presentation of fluorescence and/or reflection spectra
DE102006034905B4 (en) 2006-07-28 2015-07-30 Carl Zeiss Microscopy Gmbh Arrangement for signal processing at the output of a multi-channel detector
US7532128B2 (en) * 2006-10-25 2009-05-12 Alverix, Inc. Position sensitive indicator detection
DE102007040238A1 (en) 2007-08-25 2009-03-05 Carl Zeiss Microimaging Gmbh Method for laser scanning microscopy and beam distributor
DE102007054602A1 (en) * 2007-11-15 2009-05-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Condition parameter's distribution detecting method for use in e.g. medical diagnosis, involves registering signals with different wavelengths from probes by using camera, and separately detecting signals based on output signals of camera
JP5244633B2 (en) * 2008-02-04 2013-07-24 オプテックスエフエー株式会社 Light intensity monitor sensor and image processing system having the same
DE102009006728A1 (en) 2009-01-29 2010-08-05 Carl Zeiss Microimaging Gmbh Optical arrangement for use in deflection beam path of laser-scanning-microscope, has polarization device provided upstream to dispersive element in deflection beam path and adjusting polarization direction for light detection
DE102009038028A1 (en) 2009-08-18 2011-02-24 Carl Zeiss Microlmaging Gmbh Detector arrangement with increased sensitivity
DE102009043745A1 (en) 2009-09-30 2011-04-07 Carl Zeiss Microlmaging Gmbh Variable filtering spectral detector by spatial color separation and laser scanning microscope
DE102011104379B4 (en) 2011-06-18 2021-11-25 Carl Zeiss Microscopy Gmbh Scanning confocal microscope and use, control method and programmable control unit for such a microscope
JP5867073B2 (en) * 2011-12-28 2016-02-24 富士通株式会社 Resin cure state monitoring device and resin cure state monitoring method
DE102012203736A1 (en) 2012-03-09 2013-09-12 Carl Zeiss Microscopy Gmbh Scanning microscope with spectral detection
US10317390B2 (en) * 2014-09-08 2019-06-11 University Of Vienna Recording dynamics of cellular processes
JP7424286B2 (en) 2018-05-30 2024-01-30 ソニーグループ株式会社 Fluorescence observation device and fluorescence observation method
WO2022028694A1 (en) * 2020-08-05 2022-02-10 Leica Microsystems Cms Gmbh Method for adjusting the illumination in a fluorescence microscope, and corresponding fluorescence microscope

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0463600B1 (en) * 1990-06-22 1995-12-20 Matsushita Electric Industrial Co., Ltd. Method of spectral measurement
US5309486A (en) * 1992-11-12 1994-05-03 Westinghouse Electric Corp. Non-contact flaw detection for cylindrical nuclear fuel pellets
DE4331570C2 (en) * 1993-08-17 1996-10-24 Hell Stefan Process for the optical excitation of a sample
DE4416558C2 (en) * 1994-02-01 1997-09-04 Hell Stefan Method for optically measuring a sample point of a sample and device for carrying out the method
US5723288A (en) * 1994-05-06 1998-03-03 The University Of North Carolina At Chapel Hill Method of fluorescent detection of nucleic acids and cytoskeleton elements using bis-dicationic aryl furans, and kits useful therefor
DE19510102C1 (en) * 1995-03-20 1996-10-02 Rainer Dr Uhl Confocal fluorescence microscope
US5612540A (en) * 1995-03-31 1997-03-18 Board Of Regents, The University Of Texas Systems Optical method for the detection of cervical neoplasias using fluorescence spectroscopy
JPH09119897A (en) * 1995-10-24 1997-05-06 Nippon Soken Inc Apparatus for detecting adsorptive species
US5859700A (en) * 1995-11-22 1999-01-12 Kairos Scientific, Inc. High resolution imaging microscope (HIRIM) and uses thereof
DE19702914C2 (en) * 1997-01-28 1998-12-24 Max Planck Gesellschaft Method and arrangement for determining predetermined properties of target particles of a sample medium
DE19701703A1 (en) * 1997-01-21 1998-07-23 Zeiss Carl Jena Gmbh Microscope system for determining emission distribution of light emitting samples e.g. in semiconductor ICs
DE19722790B4 (en) * 1997-05-30 2006-01-05 Carl Zeiss Jena Gmbh Arrangement and method for time-resolved measurement according to the scanner principle
WO1999001750A1 (en) * 1997-07-02 1999-01-14 Spectra Code, Inc. Raman system for rapid sample identification
DE19915137C2 (en) * 1999-03-26 2001-10-18 Michael Schaefer Fluorescence microscopy method for quantifying multiple fluorochromes in a multi-colored sample and uses of the method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006527858A (en) * 2003-06-16 2006-12-07 カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング Method for fluorescence microscopy
WO2010041560A1 (en) * 2008-10-10 2010-04-15 学校法人 慶應義塾 QUANTITATIVE EVALUATION METHOD AND DEVICE FOR ZETA POTENTIAL, pH OR TEMPERATURE DISTRIBUTION AT WALL SURFACE, AND QUANTITATIVE VISUALIZATION METHOD AND DEVICE FOR SURFACE MODIFICATION
JP2010092041A (en) * 2008-10-10 2010-04-22 Carl Zeiss Microimaging Gmbh Method for imaging sample using microscope, microscope and data storage carrier
JP5328799B2 (en) * 2008-10-10 2013-10-30 学校法人慶應義塾 Method and apparatus for quantitative evaluation of distribution of zeta potential on wall surface, and method and apparatus for quantitative visualization of surface modification pattern
US8592781B2 (en) 2008-10-10 2013-11-26 Keio University Method and apparatus for quantitative evaluation of wall zeta-potential, and method and apparatus for quantitative visualization of surface modification pattern
JP2015127703A (en) * 2013-12-27 2015-07-09 パロ・アルト・リサーチ・センター・インコーポレーテッドPalo Alto Research Center Incorporated Sensor apparatus and method based on wavelength centroid detection

Also Published As

Publication number Publication date
WO2002001222A2 (en) 2002-01-03
JP2006138875A (en) 2006-06-01
EP1266197A2 (en) 2002-12-18
JP3836426B2 (en) 2006-10-25
DE10033180A1 (en) 2002-05-29
WO2002001222A3 (en) 2002-10-03
JP4452850B2 (en) 2010-04-21
DE10033180B4 (en) 2006-08-31

Similar Documents

Publication Publication Date Title
JP4452850B2 (en) Method and apparatus configuration for optically grasping characteristic characteristic values depending on wavelength of illuminated sample
US6891613B2 (en) Method for the detection of dyes in fluorescence microscopy
JP4509940B2 (en) Method and apparatus for determining wavelength dependent characteristics of illuminated samples
US6858852B2 (en) Method and apparatus for rapid change of fluorescence bands in the detection of dyes in fluorescence microscopy
US7009699B2 (en) Method for investigating a sample
JP4783931B2 (en) Method for increasing the spectroscopic and spatial resolution of a detector
US7420674B2 (en) Method and arrangement for analyzing samples
US7271897B2 (en) Method for increasing the spectral and spatial resolution of detectors
US6703621B2 (en) Method for the optical acquisition of characteristic sizes of an illuminated sample
Sytsma et al. Time‐gated fluorescence lifetime imaging and microvolume spectroscopy using two‐photon excitation
US7468796B2 (en) Multiple-color monochromatic light absorption and quantification of light absorption in a stained sample
US20130302905A1 (en) Increased depth-resolution microscopy
US7257289B2 (en) Spectral microscope and method for data acquisition using a spectral microscope
EP2175301B2 (en) Method for imaging a sample using a microscope, microscope and data storage carrier
US6552794B2 (en) Optical detection method for improved sensitivity
Hibbs et al. Practical confocal microscopy
CN116249891A (en) Method for detecting emitted light, detection device and laser scanning microscope

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050112

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20050112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050112

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20050221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050301

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050519

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050526

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050830

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051011

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20051124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060209

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060726

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090804

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100804

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110804

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110804

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120804

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120804

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130804

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees