JP2018529106A - タイヤ用取扱装置 - Google Patents

タイヤ用取扱装置 Download PDF

Info

Publication number
JP2018529106A
JP2018529106A JP2018524528A JP2018524528A JP2018529106A JP 2018529106 A JP2018529106 A JP 2018529106A JP 2018524528 A JP2018524528 A JP 2018524528A JP 2018524528 A JP2018524528 A JP 2018524528A JP 2018529106 A JP2018529106 A JP 2018529106A
Authority
JP
Japan
Prior art keywords
amplitude
time
amplitudes
correlation
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018524528A
Other languages
English (en)
Other versions
JP6820332B2 (ja
JP2018529106A5 (ja
Inventor
トーマス カルクブレンナー
トーマス カルクブレンナー
ラルフ ヴォレシェンスキー
ラルフ ヴォレシェンスキー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2018529106A publication Critical patent/JP2018529106A/ja
Publication of JP2018529106A5 publication Critical patent/JP2018529106A5/ja
Application granted granted Critical
Publication of JP6820332B2 publication Critical patent/JP6820332B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6408Fluorescence; Phosphorescence with measurement of decay time, time resolved fluorescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/58Optics for apodization or superresolution; Optical synthetic aperture systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

本発明は、デジタル蛍光画像を作成するための方法に関するものであり、当該方法においては、ピクセルごとに対象物平面から来る放出光が、それぞれ1つの測定時点に割り当てられた一連の振幅(I)へ変換され、また、一連の振幅(I)が少なくとも1つの時間シフトだけ互いにシフトされて自己相関が求められ、それぞれの時間シフト(τ)に関して1つの特有の相関振幅(Kτ)が形成され、当該相関振幅(Kτ)から全振幅が検出される。

Description

本発明は、蛍光性の色素を有するサンプルからデジタル蛍光画像(電子的画像データ)を作成するために用いられる方法に関している。
タンパク質の局在化や組織試料及び細胞(以下「試料」と称する)内部でのタンパク質の分布を描写するため、蛍光顕微鏡は非常に効果的な光学顕微鏡の手段である。それに関連し、タンパク質にドッキングする蛍光性の色素が、顕微対象の試料へと狙って導入される。用いられる色素に応じて、特定の波長(励起波長)の光(励起光)で照射することによって、この色素は励起され、また、色素分子(蛍光色素)の電子はより高いエネルギーレベルへと上昇される。短い滞在時間の後、励起された複数の電子はそれぞれ、励起波長よりも長い特定の波長(放出波長)の光(放出光)を放出しながら、再びその基底状態へと戻る。1つの個別の電子はその際、1つの光子又はフォトンを放出する。この特性が、タンパク質やその他の物質を可視化するために用いられる。
蛍光顕微鏡が試料の視覚的な観察のみ限らずに利用される場合、蛍光顕微鏡は、カメラ及びマトリックス状に配設された複数の検出器を有する典型的な広視野顕微鏡、及び、1つの単独の検出器のみ有するレーザー走査顕微鏡、に大別される。どちらの種類の顕微鏡も今日一般的であるが、レーザー走査顕微鏡は、典型的な広視野蛍光顕微鏡に比べて、多くの長所を有している。
レーザー走査顕微鏡は、通常、共焦点型顕微鏡である、すなわち、対象平面へ入れられる励起光の焦点は、1つの共役面、画像面へ描写され、そこには、1つの単独の検出器が、通常は前方に配されるピンホールと共に、配置されている。当該ピンホールによって、僅かな対象野部分(オブジェクトフィールド部分)の放射光のみが、すなわち極僅かなピクセルの放射光のみが、検出器へと導かれる。これは、典型的な広視野蛍光顕微鏡に比べて、焦点平面のみから来る放射光の光子が検出されまた信号形成に寄与する、という決定的な長所を有している。この様態では、複数の試料(サンプル)が層ごとに顕微観察され得て、また、顕微観察された層ごとの信号から作成された蛍光画像が1枚の3次元的な画像へと合成される。
通常は2つのガルバノミラーから構成されるなるレーザー走査システムにより1つのスキャン周波数で対象野が走査されることによって、層ごとの蛍光画像は獲得される。なおその際、当該スキャン周波数から、ピクセルごとにピクセル滞在時間がもたらされる。ピクセル滞在時間の間に検出器によって検知された放射光は、この検出器により電気的にアナログの検出信号へと変換され、当該検出信号は、レーザー走査システムのそれぞれの位置の情報に基いて、それぞれ1つのピクセルに割り当てられる。アナログの検出信号は先ず、予め設定(プリセット)されているクロック周波数を用いてデジタル化される。それに関して、レーザー走査顕微鏡の分野では、基本的に2種類のデジタル化の方法が知られている。
第1の種類のデジタル化は、アナログ信号に関しての積分である。それは、信号検出の継続時間(検出時間)が、ピクセル滞在時間と同一のオーダー(スケール)である場合に用いられる、すなわち検出時間がピクセル滞在時間よりも僅かにだけ短い場合に用いられる。この場合アナログ信号に関して形成された積分値及び検出時間から、検出器の一度の読み出しで、ピクセルごとに1つの平均値(平均振幅)が導き出される。なお、当該平均値は当該ピクセルに割り当てられる全振幅を表している。
比較的大きな全振幅を形成することが可能であるので、蛍光性の色素の光線の強度がごく僅かのみであったことを理由に、以前は特にこの積分方法が用いられた。
第2の種類のデジタル化は、アナログの検出信号の高速な走査(サンプリング)である。それは、有利には検出時間が明らかにより短い場合に用いられる、特にはピクセル滞在時間と比較して数オーダー分だけより短い場合に用いられる。従って、ピクセル滞在時間に関して、複数の測定時点(信号検出の期間が簡略化され1つの時点と見なされる、或いは、測定時点は検出器の読み出し時点である)に対して、それぞれ1つの振幅が作り出される、また、一連の振幅から平均値(平均振幅)が作成される。なお、当該平均振幅は全振幅としてその都度1つのピクセルに割り当てられる。
現代的なA/D変換器を用いる場合この方法の複数の長所が優勢であるので、この高速走査は今日、レーザー走査顕微鏡において一般的である。
通常、検出信号は一定のスキャンレートで変換され、当該スキャンレートは、可能な最短のピクセル滞在時間よりも明らかに高い、好ましくは少なくとも1オーダー高い、特には2オーダー高い。ピクセルごとの測定時点の数は、ピクセル滞在時間からもたらされる。それに対しこのピクセル滞在時間は、スキャン調整(フレームレート、ピクセル数、スキャンサイズ)によって決定される。ピクセル滞在時間を長くすることは、従って、ピクセルごとの測定時点の数の増加を導く。
信号ノイズ比を改善するため、通常はピクセル待機時間が増加される。それに伴う欠点は、全てのピクセルのための複数の全振幅からラスターグラフィクスの形態で形成される蛍光画像を獲得するためのトータル時間が増加しまたフレームレートが減少することである。信号ノイズ比は全振幅における割合の比率によって特定され、当該全振幅は一方では放射光により、そして他方ではノイズに起因するものである。
本発明の課題は、フレームレートを維持したままで、改善された信号ノイズ比を有するデジタル蛍光画像を提供する方法を見つけ出すことである。
この課題はデジタル蛍光画像を作成する方法のために解決される。当該方法においては、蛍光性の色素を有する試料が、レーザー走査顕微鏡の対象面に配され、また時間的に連続して、1ピクセル単位でピクセル滞在時間に渡って励起光による作用を受け、それによりピクセルごとに放射光が発生される。ピクセルごとの放射光は、1つの検出器によって検出され、それぞれ1つの測定時点に割り当てられた一連の振幅(振幅のシーケンス)へと変換される。これらの複数の振幅から、ピクセルごとにその都度1つの全振幅が作成される。全てのピクセルの複数の全振幅は、1枚の蛍光画像へとまとめられる。それぞれ1つのピクセルに割り当てられた全振幅は、1つ又は複数の相関振幅から算出され、また従って、ノイズは全振幅にはほぼ入り込まず、その結果より高い信号ノイズ比を有する蛍光画像が生じることが、本発明にとって本質的である。
そのため、後の測定時点から始まる複数の振幅の連続(一連の振幅、振幅のシーケンス)が、前の測定時点から始まる複数の振幅の同一の連続と、少なくとも一度相関が見られる。後の測定時点及び前の測定時点は、その際、少なくとも1つの時間シフト(タイムラグ)を有している。すなわち、1つの時間シフトを用いたただ一度の自己相関の代わりに、複数の振幅の連続は、複数回自己相関されてもよく、その際、自己相関毎に別の時間シフトが用いられる。時間シフトごとに、それぞれの時間シフトに特有の(特性的な)1つの相関振幅が形成され、そして全振幅が形成された複数の相関振幅から算出される。相関可能な振幅ペアの数は、時間シフトを差し引きピクセル滞在時間ごとの全ての測定時点の数に対応する。
好ましくは、相関振幅は以下の式、
τ=((I(t)−I平均)x(I(t)−I平均))平均
を用いて算出される。その際、I(t)は前の測定時点tでの振幅、I(t)は後の測定時点tでの振幅、m=n+τであり、I平均は全ての振幅の平均値として算出される平均振幅である。
相関振幅Kτが平均振幅の2乗I平均 で割られることにより正規化(規格化)される場合、有利である。
異なる時間シフトτのために相関振幅Kτが算出され、比較の上最大の相関振幅Kτを有する時間シフトが、確定されまたそれが全振幅として用いられる場合、蛍光画像の質を改善することが出来る。
比較の上最大の相関振幅Kτに割り当てられた時間シフトτは、有利には、蛍光性の色素に割り当ててデータベースに保存され得る。
代替的には、相関振幅Kτが異なる時間シフトτに関して算出されてもよく、また、相関振幅Kτの平均値が確定されそして全振幅として用いられてもよい。
また、相関振幅Kτが異なる時間シフトτに関して算出されてもよく、また、相関振幅Kτの合計が確定されそして全振幅として用いられてもよい。
測定時点の総数は400を超えており、また、時間シフトτは50から150の間にと有利であり、その結果少なくとも250の振幅ペアの相関が求められる。
本発明に従う方法は、蛍光性の色素が放出光を発する際に少なくとも相関プロセスの影響下にあることを利用している、すなわち、ピクセル滞在時間の継続時間に渡る放出光の強度を表す蛍光信号が少なくとも1つの関数の影響下にあることを利用している。
この場合、相関プロセスとしては、例えば、フォトブリンキング(蛍光明滅現象)やフォトブリーチング(蛍光褪色現象)が知られている。
フォトブリンキングとしては、暗状態と交替して特定の時間間隔に対する光子の放出が理解される。励起光を照射される蛍光性の色素の電子は、高いエネルギーレベルへと励起され、また、エネルギー的に低位のレベルへ戻る際に、光子を放出する。しかしながらそれは連続的に発生せず、その間に、光子が放出されない暗状態と称されるフェーズが存在する。この暗状態は、例えば所謂三重項状態、又は、蛍光放射が起こり得ないその他の状態、であり得る。蛍光色素分子(フルオロフォア)を観察する際に、検知時間内に1つの光子のみが検出器に当たる程に短い検知時間が用意される場合、これは典型的なオンオフ現象を導く。この減少のタイムスケール及びその正確な原因は、多岐に渡っており、またその細部までは知られていない。蛍光色素分子が静的に振る舞うこと前提とする場合、すなわち1つのピクセル内のそれらの総数が少なくともピクセル滞在時間に渡って変更せずに保たれることを前提とする場合、短い滞在時間において、ブリンキングに基づく周期的な強度変動が検出され得る。
フォトブリーチングとしては、非蛍光状態への蛍光色素分子の非可逆的な移行が理解される。これに関しても、タイムスケール及び原因は多岐に渡りその細部までは知られていない。励起光の強度に対するフォトブリーチングの依存性が知られている。とりわけ、共焦点型顕微鏡において励起光が試料へ通常のように強集束する場合では、フォトブリーチングは非常に素早く進行するプロセスである。フォトブリーチングは観察期間の進行とともに蛍光信号の減少を導くので、一般的に蛍光顕微鏡内でのフォトブリーチングは望まれない事象である。
また、両方の現象(フォトブリーチング及びフォトブリンキング)が、異なる蛍光性物質に関して、また、異なる環境条件(温度、pH値、酸素濃度)において、異なる特性で発現することも知られている。
フォトブリンキングと同様にフォトブリーチングも、悪化した全信号を導くが、それは複数の光子の合計によって形成される僅かな放出光が検出され、そしてそれに伴い信号ノイズ比を悪化させるからである。
本発明に従う方法を実行するためには、上述のこれらのプロセスや場合によっては発生する相関性のある別のプロセスの経過及びタイムスケールを知っている必要はなく、これらが発生しまた信号処理のために使用されるという事実のみが必要である。
1つのピクセルのためにその都度の1つの全振幅が、従来技術のように例えば一連の複数の振幅の平均値形成を介して形成されるのではなく、一連の振幅(振幅シーケンス)の自己相関を介して形成されることにより、複数の相関プロセスが信号処理のために用いられる。
自己相関は、基本的に信号処理から知られており、また、1つの信号(関数)の相関又は連続する振幅の相関にして、より前の時点に対するそれ自体との相関を表す。
時間に関する関数としての放出光の強度の変化から情報が獲得される蛍光相関顕微鏡からも、自己相関法の使用は知られている。1つの相関関数が、それ自体が相関する関数の1つの時間シフトに渡り形成される。形成された相関関数からは、例えば拡散時間を導き出すことが可能である。当該拡散時間は、相関振幅が最大から相関する関数の間の時間シフトが最小のみである場合において特定の大きさ例えば半分の大きさに減少する時間、に対応する。
本発明に従う方法は、以下において図面を用いて実施例を参照しながらより詳細に説明される。
ピクセル滞在時間Tに渡り時間tに応じて変化する蛍光の光線強度(振幅)I(t)を表している。 視覚化されたデジタル蛍光画像を示しており、当該蛍光画像においては画像ピクセルのグレースケールを決定する全振幅は、従来技術に従う平均値形成によって算出される(異なるグレースケールはこの図面では異なるハッチングで表されている)。 視覚化されたデジタル蛍光画像を示しており、当該蛍光画像においては画像ピクセルのグレースケールを決定する全振幅は、従来技術に従う平均値形成によって算出される(異なるグレースケールはこの図面では異なるグレースケールレベルで表されている)。 視覚化されたデジタル蛍光画像を示しており、当該蛍光画像においては画像ピクセルのグレースケールを決定する全振幅は、本発明に従い自己相関によって算出される(異なるグレースケールはこの図面では異なるハッチングで表されている)。 視覚化されたデジタル蛍光画像を示しており、当該蛍光画像においては画像ピクセルのグレースケールを決定する全振幅は、本発明に従い自己相関によって算出される(異なるグレースケールはこの図面では異なるグレースケールレベルで表されている)。
本発明に従う方法は、1つのピクセル滞在時間内の複数の個別の測定時点に割り当てられた複数の振幅を獲得するまでは、高速走査(サンプリング)によるアナログ検出信号のデジタル化を用いた従来技術で説明される方法と同じものである。
アナログの検出信号が、複数回の走査(検出器の読み出し)によって、多数の振幅の連続へとデジタル化されることが重要である。これは実際には、単独の検出器のみを用いて、また従って1つのレーザー走査顕微鏡を用いて可能であり、それは通常はシングルスポット装置として実施され得て、しかしながらまたマルチスポット装置としても実施され得るものであって、当該装置においては例えば4本の別々の光線が同時に試料上を走査(スキャン)し、その結果、蛍光光線は4つの割り当てられた個別の検出器によって検出される。原理上、対象野(対象フィールド)は、1ピクセルずつ励起光で作用させる代わりに、同時に照射されてもよく、また、その間に1つのカメラの1つの検出装置が複数回読み出されてもよい。しかしながら実際には、通常のカメラを用いては、フォトブリンキングを検出するために必要なμ秒範囲の短い検出時間は達成されない。更に、自己相関のための十分多くのそして十分に大きな振幅を獲得するために、それぞれのピクセルに作用するであろう光線強度は小さすぎ、また、可能な測定時点の数は少なすぎる。
蛍光画像を作成するため、励起光は、励起光源から来て対象平面へ、スキャンシステムを用いて順次連続してその都度のピクセル滞在時間Tに渡って個別の対象野部分(ピクセル)に合焦(フォーカス)される。尚その際、対象平面は、蛍光性の色素を用いてマーキングされた試料内又は試料上に存在している。その際、それぞれの関連するピクセル内の蛍光色素分子(フルオロフォア)は、放出光(エミッション光)を放出するために励起される。ピクセル滞在時間Tの間に1つのピクセルから発せられる放出光の強度は、放出される光子(フォトン)の総数によって特定されるものであり、検出器を介して検知される。
図1には、蛍光の光線強度I(t)のアナログ信号が、ピクセル滞在時間Tに渡る時間tとの関連で示されている。それは、フォトブリーチングに起因しまた減衰的な指数関数に類似の関数、及び、フォトブリンキングに起因しまたより短い時間スケールで変動する関数、の影響下にある。
アナログ/デジタル変換プロセスでは、より多くの測定時点に対して検出器が読み出され、また、測定時点毎に1つの振幅が形成される。その際、それぞれの測定時点の間隔は検出時間によって決定されている。従って、ピクセル滞在時間Tに渡る放出光の強度についてのアナログ信号は、強度に対して比例的な一連の振幅を用いて、デジタル信号へと変換される。それらの強度は、1つの検出時間の間にその都度検出され、また1つの測定時点に割り当てられる。ピクセル滞在時間Tに対する比率において検出時間がより短くなるほど、スキャン周波数また従ってアナログの関数の分解能は高くなる。
1つの測定時点に割り当てられた強度は、その都度の測定時点に割り当てられた検出時間内での通常のノイズの寄与並びに作用する光子の合計によって、形成される。
従って、1つのピクセル滞在時間Tの後には、1つのピクセルに対して、複数の振幅が存在し、当該複数の振幅は、それらを1つの測定時点に対してその都度割り当てることにより、1つのシーケンスを形成する。全ての振幅の平均値から得られる全振幅が平均振幅として形成される従来技術とは異なり、本発明に従う方法によれば、一連の振幅(振幅シーケンス)の、時間シフト(タイムラグ)τだけ延期されたそれ自体との自己相関によって、相関振幅Kτが形成される。この場合時間シフトτは無次元であって、それ自体と相関される一連の振幅との間にある測定点の数として理解されるべきものである。すなわち、第1の測定時点tから始まる一連の振幅及び第20の測定時点t20から始まる一連の振幅が相関されるとすると、時間シフトτは19である。時間シフトτの実際の継続時間は検出時間及び時間シフトτからもたらされる。
その都度1つの振幅ペアを形成する複数の振幅であって、固定的な時間シフトτを有しその結果m=n+τであるような先の測定時点t及び後の測定時点tの複数の振幅が、連続的に相互相関される。見やすさのため、振幅は、光学的信号を電気的信号へ変換した後でも、I(t)を用いて表される。相関振幅Kτはその都度、1つの時間シフトτに対して、先の振幅I(t)及び後の振幅I(t)の相関、及び、振幅の平均値I平均から、以下の数式
τ=((I(t)−I平均)x(I(t)−I平均))平均
に従ってもたらされ、その際、先の振幅I(t)及び後の振幅I(t)の測定時点は互いに時間シフトτを有している。
有利には相関振幅Kτは、規格化されてもよく、例えば振幅の平均値(平均振幅)の2乗を用いて規格化されてもよく、以下の数式
τ=((I(t)−I平均)x(I(t)−I平均))平均/I平均
に従って、もたらされる。
又は、振幅の最大値の2乗を用いて、以下の数式
τ=((I(t)−I平均)x(I(t)−I平均))平均/I最大
に従って、もたらされる。
それぞれの後の測定時点tについて、関連する先の測定時点tに対する振幅I(t)と全ての振幅の平均値I(t平均)の間の差、及び、それぞれの後の測定時点tn+τに対する振幅I(tn+τ)と全ての振幅の平均値I(t平均)の間の差、からの積が形成される。後の測定時点tに割り当てられた一連の積値(積値の連続、積値シーケンス)がもたらされ、当該積値の平均値は、相関振幅Kτを表す。ノイズは相関の影響下にはないので、そのようにして獲得される相関振幅Kτはノイズを含まない(ノイズフリーである)。
例えば1画像毎秒で256x256ピクセルのスキャンを行う場合、ピクセル滞在時間T=15μs及びスキャン周波数40MHzでは、610の測定時点がもたらされる。従って、所謂先の測定時点tの610個の振幅I(t)が使用可能であり、その際、1≦n≦610である。
相関振幅Kτの特定のため、所謂後の測定時点tの多数の振幅I(tn+τ)を自己相関のために使用可能とするために、時間シフトτの継続時間は、好ましくはピクセル滞在時間Tの半分よりも短いべきであるが、ピクセル滞在時間Tの1/5よりは長いべきである。本例においては従って、時間シフトτは有利には、第1の測定時点t及び第120の測定時点t120の間の数に対応し得て、従って時間シフトτは119となるであろう。この場合、410の振幅ペアが相関されであろう。
しかしながら基本的に時間シフトτは、実施例に比べて非常に少なく、10程度まで小さくてもよいし、また、非常に多く、550程度まで多くてもよい。
複数のデジタル蛍光画像は、通常ラスターグラフィクス(ビットマップ画像)として表示及び保存される。すなわち、複数のピクセルに割り当てられた複数の振幅は、対象平面内のピクセルの配置に対して相関するラスター内に保存される。
異なる蛍光性物質を備える試料のために作成されるべき蛍光画像の作成のためには、実験を介してその都度1つの最適な時間シフトτを見つけ出すこと、及び、最適な時間シフトτのための継続時間がデータベース内に保存されることが合目的である。その際当該時間シフトτに関して、もたらされる相関振幅Kτは最大限に大きい。
そのためには、特には対象平面の領域にして大きな蛍光信号が期待される領域における、個別のピクセルでの自動化された短時間の局所的測定を実施してもよく、また、その際獲得される複数の振幅を上述のように異なる時間シフトτのために算出してもよい。この局所的な測定は、対象領域に渡って確率的に又は等間隔で、自動的に分配され得る。局所的な測定の位置は、特に重要な試料部位を分析するために、利用者によって設定されてもよい。
最適な時間シフトτの継続時間は、データベースから求められてもよい。特性的なフォトブリンキング時間は、多くの一般的な色素に対して、文献から既知であり、また、時間シフトτの最適な継続時間である。これらの文献値は、蛍光性物質に割り当て、データベースに保存することが可能であり、それは、同一の蛍光性物質を有するその後のサンプルの顕微鏡検査のために、検出時間を鑑みて、少なくとも1つのスタート‐時間シフトを保存出来ることを目的としている。
従来技術としての平均値形成は通常、FPGA(現場でプログラム可能なゲートアレイ(field-programmable gate array))上で行われる。同様にして、自己相関振幅の形成もFPGA上で実行することが出来る。
ピクセル滞在時間Tの間の複数の測定時点にそれぞれ割り当てられた複数の振幅Iによって生成される、1つの同一のデジタル検出信号からは、並行して又は連続的に、全振幅が平均値形成及び自己相関によって算出され得て、また蛍光画像として表示され得る。
上述のように、1つのピクセルについての相関振幅Kτが、異なる時間シフトτに対して算出され得て、また、それらのうちの1つが蛍光画像を表示するために用いられ得る。また、蛍光画像の表示に関するピクセルごとに、異なる時間シフトτに対して計算された複数の相関振幅Kτが足し合わされ、及び/又は、平均されてもよい。そうして、特には時間シフトτの最適な継続時間が事前に知られていない場合に、信号ノイズ比を更に改善することが出来る。
図2a及び図2bには、それぞれ1つの蛍光画像が示されており、当該蛍光画像は従来技術に従いピクセルごとに1つの平均振幅を割り当てることによって作成される。これらの画像は、異なる大きさの平均振幅が、一方では異なるハッチングで表されており、他方では異なるグレースケールで表されている点で、異なっている。
図3a及び図3bには、それぞれ1つの蛍光画像が示されており、当該蛍光画像は本発明に従いピクセルごとに1つの相関振幅Kτを割り当てることによって作成される。これらの画像は、異なる大きさの平均振幅が、一方では異なるハッチングで表されており、他方では異なるグレースケールで表されている点で、異なっている。
図3a及び図3bでは、所謂クラスター形成(クラスタリング)が認められ、それは対象平面における蛍光性物質の局所的な集中を示している。その種のクラスター形成は、図2a及び図2bにおいて、蛍光信号及びノイズの重ね合わせに基いては、認めることが出来ない。

Claims (8)

  1. デジタル蛍光画像を作成するための方法であって、蛍光性の色素を有する試料が、レーザー走査顕微鏡の対象面に配され、また時間的に連続して、1ピクセル単位でピクセル滞在時間(T)に渡って励起光で作用され、それによりピクセルごとに放射光が発生され、当該放射光は検出器によって検出され、それぞれ1つの測定時点に割り当てられた振幅(I)の連続へと変換され、そこから全振幅が形成され、全てのピクセルの複数の全振幅が、1枚の蛍光画像へとまとめられる方法において、
    後の測定時点(t)から始まる複数の振幅(I)の連続が、前の測定時点(t)から始まる複数の振幅の同様の連続と、少なくとも一度自己相関され、前記前の測定時点(t)は前記後の測定時点(t)に対して時間シフト(τ)を有しており、時間シフトの1つに特有の1つの相関振幅(Kτ)がその都度形成され、また、形成された相関振幅(Kτ)の少なくとも1つから前記全振幅が算出されること、
    を特徴とする方法。
  2. 請求項1に記載方法において、
    前記相関振幅(Kτ)が以下の式
    τ=((I(t)−I平均)x(I(t)−I平均))平均
    を用いて算出され、
    その際、I(t)は前記前の測定時点(t)の振幅(I)、I(t)は前記後の測定時点(t)の振幅(I)、m=n+τ、そしてI平均は振幅(I)の平均値であること、
    を特徴とする方法。
  3. 請求項2に記載方法において、
    前記相関振幅(Kτ)が、前記振幅(I)の平均値の2乗で割られることにより正規化されること、
    を特徴とする方法。
  4. 請求項1から3の何れか一項に記載方法において、
    異なる時間シフト(τ)に対して前記相関振幅(Kτ)が算出され、また、比較の上最大の相関振幅(Kτ)を有する当該時間シフト(τ)が確定され、また全振幅として用いられること、
    を特徴とする方法。
  5. 請求項4に記載方法において、
    前記比較の上最大の全振幅を有する前記時間シフト(τ)が、蛍光性物質に割り当てられ、また、データベースに保存されること、
    を特徴とする方法。
  6. 請求項1から5の何れか一項に記載方法において、
    異なる時間シフト(τ)に対して前記相関振幅(Kτ)が算出され、また、複数の前記相関振幅(Kτ)の平均値が確定され、また全振幅として用いられること、
    を特徴とする方法。
  7. 請求項1から6の何れか一項に記載方法において、
    異なる時間シフト(τ)に対して前記相関振幅(Kτ)が算出され、また、複数の前記相関振幅(Kτ)の合計が確定され、全振幅として用いられること、
    を特徴とする方法。
  8. 請求項1から7の何れか一項に記載方法において、
    前記測定時点の総数が400を超えており、また、前記時間シフト(τ)が50から150の間にあること、
    を特徴とする方法。
JP2018524528A 2015-07-31 2016-07-27 デジタル蛍光画像を作成するための方法 Active JP6820332B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015112628.1A DE102015112628A1 (de) 2015-07-31 2015-07-31 Verfahren zur Erzeugung eines digitalen Fluoreszenzbildes
DE102015112628.1 2015-07-31
PCT/DE2016/100341 WO2017020887A1 (de) 2015-07-31 2016-07-27 Verfahren zur erzeugung eines digitalen fluoreszenzbildes

Publications (3)

Publication Number Publication Date
JP2018529106A true JP2018529106A (ja) 2018-10-04
JP2018529106A5 JP2018529106A5 (ja) 2019-09-05
JP6820332B2 JP6820332B2 (ja) 2021-01-27

Family

ID=56740726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018524528A Active JP6820332B2 (ja) 2015-07-31 2016-07-27 デジタル蛍光画像を作成するための方法

Country Status (6)

Country Link
US (1) US10539505B2 (ja)
EP (1) EP3329256B1 (ja)
JP (1) JP6820332B2 (ja)
CN (1) CN107850543B (ja)
DE (1) DE102015112628A1 (ja)
WO (1) WO2017020887A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034344A1 (ja) * 2022-08-09 2024-02-15 キヤノン株式会社 分析方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0409318A2 (en) * 1989-07-19 1991-01-23 ENIRICERCHE S.p.A. Method of determining thread speed
JP2002071567A (ja) * 2000-07-21 2002-03-08 Iss (Usa) Inc 高速高スループット分光計および方法
JP2005017282A (ja) * 2003-05-30 2005-01-20 Olympus Corp 受光ユニットおよびそれを含む測定装置
JP2008527359A (ja) * 2005-01-17 2008-07-24 バイオフォス・アーゲー 粒子の動的パラメータを測定するための方法およびデバイス
US20090290780A1 (en) * 2006-07-17 2009-11-26 Karsten Kottig Analysis method for chemical and/or biological samples
JP2012529119A (ja) * 2009-06-02 2012-11-15 ソーファスト ゲーエムベーハー 超解像光ゆらぎイメージング(sofi)
JP2013190221A (ja) * 2012-03-12 2013-09-26 Mitsui Eng & Shipbuild Co Ltd 蛍光検出装置及び蛍光検出方法
JP2013213756A (ja) * 2012-04-03 2013-10-17 Institute Of Physical & Chemical Research 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003050535A2 (de) * 2001-12-10 2003-06-19 Evotec Oai Ag Verfahren zur bestimmung von einflüssen unphysiologischer verbindungen, deren derivate und abbauprodukte auf organismen, organe und zellen
JP3984132B2 (ja) * 2002-09-17 2007-10-03 オリンパス株式会社 蛍光分光分析装置
DE10327486B4 (de) * 2003-06-17 2006-07-20 Leica Microsystems Cms Gmbh Vorrichtung zur Bestimmung gerichteter Transportprozesse
US7890157B2 (en) * 2003-08-19 2011-02-15 Cedars-Sinai Medical Center Method for fluorescence lifetime imaging microscopy and spectroscopy
ITFI20030261A1 (it) * 2003-10-15 2005-04-16 Istituto Naz Di Ottica Applic Ata Microscopio confocale multifotone con autocorrelatore
JP4914715B2 (ja) * 2004-06-21 2012-04-11 オリンパス株式会社 倒立顕微鏡システム
WO2006049180A1 (ja) * 2004-11-01 2006-05-11 Olympus Corporation 発光測定装置及び発光測定方法
DE102005000915A1 (de) * 2005-01-06 2006-07-20 Leica Microsystems Cms Gmbh Vorrichtung zur multifokalen konfokalen mirkoskopischen Bestimmung der räumlichen Verteilung und zur multifokalen Fluktuationsanalyse von fluoreszenten Molekülen und Strukturen mit spektral flexibler Detektion
FR2909859B1 (fr) * 2006-12-13 2011-02-11 Lionel Francois Simon Prothese articulaire de disque intervertebral
WO2009034458A2 (en) * 2007-09-11 2009-03-19 Universität Basel Oxygen permeable polymeric nanocontainers for encapsulation of sensitive compounds
DE102008029458B4 (de) * 2008-06-20 2019-02-07 Carl Zeiss Microscopy Gmbh Verfahren zum Aufzeichnen von Impulssignalen
JP4854042B2 (ja) * 2008-08-12 2012-01-11 Necエンジニアリング株式会社 画像生成方法、画像生成装置、および画像生成プログラム
JP5468805B2 (ja) * 2009-03-31 2014-04-09 オリンパス株式会社 画像解析方法および画像解析装置
EP2533048A4 (en) * 2010-02-03 2013-08-21 Prism Biolab Co Ltd CONNECTION TO THE BINDING OF NATURALLY OBTAINING DENATURED PROTEINS AND METHOD FOR SCREENING AFTER THIS CONNECTION
JP2012008055A (ja) * 2010-06-25 2012-01-12 Olympus Corp 画像解析方法および画像解析装置
JP5672147B2 (ja) * 2011-05-24 2015-02-18 コニカミノルタ株式会社 胸部診断支援情報生成システム
DE102011077269A1 (de) 2011-06-09 2012-12-13 Carl Zeiss Microimaging Gmbh Hochauflösende Lumineszenzmikroskopie
CN102436648B (zh) * 2011-08-11 2014-01-01 上海交通大学 基于背景荧光消除的目标荧光光谱解混方法
DE102011084315A1 (de) 2011-10-12 2013-04-18 Carl Zeiss Microscopy Gmbh Hochauflösende Lumineszenzmikroskopie
CN102510282B (zh) * 2011-10-25 2014-07-09 中国科学院空间科学与应用研究中心 一种时间分辨单光子计数二维成像系统及方法
CN103188989B (zh) * 2012-04-28 2015-05-27 清华大学 一种动态荧光分子断层图像的重建方法
DE102015107367A1 (de) * 2015-05-11 2016-11-17 Carl Zeiss Ag Auswertung von Signalen der Fluoreszenzrastermikroskopie unter Verwendung eines konfokalen Laserscanning-Mikroskops

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0409318A2 (en) * 1989-07-19 1991-01-23 ENIRICERCHE S.p.A. Method of determining thread speed
JP2002071567A (ja) * 2000-07-21 2002-03-08 Iss (Usa) Inc 高速高スループット分光計および方法
JP2005017282A (ja) * 2003-05-30 2005-01-20 Olympus Corp 受光ユニットおよびそれを含む測定装置
JP2008527359A (ja) * 2005-01-17 2008-07-24 バイオフォス・アーゲー 粒子の動的パラメータを測定するための方法およびデバイス
US20090290780A1 (en) * 2006-07-17 2009-11-26 Karsten Kottig Analysis method for chemical and/or biological samples
JP2012529119A (ja) * 2009-06-02 2012-11-15 ソーファスト ゲーエムベーハー 超解像光ゆらぎイメージング(sofi)
JP2013190221A (ja) * 2012-03-12 2013-09-26 Mitsui Eng & Shipbuild Co Ltd 蛍光検出装置及び蛍光検出方法
JP2013213756A (ja) * 2012-04-03 2013-10-17 Institute Of Physical & Chemical Research 多重蛍光画像の画像解析のための装置、システム、方法、およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034344A1 (ja) * 2022-08-09 2024-02-15 キヤノン株式会社 分析方法

Also Published As

Publication number Publication date
EP3329256B1 (de) 2022-09-21
EP3329256A1 (de) 2018-06-06
WO2017020887A1 (de) 2017-02-09
CN107850543B (zh) 2021-01-15
JP6820332B2 (ja) 2021-01-27
US10539505B2 (en) 2020-01-21
CN107850543A (zh) 2018-03-27
US20190003967A1 (en) 2019-01-03
DE102015112628A1 (de) 2017-02-02

Similar Documents

Publication Publication Date Title
US11204489B2 (en) High-resolution scanning microscopy with discrimination between at least two wavelength ranges
JP4709278B2 (ja) 光変換可能な光学標識を用いる光学顕微鏡法
US10234667B2 (en) Evaluation of signals of fluorescence scanning microscopy using a confocal laser scanning microscope
US9201011B2 (en) Increased depth-resolution microscopy
US8610086B2 (en) Increased resolution microscopy
US10955348B2 (en) Method of locally imaging a structure in a sample at high spatial resolution in order to detect reactions of an object of interest to altered environmental conditions
US7420674B2 (en) Method and arrangement for analyzing samples
US8168955B2 (en) Photon event distribution sampling apparatus and method
JP6422616B1 (ja) データ作成方法及びデータ使用方法
US9383570B2 (en) Image analysis method and image analysis apparatus
JP5746161B2 (ja) 顕微鏡画像における蛍光の評価方法
US20140097358A1 (en) Method and Apparatus for Imaging a Structure Marked with a Fluorescent Dye
JP6957641B2 (ja) 荷電粒子線装置およびそれを用いた試料観察方法
US20200333252A1 (en) Device and method for super-resolution fluorescence microscopy and fluorescence lifetime measurement
US20230384223A1 (en) Method and fluorescence microscope for determining the location of individual fluorescent dye molecules by means of adaptive scanning
US10119914B2 (en) Fast high-resolution microscopy method and fast high-resolution microscope
JP2016537624A (ja) 超解像顕微鏡の、又はそれに関する改良
JP6820332B2 (ja) デジタル蛍光画像を作成するための方法
JP2022122181A (ja) 補正パラメータ設定方法及びデータ補正方法
US20200132976A1 (en) Luminescence imaging apparatus and methods
KR101775615B1 (ko) 고감도 영상 획득방법
D’Angelo et al. Light-field microscopy with correlated beams
CN111579486A (zh) 基于低功率受激发射损耗的超分辨成像方法及成像系统

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A525

Effective date: 20180323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R150 Certificate of patent or registration of utility model

Ref document number: 6820332

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250