JP2015207018A - ダイナミック・レンジが拡張された画像を生成するための方法、およびこのような方法を実施するための制御ユニット(34)またはコンピュータ・プログラム、および光学系 - Google Patents

ダイナミック・レンジが拡張された画像を生成するための方法、およびこのような方法を実施するための制御ユニット(34)またはコンピュータ・プログラム、および光学系 Download PDF

Info

Publication number
JP2015207018A
JP2015207018A JP2015126514A JP2015126514A JP2015207018A JP 2015207018 A JP2015207018 A JP 2015207018A JP 2015126514 A JP2015126514 A JP 2015126514A JP 2015126514 A JP2015126514 A JP 2015126514A JP 2015207018 A JP2015207018 A JP 2015207018A
Authority
JP
Japan
Prior art keywords
signal
evaluation
image
dynamic range
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015126514A
Other languages
English (en)
Other versions
JP6086948B2 (ja
Inventor
メーラー、グンター
Moehler Gunter
シュミット、ディートマー
Schmidt Dietmar
ホルプ、オリバー
Holub Oliver
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of JP2015207018A publication Critical patent/JP2015207018A/ja
Application granted granted Critical
Publication of JP6086948B2 publication Critical patent/JP6086948B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/10Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/20Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void intensity of the measured or reference value being varied to equalise their effects at the detectors, e.g. by varying incidence angle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】わずかな手間で短い時間内に拡張ダイナミック・レンジの画像を生成する光学系を提供する。【解決手段】全体画像2を作成するために、異なった試料領域(S、T)について複数の評価方法(SPC1、ADC、2D−PC)の1つが、結果信号の1つに依存しておよび/または複数の並行した評価チャネルの1つからの1つの中間結果信号に依存して選択される。さまざまな信号評価から個々の領域ごとに選択をすることは、該当する領域のために最適なダイナミック・レンジを持つ信号評価を使用することを可能にする。これにより、結果としての画像は、個々の画素のダイナミック・レンジの集合和から生じる、拡張されたダイナミック・レンジを得る。【選択図】図4

Description

本発明は、試料の少なくとも一部分の、少なくとも2次元の画像を生成するための方法であって、試料が走査ユニット(英語「Scanner」)で走査され、試料のさまざまな領域でそのつど少なくとも1つの光信号が、好ましくは顕微鏡対物レンズを介して捉えられて電気信号に変換され、その際、電気信号が、複数の並行した信号の評価が相互に異なるため、そのダイナミック・レンジが異なる評価チャネルに分配され、各々の評価チャネル内でそれぞれの結果信号が生成される方法、ならびに1つの走査ユニットおよび光信号を電気信号に変換するための1つの光電子検出器を含む検出光路と、その信号評価がそれぞれ異なる複数の並行した評価チャネルと、電気信号を評価チャネルへ分配するための分配回路とを備える光学系に関するものである。光学系は例えば望遠鏡、顕微鏡、材料検査装置および他の分析装置であり得る。この場合光源は任意であり、そのため本発明は例えばシンチレーションと関連して電離放射線の検出に使用することができる。しかしながら本発明は好ましくは蛍光の検出に使用される。
蛍光色素を使用する顕微鏡検査は、検査される試料内で不均一な濃度分布を招く場合が多い。この場合、意図した蓄積の可能性があり、この蓄積は例えば細胞試料または組織試料内構造をマーキングするために直接加えられた蛍光色素、例えば特異的な抗体染色、または例えばGFPのような発現させられた蛍光色素によって生じる。さらに、例えば自己蛍光および強い蛍光発光をする組織封入体による意図しない不均一性がしばしばこれに加わる。
顕微鏡画像内の強度に対して不均一な蛍光分布は、従来の写真での明るさの大きな違いのように、1回の撮影では検出器のダイナミック・レンジダイナミック・レンジを利用し尽くしても画像構成の一部分のみしか検出され得ないということに繋がる。明るい画像領域(平均光強度が高い)内の詳細なコントラストが解像可能であるためには、検出器が飽和状態になってはならない。この目的で短い撮影時間(露出時間または積分時間ともいう)が選択されなければならない。しかしながらこのために暗い画像領域(平均光強度が低い)は不十分な信号または雑音比S/R(英語「signal−to−noise ratio」、SNR)すなわちコントラスト不足で撮影される。逆に、より長い露出時間は暗い画像領域のコントラストに富む撮影を可能にするが、明るい画像領域のクリッピング(コントラスト不足)に繋がる。
異なった露出時間で単一画像を複数回撮影することで、暗い画像領域もまた明るい画像領域も良好なS/R比で別々に測定することができる。続いてこれらは、ダイナミック・レンジが拡張された、明るい領域も暗い領域も高いコントラストで再生される、全体画像へと計算されることができる(英語「High Dynamic Range Imagingハイ・ダイナミック・レンジ・イメージ」;HDRI;(非特許文献1))。異なった露出時間に代わって、蛍光の場合は異なった励起強度を用いることができる。
その内容のすべてをここで援用する(特許文献1)から、1つの光信号が単一の光電子変換器に衝突し、そこで光信号が電気信号に変換され、続いてこの電気信号が複数の並行した評価チャネルに分割される検出器モジュールを、レーザ・スキャン顕微鏡(LSM)において使用することが公知である。それぞれの評価チャネルでは、他の評価チャネルでの信号評価とは異なる信号評価を実施し、そのつど1つの結果信号を生成する。結果信号から、可変に調整可能な所定の選択基準によって、これ以後の処理のために1つまたは複数が選択され出力される。こうして、画像生成のために用いられる評価チャネルを単に切り替えることで、異なった撮影方法による複数の単一画像を撮影することができる。
しかしながら複数の単一画像の連続撮影は複雑であり時間がかかる。蛍光色素分子の退色によって蛍光強度が撮影の間に変化するため、特に蛍光を観察する際には連続撮影は問題となる。特に生体試料の場合、複数回の撮影は、特にレーザ・スキャン顕微鏡のような走査(英語「scanning」)による方法では高い照射負荷に結びつく。加えて動的な経過の観察には連続撮影は適さない。
(特許文献2)は、2つの評価チャネルへの電気信号分配を高域フィルタ/低域フィルタの組み合わせによって実現する装置を説明している。ここではそれぞれの検出チャネルに検出情報(つまり電気信号)の一部のみが提供される。これは可能な評価方法を制限する可能性があり、または欠陥認識/欠陥削減のためにより手間がかかるということに繋がり得る。例えば中央の均等部分は高域フィルタ分枝のカウンタ周波数に依存している。これと並んで、高域フィルタ/低域フィルタの組み合わせの境界周波数の、開発時に必要不可欠な決定は、装置の寿命期間中に、新しいアプリケーションまたは検出方法へ適合させることを難しくする。加えて、高域フィルタ/低域フィルタの組み合せは、非線形の振幅と位相ひずみへと繋がり、これは特に周波数領域(英語「frequency domain」)の解析方法では欠点となり得る。
単一画像の連続撮影の代替として、例えば(特許文献3)からは、非対称な光学的光線分割により、コントラスト・レンジの異なる単一画像の同時撮影が周知である。しかしながらこれは必然的に光信号を複数のチャネルおよび複数の光電子検出器に分割することを必要とし、このことは付加的なノイズ源となる。分割のために個々のチャネル内の信号強度がより低くなることから、SN比はさらに低下する。
独国特許第102006030530号(米国特許公開第2008/008479号明細書) 独国特許第10253108号明細書 欧州特許第1761071号明細書
エー ベルら(A.Bell et al.),"High Dynamic Range Images as a Basis for Detection of Argyrophilic Nucleolar Organizer Regions Under Varying Stain Intensities",Proceedings of IEEE International Conference on Image Processing,ICIP 2006年,2541〜2544ページ
本発明の課題は、わずかな手間で短い時間内に拡張ダイナミック・レンジの画像を生成する、前述の種類の方法および光学系を提供することである。
この課題は請求項1に記載された特徴を備える方法と、請求項10に記載された特徴を備える光学系とで解決される。
本発明の有利な形態は従属請求項に記載されている。
本発明では画像を生成するために、該当する試料領域に関して、少なくとも結果信号の1つが、結果信号の1つに依存しておよび/または評価チャネルの1つの中間結果信号に依存して選択されるように設けられている。すなわち画像生成の際に、それぞれの画素に関して異なった評価チャネルが選択され、該当する画素の強度値を生成するために使用される。複数の結果信号が選択された場合は、これらを代表となる正確に1つの結果信号へと加算することが好ましい。
その領域のために選択が行われるそれぞれの試料領域が、生成するべき画像のそれぞれの一画素(英語「picture element」;Pixel)に相当することが好ましい。この場合に、全試料領域(および可視化の場合は画素)が一致していることが適切である。
本発明においての中間結果信号とは、1つの評価チャネルから時間的に結果信号が出力される以前に提供される信号であって、例えばいわゆるサブピクセル解析(英語「sub−pixel analysis」;SPA)の枠内での、つまり電気信号の時間的に真のサブユニットの評価である。特に中間結果信号は、まさにこのような電気信号の時間的な真のサブユニットまたはこれから導出された値のことである。
選択のために、結果信号の少なくとも1つ(すべてまで)および/または中間結果信号の少なくとも1つ(すべてまで)が評価されることが有利である。評価の際には、ダイナミック・レンジが拡張された画像を生成するために、該当する結果信号/中間結果信号の適正度が算出されることが好ましい。これによって最大限のダイナミック・レンジを持つ、ダイナミック・レンジが拡張された画像を算出することができる。
1つまたは複数の結果信号に基づいて、さまざまな信号評価から個々の領域ごと(好ましくは個々の画素ごと)に選択をすることは、異なった画素に対して、それぞれにつき、該当する試料領域のために最適なダイナミック・レンジでの信号評価を使用することを可能にする。これにより、結果としての画像は、個々の画素の(より狭い)ダイナミック・レンジの集合和から生じる、拡張されたダイナミック・レンジを得る。すなわち、そのつどノイズの最も少ない撮像方法/評価方法のノイズへとピクセルごとにノイズを減らすことで、生成される画像の全ノイズを減少させることができる。時間のかかる複数の単一画像の連続撮影は回避することができる。その全ダイナミック・レンジを利用することが可能な、1つの単独の光電子検出器のみが必要となる。
この選択が走査(英語「scanning」)中に、特にリアルタイムで実施されることが目的にかなっている。これにより、例えば、その中に評価チャネルが評価ユニットと共に配置されている検出器モジュールが、この選択を自主的に実施し、選択された結果信号のみ、あるいは選択された結果信号群の合計のみを上位の制御コンピュータに伝達することができる。その結果、唯一の評価チャネルのために1つの伝達帯域幅しか必要とされない。しかしながら(十分な伝達帯域幅がある場合)、まずすべての結果信号を1つの制御コンピュータに伝達し、この制御コンピュータが、走査過程(英語「scanning pass」)の終了後にはじめて、特により大きな時間間隔をおいて選択を実施することは、同等である。
複数の評価チャネルのダイナミック・レンジの集合に相当するダイナミック・レンジを持つ画像を生成するために、まさに1回の走査過程が実施されることが好ましい。このことは、最大限に試料を保護しつつ、生成する画像の高いコントラスト・レンジを可能にする。
有利なことに、それぞれの試料領域に対して結果信号の選択が、光子数を表すそれぞれの結果信号および/または光子数を表すそれぞれの中間結果信号をもとに行われることで、特に僅かな手間で選択ができる。正確に1つの評価チャネルまたはその結果信号が加算される評価チャネル群を選択するためには、1つまたは複数の所定の閾値との比較を行うだけでよい。
1つの発展形態では、選択は、結果信号の1つもしくは複数および/または中間結果信号の1つもしくは複数に依存してのみ実施され得る。これは選択を簡略化し加速する。
好ましい一実施形態では、それぞれの試料領域に対して、それぞれの結果信号のためにそのつど1つの信号雑音比が算出され、その信号雑音比が最も僅かな結果信号が選択され出力される。このようにして僅かな手間で全コントラスト・レンジに関して最良の画像が生成され得る。
本発明の一発展形態では、結果信号の1つおよび/または中間結果信号の1つに依存して、検出器の増幅(英語「gain」)または光源の励起光強度が調整される。これにより検出のクリッピングが回避できる。検出器の増幅は、光電子増倍管(英語「photomultiplier」;PMT)の場合、例えば1つまたは複数のダイノードをオフに切り替えることで、またはダイノード電圧を変更することで調整することができる。
本発明は、本発明の方法を実施するために設けられた制御ユニットとコンピュータ・プログラム、詳細にはこのようなコンピュータ・プログラムのデータ記憶媒体を含む。本発明はさらに、1つの走査ユニットおよび光信号を電気信号に変換するための光電子変換器を含む検出光路と、その信号評価がそれぞれ異なる複数の評価チャネルと、電気信号を評価チャネルへ分配するための分配回路と、このような制御ユニットとを備える光学系を含む。この光学系は、特にレーザ・スキャン顕微鏡であり得る。
要約すると、本発明は、特殊な電子データ記録(特に独国特許第102006030530号に沿った装置を利用して)および評価を介して、ただ1回の走査過程で、(所定の励起光条件および所定の走査速度、つまり所定のピクセル積分時間において)ダイナミック・レンジこれまでに達成されたことのない信号/雑音比S/Rを、光検出器の全ダイナミック・レンジにわたって持つ画像を生成することを可能にする。しかしながら、本発明はただ1回の走査過程を伴う実施形態に限定されるものではない。
本発明で生成された拡張ダイナミック・レンジの画像は、さらに大きなダイナミック・レンジを達成するために、特に従来のダイナミック・レンジ拡張法でさらに処理することができる。こうして、例えば、離れたダイナミック・レンジを持つ、異種の検出器によってダイナミックが拡張された画像を組み合わせることができる。
本発明によって拡張されたダイナミック・レンジを持つ画像のシリーズを、異なった積分時間または励起光強度で撮像し、HDR画像に計算することも可能である。例えばこのような一実施形態では、評価チャネルをピクセルごとに選択することに代わって単一画像全体に対してチャネル選択を行うことも可能で、続いてこの単一画像全体が、ダイナミック・レンジが拡張された一画像へとピクセルごとに計算される。この場合、例えば、積分時間の短い単一画像は単光子計数法(英語「Single photon counting」;SPC)の評価チャネル内で完全に処理され、積分時間のより長い単一画像はオーバー・サンプリング・チャネル内で処理される。代替の一実施形態ではダイナミック・レンジ拡張のために、励起強度も露出時間も同時にまたは連続して変更することができる。そのためには個々のピクセルをその信号の品質に関して評価することが可能である。例えば非常に長い積分時間での測定がピクセル内に良好な信号を生成しなかった場合、より高いレーザ強度での付加的な測定がより適切な信号を生成することが可能で、こうしてダイナミック・レンジの拡張のために寄与することができる。
以下に本発明を例示的実施形態を参照して説明する。
本発明の方法を実施するためのレーザ・スキャン顕微鏡の概略図。 異なった信号評価の、2つの評価チャネルにおける同時信号評価の概略図。 個々の評価方法のダイナミック・レンジの例。 生成された画像をもとにした、生成されるべき画像のダイナミック・レンジを拡張するための、領域ごと/ピクセルごとの信号最適化の原理。 異なった信号評価を備える5つの評価チャネルにおける同時信号評価の概略図。 サブピクセル解析の図。
すべての図において、同一の部分には同一の符号が付けられている。
図1には、その制御ユニット34が本発明の方法を実施するために設けられているレーザ・スキャン顕微鏡1が概略図で示されている。LSM1は、レーザ23を備える照明モジュールLと、走査モジュールS(英語「scanning module」)と、検出モジュールDと、顕微鏡対物レンズ31を備える顕微鏡ユニットMとを含む。
レーザ23の光線は、光ファイバと結合光学系20を介して走査ユニットSに供給されて結合される前に、光弁24と減衰器25、例えば音響光学可変波長フィルタ(英語「acousto−optic tunable filter」;AOTF)を用いて制御ユニット34によって調整される。メイン・ビーム・スプリッタ33、および2つのミラー・ガルバノメータを備える(図示されていない)X・Y走査ユニット30(英語「Scanner」)を介して光線は顕微鏡対物レンズ21を経由して試料22に到達し、そこで光線は焦点体積(図示されていない)を照らし出す。レーザ23と並んで、広視野照明用の(走査ユニット30の調節には依存しない)1つの光源35を用いる。
試料から反射された光線または放射された蛍光は、顕微鏡対物レンズ21を経由し、またさらに走査ユニット30を経由してメイン・ビーム・スプリッタ30を介して検出モジュールDに到達する。メイン・ビーム・スプリッタ30は例えばダイクロイック・カラー・スプリッタとして形成される。検出モジュールDは複数の検出チャネルを備え、それぞれ1つの開口絞り31、フィルタ28および検出器32としての1つの光電子増倍管を備え、検出チャネルはカラー・スプリッタ29で分離されている。開口絞り31に代わって、例えば線状の照明の場合は、スリット絞りを使用することもできる(図示されていない)。共焦点開口絞り31は、焦点体積からではない、試料からの光線を除去するために使われる。これゆえ検出器32は焦点体積からの光線のみを検出する。PMTの代替としてまたは付加として、他の検出器タイプ例えばアバランシェ・フォトダイオード(英語「avalanche photodiode」;APD)、またはCCDカメラのような空間分解システムを使用することができる。空間分解能は、特にスペクトルによる分割および/または線状の焦点体積との関連においては必要不可欠である。検出器32はこの例ではそれぞれ1つの評価電子系(ここでは詳細には示されていない)を含む。他の実施形態では(図示されていない)評価電子系を検出器32から切り離すことが可能で、特に検出モジュールDの外に配置することができる。
共焦点で照明されまた捉えられた試料22の焦点体積は、ピクセルごとに画像を読み込むために、走査ユニット30のミラー・ガルバノメータが目標を定めて回転されることで、走査ユニット30を利用して試料22上を移動され得る。ミラー・ガルバノメータの移動のみでなく、光弁24または減衰器25による照明の切り替えも制御ユニット34で直接制御される。検出器32からのデータ採録も同じく制御ユニット34によって行われる。評価ユニット/制御ユニット34は例えば市販の電子計算機(英語「Computer」)であり得る。
使用される光電子変換器に応じて、例えば回避不可能なCCDカメラの読取りノイズのように、撮像の際にさまざまなノイズ特性を考慮しなければならない。PMT検出器を備えるLSMでは主に2つのノイズ源を考慮しなければならない。ノイズ源はショット・ノイズと検出器ダーク・ノイズ(Detektordunkelrauschen)であり、ノイズ源には電子ノイズも含まれる。ダーク・ノイズの主な原因は、光電陰極および第1のダイノードからの電子による熱の放出である。顕微鏡に使用される、小さな検出面を持つ光電陰極に関しては、冷却することで熱によるノイズを事実上大きな意味をもはや持たないところまで減少させることができる。電子ノイズはこの方法では減少させることはできない。
PMT光検出器では実際には2つの検出方法、すなわち(デジタル)単一光子計数法と、アナログ・デジタル変換を伴う陽極電流の(アナログ)積分法が用いられる。
帯域幅が100MHz(10ナノ秒)未満の場合、陽極上のPMTの電子信号は単独パルスの連続として検出され、これがデジタル処理される。LSMでの蛍光測定の枠内では、走査(英語「scanning」)の際に、典型的な単一ピクセル積分時間1〜2マイクロ秒では、1秒間に200〜1000個の蛍光光子の計数率がPMT上に発生する。これは信号増強器およびコンスタント・フラクション・ディスクリミネータ(英語「constant fraction discriminator」;CFD)の使用を必須にする。PMTからの単一光子パルスの振幅は、検出器増強の偶然変動のためにパルスごとに変化し、これは衝突する光子それぞれに対して異なった数の電子が光電陰極からたたき出されるためである。単一光子計数法は、ディスクリミネータの閾値によって、まだ存在する電子ノイズが電子信号から分離できるという利点を持ち、これによりS/R比およびコントラストが高くなる。アナログの振幅分布は振幅1でのデルタ関数に転換され、言い換えればバイナリ表現に転換される。単一光子計数法は、通常は、光強度が低いときに選択したい検出法と見なされる。
光強度が上昇するにつれて、PMT上に当たる光子間の間隔は短くなり、そのため単一光子パルス(典型的なパルス幅2ナノ秒)は相互に重複し、連続した信号の形が作成される。この連続した陽極電流は在来のアナログ・デジタル変換器で処理する。この両検出方法を組み合わせることでPMTの全ダイナミック・レンジを利用し得る。
図2は検出器32の評価電子系の一例示的実施形態の詳細を示す。PMTP(一般的:感光性光電子変換器P)の陽極から放出された電気信号は分割され、2つの並行する評価チャネルA/Bに分配される。並行する評価チャネルA、Bはこの場合異なるダイナミック・レンジを備え、例えば評価チャネルA内では光子計数法が、評価チャネルB内ではアナログ検出法としてアナログ・デジタル変換器(ADC)でのオーバー・サンプリング(英語「oversampling」)が実施される。両評価チャネルA、Bはそのつど1つの結果信号を生成する。結果信号は、さらなる処理(ダイナミック・レンジが拡張された画像を生成するための選択)のために、例えば制御ユニット34へと出力される。代替として、本発明に沿った選択は検出器32の評価電子系内で行うことが可能であり、この結果、どの時点においても結果信号の正確に1つ(または複数の結果信号の正確に1つの合計)のみが制御ユニット34に出力される。
図3には各種の評価方法のダイナミック・レンジが概略的に示されている。最適な評価方法を領域ごとに選択することによって、生成するべき全体画像に対して、これらの評価領域の統合を達成できる。これは本発明によって生成された画像の総ダイナミック・レンジとして下部領域に示されている。
拡張されたダイナミック・レンジを持つ画像を生成するために本発明により使用された原理は図4で明らかになる。1つには、全ノイズを局所的に(領域ごと、好ましくはピクセルごとに)、そのつどノイズの最も少ない撮像方法/評価方法ダイナミック・レンジでのノイズに減少すること(同時に作動する異なった評価チャネルのダイナミック・レンジの集合)によって、生成される画像2の全ノイズを減少させることに基づき、他方では検出器と照明への影響力を使って、または使わずに、検出電子系のクリッピングを回避することに基づく。両者とも、該当する試料領域(画像領域、好ましくは個々のピクセル)に対して、異なった評価チャネル内で並行して検出された結果信号をもとに最適な評価方法を選択することで成し遂げられる。この目的のためには、すべての評価チャネルの結果信号が同時に算出されることが好ましく、続いて例えば、ダイナミック・レンジが拡張された画像の生成のために適正であるかに関して評価される。この評価に基づいて、該当する試料領域(例えば1つのピクセル)の強度値としてまさに1つの結果信号の選択が行われる。評価に基づき複数の評価チャネルの結果信号を適切であると選択すること、そしてこれらを正確に1つの結果信号に合算し、この結果信号が、該当する画像領域の強度としてさらに処理され、好ましくは出力されるということも可能である。
このようにして、弱い光線の測定の場合には単一光子計数法によって得られるより高いコントラストが、アナログの作動方式に対してダイナミック・レンジの下部領域の拡張に利用されるが、逆にアナログの作動方式はPMTの大きなダイナミック・レンジの領域を完全に利用することをはじめて可能にする。例えば結果信号を用いて、測定可能なできるだけ短い時間間隔内に存在する光子計数率が評価値として算出される。これをもとに、どのチャネル(またはどのチャネル群合計)をそのつどのピクセル強度の算出のために使用するべきかを決定することができる。光が弱いピクセルでは相当に単一光子計数法のチャネルが使用される。光子計数率がより高い場合はアナログ・チャネルが使用される。
図示されている例では3つの並行する評価チャネル、すなわち単一光子計数法SPC、2次元光子計数法(2D−PC)およびオーバー・サンプリングADCが提供されていた。画像領域Sには中程度の蛍光強度が存在し、画像領域Tでは高い蛍光強度が存在した。結果信号をピクセルごとに評価した後に、例えば画像領域Sのピクセルの強度は2次元光子計数法だけで、また画像領域Tのピクセルの強度はオーバー・サンプリングでのみ算出され、画像2の残りの部分R(すなわち画像領域SおよびTの間と、これらの領域の周り)のピクセルの強度はそこの低い蛍光強度のために単一光子計数法で算出された。
図5には1つの単一ピクセルを生成するために読み取られた、信号の模範的な時間的経過が示されている。この単一ピクセルの積分は走査中(英語「scanning」)では例えばピクセル積分時間として典型的なピクセル滞留時間1.2マイクロ秒である。光子受容器P、例えばPMTから出力された信号は、この実施形態では5つの増強された単一信号に分割され、チャネルA〜E内で処理される。チャネルAは単一光子計数法のための電子系が備えられている(ハードウェア:CFD)、例えば独国特許第2006030530号明細書を参照のこと。チャネルBは、2次元光子計数法とも呼ばれる、重閾値分析(Mehrfachschwellwertanalyse)と組み合わせた単一光子計数用に装備されている。2D−PCの開示については独国特許第10110925号明細書を参照されたい。チャネルCはアナログ検出(オーバー・サンプリング;ハードウェア:アナログ・デジタル変換器、コンデンサ)を行うもので、例えば独国特許第2006030530号明細書を参照のこと。チャネルDは、サブピクセル解析法(SPA)により、ピクセル積分時間内の総信号を複数の部分領域(各400ナノ秒の3領域が示されている)において読み取る。チャネルEは、可能な最小の時間的読取り領域内で光子計数率が高すぎる場合に、検出器増幅か、または相応に励起光源23(もしくは25)の励起光強度を下げる(「制御」)。単一ピクセルごとに、画像強度として出力される信号が、結果信号によって選択された分析方法に応じてチャネルA〜Dの1つまたはチャネルA〜Dの複数の合計から生成される。
例えばこの選択には、最善の処理方法を決定するために(評価、特にダイナミック・レンジが拡張された画像のために、評価チャネルのそのつどの適性度をピクセルごとに検出することによる評価)および/または付加的な情報をデータから抽出するために、結果信号または中間結果信号上であらゆる種類の統計学的分析を行うことができる。最も単純な場合には、分析は、それぞれのピクセルにおける光子計数率の測定でのみ構成され、対応する評価チャネル選択(およびピクセルへの割り当て、すなわち該当する結果信号を強度値として出力すること)が行われる。ピクセル内の光子計数率が低い(光子計数率が第1の閾値より低い)場合はチャネルAが使われる。光子計数率が上昇し(典型的には100万光子/秒)第1の閾値と第2の閾値の間にある場合はチャネルBがこれに加えられる(AとBの合計)。第2の閾値より高い光子計数率ではチャネルCだけが必要であり、これによって、検出器ダイナミック・レンジの上方全体を利用できる。単一ピクセル値が飽和に至った場合、場合によってはそれでも検出器の直線性を保証することが可能であり、この場合チャネルD内の時間ウィンドウt〜t内のサブピクセル・中間結果信号の合計に代わり、ウィンドウt内の中間結果信号のみを結果信号として出力する(この領域ではまだ完全なクリッピングが無いという前提のもと)。
1つまたは複数の評価チャネルを選択することと並んで、制御ユニット34は、光子計数率のクリッピングを認識した場合に、画像のコントラストを改善するために検出器の増幅および/または励起光強度を低下調整することができる。励起光強度は、例えば減衰器25により時間的に1マイクロ秒程度で調整することができる。ダイオードレーザは直接ダイオード電流で制御することができる。検出器増幅係数を適合させるためには、ダイノードをオフに切り替えること、またはダイノード高電圧の変更(調整)を行うことができる。検出器増幅は、陽極と他の1つのダイノードとの間の時間間隔1ps以下の速やかな切り替えによって減少させることができる(Hamamatsu PMT Handbook、98ページ:“Anode sensitivity adjustment circuits”、出版日付不明を参照)。検出器増幅の適合は、基本的に独国特許第102007004598号明細書から公知であるが、PMTの保護回路としてのみであり、クリッピングを回避するためではない。走査過程中、ピクセル正確に調整可能であるためには、ダイノード高電圧の再調整はマイクロ秒以下の時間領域内で行われなければならない。少なくともマイクロ秒という反応時間が達成されれば、少なくとも、強度のクリッピングによってPMTがオフにされることは回避することができ、ピクセルごとに高電圧切り替え点が前以て算出される第2の撮像との組み合わせで、正しい撮像を行うことができるであろう。
評価電子系(評価チャネルA〜E)は単に例として検出器32の部分として表示されている。これは代替として部分的にまたは完全に検出器32の外に配置され得る。同じことがPMT P(一般的:感光性光電子変換器P)の制御電子系および調整電子系にも当てはまる。
チャネルEの中間結果信号または結果信号に依存した、励起光源23/25の調整は、検出器32に属する制御回路もしくは調整回路によって、または制御ユニット34、または(図示されているように)検出器32から切り離された付加的な補助制御ユニットによって行われる。
部分的なクリッピングの場合は、SPA評価チャネルのサブピクセル間隔内であっても、読み取られたクリッピングしていない値で少なくともまだ意味のある平均値を算出することができる。図6はサブピクセル解析のこの変形形態を、図5のチャネルDの信号経過の時間ウィンドウtに関して模範的に示している。時間ウィンドウt内では、光検出器32の電気信号がクリッピングしている部分Xによって利用可能な3つの部分U(斜線)に分割されている。時間ウィンドウtの中間結果信号として、この3つの部分Uにわたる電気信号が積分され、積分時間に対する平均値が生成される。次にこれは通常どおりにチャネルDの結果信号を生成するために使用され、こうして最も適した評価チャネルの選択に加わることができる。
ダイナミック・レンジの付加的な拡張は、感度およびダイナミック・レンジが異なる、さまざまな検出器の組み合わせで達成することができる。しかしながらこれは、より高い構成要素費ならびに光学的積分および調整というような欠点ももたらす。また複数の同一構造の光電子検出器によってもダイナミック・レンジを拡張することができ、例えばその複数のチャネルが異なった検出波長および/または試料領域に属し得るマルチチャネル検出器によってである。
複数の検出チャネルを同時選択することが不可能である場合は、まずアナログ・チャネル(オーバー・サンプリング)で1つの画像を撮像することができる。続いて画像強度の低いところが選別され、この領域のみがデジタル式評価方法(SPC、2D−PC)で新たに走査され(英語「scanned」)読み取られる。しかしながらこれは1回を超える走査過程を必要とし、このため試料へのより高い負荷を意味する。
1 顕微鏡
2 拡張されたダイナミック・レンジの顕微鏡画像
20 コリメータ光学系
21 顕微鏡対物レンズ
22 試料
23 レーザ
24 光弁
25 減衰器
26 ファイバ結合器
27 鏡筒レンズ
28 フィルタ
29 ダイクロイック・ビーム・スプリッタ
30 走査ユニット
31 開口絞り
32 光電子増倍管
33 メイン・ビーム・スプリッタ
34 制御ユニット
35 光源
D 検出モジュール
L 照明モジュール
M 顕微鏡
S 走査モジュール
P 光電子変換器
1、2、3 試料領域

Claims (10)

  1. 試料(22)の少なくとも一部分の、少なくとも2次元の画像(2)を生成するための方法であって、
    該試料(22)が走査ユニット(30)で走査され、該試料(22)のさまざまな領域でそのつど少なくとも1つの光信号が1つの光電子検出器(32)で読み取られ、1つの電気信号に変換され、その際、該電気信号が、複数の並行した信号評価が相互に異なるためそのダイナミック・レンジが異なる、評価チャネル(A〜E)に分配され、各々の該評価チャネル(A〜E)内でそれぞれの結果信号が生成される方法であって、
    該当する試料領域に関する画像を生成(2)するために、少なくとも結果信号の1つが、結果信号の1つおよび評価チャネルの1つの結果信号が出力される前に該評価チャネルにより出力される中間結果信号のうちの少なくとも一方に応じて選択され、
    前記光電子検出器(32)の増幅または光源の励起光強度が、前記結果信号および前記中間結果信号のうちの少なくとも一方に依存して調整される、方法。
  2. 選択が実施されるそれぞれの前記試料領域が、生成するべき前記画像(2)のそれぞれの画素に相当することを特徴とする請求項1に記載の方法。
  3. 前記選択が走査中に実施されることを特徴とする請求項1または2に記載の方法。
  4. 前記選択のために前記結果信号の少なくとも1つおよび前記中間結果信号の少なくとも1つのうちの少なくとも一方が、ダイナミック・レンジが拡張された画像を生成するために、該当する結果信号または中間結果信号の適正度の算出によって評価されることを特徴とする請求項1乃至3のいずれか1項に記載の方法。
  5. 複数の評価チャネルのダイナミック・レンジの集合に相当するダイナミック・レンジを持つ前記画像を生成するために、ちょうど1回の走査過程が実施されることを特徴とする請求項1乃至4のいずれか1項に記載の方法。
  6. 各試料領域に対する結果信号の前記選択が、光子数を表すそれぞれの前記結果信号および光子数のうちの少なくとも一部を表すそれぞれの前記中間結果信号を用いて行われることを特徴とする請求項1乃至5のいずれか1項に記載の方法。
  7. 前記選択が、前記結果信号の1つもしくは複数、および前記中間結果信号の1つもしくは複数のうちのいずれか一方に応じて実施されることを特徴とする請求項1乃至6のいずれか1項に記載の方法。
  8. それぞれの試料領域に対して、それぞれの結果信号のためにそのつど1つの信号雑音比が算出され、その該信号雑音比が最も僅かな結果信号が選択され出力されることを特徴とする請求項1乃至7のいずれか1項に記載の方法。
  9. 請求項1乃至8のいずれか1項に記載の方法を実施するために作られた制御ユニット(34)またはコンピュータ・プログラム。
  10. 1つの走査ユニット(30)および光信号を電気信号に変換するための光電子検出器(32)を含む検出光路と、その信号評価がそれぞれ異なる複数の並行する評価チャネル(A〜E)と、電気信号を評価チャネルへ分配するための分配回路と、請求項9に記載の1つの制御ユニット(34)とを備える光学系。
JP2015126514A 2009-09-30 2015-06-24 ダイナミック・レンジが拡張された画像を生成するための方法、およびこのような方法を実施するための制御ユニット(34)またはコンピュータ・プログラム、および光学系 Active JP6086948B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009043746A DE102009043746A1 (de) 2009-09-30 2009-09-30 Verfahren zum Erzeugen von Bildern mit erweitertem Dynamikumfang und optisches Gerät zur Durchführung eines solchen Verfahrens, insbesondere Laser-Scanning-Mikroskop
DE102009043746.0 2009-09-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012531252A Division JP2013506161A (ja) 2009-09-30 2010-08-27 ダイナミック・レンジが拡張された画像を生成するための方法、およびこのような方法を実施するための光学系、特にレーザ走査型顕微鏡

Publications (2)

Publication Number Publication Date
JP2015207018A true JP2015207018A (ja) 2015-11-19
JP6086948B2 JP6086948B2 (ja) 2017-03-01

Family

ID=43037083

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012531252A Pending JP2013506161A (ja) 2009-09-30 2010-08-27 ダイナミック・レンジが拡張された画像を生成するための方法、およびこのような方法を実施するための光学系、特にレーザ走査型顕微鏡
JP2015126514A Active JP6086948B2 (ja) 2009-09-30 2015-06-24 ダイナミック・レンジが拡張された画像を生成するための方法、およびこのような方法を実施するための制御ユニット(34)またはコンピュータ・プログラム、および光学系

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012531252A Pending JP2013506161A (ja) 2009-09-30 2010-08-27 ダイナミック・レンジが拡張された画像を生成するための方法、およびこのような方法を実施するための光学系、特にレーザ走査型顕微鏡

Country Status (5)

Country Link
US (1) US8633430B2 (ja)
EP (1) EP2483730B1 (ja)
JP (2) JP2013506161A (ja)
DE (1) DE102009043746A1 (ja)
WO (1) WO2011038815A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2865922A1 (en) * 2012-03-02 2013-09-06 Huron Technologies International Inc. Scanner with increased dynamic range
DE102012219136A1 (de) * 2012-10-19 2014-05-28 Leica Microsystems Cms Gmbh Mikroskop und ein Verfahren zur Untersuchung einer Probe mit einem Mikroskop
US11013398B2 (en) * 2013-03-13 2021-05-25 Stryker Corporation System for obtaining clear endoscope images
JP6075572B2 (ja) * 2013-09-13 2017-02-08 三菱レイヨン株式会社 画像読取り方法
JP6257294B2 (ja) 2013-12-04 2018-01-10 オリンパス株式会社 顕微鏡装置
DE102013021482A1 (de) * 2013-12-17 2015-06-18 Carl Zeiss Microscopy Gmbh Verfahren zur Scanning-Mikroskopie und Scanning-Mikroskop
DE102014005880A1 (de) * 2014-04-17 2015-11-05 Carl Zeiss Ag Lichtrastermikroskop mit vereinfachter Optik, insbesondere mit veränderlicher Pupillenlage
US10184835B2 (en) * 2015-09-23 2019-01-22 Agilent Technologies, Inc. High dynamic range infrared imaging spectroscopy
EP3258228B1 (de) 2016-06-17 2018-05-09 Sick Ag Lichtempfänger mit lawinenphotodioden im geiger-modus und verfahren zum auslesen
DE102016215177A1 (de) 2016-08-15 2018-02-15 Carl Zeiss Microscopy Gmbh Verfahren und Anordnung zur Erfassung von Bilddaten
JP7298993B2 (ja) 2018-04-09 2023-06-27 浜松ホトニクス株式会社 試料観察装置及び試料観察方法
DE102019210421B4 (de) * 2019-07-15 2023-03-09 Leica Microsystems Cms Gmbh Verfahren und Vorrichtung zur Messung eines Lichtsignalparameters und nichtflüchtiges Speichermedium
US11307250B2 (en) 2019-09-03 2022-04-19 International Business Machines Corporation Creating time-resolved emission images of integrated circuits using a single-point single-photon detector and a scanning system
US11480612B2 (en) 2019-09-03 2022-10-25 International Business Machines Corporation Scanning methods for creating time-resolved emission images of integrated circuits using a single-point single-photon detector and a scanning system
US11287630B2 (en) 2019-09-03 2022-03-29 International Business Machines Corporation Imaging integrated circuits using a single-point single-photon detector and a scanning system and calculating of a per-pixel value
DE112021000831T5 (de) * 2020-04-03 2022-12-01 Continental Automotive Technologies GmbH Verfahren zur Rückgewinnung diskreter digitaler Signale in rauschbehafteten, überlasteten drahtlosen Kommunikationssystemen bei Vorliegen von Hardwarebeeinträchtigungen

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0972784A (ja) * 1995-09-05 1997-03-18 Olympus Optical Co Ltd 顕微鏡用測光装置
JP2004502191A (ja) * 2000-06-29 2004-01-22 カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング 複数検出チャネルにおける照明試料の光学的検出方法
JP2004069752A (ja) * 2002-08-01 2004-03-04 Keyence Corp 光電子増倍管のゲインリミッタ回路と共焦点顕微鏡システム
JP2005173555A (ja) * 2003-11-21 2005-06-30 Olympus Corp 光検出回路および該光検出回路を備えたレーザ顕微鏡
JP2006087036A (ja) * 2004-09-17 2006-03-30 Olympus Corp 光検出回路および該光検出回路を備えた走査型共焦点顕微鏡
JP2008015492A (ja) * 2006-07-01 2008-01-24 Carl Zeiss Microimaging Gmbh 光信号の検出のための方法および装置
US20090014630A1 (en) * 2007-07-09 2009-01-15 Bio-Rad Laboratories Extended dynamic range system design

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10110925A1 (de) 2001-03-07 2002-09-12 Zeiss Carl Jena Gmbh Verfahren zur Photonenzählung in Laser-Scanning-Systemen
DE10151217B4 (de) * 2001-10-16 2012-05-16 Carl Zeiss Microlmaging Gmbh Verfahren zum Betrieb eines Laser-Scanning-Mikroskops
DE10253108B4 (de) 2002-11-13 2005-11-03 Leica Microsystems Heidelberg Gmbh Verfahren zur Detektion eines Objekts mit einem Rastermikroskop und Rastermikroskop zur Detektion eines Objekts
US7297921B2 (en) * 2003-11-21 2007-11-20 Olympus Corportion Photodetection circuit and confocal microscope that has it
EP1761071A1 (de) 2005-08-29 2007-03-07 Stueckler Gerd Verfahren zur Aufnahme eines Bildes und Digitalkamera
EP1882959A1 (de) 2006-07-17 2008-01-30 Leica Geosystems AG Optisches Distanzmessverfahren und entsprechender optischer Distanzmesser
DE102007004598B4 (de) 2007-01-30 2022-12-29 Leica Microsystems Cms Gmbh Schutzbeschaltung für Photomultiplierröhren
DE102007031774A1 (de) * 2007-07-07 2009-01-15 Mähner, Bernward Verfahren und Vorrichtung zur Vermessung von Objekten mittels hochdynamischer Bildaufnahmen

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0972784A (ja) * 1995-09-05 1997-03-18 Olympus Optical Co Ltd 顕微鏡用測光装置
JP2004502191A (ja) * 2000-06-29 2004-01-22 カール ツァイス イエナ ゲゼルシャフト ミット ベシュレンクテル ハフツング 複数検出チャネルにおける照明試料の光学的検出方法
JP2004069752A (ja) * 2002-08-01 2004-03-04 Keyence Corp 光電子増倍管のゲインリミッタ回路と共焦点顕微鏡システム
JP2005173555A (ja) * 2003-11-21 2005-06-30 Olympus Corp 光検出回路および該光検出回路を備えたレーザ顕微鏡
JP2006087036A (ja) * 2004-09-17 2006-03-30 Olympus Corp 光検出回路および該光検出回路を備えた走査型共焦点顕微鏡
JP2008015492A (ja) * 2006-07-01 2008-01-24 Carl Zeiss Microimaging Gmbh 光信号の検出のための方法および装置
US20090014630A1 (en) * 2007-07-09 2009-01-15 Bio-Rad Laboratories Extended dynamic range system design

Also Published As

Publication number Publication date
EP2483730B1 (de) 2019-11-06
EP2483730A1 (de) 2012-08-08
JP6086948B2 (ja) 2017-03-01
WO2011038815A1 (de) 2011-04-07
DE102009043746A1 (de) 2011-03-31
US20120205519A1 (en) 2012-08-16
US8633430B2 (en) 2014-01-21
JP2013506161A (ja) 2013-02-21

Similar Documents

Publication Publication Date Title
JP6086948B2 (ja) ダイナミック・レンジが拡張された画像を生成するための方法、およびこのような方法を実施するための制御ユニット(34)またはコンピュータ・プログラム、および光学系
US8503076B2 (en) Apparatus for the detection of light in a scanning microscope
JP6454344B2 (ja) 励起ビームの時間ゲート及び蛍光放射の同期検出に基づく誘導放出抑制(sted)顕微鏡法
US11487093B2 (en) Method for scanning microscopy and scanning microscope
JP5133602B2 (ja) 光信号の検出のための方法および装置
JP2011513740A (ja) 光子混合検出器を用いた時間分解分光分析方法およびシステム
US7495236B2 (en) Apparatus and method for detection with a scanning microscope
Rasnik et al. Electronic cameras for low‐light microscopy
JP2005173604A (ja) 走査顕微鏡において複数の異なる放射波長を分離するための方法及び装置
EP4332878A1 (en) Optical image processing method, machine learning method, trained model, machine learning preprocessing method, optical image processing module, optical image processing program, and optical image processing system
JP6305115B2 (ja) 走査型レーザ顕微鏡
JPH09236750A (ja) 走査型顕微鏡の測定パラメータ決定方法
JP3618416B2 (ja) 顕微鏡用測光装置
JP7365649B2 (ja) 光子計数検出器素子を備える光学顕微鏡および撮像方法
US10539505B2 (en) Method for creating a digital fluorescent image
Moomaw Camera technologies for low light imaging: overview and relative advantages
Jerome Confocal Digital Image Capture
JP5371538B2 (ja) 顕微鏡
JP4667754B2 (ja) 走査型レーザ顕微鏡の受光装置及びこれを用いた走査型レーザ顕微鏡
JP4812276B2 (ja) 光検出回路および該光検出回路を備えたレーザ顕微鏡
JP2012122882A (ja) 光検出装置および観察装置
Jerome Choosing the Best Camera System for Your Biological Light Microscopy Needs: Part II
KR101775615B1 (ko) 고감도 영상 획득방법
Zhao et al. MEM-FLIM: all-solid-state camera for fluorescence lifetime imaging
Hirmiz et al. Paper I–Cross-talk reduction in a multiplexed synchroscan streak camera with simultaneous calibration

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170131

R150 Certificate of patent or registration of utility model

Ref document number: 6086948

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250