JP2006058237A - 分光装置及びスペクトルレーザ顕微鏡 - Google Patents

分光装置及びスペクトルレーザ顕微鏡 Download PDF

Info

Publication number
JP2006058237A
JP2006058237A JP2004242729A JP2004242729A JP2006058237A JP 2006058237 A JP2006058237 A JP 2006058237A JP 2004242729 A JP2004242729 A JP 2004242729A JP 2004242729 A JP2004242729 A JP 2004242729A JP 2006058237 A JP2006058237 A JP 2006058237A
Authority
JP
Japan
Prior art keywords
spectrum
luminance data
channel
light
laser microscope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004242729A
Other languages
English (en)
Other versions
JP4529587B2 (ja
JP2006058237A5 (ja
Inventor
Yoshinori Kuroiwa
義典 黒岩
Hisashi Okugawa
久 奥川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2004242729A priority Critical patent/JP4529587B2/ja
Priority to US11/207,872 priority patent/US7330257B2/en
Priority to DE102005039856A priority patent/DE102005039856A1/de
Publication of JP2006058237A publication Critical patent/JP2006058237A/ja
Publication of JP2006058237A5 publication Critical patent/JP2006058237A5/ja
Application granted granted Critical
Publication of JP4529587B2 publication Critical patent/JP4529587B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0237Adjustable, e.g. focussing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/44Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406Fluorescence spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6421Measuring at two or more wavelengths

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

【課題】 マルチチャンネル光検出器の感度補正をリアルタイムに実行可能にする分光装置及びスペクトルレーザ顕微鏡を提供すること。
【解決手段】 レーザ顕微鏡101と、前記レーザ顕微鏡101からの光をスペクトル測光する複数の光検出器13iからなるマルチチャンネル光検出器13を有する分光測定手段103とからなり、前記スペクトルと前記マルチチャンネル光検出器13の相対位置を前記スペクトルの波長分散方向に沿って変更する前後の第1の輝度データと第2の輝度データとから、前記複数のチャンネル13iそれぞれの感度ばらつきを算出して、前記第1または前記第2の輝度データを補正するスペクトルレーザ顕微鏡100。
【選択図】 図1

Description

本発明は、標本からの光をスペクトルに分解して検出する分光装置及びスペクトルレーザ顕微鏡に関し、特にマルチチャンネル光検出器の光検出器間の感度ばらつきを補正可能な分光装置及びスペクトルレーザ顕微鏡に関する。
生物学、医学の分野において細胞内情報伝達に関する研究が盛んに行われている。そこでは生物を生きたまま自然に近い状態(大気中、水分を含んだままで)で動的に観察することができることに加え、細胞よりも小さい機能分子(例えば、タンパク質や無機質等)を選択的に視覚化し、複数の機能分子の相互作用をも観察できる特徴を生かした蛍光顕微鏡が利用されている。蛍光顕微鏡の中でも、蛍光共焦点レーザ顕微鏡は、光学的に標本の断層像が取得でき、またコントラストの良い画像が得られる特徴を有することから近年広く普及しつつある。標本から発せられる蛍光は、蛍光試薬の種類、蛍光試薬と標本との結合状態、励起する波長など様々な状態、条件に依存して特有の波長領域の光として発せられる。つまり、蛍光の波長から標本内の物質の存在、状態、反応等が確認でき、また蛍光の強度からこれらの量的な評価が可能となる。
最近では、蛍光をスペクトルに分解して、厳密に物質の同定をし、生体内で生じる現象を解明するために複数の光検出器(チャンネルとも言う)からなるマルチチャンネル光検出器を使ってスペクトルの波長領域を一時に検出するレーザ顕微鏡が提案されている。この様なレーザ顕微鏡でスペクトルを取得することは、標本の蛍光スペクトル情報が二次元画像として視覚的に得られる点で、単一波長を検出する蛍光顕微鏡に比べ優れている(例えば、特許文献1参照。)。
特表2004−506192号公報
しかし、特許文献1に開示されているレーザ顕微鏡では、スペクトルを検出するマルチチャンネル光検出器(アノード型PMT(Photo Multiplier Tubeの略)の各光検出器(以後、チャンネルと記す)(例えば、32チャンネル)それぞれの感度(量子効率、増倍率に起因する)が均一ではなく、またマルチチャンネル光検出器に印加する電圧を変化させた際に微弱な蛍光のスペクトルの強度を所望の精度で取得することができず、厳密な物質の同定を行うことが難しいと言う問題がある。
本発明は上記問題に鑑みて行われたものであり、蛍光の測定時にマルチチャンネル光検出器の感度補正をリアルタイムで実行可能にする分光装置及びスペクトルレーザ顕微鏡を提供することを目的としている。
上記目的を達成するために、本発明は、顕微鏡からの光を測定する分光測定手段を有し、前記分光測定手段は、前記顕微鏡からの光をスペクトルに分光する分光手段と、複数の光検出器から成り前記スペクトルを一括して検出するマルチチャンネル光検出手段と、前記スペクトルと前記マルチチャンネル光検出手段の相対位置を前記スペクトルの波長分散方向に沿って変化させる移動手段と、前記複数の光検出器からのそれぞれの輝度データを処理する演算処理手段を有し、前記演算処理手段は、前記移動手段で前記スペクトルと前記マルチチャンネル光検出手段の相対位置を変更する前の第1の輝度データと変更後の第2の輝度データとから前記複数の光検出器それぞれの感度ばらつきを算出して、前記第1または前記第2の輝度データを補正することを特徴とする分光装置を提供する。
また、本発明の分光装置では、前記移動手段は、前記マルチチャンネル検出手段に設けられていることが好ましい。
また、本発明の分光装置では、前記移動手段は、前記分光手段の光軸に対する傾き角度を変更することが好ましい。
また、本発明の分光装置では、前記第2の輝度データは、前記移動手段により前記スペクトルと前記マルチチャンネル光検出手段との相対位置を前記複数の光検出器中の1光検出器分移動して検出され、前記演算処理手段は、前記スペクトルの同じ波長域に対応する光検出器からの前記第1の輝度データと前記第2の輝度データより前記複数の光検出器中の基準光検出器に対する前記複数の光検出器それぞれの感度ばらつきを算出して、前記第1または前記第2の輝度データを補正することが好ましい。
また、本発明は、レーザ顕微鏡と、前記レーザ顕微鏡からの光を測定する分光測定装置とからなり、前記分光測定装置は、前記レーザ顕微鏡からの光をスペクトルに分光する分光手段と、複数の光検出器から成り前記スペクトルを一括して検出するマルチチャンネル光検出手段と、前記スペクトルと前記マルチチャンネル光検出手段の相対位置を前記スペクトルの波長分散方向に沿って変化させる移動手段と、前記複数の光検出器からのそれぞれの輝度データを処理する演算処理手段を有し、前記演算処理手段は、前記移動手段で前記スペクトルと前記マルチチャンネル光検出手段の相対位置を変更する前の第1の輝度データと変更後の第2の輝度データとから前記複数の光検出器それぞれの感度ばらつきを算出して、前記第1または前記第2の輝度データを補正することを特徴とするスペクトルレーザ顕微鏡を提供する。
また、本発明のスペクトルレーザ顕微鏡では、前記演算処理手段は、前記マルチチャンネル検出手段の感度ばらつきに起因する感度補正データによる補正に加えて、さらに、前記レーザ顕微鏡の光学系に起因する前記輝度データの光学補正データにより前記輝度データを補正することが好ましい。
また、本発明のスペクトルレーザ顕微鏡では、前記光学補正データは、固定値であり、前記感度補正データは、変数値であることが好ましい。
本発明によれば、蛍光の測定時にマルチチャンネル光検出器の感度補正をリアルタイムで実行可能にする分光装置及びスペクトルレーザ顕微鏡を提供することができる。
以下、本発明の一実施の形態に関し図面を参照しつつ説明する。
図1は、本発明の実施の形態にかかかるスペクトルレーザ顕微鏡の概略構成図を示す。図2は、本発明の実施の形態にかかるスペクトルレーザ顕微鏡における輝度データIan、Ibnの取得状態を説明する図であり、(a)は輝度データIanの、(b)は輝度データIbnの取得状態を示す。図3は、本発明の実施の形態にかかるスペクトルレーザ顕微鏡における感度補正フローチャートを示す。図4は、本発明の実施の形態にかかるスペクトルレーザ顕微鏡における感度補正の一例を示す。
(実施の形態)
図1において、本発明の実施の形態にかかるスペクトルレーザ顕微鏡100は、レーザ顕微鏡101、リレー光学系102、及びスペクトル検査装置(分光装置)103とから構成されている。
レーザ顕微鏡101は、ステージ7に載置された標本(又は基準標本)8に照射する励起光を発するレーザ光源1と、レーザ光源1からのレーザ光を略平行光にするコリメートレンズ3と、レーザ光源1とコリメートレンズ3の間に配置されたシャッタ2と、コリメートレンズ3からの略平行光のレーザ光から所定の励起波長のレーザ光を対物レンズ5の方向に反射し、標本8で発生する蛍光を透過するダイクロイックミラー4と、ダイクロイックミラー4と対物レンズ5の間に配置された二次元走査手段(以後、XYスキャナと記す)6と、XYスキャナ6でXY方向に二次元スキャンされ、対物レンズ5を介してステージ7に載置された標本8に点状に集光された励起光で励起されて発生した蛍光を、対物レンズ5で集光され、XYスキャナ6、及びダイクロイックミラー4を介して焦点位置fに集光するレンズ9で構成されている。
リレー光学系102は、集光レンズ9で集光された蛍光を光路偏向ミラー102b、102bとリレーレンズ102a、102aを用いてレーザ顕微鏡101からスペクトル検査装置103にリレーするように構成されている。なお、リレー光学系102は、光ファイバーを用いることも可能である。
スペクトル検査装置(分光装置)103は、リレー光学系102からの蛍光を入射する光軸に配置された、コリメートレンズ10と、スリット11と、分光素子12(例えば、回折格子、プリズム等)と、分光素子12で分光された蛍光のスペクトルを検出する複数のチャンネル(光検出器)13i(i=1〜n)を有するマルチチャンネル光検出器13と、マルチチャンネル光検出器13を各チャンネル13iの方向に沿って移動させる移動手段14と、マルチチャンネル光検出器13にCPU15の指示によってI/O16を介して高電圧を印加する高圧電源17と、各チャンネル13iからの信号をそれぞれ処理するアナログ処理回路18i(i=1〜n)、及びA/D変換器20i(i=1〜n)と、処理された信号を記憶するフレームメモリ22と、CPU15の指示によりXYスキャナ6とフレームメモリ22へのデータの記憶を同期させる同期信号発生回路19と、フレームメモリ22に記憶された蛍光画像データをモニタ24に表示させるためのD/A変換器23とから構成されている。
なお、分光素子12で分光されたスペクトルとマルチチャンネル光検出器13との相対位置の変更は、マルチチャンネル光検出器13を固定し入射光に対する分光素子12の角度を変える、あるいは分光素子12に対する入射光の位置を変えることでも可能である。
シャッタ2はI/O16を介して、XYスキャナ6はXYスキャナ駆動回路21を介してCPU15により制御される。この様にして、スペクトルレーザ顕微鏡100が構成されている。
(スペクトルレーザ顕微鏡の初期化)
始めに、スペクトルレーザ顕微鏡100全体の初期化手順に関して説明する。スペクトルレーザ顕微鏡100全体の初期化は、スペクトル分布(波長及び輝度値)が既知の基準光を用いて行う。
図1において、ステージ7上に基準標本8を配置する。レーザ光源1から出射されたレーザ光は、シャッタ2が開の時コリメートレンズ3を介してダイクロイックミラー4に入射される。入射されたレーザ光はダイクロイックミラー4で対物レンズ5の方向に反射されダイクロイックミラー4と対物レンズ5の間に配置されたXYスキャナ6でXY方向にスキャニングされ、対物レンズ5を介してステージ7に載置された基準標本8に点状に集光される。基準標本8が発する基準光は、対物レンズ5で集光され光路を逆行してXYスキャナ6でデスキャニングされた後、ダイクロイックミラー4を透過してレンズ9で焦点位置fに集光される。焦点位置fに集光された基準光は、リレー光学系102を介してスペクトル検査装置103に入射される。
スペクトル検査装置103に入射した基準光は、レンズ10で略平行光にされスリット11のスリット部11aで分光に適した幅のスリット光にされ分光素子12に入射される。分光素子12に入射された基準光は分光素子12でマルチチャンネル光検出器13の各チャンネル13i(i=1〜n)方向に沿って分光されたスペクトルとなり、マルチチャンネル光検出器13の各チャンネル13iに入射される。入射されたスペクトルは、スペクトルの回折幅とマルチチャンネル光検出器13の各チャンネル13iの配置間隔による波長分解能Δλで検出される。
マルチチャンネル光検出器13には微弱な光を検出するためにアノード型PMT(Photo Multiplier Tubeの略、例えば浜松ホトニクス社製HA7260等)が使用される。HA7620は、各チャンネル13i(i=1〜32、以後32チャンネルの場合について説明する)が1mm間隔で32個配置されている。また、HA7620は印加する電圧によって感度を変更することができ、CPU15からの指令によって、I/O16を介して高圧電源17を制御し、所望の感度を得るように高電圧をマルチチャンネル光検出器13に印加する。なお、マルチチャンネル光検出器13はスペクトルの強度に応じて分割型固体撮像素子(SPD(Silicon Photo Diodeの略)、APD(Avalanche Photo Diodeの略)等を使用することも可能である。
各チャンネル13iは入射されたスペクトルの輝度を電気信号に変換する。電気信号はアナログ処理回路18i(i=1〜32)で電流電圧変換及び増幅され、同期信号発生回路19からのXYスキャナ6の走査に同期したサンプリングクロックでA/D変換器20i(i=1〜32)によりデジタルデータに変換される。なお、XYスキャナ6は同期信号発生回路19からの同期信号を受けXYスキャナ駆動回路21が駆動制御を行っている。各チャンネル13iは、同等のアナログ処理回路18i及びA/D変換器20iを有し、これらにより32チャンネル同時に処理を行い、各チャンネル13iの輝度データをCPU15のメモリに記録する。なお、32チャンネルの同時性が不要な場合、A/D変換器20iを1つにしてマルチプレクサ(不図示)で各チャンネル13iを切換えてアナログ信号をデジタル信号に変換することも可能である。
この様にして、基準標本8からの基準光のスペクトルに対する各チャンネル13iの輝度値が求められ、基準光の既知の輝度値データと求められた輝度値データとの比からスペクトルレーザ顕微鏡100の光学系及び検出系全体の波長に対する補正データαが得られる。この補正データαは、レーザ顕微鏡101の光学系のように経時的に変化しない特性(以後、光学補正データγと記す)と、マルチチャンネル光検出器13の様に使用条件(例えば、印加電圧値等)によって変化する特性(以後、感度補正データβと記す)の両方を含めた補正データ(α=γ×β)となっている。
通常、この補正データα(α=γ×β)は、工場出荷前に検査されて求められ、スペクトルレーザ顕微鏡100内(レーザ顕微鏡101とスペクトル検査装置103とのシステム)に組込まれる。この補正データαは、径時変化のない光学補正データγと、径時変化のある感度補正データβとから構成されているため、定期的なメンテナンスを必要とし、ユーザには大きな負担がかかる。
即ち、マルチチャンネル光検出器13を備えるスペクトル検査装置103の感度補正データβは、使用条件、環境条件によって変化(径時変化)することから、その変化により補正データαの値が変化してしまう。その変化により適切な補正ができなくなることから、ユーザは定期的にメーカに補正データαの書き換え(更新)を依頼しなければならず、その間、装置の使用ができない事態となってしまう不都合がある。
本実施の形態では、この様な不都合を解消した装置を提供する。
上述したように、工場出荷前、補正データαを求めた後に、後述する手法によりスペクトル検査装置103の感度補正データβを求め、補正データαと感度補正データβとからレーザ顕微鏡101側の光学補正データγ(この補正データγは径時変化のほとんどないデータである)を算出する。この算出された光学補正データγを、スペクトルレーザ顕微鏡100のCPU15のメモリに格納しておけば、その後、感度補正データβのみを定期的に測定して求めれば、スペクトルレーザ顕微鏡100で得られた輝度データを適正に補正することができる。即ち、この輝度データが補正データαにより補正されたことになる。
なお、基準標本8を用いる代わりに、着脱可能な基準光源をステージ7の下部に設け、対物レンズ5の焦点位置に基準光源からの基準光を集光するように構成することで同様の効果を奏する。
(光学補正データγを求める手法)
光学補正データγを求めるために、マルチチャンネル光検出器13の各チャンネル13iの感度補正データβの算出に関し説明する。マルチチャンネル光検出器13として用いられる高感度のマルチアノード型PMTは、印加する高電圧を変える事で感度を変更することができるが、この際各チャンネル13iの感度が不均一に変化してしまう。特に微弱な蛍光を検出する時は、入射する蛍光の強度に対して最適な感度となるように印加電圧を調整する必要があるので、印加電圧を変更した際の各チャンネル13iの感度補正データが必要となる。本実施の形態にかかるスペクトルレーザ顕微鏡100では、以下に述べる手段によって印加電圧を変えた際の各チャンネル13iの感度補正データβを取得することが可能となる。
マルチチャンネル光検出器13の印加電圧を変更した時における各チャンネル13iの感度補正データβの収集に関して図2、図3に基づき説明する。基準光をマルチチャンネル光検出器13に入射するところまでは上述と同じであり説明を省略する。
レーザ光源1のシャッタ2を開け基準標本8に励起光を照射し基準光をスペクトル検査装置に入射する(S1)。CPU15からI/O16を介してマルチチャンネル光検出器13に所望の電圧を印加するように設定し(S2)、32チャンネル全ての輝度データIan(n=1〜32)を取得し、CPU15のメモリに記憶する(S3)。得られた輝度レベルが適当かどうかを判断し(S4)、輝度データIanの中で信号が飽和している値があったり、最大輝度値が低すぎたりして輝度データとして不適当な場合、高圧電源17を介して印加電圧を可変し(S5)、輝度データIanの取得を繰り返す(S3〜S5)。各チャンネル13iの輝度データIanとスペクトルの波長位置との関係を模式的に図2(a)に示す。なお、輝度調整は高圧電源17の印加電圧の代わりにレーザ光源1のパワーを調整しても良い。
次に、移動手段14でマルチチャンネル光検出器13を1チャンネル分シフト(例えば、同じ波長の光の入射するチャンネル番号が大きくなる方向にシフト)させる(S6)(図2(b)参照)。この状態で再度32チャンネル全ての輝度データIbnを取得し、CPU15のメモリに記憶する(S7)。各チャンネル13iの輝度データIbnとスペクトルの波長位置との関係を模式的に図2(b)に示す。輝度データIbnの中で信号が飽和している値があったり、最大輝度値が低すぎたりしてデータとして不適当な場合(S8)、高圧電源17を介して印加電圧を変更し(S9)、移動手段14によりマルチチャンネル光検出器13の位置を1チャンネル分戻し(S10)、32チャンネル全ての輝度データIan、Ibnを取得することを繰り返す(S3〜S10)。所望の輝度データIanとIbnを取得した後、シャッタ2を閉じて(S11)、マルチチャンネル光検出器13に光が入射していない状態にして32チャンネル全ての輝度データIonを取得しCPU15のメモリに記憶する(S12)。なお、輝度データIonが無視できるほど小さいときにはIonデータの取得作業を省略しても良い。
次に、輝度データIan、Ibn、及びIonとから各チャンネル13iにおける感度補正データβを以下の手順で算出する。
各チャンネル13iに対して、1つ前のチャンネルに対する感度比[Gn/Gn−1]を次の式から求める(S13)。
[Gn/Gn−1]=(Ibn−Ion)/(Ia(n−1)−Io(n−1))
これは、図2(a),(b)に示すように、スペクトルの同じ波長域を輝度データIan取得時はチャンネル(n−1)で、輝度データIbn取得時はチャンネル(n)で検出しているので、両者の比がチャンネル(n)とチャンネル(n−1)との感度比[Gn/Gn−1]となることを示している。
各チャンネルに対してチャンネル1に対する感度補正データβである感度比[Gn/G1]を次の式から求めCPU15のメモリに格納する(S14)。
[Gn/G1]=[G2/G1]×[G3/G2]×・・・×[Gn/Gn−1] (n>1)
出荷時の光学補正データγを求める工程であると判断されると(S17)、基準標本8を使って求めた補正データαと、ステップS14で求められた感度補正データβとから光学補正データγ(γ=α/β)を算出し、CPU15のメモリに格納する(S18)。
なお、上述の感度補正ではチャンネル1を基準に補正をしたが、マルチチャンネル光検出器13のシフト方向を逆にして最終チャンネル(32チャンネル)を基準にしたり、途中の任意のチャンネルを基準にして補正することも可能である。
図4は補正例を示している。図4(a)は基準光から得られた各チャンネルのチャンネル1に対する感度補正データβである感度比[Gn/G1]を示している。
この様にして、マルチチャンネル光検出器13に印加する高電圧を変えた場合でも、スペクトル検査装置103に入射する光のスペクトルをマルチチャンネル光検出器13の位置を変えてそれぞれ輝度データIan,Ibnを取得し、それぞれの輝度データIan,Ibnを用いて感度補正データβを求めることができ、所定の精度でスペクトル分析を行うことが可能になる。
なお、上述の説明は光学補正データγを求めるために基準光を用いた場合についてしたが、光学補正データγを求めた後には、特別な基準光を必要とせず測定対象の標本からの光を用いて輝度補正を行うことができる。
以上、本実施の形態にかかるスペクトルレーザ顕微鏡100では、スペクトルレーザ顕微鏡100全体の補正データαと唯一使用条件(例えば、印加電圧等)により大きく変化するマルチチャンネル光検出器13の感度補正データβを予め取得することで、スペクトル分布が使用条件により変化しない光学補正データγを算出することができるため、使用条件が変わる場合でもマルチチャンネル光検出器13の感度補正データβを取得するだけで良く、既知のスペクトル分布の基準光を使ってスペクトルレーザ顕微鏡100全体の再初期化を行う必要が無い。また、光学系の変更等が無い場合には、上記の補正データαを用いることで初期化操作をスキップすることができる。
なお、この補正データαはCPU15内のメモリや外部メモリに保存しておくことで、必要に応じて補正データを呼び出すことも可能である。また、専用の基準光源や基準標本の代わりに測定標本を使ってスペクトルレーザ顕微鏡100の補正も可能である。
上述したように、一旦光学補正データγを求めメモリした後は、経時的変化があるスペクトル検査装置103の感度補正データβのみを定期的に求め更新すれば良い。以下に感度補正データβを求め、スペクトルレーザ顕微鏡100で測定された輝度データを適正補正し、測定標本8からの蛍光のスペクトル分析について説明する。
(標本から感度補正データβを求める手法)
測定の手順は、前述の基準標本8を用いた場合と同様であり同じ符号を使って説明する。
図1において、ステージ7に載置された標本8にレーザ光源1からの励起光がXYスキャナ6でスキャニングされて対物レンズ5を介して照射され、標本8から蛍光が発生する。標本8からの蛍光は、対物レンズ5で集光され光路を逆行してXYスキャナ6でデスキャニングされた後、ダイクロイックミラー4を透過してレンズ9で焦点位置fに集光される。集光された蛍光は、リレー光学系102を介してスペクトル検査装置103に入射される。
スペクトル検査装置103に入射された蛍光は、レンズ10で略平行光にされスリット11のスリット部11aで分光に適した幅のスリット光にされ分光素子12に入射される。分光素子12に入射された蛍光は分光素子12でマルチチャンネル光検出器13のチャンネル13i(i=1〜32)方向に沿って分光されたスペクトルとなり、マルチチャンネル光検出器13の各チャンネル13iに入射される。入射されたスペクトルは、スペクトルの回折幅とマルチチャンネル光検出器13のチャンネル13iの配置間隔による波長分解能Δλで検出される。
マルチチャンネル光検出器に蛍光が入射した後、図3に示すフローチャートに従って蛍光のスペクトル分析が行われる。
蛍光をスペクトル検査装置103に入射する(S1)。CPU15からI/O16を介してマルチチャンネル光検出器13に所望の電圧を印加するように設定し(S2)、32チャンネル全ての輝度データIan(n=1〜32)を取得し、CPU15のメモリに記憶する(S3)。得られた輝度レベルが適当かどうかを判断し(S4)、輝度データIanの中で信号が飽和している値があったり、最大輝度値が低すぎたりして輝度データとして不適当な場合、高圧電源17を介して印加電圧を可変し(S5)、輝度データIanの取得を繰り返す(S3〜S5)。各チャンネル13iの輝度データIanとスペクトルの波長位置との関係を模式的に図2(a)に示す。なお、輝度調整は高圧電源17の印加電圧の代わりにレーザ光源1のパワーを調整しても良い。
次に、移動手段14でマルチチャンネル光検出器13を1チャンネル分シフト(例えば、同じ波長の光の入射するチャンネル番号が大きくなる方向にシフト)させる(S6)(図2(b)参照)。この状態で再度32チャンネル全ての輝度データIbnを取得し、CPU15のメモリに記憶する(S7)。各チャンネル13iの輝度データIbnとスペクトルの波長位置との関係を模式的に図2(b)に示す。輝度データIbnの中で信号が飽和している値があったり、最大輝度値が低すぎたりしてデータとして不適当な場合(S8)、高圧電源17を介して印加電圧を変更し(S9)、移動手段14によりマルチチャンネル光検出器13の位置を1チャンネル分戻し(S10)、32チャンネル全ての輝度データIan、Ibnを取得することから繰り返す(S3〜S10)。所望の輝度データIanとIbnを取得した後、シャッタ2を閉じて(S11)、マルチチャンネル光検出器13に光が入射していない状態にして32チャンネル全ての輝度データIonを取得しCPU15のメモリに記憶する(S12)。なお、輝度データIonが無視できるほど小さいときにはIonデータの取得作業を省略しても良い。
次に、輝度データIan、Ibn、及びIonとから各チャンネル13iにおける感度補正データβを以下の手順で算出する。
各チャンネル13iに対して、1つ前のチャンネルに対する感度比[Gn/Gn−1]を次の式から求める(S13)。
[Gn/Gn−1]=(Ibn−Ion)/(Ia(n−1)−Io(n−1))
これは、図2(a),(b)に示すように、スペクトルの同じ波長域を輝度データIan取得時はチャンネル(n−1)で、輝度データIbn取得時はチャンネル(n)で検出しているので、両者の比がチャンネル(n)とチャンネル(n−1)との感度比[Gn/Gn−1]となることを示している。
各チャンネルに対してチャンネル1に対する感度補正データβである感度比[Gn/G1]を次の式から求めCPU15のメモリに格納する(S14)。
[Gn/G1]=[G2/G1]×[G3/G2]×・・・×[Gn/Gn−1] (n>1)
チャンネル1を基準として感度補正した補正後の輝度データInを次の式から求める(S15)。
In=[Gn/G1]×Ian、 (但しn=1の補正は不要)
感度補正後の輝度データInは、チャンネル1を基準として規格化された輝度データを示している。この様にして、蛍光から得られた各チャンネルのチャンネル1に対する感度比[Gn/G1](図4(a)に示す)と、図4(b)に示す蛍光の輝度データIanが得られ、リアルタイムで輝度データIanが補正されて、図4(c)に示す感度補正データβによる補正後の輝度データInが得られる。続いて、CPU15のメモリから光学補正データγが読み出され、輝度データInは光学補正データγによって補正され、適正な輝度データInが求められる。
この輝度データInは、フレームメモリ22に記録され、D/A変換器23を解してモニタ24に画像として表示される。なお、補正前の輝度データとしてIbnを用いることも可能である。この様に種々のスペクトルに同様の規格化処理を施すことにより、得られた蛍光スペクトルの比較検討が可能となる。
この後、マルチチャンネル光検出器13を1チャンネル分元に戻してスペクトル測定を終了する(S16)。
なお、上述の補正ではチャンネル1を基準に補正をしたが、マルチチャンネル光検出器13のシフト方向を逆にして最終チャンネル(32チャンネル)を基準にしたり、途中の任意のチャンネルを基準にして補正することも可能である。
この様にして、マルチチャンネル光検出器13に印加する高電圧を変えて入射する蛍光の強度に最適な感度に設定し、蛍光のスペクトルに対するマルチチャンネル光検出器13の位置を変えてそれぞれ感度データIan,Ibnを取得し、両者の感度データIan,Ibnを用いて感度補正データβを求め、感度補正データβと光学補正データγとによる補正後のスペクトルデータInを取得することができる。
上述の実施の形態の変形例としては、感度補正データβを求めた後に、光学補正データγを用いて全体の系の補正データαを算出することで、輝度データInを補正データαを用いて求めることができる。
また、感度補正データβを求める際に、測定標本8を使わずに、単に透過照明光をスペクトル検出装置103へ導くことでも同様に求めることができる。
本実施の形態におけるスペクトルレーザ顕微鏡は、初期化段階で光学系と光検出器を含む装置全体の波長特性が補正され、蛍光を測定するためにマルチチャンネル光検出器の高電圧を変更した場合は、図4に示す感度補正ルーチンで感度補正後の輝度データを取得することができるため、標本からの蛍光を所定の精度でリアルタイムにスペクトル分析することが可能になる。
なお、スペクトルレーザ顕微鏡100の光学系の波長依存性は、初期化段階で補正されており光学系の部材等の変更を行わなければ測定毎に初期化処理を行う必要は無い。
なお、上述の実施の形態は例に過ぎず、上述の構成や形状に限定されるものではなく、本発明の範囲内において適宜修正、変更が可能である。
本発明の実施の形態にかかかるスペクトルレーザ顕微鏡の概略構成図を示す。 本発明の実施の形態にかかるスペクトルレーザ顕微鏡における輝度データIan、Ibnの取得状態を模式的に説明する図であり、(a)は輝度データIanの、(b)は輝度データIbnの取得状態を示す。 本発明の実施の形態にかかるスペクトルレーザ顕微鏡における感度補正フローチャートを示す。 本発明の実施の形態にかかるスペクトルレーザ顕微鏡における感度補正の一例を示す。
符号の説明
1 レーザ光源
2 シャッタ
3 コリメートレンズ
4 ダイクロイックミラー
5 集光レンズ
6 二次元走査手段(XYスキャナ)
7 ステージ
8 標本(基準標本)
9 レンズ
10 レンズ
11 スリット
12 分光素子
13 マルチチャンネル光検出器
14 移動手段
15 CPU
16 I/O
17 高圧電源
18 アナログ処理回路
19 同期信号発生回路
20 A/D変換器
21 XYスキャナ駆動回路
22 フレームメモリ
23 D/A変換器
24 モニタ
100 スペクトルレーザ顕微鏡
101 レーザ顕微鏡
102 リレー光学系
103 スペクトル検査装置

Claims (7)

  1. 顕微鏡からの光を測定する分光測定手段を有し、
    前記分光測定手段は、前記顕微鏡からの光をスペクトルに分光する分光手段と、複数の光検出器から成り前記スペクトルを一括して検出するマルチチャンネル光検出手段と、前記スペクトルと前記マルチチャンネル光検出手段の相対位置を前記スペクトルの波長分散方向に沿って変化させる移動手段と、前記複数の光検出器からのそれぞれの輝度データを処理する演算処理手段を有し、
    前記演算処理手段は、前記移動手段で前記スペクトルと前記マルチチャンネル光検出手段の相対位置を変更する前の第1の輝度データと変更後の第2の輝度データとから前記複数の光検出器それぞれの感度ばらつきを算出して、前記第1または前記第2の輝度データを補正することを特徴とする分光装置。
  2. 前記移動手段は、前記マルチチャンネル検出手段に設けられていることを特徴とする請求項1に記載の分光装置。
  3. 前記移動手段は、前記分光手段の光軸に対する傾き角度を変更することを特徴とする請求項1に記載の分光装置。
  4. 前記第2の輝度データは、前記移動手段により前記スペクトルと前記マルチチャンネル光検出手段との相対位置を前記複数の光検出器中の1光検出器分移動して検出され、
    前記演算処理手段は、前記スペクトルの同じ波長域に対応する光検出器からの前記第1の輝度データと前記第2の輝度データより前記複数の光検出器中の基準光検出器に対する前記複数の光検出器それぞれの感度ばらつきを算出して、前記第1または前記第2の輝度データを補正することを特徴とする請求項1から3のいずれか1項に記載の分光装置。
  5. レーザ顕微鏡と、
    前記レーザ顕微鏡からの光を測定する分光測定装置とからなり、
    前記分光測定装置は、前記レーザ顕微鏡からの光をスペクトルに分光する分光手段と、複数の光検出器から成り前記スペクトルを一括して検出するマルチチャンネル光検出手段と、前記スペクトルと前記マルチチャンネル光検出手段の相対位置を前記スペクトルの波長分散方向に沿って変化させる移動手段と、前記複数の光検出器からのそれぞれの輝度データを処理する演算処理手段を有し、
    前記演算処理手段は、前記移動手段で前記スペクトルと前記マルチチャンネル光検出手段の相対位置を変更する前の第1の輝度データと変更後の第2の輝度データとから前記複数の光検出器それぞれの感度ばらつきを算出して、前記第1または前記第2の輝度データを補正することを特徴とするスペクトルレーザ顕微鏡。
  6. 前記演算処理手段は、前記マルチチャンネル検出手段の感度ばらつきに起因する感度補正データによる補正に加えて、さらに、前記レーザ顕微鏡の光学系に起因する前記輝度データの光学補正データにより前記輝度データを補正することを特徴とする請求項5に記載のスペクトルレーザ顕微鏡。
  7. 前記光学補正データは、固定値であり、
    前記感度補正データは、変数値であることを特徴とする請求項6に記載のスペクトルレーザ顕微鏡。
JP2004242729A 2004-08-23 2004-08-23 分光装置及びスペクトルレーザ顕微鏡 Expired - Fee Related JP4529587B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004242729A JP4529587B2 (ja) 2004-08-23 2004-08-23 分光装置及びスペクトルレーザ顕微鏡
US11/207,872 US7330257B2 (en) 2004-08-23 2005-08-22 Spectroscope and spectrum laser microscope
DE102005039856A DE102005039856A1 (de) 2004-08-23 2005-08-23 Spektroskop und spektrales Lasermikroskop

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004242729A JP4529587B2 (ja) 2004-08-23 2004-08-23 分光装置及びスペクトルレーザ顕微鏡

Publications (3)

Publication Number Publication Date
JP2006058237A true JP2006058237A (ja) 2006-03-02
JP2006058237A5 JP2006058237A5 (ja) 2007-10-11
JP4529587B2 JP4529587B2 (ja) 2010-08-25

Family

ID=35745878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004242729A Expired - Fee Related JP4529587B2 (ja) 2004-08-23 2004-08-23 分光装置及びスペクトルレーザ顕微鏡

Country Status (3)

Country Link
US (1) US7330257B2 (ja)
JP (1) JP4529587B2 (ja)
DE (1) DE102005039856A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250102A (ja) * 2009-04-16 2010-11-04 Olympus Corp 顕微鏡
JP2013044702A (ja) * 2011-08-26 2013-03-04 Nikon Corp 分光ユニット及び走査型顕微鏡
JP2013534316A (ja) * 2010-07-30 2013-09-02 ケーエルエー−テンカー コーポレイション 空間的に分散された信号のマルチチャネル取得の読取方法
JP2014010314A (ja) * 2012-06-29 2014-01-20 Olympus Corp レーザ顕微鏡および受光感度延命方法
JP2015210217A (ja) * 2014-04-28 2015-11-24 日本電気株式会社 スペクトル処理装置、スペクトル処理プログラム、スペクトル処理システムおよびスペクトル処理方法
JP2016223931A (ja) * 2015-06-01 2016-12-28 コニカミノルタ株式会社 蛍光画像の合焦システム、合焦方法および合焦プログラム
WO2019049442A1 (ja) * 2017-09-08 2019-03-14 ソニー株式会社 微小粒子測定装置、情報処理装置および情報処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5817369B2 (ja) * 2011-09-13 2015-11-18 ソニー株式会社 スペクトル解析装置及び微小粒子測定装置、並びにスペクトル解析あるいはスペクトルチャート表示のための方法及びプログラム
JP6049300B2 (ja) * 2012-05-11 2016-12-21 オリンパス株式会社 顕微鏡システム
CN103868597B (zh) * 2014-03-03 2016-06-22 深圳市华星光电技术有限公司 色度机测量方法及色度机
US9625370B2 (en) 2014-08-26 2017-04-18 Empire Technology Development Llc Microscope with spectroscopic capability

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131144A (ja) * 1998-10-20 2000-05-12 Ando Electric Co Ltd 波長モニタおよび光源
JP2001147159A (ja) * 1999-11-22 2001-05-29 Jasco Corp 感度補正装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5886784A (en) * 1993-09-08 1999-03-23 Leica Lasertechink Gmbh Device for the selection and detection of at least two spectral regions in a beam of light
US6947133B2 (en) * 2000-08-08 2005-09-20 Carl Zeiss Jena Gmbh Method for increasing the spectral and spatial resolution of detectors
DE10038528A1 (de) 2000-08-08 2002-02-21 Zeiss Carl Jena Gmbh Verfahren und Anordnung zur Erhöhung der spektralen und räumlichen Detektorauflösung
JP2002139380A (ja) * 2000-11-02 2002-05-17 Hitachi Ltd 分光光度計

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000131144A (ja) * 1998-10-20 2000-05-12 Ando Electric Co Ltd 波長モニタおよび光源
JP2001147159A (ja) * 1999-11-22 2001-05-29 Jasco Corp 感度補正装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250102A (ja) * 2009-04-16 2010-11-04 Olympus Corp 顕微鏡
JP2013534316A (ja) * 2010-07-30 2013-09-02 ケーエルエー−テンカー コーポレイション 空間的に分散された信号のマルチチャネル取得の読取方法
JP2013044702A (ja) * 2011-08-26 2013-03-04 Nikon Corp 分光ユニット及び走査型顕微鏡
JP2014010314A (ja) * 2012-06-29 2014-01-20 Olympus Corp レーザ顕微鏡および受光感度延命方法
JP2015210217A (ja) * 2014-04-28 2015-11-24 日本電気株式会社 スペクトル処理装置、スペクトル処理プログラム、スペクトル処理システムおよびスペクトル処理方法
JP2016223931A (ja) * 2015-06-01 2016-12-28 コニカミノルタ株式会社 蛍光画像の合焦システム、合焦方法および合焦プログラム
WO2019049442A1 (ja) * 2017-09-08 2019-03-14 ソニー株式会社 微小粒子測定装置、情報処理装置および情報処理方法
JPWO2019049442A1 (ja) * 2017-09-08 2020-08-20 ソニー株式会社 微小粒子測定装置、情報処理装置および情報処理方法
US11480513B2 (en) 2017-09-08 2022-10-25 Sony Corporation Fine particle measurement apparatus, information processing apparatus, and information processing method

Also Published As

Publication number Publication date
US7330257B2 (en) 2008-02-12
DE102005039856A1 (de) 2006-03-02
JP4529587B2 (ja) 2010-08-25
US20060038996A1 (en) 2006-02-23

Similar Documents

Publication Publication Date Title
US7330257B2 (en) Spectroscope and spectrum laser microscope
EP0339582B1 (en) Fluorescence microscope system
US20130126755A1 (en) Method and device for simultaneous multi-channel and multi-method acquisition of synchronized parameters in cross-system fluorescence lifetime applications
JP5516486B2 (ja) 分光測定装置及びプログラム
JP4899648B2 (ja) スペクトル観察方法及びスペクトル観察システム
US20050239117A1 (en) Biochip measuring method and biochip measuring apparatus
US20220236109A1 (en) System and method for hyperspectral imaging in highly scattering media by the spectral phasor approach using two filters
JP4855009B2 (ja) 走査型蛍光顕微鏡
JP2006200987A (ja) 解析装置、顕微鏡、および、解析プログラム
US8542439B2 (en) Method and device for scanning-microscopy imaging of a specimen
KR101629576B1 (ko) 다파장 형광 이미지를 획득하는 장치 및 방법
EP1669740A1 (en) Microscope apparatus, sensitivity setting method for photo detector, control unit, and storage medium
JP2008529091A (ja) 可変視野照射のための方法および装置
US7158294B2 (en) Laser scanning confocal microscope apparatus, image recording method, and recording medium
JP5394893B2 (ja) レーザ走査型顕微鏡
JP2002005835A (ja) ラマン分光測定装置及びそれを用いた生体試料分析方法
JP2005180931A (ja) 分光処理装置
JP4506436B2 (ja) 分光装置、これを備えた顕微鏡分光システム、及びデータ処理プログラム
JP5591088B2 (ja) 光検出装置および観察装置
JP2004354346A (ja) 測定装置
JP5371538B2 (ja) 顕微鏡
JP2006276840A (ja) 顕微鏡装置、その制御装置、及びプログラム
JP3950075B2 (ja) 二次元時間分解分光物質検出方法および装置
JP2006195076A (ja) 走査型光学装置
JP2006171028A (ja) レーザ走査顕微鏡および光検出器の感度設定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100518

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100531

R150 Certificate of patent or registration of utility model

Ref document number: 4529587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees