JP2015504177A - 成形されたビームを用いた定量用非線形光学顕微鏡 - Google Patents

成形されたビームを用いた定量用非線形光学顕微鏡 Download PDF

Info

Publication number
JP2015504177A
JP2015504177A JP2014548137A JP2014548137A JP2015504177A JP 2015504177 A JP2015504177 A JP 2015504177A JP 2014548137 A JP2014548137 A JP 2014548137A JP 2014548137 A JP2014548137 A JP 2014548137A JP 2015504177 A JP2015504177 A JP 2015504177A
Authority
JP
Japan
Prior art keywords
slide
laser beam
microscope according
microscope
objective lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014548137A
Other languages
English (en)
Inventor
マリ−クレール シャネ−クレイン
マリ−クレール シャネ−クレイン
エマニュエル ジャン−マルク ボレパール
エマニュエル ジャン−マルク ボレパール
マティアス ストルプラー
マティアス ストルプラー
デルフィン デバール
デルフィン デバール
ニコラス オリヴィエ
ニコラス オリヴィエ
ピエール マオウ
ピエール マオウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centre National de la Recherche Scientifique CNRS
Original Assignee
Centre National de la Recherche Scientifique CNRS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centre National de la Recherche Scientifique CNRS filed Critical Centre National de la Recherche Scientifique CNRS
Publication of JP2015504177A publication Critical patent/JP2015504177A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6486Measuring fluorescence of biological material, e.g. DNA, RNA, cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/4833Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • G02B21/004Scanning details, e.g. scanning stages fixed arrays, e.g. switchable aperture arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • G01N2021/653Coherent methods [CARS]
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/069Supply of sources
    • G01N2201/0696Pulsed
    • G01N2201/0697Pulsed lasers

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Hematology (AREA)
  • Biophysics (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本発明は、試料の像を生成する際、側方の解像能を良好にし、かつ視野の深さを広げるためにベッセルレーザービームを用いた非線形的光学顕微鏡に関連する。係る顕微鏡はスライド走査器を備える。試料はスライド上に配置され、スライドは、レーザービームがスライド全体を掃引することができるよう動力化されたステージ上に、自動的に設置される。試料から発せられる有用なシグナルをスライド走査器の従来型の像と組み合わせることで、良好な解像度で、対象の構成要素が鮮明に表現された全体像を得ることができる。【選択図】図1

Description

本発明は側方の解像度が良好な像を生成する能力を有する非線形光学顕微鏡又は多光子光学顕微鏡に関する。本発明はコラーゲン含量又は脂質含量を定量化した像の生成に応用することが特に有用であるが、これに限定されない。
一般に、非線形光学顕微鏡の像の生成における解像能は平面的な又は立体的な励起の強さの分布と相関する。通常の非線形光学顕微鏡は、成形されていないレーザービームより得られる自然な分布を成す、ガウス型励起プロファイル(ガウス型強度プロファイル及び焦点を合わせている対象への入力平面)を用いている。このため通常の励起及び検出条件(開口数は1近傍、励起波長は1μm近傍)において、解像能は横方向において300−400nm以上となり、軸方向に1−3マイクロメートル以上となる。このように縦方向の解像能が良好なのは視野の深さが浅いことを反映している。しかしながら数マイクロメートル(典型的には2−7μm)の厚さの薄い組織切片中でも一回で像を生成することはできない。像を生成する視野が広いほど、この問題は重大になる。とりわけ組織像においては、標本を移動し、像それ自体を寄せ集めて再構成することで、広い対象領域(センチメートルのスケールが典型的である)の像を生成することが非常に重要である。このため、切片から正確に像が生成されるように、像の生成される視野は、数マイクロメートルある、かかる軸方向の解像能のスケールにおいて平坦かつ水平でなければならない。実際に、かかるスケールでは顕微鏡のスライドが平坦であることはなく、切片を完全に寝かせることは不可能である。またセンチメートルのオーダーの間隔を開けて焦点面と平行になっているスライドを数マイクロメートル以内の水準で位置合わせすることは非常に難しい。図2a及び2bは、平坦性又は水平性が欠如している、薄い組織切片(5μmの厚さが典型的である)から多光子法で生成した像を示す。図2aは先行技術にかかるものであり、強く集束したガウシアンビーム(開口数>0.5)を使用した例である:側方の解像能は十分であるが、視野の深さは切片の厚さよりも小さく、また結果として、像を生成されるボリュームは組織を超えて広がる。図2bは先行技術にかかるものであり、弱く集束したガウシアンビーム(開口数>0.5)を使用した例である:視野の深さはより大きく、像の生成されるボリュームは組織を超えないものの、側方の解像能は著しく劣化している。
さらに、励起ビームの側方の解像能を良好に保つ一方で、視野の深さを拡げるためにベッセルビームを使用することを教示する文献としていくつかの刊行物が知られている。これらの刊行物として次にあげるものが有名である:
−“Two-photon excitation fluorescence microscopy with a high depth of field using an axicon”; Pascal Dufour et al., Applied Optics/vol. 45, No. 36/ 20 December 2006;
−“Scanning two photon fluorescence microscopy with extended depth of field”; E. J. Botcherby et al., Optics Communications 268 (2006) 253-260;
−“Rapid three-dimensional isotropic imaging of living cells using Bessel beam plane illumination”; Thomas A Planchon et al., Nature Methods/vol.8 No.5/May 2011;及び
−“Two-photon microscopy with simultaneous standard and extended depth of field using a tunable acoustic gradient-index lens”; Nicolas Olivier et al., Optics Letters/vol.34, No.11/June 1, 2009。
本発明は特に完全な平坦性又は完全な水平性を有していないスライド上で、側方の解像度の良好な像を生成することを目的とするものである。
かかる発明の他の目的は高い感度と高い特異性とを有する像の生成システムを提案することである。さらに本発明の他の目的は、観察対象となる広い領域から、高速で取得することを可能にする、像の生成システムである。
少なくとも前述の目標の一つは、以下を備える非線形光学顕微鏡によって達成することができる:
−パルスレーザービームの光源、
−前記パルスレーザービームの空間的な特性を変調する空間的な光変調器、
−前記変調されたビームを、標本を有する所望のスライドに誘導する対物レンズ、及び
−前記標本から発せられるシグナルを収集する検出手段。
本発明によれば、前記空間的な光変調器は、前記対物レンズで集束させた後に、軸に沿って伸長され、かつ一の横方向又は二つの横方向に拘束されたビームを生ずるように、対物レンズの後ろ側の瞳(rear pupil)上で前記パルスレーザービームの強度及び/又は位相を変調する。さらに、前記スライドは、組織学的なスライド用の走査機構の動力化されたステージ上に載置される。
上記の通り定義された装置は、スライド走査装置及び非線形顕微鏡を組み合わせて自動化したものと考えることが出来、かかる組合せは互いに関連しつつ異なる構成要素の特定の配置によって得ることが出来る。
ガウシアンビーム及びベッセルビームの間の中間的なビームを生ずることが可能である。空間的なビーム形状の形成のため、かかるビームは特に刊行物“Principles of nano-optics”, L. Novotny and B. Hecht, Cambridge Univ. Press, 2006の特に第1章から第5章の教示に基づいて生成することが出来る。
しかしながら、前記変調されたビームは、前記対物レンズの前記後ろ側の瞳(rear pupil)上において環構造の強度分布を有する形状で形成されたベッセルビームであることが好ましい。
本発明において、スライド走査機構は以下のものを備える:
−白色光の光源
−白色光をスライドに誘導する集光器、及び
−スライドから発せられる白色光より像を生成するカメラ
検出器から得られるシグナルを回収し、かつ多光子画像を再構成することで、それらをカメラより得られる通常の画像と関連付けるための、統合処理装置又は遠隔処理装置が提供されることが好ましい。モデル標本での較正工程の後、二つの画像は自動的に再調整されかつ自動的に結合される。
このため、本発明の顕微鏡により、標本を有するスライドを移動し、かつ像を寄せ集めて再構成することで、特に組織像において、センチメートルスケールであることが典型的な、広い対象領域の像を生成することが可能となる。かかる移動は特にステージを動かした結果としてのスライドを掃引する動作によって行われる。スライドは自動でスライドをロードする動力化ステージ上に載置される。各スライドは分析用の標本を備える。スライド全体の表面を掃引することができるように二次元的に動力化されている。対物レンズの軸方向の変位の動力化に加えて又はその代わりに、ステージもまた軸方向にも動力化されている。好ましくは、像の取得にかかる使用時間をさらに限定するため、スライド上の分離された異なる部分のいくつかのデジタル像を取得することが出来る。したがって、これらの像はスライド全体の単一の像、又は対象の標本の異なる複数の領域にわたる単一の像を再構成することを可能にする。
本発明は、多光子顕微鏡中での非線形的な光学処理による励起のため、成形されたビーム、特にベッセルビームとして知られるビームを用いることで、非線形的結像又は多光子光学結像を行うことに関連し、また好適である。ベッセルビームにより励起されることで、通常のガウシアンビームで励起される場合の軸の方向にそのボリュームが拡がるが、側方の解像能は同等である。励起されるボリュームは管形状とすることが出来、その長さは数マイクロメートルから数百マイクロメートルの範囲で調節可能である。本発明にかかる顕微鏡は上記のような励起に基づくので、散乱する媒体(media)に左右されることなく、厚さ数百マイクロメートルに達する器官を、側方の解像度をマイクロメートル以下で、一度に像を生成することを可能にする。
さらに以上をまとめると、ビームの形状は対物レンズの後ろ側の瞳(rear pupil)上で強度及び位相の分布を調節することで、より普遍的に、調べられる標本の特徴に合わせることが出来る。このため、対物レンズにより集束された後、ビームは軸に沿って伸び、かつ一の横方向又は二つの横方向に拘束される。
複数点式のシステムを使用することで、このような形状を補足することができる。いくつかのビームは軸方向に伸びかつ横方向に拘束されるので、同時にスライドに送られる。また点検出器はカメラで置き換える。
本発明の好ましい態様において、伝播するシグナルを検出するために、パルスレーザービームの伝播に関して、検出手段はスライドの下流に設置される集光器及び検出器を備える。集光器はスライドに非干渉性の光源を誘導するために使用されるものでもよい。開口数の大きい対物レンズで置き換えてもよい。
検出手段は、特に、伝播に対する検出器に加えて、励起のために用いる対物レンズによって、スライドから後方へ放射する、又はスライドから反射してくるシグナルを検出するために配置される検出器を備えてもよい。かかる目的のため、反射したシグナルをかかる検出器に向けるために、スライドの上流のレーザービームの光路中にダイクロイックフィルターを用いてもよい。
対物レンズ及び集光器をスライドの両側にそれぞれ配置することが好ましい。例えば、レーザービームが標本の載置されたスライド上側に到達する一方で、スライド走査器の光をスライド下側に照射してもよい。多光子励起のためのパルスレーザービーム及びスライド走査器のための光源が標本と同一の側に配置されるならば、ベッセルビームを誘導するために用いる対物レンズは、集光器の代わりに、スライドに光を誘導するために用いられる。伝播される光を集めこれをカメラに誘導するために、標本と異なる側に第二の対物レンズをさらに設置する。「スライド走査器」の機構は変位の動力化がなされ、かつ自動的な載置を行うスライド支持器であって、伝播した光の可視化をしないものに変更してもよい。換言すれば、白色光の可視化システムは省略することができる、すなわち動力化されたステージ及びスライド走査器の自動的なロードのみ残すこともできるし、また二つの対物レンズを使用することで、同一の側に多光子のシステム及び白色光のシステムを設置することもできる。後者の二つの解は実用性に劣る。
本発明の好ましい態様において、ベッセルビームを強く集束させるために、対物レンズの開口数は0.5より大きいため、側方の解像度はまったく申し分のないものとなる。
パルスレーザービームはフェムト秒のパルス列であることが好ましく、例えば約100fsとし、繰り返し頻度を約10MHzよりも大きく、例えば約100MHzとし、かつ出力を数百ミリワットとすることができる。総じて、分析される標本から予想される非線形現象を生ずることができるレーザービームが使用される。特に二次高調波発生(SHG, second harmonic generation)若しくは三次高調波発生(THG, third harmonic generation)、二光子励起蛍光(2PEF, two-photon excited fluorescence)、干渉性反ストークスラマン散乱(CARS, coherent anti-Stokes Raman scattering)、誘導ラマン散乱(SRS, stimulated Raman scattering)、四波混合(FWM, four-wave mixing)、又は他の干渉性若しくは非干渉性の非線形の光学的なコントラスト生成方法が用いられる媒体(media)を使用する。
本発明の好ましい態様において、空間的な光変調器はベッセルビームを成形できる素子を備える。かかる素子は特に以下から選択される:
−アキシコンレンズ又はコニカルレンズ
−回折素子
−液晶変調器、及び
−変調が可能な、音響型の液体レンズ。
好ましくはレーザービームを動かし、掃引する動作をさせる手段も提供される。かかる掃引は一つの平面上で行われ、さらに三次元の像を生成するために軸に沿って対物レンズを変位させることができる。掃引手段はレーザー光源にかわる、ガルバノメトリック素子、圧電素子、若しくは他の素子を備えてもよく、かつ/又はレーザービームが通過する一つの素子中に統合されてもよく、かつ/又はレーザービームの光路中に追加で設置される光学素子中に統合されてもよい。レーザービームの掃引動作に動力化されたステージの掃引動作を組み合わせることで高い解像度及び対象中の異なる領域の正確な像を得ることができる。
本発明の他の態様において、本発明に係る顕微鏡を用いた、少なくとも一つの、以下の応用が提案される。
−繊維状コラーゲン固有の二次高調波発生(SHG)シグナルを使用したコラーゲンの定量的な像の生成への応用、
−三次高調波発生(THG)、干渉性反ストークスラマン散乱(CARS)、誘導ラマン散乱(SRS)及び/又は四波混合(FWM)を使用した組織中の脂質含有量に関する定量的な像の生成、及び
−二光子又は三光子励起蛍光シグナルを使用した、細胞内又は細胞外の、例えばエラスチン等の、定量的な像の生成。
換言すれば、かかる装置は、特に、染色によらない生体組織検査において、繊維状コラーゲンのSHGシグナルを用いることで、コラーゲンの定量的な像を生成することに応用できる。組織スライドの平坦性及び水平性の欠如を克服することができるようになると同時に組織中の広い対象領域上で繊維状コラーゲンの集積を定量的に測定できるようになる。
上記はSHGによる顕微鏡観察がコラーゲンからなる繊維状の組織に対する構造的なプローブとなることを示す。組織再構築を伴う多くの病態において、繊維状コラーゲンの集積を定量化することは非常に重要である。このような例として慢性的な移植病(implant diseases)を含む、繊維形成性の病態(肝臓、腎臓、肺の繊維症)がある。このため繊維状コラーゲンの集積をもとに、これらの病態の進行に関し、望ましくないと診断することができることがわかる。さらに以上をまとめると、全体的な、あるいは免疫性、癌性、感染性の起点、その他のいずれかにおける、再構築中の組織の繊維状コラーゲンの存在量を測定するのに有用である。
SHG顕微鏡観察の優位な点は、ここで示すように、実際に、繊維状コラーゲンに対し特異性が高く、一方で染色や標識を必要としないことにあり、これにより優れた再現性を保証できる。これは新たな治療法の評価又は基礎研究のための多角的な研究を実施する上で決定的な強みとなる。しかしながら、繊維状コラーゲンの集積は一般に、感染した器官中で非常に不均一であり、対象となる広い領域において像の生成が必要である(少なくともセンチメートルのスケール)。本発明の装置によってこれを実施することができるのは、側方の解像能がマイクロメートル以下であることにより、コラーゲンの小さな繊維に対する検出の感度を良好に保てるからである。ここで、軸方向のいくつかの像の重ね合わせを取得することが必要とされ、すなわちガウシアンビームよりもさらに迅速にかつ直接に、軸方向における一つの像を取得することで、繊維状コラーゲンの網目状構造の拡がりを、対象となる広い領域にわたって定量的に測定する。本発明によりさらに、限局されたボリュームにおいて平行に並んだコラーゲンの繊維数の定量的な測定のために、SHGシグナルの強度を利用することができる。このため、限局されたボリュームにしたがって、励起シグナルの位相変化を考慮しつつ、成形されたビームによって干渉性のシグナルの合成をするためのモデルを作成する必要がある。
このため上記SHGシグナル用の顕微鏡によって、繊維形成性の病態又は繊維状コラーゲンの集積と関連する様々な病態の診断を定量化することができる。
同様に、本発明の装置は、三次高調波発生(THG)又は干渉性ラマン顕微鏡観察(CARS、SRS、その他)によって、組織切片中に存在する、あるいは小型生物(c elegans種の)中に存在する油滴の数と大きさの特性を迅速に明らかにすることができる。これらの技術は染色や標識を必要としないため、測定の再現性を大きく高めることができる。
本発明の他の長所及び特徴は、実施形態の詳細な説明を吟味することで明らかとなるが、これはなんら本発明を限定するものではない。また以下に示す図面から明らかとなる。
本発明に係る装置図である。 図2aから2cは、平坦性及び水平性が欠如している、典型的な厚さ5μmの薄い組織切片の多光子像にかかる図である。図2aは先行技術に係る、強く集束したガウシアンビームの使用に関するが、視野の深さが組織の厚さよりも小さいため、組織内にボリューム全体が限局されるか、または平坦性又は水平性が欠如していることにより、その外に陥る場合があることが示されている。 図2bは先行技術に係る、弱く集束したガウシアンビームの使用に関するが、限局されたボリュームが大きいため、側方の解像能が低いことと対応しており、また組織全体の厚さにわたっていることが示されている。 図2cは本発明に係る、強く集束したベッセルビームの使用に関するが、ボリュームの限局が非常に良好なため、管形状であり、側方の解像能が高いことと対応しており、平坦性及び水平性が欠如している状態であっても組織の厚さ全体にわたっていることが示されている。 図3a及び3bは、薄い組織切片、又は細胞であって、典型的な厚さ数μmのもの多光子像の図である。図3aは先行技術に係る、強く集束したガウシアンビームの使用に関する。図3bは本発明に係る、強く集束したベッセルビームの使用に関する。 本発明に係る装置においてベッセルビーム用いて一度の撮影によって得られた像及びガウシアンビームを用いていくつかの異なる深さで撮影することによって得られた像を比較するいくつかの画像である。
図1に示される、本発明に係る装置1は、例えばフェムト秒パルスレーザーのような励起ビーム3を放射するレーザー光源2を備える。かかるレーザー光源2は特に強度の調整及び時間的な調整(スペクトル幅、持続時間、パルスレート及びパルスのスペクトル位相、その他)が可能なものでもよい。例として繰り返し頻度100MHzかつ平均出力数百ミリワットの約100fsパルスを送達するパルスレーザービームでもよい。
励起ビーム3は空間的に光変調器によって、空間的に成形されている。かかる変調器はアキシコンレンズ若しくはコニカルレンズ、回折素子、液晶変調器、音響型の液体レンズ
又は他の空間的な光変調器であって、ベッセル型に成形することができるものを備える。
本発明はベッセルビームの生成に係るより詳細な情報を提供する以下の刊行物を明示しかつ参照する:
−“Two-photon excitation fluorescence microscopy with a high depth of field using an axicon”; Pascal Dufour et al., Applied Optics/vol. 45, No. 36/ 20 December 2006;本刊行物はアキシコンの使用を教示している;
−“Scanning two photon fluorescence microscopy with extended depth of field”; E. J. Botcherby et al., Optics Communications 268 (2006) 253-260;環状に昭光し、かつベッセルビームを生成するために散乱素子を用いている;
−“Rapid three-dimensional isotropic imaging of living cells using Bessel beam plane illumination”; Thomas A Planchon et al., Nature Methods/vol.8 No.5/May 2011;ここでは直交する幾何学的配置が用いられている;及び
−“Two-photon microscopy with simultaneous standard and extended depth of field using a tunable acoustic gradient-index lens”; Nicolas Olivier et al., Optics Letters/vol.34, No.11/June 1, 2009;かかる文献には音響光学レンズが用いられている。
これらの刊行物に開示される要素は、これらの要素が本発明に示される内容と矛盾しない限りにおいて、本発明に取り込まれる。
対物レンズ6への入射において、ベッセルビーム5は強度の平均分布が環形状となっている。光の環は対物レンズ6の後ろ側の瞳上で形成される。その後ベッセルビームはスライド8に載置された標本7上に集束する。かかるベッセルビームは視野の深さが拡大されている。標本より生じる非線形シグナルは反射によって捕捉される、又は検出器9によるエピ検出(epidetection)及び/又は検出器10による伝播によって捕捉される。本発明の特筆すべき事項として、直上で説明した非線形光学顕微鏡の要素に、対物レンズ又は集光器12に照射する白色光11の光源を備える組織スライドの走査器が組み合わせられる。かかる白色光はさらにスライド8を通って標本7に誘導される。デジタルカメラ13により標本より生じる白色光から標本のデジタル像を捕捉することができる。
処理ユニット14が提供されることで、本発明に係る装置1の異なる構成要素を稼働するために必要なソフトウェア及びハードウェア手段であって技術分野の当業者に知られたものが備わり、デジタルカメラ13由来のデジタル像及び検出器9及び/又は10より生じるシグナルが処理され、その後、画面に像が表示される。
スライド8は動力化されたステージ上で搬送され、自動的にロードされる。動力化されたステージの掃引動作によって像の撮影が行われる。
本発明の装置は掃引手段(不図示)を備えてもよく、これにより空間的な光変調器4から出射するベッセルビーム5によって標本を側方から掃引することができる。これらの掃引手段は変調器と対物レンズとの間に例えば非共鳴式の鏡型の走査器及び/又は音響工学素子を備えてもよい。これらは動力化されたステージの掃引制御と組み合わせて制御されることが好ましい。
図2cは、平坦性及び水平性が欠如している、典型的な厚さ5μmの薄い組織切片の多光子像である。ベッセルビームは強く集束されており、開口数は0.5より大きことで、側方の解像能は申し分なく、かつ視野の深さは切片の厚さよりも大きいので、平坦性の欠如を克服することができる。
本発明に係る装置の優位性の一つは迅速に像を得ることができることである。多光子顕微鏡中でこれらのベッセルビームを使用することにより、一回の撮影で像を得ることが出来るのは、以下の理由に基づく:
(i)軸方向に伸びた励起ボリュームにより、例え平坦性又は水平性の欠如した対象の広い領域にわたるものであっても、数マイクロメートルの厚みの全体にわたって切片を探知することが出来るようになる(図2c参照);
(ii)側方の解像度はガウシアンビームにより得られるものと同等のレベルを有しており、マイクロメートル以下のスケールにおいて感度は良好である;先行技術にかかる図2bに示すように、弱く集束したガウシアンビームが用いられた場合はこれが不可能である;
(iii)各平面における励起強度は減少しないため、励起ボリュームが軸に沿って拡がっているので、各平面に置けるシグナルレベルは顕著に減少することはない。
図3a及び3bは、側方の解像度が良好な(開口数>0.5)、薄い組織切片、又は細胞であって、典型的な厚さ数μmのものの多光子像を点像分布関数(PSF, point spread function)で表した図である。先行技術に係るガウシアンビームの点像分布関数は図3aに表されている。
以下の方程式によって、軸に沿って変位したいくつかの像の寄与を算出する必要がある:
ここで、INLは標本の厚み全体にわたる非線形光シグナルの強度であり、INL(Z)はkが1からpまで変化した場合に深さZに励起ビームが集束したときに検出される非線形光シグナルの強度であり、χ(n)(z)は深さzにおける順位n(order n)の有効な非線形光の感受性であり、
上記数2に表されるものは深さzにおける周波数ωの電気的な励起場の大きさ(amplitude)のn乗を返すものであり、φ(z)は深さzにおける周波数ωの電気的な励起場の位相であり、
上記数3に表されるものは深さzにおいて集束した励起ボリュームに係る積分に相当する。nは例えば2から4までの整数であり、例えば2はSHGを、3はTHG、CARS、SRS、2PEFを、4は3PEFを示す。
図3bに示されるように、ベッセルビームが用いられた場合、側方の解像能は非常に良好に保たれている一方、ビームが組織の厚みを超えるほどに軸に沿って伸長しているため、一つの像のみで足りる。以下の方程式によるところの一回の寄与が必要である。
ここで積分は標本の厚み全体にわたって行われる。
図4に示すのは、マウスの肝臓繊維症の厚さ15μmの組織スライドのSHG顕微鏡観察像である。像4aに示すように、図3bに示される原理に従いアキシコンによって生成されたベッセルビームによって励起が行われ;また最終的な像4eを得るために寄せ集められた像4bから4dに示すように、図3aに示される原理によるガウシアンビームによっても励起が行われる。ベッセルビームより得られた像4aは、ガウシアンビームによって得られる像4bから4eと異なり、スライドの厚み全体にわたりコラーゲンが存在していることを明らかにしている。
以上をまとめると、本発明は、薄い又は若干厚い標本(典型的には約1マイクロメートルから数百マイクロメートルまで)の多光子顕微鏡観察において、あらゆるコントラストの発生源の測定を迅速に行うことができる。用いられた干渉性のシグナル(SHG、THG、CARS、SRS、FWM型)は、主として前方に放射されて、伝播経路で直接に検出されるか、または、それらは、標本からの後方散乱及び標本からの再帰反射により直接に、または反射鏡が用いられることで、反射経路で検出される。反射経路又は伝播経路を通すことで、非干渉性シグナル(2PEF、3PEF)も同様に良好に検出される。例えばDAPI(Di-Amidino-Phenyl-Indol、ジアミジノフェニルインドール)のような、よく使われる蛍光標識を用いて、細胞を数えるために、あるいは組織の形態の像を生成するために、又は対象となる他の分子又は他の構造を可視化するために、2PEF/3PEFのシグナルの撮影と干渉性シグナルの撮影とを組み合わせることが出来る。かかる蛍光は免疫化学標識若しくは組織標識、遺伝子修飾(蛍光蛋白質との融合)又は内在性の発色団によるものでもよい。以上をまとめると、組織中の対象の様々な構成要素の位置の特定と定量化とを同時に行うためにいくつかの干渉性シグナルと非干渉性シグナルとを同時に検出することが出来る。例えば、(i)SHGによって繊維性コラーゲンの位置の特定と定量を行い、さらにTHG、CARS、SRS又はFWM顕微鏡観察することで脂質量の測定を行う、又は(ii)SHGによって繊維性コラーゲンの位置の特定と定量を行い、さらに適切な免疫標識を行うことで2PEFシグナルによって細胞種の特定を行うことなどができる。
換言すれば、本発明により多光子スライド走査器を利用することができる。すなわち自動化された装置であって、対象の広い領域にわたって組織スライドより像を生成するための装置を活用することが出来る。かかる装置において、レーザービームによる掃引をスライド支持器による掃引と組み合わせることができる、又はこれによってスライド支持器による掃引そのものを置き換えることができる。かかる場合、スライドを支持するステージを、数センチメートルの振幅(amplitude)にわたって、(マイクロメートル以下の間隔で)精密に掃引することができる。かかる実施形態では、スライドガラスとカバーガラスとの間に固定されているか否かに関わらず、パラフィンスライド又は凍結切片に応用することができる。異なるビームを成形するために異なる調整器を用いることで、一方の標本を超えて他方の標本(パラフィンの有無、カバーガラスの有無、切片の厚さの違い、その他の相違点を有するもの)に到達させることができ、また自動化も可能である。スライドの設置及び焦点面と平行な経路の設定も自動化することが出来る。
本発明に係る装置は、従来の多光子装置に比べ、少なくとも以下の利点を有する:定量的な測定を迅速に行うことができる、薄切片の平坦性及び水平性の欠如に関連する問題を解消できる。
本発明に係る装置は、従来のスライド走査器に比べ、少なくとも以下の利点を有する:非線形的な散乱によって組織染色に比べ特異性及び高いコントラストを有する、標識が用いられないため再現性が高くなっている。
当然ながら、本発明は上記の通り説明した例に限定されず、また本発明の範囲を越えない限りこれらの例に対し様々な調整を行うことができる。

Claims (14)

  1. パルスレーザービーム(3)の光源(2)、
    前記パルスレーザービームの空間的な特性を変調する空間的な光変調器(4)、
    前記変調されたビーム(5)を、標本(7)を有する所望のスライド(8)に誘導する対物レンズ(6)、及び
    前記標本から発せられるシグナルを収集する検出手段(9,10):
    を備える非線形光学顕微鏡であって、
    前記空間的な光変調器(4)は、前記対物レンズ(6)で集束させた後に、軸に沿って伸長され、かつ一の横方向又は二つの横方向に拘束されたビームを生ずるように、対物レンズ(6)の後ろ側の瞳(rear pupil)上で前記パルスレーザービーム(3)の強度及び/又は位相を変調するものであり、かつ、
    前記スライド(8)は、組織学的なスライド用の走査機構の動力化されたステージ上に載置されることを特徴とする、
    非線形光学顕微鏡。
  2. 前記変調されたビームは、前記対物レンズ(6)の後ろ側の瞳(rear pupil)上において環構造の強度分布を有する形状で形成されたベッセルビーム(5)であることを特徴とする、
    請求項1に記載の顕微鏡。
  3. 前記スライド用の走査機構は、
    白色光の光源(11)と、
    前記白色光を前記スライド(8)に誘導する集光器(12)と、
    前記スライド(8)から発せられる前記白色光より像を生成するカメラ(13)と、を備えることを特徴とする、
    請求項1又は2に記載の顕微鏡。
  4. 伝播するシグナルを検出するために、パルスレーザービーム(3)の伝播に関して、前記検出手段(9,10)は前記スライド(8)の下流に設置される集光器(12)及び検出器(10)を備えることを特徴とする、
    請求項1−3のいずれかに記載の顕微鏡。
  5. 前記検出手段(9,10)は、スライド(8)から反射してくるシグナルを検出するために配置される検出器(9)を備えることを特徴とする、
    請求項1−4のいずれかに記載の顕微鏡。
  6. 前記対物レンズ及び前記集光器(6,12)は、前記スライド(8)の両側にそれぞれ配置されることを特徴とする、
    請求項3−5のいずれかに記載の顕微鏡。
  7. 前記対物レンズ(6)の開口数は0.5より大きいことを特徴とする、
    請求項1−6のいずれかに記載の顕微鏡。
  8. 前記パルスレーザービーム(3)はフェムト秒のパルス列であることを特徴とする、
    請求項1−7のいずれかに記載の顕微鏡。
  9. 前記パルスレーザービームは約10MHzよりも大きい繰り返し頻度を有し、かつ数百ミリワットの出力を有することを特徴とする、
    請求項1−8のいずれかに記載の顕微鏡。
  10. 前記空間的な光変調器(4)はアキシコン、回折素子、液晶変調器、及び変調が可能な液体レンズから選ばれる素子を備えることを特徴とする、
    請求項1−9のいずれかに記載の顕微鏡
  11. 前記レーザービームの掃引手段をさらに備えることを特徴とする、
    請求項1−10のいずれかに記載の顕微鏡。
  12. 繊維状コラーゲン固有の二次高調波発生(SHG)シグナルを使用することでコラーゲンの定量的な像を生成するための、
    請求項1−11のいずれかに記載の顕微鏡の応用。
  13. 三次高調波発生(THG)、干渉性反ストークスラマン散乱(CARS)、誘導ラマン散乱(SRS)及び/又は四波混合(FWM)を使用することで組織中の脂質含有量に関する定量的な像を生成するための、
    請求項1−11のいずれかに記載の顕微鏡の応用。
  14. 二光子又は三光子励起蛍光シグナルを使用することで細胞内又は細胞外の定量的な像を生成するための、
    請求項1−11のいずれかに記載の顕微鏡の応用。
JP2014548137A 2011-12-20 2012-12-03 成形されたビームを用いた定量用非線形光学顕微鏡 Pending JP2015504177A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1162056A FR2984531B1 (fr) 2011-12-20 2011-12-20 Microscopie optique non-lineaire quantitative utilisant un faisceau mis en forme
FR1162056 2011-12-20
PCT/FR2012/052784 WO2013093275A1 (fr) 2011-12-20 2012-12-03 Microscopie optique non-lineaire quantitative utilisant un faisceau mis en forme

Publications (1)

Publication Number Publication Date
JP2015504177A true JP2015504177A (ja) 2015-02-05

Family

ID=47599044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014548137A Pending JP2015504177A (ja) 2011-12-20 2012-12-03 成形されたビームを用いた定量用非線形光学顕微鏡

Country Status (5)

Country Link
US (1) US9791682B2 (ja)
EP (1) EP2795390B1 (ja)
JP (1) JP2015504177A (ja)
FR (1) FR2984531B1 (ja)
WO (1) WO2013093275A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724824B1 (ko) * 2015-03-26 2017-04-18 재단법인대구경북과학기술원 펨토초 기반 4파 혼합 현미경
CN106990089A (zh) * 2017-04-01 2017-07-28 上海理工大学 同步降频的相干反斯托克斯拉曼散射成像系统及成像方法
WO2017213171A1 (ja) * 2016-06-07 2017-12-14 国立大学法人東北大学 光学情報検知装置及び顕微鏡システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700139B1 (ko) * 2014-02-27 2017-02-13 한국원자력연구원 레이저 기반 비선형인자 측정 장치 및 방법
CN107094050B (zh) * 2016-02-18 2019-10-25 华为技术有限公司 处理数字信号的装置和方法
FR3048514B1 (fr) * 2016-03-04 2018-03-30 Ecole Polytechnique Microscopie optique non-lineaire quantitative
CN107462336B (zh) * 2017-09-30 2019-01-22 飞秒激光研究中心(广州)有限公司 一种飞秒激光多模态分子影像系统
CN110579462B (zh) * 2019-09-18 2020-07-10 华中科技大学 一种基于高重频飞秒激光的时间分辨宽谱cars光谱成像装置
CN113074917A (zh) * 2021-04-01 2021-07-06 南京信息工程大学 一种基于Bessel光束离焦扫描的微纳结构特征参数测量方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815156A (ja) * 1993-06-03 1996-01-19 Hamamatsu Photonics Kk レーザスキャン光学系及びレーザスキャン光学装置
JP2009293994A (ja) * 2008-06-03 2009-12-17 Nano Photon Kk 光学顕微鏡、及び観察方法
JP2010286566A (ja) * 2009-06-09 2010-12-24 Olympus Corp レーザ走査型蛍光顕微鏡および蛍光観察方法
US20110174986A1 (en) * 2008-09-30 2011-07-21 Michael Kempe Apparatus, Especially Microscope, for the Analysis of Samples
WO2012127880A1 (ja) * 2011-03-24 2012-09-27 株式会社ニコン 観察装置および観察方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69418248T2 (de) * 1993-06-03 1999-10-14 Hamamatsu Photonics Kk Optisches Laser-Abtastsystem mit Axikon
AU1476801A (en) * 1999-11-10 2001-06-06 Lucid, Inc. System for optically sectioning and mapping surgically excised tissue
US6844963B2 (en) * 2000-03-23 2005-01-18 Olympus Optical Co., Ltd. Double-resonance-absorption microscope
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7194118B1 (en) * 2000-11-10 2007-03-20 Lucid, Inc. System for optically sectioning and mapping surgically excised tissue
US7272252B2 (en) * 2002-06-12 2007-09-18 Clarient, Inc. Automated system for combining bright field and fluorescent microscopy
US20050258375A1 (en) * 2004-01-26 2005-11-24 Institut National De La Sante Et De La Recherche Medicale Confocal laser scanning microscopy apparatus
JP4914567B2 (ja) * 2004-10-18 2012-04-11 オリンパス株式会社 走査型共焦点顕微鏡
US20100150472A1 (en) * 2008-12-15 2010-06-17 National Tsing Hua University (Taiwan) Method for composing confocal microscopy image with higher resolution
EP2211430A3 (en) * 2009-01-23 2015-05-27 Board of Trustees of Michigan State University Laser autocorrelation system
US9285575B2 (en) * 2009-01-26 2016-03-15 President And Fellows Of Harvard College Systems and methods for selective detection and imaging in coherent Raman microscopy by spectral excitation shaping
JP5152077B2 (ja) * 2009-04-01 2013-02-27 ソニー株式会社 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0815156A (ja) * 1993-06-03 1996-01-19 Hamamatsu Photonics Kk レーザスキャン光学系及びレーザスキャン光学装置
JP2009293994A (ja) * 2008-06-03 2009-12-17 Nano Photon Kk 光学顕微鏡、及び観察方法
US20110174986A1 (en) * 2008-09-30 2011-07-21 Michael Kempe Apparatus, Especially Microscope, for the Analysis of Samples
JP2012504226A (ja) * 2008-09-30 2012-02-16 カール ツァイス マイクロイメージング ゲーエムベーハー 試料を検査するための装置、特に顕微鏡
JP2010286566A (ja) * 2009-06-09 2010-12-24 Olympus Corp レーザ走査型蛍光顕微鏡および蛍光観察方法
WO2012127880A1 (ja) * 2011-03-24 2012-09-27 株式会社ニコン 観察装置および観察方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BOTCHERBY E J ET AL: "Scanning two photon fluorescence microscopy with extended depth of field", OPTICS COMMUNICATIONS, vol. 268巻 2号, JPN6016036482, 14 July 2006 (2006-07-14), NL, pages 253 - 260, ISSN: 0003993017 *
KATSUMASA FUJITA ET AL.: "Label-Free Molecular Imaging of Living Cells", MOLECULES AND CELLS, vol. 26巻6号, JPN7018002271, 31 December 2008 (2008-12-31), US, pages 530 - 535, ISSN: 0003993016 *
MING-RUNG TSAI ET AL.: "In vivo optical virtual biopsy of human oral mucosa with harmonic generation microscopy", BIOMEDICAL OPTICS EXPRESS, vol. 2巻8号, JPN7018002270, 1 August 2011 (2011-08-01), US, pages 2317 - 2328, ISSN: 0003993015 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101724824B1 (ko) * 2015-03-26 2017-04-18 재단법인대구경북과학기술원 펨토초 기반 4파 혼합 현미경
WO2017213171A1 (ja) * 2016-06-07 2017-12-14 国立大学法人東北大学 光学情報検知装置及び顕微鏡システム
JPWO2017213171A1 (ja) * 2016-06-07 2019-03-22 国立大学法人東北大学 光学情報検知装置及び顕微鏡システム
US10816474B2 (en) 2016-06-07 2020-10-27 Tohoku University Optical information detection apparatus and microscope system
CN106990089A (zh) * 2017-04-01 2017-07-28 上海理工大学 同步降频的相干反斯托克斯拉曼散射成像系统及成像方法
CN106990089B (zh) * 2017-04-01 2019-06-04 上海理工大学 同步降频的相干反斯托克斯拉曼散射成像系统及成像方法

Also Published As

Publication number Publication date
US20140347462A1 (en) 2014-11-27
FR2984531A1 (fr) 2013-06-21
FR2984531B1 (fr) 2013-12-27
EP2795390A1 (fr) 2014-10-29
EP2795390B1 (fr) 2018-03-28
US9791682B2 (en) 2017-10-17
WO2013093275A1 (fr) 2013-06-27

Similar Documents

Publication Publication Date Title
JP2015504177A (ja) 成形されたビームを用いた定量用非線形光学顕微鏡
JP6912516B2 (ja) 光パッド顕微鏡
US6208886B1 (en) Non-linear optical tomography of turbid media
US8848199B2 (en) Tomographic phase microscopy
CN101802675B (zh) 荧光焦点调制显微系统和方法
US10595770B2 (en) Imaging platform based on nonlinear optical microscopy for rapid scanning large areas of tissue
CN104359892A (zh) 一种不同模态分子振动光谱检测与成像装置及方法
US11231570B2 (en) Highly inclined swept tile (HIST) imaging apparatus, methods, and applications
Gavgiotaki et al. Third Harmonic Generation microscopy distinguishes malignant cell grade in human breast tissue biopsies
Ghosh et al. Viewing life without labels under optical microscopes
CN111580261A (zh) 一种基于落射式照明的显微成像装置
Lee et al. In vivo sub-femtoliter resolution photoacoustic microscopy with higher frame rates
Niesner et al. Intravital two‐photon microscopy: focus on speed and time resolved imaging modalities
CN104614349A (zh) 反射式分光瞳共焦-光声显微成像装置与方法
CN111122535A (zh) 一种对分子振动模式的高光谱快速成像测量系统
Restall et al. Multimodal 3D photoacoustic remote sensing and confocal fluorescence microscopy imaging
JP5453407B2 (ja) 組織化された材料のナノ構造を探索するための焦点容量の変調を伴うコヒーレント非線形顕微鏡法システム及び方法
CN205280574U (zh) 多功能光声、荧光显微及荧光光谱成像分析装置
US20210223526A1 (en) Light-pad microscope for high-resolution 3d fluorescence imaging and 2d fluctuation spectroscopy
JP2011147400A (ja) 細胞判別方法、細胞判別用の参照データ生成方法、および細胞判別装置
CN104614846B (zh) 反射式分光瞳差动共焦‑光声显微成像装置与方法
Nuster et al. Combined confocal and photoacoustic microscopy based on probe beam deflection technique
Sagar et al. Optical fiber-based dispersion for spectral discrimination in fluorescence lifetime imaging systems
Lim et al. Adaptive Optical Coherent Raman Imaging of Axons through Mouse Cranial Bone
Xie et al. Three‐Dimensional Second‐Harmonic Generation Imaging of Fibrillar Collagen in Biological Tissues

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20161226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190312