JP2017156694A - 光学顕微鏡、及び観察方法 - Google Patents

光学顕微鏡、及び観察方法 Download PDF

Info

Publication number
JP2017156694A
JP2017156694A JP2016042333A JP2016042333A JP2017156694A JP 2017156694 A JP2017156694 A JP 2017156694A JP 2016042333 A JP2016042333 A JP 2016042333A JP 2016042333 A JP2016042333 A JP 2016042333A JP 2017156694 A JP2017156694 A JP 2017156694A
Authority
JP
Japan
Prior art keywords
light
objective lens
observation
sample
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016042333A
Other languages
English (en)
Inventor
大出 孝博
Takahiro Oide
孝博 大出
正宜 村山
Masanori Murayama
正宜 村山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FOB CO Ltd
RIKEN Institute of Physical and Chemical Research
Original Assignee
FOB CO Ltd
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FOB CO Ltd, RIKEN Institute of Physical and Chemical Research filed Critical FOB CO Ltd
Priority to JP2016042333A priority Critical patent/JP2017156694A/ja
Priority to PCT/JP2017/008484 priority patent/WO2017150703A1/ja
Publication of JP2017156694A publication Critical patent/JP2017156694A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

【課題】広視野、かつ、高NAで観察可能な光学顕微鏡を提供する。【解決手段】本発明の一態様にかかる光学顕微鏡は、光源11と、照射光を偏向するサーボ型走査ミラー17と、試料21での非線形光学現象によって生じた観察光を屈折する対物レンズ20と、ダイクロイックミラーDCM2によって分離された観察光が入射するリレーレンズLX1、LX2と、リレーレンズLX1、LX2からの観察光を検出する光検出器PMT1と、を備え、対物レンズ20の中央部には、サーボ型走査ミラー17は、照射光が中央領域41内に投影されるよう、照射光を走査し、対物レンズ20の中央領域41と周辺領域42とを通過した観察光がリレーレンズLX1、LX2を介して光検出器PMT1で検出される。【選択図】図1

Description

本発明は、光学顕微鏡、及び観察方法に関する。
2光子励起顕微鏡は、物質の励起に2光子吸収過程を用いている(非特許文献1、2)。すなわち、2光子励起顕微鏡では、1つの蛍光分子が2つの光子をほぼ同時に吸収して、励起状態となる非線形光学現象を利用している。蛍光分子が励起状態から安定状態に戻る際に、エネルギーが蛍光として放出される。2光子励起顕微鏡では、蛍光を検出して画像を構築する。蛍光吸収波長の半分のエネルギーの励起光であっても、集光することにより強度を高めれば、光子密度の高い焦点のみで蛍光分子を励起することができる。
焦点での光子密度を高くするため、フェムト秒パルスレーザが用いられている。短パルスレーザを用いることで、高いピークパワーと低い平均パワーを両立させることが可能なため、試料へのダメージを低減できる。したがって、フェムト秒パルスレーザは、生体試料の観察に適している。2光子顕微鏡では、焦点以外では蛍光が発生しないため、試料の深さ方向の観察が可能となる。特に、低侵襲で脳深部の観察ができるため、2光子励起顕微鏡は、脳研究などに有用である。また、2光子励起顕微鏡では、コンフォーカル顕微鏡とは異なり、ピンホールなしで、観察することができる。このため、蛍光を励起光と同じ光路に戻して検出する必要がない。すなわち、2光子励起顕微鏡では、ノンデスキャン検出器を用いることができる。
Fundamentals And Applications In Mutiphoton Exitation Microscopy:http://www.biomolphysics.kth.se/courses/fluorescence12/DW%20Piston-multiphoton.pdf インターネット検索[平成27年10月28日] Two−Photon Fluorescence Light Microscopy Peter Tc So著:http://web.mit.edu/solab/Documents/Assets/So-2PF%20light%20microscopy.pdf インターネット検索[平成27年10月28日]
脳研究では、広域ネットワーク観察のため、広視野での観察が望まれる。また、2光子蛍光画像の明るさは、対物レンズのNA(Numerical Aperture:開口数)に依存する。したがって、広視野、すなわち低倍率で高NAの対物レンズが望まれる。
しかしながら、以下の理由により、広視野の対物レンズは、低NAとなっている。
(1)低倍率であるならば、画素数が増加するので、低NAでも必要な分解能を満たせる。
(2)低倍率高NAレンズはサイズが巨大となり、顕微鏡に設置するのが困難となる
(3)低倍率高NAレンズは、収差補正が困難である。
したがって、市販の対物レンズを用いた2光子顕微鏡では、広視野、かつ高NAでの観察が困難である。
本発明は、このような事情を背景としてなされたものであり、広視野かつ高NAでの観察を行うことができる光学顕微鏡、及び観察方法を提供することを目的とするものである。
本実施形態の一態様にかかる光学顕微鏡は、照射光を発生する光源と、前記照射光を偏向して、試料上での照射位置を走査する光スキャナと、前記光スキャナで偏向された前記照射光を集光して前記試料に照射するともに、前記試料での非線形光学現象によって生じた観察光を屈折する対物レンズと、前記光スキャナでデスキャンされる前に、前記対物レンズからの前記観察光を前記照射光の光路から分離する光分離手段と、前記光分離手段によって分離された前記観察光が入射するコンデンサレンズと、前記コンデンサレンズからの前記観察光を検出する光検出器と、を備え、前記対物レンズの中央部には、収差補正が施された中央領域が形成され、かつ、前記中央領域の外側には周辺領域が形成され、前記光スキャナは、前記照射光が前記中央領域内に投影されるよう、前記照射光を走査し、前記対物レンズの前記中央領域と前記周辺領域とを通過した前記観察光が前記コンデンサレンズを介して前記光検出器で検出されるものである。これにより、広視野かつ高NAでの観察を行うことができる
上記の光学顕微鏡は、前記光スキャナで偏向した照射光が入射するスキャンレンズと、前記スキャンレンズから前記対物レンズまでの間に配置され、前記スキャンレンズからの前記照射光を平行光束とするチューブレンズと、をさらに備えていてもよい。
上記の光学顕微鏡において、前記対物レンズから前記試料に向かう方向における前記対物レンズのNAが、前記試料から前記対物レンズに向かう方向における前記対物レンズのNAよりも小さくなっていてもよい。
上記の光学顕微鏡は、前記試料において2光子励起により発生した蛍光を前記観察光として、前記光検出器が検出するものであってもよい。
本実施形態の一態様にかかる観察方法は、試料上での照射位置を走査するよう、光スキャナにより照射光を偏向するステップと、対物レンズにより、前記光スキャナで偏向された前記照射光を集光して前記試料に照射するステップと、前記光スキャナでデスキャンされる前に、前記対物レンズからの前記観察光を前記照射光の光路から分離するステップと、分離された前記観察光を、コンデンサレンズを介して検出するステップと、を備え、前記対物レンズの中央部には、収差補正が施された中央領域が形成され、かつ、前記中央領域の外側には周辺領域が形成され、前記光スキャナは、前記照射光が前記中央領域内に投影されるよう、前記照射光を走査し、前記対物レンズの前記中央領域と前記周辺領域とを通過した前記観察光が前記コンデンサレンズを介して前記光検出器で検出されるものである。これにより、広視野かつ高NAでの観察を行うことができる
上記の観察方法は、前記光スキャナで偏向した照射光が入射するスキャンレンズと、前記スキャンレンズから前記対物レンズまでの間に配置され、前記スキャンレンズからの前記照射光を平行光束とするチューブレンズと、をさらに備えていてもよい。
上記の観察方法において、前記対物レンズから前記試料に向かう方向における前記対物レンズのNAが、前記試料から前記対物レンズに向かう方向における前記対物レンズのNAよりも小さくなっていてもよい。
上記の観察方法は、前記試料において2光子励起により発生した蛍光を前記観察光として、光検出器が検出するものであってもよい。
本発明によれば、広視野かつ高NAでの観察を行うことができる光学顕微鏡、及び観察方法を提供することができる。
光学顕微鏡の2光子顕微鏡モードでの光学系を示す図である。 光学顕微鏡の1光子顕微鏡モードでの光学系を示す図である。 2光子顕微鏡モードでの照明光学系を説明するための図である。 2光子顕微鏡モードでの検出光学系を説明するための図である。 対物レンズの瞳の領域を説明するための図である。 2光子顕微鏡モードでの光学系を簡略化して示す図である。 比較例にかかる2光子顕微鏡の光学系を示す図である。 比較例にかかる2光子顕微鏡で撮像された画像を示す図である。 本実施の形態にかかる2光子顕微鏡で撮像された画像を示す図である。 本実施の形態にかかる2光子顕微鏡で撮像された画像を示す図である。 図10の拡大画像を示す図である。
以下に、本発明を適用可能な実施の形態が説明される。以下の説明は、本発明の実施形態を説明するものであり、本発明が以下の実施形態に限定されるものではない。説明の明確化のため、以下の記載は、適宜、省略及び簡略化がなされている。又、当業者であれば、以下の実施形態の各要素を、本発明の範囲において容易に変更、追加、変換することが可能であろう。尚、各図において同一の符号を付されたものは同様の要素を示しており、適宜、説明が省略される。
本実施の形態にかかる光学顕微鏡100は、2光子顕微鏡である。より具体的には、光学顕微鏡100は、2光子顕微鏡モードと1光子顕微鏡モードを切り替え可能な顕微鏡である。すなわち、光学系を光路中に挿脱することで、2光子顕微鏡モードと1光子顕微鏡モードを切り替えることができる。図1は2光子顕微鏡モードでの光学系の構成を示し、図2は1光子顕微鏡モードでの光学系の構成を示している。
まず、2光子顕微鏡モードの光学系について、図1を参照して説明する。光学顕微鏡100は、光源11、ミラー12、ミラー13、ミラー14、アライメントセンサ15、ミラーMR1、ミラーMR2、ビームエキスパンダEXP1、波長フィルタFL1、ミラーMR3、共振型走査ミラー16、サーボ型走査ミラー17、スキャンレンズ18、チューブレンズ19、ダイクロイックミラーDCM2、対物レンズ20、波長フィルタFL4、リレーレンズLX1、ダイクロイックミラーDCM3、波長フィルタFL5、波長フィルタFL6、リレーレンズLX2、リレーレンズLX3、フォトマルチプライアPMT1、フォトマルチプライアPMT2を備えている。
照射光が伝搬する照明光学系101について説明する。光源11は、試料21を照射する照射光を生成する。例えば、光源11はフェムト秒モードロックチタンサファイアレーザであり、短パルスの近赤外光を生成する。ここでは、照射光のパルス幅は100fsec、繰り返し周波数は80MHz、平均パワーは3Wである。短パルスレーザ光を用いることで、ピークパワーを高めると同時に平均パワーを低減することができる。このため、試料21へのダメージを低減することができ、生体試料の観察に好適である。また、光源11は、波長可変となっており、可変波長域は690〜1040nmとなっている。光源11からの照射光は平行光束となっている。
光源11からの照射光は、ミラー12〜14を介して、アライメントセンサ15に入射する。アライメントセンサ15は、照射光の波長を変えた時の光軸のずれを調整する。アライメントセンサ15からの照射光は、ミラーMR1、MR2で反射して、ビームエキスパンダEXP1に入射する。
ビームエキスパンダEXP1は、一対のレンズを有しており、照射光のスポット径を拡大する。具体的には、ビームエキスパンダEXP1は、対物レンズ20の瞳径に応じたビーム径になるよう、照射光のビーム径を拡大する。ビームエキスパンダEXP1からの照射光は、波長フィルタFL1に入射する。波長フィルタFL1は、可視光を反射し、赤外光を透過する。これにより、ノイズとなる可視光成分が除去される。
照射光は、波長フィルタFL1を透過して、ミラーMR3に入射する。ミラーMR3は、照射光を共振型走査ミラー16の方向に反射する。共振型走査ミラー16で反射された照射光は、サーボ型走査ミラー17に入射する。共振型走査ミラー16、サーボ型走査ミラー17は、それぞれ光スキャナであり、試料21上における照射光の照射位置を走査する。すなわち、共振型走査ミラー16、サーボ型走査ミラー17が照射光を偏向して、試料21上における照射光の照射位置を走査する。
共振型走査ミラー16は、レゾナントスキャナであり、所定の共振周波数で動作する。共振型走査ミラー16には、例えばMEMS(Micro Electro Mechanical systems)ミラーを用いることができる。サーボ型走査ミラー17は、サーボ制御により動作する。サーボ型走査ミラー17には、例えば、ガルバノミラーを用いることができる。例えば、共振型走査ミラー16はX方向に照射光を偏向し、サーボ型走査ミラー17は、Y方向に照射光を偏向する。X方向とY方向は、光軸と垂直な平面において、互いに直交する方向である。よって、試料21上では、X方向及びY方向の2次元走査が行われる。これにより、試料21において、所定の領域を観察することができる。なお、照射光を走査する光スキャナの構成については特に限定されるものではなく、公知の光スキャナを用いることができる。例えば、2軸タイプの走査ミラーを用いてもよい。
共振型走査ミラー16、サーボ型走査ミラー17によってXY方向に走査された照射光は、スキャンレンズ18に入射する。スキャンレンズ18は対物レンズ20の一次像面に照射光を集光する。一次像面では、共振型走査ミラー16、及びサーボ型走査ミラー17の偏向角によって、照射光の位置が走査される。
そして、スキャンレンズ18を通過した照射光は、一次像面を通過した後、チューブレンズ19に入射する。チューブレンズ19は、スキャンレンズ18から対物レンズ20までの間に配置されている。チューブレンズ19は、照射光を屈折して、平行光束とする。チューブレンズ19からの照射光は、ダイクロイックミラーDCM2に入射する。ダイクロイックミラーDCM2は、赤外光を透過して、可視光を反射する。よって、照射光はダイクロイックミラーDCM2を透過して、対物レンズ20に入射する。このように、チューブレンズ19からの照射光は、ダイクロイックミラーDCM2を介して、対物レンズ20に入射する。
対物レンズ20は、照射光を集光して、試料21を照明する。すなわち、対物レンズ20を通過した照射光が、微小スポットとなって試料21に照射される。試料21の微小スポットに照射光が入射することで、試料21中の蛍光物質を励起する。上記のように、照射光を赤外光として、2光子励起による蛍光のみを観察しているため、照射光の集光スポットの蛍光物質のみから蛍光が発生する。換言すると、照射光の焦点面以外からの蛍光がほとんど発生しない。対物レンズ20の焦点が観察点となる。これにより、高い解像度(分解能)での観察が可能となる。
また、共振型走査ミラー16、及びサーボ型走査ミラー17によって照射光の照射位置がXY方向に走査されているので、試料21の所定の領域を照明することができる。照射光を走査した時の蛍光を検出することで、二次元画像を構築することができる。また、XYZステージ22(図6を合わせて参照)などで試料21をZ方向に走査することで、3次元画像を構築することができる。
なお、試料21はXYZステージ22上に載置されている。したがって、試料21における観察位置を任意の位置に移動させることが可能になる。さらに、Z方向に駆動することで、異なる深さでの観察が可能になる。試料21の深部を焦点とすることで、試料21の深部を観察することが可能になる。
対物レンズ20によって集光された照射光は、試料21に入射する。そして、対物レンズ20の焦点において、2光子励起によって蛍光が発生する。すなわち、試料21の1つの蛍光分子が2光子をほぼ同時に吸収して、励起状態となると、安定状態に戻る際に蛍光が放出される。このような2光子励起によって生じた蛍光を観察光とする。蛍光の波長は、蛍光物質によって異なっている。
次に、観察光が伝搬する検出光学系102について説明する。観察光は、照明された微小スポットから全方位に向けて発生する。したがって、試料21で生じた観察光の一部は、対物レンズ20に戻る戻り光となる。戻り光となった観察光は、対物レンズ20に入射する。対物レンズ20は、入射した観察光を屈折する。ここでは、対物レンズ20は、試料21からの戻り光(観察光)を平行光束となるように、屈折する。対物レンズ20を通過した観察光は、ダイクロイックミラーDCM2に入射する。上記のように、ダイクロイックミラーDCM2は赤外光を透過して、可視光を反射する。よって、2光子励起によって発生した蛍光(観察光)は可視光となっている。このため、観察光は、ダイクロイックミラーDCM2で波長フィルタFL4の方向に反射される。なお、試料21に入射してそのまま反射した照射光も対物レンズ20を介して、ダイクロイックミラーDCM2に入射する。しかしながら、照射光は赤外光であるため、ダイクロイックミラーDCM2を透過する。これにより、ノイズとなる照射光が検出されるのを防ぐことができる。
このように、ダイクロイックミラーDCM2は、波長に応じて、対物レンズ20からの照射光と観察光を分離する光分離手段となる。また、ダイクロイックミラーDCM2は、対物レンズ20とチューブレンズ19との間に配置されている。したがって、ダイクロイックミラーDCM2は、共振型走査ミラー16、及びサーボ型走査ミラー17によって観察光がデスキャンされる前に、対物レンズ20からの観察光を照射光から分離する。このように、2光子顕微鏡モードでは、光学顕微鏡100は、ノンデスキャン検出器を構成することになる。
ダイクロイックミラーDCM2で反射した観察光は、波長フィルタFL4に入射する。波長フィルタFL4は、赤外光を反射して、可視光を透過するフィルタである。波長フィルタFL4を光路中に配置することで、ノイズとなる赤外光(照射光)が検出器PMT1、PMT2で検出されるのを防ぐことができる。
波長フィルタFL4を通過した観察光は、ダイクロイックミラーDCM3に入射する。ダイクロイックミラーDCM3は、波長に応じて観察光を分岐する。ダイクロイックミラーDCM3は、緑色光を反射し、赤色光を透過する。ダイクロイックミラーDCM3を反射した緑色の観察光は、波長フィルタFL5を介して、リレーレンズLX2に入射する。リレーレンズLX2は、観察光を集光する。リレーレンズLX2で集光された観察光は、光検出器PMT1で検出される。なお、波長フィルタFL5は、緑色光を透過して、それ以外の波長の光を透過しない。これにより、目的とする波長光以外の迷光が光検出器PMT1で検出されてノイズとなるのを防ぐことができる。リレーレンズLX1、LX2は、コンデンサレンズであり、観察光を集光する。具体的には、リレーレンズLX1、LX2は、対物レンズ20の瞳をリレーする。光検出器PMT1は、対物レンズ20の瞳がリレーされた位置に配置されている。
ダイクロイックミラーDCM3を透過した赤色の観察光は、波長フィルタFL6を介して、リレーレンズLX3に入射する。リレーレンズLX3は、観察光を集光する。リレーレンズLX3で集光された赤色の観察光は、光検出器PMT2で検出される。なお、波長フィルタFL6は、赤色光を透過して、それ以外の波長の光を透過しない。これにより、目的とする波長光以外の迷光が光検出器PMT2で検出されてノイズとなるのを防ぐことができる。リレーレンズLX1、LX3は、コンデンサレンズであり、観察光を集光する。ここでは、リレーレンズLX1、LX3は、対物レンズ20の瞳をリレーする。光検出器PMT2は、対物レンズ20の瞳がリレーされた位置に配置されている。
光検出器PMT1、PMT2は、例えば、光電子増倍管であり、検出光量に応じた検出信号を出力する。例えば、光検出器PMT1、PMT2は大面積の1受光画素から構成されている。具体的には、光検出器PMT1、PMT2は、例えば、17mm×17mmの正方形状の受光領域を有している。検出信号は、図示しない処理装置に入力される。処理装置は、照射光の走査位置と検出信号とを対応付けて記憶する。すなわち、試料21中における位置と検出光量とが対応付けられている。こうすることで、試料21の2次元画像が生成される。さらに、XYZステージなどにより、試料21をZ方向に移動させることで、試料21の3次元画像を生成することができる。
なお、上記の説明では、蛍光波長の異なる蛍光物質(蛍光色素)を1波長で同時に励起する多重同時染色を行っているために2系統の光検出器PMT1、PMT2を用いている。すなわち、異なる蛍光物質を同時観察するために2系統の検出光学系を設けている。しかしながら、検出光学系は1系統のみであってもよい。すなわち、観察対象の蛍光物質の蛍光波長に応じた系統の検出光学系を設ければよい。この場合、ダイクロイックミラーDCM3、波長フィルタFL5、及び光検出器PMT1等が不要となる。さらには、検出光学系は3系統以上であってもよい。
2光子励起モードでは、照射光として赤外光を用いている。このため、照射光が試料21の深部にまで到達する。したがって、試料21の深部を観察する3次元観察に適している。特に試料21が生体である場合、生体組織では、赤外光の吸収が少ないため、試料21の深部の観察に好適である。また、コンフォーカル顕微鏡のようにピンホールを用いていないため、受光感度を高くすることができる。
次に、1光子顕微鏡モードについて、図2を用いて説明する。図2は、1光子顕微鏡モードでの光学系を示す図である。なお、1光子顕微鏡モードと2光子顕微鏡モードの切り替えは、適宜光学素子を挿脱すればよい。すなわち、1光子顕微鏡モードでは、図1に示した光学素子(レンズ、ミラー等)を光路中から取り出して、図2に示す光学素子を光路中に挿入する。一方、2光子顕微鏡モードでは、図2に示す光学素子を光路中から取り出して、図1に示す光学素子を光路中に挿入すればよい。光学素子の挿脱機構は公知のものを用いるため省略する。
まず、1光子顕微鏡モードの照明光学系103について説明する。青色光源LSは、照射光となる青色光を発生する。青色光源LSからの照射光は、リレーレンズLC1、LC2を介して、波長フィルタFL3に入射する。波長フィルタFL3は、青色光を通過して、赤色光、及び緑色光を反射する。したがって、照射光以外の光が、試料21に照射されて、ノイズとなるのを防ぐことができる。
波長フィルタFL3を通過した照射光は、ダイクロイックミラーDCM1に入射する。DCM1は、青色光を反射して、赤色光、及び緑色光を透過する。よって、青色光源LSからの照射光のみが、対物レンズ120の方向に反射される。対物レンズ120は、図1の対物レンズ20と異なる対物レンズである。リボルバなどにより、対物レンズ20と対物レンズ120は切替可能に配置されている。
対物レンズ120は、照射光を試料21に集光する。試料21の蛍光物質は青色の照射光により励起されて、観察光となる蛍光を発生する。試料21で発生した蛍光は、全方位に発生する。したがって、試料21で発生した蛍光の一部が対物レンズ120の方向に戻る戻り光となる。
次に、1光子顕微鏡モードの検出光学系104について説明する。試料21からの観察光は、対物レンズ120を介して、ダイクロイックミラーDCM1に入射する。上記のように、DCM1は、青色光を反射して、赤色光、及び緑色光を透過する。このため、赤色光又は緑色光である観察光は、ダイクロイックミラーDCM1を透過して、波長フィルタFL2に入射する。なお、試料21で反射された照射光は、青色光であるため、ダイクロイックミラーDCM1で反射される。よって、試料21からの照射光は、波長フィルタFL2に入射しない。このように、ダイクロイックミラーDCM1は、照射光と観察光を分離する。よって、照射光が撮像素子31に入射してノイズとなるのを防ぐことができる。
波長フィルタFL2は、青色光を反射して、緑色光及び赤色光を透過する。よって、観察光は、波長フィルタFL2を透過して、チューブレンズ19に入射する。チューブレンズ19は、観察光を撮像素子31の受光面に集光する。なお、チューブレンズ19を通過した観察光は、ミラーMR4で反射されて、撮像素子31で受光される。
撮像素子31は、CMOS(complementary metal oxide semiconductor)センサ等の2次元アレイ光検出器であり、受光画素がアレイ状に配置されている。もちろん、CMOSセンサに限らず、CCD(charge-coupled device)センサを2次元アレイ光検出器に用いることとも可能である。
図3、図4に、2光子顕微鏡モードの光路図を示す。図3は、2光子顕微鏡モードにおいて、サーボ型走査ミラー17から試料21までの照明光学系101の光路を示しており、図4は、試料21から光検出器PMT1、PMT2までの検出光学系102の光路を示している。なお、試料21から光検出器PMT1までの光路と、試料21から光検出器PMT2までの光路は、ほぼ同様となっているため、図3、4では適宜簡略化して図示されている。図において、対物レンズ20の光軸をOX1として示している。
なお、図3、図4において、光学要素間の上方に示されている数値は、それぞれ光学要素(サーボ型走査ミラー17、スキャンレンズ18、一次像面、チューブレンズ19、瞳40、観察点21a)間の距離(mm)を示している。なお、各レンズの位置は、主平面の位置としている。さらに、図3、図4において、Dは、照射光又は観察光を光軸OX1と垂直な面に投影した時のビーム径(mm)を示している。また、図3、図4には、サーボ型走査ミラー17による像高h(mm)を示している。具体的には、像高hは、光軸OX1と垂直な面における光軸OX1と、最大走査位置(最大偏向角度)における主光線との間の距離である。
まず、照明光学系における光路について図3を参照して説明する。図3に示すように、サーボ型走査ミラー17には、ビーム径D=6mmの平行光束が照射光として入射する。サーボ型走査ミラー17は、照射光をX方向(紙面内の上下方向)に走査する。サーボ型走査ミラー17で走査された照射光は、スキャンレンズ18に入射する。スキャンレンズ18は焦点距離f=40mmとなっている。一次像面は、スキャンレンズ18から40mmの位置となる。スキャンレンズ18は、照射光を一次像面に集光する。よって、一次像面からの照射光は拡がりながら伝播する。
チューブレンズ19は、走査された照射光を屈折して、平行光束とする。平行光束となった照射光は、ダイクロイックミラーDCM2を通過して、対物レンズ20に入射する。また、チューブレンズ19で屈折された照射光は、対物レンズ20の瞳40を通過する。瞳40では、各走査位置(偏向角)における照射光が重複している。すなわち、異なる偏向角の照射光が瞳40で重なっている。瞳位置において、照射光のビーム径D=30mmとなっている。対物レンズ20は、照射光を試料21中の観察点21aに集光する。
次に、図4を用いて、検出光学系102の光路について説明する。図4では、観察光の光路とともに、照射光が検出光学系102を伝搬したと仮定した時の光路を合わせて示している。観察点21aで発生した観察光は、対物レンズ20に入射する。対物レンズ20は、観察点21aで発生した観察光を平行光束とする。
対物レンズ20の瞳40では、照射光と観察光でビーム径Dが異なっている。具体的には、照射光のビーム径D=30mmであり、観察光のビーム径D=60mmとなっている。照射光のビーム径Dが観察光のビーム径Dよりも小さくなっている。換言すると、観察光は、対物レンズ20の瞳径全体を通過しているのに対して、照射光は対物レンズ20の瞳径の一部のみしか通過していない。
ここで、図5に示すように、対物レンズ20の瞳40において、照射光が通過する領域を中央領域41とし、中央領域41の外側の領域を周辺領域42とする。中央領域41は、光軸OXを中心とする円形の領域である。周辺領域42は、光軸OXを中心とする円環状の領域であり、中央領域41の外側に配置されている。観察光は、中央領域41だけでなく、周辺領域42を通過する。すなわち、観察光は対物レンズ20の瞳径全体を通過する。
対物レンズ20の瞳40を通過した観察光は、平行光束となる。ただし、サーボ型走査ミラー17での偏向角に応じて、観察光の伝播角度が異なっている。観察光は、波長フィルタFL1を通過して、リレーレンズLX1に入射する。リレーレンズLX1は、観察光を集光する。そして、リレーレンズLX1からの観察光は、波長に応じて、ダイクロイックミラーDCM3を透過又は反射する。すなわち、緑色の観察光はダイクロイックミラーDCM3で反射され、黄色・赤色の観察光は、ダイクロイックミラーDCM3を透過する。
ダイクロイックミラーDCM3からの観察光は、波長フィルタFL5、又はFL6を透過して、光検出器PMT1、PMT2に入射する。すなわち、ダイクロイックミラーDCM3で反射された緑色の観察光は波長フィルタFL5を透過して、光検出器PMT1で検出される。ダイクロイックミラーDCM3を透過した黄色・赤色の観察光は波長フィルタFL6を透過して、光検出器PMT2で検出される。光検出器PMT1、PMT2は大面積の1受光画素から構成されている。
光検出器PMT1、PMT2は、対物レンズ20の瞳40がリレーされた位置に配置されている。すなわち、対物レンズ20の瞳と共役な位置に光検出器PMT1、PMT2が配置さている。これにより、照射光の走査角度(偏向角度)に依存せず、観察光は光検出器PTM1、PMT2の同じ位置に入射する。よって、効率よく観察光を検出することができる。
このように、照射光が対物レンズ20の瞳40の中央領域41のみを通過している。一方、観察光は対物レンズ20の瞳40の中央領域41のみではなく、周辺領域42を通過している。したがって、照明用NAを越えた検出用NA(集光NA)を有する対物レンズ20を用いている。このようにすることで、効率的に蛍光を検出することができる。
そして、中央領域41のみ、収差補正が施されている。換言すると、周辺領域42には、収差補正が施されていない。もし、対物レンズ20の瞳40の全体を利用して照明する場合、収差が所定の基準を満足しないで試料21が照明されることになる。この場合、収差により、照射光の焦点がぼけてしまう。したがって、2光子励起による蛍光を効率よく発生させることができなくなってしまう。
これに対して、本実施の形態では、照射光は、中央領域41のみを通過する。共振型走査ミラー16、及びサーボ型走査ミラー17によって走査された照射光が中央領域41内で走査される。すなわち、収差補正が施されていない周辺領域42にはみ出さないように、共振型走査ミラー16、及びサーボ型走査ミラー17が照射光を走査する。これにより、照射光は試料21において、微小なスポットに集光される。一方、観察光は、中央領域41と周辺領域42を通過することができる。よって、光検出器PMT1、PMT2に到達する観察光の立体角を広くすることができる。これにより、微弱な2光子蛍光の検出が可能となり、SN比を高くすることができる。よって、広視野で高NAでの観察が可能である。また、中央領域41のみ収差を考慮すればよいので、広視野で高NAの対物レンズ20の設計が容易になる。
図6、及び図7を用いて、本実施の形態にかかる2光子顕微鏡と、比較例にかかる2光子顕微鏡とを説明する。図6は本実施の形態にかかる2光子顕微鏡の光学系を模式的に示す図である。図7は、比較例にかかる2光子顕微鏡の光学系を模式的に示す図である。図6では、光学系の主要部のみを示している。したがって、図6、図7では、図1、図3、図4で示した光学系が簡略化して示されている。例えば、ダイクロイックミラーDCM3や波長フィルタ等が省略されている。
図6、図7において、試料21で発生した観察光L2は太線で、照射光L1は細線で示されている。また、図6では、試料21から照射光L1が試料21で反射して光検出器PMT1に向かうと仮定した場合の光を、照射光L3として示している。すなわち、照射光L3は、照射光L1を検出光学系102に投影した様子を示している。図6、図7では、対物レンズの構成が異なっている。図7に示された対物レンズ220では、照射光L1が瞳240の全体を通過する。
上記のように、本実施の形態では、照射光L1が対物レンズ20の瞳40の一部の領域(図5で示した中央領域41)のみを通過している。すなわち、収差補正が施されていない周辺領域42を照射光L1が通過していないように、照射光L1が走査されている。対物レンズ20は、照射光L1を試料21に集光する。したがって、対物レンズ20による照射光L1の焦点が、観察点となる。試料21から光検出器PMT1に向かう照射光L3は、中央領域41のみしか通過していない。すなわち、照射光L3は周辺領域42を通過しない。
2光子励起によって試料21で生じた蛍光は観察光L2として、全方位に放出される。そして、試料21で生じた観察光L2のうち、対物レンズ20に入射した観察光L2のみがPMT1で検出される。換言すると、PMT1で検出される観察光L2は、対物レンズ20による開口制限を通過したもののみとなる。観察光L2は、瞳40の中央領域41、及び周辺領域42を通過する。光検出器PMT1に向かう観察光L2に対する対物レンズ20のNAが、試料21に向かう照射光L1に対する対物レンズ20のNAよりも大きくなる。対物レンズ20のNAが大きいほど、検出器PMT1で検出される観察光の光量が高くなる。これにより、SN比を向上することができる。
上記のように、中央領域41には収差補正が施されている。一方、周辺領域42には収差補正が施されていない。図6に示すように、共振型走査ミラー16とサーボ型走査ミラー17とで走査された照射光L1は、中央領域41のみを通過して、試料21を照明する。これにより、試料21上の微小スポットのみが照明される。像の解像力はこの微少スポットの大きさによって決定されるのだが、中央領域41は収差補正が施されているため、スポットは十分に小さく、解像力は良好である。一方、観察光L2は、中央領域41と周辺領域42とを通過して、光検出器PMT1に入射する。すなわち、対物レンズ20の瞳40全体を通過した観察光L2が光検出器PMT1で検出される。
周辺領域42は、収差補正が施されていないが、照明光は透過しないので解像度に影響はない。また、大面積の光検出器PMT1で観察光L2を受光するため、高感度である。すなわち、大面積の1受光画素のみから構成される光検出器PMT1が観察光L2を検出するので、収差によって観察光L2の像がぼけていたとしても、PMT1の受光面積が大きければ、観察光L2の検出光量は減少しない。
このように、上記の対物レンズ20を用いることで、検出立体角を広くすることができる。これにより、微弱な2光子蛍光の検出が可能となる。すなわち、高いSN比で蛍光を検出することができる。広視野で高NAでの観察が可能である。例えば、収差補正が施されている照明用NAは0.4であり、検出用NAは0.8となっている。また、対物レンズ20の倍率は5倍となっている。
一方、図7に示すように、比較例にかかる2光子顕微鏡では、照射光L1に対する対物レンズ220のNAと、観察光L2に対する対物レンズ220のNAが等しくなっている。すなわち、照射光L1は、瞳240全体を通過する。換言すると、共振型走査ミラー16、サーボ型走査ミラー17が、瞳240全体に渡って照射光L1を走査している。このような対物レンズ20を高NAで低倍率にしようとすると、照明側に対する収差補正が非常に困難となる。瞳240は、対物レンズ20の瞳40よりも小さくなっている。瞳240の径は、対物レンズ20の中央領域41と同程度となっている。中央領域41は、対物レンズ220の最大開口であり、共振型走査ミラー16及びサーボ型走査ミラー17で投影される領域全てである。
次に、試料21として固定標本であるミジンコを撮像した画像を図8〜図11に示す。図8は、比較例にかかる2光子顕微鏡で撮像された画像を示す。図9〜図11は、本実施の形態にかかる2光子顕微鏡で撮像された画像を示す。図8は比較例にかかる2光子顕微鏡で撮像した512ピクセル×512ピクセルの画像1を示している。図9は、実施例にかかる2光子顕微鏡で撮像した512×512ピクセルの画像2を示している。図10は、実施の形態にかかる2光子顕微鏡で撮像された2048×2048ピクセルの画像3であり、図11は、図10の矩形部分の拡大画像4である。
図8、図9は、共振型走査ミラー16が33msecで往復スキャンした時の画像である。なお、比較例では、対物レンズ220の拡大倍率は4倍、NAは0.2となっている。本実施形態では、対物レンズ20の拡大倍率は5倍、NAは0.8となっている。本実施の形態では、比較例に比べて、高いSN比で試料21を撮像することができる。また、図10では、共振型走査ミラー16が、266msecで片道スキャンしている。本実施の形態では、比較例に比べて、分解能も優れていることが分かる。また、XYZステージ22をZ方向に移動させることで、試料21の三次元画像を撮像することが可能となる。すなわち、XYZステージ22によって、試料21をZ方向に移動して、照射光を走査することで、断層画像を撮像することができる。よって、試料21の深部観察も可能となる。
なお、本実施の形態にかかる光学顕微鏡100が、2光子励起を行う2光子顕微鏡であるとして説明したが、光学顕微鏡100は2光子顕微鏡に限定されるものではない。本発明は、非線形光学効果によって発生する観察光を検出する光学顕微鏡に適用可能である。非線形光学効果による光学顕微鏡では、照射光が試料に照射されると、試料において非線形光学効果が生じる。対物レンズを介して試料での非線形光学効果によって発生する観察光を光検出器で検出する構成となる。具体的には、本発明にかかる光学顕微鏡は、3光子以上の多光子で励起を行う多光子顕微鏡や和周波発生を用いた光学顕微鏡などにも、適用可能である。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。
11 光源
12 ミラー
13 ミラー
14 ミラー
15 アライメントセンサ
16 共振型走査ミラー
17 サーボ型走査ミラー
18 スキャンレンズ
19 チューブレンズ
20 対物レンズ
21 試料
22 XYZステージ
31 撮像素子
LS 青色光源
DCM ダイクロイックミラー
FL 波長フィルタ
PMT 光検出器
LX リレーレンズ

Claims (8)

  1. 照射光を発生する光源と、
    前記照射光を偏向して、試料上での照射位置を走査する光スキャナと、
    前記光スキャナで偏向された前記照射光を集光して前記試料に照射するともに、前記試料での非線形光学現象によって生じた観察光を屈折する対物レンズと、
    前記光スキャナでデスキャンされる前に、前記対物レンズからの前記観察光を前記照射光の光路から分離する光分離手段と、
    前記光分離手段によって分離された前記観察光が入射するコンデンサレンズと、
    前記コンデンサレンズからの前記観察光を検出する光検出器と、を備え、
    前記対物レンズの中央部には、収差補正が施された中央領域が形成され、かつ、前記中央領域の外側には周辺領域が形成され、
    前記光スキャナは、前記照射光が前記中央領域内に投影されるよう、前記照射光を走査し、
    前記対物レンズの前記中央領域と前記周辺領域とを通過した前記観察光が前記コンデンサレンズを介して前記光検出器で検出される光学顕微鏡。
  2. 前記光スキャナで偏向した照射光が入射するスキャンレンズと、
    前記スキャンレンズから前記対物レンズまでの間に配置され、前記スキャンレンズからの前記照射光を平行光束とするチューブレンズと、をさらに備えた請求項1に記載の光学顕微鏡。
  3. 前記対物レンズから前記試料に向かう方向における前記対物レンズのNAよりも、前記試料から前記対物レンズに向かう方向における前記対物レンズのNAが大きくなっている請求項1、又は2に記載の光学顕微鏡。
  4. 前記試料において2光子励起により発生した蛍光を前記観察光として、前記光検出器が検出する請求項1〜3のいずれか1項に記載の光学顕微鏡。
  5. 試料上での照射位置を走査するよう、光スキャナにより照射光を偏向するステップと、
    対物レンズにより、前記光スキャナで偏向された前記照射光を集光して前記試料に照射するステップと、
    前記光スキャナでデスキャンされる前に、前記対物レンズからの前記観察光を前記照射光の光路から分離するステップと、
    分離された前記観察光を、コンデンサレンズを介して検出するステップと、を備え、
    前記対物レンズの中央部には、収差補正が施された中央領域が形成され、かつ、前記中央領域の外側には周辺領域が形成され、
    前記光スキャナは、前記照射光が前記中央領域内に投影されるよう、前記照射光を走査し、
    前記対物レンズの前記中央領域と前記周辺領域とを通過した前記観察光が前記コンデンサレンズを介して検出される観察方法。
  6. 前記光スキャナで偏向した照射光が入射するスキャンレンズと、
    前記スキャンレンズから前記対物レンズまでの間に配置され、前記スキャンレンズからの前記照射光を平行光束とするチューブレンズと、をさらに備えた請求項5に記載の観察方法。
  7. 前記対物レンズから前記試料に向かう方向における前記対物レンズのNAが、前記試料から前記対物レンズに向かう方向における前記対物レンズのNAよりも小さくなっている請求項5、又は6に記載の観察方法。
  8. 前記試料において2光子励起により発生した蛍光を前記観察光として、観察を行う請求項5〜7のいずれか1項に記載の観察方法。
JP2016042333A 2016-03-04 2016-03-04 光学顕微鏡、及び観察方法 Pending JP2017156694A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016042333A JP2017156694A (ja) 2016-03-04 2016-03-04 光学顕微鏡、及び観察方法
PCT/JP2017/008484 WO2017150703A1 (ja) 2016-03-04 2017-03-03 光学顕微鏡、及び観察方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016042333A JP2017156694A (ja) 2016-03-04 2016-03-04 光学顕微鏡、及び観察方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020031954A Division JP2020095285A (ja) 2020-02-27 2020-02-27 光学顕微鏡、及び観察方法

Publications (1)

Publication Number Publication Date
JP2017156694A true JP2017156694A (ja) 2017-09-07

Family

ID=59743074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016042333A Pending JP2017156694A (ja) 2016-03-04 2016-03-04 光学顕微鏡、及び観察方法

Country Status (2)

Country Link
JP (1) JP2017156694A (ja)
WO (1) WO2017150703A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022080224A (ja) * 2020-11-17 2022-05-27 マシンビジョンライティング株式会社 画像観察装置及びその照明光学系
JP2022545587A (ja) * 2019-12-04 2022-10-28 孫啓光 深部組織イメージングのための大きい角度の光学ラスタ走査システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10253895A (ja) * 1997-03-10 1998-09-25 Nikon Corp 顕微鏡用レボルバおよび顕微鏡
EP1720050A1 (en) * 2004-02-09 2006-11-08 Tamron Co., Ltd. Chromatic aberration correction imaging optical system
JP2012237714A (ja) * 2011-05-13 2012-12-06 Sony Corp 非線形ラマン分光装置、顕微分光装置及び顕微分光イメージング装置
JP2013054146A (ja) * 2011-09-02 2013-03-21 Nikon Corp 対物レンズユニット及びこの対物レンズユニットを有する走査型顕微鏡
JP2013195760A (ja) * 2012-03-21 2013-09-30 Sharp Corp 光学ユニット、蛍光検出装置、および、蛍光検出方法
WO2015151461A1 (ja) * 2014-04-01 2015-10-08 株式会社ニコン 超解像観察装置及び超解像観察方法
JP2016009131A (ja) * 2014-06-25 2016-01-18 キヤノン株式会社 検査装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10253895A (ja) * 1997-03-10 1998-09-25 Nikon Corp 顕微鏡用レボルバおよび顕微鏡
EP1720050A1 (en) * 2004-02-09 2006-11-08 Tamron Co., Ltd. Chromatic aberration correction imaging optical system
JP2012237714A (ja) * 2011-05-13 2012-12-06 Sony Corp 非線形ラマン分光装置、顕微分光装置及び顕微分光イメージング装置
JP2013054146A (ja) * 2011-09-02 2013-03-21 Nikon Corp 対物レンズユニット及びこの対物レンズユニットを有する走査型顕微鏡
JP2013195760A (ja) * 2012-03-21 2013-09-30 Sharp Corp 光学ユニット、蛍光検出装置、および、蛍光検出方法
WO2015151461A1 (ja) * 2014-04-01 2015-10-08 株式会社ニコン 超解像観察装置及び超解像観察方法
JP2016009131A (ja) * 2014-06-25 2016-01-18 キヤノン株式会社 検査装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022545587A (ja) * 2019-12-04 2022-10-28 孫啓光 深部組織イメージングのための大きい角度の光学ラスタ走査システム
JP7332195B2 (ja) 2019-12-04 2023-08-23 國立台灣大學 深部組織イメージングのための大きい角度の光学ラスタ走査システム
JP2022080224A (ja) * 2020-11-17 2022-05-27 マシンビジョンライティング株式会社 画像観察装置及びその照明光学系
WO2022107725A1 (ja) * 2020-11-17 2022-05-27 マシンビジョンライティング株式会社 画像観察装置及びその照明光学系
KR20230002839A (ko) * 2020-11-17 2023-01-05 머신 비전 라이팅 가부시키가이샤 화상 관찰 장치 및 그 조명 광학계
CN115605795A (zh) * 2020-11-17 2023-01-13 机械视觉照明有限公司(Jp) 图像观察装置及其照明光学系统
JP7206020B2 (ja) 2020-11-17 2023-01-17 マシンビジョンライティング株式会社 画像観察装置及びその照明光学系
KR102618097B1 (ko) * 2020-11-17 2023-12-27 머신 비전 라이팅 가부시키가이샤 화상 관찰 장치 및 그 조명 광학계
US11860352B2 (en) 2020-11-17 2024-01-02 Machine Vision Lighting Inc. Image observation apparatus and lighting optical system thereof
CN115605795B (zh) * 2020-11-17 2024-04-19 机械视觉照明有限公司 图像观察装置及其照明光学系统

Also Published As

Publication number Publication date
WO2017150703A1 (ja) 2017-09-08

Similar Documents

Publication Publication Date Title
JP3816632B2 (ja) 走査型顕微鏡
JP5642301B2 (ja) 走査型顕微鏡、および試料の光学検鏡画像形成のための方法
JP6035018B2 (ja) 連続的な光シートを用いるspim顕微鏡
US10527837B2 (en) Imaging method, and system, for obtaining a super-resolution image of an object
CA3013946A1 (en) Method and system for improving lateral resolution in optical scanning microscopy
US7889341B2 (en) Multiphoton-excitation laser scanning microscope
JP2005284136A (ja) 観察装置および観察装置の焦点合わせ方法
US7915575B2 (en) Laser scanning microscope having an IR partial transmission filter for realizing oblique illumination
JP2017167535A (ja) ライトフィールド顕微鏡および照明方法
JP6548458B2 (ja) スキャン光学系およびスキャン装置
WO2015164843A1 (en) Galvo scanning mirror for super-resolution microscopy
US20070109634A1 (en) Microscope apparatus
EP3198324A1 (en) Resolution enhancement for line scanning excitation microscopy systems and methods
JP2005121796A (ja) レーザー顕微鏡
WO2017150703A1 (ja) 光学顕微鏡、及び観察方法
JP5495740B2 (ja) 共焦点走査型顕微鏡
EP3855234A1 (en) Light-sheet microscope and method for large samples
CN107850766A (zh) 用于光学显微镜中的图像处理的系统和方法
US20090296209A1 (en) Microscope
JP2010091694A (ja) 走査型顕微鏡
KR101603726B1 (ko) 멀티모달 현미경
JP2004354937A (ja) レーザ顕微鏡
JP5834638B2 (ja) 対物レンズユニット及びこの対物レンズユニットを有する走査型顕微鏡
JP2006220954A (ja) 蛍光顕微鏡装置
JP2020095285A (ja) 光学顕微鏡、及び観察方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191010

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203