JP2017151368A - 顕微鏡および観察方法 - Google Patents

顕微鏡および観察方法 Download PDF

Info

Publication number
JP2017151368A
JP2017151368A JP2016035618A JP2016035618A JP2017151368A JP 2017151368 A JP2017151368 A JP 2017151368A JP 2016035618 A JP2016035618 A JP 2016035618A JP 2016035618 A JP2016035618 A JP 2016035618A JP 2017151368 A JP2017151368 A JP 2017151368A
Authority
JP
Japan
Prior art keywords
autofocus control
container
information
unit
objective lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016035618A
Other languages
English (en)
Other versions
JP6522533B2 (ja
Inventor
兼太 松原
Kenta Matsubara
兼太 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016035618A priority Critical patent/JP6522533B2/ja
Priority to KR1020187023736A priority patent/KR102073503B1/ko
Priority to PCT/JP2016/086151 priority patent/WO2017145487A1/ja
Priority to EP16891643.5A priority patent/EP3422074B1/en
Publication of JP2017151368A publication Critical patent/JP2017151368A/ja
Priority to US16/055,457 priority patent/US11029486B2/en
Application granted granted Critical
Publication of JP6522533B2 publication Critical patent/JP6522533B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/248Base structure objective (or ocular) turrets
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

【課題】培養容器の種類、培養液の量および対物レンズの倍率の影響を受けることなく、観察対象設置面に適切に合焦可能な顕微鏡および観察方法を提供する。【解決手段】照明光を照射する照明光照射部10と、培養容器60が載置されるステージ61と、培養容器60およびステージ61を通過した照明光が入射される対物レンズ31と、フォーカス用の光を照射するフォーカス用光照射部70と、フォーカス用の光の照射による反射光を検出する反射光検出部75と、対物レンズ31とステージ61との距離を変更する距離変更部34と、反射光に基づいてオートフォーカス制御を行うオートフォーカス制御部51と、培養容器60、培養液Cの量および対物レンズ31の倍率の情報を含むフォーカス制御情報を取得するフォーカス制御情報取得部53とを備え、オートフォーカス制御部51が、フォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。【選択図】図1

Description

本発明は、液体中の観察対象を撮像する顕微鏡および観察方法に関するものである。
近年、幹細胞などの培養された細胞を観察する顕微鏡として、位相差顕微鏡をはじめとする種々の顕微鏡が広く使われている。
顕微鏡を用いて細胞を観察する際、細胞の大きさが数10μmであるのに対して、観察領域が数10mmであり広域であるため、細胞が収容された容器が設置されたステージを水平方向に2次元状に移動させることによって走査計測を行なっている。
このようにステージを移動させて走査計測する場合、視野(撮像領域)毎に明瞭な画像を取得するため、視野毎にフォーカス調整をすることが必要である。
フォーカス調整を高速かつ簡易に行なう技術として、たとえば特許文献1においては、照明光および観察光とは異なる波長を有するAF(Autofocus)光を観察対象へ照明し、その反射光を計測して合焦位置を決定するオートフォーカス制御方法が提案されている。
特開2013−190680号公報
しかしながら、培養容器に培養液と一緒に収容された細胞を観察する場合、培養容器の種類、培養液の量および対物レンズの倍率などによって、適切な合焦位置を決定することができない場合がある。
具体的には、図3に示すように、培養容器60内に収容された細胞を観察する場合、観察対象S(細胞)と培養容器60の底部との境界面である観察対象設置面P1に合焦させることが望ましい。その場合、観察対象設置面P1から反射される反射光L1の検出信号を分離して検出することが望ましいが、たとえば培養容器60の底部の厚さdが薄い場合には、観察対象設置面P1からの反射光L1に基づく検出信号と、培養容器60の底面P2からの反射光L2に基づく検出信号を分離して検出することができず、観察対象設置面P1に合焦させることができない場合がある。
また、培養液Cの量が少なく、培養液Cの液面P3と観察対象設置面P1との距離が短い場合にも、観察対象設置面P1からの反射光L1に基づく検出信号と、培養液Cの液面P3からの反射光L3に基づく検出信号を分離して検出することができず、観察対象設置面P1に合焦させることができない場合がある。
また、対物レンズの倍率が低い場合には焦点深度が深くなるので、観察対象設置面P1に合焦させることが難しい場合がある。
本発明は、上記の問題に鑑み、培養容器の種類、培養液の量および対物レンズの倍率の影響を受けることなく、観察対象設置面に適切に合焦させることができる顕微鏡および観察方法を提供することを目的とする。
本発明の顕微鏡は、液体および観察対象が収容された容器に対して照明光を照射する照明光照射部と、容器が載置され、その容器を支持する容器支持部と、容器および容器支持部を通過した照明光が入射される対物レンズと、照明光と波長が異なフォーカス用の光を、対物レンズを介して容器支持部側から照射するフォーカス用光照射部と、容器支持部側からのフォーカス用の光の照射による反射光を、対物レンズを介して検出する反射光検出部と、対物レンズと容器保持部との距離を変更する距離変更部と、反射光検出部によって検出された反射光に基づいて距離変更部を制御することよってオートフォーカス制御を行うオートフォーカス制御部と、容器の情報、液体の量の情報および対物レンズの倍率の情報のうちの少なくとも1つを含むフォーカス制御情報を取得するフォーカス制御情報取得部とを備え、オートフォーカス制御部が、フォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。
また、上記本発明の顕微鏡において、オートフォーカス制御部は、フォーカス制御情報に基づいて、容器の底部と観察対象との境界面である観察対象設置面に合焦する合焦位置を探索する第1のオートフォーカス制御と、容器の底部の観察対象設置面とは反対側の面である底面に合焦する合焦位置を探索する第2のオートフォーカス制御とを切り替えることができる。
また、上記本発明の顕微鏡において、オートフォーカス制御部は、第2のオートフォーカス制御によって探索された合焦位置に対してオフセットを付加することによって観察対象設置面に合焦する合焦位置を推定し、その推定した合焦位置に基づいて距離変更部を制御することができる。
また、上記本発明の顕微鏡において、オートフォーカス制御部は、液体の量の情報に基づいて、液体の量が予め設定された液体閾値以上である場合には、第1のオートフォーカス制御を行い、液体の量が液体閾値未満である場合には、第2のオートフォーカス制御を行うことができる。
また、上記本発明の顕微鏡において、オートフォーカス制御部は、容器の情報に基づいて、容器の底部の厚さが予め設定された厚さ閾値以上である場合には、第1のオートフォーカス制御を行い、容器の底部の厚さが厚さ閾値未満である場合には、第2のオートフォーカス制御を行うことができる。
また、上記本発明の顕微鏡において、オートフォーカス制御部は、対物レンズの倍率の情報に基づいて、対物レンズの倍率が相対的に高い倍率である場合には、第1のオートフォーカス制御を行い、対物レンズの倍率が相対的に低い倍率である場合には、第2のオートフォーカス制御を行うことができる。
また、上記本発明の顕微鏡において、フォーカス制御情報取得部は、液体の量の情報として、観察対象の培養期間の情報を取得することができる。
また、上記本発明の顕微鏡においては、容器の情報として容器の底部の厚さを計測する厚さ計測部を備えることができる。
また、上記本発明の顕微鏡においては、フォーカス制御情報の設定入力を受け付ける設定入力受付部を備えることができる。
また、上記本発明の顕微鏡において、フォーカス用の光は、予め設定されたパターンを有することが好ましい。
また、上記本発明の顕微鏡においては、フォーカス用の光として、縞状のパターンを有する光を用いることができる。
本発明の観察方法は、容器支持部に載置された、液体および観察対象が収容された容器に対して照明光を照射し、容器および容器支持部を通過した照明光を対物レンズを介して結像させて観察対象の画像を観察する観察方法において、照明光と波長が異なるフォーカス用の光を、対物レンズを介して容器支持部側から照射し、そのフォーカス用の光の照射による反射光を検出し、その検出した反射光に基づいて、対物レンズと容器保持部との距離を変更することによってオートフォーカス制御を行う際、容器の情報、液体の量の情報および対物レンズの倍率の情報のうちの少なくとも1つを含むフォーカス制御情報を取得し、その取得したフォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。
本発明の顕微鏡および観察方法によれば、フォーカス用の光を対物レンズを介して容器に照射し、そのフォーカス用の光の照射による反射光を検出し、その検出された反射光に基づいて、対物レンズと容器を保持する容器保持部との距離を変更することによってオートフォーカス制御を行う。そして、このようなオートフォーカス制御を行う場合において、容器の情報、液体の量の情報および対物レンズの倍率の情報のうちの少なくとも1つを含むフォーカス制御情報を取得し、その取得したフォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。このようにオートフォーカス制御の方法を変更することによって、培養容器の種類、培養液の量および対物レンズの倍率を考慮したオートフォーカス制御を行うことができ、これにより観察対象設置面に適切に合焦させることができる。
本発明の顕微鏡の一実施形態を用いた顕微鏡システムの概略構成を示す図 培養容器の種類と培養容器の底部の厚さとを対応づけたテーブルの一例を示す図 培養容器にパターン光を照射することによって反射される反射光を説明するための図 本発明の顕微鏡の一実施形態を用いた顕微鏡システムの作用を説明するためのフローチャート 本発明の顕微鏡の一実施形態を用いた顕微鏡システムの変形例を示す図
以下、本発明の顕微鏡および観察方法の一実施形態を用いた顕微鏡システムについて、図面を参照しながら詳細に説明する。図1は、本実施形態の顕微鏡システムの概略構成を示す図である。
本実施形態の顕微鏡システムは、図1に示すように、照明光照射部10と、結像光学系30と、撮像部40と、フォーカス用光照射部70と、反射光検出部75と、顕微鏡制御装置50と、表示装置80と、入力装置90とを備えている。
本実施形態の顕微鏡システムにおいては、照明光照射部10と結像光学系30との間に、容器支持部に相当するステージ61が設けられており、このステージ61上に培養容器60が載置されて、支持される。培養容器60内には、液体である培養液Cおよび観察対象Sが収容されている。
そして、本実施形態の顕微鏡システムは、X方向、Y方向およびZ方向にステージ61を移動させるステージ駆動部62を備えている。X方向およびY方向は、観察対象設置面P1に平行な面上において互いに直交する方向であり、Z方向は、X方向およびY方向に直交する方向である。
本実施形態の顕微鏡システムにおいては、上述した照明光照射部10、結像光学系30、撮像部40、フォーカス用光照射部70、反射光検出部75、ステージ61、ステージ駆動部62および距離変更部34から位相差顕微鏡本体が構成され、顕微鏡制御装置50は、この位相差顕微鏡本体を制御するものである。以下、位相差顕微鏡本体の具体的な構成を説明する。
照明光照射部10は、培養容器60内に収容された観察対象Sに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。具体的には、本実施形態の照明光照射部10は、位相差計測用の白色光を出射する白色光源11と、リング形状のスリットを有し、白色光源11から出射された白色光が入射されてリング状照明光を出射するスリット板12と、スリット板12から射出されたリング状照明光が入射され、その入射されたリング状照明光を観察対象Sに対して照射するコンデンサレンズ13とを備えている。
スリット板12は、白色光源11から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。
なお、本実施形態においては、上述したようにスリット板12を用いてリング状照明光を形成するようにしたが、リング状照明光を形成する方法としては、これに限らず、たとえば空間光変調素子などを用いてリング状照明光を形成するようにしてもよい。
また、本実施形態においては、位相差計測用の照明光としてリング状照明光を用いるようにしたが、リング状以外の構造を有する照明光でもよく、後述する位相板32と共役な形状となっていれば三角形状や四角形状などその他の形状でもよい。
ステージ61上に設置された培養容器60内には、観察対象Sとして細胞群などが配置される。本実施形態では、培養容器60の底部と観察対象Sとの境界面を観察対象設置面P1という。また、培養容器60の底部の観察対象設置面P1と反対側の面を底面P2という。培養容器60としては、シャーレおよび複数のウェルが配列されたウェルプレートなどを用いることができる。ウェルプレートの場合、各ウェルに観察対象Sおよび培養液Cが収容される。
また、本実施形態においては、培養液中で培養される細胞群を観察対象Sとしたが、観察対象Sとしてはこのような培養中のものに限らず、水、ホルマリン、エタノール、およびメタノールなどの液体中において固定された細胞を観察対象Sとしてもよい。
結像光学系30は、対物レンズ31と、位相板32と、結像レンズ33と、距離変更部34とを備えたものである。
位相板32は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板12のスリットの大きさは、この位相リングと共役な関係にある。
位相リングは、入射された光の位相を1/4波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板32に入射された直接光は位相リングを通過することによって位相が1/4波長ずれるとともに、その明るさが弱められる。一方、観察対象Sによって回折された回折光は大部分が位相板32の透明板の部分を通過し、その位相および明るさは変化しない。
対物レンズ31は、距離変更部34によってZ方向に移動するものである。観察対象Sの位相差画像を撮像する場合には、距離変更部34によって対物レンズ31をZ方向へ移動させることによってオートフォーカス制御が行われ、撮像部40によって撮像される画像のコントラストが調整される。
本実施形態においては、フォーカス用光照射部70によって培養容器60に対してパターン光が照射され、その反射光が反射光検出部75によって検出され、その検出信号に基づいてオートフォーカス制御が行われる。このパターン光の反射光の検出信号に基づくオートフォーカス制御については、後で詳述する。
結像レンズ33は、位相板32を通過した直接光および回折光が入射され、これらの光を撮像部40に結像するものである。
距離変更部34は、上述したように対物レンズ31をZ方向に移動させる機構を備えたものであり、本発明の距離変更部に相当するものである。
結像光学系30は、その光学倍率を変更可能に構成するようにしてもよい。光学倍率を変更する方法としては、たとえば互いに異なる倍率を有する複数の対物レンズ31を結像光学系30に設け、この複数の対物レンズ31を自動的に切り換えるようにすればよい。この際、位相板32も対物レンズ31の変更に応じて変更される。また、ユーザが対物レンズ31を手動で交換することによって変更するようにしてもよい。
撮像部40は、結像レンズ33によって結像された観察対象Sの位相差画像を撮像する撮像素子を備えたものである。撮像素子としては、CCD(charge-coupled device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサなどを用いることができる。
フォーカス用光照射部70は、上述したようにオートフォーカス制御に用いられるものであり、フォーカス用の光として、予め設定されたパターンを有するパターン光を培養容器60に対して照射するものである。具体的には、本実施形態のフォーカス用光照射部70は、縞状のパターンを有するパターン光を照射するものであり、近赤外光を出射する近赤外光源71と、近赤外光源71から出射された近赤外を透過する線状部分と遮光する線状部分とから構成されるグリッド72と、照射レンズ73と、グリッド72から出射された縞状の明暗のパターンを有するパターン光を培養容器60に向けて反射し、かつ位相差計測用の照明光を透過するダイクロイックミラー74とを備えている。
なお、本実施形態においては、パターン光として近赤外光を用いるようにしたが、パターン光の波長としてはこれに限らず、位相差計測用の照明光と異なる波長であればその他の波長でもよい。
また、本実施形態においては、グリッド72を用いることによって縞状の明暗のパターンを有するパターン光を形成するようにしたが、パターン光を形成する方法としては、これに限らず、たとえば空間光変調素子などを用いて縞状の明暗のパターンを形成するようにしてもよい。また、パターン光が有する明暗のパターンとしては、縞状に限らず、2次元状に明暗のパターンが周期的に配列された格子パターンを用いるようにしてもよい。また、同心円状に明暗のパターンが配列された光または2次元状にドットパターンが配列された光をパターン光として用いるようにしてもよい。また、パターン光が有するパターンは、白黒のパターンでなくてもよく、互いに異なる色からなるカラーのパターンでもよい。
反射光検出部75は、培養容器60へのパターン光の照射による反射光を検出するものである。具体的には、本実施形態の反射光検出部75は、ハーフミラー76と、光路差プリズム77と、ラインセンサ78とを備えている。
ハーフミラー76は、グリッド72から出射されたパターン光を透過し、かつパターン光の培養容器60への照射による反射光を光路差プリズム77の方向に反射するものである。
光路差プリズム77は、入射されたパターン光の反射光を2つの光路に分け、ラインセンサ78の異なる2箇所に結像するものである。ラインセンサ78は、2箇所で撮像された第1の検出信号と第2の検出信号とを顕微鏡制御装置50のオートフォーカス制御部51に出力するものである。なお、本実施形態においては、光路差プリズム77によって分けられた2つの光路の反射光を1つのラインセンサ78によって検出するようにしたが、各光路の反射光を個別に検出する2つのセンサを設けるようにしてもよい。
顕微鏡制御装置50は、CPU(Central Processing Unit)、半導体メモリおよびハードディスクなどを備えたコンピュータから構成されるものである。
顕微鏡制御装置50は、位相差顕微鏡本体全体の動作を制御するものであり、具体的には、図1に示すように、距離変更部34を制御するオートフォーカス制御部51と、ステージ駆動部62を制御するステージ制御部52と、フォーカス制御情報取得部53とを備えている。
オートフォーカス制御部51は、反射光検出部75のラインセンサ78によって検出された第1の検出信号と第2の検出信号とに基づいて、対物レンズ31をZ方向に移動させてオートフォーカス制御を行うものである。具体的には、本実施形態のオートフォーカス制御部51は、第1の検出信号のコントラスト(波形パターン)と第2の検出信号のコントラスト(波形パターン)が近似する位置に対物レンズ31を移動させることによって合焦位置を決定する。なお、本実施形態では、ラインセンサ78を用いて第1および第2の検出信号を検出するようにしたが、これに限らず、CMOSイメージセンサまたはCCDイメージセンサを用いてもよい。
ステージ制御部52は、ステージ駆動部62を駆動制御し、これによりステージ61をX方向、Y方向およびZ方向に移動させるものである。ステージ61が、X方向およびY方向に移動することによって、たとえば1つのウェル内が位相差計測用の照明光で走査され、1つのウェル内で分割された複数の撮像領域(視野)毎の位相差画像が撮像される。
フォーカス制御情報取得部53は、培養容器60の情報、培養液Cの量の情報、および対物レンズ31の倍率の情報のうちの少なくとも1つのフォーカス制御情報を取得するものである。
培養容器60の情報としては、培養容器60の底部の厚さに関連する情報であれば如何なる情報でもよく、たとえば培養容器60の名称、メーカーまたは型番などといった培養容器60の種類を示す情報であってもよいし、培養容器60の底部の厚さを直接示す数値情報であってもよい。培養容器60の種類の情報を取得する場合には、図2に示すような、培養容器60の種類の情報とその培養容器60の底部の厚さとを対応付けたテーブルを予め設定しておき、後述するオートフォーカス制御方法の決定の際および第2のオートフォーカス制御の際には、上記テーブルを参照して、培養容器60の底部の厚さを取得するようにすればよい。
培養容器60の情報は、ユーザが、入力装置90を用いて設定入力してもよいし、培養容器60に対して、その培養容器60の情報が記録されたバーコードまたはIC(Integrated Circuit)チップなどの記録媒体を設けておき、その記録媒体から読み出すことによって取得するようにしてもよい。なお、入力装置90は、本発明の設定入力受付部に相当するものである。
培養液Cの量の情報は、ユーザが、入力装置90を用いて設定入力してもよいし、ステージ61などに重量センサ(図示省略)を設け、その重力センサによって重さを計測することによって培養液Cの量を算出するようにしてもよい。培養液Cの量の情報は、培養液Cの深さを間接的に表す情報として取得されるものである。
対物レンズ31の倍率の情報についても、ユーザが、入力装置90を用いて設定入力してもよいし、対物レンズ31に対して、その対物レンズ31の倍率が記録されたバーコードまたはIC(Integrated Circuit)チップなどの記録媒体を設けておき、その記録媒体から読み出すことによって取得するようにしてもよい。
フォーカス制御情報取得部53によって取得されたフォーカス制御情報は、オートフォーカス制御部51によって取得され、オートフォーカス制御部51は、入力されたフォーカス制御情報に基づいて、オートフォーカス制御の方法を変更する。具体的には、本実施形態のオートフォーカス制御部51は、入力されたフォーカス制御情報に基づいて、第1のオートフォーカス制御と第2のオートフォーカス制御とを切り替える。以下、第1のオートフォーカス制御と第2のオートフォーカス制御について説明する。
オートフォーカス制御部51は、基本的にはパターン光の照射による反射光の検出信号に基づいて、オートフォーカス制御を行うが、上述したように、パターン光が反射される反射面としては、図3に示すような観察対象設置面P1と、培養容器60の底面P2と、培養液Cの液面P3とがある。
オートフォーカス制御部51は、対物レンズ31をZ方向に移動させながら、上述したパターン光の反射光の第1の検出信号および第2の検出信号を順次取得し、これらの検出信号のコントラスト(波形パターン)が近似するか否かを順次判定することによって合焦位置を探索している。
ここで、より明瞭な観察対象Sの位相差画像を撮像するためには、観察対象設置面P1に合焦させることが望ましい。そして、培養容器60の底部の厚さdが十分に厚く、かつ培養液Cの量が十分に多い、つまり培養液Cの液面P3と観察対象設置面P1との距離が十分に長い場合には、たとえば対物レンズ31の焦点位置を図3に示す矢印Rの範囲で移動させると、観察対象設置面P1、培養容器60の底面P2および培養液Cの液面P3の各面に焦点位置が合ったときに、それ以外の範囲に焦点位置が合っているときよりも強い検出信号を検出することができる。
すなわち、観察対象設置面P1からの反射光L1に基づく検出信号と、培養容器60の底面P2からの反射光L2に基づく検出信号と、培養液Cの液面P3からの反射光L3に基づく検出信号とを分離して検出することが可能である。したがって、オートフォーカス制御部51は、観察対象設置面P1、培養容器60の底面P2および培養液Cの液面P3の各面に合焦していることを判定することができ、すなわち、観察対象設置面P1に合焦させることができる。
しかしながら、たとえば培養容器60の底部の厚さdが薄い場合には、対物レンズ31の焦点位置を図3に示す矢印Rの範囲で移動させると、観察対象設置面P1からの反射光L1に基づく検出信号の検出時点と、培養容器60の底面P2からの反射光L2に基づく検出信号の検出時点とが非常に近くなるため、これらの検出信号を分離して検出することができず、観察対象設置面P1に合焦させることができない。
また、培養液Cの量が少なく、培養液Cの液面P3と観察対象設置面P1との距離が短い場合にも、対物レンズ31の焦点位置を図3に示す矢印Rの範囲で移動させると、観察対象設置面P1からの反射光L1に基づく検出信号の検出時点と、培養液Cの液面P3からの反射光L3に基づく検出信号の検出時点とが非常に近くなるため、これらの検出信号を分離して検出することができず、観察対象設置面P1に合焦させることができない。
そこで、本実施形態のオートフォーカス制御部51は、培養容器60の底部の厚さdが予め設定された厚さ閾値以上である場合には、観察対象設置面P1に合焦する合焦位置を探索する第1のオートフォーカス制御を行い、培養容器60の底部の厚さdが厚さ閾値未満である場合には、第1のフォーカス制御とは異なる第2のフォーカス制御を行う。
また、オートフォーカス制御部51は、培養液Cの量が予め設定された液体閾値以上である場合には、上述した第1のオートフォーカス制御を行い、培養液Cの量が液体閾値未満である場合には、第1のフォーカス制御とは異なる第2のオートフォーカス制御を行う。
オートフォーカス制御部51は、第2のオートフォーカス制御を行う場合には、培養容器60の底面P2に合焦する合焦位置を探索し、その探索された合焦位置に対してオフセットを付加することによって観察対象設置面P1に合焦する合焦位置を推定する。
上述したように培養容器60の底部の厚さdが薄い場合、観察対象設置面P1からの反射光L1に基づく検出信号と培養容器60の底面P2からの反射光L2に基づく検出信号を分離して検出することはできないが、培養容器60の底面P2は、観察対象Sの状態などに依存しないことから、観察対象設置面P1からの反射光L1に基づく検出信号よりも底面P2からの反射光L2に基づく検出信号の方が精度よく検出することができる。
したがって、第2のオートフォーカス制御では、培養容器60の底面P2に合焦する合焦位置を探索し、その探索された合焦位置に対して、培養容器60の底部の厚さdに対応するオフセットを付加することによって、観察対象設置面P1に合焦する合焦位置を推定する。なお、上記オフセットについては、フォーカス制御情報として取得された培養容器60の情報から取得することが望ましいが、これに限らず、予め設定された値を用いるようにしてもよいし、ユーザが、入力装置90を用いて設定入力してもよい。
そして、第2のオートフォーカス制御では、上述したようにして推定された合焦位置に対物レンズ31の焦点位置がくるように対物レンズ31を移動させる。
また、オートフォーカス制御部51は、対物レンズ31の倍率に基づいて、上述した第1のオートフォーカス制御と第2のオートフォーカス制御とを切り替えるものである。具体的には、対物レンズ31の倍率が相対的に高い倍率である場合には、第1のオートフォーカス制御を行い、対物レンズ31の倍率が相対的に低い倍率である場合には、第2のオートフォーカス制御を行う。具体的には、たとえば20倍の対物レンズ31を用いる場合には、第1のオートフォーカス制御を行い、4倍の対物レンズ31を用いる場合には、第2のオートフォーカス制御を行う。ここで、対物レンズ31の倍率が相対的に高い倍率とは、4倍より高い倍率のことであり、相対的に低い倍率とは、4倍以下の倍率のことである。
このように対物レンズ31の倍率によって第1のオートフォーカス制御と第2のオートフォーカス制御とを切り替えるのは、対物レンズ31の倍率によって焦点深度が異なるからである。すなわち、対物レンズ31の倍率が相対的に高い倍率である場合には、対物レンズ31の焦点深度が浅いため、観察対象設置面P1の合焦位置を高精度に探索することができるが、対物レンズ31の倍率が相対的に低い倍率である場合には、対物レンズ31の焦点深度が深いため、観察対象設置面P1の合焦位置を高精度に探索することができないからである。対物レンズ31の倍率が相対的に高い倍率である場合には、培養容器60の底面P2に合焦する合焦位置を探索する第2のオートフォーカス制御を行う。
図1に戻り、顕微鏡制御装置50には、入力装置90と表示装置80とが接続されている。入力装置90は、キーボードやマウスなどの入力デバイスを備えたものであり、ユーザによる設定入力を受け付けるものである。特に、本実施形態における入力装置90は、上述した培養容器60の情報、培養液Cの量の情報および対物レンズ31の倍率の情報などの設定入力を受け付けるものである。
表示装置80は、液晶ディスプレイなどの表示デバイスから構成されるものであり、撮像部40において撮像された位相差画像などを表示するものである。なお、表示装置80をタッチパネルによって構成することによって、入力装置90を兼用するようにしてもよい。
次に、本実施形態の顕微鏡システムの作用について、図4に示すフローチャートを参照しながら説明する。
まず、観察対象Sおよび培養液Cが収容された培養容器60がステージ61上に設置される(S10)。そして、培養容器60の情報、培養液Cの量の情報および対物レンズ31の倍率の情報を含むフォーカス制御情報が取得される(S12)。
次に、フォーカス用光照射部70によってパターン光が対物レンズ31を介してステージ61側から照射され(S14)、そのパターン光の照射による反射光が反射光検出部75によって検出される(S16)。そして、反射光検出部75によって検出された検出信号が、オートフォーカス制御部51に入力される。
オートフォーカス制御部51は、入力された検出信号に基づいてオートフォーカス制御を行うが、この際、入力されたフォーカス制御情報に基づいて、第1のオートフォーカス制御と第2のオートフォーカス制御とを切り替える。
具体的には、オートフォーカス制御部51は、培養容器60の底部の厚さが予め設定された厚さ閾値以上であり(S18,YES)、培養液Cの量が予め設定された液体閾値以上であり(S20,YES)、かつ対物レンズ31の倍率が相対的に高い倍率に設定されている場合には(S22,YES)、第1のオートフォーカス制御を行う(S24)。一方、培養容器60の底部の厚さが予め設定された厚さ閾値未満であるか(S18,NO)、培養液Cの量が予め設定された液体閾値未満であるか(S20,NO)、または対物レンズ31の倍率が相対的に低い倍率に設定されている場合に(S22,NO)は、第2のオートフォーカス制御を行う。
そして、オートフォーカス制御部51によって第1のオートフォーカス制御または第2のオートフォーカス制御が行われた後、照明光照射部10から培養容器60に向けてリング状照明光が照射され(S28)、培養容器60の観察対象Sの位相差画像の撮像が行われる(S30)。
撮像部40によって撮像された観察対象Sの位相差画像は、顕微鏡制御装置50に出力され、顕微鏡制御装置50は、入力された位相差画像を表示装置80に表示させる。
上記実施形態の顕微鏡システムによれば、培養容器60の情報、培養液Cの量の情報および対物レンズ31の倍率の情報のうちの少なくとも1つを含むフォーカス制御情報を取得し、その取得したフォーカス制御情報に基づいて、オートフォーカス制御の方法を変更するようにしたので、培養容器60の種類、培養液Cの量および対物レンズ31の倍率を考慮したオートフォーカス制御を行うことができ、これにより観察対象設置面P1に適切に合焦させることができる。
また、上記実施形態においては、ユーザが培養容器60の情報を設定入力することによって培養容器60の厚さの情報を取得するようにしたが、たとえば図5に示すように培養容器60の底部の厚さを計測するレーザ変位計などの厚さ計測部100を設け、フォーカス制御情報取得部53が、厚さ計測部100によって計測された厚さ情報を培養容器60の情報として取得するようにしてもよい。
なお、上述の厚さ計測部100を設けた場合、培養容器60の1つのウェル内で分割された複数の撮像領域毎の位相差画像を撮影する際に、撮像領域毎に上述のオートフォーカス制御を行うこともできる。つまり、本実施形態においては、ステージ61がX方向およびY方向に移動することによって、たとえば培養容器60としての1つのウェル内が位相差計測用の照明光で走査され、1つのウェル内で分割された複数の撮像領域毎の位相差画像が撮像されるが、厚さ計測部100によって計測された撮像領域毎の培養容器60の底部の厚さ情報を培養容器60の情報として事前に取得しておき、上述したオートフォーカス制御をその撮像領域毎に行う。これにより、1つのウェル内において培養容器60の底部の厚みにばらつきがあったとしても、その厚さに応じたオートフォーカス制御を行うことができ、位相差画像の画質を向上させることができる。
また、培養液Cの量の情報として、観察対象Sの培養期間の情報を取得するようにしてもよい。培養期間が長くなるほど培養液Cが蒸発してその量が減るので、培養期間と培養液Cの量とを対応づけたテーブルを予め設定しておき、ユーザによって設定入力された培養期間またはタイマなどによって計測された培養期間を培養液Cの量の情報として取得し、上記テーブルを参照して培養液の量を取得するようにしてもよい。
また、培養液Cの量の情報として、上述の厚さ計測部100を用いて培養液Cの深さの情報を取得するようにしてもよい。
また、上記実施形態においては、結像光学系30によって結像された位相差画像を撮像部40によって撮像するようにしたが、撮像部40を設けることなく、結像光学系30によって結像された観察対象の位相差像をユーザが直接観察できるように観察光学系などを設けるようにしてもよい。
また、上記実施形態は、本発明を位相差顕微鏡に適用したものであるが、本発明は、位相差顕微鏡に限らず、微分干渉顕微鏡および明視野顕微鏡などのその他の顕微鏡に適用するようにしてもよい。
10 照明光照射部
11 白色光源
12 スリット板
13 コンデンサレンズ
30 結像光学系
31 対物レンズ
32 位相板
33 結像レンズ
34 距離変更部
40 撮像部
50 顕微鏡制御装置
51 オートフォーカス制御部
52 ステージ制御部
53 フォーカス制御情報取得部
60 培養容器
61 ステージ
62 ステージ駆動部
70 フォーカス用光照射部
71 近赤外光源
72 グリッド
73 照射レンズ
74 ダイクロイックミラー
75 反射光検出部
76 ハーフミラー
77 光路差プリズム
78 ラインセンサ
80 表示装置
90 入力装置
90 入力装置
100 厚さ計測部
C 培養液
L1 反射光
L2 反射光
L3 反射光
P1 観察対象設置面
P2 底面
P3 液面
S 観察対象

Claims (12)

  1. 液体および観察対象が収容された容器に対して照明光を照射する照明光照射部と、
    前記容器が載置され、該容器を支持する容器支持部と、
    前記容器および前記容器支持部を通過した前記照明光が入射される対物レンズと、
    前記照明光と波長が異なるフォーカス用の光を、前記対物レンズを介して前記容器支持部側から照射するフォーカス用光照射部と、
    前記容器支持部側からの前記フォーカス用の光の照射による反射光を、前記対物レンズを介して検出する反射光検出部と、
    前記対物レンズと前記容器保持部との距離を変更する距離変更部と、
    前記反射光検出部によって検出された反射光に基づいて前記距離変更部を制御することよってオートフォーカス制御を行うオートフォーカス制御部と、
    前記容器の情報、前記液体の量の情報および前記対物レンズの倍率の情報のうちの少なくとも1つを含むフォーカス制御情報を取得するフォーカス制御情報取得部とを備え、
    前記オートフォーカス制御部が、前記フォーカス制御情報に基づいて、前記オートフォーカス制御の方法を変更することを特徴とする顕微鏡。
  2. 前記オートフォーカス制御部が、前記フォーカス制御情報に基づいて、前記容器の底部と前記観察対象との境界面である観察対象設置面に合焦する合焦位置を探索する第1のオートフォーカス制御と、前記容器の底部の前記観察対象設置面とは反対側の面である底面に合焦する合焦位置を探索する第2のオートフォーカス制御とを切り替える請求項1記載の顕微鏡。
  3. 前記オートフォーカス制御部が、前記第2のオートフォーカス制御によって探索された合焦位置に対してオフセットを付加することによって前記観察対象設置面に合焦する合焦位置を推定し、該推定した合焦位置に基づいて前記距離変更部を制御する請求項2記載の顕微鏡。
  4. 前記オートフォーカス制御部が、前記液体の量の情報に基づいて、前記液体の量が予め設定された液体閾値以上である場合には、前記第1のオートフォーカス制御を行い、前記液体の量が前記液体閾値未満である場合には、前記第2のオートフォーカス制御を行う請求項2または3記載の顕微鏡。
  5. 前記オートフォーカス制御部が、前記容器の情報に基づいて、前記容器の底部の厚さが予め設定された厚さ閾値以上である場合には、前記第1のオートフォーカス制御を行い、前記容器の底部の厚さが前記厚さ閾値未満である場合には、前記第2のオートフォーカス制御を行う請求項2から4いずれか1項記載の顕微鏡。
  6. 前記オートフォーカス制御部が、前記対物レンズの倍率の情報に基づいて、前記対物レンズの倍率が相対的に高い倍率である場合には、前記第1のオートフォーカス制御を行い、前記対物レンズの倍率が相対的に低い倍率である場合には、前記第2のオートフォーカス制御を行う請求項2から5いずれか1項記載の顕微鏡。
  7. 前記フォーカス制御情報取得部が、前記液体の量の情報として、前記観察対象の培養期間の情報を取得する請求項1から6いずれか1項記載の顕微鏡。
  8. 前記容器の情報として前記容器の底部の厚さを計測する厚さ計測部を備えた請求項1から7いずれか1項記載の顕微鏡。
  9. 前記フォーカス制御情報の設定入力を受け付ける設定入力受付部を備えた請求項1から8いずれか1項記載の顕微鏡。
  10. 前記フォーカス用の光が、予め設定されたパターンを有する請求項1から9いずれか1項記載の顕微鏡。
  11. 前記フォーカス用の光が、縞状のパターンを有する請求項10項記載の顕微鏡。
  12. 容器支持部に載置された、液体および観察対象が収容された容器に対して照明光を照射し、前記容器および前記容器支持部を通過した前記照明光を対物レンズを介して結像させて前記観察対象の像を観察する観察方法において、
    前記照明光と波長が異なるフォーカス用の光を、前記対物レンズを介して前記容器支持部側から照射し、
    該フォーカス用の光の照射による反射光を検出し、該検出した反射光に基づいて、前記対物レンズと前記容器保持部との距離を変更することによってオートフォーカス制御を行う際、
    前記容器の情報、前記液体の量の情報および前記対物レンズの倍率の情報のうちの少なくとも1つを含むフォーカス制御情報を取得し、
    該取得したフォーカス制御情報に基づいて、前記オートフォーカス制御の方法を変更することを特徴とする観察方法。
JP2016035618A 2016-02-26 2016-02-26 顕微鏡および観察方法 Active JP6522533B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016035618A JP6522533B2 (ja) 2016-02-26 2016-02-26 顕微鏡および観察方法
KR1020187023736A KR102073503B1 (ko) 2016-02-26 2016-12-06 현미경 및 관찰 방법
PCT/JP2016/086151 WO2017145487A1 (ja) 2016-02-26 2016-12-06 顕微鏡および観察方法
EP16891643.5A EP3422074B1 (en) 2016-02-26 2016-12-06 Microscope and observation method
US16/055,457 US11029486B2 (en) 2016-02-26 2018-08-06 Microscope and observation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016035618A JP6522533B2 (ja) 2016-02-26 2016-02-26 顕微鏡および観察方法

Publications (2)

Publication Number Publication Date
JP2017151368A true JP2017151368A (ja) 2017-08-31
JP6522533B2 JP6522533B2 (ja) 2019-05-29

Family

ID=59686260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016035618A Active JP6522533B2 (ja) 2016-02-26 2016-02-26 顕微鏡および観察方法

Country Status (5)

Country Link
US (1) US11029486B2 (ja)
EP (1) EP3422074B1 (ja)
JP (1) JP6522533B2 (ja)
KR (1) KR102073503B1 (ja)
WO (1) WO2017145487A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3287829A1 (en) * 2016-08-25 2018-02-28 Deutsches Krebsforschungszentrum Method of and microscope with installation for focus stabilization
KR102541294B1 (ko) * 2018-03-26 2023-06-12 에스케이하이닉스 주식회사 라이닝 층을 가진 위상차 검출 픽셀을 포함하는 이미지 센서
WO2019225325A1 (ja) * 2018-05-21 2019-11-28 富士フイルム株式会社 観察装置、観察装置の作動方法、及び観察制御プログラム
KR20220102324A (ko) * 2021-01-12 2022-07-20 정홍준 투명 디스플레이 패널을 이용한 현미경의 투과광 형성장치
EP4194918A1 (en) * 2021-12-10 2023-06-14 Leica Microsystems CMS GmbH Method for controlling microscopic imaging and corresponding microscope control arrangement and microscope

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003543A (ja) * 2004-06-16 2006-01-05 Olympus Corp 顕微鏡システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6677565B1 (en) * 1998-08-18 2004-01-13 Veeco Tucson Inc. High speed autofocus and tilt for an optical imaging system
US7345814B2 (en) * 2003-09-29 2008-03-18 Olympus Corporation Microscope system and microscope focus maintaining device for the same
JP2006098156A (ja) * 2004-09-29 2006-04-13 Hitachi High-Technologies Corp 欠陥検査方法及びその装置
JP4642709B2 (ja) * 2006-07-04 2011-03-02 オリンパス株式会社 顕微鏡とオートフォーカス装置およびオートフォーカス方法
KR20090018278A (ko) * 2007-08-17 2009-02-20 주식회사 코윈디에스티 화상 형성 장치 및 이를 포함하는 레이저 처리장치, 그리고화상 형성 방법
US20090097734A1 (en) * 2007-10-10 2009-04-16 Olympus Corporation Cellular thickness measurement method
JP4974060B2 (ja) * 2008-02-19 2012-07-11 横河電機株式会社 創薬スクリーニング方法
JP5108627B2 (ja) * 2008-05-23 2012-12-26 オリンパス株式会社 観察装置及び観察方法
CN103180769B (zh) * 2010-10-29 2016-02-24 佳能株式会社 显微镜、图像获取装置和图像获取系统
JP5959247B2 (ja) 2012-03-14 2016-08-02 オリンパス株式会社 顕微鏡
DE102013011543A1 (de) * 2013-07-11 2015-01-15 Carl Zeiss Microscopy Gmbh Verfahren zur Detektion und Zufuhrsteuerung eines Immersionsmediums
JP6333145B2 (ja) * 2014-09-30 2018-05-30 株式会社Screenホールディングス 画像処理方法および画像処理装置
JP6513507B2 (ja) * 2015-06-30 2019-05-15 富士フイルム株式会社 位相差顕微鏡および撮像方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006003543A (ja) * 2004-06-16 2006-01-05 Olympus Corp 顕微鏡システム

Also Published As

Publication number Publication date
US11029486B2 (en) 2021-06-08
EP3422074B1 (en) 2020-11-04
US20180341083A1 (en) 2018-11-29
EP3422074A4 (en) 2019-03-06
KR102073503B1 (ko) 2020-02-04
WO2017145487A1 (ja) 2017-08-31
KR20180104040A (ko) 2018-09-19
JP6522533B2 (ja) 2019-05-29
EP3422074A1 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
WO2017145487A1 (ja) 顕微鏡および観察方法
JP6411294B2 (ja) 位相差顕微鏡および撮像方法
JP6380983B2 (ja) 位相差顕微鏡
JP6513507B2 (ja) 位相差顕微鏡および撮像方法
JP6241858B2 (ja) 共焦点顕微鏡
JP6173154B2 (ja) 顕微鏡システム
WO2017070380A1 (en) Microscope system with transillumination-based autofocusing for photoluminescence imaging
US11243386B2 (en) Microscope apparatus, observation method, and microscope apparatus-control program
EP3532822B1 (en) Trans-illumination imaging with use of interference fringes to enhance contrast and find focus
KR102149625B1 (ko) 촬영 화상 평가 장치 및 방법과, 프로그램
JP6667419B2 (ja) 撮像装置および方法並びに撮像制御プログラム
JP2017151132A (ja) 位相差顕微鏡および撮像方法
JP2012212018A (ja) 焦点維持装置及び顕微鏡装置
JP6522535B2 (ja) 細胞観察装置および方法
JP2016161610A (ja) 撮像装置および方法
JP2022044688A (ja) フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム
JP2009139694A (ja) 焦点検出装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170908

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190424

R150 Certificate of patent or registration of utility model

Ref document number: 6522533

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250