JP2018146279A - 共焦点計測装置 - Google Patents

共焦点計測装置 Download PDF

Info

Publication number
JP2018146279A
JP2018146279A JP2017039087A JP2017039087A JP2018146279A JP 2018146279 A JP2018146279 A JP 2018146279A JP 2017039087 A JP2017039087 A JP 2017039087A JP 2017039087 A JP2017039087 A JP 2017039087A JP 2018146279 A JP2018146279 A JP 2018146279A
Authority
JP
Japan
Prior art keywords
measurement
core
light
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017039087A
Other languages
English (en)
Other versions
JP6819362B2 (ja
Inventor
慎也 古川
Shinya Furukawa
慎也 古川
菅 孝博
Takahiro Suga
孝博 菅
滝政 宏章
Hiroaki Takimasa
宏章 滝政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2017039087A priority Critical patent/JP6819362B2/ja
Priority to KR1020170174109A priority patent/KR102125483B1/ko
Priority to TW106144467A priority patent/TWI642894B/zh
Priority to CN201711379400.8A priority patent/CN108534682B/zh
Priority to US15/846,204 priority patent/US11226233B2/en
Publication of JP2018146279A publication Critical patent/JP2018146279A/ja
Application granted granted Critical
Publication of JP6819362B2 publication Critical patent/JP6819362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/16Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0218Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using optical fibers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0237Adjustable, e.g. focussing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0248Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using a sighting port, e.g. camera or human eye
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0278Control or determination of height or angle information for sensors or receivers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/06Scanning arrangements arrangements for order-selection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/10Arrangements of light sources specially adapted for spectrometry or colorimetry
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/04Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres
    • G02B6/06Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings formed by bundles of fibres the relative position of the fibres being the same at both ends, e.g. for transporting images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/02Optical fibres with cladding with or without a coating
    • G02B6/02042Multicore optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/26Optical coupling means
    • G02B6/32Optical coupling means having lens focusing means positioned between opposed fibre ends

Abstract

【課題】利便性に優れた共焦点計測装置を提供する。
【解決手段】共焦点計測装置1は、光源10と、計測面からの反射光を受光する光学系30と、第1コアおよび第2コアから構成された複数のコアを内蔵し、反射光を、複数のコアによって伝搬する導光部20と、第1コアによって伝搬された反射光を各波長成分に分離する分光器42、および、分光器による分光方向に対応させて複数の受光素子が配置された検出器44を備える変位量測定部40と、第2コアによって伝搬された反射光を複数の撮像素子上に結像し、計測面の計測位置の周辺の画像を生成する周辺画像測定部60と、を備えている。
【選択図】図1

Description

本発明は、共焦点光学系を用いて計測対象物の変位量を計測する計測装置に関する。特に、計測点の周辺の画像をユーザが確認可能である計測装置に関する。
共焦点光学系を利用して、計測対象物の変位を計測することが可能な共焦点計測装置が従来技術として知られている。例えば、特許文献1には、対物レンズと回折レンズを適切に配置することにより、光の波長による、計測対象物の変位を計測する精度の変動を抑えた共焦点計測装置が開示されている。また、特許文献2には、感度パラメータに応じて調整された画素データに基づいて、超深度画像データを生成し、さらに観察対象物の表面画像データを生成する共焦点顕微鏡システムが開示されている。一方、計測対象物の計測を行う際、当該計測対象物に対する計測位置をユーザに通知する計測装置も、従来技術として知られている。例えば、特許文献3には、計測対象物の画像に対して計測位置のエッジを検出し、検出したエッジ部分に基づいて所定の物理量を計測した結果を表示する画像計測装置が開示されている。
特開2012−208102号公報(2012年10月25日公開) 特開2015−52805号公報(2015年3月19日公開) 特開2014−197004号公報(2014年10月16日公開)
しかしながら、共焦点光学系を用いる計測装置において、これまで、ユーザが計測位置を確認するためには、当該計測位置の確認を目視にて行う必要があった。そのため、例えば、計測範囲が微小領域である場合、および計測位置周辺がセンサヘッドの影に隠れる場合などにおいて、ユーザは、計測位置を正確に把握することが困難であった。また、特許文献3の構成を、共焦点光学系を用いる計測装置に導入すると、撮像装置の追加によるセンサヘッドの大型化が生じ、さらに撮像装置における発熱が計測に影響し、正確な計測が困難になるおそれがあった。具体的には、撮像装置における発熱によって、センサヘッドが備える色収差ユニットにおける光軸上の色収差が影響を受けるおそれがあった。
本発明の一態様は、上記の問題を解決するために、センサヘッドと計測面の相対位置に影響されることなく、計測位置周辺の画像を確認することができる、利便性に優れた共焦点計測装置を提供することを目的とする。
上記の課題を解決するために、本発明の一態様に係る共焦点計測装置は、光源と、前記光源からの照射光に対して配置される、前記照射光を計測対象物に照射し、前記計測対象物の計測面からの反射光を受光する光学系と、第1コアおよび第2コアから構成された複数のコアを内蔵し、前記光学系に入射した前記反射光を、当該複数のコアによって伝搬する導光部と、前記第1コアによって伝搬された前記反射光を各波長成分に分離する分光器、および、前記分光器による分光方向に対応させて複数の受光素子が配置された検出器を備える変位量測定部と、複数の撮像素子を備えた周辺画像測定部であって、前記第2コアによって伝搬された前記反射光を当該複数の撮像素子上に結像し、前記計測面の計測位置の周辺の画像を生成する周辺画像測定部と、を備えている構成である。
本発明の一態様に係る共焦点計測装置において、前記変位量測定部は、前記検出器の検出結果に基づいて、前記光学系から前記計測対象物の計測面までの距離を算出する構成である。
本発明の一態様に係る共焦点計測装置は、前記周辺画像測定部が前記複数の撮像素子上に結像した画像について、各撮像素子に入射した前記反射光の、波長ごとの強度の分布に基づいて前記計測面の傾斜度を計測する画像処理部をさらに備えている構成である。
本発明の一態様に係る共焦点計測装置は、前記複数のコアの中から前記第1コアを選択するために、前記導光部に対する相対位置を移動させる可動部と、前記可動部の移動を制御する制御部と、をさらに備えている構成である。
本発明の一態様によれば、共焦点計測装置は、反射光を用いて、当該反射光の強度の分布および計測面の計測位置周辺の画像を取得することができる。ゆえに、ユーザは、計測面の上の意図した位置を計測しているか否かを確認することができる。また、計測位置の周辺の画像は、第2コアを伝搬した反射光に基づいて生成されるため、当該周辺の画像を取得するために必要な制限がない。そのため、センサヘッドと計測面との間の距離が短く、計測位置周辺が当該センサヘッドの影に隠れるような場合であっても、計測位置周辺の画像を取得することができる。したがって、センサヘッドと計測面の相対位置に影響されることなく、計測位置周辺の画像を確認することができる、利便性に優れた共焦点計測装置を提供することができるという効果を奏するという効果を奏する。
本発明の実施形態1に係る共焦点計測装置の一例を示す概要図である。 本発明の実施形態1に係る導光部の断面を示す模式図である。 本発明の実施形態2に係る共焦点計測装置の装置構成の一例を示す模式図である。 本発明の実施形態3に係る共焦点計測装置の装置構成の一例を示す模式図である。
〔実施形態1〕
以下、本発明の実施形態1について、図1〜2を用いて詳細に説明する。図1は、本実施形態に係る共焦点計測装置1の一例を示す概要図である。
(共焦点計測装置1の構成)
本実施形態に係る共焦点計測装置1の構成について、図1を用いて説明する。図1は、本実施形態に係る共焦点計測装置1の装置構成の一例を示す模式図である。
共焦点計測装置1は、計測対象物2の計測面に対して光を照射し、照射光が計測面上の計測位置(以下、計測点と呼称する)において焦点を結ぶとき、計測面からの反射光を用いて、当該反射光を受光する光学系から当該計測点までの距離を算出することができる。具体的には、共焦点計測装置1は、反射光のうち、ピンホールを通過した反射光に基づいて、光学系から計測点までの距離を算出することができる。共焦点計測装置1は、さらに、当該計測点の周辺の画像を撮像することができる。共焦点計測装置1は、光源10、導光部20、変位量測定用コア22、周辺画像測定用コア24、センサヘッド30、変位量測定部40、分光器42、検出器44、ファイバコア選択部50、カプラ52、および周辺画像測定部60を備えている。
光源10は、ファイバコア選択部50に対して複数の波長の光から構成された照射光を入射する。例えば、光源10は白色光を発生させる白色LED(Light Emitting Diode)である。
ファイバコア選択部50は、光源10から入射された照射光を導光部20へ入射することができる。ファイバコア選択部50は、計測対象物2の計測面上の計測点にて発生し、導光部20へ入射した反射光について、カプラ52を用いて変位量測定用コア22および周辺画像測定用コア24のそれぞれへ入射することができる。
カプラ52は、入力側ケーブル、出力側ケーブル、および導光部20と光学的に接続された、合波/分波構造を持つカプラである。図示の例において、カプラ52は、Y分岐カプラに相当する2×1スターカプラ(2入力1出力/1入力2出力)である。図示の例において、光源10からの照射光は、入力側ケーブルに入射し、カプラ52を経由した後、導光部20へ出力される。また、計測面からの反射光は、その一部がカプラ52に入射し、出力側ケーブルを通して変位量測定用コア22へ出力される。
導光部20は、複数のコアを含むケーブルであり、例えば、1つのケーブル内に複数のコアを含む構成である。導光部20は、光源10にて発生した照射光について、内蔵する複数のコアを経由してセンサヘッド30へ伝搬することができる。導光部20は、センサヘッド30にて受け付けた、計測対象物2の計測面における反射光について、内蔵する複数のコアを経由してファイバコア選択部50に伝搬することができる。すなわち、導光部20は、ファイバコア選択部50およびセンサヘッド30と光学的に接続されている。複数のコアを含めた、導光部20の詳細な構成については後述する。
変位量測定用コア22は、計測対象物2の計測面からの反射光のうち、導光部20の特定のコアを伝搬した光を受光する。変位量測定用コア22は、受光した特定の反射光について、変位量測定部40へ出力することができる。なお、変位量測定用コア22は単一のコアであってもよいし、複数のコアから構成されてもよい。
周辺画像測定用コア24は、計測面からの反射光のうち、変位量測定用コア22向け以外の光を受光する。なお、導光部20が有するコアの数と、変位量測定用コア22の数と周辺画像測定用コア24の数との合計は、等しいことが好適である。
センサヘッド30は、光源10からの照射光について、内蔵する色収差ユニットを用いて光軸上で色収差を生じさせ、同じく内蔵する対物レンズによって集束した後、計測対象物2へ照射することができる。センサヘッド30は、計測対象物2の計測面の面上で反射した反射光を受光し、導光部20に伝搬することができる。すなわち、センサヘッド30は、光源10からの照射光に対して配置される、当該照射光を計測対象物2に照射し、計測対象物2の計測面からの反射光を受光する光学系として動作する。
変位量測定部40は、センサヘッド30に入射した反射光のうち、変位量測定用コア22を伝搬した反射光を受け付ける。変位量測定部40は、受け付けた反射光について、当該反射光を波長成分ごとに分離し、波長成分ごとの強度を検出することができる。例えば、変位量測定部40は、検出器44における検出結果に基づいて、センサヘッド30から計測対象物2の計測面までの距離dを算出することができる。
分光器42は、導光部20が備える複数のコアを経由した複数の反射光のうち、変位量測定用コア22を伝搬した反射光を波長成分ごとに分離することができる。分光器42は、分離後の反射光について、検出器44へ伝搬する。例えば、分光器42は回折格子であってもよい。また、分光器42は、反射光を波長成分ごとに分離できるのであれば、回折格子以外の任意のデバイスを採用してもよい。
検出器44は、分光器42にて波長成分ごとに分離された反射光について、波長成分ごとの強度を検出する。例えば、検出器44は、分光器42による分光方向に対応させて複数の受光素子が配置され、当該複数の受光素子における検出結果を出力する構成であってもよい。
周辺画像測定部60は、センサヘッド30に入射した反射光のうち、周辺画像測定用コア24を伝搬した反射光を受け付ける。周辺画像測定部60は、受け付けた反射光に基づいて、計測点周辺の画像を生成することができる。図示の例において、周辺画像測定部60は、受け付けた反射光を用いて適当な撮像面上に結像させることができる。例えば、周辺画像測定部60は、複数の撮像素子が二次元配置された撮像面を備え、当該撮像面における反射光の検出結果から周辺画像を生成する構成であってもよい。
(導光部20の構成)
導光部20の詳細な構成について、図2を用いて説明する。図2は、導光部20の断面を示す模式図である。
図示の例において、斜線にて示された円環部は、導光部20全体の被覆を示す。また、被覆の内側に示された、複数の小さな円は、導光部20が備える複数のコアのそれぞれを示す。
図示の例において、導光部20は、第1コア26および第2コア28を備えている。第1コア26および第2コア28は、計測点からの反射光を伝搬するものである。計測対象物2の計測面からの反射光は、第1コア26および第2コア28を伝搬する。そして、ファイバコア選択部50において、第1コア26の中を伝搬した反射光のみ、カプラ52の出力用ケーブルを通して変位量測定用コア22へ入射する。一方、第2コア28の中を伝搬した反射光は、周辺画像測定用コア24へ入射し、周辺画像測定部60へ出力される。これにより、導光部20は、計測面からの反射光について、変位量の測定および計測点の周辺画像の測定の両方に用いるように分配することができる。
なお、図示の例において、第1コア26は、単一のコアによって構成されていたが、これに限定されなくてもよい。例えば、第1コア26は、複数のコアによって構成されてもよい。第1コア26を複数のコアによって構成する場合は、各第1コア26における距離dの算出値を平均することによって距離dの精度を高めることが可能となるが、計測領域の半径が大きくなるため、計測範囲が微小領域である場合の計測には適さない。また、第1コア26は、必ずしも導光部20の中央付近に配置される必要はないが、計測点の周辺画像を取得しやすくするためには、導光部20の中央付近に配置されることが好適である。
(動作の具体例)
本実施形態において、共焦点計測装置1の動作について、図1および図2を用いて具体的に説明する。
まず、光源10が発光によって複数の波長を有する照射光を発生させると、当該照射光は、入力側ケーブル、カプラ52の順に伝搬した後、導光部20に入射する。照射光は、導光部20の内部を伝搬し、センサヘッド30において波長ごとに光軸上で色収差を生じさせたあと、対物レンズから計測対象物2の計測面に対して出力される。このとき、照射光のうち、特定の波長を有する光のみ、計測面上に焦点(スポット)を結ぶ。
次に、センサヘッド30は、対物レンズの受光面にて、計測面からの反射光を受光する。反射光は、導光部20において、第1コア26を伝搬した反射光と第2コア28を伝搬した反射光に分けられる。
第1コア26を伝搬した反射光は、ファイバコア選択部50内にて出力される。そして、ファイバコア選択部50内にて、反射光はカプラ52、出力側ケーブル、変位量測定用コア22の順に伝搬し、変位量測定部40へ出力される。さらに、変位量測定部40において、反射光は分光器42にて波長成分に分離された後、検出器44にて各波長成分のピークが検出される。これにより、計測面からの反射光に基づいて、センサヘッド30の受光面と計測点との間の距離dを算出することができる。
一方、第2コア28を伝搬した反射光は、周辺画像測定用コア24内を伝搬した後、周辺画像測定部60へ出力される。周辺画像測定部60において、反射光に基づいて、計測点周辺の画像を撮像することができる。
以上の動作により、本実施形態に係る共焦点計測装置1は、センサヘッド30の受光面と計測点との間の距離dおよび計測点周辺の画像を取得することができる。これにより、ユーザは計測点周辺の画像を確認することができる。また、距離dと計測点周辺の画像は、導光部20内を伝搬する反射光から取得されるため、計測対象物2に対して追加で処理を行う必要がない。したがって、簡単な構成で計測位置の画像を撮像する共焦点計測装置1を提供することができるという効果を奏する。
本実施形態に係る共焦点計測装置1は、周辺画像測定部60がセンサヘッド30および変位量測定部40から離れて配置されるため、撮像素子における発熱が計測に与える影響(例えば、レンズの温度特性に基づく測定誤差)を抑制することができる。
なお、共焦点計測装置1は、センサヘッド30の受光面と計測点との間の距離dおよび計測点周辺の画像をユーザに対して出力してもよい。例えば、計測点周辺の画像のうち、距離dの計測位置を示すマーカーを当該画像とともに出力する構成であってもよい。
〔実施形態2〕
(共焦点計測装置の構成)
本発明の実施形態2に係る共焦点計測装置1の構成について、図3を用いて説明する。図3は、本実施形態に係る共焦点計測装置1の装置構成の一例を示す模式図である。
本実施形態において、共焦点計測装置1の基本的な構成は前記実施形態1と同一であるが、画像処理部70をさらに備えている。
画像処理部70は、周辺画像測定部60にて撮像した、計測点周辺の画像に基づいて、計測対象物2の計測面の傾斜度を算出することができる。具体的には、画像処理部70は、複数の撮像素子上に結像した画像について、各撮像素子に入射した反射光の、波長ごとの強度の分布に基づいて計測面の傾斜度を算出することができる。
(傾斜度の算出方法)
画像処理部70にて実施する、計測点周辺の画像に基づいて計測面の傾斜度を算出する方法について、以下に説明する。
周辺画像測定部60において、撮像面に二次元配置された撮像素子を用いて検出する、計測面からの反射光は、波長ごとに光軸上で色収差を生じている。このとき、例えば、センサヘッド30の受光面と計測面とが互いに平行である場合は、当該計測面上の任意の位置において、センサヘッド30の受光面と計測面との間の距離dは一定である。これは、反射光を撮像面にて受光したときに、撮像面上の任意の位置にある複数の撮像素子において、受光量が最大である光の波長は一定であることを示す。
しかし、例えば、計測面がセンサヘッド30の受光面に対して傾斜している場合、計測面上の異なる位置において、センサヘッド30の受光面と計測面との間の距離dは異なる値となる。これは、反射光を撮像面にて受光したときに、撮像面上の異なる位置にある複数の撮像素子において、受光量が最大となる光の波長が互いに異なることを示す。そのため、撮像面における、撮像素子ごとに受光量が最大である光の波長の分布に基づいて、センサヘッド30の受光面と計測面との間の距離dに関する分布を取得することができる。具体的には、撮像素子を構成するRGB(赤、緑、青)の3つの画素の内、受光量が最大であった画素に対応する光の波長から、距離dを算出することができるため、撮像素子ごとに距離dを算出することで、距離dに関する分布を取得することができる。
さらに、距離dに関する分布から、計測面の傾斜度を算出することができる。例えば、計測面上の2つの異なる位置を、それぞれ位置Aおよび位置Bとする。さらに、位置Aおよび位置Bのそれぞれにおけるセンサヘッド30の受光面との間の距離を、dおよびdとし、位置Aと位置Bとの間の距離をLとする。このとき、位置Aと位置Bとの間の傾斜度θは、θ=arctan((d−d)/L)によって算出することができる。なお、距離Lは、位置Aおよび位置Bのそれぞれに対応する撮像面上の距離から取得できる。
上記の方法によって、画像処理部70は、位置Aと位置Bとの間の傾斜度を算出することができる。また、位置Aおよび位置Bは、計測面上であればどのような位置であってもよいので、計測面上の複数の位置において上記の方法を適用することにより、計測面全体の傾斜度を算出することができる。したがって、本実施形態において、共焦点計測装置1は、画像処理部70を用いて計測面の傾斜度を算出することができる。
(動作の具体例)
本実施形態に係る共焦点計測装置1の動作について、図3を用いて具体的に説明する。
光源10にて発生させた照射光を計測面上に照射し、当該計測面からの反射光に基づいて、センサヘッド30の受光面と計測点との間の距離dを算出する動作、および計測点周辺の画像を撮像する動作については前記実施形態1と同一である。
画像処理部70は、周辺画像測定部60にて撮像された、計測点周辺の画像に基づいて計測面の傾斜度を算出する。なお、算出結果は、距離dおよび計測点周辺の画像とともに出力してもよい。
以上の動作により、本実施形態に係る共焦点計測装置1は、センサヘッド30の受光面と計測点との間の距離dを取得し、計測点周辺の画像を取得することができる。さらに、計測点周辺の画像に基づいて、計測面の傾斜度を算出することができる。これにより、例えば、ユーザは、算出された傾斜度を補正するように計測対象物2を再配置することができる。したがって、計測位置周辺について、画像を撮像するとともに当該領域の傾斜度を算出する共焦点計測装置1を提供することができるという効果を奏する。
〔実施形態3〕
(共焦点計測装置の構成)
本発明の実施形態3に係る共焦点計測装置1の構成について、図4を用いて説明する。図4は、本実施形態に係る共焦点計測装置1の装置構成の一例を示す模式図である。
本実施形態において、共焦点計測装置1の基本的な構成は前記実施形態1と同一であるが、制御部80を備えており、さらにファイバコア選択部50の一部構成が異なる。
制御部80は、共焦点計測装置1の各部を統合して制御することができる。本実施形態において、制御部80は、可動部56の移動を制御し、導光部20が備える複数のコアの中から、第1コア26として用いるコアを任意に選択することができる。例えば、制御部80は、はじめ、導光部20が備える複数のコアのうち、予め複数本を可動部56へ接続しておく。そして、当該可動部56の移動を制御することで複数本のコアの中から特定の1つのコアを第1コア26として選択することができ、当該第1コア26について距離dを取得することができる。そして、当該第1コア26を用いて計測点周辺の画像を取得することができる。
ファイバコア選択部50は、可動部56を備える点が前記実施形態1と異なる。可動部56は、光源10からの照射光を導光部20へ入射し、計測面からの反射光のうち、第1コア26内を伝搬した反射光について、変位量測定用コア22へ入射する点は、前記実施形態1におけるカプラ52を用いた構成と同一である。可動部56は、さらに、制御部80の制御にしたがって、導光部20に対する相対位置を移動させることにより、導光部20が備える複数のコアの中から、第1コア26を任意に選択可能な構成である。例えば、可動部56は、カプラ52を含み、さらにカプラ52の向きを変更することが可能なアクチュエータを含む構成であってもよい。このとき、カプラ52は、アクチュエータの駆動によって、光学的に接続される導光部20のコアをずらすことができる。これにより、導光部20が備える複数のコアの中から、第1コア26として用いるコアを任意に選択することができる。
(動作の具体例)
本実施形態に係る共焦点計測装置1の動作について、図4を用いて具体的に説明する。
まず、制御部80は、導光部20が備える複数のコアの中から任意のコアを第1コア26として選択し、当該第1コア内を伝搬した反射光を受光するように、可動部56を駆動させる。
その後、光源10にて発生させた照射光を計測面上に照射し、当該計測面からの反射光に基づいて、センサヘッド30の受光面と計測点との間の距離dを算出する動作、および計測点周辺の画像を撮像する動作については前記実施形態1と同一である。
以上の動作により、本実施形態に係る共焦点計測装置1は、特定のコアを用いて、センサヘッド30の受光面と計測点との間の距離d、および計測点周辺の画像の両方を取得することができる。これにより、例えば、計測点周辺の画像に基づいて、ユーザは所望する付近の位置における距離dを取得することができる。したがって、計測位置周辺について、画像を撮像するとともに所望する位置におけるセンサヘッド30の受光面と計測点との間の距離dを算出する共焦点計測装置1を提供することができるという効果を奏する。
〔その他〕
前記各実施形態において、第1コア26を複数のコアとした場合は、算出する距離dの精度を高めることはできるものの、計測領域の半径が大きくなるため、微小領域の計測には適さなかった。そこで、例えば、共焦点計測装置1は、計測対象物2の形状および計測を所望する領域の大きさなどに応じて、第1コア26に割り当てるコアの数を変更することが可能な構成であってもよい。
〔ソフトウェアによる実現例〕
共焦点計測装置1の制御ブロック(特に画像処理部70および制御部80)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、共焦点計測装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔まとめ〕
本発明の態様1に係る共焦点計測装置(1)は、光源(10)と、前記光源からの照射光に対して配置される、前記照射光を計測対象物(2)に照射し、前記計測対象物の計測面からの反射光を受光する光学系(センサヘッド30)と、第1コア(26)および第2コア(28)から構成された複数のコアを内蔵し、前記光学系に入射した前記反射光を、当該複数のコアによって伝搬する導光部(20)と、前記第1コアによって伝搬された前記反射光を各波長成分に分離する分光器(42)、および、前記分光器による分光方向に対応させて複数の受光素子が配置された検出器(44)を備える変位量測定部(40)と、複数の撮像素子を備えた周辺画像測定部(60)であって、前記第2コアによって伝搬された前記反射光を当該複数の撮像素子上に結像し、前記計測面の計測位置の周辺の画像を生成する周辺画像測定部と、を備えている構成である。
上記の構成によれば、共焦点計測装置は、反射光を用いて、当該反射光の強度の分布および計測面の計測位置周辺の画像を取得することができる。ゆえに、ユーザは、計測面の上の意図した位置を計測しているか否かを確認することができる。また、計測位置の周辺の画像は、第2コアを伝搬した反射光に基づいて生成されるため、当該周辺の画像を取得するために必要な制限がない。そのため、センサヘッドと計測面との間の距離が短く、計測位置周辺が当該センサヘッドの影に隠れるような場合であっても、計測位置周辺の画像を取得することができる。したがって、センサヘッドと計測面の相対位置に影響されることなく、計測位置周辺の画像を確認することができる、利便性に優れた共焦点計測装置を提供することができるという効果を奏する。
本発明の態様2に係る共焦点計測装置(1)は、上記態様1において、前記変位量測定部は、前記検出器(44)の検出結果に基づいて、前記光学系(センサヘッド30)から前記計測対象物(2)の計測面までの距離を算出する構成としてもよい。
上記の構成によれば、共焦点計測装置は、光学系から計測面までの距離を算出できる。これにより、ユーザは、計測位置の周辺の画像と、光学面から計測面までの距離を確認することができる。
本発明の態様3に係る共焦点計測装置(1)は、上記態様1または2において、前記周辺画像測定部(60)が前記複数の撮像素子上に結像した画像について、各撮像素子に入射した前記反射光の、波長ごとの強度の分布に基づいて前記計測面の傾斜度を計測する画像処理部(70)をさらに備えている構成としてもよい。
上記の構成によれば、計測位置の周辺の画像における、波長ごとの強度の分布に基づいて計測面の傾斜度を計測することができる。これにより、ユーザは、計測面の傾斜度を画像から確認することができる。
本発明の態様4に係る共焦点計測装置(1)は、上記態様1〜3のいずれかにおいて、前記複数のコアの中から前記第1コア(26)を選択するために、前記導光部(20)に対する相対位置を移動させる可動部(56)と、前記可動部の移動を制御する制御部(80)と、をさらに備えている構成としてもよい。
上記の構成によれば、制御部が可動部を制御することにより、複数のコアの中から第1コアを適当に選択することができる。これにより、計測位置の周辺の画像の範囲において、計測位置を切り替えることができる。例えば、センサヘッドに対して計測対象物を適当な位置に配置した場合であっても、計測点周辺の画像に基づいて、所望する位置が計測位置となるように制御することができる。
1 共焦点計測装置
2 計測対象物
10 光源
20 導光部
22 変位量測定用コア
24 周辺画像測定用コア
26 第1コア
28 第2コア
30 センサヘッド(光学系)
40 変位量測定部
42 分光器
44 検出器
50 ファイバコア選択部(選択部)
52 カプラ
56 可動部
60 周辺画像測定部
70 画像処理部
80 制御部

Claims (4)

  1. 光源と、
    前記光源からの照射光に対して配置される、前記照射光を計測対象物に照射し、前記計測対象物の計測面からの反射光を受光する光学系と、
    第1コアおよび第2コアから構成された複数のコアを内蔵し、前記光学系に入射した前記反射光を、当該複数のコアによって伝搬する導光部と、
    前記第1コアによって伝搬された前記反射光を各波長成分に分離する分光器、および、前記分光器による分光方向に対応させて複数の受光素子が配置された検出器を備える変位量測定部と、
    複数の撮像素子を備えた周辺画像測定部であって、前記第2コアによって伝搬された前記反射光を当該複数の撮像素子上に結像し、前記計測面の計測位置の周辺の画像を生成する周辺画像測定部と、
    を備えている
    ことを特徴とする共焦点計測装置。
  2. 前記変位量測定部は、前記検出器における検出結果に基づいて、前記光学系から前記計測対象物の計測面までの距離を算出する
    ことを特徴とする請求項1に記載の共焦点計測装置。
  3. 前記周辺画像測定部が前記複数の撮像素子上に結像した画像について、各撮像素子に入射した前記反射光の、波長ごとの強度の分布に基づいて前記計測面の傾斜度を算出する画像処理部をさらに備えている
    ことを特徴とする請求項1または2に記載の共焦点計測装置。
  4. 前記複数のコアの中から前記第1コアを選択するために、前記導光部に対する相対位置を移動させることが可能な可動部と、
    前記可動部の移動を制御する制御部と、をさらに備えている
    ことを特徴とする請求項1〜3のいずれか1項に記載の共焦点計測装置。
JP2017039087A 2017-03-02 2017-03-02 共焦点計測装置 Active JP6819362B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017039087A JP6819362B2 (ja) 2017-03-02 2017-03-02 共焦点計測装置
KR1020170174109A KR102125483B1 (ko) 2017-03-02 2017-12-18 공초점 계측 장치
TW106144467A TWI642894B (zh) 2017-03-02 2017-12-18 共焦測量裝置
CN201711379400.8A CN108534682B (zh) 2017-03-02 2017-12-19 共焦测量装置
US15/846,204 US11226233B2 (en) 2017-03-02 2017-12-19 Confocal measuring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017039087A JP6819362B2 (ja) 2017-03-02 2017-03-02 共焦点計測装置

Publications (2)

Publication Number Publication Date
JP2018146279A true JP2018146279A (ja) 2018-09-20
JP6819362B2 JP6819362B2 (ja) 2021-01-27

Family

ID=63354998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017039087A Active JP6819362B2 (ja) 2017-03-02 2017-03-02 共焦点計測装置

Country Status (5)

Country Link
US (1) US11226233B2 (ja)
JP (1) JP6819362B2 (ja)
KR (1) KR102125483B1 (ja)
CN (1) CN108534682B (ja)
TW (1) TWI642894B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149290A1 (ja) * 2021-01-08 2022-07-14 オムロン株式会社 変位センサ
JP7323593B2 (ja) 2020-11-05 2023-08-08 セメス カンパニー,リミテッド 距離測定システム及び距離測定方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6969453B2 (ja) * 2018-03-12 2021-11-24 オムロン株式会社 光学計測装置
DE102018130901A1 (de) * 2018-12-04 2020-06-04 Precitec Optronik Gmbh Optische Messeinrichtung

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001074946A (ja) * 1999-09-02 2001-03-23 Asahi Optical Co Ltd ファイババンドル及び内視鏡装置
JP2002296018A (ja) * 2001-03-30 2002-10-09 Sumitomo Heavy Ind Ltd 3次元形状計測装置
JP2004317437A (ja) * 2003-04-18 2004-11-11 Olympus Corp 光イメージング装置
WO2009153067A2 (en) * 2008-06-20 2009-12-23 Mel Mikroelektronik Gmbh Device for contacltess distance measurement
JP2011505171A (ja) * 2007-10-11 2011-02-24 モナ カ テクノロジー モジュール式撮像デバイス、前記デバイス用のモジュール、及び前記デバイスによって実施される方法
JP2014178287A (ja) * 2013-03-15 2014-09-25 Omron Corp 共焦点計測装置
JP2016051153A (ja) * 2014-09-02 2016-04-11 株式会社ミツトヨ 光学観察装置及び光学観察方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994006041A1 (en) * 1992-09-07 1994-03-17 Nikon Corporation Optical waveguide device and optical instrument using the same
US6181474B1 (en) * 1999-03-22 2001-01-30 Kovex Corporation Scanning confocal microscope with objective lens position tracking
US6663560B2 (en) * 1999-12-17 2003-12-16 Digital Optical Imaging Corporation Methods and apparatus for imaging using a light guide bundle and a spatial light modulator
US6429968B1 (en) * 2000-03-09 2002-08-06 Agere Systems Guardian Corp Apparatus for photoluminescence microscopy and spectroscopy
US7447408B2 (en) * 2004-07-02 2008-11-04 The General Hospital Corproation Imaging system and related techniques
JP4895255B2 (ja) * 2005-09-22 2012-03-14 富士フイルム株式会社 共焦点顕微鏡装置
US7379181B2 (en) * 2006-01-19 2008-05-27 Centice Corporation Structured coded aperture fiber bundles
CN101881600A (zh) * 2009-05-07 2010-11-10 财团法人工业技术研究院 干涉振动位移决定方法、振动频率决定方法和干涉装置
JP5790178B2 (ja) 2011-03-14 2015-10-07 オムロン株式会社 共焦点計測装置
CN102749027B (zh) * 2011-04-18 2015-08-12 陈亮嘉 线型彩色共焦显微系统
TWI434022B (zh) * 2011-11-29 2014-04-11 Univ Nat Taipei Technology 彩色共焦顯微系統及其訊號處理方法
JP5973756B2 (ja) * 2012-03-14 2016-08-23 株式会社東光高岳 焦点位置変更装置およびこれを用いた共焦点光学装置
WO2014133455A1 (en) * 2013-02-28 2014-09-04 Heptagon Micro Optics Pte. Ltd. Measurement of focal points and other features in optical systems
TWI465683B (zh) * 2013-08-20 2014-12-21 Univ Nat Taiwan 差動濾波式彩色共焦量測系統
JP2014197004A (ja) 2014-04-21 2014-10-16 株式会社キーエンス 画像計測装置
JP6219257B2 (ja) * 2014-10-16 2017-10-25 日本分光株式会社 近接場測定方法および近接場光学顕微鏡
CN104374324B (zh) * 2014-11-13 2017-10-03 长沙德自信息技术有限公司 基于图像识别的位移测量装置
JP5847282B2 (ja) 2014-12-01 2016-01-20 株式会社キーエンス 共焦点顕微鏡システム
JP6767753B2 (ja) * 2015-03-02 2020-10-14 株式会社ミツトヨ クロマティック共焦点センサ及び測定方法
JP6819370B2 (ja) * 2017-03-09 2021-01-27 オムロン株式会社 共焦点計測装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001074946A (ja) * 1999-09-02 2001-03-23 Asahi Optical Co Ltd ファイババンドル及び内視鏡装置
JP2002296018A (ja) * 2001-03-30 2002-10-09 Sumitomo Heavy Ind Ltd 3次元形状計測装置
JP2004317437A (ja) * 2003-04-18 2004-11-11 Olympus Corp 光イメージング装置
JP2011505171A (ja) * 2007-10-11 2011-02-24 モナ カ テクノロジー モジュール式撮像デバイス、前記デバイス用のモジュール、及び前記デバイスによって実施される方法
WO2009153067A2 (en) * 2008-06-20 2009-12-23 Mel Mikroelektronik Gmbh Device for contacltess distance measurement
JP2014178287A (ja) * 2013-03-15 2014-09-25 Omron Corp 共焦点計測装置
JP2016051153A (ja) * 2014-09-02 2016-04-11 株式会社ミツトヨ 光学観察装置及び光学観察方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7323593B2 (ja) 2020-11-05 2023-08-08 セメス カンパニー,リミテッド 距離測定システム及び距離測定方法
WO2022149290A1 (ja) * 2021-01-08 2022-07-14 オムロン株式会社 変位センサ

Also Published As

Publication number Publication date
TWI642894B (zh) 2018-12-01
US11226233B2 (en) 2022-01-18
US20180252582A1 (en) 2018-09-06
CN108534682A (zh) 2018-09-14
TW201833511A (zh) 2018-09-16
KR102125483B1 (ko) 2020-06-22
CN108534682B (zh) 2020-06-02
KR20180101157A (ko) 2018-09-12
JP6819362B2 (ja) 2021-01-27

Similar Documents

Publication Publication Date Title
CN109073369B (zh) 用于以可变空间分辨率对晶片等对象进行2d/3d检测的共焦色差装置和方法
EP3176538B1 (en) Optical measurement device
JP5966982B2 (ja) 共焦点計測装置
JP5646604B2 (ja) 物体を3次元的に測定するための方法および測定装置
KR102125483B1 (ko) 공초점 계측 장치
JP5806504B2 (ja) 撮像装置およびこれを備える顕微鏡システム
TWI636231B (zh) 物體表面或內部光反射介面三維形貌偵測光學系統與方法
US10247610B2 (en) Chromatic confocal sensor and measurement method
JP2008268387A (ja) 共焦点顕微鏡
JP6692651B2 (ja) クロマティック共焦点センサ
TWI500901B (zh) 測量裝置
JP2021527207A (ja) 共焦点カメラにおいて動的投影パターンを生成するための装置、方法、およびシステム
JP2020523607A (ja) 測定システムおよび方法
US20100097693A1 (en) Confocal microscope
US10825152B2 (en) Distortion measurement and correction for spectrally encoded endoscopy
JP2011017552A (ja) 多点変位検出装置
JP6615604B2 (ja) 共焦点変位計
JP2019158507A (ja) 光学計測装置
CN108571936A (zh) 位移测量装置
JP5086197B2 (ja) 共焦点顕微鏡
KR20180091565A (ko) 색수차 렌즈를 이용한 공초점 영상 구현 장치
US20210231501A1 (en) Multi-mode thermal imaging device and operation method thereof
JP2010025864A (ja) 干渉測定装置
JP5543863B2 (ja) 撮像装置
JP2023509081A (ja) 共焦点距離測定によるワークピースの制御された機械加工方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R150 Certificate of patent or registration of utility model

Ref document number: 6819362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150