JP2016191648A - 計測装置および計測方法 - Google Patents

計測装置および計測方法 Download PDF

Info

Publication number
JP2016191648A
JP2016191648A JP2015072255A JP2015072255A JP2016191648A JP 2016191648 A JP2016191648 A JP 2016191648A JP 2015072255 A JP2015072255 A JP 2015072255A JP 2015072255 A JP2015072255 A JP 2015072255A JP 2016191648 A JP2016191648 A JP 2016191648A
Authority
JP
Japan
Prior art keywords
error determination
shape information
measurement target
defect
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015072255A
Other languages
English (en)
Other versions
JP2016191648A5 (ja
JP6521700B2 (ja
Inventor
徳井 圭
Kei Tokui
圭 徳井
潤一郎 三島
Junichiro Mishima
潤一郎 三島
芳光 杉浦
Yoshimitsu Sugiura
芳光 杉浦
剛 一木
Takeshi Ichiki
剛 一木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
East Japan Railway Co
Original Assignee
Sharp Corp
East Japan Railway Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp, East Japan Railway Co filed Critical Sharp Corp
Priority to JP2015072255A priority Critical patent/JP6521700B2/ja
Publication of JP2016191648A publication Critical patent/JP2016191648A/ja
Publication of JP2016191648A5 publication Critical patent/JP2016191648A5/ja
Application granted granted Critical
Publication of JP6521700B2 publication Critical patent/JP6521700B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

【課題】高精度なエラー判定を行うことが可能な計測装置および計測方法を提供する。
【解決手段】計測対象の現在の形状情報から当該計測対象に形成されたエラー判定領域(摩耗領域や、欠損領域)の評価値(摩耗量や、欠損サイズ)を算出し、計測対象の現在の形状情報から算出したエラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値(推定摩耗量や、欠損サイズが大きくなっていくか否かなど)と、に基づいてエラー判定を行う。
【選択図】図1

Description

本発明は、計測装置および計測方法に関する技術であり、特に、物体の形状を計測して異常を判定する計測装置および計測方法に関する。
物体の形状を計測する方法として、ステレオカメラ方式、TOF(Time Of Flight)方式、超音波方式などが開発されている。ステレオカメラ方式では、異なる位置で同一の被写体を撮影した2つの画像から、被写体の視差を算出することにより、被写体(計測対象)の形状を取得する。TOF方式や超音波方式では、被写体からの反射波を検知することで被写体までの距離を算出し、被写体(計測対象)の形状を取得する。
このような技術を応用した装置として、パンタグラフを検査するための検査装置がある。パンタグラフが架線と接触することにより、車両に電力が伝達されるため、パンタグラフにおける架線と接触する領域は摩耗する。この摩耗領域を計測することにより、摩耗量を取得して部品の交換などを行う。また、パンタグラフの架線接触領域に欠損が発生すると、架線も損傷する可能性があるため、欠損の検出も上記技術により行われる。例えば、パンタグラフの検査装置として、特許文献1に記載されているようなパンタグラフのすり板検査装置が知られている。特許文献1には、パンタグラフのすり板の摩耗量を算出する方法の一例が開示されている。
特開2006−78355号公報
しかしながら、特許文献1に開示されているような方法で、計測対象の摩耗量や欠損サイズのエラー(異常)を判定する場合、将来の摩耗量や欠損サイズのエラーまでは判定することができない。例えば、現時点で摩耗量が許容範囲内であっても、次回検査時には摩耗量がエラー(許容範囲外)となってしまう場合があり、その場合には、現時点から次回検査時までの間に摩耗量がエラーの状態となってしまう。つまり、特許文献1に開示されているような方法で取得した形状情報で摩耗量や欠損サイズのエラーを判定すると、計測時点での判定しかできないため、精度の良いエラー判定をすることは困難である。
本発明の目的は、物体の形状を計測してエラー(異常)を判定する計測装置および計測方法であって、高精度なエラー判定を行うことが可能な計測装置および計測方法を提供することである。
前記課題を解決するために、本発明の計測装置は、
計測対象の形状情報を取得する形状情報取得手段と、
前記形状情報取得手段により取得された形状情報を記憶するデータ記憶手段と、
前記形状情報取得手段により取得された前記計測対象の現在の形状情報と、前記データ記憶手段に記憶されている当該計測対象の過去の形状情報と、に基づいてエラー判定を行うデータ比較手段と、
前記データ比較手段によるエラー判定の結果を通知するエラー通知手段と、を備え、
前記データ比較手段は、
前記計測対象の現在の形状情報から算出した前記エラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値に基づいてエラー判定を行うように構成されている。
したがって、エラー判定領域の将来の評価値に基づいてエラー判定を行うことができるため、高精度なエラー判定を行うことができる。
また、前記データ比較手段は、
前記計測対象の現在の形状情報から当該計測対象に形成されたエラー判定領域の評価値を算出し、当該算出した評価値とあらかじめ設定された閾値とを比較した結果と、
前記計測対象の現在の形状情報から算出した前記エラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値と、
に基づいてエラー判定を行うように構成することが可能である。
このように構成することによって、エラー判定領域の現在の評価値と、当該エラー判定領域の将来の評価値と、の双方に基づいてエラー判定を行うことができるため、より高精度なエラー判定を行うことができる。
また、前記エラー判定領域の評価値は、前記計測対象に形成された摩耗領域の摩耗量であり、
前記データ比較手段は、
前記計測対象の現在の形状情報から当該計測対象に形成された摩耗領域の現在の摩耗量を算出し、当該算出した現在の摩耗量とあらかじめ設定された摩耗量閾値とを比較した結果と、
前記計測対象の現在の形状情報から算出した前記摩耗領域の現在の摩耗量と、当該計測対象の過去の形状情報から算出した当該摩耗領域の過去の摩耗量と、を比較することによって推定した当該摩耗領域の将来の摩耗状態と、
に基づいてエラー判定を行うように構成することが可能である。
このように構成することによって、摩耗領域の現在の摩耗量に基づいてエラー判定を行うだけでなく、当該摩耗領域の将来の摩耗状態に基づいてエラー判定を行うことができるため、高精度な摩耗エラー判定を行うことができる。
また、前記エラー判定領域の評価値は、前記計測対象に形成された欠損領域のサイズであり、
前記データ比較手段は、
前記計測対象の現在の形状情報から当該計測対象に形成された欠損領域の現在のサイズを算出し、当該算出した現在のサイズとあらかじめ設定された欠損閾値とを比較した結果と、
前記計測対象の現在の形状情報から算出した前記欠損領域の現在のサイズと、当該計測対象の過去の形状情報から算出した当該欠損領域の過去のサイズと、を比較することによって推定した当該欠損領域の将来の欠損状態と、
に基づいてエラー判定を行うように構成することが可能である。
このように構成することによって、欠損領域の現在のサイズに基づいてエラー判定を行うだけでなく、当該欠損領域の将来の欠損状態に基づいてエラー判定を行うことができるため、高精度な欠損エラー判定を行うことができる。
また、前記データ比較手段は、前記欠損領域の現在のサイズと、当該欠損領域の過去のサイズと、を比較し、当該欠損領域のサイズが大きくなっている場合と、小さくなっている場合とで、異なるエラー判定を行うように構成することが可能である。
このように構成することによって、欠損領域のサイズが大きくなっているのか、小さくなっているのかを、ユーザに通知することができるようになるため、ユーザに適切な情報を提供することが可能となる。
また、前記データ比較手段は、前記計測対象の現在の形状状態と、当該計測対象の過去の形状状態と、を比較し、当該計測対象に形成された欠損領域が、新規で発生した領域である場合と、過去に発生していた領域である場合とで、異なるエラー判定を行うように構成することが可能である。
このように構成することによって、欠損領域が新規で発生したものであるのか、過去に発生していたものであるのかを、ユーザに通知することができるようになるため、ユーザに適切な情報を提供することが可能となる。
また、本発明の計測方法は、
計測対象の現在の形状情報と、当該計測対象の過去の形状情報と、に基づいてエラー判定を行うデータ比較ステップと、
前記データ比較ステップでのエラー判定の結果を通知するエラー通知ステップと、を有し、
前記データ比較ステップでは、
前記計測対象の現在の形状情報から算出した前記エラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値に基づいてエラー判定を行うように構成されている。
したがって、エラー判定領域の将来の評価値に基づいてエラー判定を行うことができるため、高精度なエラー判定を行うことができる。
本発明の計測装置および計測方法によれば、高精度なエラー判定を行うことが可能となる。
本発明の計測装置の一構成例を示すブロック図である。 実施形態1における計測対象の一例を示す図である。 図2に示す計測対象をZ方向から見た図である。 摩耗状態をグラフ化した図である。 実施形態2における計測対象の一例を示す図である。 計測対象をZ方向から見た図である。 計測対象をY方向から見た図である。 計測対象をZ方向から見た図である。 本発明の計測方法の一例を示すフローチャートである。
以下、図面を使って本発明の実施形態を詳細に説明する。なお、各図における表現は理解しやすいように誇張して記載しており、実際のものとは異なる場合がある。
(実施形態1)
図1は、本実施形態の計測装置100の一構成例を示すブロック図である。
本実施形態の計測装置100は、形状情報取得部101と、データ記憶部102と、データ比較部103と、エラー通知部104と、を備える。
形状情報取得部101は、ステレオカメラ方式、TOF方式、超音波方式などの各種方式により、計測対象の三次元データを取得することが可能なセンサや演算処理部などを備える。
例えばステレオカメラ方式を適用する場合、形状情報取得部101は、2つのカメラモジュール、当該2つのカメラモジュールにより撮影した画像から視差を算出して三次元データを取得する演算処理部などを備える。カメラモジュールは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサといった固体撮像素子、レンズなどにより構成される。演算処理部は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)によるソフトウェア処理、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)によるハードウェア処理によって実現することができる。視差の算出には、ブロックマッチングを使用した方法などを使用することができる。
ブロックマッチングを使用した方法では、ステレオカメラで撮影した2つの画像を基準画像と参照画像とし、基準画像の注目画素と周辺画素を、参照画像上で探索することにより視差を算出することができる。探索は、類似度または相違度を評価することで行われ、基準画像に設定された注目画素と周辺画素で構成される基準領域と、参照画像に設定された基準領域と同じサイズの参照領域とのSAD(Sum of Absolute Difference)やSSD(Sum of Squared Difference)を評価することで実現できる。
すなわち、形状情報取得部101が、計測対象の形状情報(本実施形態の場合、三次元データ)を取得する形状情報取得手段をなす。
形状情報取得部101により取得された三次元データは、データ比較部103に伝達されるとともに、データ記憶部102に伝達されて記憶される。
データ記憶部102は、形状情報取得部101により取得された三次元データを記憶する。データ記憶部102は、ハードディスクやフラッシュメモリなどの記憶装置を使用することができる。データ記憶部102は、記憶している過去の三次元データ(すなわち、形状情報取得部101により過去に取得された計測対象の三次元データ)をデータ比較部103に伝達する。
すなわち、データ記憶部102が、形状情報取得手段(形状情報取得部101)により取得された形状情報を記憶するデータ記憶手段をなす。
データ比較部103は、形状情報取得部101からの三次元データ(現在の三次元データ)と、データ比較部103からの三次元データ(過去の三次元データ)と、を比較して、計測対象に摩耗エラーが発生しているか否かを判定し、判定結果をエラー通知部104に通知する。
すなわち、データ比較部103が、形状情報取得手段(形状情報取得部101)により取得された計測対象の現在の形状情報と、データ記憶手段(データ記憶部102)に記憶されている当該計測対象の過去の形状情報と、に基づいてエラー判定を行うデータ比較手段をなす。
エラー通知部104は、データ比較部103で得られた判定結果を、ユーザに対して通知する。
すなわち、エラー通知部104が、データ比較手段(データ比較部103)によるエラー判定の結果を通知するエラー通知手段をなす。
図2に、本実施形態における計測対象105の一例を示す。計測対象105は、図2に示すように、主に上面が、接触物体と接触する接触面(すなわち摩耗面106)になる。なお、摩耗面106になる面は、計測対象105の上面に限定されず、適宜変更可能である。
以下、図2に示すように、計測対象105の長手方向をX方向と呼ぶ。また、計測対象105の上下方向をY方向と呼び、上側をY方向プラス側、下側をY方向マイナス側と呼ぶ。また、計測対象105の短手方向をZ方向と呼ぶ。
計測対象105は、他の物体(接触物体)と接触することにより、使用開始時から徐々に摩耗していき、あらかじめ設定された摩耗量(限界の摩耗量)となったときに計測対象105を新品と交換することを想定する。摩耗面106は、Y方向マイナス側に摩耗していき、X方向に異なる摩耗量となっている。したがって、形状情報取得部101では、計測対象105の摩耗面106の情報を含む三次元データを取得する。また、データ記憶部102は、このような三次元データを記憶しており、計測対象105の過去の三次元データをデータ比較部103に伝達する。
具体的には、データ記憶部102は、例えば、計測対象105がパンタグラフのすり板である場合、計測対象105の三次元データと、計測対象105が設置されている編成の編成番号と、当該編成における計測対象105の設置位置(パンタグラフ位置)と、を対応付けて記憶する。編成番号や設置位置などの計測対象を識別するための識別情報は、図示しない識別情報取得部により取得されて、形状情報取得部101により取得された三次元データとともに、データ記憶部102およびデータ比較部103に伝達される。データ記憶部102は、識別情報取得部からの編成番号と設置位置を検索し、対応付けられた三次元データを当該編成番号および当該設置位置とともにデータ比較部103に伝達する。そして、データ比較部103は、形状情報取得部101からの三次元データ(現在の三次元データ)とデータ記憶部102からの三次元データ(過去の三次元データ)とを比較するが、その際、ともに伝送された編成番号および設置位置が同一の三次元データ同士を比較する。これにより、同一の計測対象105についての現在の三次元データと過去の三次元データとを比較することができる。
図3は、図2に示す計測対象105をZ方向から見た図である。
例えば、計測対象105の限界の摩耗量を摩耗量閾値としてあらかじめ設定しておき、摩耗面106の摩耗量のうち最も大きい値を摩耗量閾値と比較することで、計測対象105の摩耗状態を判定することができる。
図4は、図3に示す摩耗状態をグラフ化した図であり、三次元データを使用して、摩耗面106をXY平面に投影することで作成することができる。
データ比較部103では、このようなデータにより摩耗量の変化を比較する。図4において、(ア)は計測対象105の現在の三次元データ(現時点での計測結果)から生成されたグラフであり、(イ)は当該計測対象105の過去の三次元データのうち1回前の計測で取得された三次元データ(1回前の計測結果)から生成されたグラフであり、(ウ)は当該計測対象105の過去の三次元データのうち2回前の計測で取得された三次元データ(2回前の計測結果)から生成されたグラフである。
(ウ)は摩耗量が小さく、(イ)は(ウ)よりも摩耗量が大きくなっており、(ア)は(イ)よりも摩耗量が大きくなっている。ここで、(ア)、(イ)、(ウ)のX方向における同一位置の摩耗量を比較して、各位置における計測期間ごとの変化量を算出する。この変化量から、次の計測を実施するタイミングでの推定摩耗量を算出することができる。ここで、計測期間が一定で無い場合は、三次元データが取得された日付から単位日数あたりの摩耗量を算出し、想定される次回の計測日での摩耗量を推定する。また、計測対象が車両や車両に取り付けられたもの(例えば、パンタグラフのすり板)である場合に、当該車両の走行距離が取得可能であるときには、単位走行距離あたりの摩耗量を算出し、想定される次回の計測日までの走行距離から当該次回の計測日での摩耗量を推定することもできる。
図4の(エ)および(オ)は、(ア)、(イ)、(ウ)から算出された推定摩耗量である。
(エ)の場合には、あらかじめ設定されている摩耗量閾値よりも摩耗している。つまり、現時点((ア)が取得された時点)では摩耗量閾値よりも摩耗していないため、摩耗量の判定は正常となるが、推定摩耗量の判定はエラーとなる。これは、次回の計測日までに摩耗量が摩耗量閾値よりも大きくなることを示している。
一方、(オ)の場合には、次回の計測日までに摩耗量が摩耗量閾値よりも大きくならないことを示しいている。
このように、現時点では摩耗量閾値と比較して正常と判定される摩耗状態であっても、過去のデータと比較して将来の摩耗量を推定すると、異なる摩耗量の判定が可能となる。
データ比較部103で得られた判定結果は、エラー通知部104にてユーザに通知される。当該通知は、ディスプレイに表示したり、音を発したりすることで実現できる。エラー通知部104は、データ比較部103で得られた判定結果に応じて通知を行う。例えば、現時点での計測結果(現在の摩耗量)が摩耗量閾値を超えているエラー状態と判定された場合と、推定摩耗量が摩耗量閾値を超えている警告状態と判定された場合と、推定摩耗量が摩耗量閾値を超えない正常状態と判定された場合と、で異なる通知を行うことで、ユーザに対し高精度かつ状態把握が容易な計測結果通知を行うことが可能となる。
ここで、本実施形態では、摩耗量閾値を1つ設定したが、摩耗量閾値を複数設定しておくことで、摩耗状態の詳細な通知が可能となる。例えば、摩耗量の注意を判定するための摩耗量閾値として第一摩耗量閾値を設定するとともに、エラー状態を判定するための摩耗量閾値として第一摩耗量閾値よりも摩耗した値(大きい値)である第二摩耗量閾値を設定する。データ比較部103は、推定摩耗量が第一摩耗量閾値を超えない場合は正常状態、推定摩耗量が第一摩耗量閾値を超えるが第二摩耗量閾値を超えない場合は注意状態、推定摩耗量が第二摩耗量閾値を超えるが現時点での計測結果が第二摩耗量閾値を超えない場合は警告状態、現時点での計測結果が第二摩耗量閾値を超える場合はエラー状態であると判定する。そして、エラー通知部104は、正常状態であると判定された場合と、注意状態であると判定された場合と、警告状態であると判定された場合と、エラー状態であると判定された場合とで、異なる通知を行う。このように、摩耗量閾値を2つ設定すると、4段階の通知レベルを設定することが可能となる。
以上説明した本実施形態の計測装置100によれば、データ比較部103は、計測対象の現在の形状情報から算出したエラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値に基づいてエラー判定を行うように構成されている。
具体的には、本実施形態の場合、エラー判定領域の評価値は、計測対象105に形成された摩耗領域(摩耗面106)の摩耗量であり、データ比較部103は、計測対象105の現在の形状情報(本実施形態の場合、現在の三次元データ)から当該計測対象105に形成された摩耗領域の現在の摩耗量を算出し、計測対象105の現在の形状情報から算出した摩耗領域の現在の摩耗量と、当該計測対象105の過去の形状情報(本実施形態の場合、過去の三次元データ)から算出した当該摩耗領域の過去の摩耗量と、を比較することによって推定した当該摩耗領域の将来の摩耗状態(本実施形態の場合、推定摩耗量)に基づいてエラー判定(摩耗エラー判定)を行うように構成されている。
したがって、摩耗領域の将来の摩耗状態に基づいてエラー判定を行うことができるため、高精度な摩耗エラー判定を行うことができる。
このとき、当該算出した現在の摩耗量とあらかじめ設定された摩耗量閾値とを比較した結果を使用して、最終的なエラー判定を行っても良く、現在と将来の評価値に基づいて判定することで、より高精度のエラー判定が可能となる。すなわち、データ比較部103は、計測対象の現在の形状情報から当該計測対象に形成されたエラー判定領域の評価値を算出し、当該算出した評価値とあらかじめ設定された閾値とを比較した結果と、計測対象の現在の形状情報から算出したエラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値と、に基づいてエラー判定を行うように構成しても良い。
ここで、データ記憶部102には、計測対象の三次元データだけでなく、ステレオカメラ方式であれば、計測対象の撮影画像も記憶しておくことができる。撮影画像から毎回視差を算出して三次元データを演算するようにしても同様の効果を得ることができる。また、データ記憶部102に、計測対象の三次元データではなく、図4に示したような、摩耗量を評価するためのデータを記憶しておき、このデータをデータ比較部103に伝達しても同様の効果が得られる。さらに、計測対象ごとに摩耗の変化量を算出してデータ記憶部102に記憶しておき、この変化量を使用して推定摩耗量を算出しても良い。
また、本発明では、過去の計測結果(過去の形状情報)を利用してエラー判定を行うが、計測対象の過去の計測結果が存在しないとき(初回の計測時)には、現在の計測結果(現在の形状情報)を過去の計測結果と比較することができない。そのため、初回の計測時には、初回の計測結果のみでエラー判定をする(すなわち、現在の評価値(摩耗量など)と閾値(摩耗量閾値など)とを比較した結果に基づくエラー判定のみを行う)ようにしておくことで、初回の計測時に処理が止まるなどの不都合を回避することができる。
また、計測対象を交換して新しくした場合も、現在の計測結果を過去の計測結果と比較することができないため、その場合にも、単独の計測結果のみでエラー判定を行う(すなわち、現在の評価値(摩耗量など)と閾値(摩耗量閾値など)とを比較した結果に基づくエラー判定のみを行う)ようにしておくとよい。また、例えば、摩耗量は増加する方向(Y方向マイナス側)にのみ変化するため、摩耗量が減少した場合には、計測対象が交換された後の初回の計測と推定することができる。これにより、自動で初回と判定することができユーザの手間(例えば、計測対象を交換したことを入力する手間)を省くことができ好適である。
(実施形態2)
本実施形態における計測装置100の構成は、実施形態1の計測装置100と同様であるため、共通する各部の詳細な説明は省略する。
図5に、本実施形態における計測対象200の一例を示す。計測対象200は、図5に示すように、計測対象105と同様、摩耗面201を有している。さらに、計測対象200は、欠損202を有している。本実施形態の計測装置100は、このような欠損を検出して、ユーザに通知を行う。例えば、計測対象200がパンタグラフである場合、パンタグラフのすり板に欠損が発生すると、すり板と接触する接触物体(架線)が損傷する可能性がある。そのため、計測対象に欠損が発生していることをユーザに通知する必要がある。ユーザに通知する欠損のサイズは、計測対象に接触する接触物体のサイズなどによって適宜設定することができる。
本実施形態において、形状情報取得部101は、欠損領域を有する計測対象200の三次元データを取得する。
図6(a)は、計測対象200をZ方向から見た図であって、現在の三次元データをXY平面に投影して得た図である。図6(a)に示すように、欠損202では、摩耗面201の連続性が大きく変化している。このように、計測対象200の輪郭の三次元データをXY平面に投影して、計測対象200の輪郭を解析することで、欠損領域を検出することができる。例えば、周辺の領域に比べて計測対象200の輪郭の座標値がY方向に大きく変位している領域、計測対象200の輪郭の傾きが大きく変化している領域などを三次元データから算出することで、欠損領域(図6(a)に示す例の場合、欠損202)を検出することができる。
XY平面で計測対象200から欠損202を検出すると、欠損202のX方向の幅である欠損サイズAと、欠損202のY方向の幅である欠損サイズBとを算出することができる。このような欠損サイズと、あらかじめ設定された欠損閾値と、を比較することで、計測対象200の欠損状態を判定することができる。例えば、欠損サイズAおよび欠損サイズBに対し同一の欠損閾値を設定した場合、いずれかの欠損サイズが欠損閾値を超えた場合、エラー通知部104にてユーザに欠損エラーとして通知する。また、欠損サイズAおよび欠損サイズBに対しそれぞれ異なる欠損閾値を設定することもでき、欠損サイズAと欠損サイズA用の欠損閾値とを比較するとともに、欠損サイズBと欠損サイズB用の欠損閾値とを比較し、比較した結果に基づいてエラー判定を行いユーザに通知する。
また、データ比較部103では、計測対象200の過去の三次元データと、計測対象200の現在の三次元データと、を比較する。
図6(b)および図6(c)は、計測対象200をZ方向から見た図であって、過去の三次元データをXY平面に投影して得た図である。
図6(b)の場合、摩耗面204には、欠損202が発生している領域と同じX方向における位置に、欠損203が発生しており、欠損203は、欠損202と比較すると、欠損サイズAも欠損サイズBも小さい。つまり、図6(b)の計測が行われたときから、図6(a)の計測が行われたときまでの間に、欠損領域のサイズが大きくなっていることになる。
一方、図6(c)の場合、摩耗面204には、欠損202が発生している領域と同じX方向における位置に、欠損205が発生しており、欠損205は、欠損202と比較すると、欠損サイズAも欠損サイズBも大きい。つまり、図6(c)の計測が行われたときから、図6(a)の計測が行われたときまでの間に、欠損領域のサイズが小さくなっていることになる。
このように、現在と過去とで欠損サイズの比較を行うことにより、欠損202の欠損サイズがさらに大きくなる可能性が高いのは、欠損サイズが大きくなってきている場合(例えば、過去の計測結果が図6(b)であった場合)であると推定することが可能となる。つまり、欠損サイズが同じであっても、過去のデータと比較して欠損の変化(すなわち、将来の欠損状態)を推定することにより、計測対象の欠損エラーの判定を精度良く行うことが可能となる。
なお、現在の欠損202と過去の欠損203,205との対応は、例えば、欠損領域の中央値や平均値の座標値を代表座標として、代表座標同士を比較して近ければ同一の欠損として処理を行うことで実現できる。例えば、あらかじめ設定される2点間の距離よりも、代表座標同士(すなわち、現在の欠損の代表座標と過去の欠損の代表座標)の距離が小さければ同一の欠損であり、大きければ異なる欠損として処理を行う。ここで、2点間の距離は撮影画像上の座標で設定しておいても良いが、撮影位置のずれなどを補正して計算する必要があるので、三次元データで算出するのが好適である。
エラー通知部104は、データ比較部103の判定結果に基づいて、ユーザに欠損状態を通知する。欠損閾値は各欠損サイズに対し1つ設定しても良いし、複数設定してもよいが、欠損閾値を複数設定しておくことで、欠損状態の詳細な通知が可能となる。例えば、各欠損サイズに共通して、第一欠損閾値と、第一欠損閾値よりも大きい値である第二欠損閾値とを設定することで、各欠損サイズのいずれもが第一欠損領域を超えない場合は欠損無し、各欠損サイズのいずれかが第一欠損閾値を超えるが第二欠損閾値を超えない場合は注意が必要な欠損が有る、各欠損サイズのいずれかが第二欠損閾値を超える場合は計測対象の交換が必要な欠損が有るなどの通知が可能となる。
加えて、エラー通知部104は、過去の三次元データから算出された欠損(過去の欠損)と現在の三次元データから算出された欠損(現在の欠損)とを比較した結果に基づいて、ユーザへの通知を行う。例えば、欠損サイズが大きくなっている欠損であって当該欠損サイズが第一欠損閾値よりも小さい欠損は、新規に発生した欠損であって欠損サイズが第一欠損閾値よりも小さい欠損とは区別してユーザに通知する。具体的には、欠損サイズが大きくなったことを、ディスプレイに文字で表示したり、ディスプレイに表示する欠損通知の色を変えたりしてユーザに通知する。他の例としては、欠損サイズが小さくなっている欠損であって当該欠損サイズが第二欠損閾値よりも小さい欠損は、欠損サイズが変わらない欠損または欠損サイズが大きくなっている欠損であって当該欠損サイズが第二欠損閾値よりも小さい欠損とは区別してユーザに通知する。この通知も、ディスプレイに文字で表示したり、ディスプレイに表示する欠損通知の色を変えたりしてユーザに通知することができる。また、過去の三次元データでは検出できなかった欠損は、新規に発生した欠損であることをユーザに通知すると、新規に欠損が発生したことがユーザに明示されるため好適である。
さらに、ステレオカメラ方式を適用する場合には、ディスプレイに撮影画像を表示するとともに、当該撮影画像に欠損領域を囲む丸印などを重畳して表示することなどによって、撮影画像上に欠損の位置を提示すると、ユーザが視認しやすくなるので好適である。また、その際、撮影画像に重畳する丸印などの色を、新規に発生している、拡大している、縮小しているなどの比較結果に応じて変えて表示することもできる。
以上説明した本実施形態の計測装置100によれば、エラー判定領域の評価値は、計測対象200に形成された欠損領域(欠損202,203,205)のサイズ(欠損サイズ)であり、データ比較部103は、計測対象200の現在の形状情報(本実施形態の場合、現在の三次元データ)から当該計測対象200に形成された欠損領域の現在のサイズ(現在の欠損サイズ)を算出し、計測対象200の現在の形状情報から算出した欠損領域の現在のサイズと、当該計測対象200の過去の形状情報(本実施形態の場合、過去の三次元データ)から算出した当該欠損領域の過去のサイズ(過去の欠損サイズ)と、を比較することによって推定した当該欠損領域の将来の欠損状態(本実施形態の場合、欠損サイズがさらに大きくなっていくか否か)と、に基づいてエラー判定(欠損エラー判定)を行うように構成されている。
したがって、欠損領域の将来の欠損状態に基づいてエラー判定を行うことができるため、高精度な欠損エラー判定を行うことができる。
このとき、当該算出した現在のサイズとあらかじめ設定された欠損閾値とを比較した結果を使用して、最終的なエラー判定を行っても良く、現在と将来の評価値に基づいて判定することで、より高精度のエラー判定が可能となる。すなわち、データ比較部103は、計測対象の現在の形状情報から当該計測対象に形成されたエラー判定領域の評価値を算出し、当該算出した評価値とあらかじめ設定された閾値とを比較した結果と、計測対象の現在の形状情報から算出したエラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値と、に基づいてエラー判定を行うように構成しても良い。
また、本実施形態の計測装置100によれば、データ比較部103は、欠損領域の現在のサイズ(現在の欠損サイズ)と、当該欠損領域の過去のサイズ(過去の欠損サイズ)と、を比較し、当該欠損領域のサイズが大きくなっている場合と、小さくなっている場合とで、異なるエラー判定を行うように構成することが可能である。
このように構成することによって、欠損領域のサイズが大きくなっているのか、小さくなっているのかを、ユーザに通知することができるようになるため、ユーザに適切な情報を提供することが可能となる。
また、本実施形態の計測装置100によれば、データ比較部103は、計測対象200の現在の形状状態(本実施形態の場合、現在の三次元データ)と、当該計測対象200の過去の形状状態(本実施形態の場合、過去の三次元データ)と、を比較し、当該計測対象200に形成された欠損領域(欠損202)が新規で発生した領域である場合と、過去に発生していた領域である場合とで、異なるエラー判定を行うように構成することが可能である。
このように構成することによって、欠損領域(欠損202)が新規で発生したものであるのか、過去に発生していたものであるのかを、ユーザに通知することができるようになるため、ユーザに適切な情報を提供することが可能となる。
ここで、本実施形態では、欠損サイズの方向を考慮せずに欠損状態の判定を行うように構成したが、欠損サイズの方向を考慮することでさらに詳細な通知を行うことが可能となる。例えば、欠損サイズAと欠損サイズBの両方が欠損閾値を超えている場合は、欠損サイズAだけが欠損閾値を超えている場合や、欠損サイズBだけが欠損閾値を超えている場合に比べて、より注意が必要な欠損としてユーザに通知すると、詳細な通知が可能となり好適である。
また、本実施形態では、欠損領域のX方向のサイズである欠損サイズAと、欠損領域のY方向のサイズである欠損サイズBとにより、欠損エラーを判定するように構成したが、さらに欠損領域のZ方向のサイズである欠損サイズCを算出して、欠損エラーを判定することも可能である。
図7は、図5に示す計測対象200をY方向から見た図である。図7に示す図からも、摩耗面201に欠損202が発生していることが確認できる。XY平面(例えば図6)で欠損領域を検出したときと同様に、計測対象200の輪郭の座標値が大きく変位している領域や、計測対象200の輪郭の傾きが大きく変化している領域などを欠損領域として検出することで、欠損サイズCを算出することができる。このように、異なる方向から欠損領域を検出することにより、様々な欠損サイズを算出することができる。欠損サイズAおよび欠損サイズBに加えて、欠損サイズCを欠損エラー判定に使用することで、より詳細な欠損エラー判定が可能となり、ユーザへの通知も詳細に行えるようになる。
また、欠損の深さによって計測対象に不具合が発生する場合には、欠損の最深サイズ(基準面(例えば、摩耗面のうち接触物体とほとんど接触しない摩耗面端部)からのY方向の差分)を用いて欠損エラーの判定を行っても良い。欠損202の欠損サイズB(Y方向の幅)が、例えば、図8(a)に示すように「B1」である状態から、図8(b)に示すように「B1」よりも小さい「B2」である状態に変化した場合、欠損サイズBは摩耗により小さくなっているが、欠損202の最深サイズは増加している。このとき、欠損サイズBだけで欠損エラーを判定すると、欠損サイズBが小さくなっていると推定される。そこで、欠損サイズBだけでなく、摩耗方向への最深サイズに基づいて欠損エラーを判定すると、計測対象200の欠損の深さによる不具合を検出することが可能となる。最深サイズは、計測対象における欠損領域の各三次元位置のうち、Y方向を比較して最も小さい点から算出することができる。
本実施形態では、三次元データをデータ記憶部102からデータ比較部103に伝達した場合を説明したが、欠損サイズに関してエラー通知部104にて通知する場合などは、欠損サイズのデータを伝達するなど、必要な情報を伝達すれば良い。つまり、過去のデータとして欠損サイズA、欠損サイズB、欠損サイズCなどの各欠損サイズを記憶しておき、データ記憶部102からデータ比較部103に過去の欠損サイズを伝達することで、欠損エラーの判定を行うことができる。
また、本実施形態では、1つの欠損について説明したが、複数の欠損に対しても同様の処理を行うことができる。複数の欠損の過去のデータとの対応は、例えば、欠損領域の中央値や平均値の座標値を代表座標として、代表座標同士を比較して近いものを同一箇所の欠損として処理を行うことで実現できる。ユーザへの通知は、最大サイズの欠損に対して行うようにしたり、欠損サイズの大きさが上位2つの欠損に対して行うようにしたりすることが可能であるが、ユーザが適宜設定できるようにすると、ユーザが所望とする通知が実現可能となり好適である。
(実施形態3)
本実施形態では、上記実施形態で示した機能を実現する計測方法について説明する。例えば、当該機能を実現する計測方法をプログラムとして記憶媒体に記録しておく。コンピュータにより記憶媒体に記録されたプログラムを読み込み、実行させることで実現できる。記憶媒体としては、光ディスク、磁気ディスク、フラッシュメモリなどが使用可能である。また、上記プログラムをインターネットなどのネットワーク回線を利用して提供することも可能である。さらに、FPGAで使用可能な回路情報として計測方法を記録しておくこともできる。回路情報は記録媒体やネットワークを介して提供され、FPGAにダウンロードして当該機能を実現する。
図9は、上記実施形態で示した機能を実現する計測方法の一例を示すフローチャートである。
まず、形状情報取得部101が、計測対象の形状情報を取得する(ステップS1)。
次いで、データ記憶部102が、ステップS1で取得された計測対象の現在の形状情報を記憶する(ステップS2)。
次いで、データ記憶部102(或いは、データ比較部103であってもよい。)が、データ記憶部102に記憶されている計測対象の過去の形状情報を取得する(ステップS3)。
次いで、データ比較部103が、現在の摩耗量や現在の欠損サイズなどを設定されている閾値と比較するとともに、現在の摩耗量や現在の欠損サイズなどを過去のデータと比較する(ステップS4)。
次いで、データ比較部103が、ステップS4で比較した結果に基づいて、摩耗エラー判定や欠損エラー判定を行う(ステップS5)。
すなわち、ステップS4,S5では、データ比較部103が、計測対象の現在の形状情報と、当該計測対象の過去の形状情報と、に基づいてエラー判定を行う(データ比較ステップ)。
次いで、エラー通知部104が、ステップS5でのエラー判定の結果をユーザに通知する(ステップS6(エラー通知ステップ))。
これにより、詳細なエラー判定が可能な計測方法を実現することができる。
以上説明した本実施形態の計測方法によれば、エラー判定領域の将来の評価値(推定摩耗量や、欠損サイズがさらに大きくなっていくか否かなど)に基づいてエラー判定を行うことができるため、高精度なエラー判定を行うことができる。
なお、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
また、上述の各実施形態の構成は適宜組み合わせて適用することが可能である。
100 計測装置
101 形状情報取得部(形状情報取得手段)
102 データ記憶部(データ記憶手段)
103 データ比較部(データ比較手段)
104 エラー通知部(エラー通知手段)
105 計測対象
106 摩耗面(摩耗領域)
200 計測対象
201 摩耗面
202 欠損(欠損領域)
203 欠損(欠損領域)
204 摩耗面
205 欠損(欠損領域)

Claims (7)

  1. 計測対象の形状情報を取得する形状情報取得手段と、
    前記形状情報取得手段により取得された形状情報を記憶するデータ記憶手段と、
    前記形状情報取得手段により取得された前記計測対象の現在の形状情報と、前記データ記憶手段に記憶されている当該計測対象の過去の形状情報と、に基づいてエラー判定を行うデータ比較手段と、
    前記データ比較手段によるエラー判定の結果を通知するエラー通知手段と、を備え、
    前記データ比較手段は、
    前記計測対象の現在の形状情報から算出した前記エラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値に基づいてエラー判定を行うことを特徴とする計測装置。
  2. 前記データ比較手段は、
    前記計測対象の現在の形状情報から当該計測対象に形成されたエラー判定領域の評価値を算出し、当該算出した評価値とあらかじめ設定された閾値とを比較した結果と、
    前記計測対象の現在の形状情報から算出した前記エラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値と、
    に基づいてエラー判定を行うことを特徴とする請求項1に記載の計測装置。
  3. 前記エラー判定領域の評価値は、前記計測対象に形成された摩耗領域の摩耗量であり、
    前記データ比較手段は、
    前記計測対象の現在の形状情報から算出した前記摩耗領域の現在の摩耗量と、当該計測対象の過去の形状情報から算出した当該摩耗領域の過去の摩耗量と、を比較することによって推定した当該摩耗領域の将来の摩耗状態に基づいてエラー判定を行うことを特徴とする請求項1または2に記載の計測装置。
  4. 前記エラー判定領域の評価値は、前記計測対象に形成された欠損領域のサイズであり、
    前記データ比較手段は、
    前記計測対象の現在の形状情報から算出した前記欠損領域の現在のサイズと、当該計測対象の過去の形状情報から算出した当該欠損領域の過去のサイズと、を比較することによって推定した当該欠損領域の将来の欠損状態に基づいてエラー判定を行うことを特徴とする請求項1または2に記載の計測装置。
  5. 前記データ比較手段は、前記欠損領域の現在のサイズと、当該欠損領域の過去のサイズと、を比較し、当該欠損領域のサイズが大きくなっている場合と、小さくなっている場合とで、異なるエラー判定を行うことを特徴とする請求項4に記載の計測装置。
  6. 前記データ比較手段は、前記計測対象の現在の形状状態と、当該計測対象の過去の形状状態と、を比較し、当該計測対象に形成された欠損領域が、新規で発生した領域である場合と、過去に発生していた領域である場合とで、異なるエラー判定を行うことを特徴とする請求項4に記載の計測装置。
  7. 計測対象の現在の形状情報と、当該計測対象の過去の形状情報と、に基づいてエラー判定を行うデータ比較ステップと、
    前記データ比較ステップでのエラー判定の結果を通知するエラー通知ステップと、を有し、
    前記データ比較ステップでは、
    前記計測対象の現在の形状情報から算出した前記エラー判定領域の評価値と、当該計測対象の過去の形状情報から算出した当該エラー判定領域の評価値と、を比較することによって推定した当該エラー判定領域の将来の評価値に基づいてエラー判定を行うことを特徴とする計測方法。
JP2015072255A 2015-03-31 2015-03-31 計測装置および計測方法 Active JP6521700B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015072255A JP6521700B2 (ja) 2015-03-31 2015-03-31 計測装置および計測方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015072255A JP6521700B2 (ja) 2015-03-31 2015-03-31 計測装置および計測方法

Publications (3)

Publication Number Publication Date
JP2016191648A true JP2016191648A (ja) 2016-11-10
JP2016191648A5 JP2016191648A5 (ja) 2018-05-24
JP6521700B2 JP6521700B2 (ja) 2019-05-29

Family

ID=57246363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015072255A Active JP6521700B2 (ja) 2015-03-31 2015-03-31 計測装置および計測方法

Country Status (1)

Country Link
JP (1) JP6521700B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019244593A1 (ja) * 2018-06-18 2019-12-26 オムロン株式会社 画像処理システムおよび画像処理方法
JP2020019087A (ja) * 2018-07-31 2020-02-06 独立行政法人国立高等専門学校機構 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法
WO2020071210A1 (ja) * 2018-10-02 2020-04-09 シャープ株式会社 摩耗度合い算出装置、摩耗度合い算出方法、摩耗度合い算出プログラムおよび記録媒体
CN113226587A (zh) * 2018-12-27 2021-08-06 株式会社天田集团 模具管理装置及模具管理方法
JP2022084385A (ja) * 2020-11-26 2022-06-07 三菱電機株式会社 診断システム、診断プログラムおよび診断方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003237547A (ja) * 2002-02-18 2003-08-27 Hitachi Industries Co Ltd 車輪管理システム
JP2003344023A (ja) * 2002-05-31 2003-12-03 Hitachi Industries Co Ltd 車輪形状測定装置
JP2006078355A (ja) * 2004-09-10 2006-03-23 Hitachi Industries Co Ltd パンタグラフのすり板検査装置
JP2010136563A (ja) * 2008-12-08 2010-06-17 Hitachi Transportation Technologies Ltd パンタグラフ型集電装置の検査装置及びパンタグラフ型集電装置の検査方法
EP2312269A1 (en) * 2009-08-26 2011-04-20 Image House A/S A method and a system for inspecting a pantograph
JP2013225085A (ja) * 2012-03-19 2013-10-31 Ricoh Co Ltd 画像形成装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003237547A (ja) * 2002-02-18 2003-08-27 Hitachi Industries Co Ltd 車輪管理システム
JP2003344023A (ja) * 2002-05-31 2003-12-03 Hitachi Industries Co Ltd 車輪形状測定装置
JP2006078355A (ja) * 2004-09-10 2006-03-23 Hitachi Industries Co Ltd パンタグラフのすり板検査装置
JP2010136563A (ja) * 2008-12-08 2010-06-17 Hitachi Transportation Technologies Ltd パンタグラフ型集電装置の検査装置及びパンタグラフ型集電装置の検査方法
EP2312269A1 (en) * 2009-08-26 2011-04-20 Image House A/S A method and a system for inspecting a pantograph
JP2013225085A (ja) * 2012-03-19 2013-10-31 Ricoh Co Ltd 画像形成装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019244593A1 (ja) * 2018-06-18 2019-12-26 オムロン株式会社 画像処理システムおよび画像処理方法
US11967095B2 (en) 2018-06-18 2024-04-23 Omron Corporation Image processing system and image processing method
JP2020019087A (ja) * 2018-07-31 2020-02-06 独立行政法人国立高等専門学校機構 研削工具砥面評価装置とその学習器、評価プログラムおよび評価方法
WO2020071210A1 (ja) * 2018-10-02 2020-04-09 シャープ株式会社 摩耗度合い算出装置、摩耗度合い算出方法、摩耗度合い算出プログラムおよび記録媒体
CN113226587A (zh) * 2018-12-27 2021-08-06 株式会社天田集团 模具管理装置及模具管理方法
JP2022084385A (ja) * 2020-11-26 2022-06-07 三菱電機株式会社 診断システム、診断プログラムおよび診断方法

Also Published As

Publication number Publication date
JP6521700B2 (ja) 2019-05-29

Similar Documents

Publication Publication Date Title
JP6109357B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP5631025B2 (ja) 情報処理装置、その処理方法及びプログラム
JP6521700B2 (ja) 計測装置および計測方法
US10024653B2 (en) Information processing apparatus, information processing method, and storage medium
JP5578844B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6468802B2 (ja) 三次元計測装置、三次元計測方法及びプログラム
JP6596433B2 (ja) 2つのカメラからの曲線の集合の構造化光整合
JP6335011B2 (ja) 計測装置およびその方法
US10006762B2 (en) Information processing apparatus, information processing method, and storage medium
US20200250806A1 (en) Information processing apparatus, information processing method, and storage medium
JP2015017921A (ja) 摺り板形状計測装置
JP6475025B2 (ja) 形状エラー判定装置、判定結果画像生成装置、及び形状エラー判定方法
JP7226494B2 (ja) 架線摩耗検出方法
JP6575087B2 (ja) トロリ線摩耗測定装置
US9739604B2 (en) Information processing apparatus, information processing method, and storage medium
TW201534424A (zh) 工具檢查方法及工具檢查裝置
JP2020098533A (ja) 摩耗測定装置および摩耗測定方法
JP6570321B2 (ja) 情報処理装置、情報処理方法及びプログラム
JPWO2019163556A1 (ja) 検査装置及び検査方法
JP2015175633A (ja) 立体抽出方法および立体抽出装置
JP6009364B2 (ja) 渦巻きばねの形状を計測するための画像処理装置、方法、及びプログラム
JP2015102460A (ja) 3次元計測装置および3次元計測方法
JP2016191649A (ja) 摩耗量計測装置、摩耗量計測方法、および摩耗量計測プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180330

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190423

R150 Certificate of patent or registration of utility model

Ref document number: 6521700

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250