JP2016133918A - 当たり面積率の測定方法 - Google Patents

当たり面積率の測定方法 Download PDF

Info

Publication number
JP2016133918A
JP2016133918A JP2015007110A JP2015007110A JP2016133918A JP 2016133918 A JP2016133918 A JP 2016133918A JP 2015007110 A JP2015007110 A JP 2015007110A JP 2015007110 A JP2015007110 A JP 2015007110A JP 2016133918 A JP2016133918 A JP 2016133918A
Authority
JP
Japan
Prior art keywords
image
area ratio
sliding surface
pixels
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015007110A
Other languages
English (en)
Other versions
JP6402036B2 (ja
Inventor
正寛 宮川
Masahiro Miyagawa
正寛 宮川
真 平井
Makoto Hirai
真 平井
松田 清
Kiyoshi Matsuda
清 松田
一 吉積
Hajime Yoshizumi
一 吉積
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd filed Critical Kobe Steel Ltd
Priority to JP2015007110A priority Critical patent/JP6402036B2/ja
Publication of JP2016133918A publication Critical patent/JP2016133918A/ja
Application granted granted Critical
Publication of JP6402036B2 publication Critical patent/JP6402036B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

【課題】本発明は、当たり面積率を定量的かつ比較的正確に算出できる当たり面積率の測定方法を提供することを課題とする。
【解決手段】本発明の当たり面積率の測定方法は、ワークの摺動面の当たり面積率を測定する方法であって、上記摺動面の規範となる対向基準面を有する測定具を用い、塗料を塗布した上記対向基準面を上記摺動面に擦り合わせる工程と、上記擦り合わせ工程後の摺動面の塗料付着状態をデジタルカメラで異なる複数の方向から撮影する工程と、上記撮影工程で取得した複数の撮影画像を同一縮尺の複数の平面画像に展開する工程と、上記展開工程で取得した複数の展開画像を用い、ハレーション部分を補完しつつ、色パラメータが所定範囲内の画素数の総画素数に対する割合を算出する工程とを備えることを特徴とする。
【選択図】図1

Description

本発明は、当たり面積率の測定方法に関する。
機械部品の検査として、例えばクランク軸の軸受に対する摺動面等の金属摺動面の対向面に対する当たり検査が広く行われている。この当たり検査とは、摺動面の規範となる対向基準面を有する測定具に一定量の検査用塗料を塗布し、この対向基準面を検査対象の摺動面に擦り合わせて検査用塗料が転写された領域を対向基準面に当接する当たりと判断する試験である。
一般に、当たり検査では、検査用塗料が転写された領域の面積が一定の割合以上であるものを良品と判定するが、この判断は、摺動面の色合いを観察することにより、感覚的に行われることが多い。具体的には、仕上げ精度が良品と不良品との境界である摺動面のサンプルの当たり試験において検査用塗料が転写された摺動面の写真を撮影し、この写真と当たり試験における検査対象の摺動面とを目視により比較することで、写真よりも転写面積が大きいと思われるものを良品とし、写真よりも転写面積が小さいと思われるものを不良品とする。しかし、このような人間の感覚に頼る判定方法では、判定基準があいまいであり、製品の厳密な管理を行うことはできない。
そこで、検査用塗料が転写された摺動面を撮影して得られる画像データから当たり面積を算出し、定量的に評価する方法も提案されている(例えば特開2004−220244号公報参照)。つまり、画像データ中で色パラメータが所定の条件を満たす画素を当たりと判定し、当たりの画素数をカウントすることにより当たり面積を算出して数値により製品の良否を判定することができる。また、この公報には、複数回撮影した画像を平均化した画像データ用いることや、画像データからノイズを除去することも記載されている。
しかしながら、上記公報に記載の当たり面積の算出方法では、撮影した画像中にハレーションがあると、当たり面積を正確に算出できないという不都合がある。つまり、鏡面仕上げされる摺動面を撮影する場合、例えば窓、照明等が摺動面に映り込むことによって、画像の一部が白色となるハレーションが発生し、検査用塗料の有無を判断できないことがある。大量生産する部品や持ち運びが容易な小型の部品を検査する場合には、撮影環境を整えることによってハレーションを防止することが可能である。しかしながら、特に小ロットの大型部品の摺動面を検査する場合には、ハレーションの防止が容易ではないことが多い。
特開2004−220244号公報
上記不都合に鑑みて、本発明は、当たり面積率を定量的かつ比較的正確に算出できる当たり面積率の測定方法を提供することを課題とする。
上記課題を解決するためになされた発明は、ワークの摺動面の当たり面積率を測定する方法であって、上記摺動面の規範となる対向基準面を有する測定具を用い、塗料を塗布した上記対向基準面を上記摺動面に擦り合わせる工程と、上記擦り合わせ工程後の摺動面の塗料付着状態をデジタルカメラで異なる複数の方向から撮影する工程と、上記撮影工程で取得した複数の撮影画像を同一縮尺の複数の平面画像に展開する工程と、上記展開工程で取得した複数の展開画像を用い、ハレーション部分を補完しつつ、色パラメータが所定範囲内の画素数の総画素数に対する割合を算出する工程とを備えることを特徴とする当たり面積率の測定方法である。
当該当たり面積率の測定方法は、デジタルカメラで撮影した撮影画像を平面展開しつつ当たり面積率を定量的に算出するので、摺動面の良否を定量的に評価することができる。また、当該当たり面積率の測定方法では、複数の画像を撮影してハレーションを補完するので撮影環境を選ばず、比較的正確に当たり面積率を算出することができる。
上記擦り合わせ工程後撮影工程前に、両側枠部が一定間隔で色が変化する方形の枠体を測定領域を画定するよう上記摺動面に貼設する工程をさらに備え、上記展開工程で、上記枠体の両側枠部の画像データに基づいて平面展開処理を行うとよい。このように、貼着した枠体の画像データに基づいて平面展開処理を行うことによって、摺動面の測定範囲を精度よく平面展開することができる。
上記枠体の両側枠部を接続する両端枠部の少なくとも一方が白色とされ、上記算出工程前に、上記白色の枠部の色に基づいて上記複数の画像又は上記複数の展開画像のホワイトバランスを調整する工程をさらに備えるとよい。このように、枠体の一部を白色としてホワイトバランスを調整することによって、展開画像中の各画素への塗料の付着の有無をより正確に判定することができる。
上記展開工程で、上記枠体の大きさ及び両側枠部の色が変化する内側境界点数を含む枠体データに基づき、平面展開処理の基準となる両側枠部の画像データから上記枠体の反射画像を除くとよい。このように、枠体データに基づいて両側枠部の画像データから反射画像を除くことによって、撮影した画像中の摺動面の測定範囲をより正確に平面展開することができる。
上記算出工程の色パラメータが明度であるとよい。このように、塗料の付着の判定に明度を用いることによって、当たり面積率を比較的容易かつ正確に算出できる。
上記算出工程における算出の基礎画像として、上記複数の展開画像をそれらのハレーション部分を消去するよう合成した画像を用いるとよい。このように、ハレーション部分を消去するよう複数の展開画像を合成することにより、ハレーション部分の補完がより確実となり、面積率の誤差をより小さくすることができる。
上記算出工程で、上記複数の展開画像を同じ複数の領域毎に分割し、上記複数の展開画像の分割領域毎に色パラメータが所定範囲内の画素数を算出し、分割領域毎に上記色パラメータが所定範囲内の画素数の最大値を選択し、展開画像の総画素数に対する選択した分割領域毎の画素数の合計の比率を算出するとよい。ハレーション部分では、塗料の付着している部分の画素の色パラメータも塗料の色に対応する範囲の外となる。このため、複数の展開画像をそれぞれ複数に分割し、分割した画像毎に塗料に対応する色パラメータを有する画素の数を算出し、同じ部分の分割画像の中で最も塗料に対応する色パラメータの画素数が多い分割画像を選択することで、ハレーションが最も少ない分割画像を選択することができる。このハレーションが少ない分割画像の塗料に対応する色パラメータの画素数を積算することで、摺動面の測定領域の塗料が付着している当たり部分の面積をより正確に算出でき、これを展開画像の総画素数で除することにより、当たり面積率を精度よく導出できる。
上記算出工程における算出の基礎画像として、上記複数の展開画像から特定の展開画像を選択し、その特定展開画像からハレーション部分を消去し、その消去したハレーション部分に他の展開画像の相当部分を補填した画像を用いるとよい。このように、いずれかの展開画像のハレーション部分を他の展開画像のデータで補填することによっても、ハレーションの少ない画像を得ることができ、当たり面積率を精度よく導出できる。
ここで、「色パラメータ」とは、色を数値化して特定するパラメータを意味し、例えば[H(色相:Hue),S(彩度:Satuation),V(明度:Value,Blightness)]、[R(赤),G(緑),B(青)〕、[Y(イエロー),C(シアン),M(マゼンタ),K(キー・プレート)]等のいずれかの組若しくはいずれかの組の1以上の要素又はこれらの関数として得られる数値情報を意味する。
本発明の当たり面積率の測定方法は、当たり面積率を定量的かつ比較的正確に算出することができる。
本発明の一実施形態の当たり面積率の測定方法の手順を示すフローチャートである。 図1の当たり面積率の測定方法により摺動面の当たり面積率が測定されるワークの一例たるクランク軸の模式的平面図である。 図1の当たり面積率の測定方法で用いる測定具の対向基準面側を示す模式的斜視図である。 図3Aの測定具の反対面側を示す模式的斜視図である。 図1の当たり面積率の測定方法で用いる枠体の模式的平面図である。 図1の当たり面積率の測定方法の撮影工程において撮影される撮影画像を例示する図である。 図1の当たり面積率の測定方法の展開工程の詳細な手順を示すフローチャートである。 図5の撮影画像を用いて図6の座標特定工程で内側境界点を特定した状態を示す図である。 図7の状態から図6の判別工程で反射画像の内側境界点を除いた状態を例示する図である。 図1の当たり面積率の測定方法の展開工程において得られる展開画像を示す図である。 図9Aとは異なる位置で撮影した撮影画像の展開画像を例示する図である。 図9A及び図9Bとは異なる位置で撮影した撮影画像の展開画像を例示する図である。 図1の当たり面積率の測定方法の算出工程の詳細な手順を示すフローチャートである。 図10の合成画像形成工程で作成される合成画像を例示する図である。 図1の当たり面積率の測定方法に適用できる図10とは異なる算出工程の詳細な手順を示すフローチャートである。 本発明の一つの試験例におけるコンピュータプログラムの実行画面である。 図13とは異なる試験例におけるコンピュータプログラムの実行画面である。
以下、適宜図面を参照しつつ、本発明の実施の形態を詳説する。
[第一実施形態]
図1に本発明の一実施形態に係る当たり面積率の測定方法の手順を示す。当該当たり面積率の測定方法は、ワークの摺動面の当たり面積率を測定する方法である。
図1の当たり面積率の測定方法は、ワークの摺動面の規範となる対向基準面を有する測定具を用意し、この測定具の対向基準面に検査用の塗料を塗布する工程(ステップS1:塗布工程)と、このステップS1で塗料を塗布した測定具の対向基準面をワークの摺動面に擦り合わせる工程(ステップS2:擦り合わせ工程)と、このステップS2で対向基準面が擦り合された摺動面に所定の測定領域を画定するよう方形の枠体を貼設する工程(ステップS3:貼設工程)と、このステップS3で枠体を貼設した摺動面の測定領域の塗料付着状態をデジタルカメラで異なる複数の方向から撮影する工程(ステップS4:撮影工程)と、このステップS4の撮影工程で得た複数の撮影画像のホワイトバランスを調整する工程(ステップS5:ホワイトバランス調整工程)と、ステップS4の撮影工程で取得し、ステップS5のホワイトバランス調整工程でホワイトバランスを調整した複数の撮影画像を同一縮尺の複数の平面画像に展開する工程(ステップS6:展開工程)と、このステップS6の展開工程で平面展開した複数の展開画像を用い、ハレーション部分を補完しつつ、色パラメータが所定範囲内の画素数の総画素数に対する割合を算出する工程(ステップS7:算出工程)とを備える。
当該当たり面積率の測定方法において摺動面の当たり面積率を測定する摺動面としては、特に限定されないが、例えばクランク軸の主軸やピンの摺動面、メタル軸受の摺動面等、主に金属同士で接触する摺動面が想定される。以下の実施形態では、図2に示すように、主軸11、アーム12及びピン13を有するクランク軸をワーク10とし、そのピン13の外周の摺動面14の当たり面積率を測定する場合を例にとって説明する。勿論、当該当たり面積率の測定方法は、クランク軸10の主軸11の外周面の当たり面積率測定等にも適用できる。
当該当たり面積率の測定方法を適用する摺動面14の測定領域の面積の下限としては、0.01mが好ましく、0.1mがより好ましい。摺動面14の測定領域の面積の上限としては、10mが好ましく、1mがより好ましい。摺動面14の測定領域の面積が上記下限に満たない場合、当該当たり面積率の測定方法を適用しなくても、ハレーションが生じないように照明や自然光を遮断することが比較的容易であり、当該当たり面積率の測定方法に有利性が得られないおそれがある。一方、摺動面14の測定領域の面積が上記上限を超える場合、後述するステップS2の擦り合わせ工程を行うことが困難となるおそれがある。
<塗布工程>
ステップS1の塗布工程では、先ず、例えば図3A及び図3Bに示すような規範となる対向基準面21を有する測定具20を用意し、この測定具20の対向基準面21に一定量の検査用塗料Pを均一に塗り広げて薄く塗布する。測定具20は、後述するステップS2の擦り合わせ工程において、オペレータが把持するハンドル22を有してもよい。
この塗布工程において測定具20の対向基準面21に塗布する塗料Pとしては、例えば光明丹(四酸化三鉛)等の顔料を含む市販の当たり検査用塗料を用いることができ、塗料Pに含まれる顔料としては、光明丹のような赤色のものだけでなく、青色のもの等も用いることができる。つまり、塗料Pの色相(Hue)は、特に限定されない。
また、塗料Pの彩度(Saturation)の下限としては、20/255が好ましく、50/255がより好ましい。一方、塗料の彩度の上限としては、特に限定されない。塗料の彩度が上記下限に満たない場合、摺動面の彩度との差が小さく、塗料の付着の有無を判別し難くなるおそれがある。
また、塗料Pの明度(Value,Blightness)の下限としては、30/255が好ましく、50/255がより好ましい。一方、塗料の明度の上限としては、特に限定されない。塗料の明度が上記下限に満たない場合、摺動面の明度との差が小さく、塗料の付着の有無を判別し難くなるおそれがある。
<擦り合わせ工程>
ステップS2の擦り合わせ工程では、ステップS1の塗布工程で塗料Pが塗布された測定具20の対向基準面21を、例えばハンドル22を把持してワーク10の摺動面14に擦り合わせる。これにより、摺動面14の対向基準面21に当接する部分に塗料Pが転写される。摺動面14が対向基準面21の厳密な倣い形状に近くなると、塗料Pが転写される摺動面14の面積が大きくなる。従って、塗料Pが転写された面積が大きい程、摺動面14の仕上げ精度が高いということができる。
<貼設工程>
ステップS3の貼設工程では、ワーク10の摺動面14の測定領域の周囲に、図4に示すような方形の枠体30を貼設する。枠体30の貼設方法としては、例えば枠体30をマグネットシート(ゴム磁石)で形成することにより、磁力によりワーク10に吸着させる方法が適用可能である。
測定領域の範囲としては、一度に撮影可能な範囲であればよいが、摺動面14が円筒面である場合、測定領域の摺動面14の中心軸を基準とする角度範囲の下限としては、30°が好ましく、50°がより好ましい。一方、測定領域の摺動面14の中心軸を基準とする角度範囲の上限として90°が好ましく、70°がより好ましい。測定領域の摺動面14の中心軸を基準とする角度範囲が上記下限に満たない場合、摺動面14の全体を評価するために、当該当たり面積率の測定方法を測定領域をずらしつつ多くの回数繰り返す必要が生じるおそれがある。逆に、測定領域の摺動面14の中心軸を基準とする角度範囲が上記上限を超える場合、撮影領域Aの端部で摺動面14のデジタルカメラに対する傾斜角度が大きくなり、摺動面の単位面積あたりの撮影画像の画素数が小さくなり、当たり面積率の測定精度が不十分となるおそれがある。
(枠体)
上記枠体30は、一対の両側枠部31,32と、これら一対の両側枠部31,32の端部間を接続する一対の両端枠部33,34とを有する。上記枠体30は、これら両側枠部31,32及び両端枠部33,34の内周縁により摺動面14の測定領域を画定する。なお、両側枠部31,32は、方形の枠体30の長辺部であることが好ましいが、枠体30の短辺部であってもよい。
上記両側枠部31,32は、一定間隔で色が変化するよう交互に配置される複数の第1着色部35及び複数の第2着色部36を形成するよう着色される。第1着色部35及び第2着色部36の色相としては、第1着色部35及び第2着色部36の他方並びに塗料Pと好ましくは90°以上、より好ましくは110°以上、理想的には120°異なる色相とされる。具体例として、塗料Pとして赤色の光明丹を用いる場合、第1着色部35及び第2着色部36の色としては、それぞれ緑色及び青色とされることが好ましい。塗料P、第1着色部35及び第2着色部36の色相の差が上記下限に満たない場合、後述するステップS6の展開工程において、塗料P、第1着色部35及び第2着色部36の色を判別することが容易でなくなるおそれがある。
第1着色部35及び第2着色部36の彩度の下限としては、30/255が好ましく、50/255がより好ましい。第1着色部35及び第2着色部36の彩度が上記下限に満たない場合にも、ステップS6の展開工程において、塗料P、第1着色部35及び第2着色部36の色を判別することが容易でなくなるおそれがある。
第1着色部35及び第2着色部36の明度の下限としては、20/255が好ましく、50/255がより好ましい。第1着色部35及び第2着色部36の明度が上記下限に満たない場合も、ステップS6の展開工程において、塗料P、第1着色部35及び第2着色部36の色を判別することが容易でなくなるおそれがある。
両側枠部31,32の色が変化する平均間隔(第1着色部35及び第2着色部36の平均長さ)の下限としては、測定領域の長手方向の長さの1/30が好ましく1/20がより好ましい。一方、両側枠部31,32の色が変化する平均間隔の上限としては、測定領域の長手方向の長さの1/5が好ましく、1/10がより好ましい。両側枠部31,32の色が変化する平均間隔が上記下限に満たない場合、撮影画像中の基準点が多くなることにより、後述の算出工程における演算負荷が必要以上に大きくなるおそれがある。逆に、両側枠部31,32の色が変化する平均間隔が上記上限を超える場合、後述するステップS6の展開工程において撮影画像を正確に平面展開することができず、当たり面積率の測定精度が不十分となるおそれがある。
両側枠部31,32の色が変化する平均間隔の具体的距離の下限としては、摺動面14の大きさにもよるが、1cmが好ましく、2cmがより好ましい。一方、両側枠部31,32の色が変化する平均間隔の具体的距離の上限としては、20cmが好ましく、10cmがより好ましい。
両側枠部31,32の平均幅の下限としては、0.5cmが好ましく、1cmがより好ましい。一方、両側枠部31,32の平均幅の上限としては、5cmが好ましく、2cmがより好ましい。両側枠部31,32の平均幅が上記下限に満たない場合、後述するステップS6の展開工程において第1着色部35及び第2着色部36の境界を認識することが容易でなくなるおそれや、枠体30の強度が不十分となるおそれがある。逆に、両側枠部31,32の平均幅が上記上限を超える場合、摺動面14の両側に両側枠部31,32を貼設するスペースを確保できず、摺動面14の両端部に測定領域を設定できないおそれがある。
また、両端枠部33,34の少なくとも一方は、白色とされる。このように、両端枠部33,34のいずれかを白色とすることにより、後述のステップS5のホワイトバランス調整工程において、各撮影画像のホワイトバランスを適切に調整することができ、当たり面積率の測定精度を向上することができる。
この両端枠部33,34の平均幅の下限としては、1cmが好ましく、1.5cmがより好ましい。一方、両端枠部33,34の平均幅の上限としては、ワーク10の形状によるため制限されない。両端枠部33,34の平均幅が上記下限に満たない場合、ステップS5のホワイトバランス調整工程におけるホワイトバランスの調整が不十分となるおそれがある。逆に、両端枠部33,34の平均幅が上記上限を超える場合、枠体30が不必要に大きくなるおそれがある。
<撮影工程>
ステップS4の撮影工程では、測定領域の外周に枠体30を貼設した摺動面14を異なる複数の方向からデジタルカメラで撮影する。図5に、この撮影工程で得られる撮影画像の例を示す。撮影画像中には、帯状に蛍光灯が映り込んだ複数のハレーションが存在するが、同じ摺動面14を異なる方向から撮影することにより、ハレーションが存在する位置が異なる複数の撮影画像を取得することができる。例えばハレーションの位置を撮影画像中で上下方向に異ならせたい場合には、撮影位置を撮影画像における上下の方向に移動するよう撮影方向を変更すればよい。
上記摺動面14の撮影枚数の下限としては、2枚であり、3枚が好ましい。一方、摺動面14の撮影枚数の上限としては、7枚が好ましく、5枚がより好ましい。摺動面14の撮影枚数が上記下限に満たない場合、ハレーション部分の補完が不可能又は不十分となるおそれがある。逆に、摺動面14の撮影枚数が上記上限を超える場合、後述するステップS7の算出工程における演算負荷が不必要に大きくなり、当たり面積率の測定に時間がかるおそれや、使用するコンピュータ等の機器が高価となるおそれがある。
撮影する画像の総画素数の下限としては、60万画素が好ましく、100万画素がより好ましい。一方、撮影する画像の総画素数の上限としては、1000万画素が好ましく、500万画素がより好ましい。撮影する画像の総画素数が上記下限に満たない場合、解像度不足により当たり面積率の測定精度が不十分となるおそれがある。逆に、撮影する画像の総画素数が上記上限を超える場合、算出工程における演算負荷が大きくなり、当たり面積率の測定に時間がかるおそれがある。
<ホワイトバランス調整工程>
ステップS5のホワイトバランス調整工程では、撮影画像中の両端枠部33,34のうちの白色のものの画像データに基づいてホワイトバランスを調整する。具体的には、白色の両端枠部を認識し、この両端枠部の色が予め設定される所定の色温度となるよう、撮影画像全体の色を補正する。色温度の補正方法としては公知の方法が適用できる。このため、ホワイトバランス調整工程の具体的な処理については詳細な説明を省略する。
<展開工程>
ステップS6の展開工程では、ステップS4で撮影され、ステップS5のホワイトバランス調整工程で調整された複数の撮影画像を、両側枠部31,32の第1着色部35及び第2着色部36の画像データに基づいて、両側枠部31,32の間に位置する摺動面14の測定領域の画像を所定の方形状に引き伸ばして、同一縮尺かつ同一範囲の複数の平面画像にそれぞれ展開する。
より詳しくは、ステップS6の展開工程は、図6に図示するように、各撮影画像における第1着色部35及び第2着色部36の色を認識する工程(ステップS11:認識工程)と、この認識工程での認識結果に基づいて両側枠部31,32の色が変化する内側境界点、つまり第1着色部35と第2着色部36との境界線の内側端部の座標を特定する工程(ステップS12:座標特定工程)と、予め記憶された枠体30の大きさ及び両側枠部31,32の色が変化する内側境界点数を含む枠体データに基づき、上記座標特定工程で特定された内側境界点の中から、直接撮影された枠体30の実体画像による内側境界点を判別する工程(ステップS13:判別工程)と、この画像判別工程で判別された直接撮影された枠体30の実体画像データに基づき、両側枠部31,32の反射画像を除く摺動面14の測定領域の画像を選択的に平面展開処理する工程(ステップS14:平面展開処理工程)とを有する。
(認識工程)
ステップS11の認識工程では、撮影画像の画像データから、色パラメータが両側枠部31,32の色に対応する範囲内である画素、つまり第1着色部35に対応する画素及び第2着色部36に対応する画素をそれぞれ識別する。
両側枠部31,32の第1着色部35の色に対応する色パラメータの範囲としては、例えば両側枠部31,32の第1着色部35が緑色に着色されている場合、色相73°以上183°以下、彩度18/255以上、かつ明度29/255以上とすることができる。また、両側枠部31,32の第2着色部36の色に対応する色パラメータの範囲としては、例えば第2着色部36が青色に着色されている場合、色相138°以上240°以下、彩度48/255以上、かつ明度62/255以上とすることができる。
(座標特定工程)
ステップS12の座標特定工程では、ステップS11の認識工程で認識した第1着色部35及び第2着色部36の画素の座標データを基に、両側枠部31,32の色が変化する内側境界点を抽出する。具体的には、第1着色部35及び第2着色部36の一方に対応する画素の中で、両側枠部31,32の長さ方向一方側及び両側枠部31,32の幅方向一方側に同じ色の画素が隣接し、両側枠部31,32の長さ方向他方側に第1着色部35及び第2着色部36の他方に対応する画素が隣接し、両側枠部31,32の幅方向他方側に第1着色部35及び第2着色部36のいずれに対応する画素も隣接していない座標を抽出する。
このとき、ノイズを除去する処理や、所定画素だけ離れた画素も隣接していると認識することにより、内側境界点のご検出を抑制することができる。しかしながら、図2のクランク軸10では、摺動面14の両外側に摺動面に垂直な側面を有するアーム12が存在している。このような場合、撮影画像には、図7に示すように、両側枠部31,32を直接撮影した画像の両外側に、アーム12の側面に両側枠部31,32が映り込んだ反射画像が含まれる可能性がある。すると、上記の内側境界点の特定方法では、図7に十字で示すように、本来の内側境界点の列の外側にも、反射画像による内側境界点の列が抽出されてしまう。
(判別工程)
そこで、ステップS13の判別工程では、予め記憶した枠体30の大きさ及び両側枠部31,32の色が変化する内側境界点数を含む枠体データに基づいて、両側枠部31,32を直接撮影した画像による内側境界点を判別し、図8に示すように、反射画像による疑似の内側境界点を除外し、摺動面14の測定領域の外縁を真に示す内側境界点のみを抽出する。
(平面展開処理工程)
ステップS14の平面展開処理工程では、上記内側境界点の内側の画像データを、所定の縮尺の平面画像に展開した展開画像データを生成する。具体的には、枠体30毎に予め定められる縦横の画素数を有する長方形の画像であって上記内側境界点が両側縁に所定ピッチで等間隔に配置される展開画像を形成するよう、撮影画像を引き延ばす。画像の引き伸ばし方法としては、公知の処理方法を適用することができる。
この展開工程において、ステップS4の撮影工程で撮影した撮影画像にそれぞれ対応する複数の展開画像が得られる。ここで得られる複数の展開画像は、例えば図9A〜9Cに示すように、それぞれ異なる位置にハレーションが含まれた画像となる。
<算出工程>
ステップS7の算出工程では、上記複数の展開画像を用い、ハレーション部分を補完しつつ、色パラメータが所定範囲内の画素数の展開画像1枚当たりの総画素数に対する割合を算出する。
この算出工程は、詳しく説明すると、図10に示すように、各展開画像を同じ複数の分割領域に分割してそれぞれ複数の分割領域を設定する工程(ステップS21:分割領域設定工程)と、分割領域毎に色パラメータが所定範囲内の画素数を算出する工程(ステップS22:画素数算出工程)と、分割領域毎に上記色パラメータが所定範囲内の画素数の最大値を選択する工程(ステップS23:最大値選択工程)と、最大値を選択した分割領域の画像データを繋ぎ合せて1つの合成画像を形成する工程(ステップS24:合成画像形成工程)と、ステップS23の最大値選択工程で選択した分割領域毎の最大値の合計を算出する工程(ステップS25:合計算出工程)と、この合計算出工程で算出した合計値の展開画像の総画素数に対する比率を算出する工程(ステップS26:比率算出工程)とを有する。
(分割領域設定工程)
ステップS21の分割領域設定工程では、上記ステップS6の展開工程で取得した複数の展開画像を等しく分割する。ここで、等しく分割するとは、展開画像間で分割位置が異ならないことを意味し、同一の展開画像から分割される複数の分割領域の形状や大きさが等しいことは必ずしも要求されない。しかしながら、演算負荷の低減及びハレーションの除去の確実性の観点から、同一の展開画像から分割される複数の分割領域が全て等しい形状及び大きさとなるようにすることが好ましい。
分割領域の形状としては、展開画像を互いに平行な複数の境界線で分割した帯状とすることが好ましい。また、その複数の境界線が各ハレーションの延在する方向に平行であることが好ましい。例えば、図9A〜図9Cの展開画像の場合には、水平な境界線に沿って水平方向に延在する複数の帯状に分割することが好ましい。
各展開画像の分割数の下限としては、5が好ましく、10がより好ましい。一方、各展開画像の分割数の上限としては、50が好ましく、30がより好ましい。各展開画像の分割数が上記下限に満たない場合、対応する位置の複数の分割領域の画像中にハレーションを含まないものが存在しないおそれがある。逆に、各展開画像の分割数が上記上限を超える場合、演算負荷が不必要に増大するおそれがある。また、各展開画像を分割する境界線は、枠体30の対向する第1着色部35及び第2着色部36の境界間を接続する直線であってもよい。これにより、この分割領域設定工程と、ステップS6の展開工程とを一体的に効率よく行うことができる。
(画素数算出工程)
ステップS22の画素数算出工程では、各分割領域内の画素の中で、色パラメータが塗料Pの色に対応する所定範囲内であるものの画素数をそれぞれカウントする。
塗料Pに対応する色パラメータの範囲としては、塗料に応じて適宜設定されるが、例えば赤色の塗料Pを用いる場合、色相0°以上45°以下又は335°以上360°以下、換言すると0°を中心に±45°以内、彩度27/255以上、かつ明度30/255以上とすることができる。
(最大値選択工程)
ステップS23の最大値選択工程では、ステップS22の画素数算出工程で算出した画素数が最大となる展開画像を各分割領域毎に選択する。各分割領域の画像においてハレーションの存在する部分では、塗料Pの色が光によって消されているため、色パラメータが塗料Pに対応する範囲内である画素の数が少なくなる。よって、色パラメータが塗料Pに対応する範囲内である画素が最大である分割領域を選択することにより、各分割領域について、複数の展開画像の中で最もハレーションが少ないものを選択することができる。
(合成画像形成工程)
ステップS24の合成画像形成工程では、ステップS23の最大値選択工程で選択された最もハレーションが少ない分割領域の画像を足し合わせることにより、ハレーションの少ない合成画像を形成する。換言すると、この合成画像形成工程では、一の展開画像の中でハレーションが多い分割領域を消去して他の展開画像の対応する分割領域の中でハレーションが少ない分割領域の画像データで補填する。これにより、図11に例示する図9A〜図9Cの展開画像から形成した合成画像のように、ハレーションの低減された画像を得ることができる。
(合計算出工程)
ステップS25の合計算出工程では、ステップS23で選択した分割領域毎の最大値の合計つまりは、ステップS24の合成画像形成工程で形成される合成画像の中で色パラメータが塗料Pに対応する所定範囲内である画素数の合計を算出する。これにより、合成画像の中で摺動面14の測定領域内で塗料Pが付着している領域の面積を画素数として算出する。
この合計算出工程では、ステップS22の画素数算出工程で算出した値を用い、演算負荷を低減することができるが、ステップS24の合成画像形成工程で形成した合成画像の画像データを基礎画像として、ステップS22とは異なる範囲の色パラメータを有する画素の総数をカウントしてもよい。合成画像の各画素の色は摺動面14の金属の地色と塗料Pの色とを塗料の付着量に応じた比で混合した色と考えることができ、鏡面に仕上げられた金属の地色は通常明度が高いので、この合計算出工程では改めて塗料Pの付着により明度が所定の範囲内である画素の数をカウントしてもよい。
このようにステップS22の画素数算出工程における色パラメータの範囲と、ステップS25の合計算出工程における色パラメータの範囲とを異ならせることで、ハレーションの判別精度の向上と、塗料Pの付着面積の測定精度の向上とを両立することができる。
(比率算出工程)
ステップS26の比率算出工程では、ステップS25の合計算出工程で算出した塗料Pが付着していると考えられる領域の合計画素数を一の展開画像の総画素数(合成画像の総画素数と同じ)で除算することで、摺動面14の測定領域内で塗料が付着している領域の面積率を算出する。
<利点>
当該当たり面積率の測定方法は、デジタルカメラで撮影した画像から当たり面積率を定量的に算出するので、摺動面の良否を定量的に評価することができる。また、当該当たり面積率の測定方法では、ステップS7の算出工程において、図10のフローチャートに示されるよう、複数の撮影画像を用いてハレーションを補完するので撮影環境を選ばず、比較的正確に当たり面積率を算出することができる。
[第二実施形態]
続いて、図10とは異なり、図1の当たり面積率の測定方法においてステップS7の算出工程として適用可能な算出工程の詳細な手順を図12に示す。
図12の算出工程は、各展開画像において、つまりハレーションが存在すると判断される画素の透明度を100%に設定して透明化する工程(ステップS31:透明化工程)と、この透明化工程で部分的に画素を透明化した複数の展開画像の重ね合わせにより合成画像を形成する工程(ステップS32:合成画像形成工程)と、この合成画像形成工程で形成した合成画像の色パラメータが塗料Pに対応する所定範囲内である画素数の合計を算出する工程(ステップS33:合計算出工程)と、この合計算出工程で算出した合計値の展開画像の総画素数に対する比率を算出する工程(ステップS34:比率算出工程)とを有する。
(透明化工程)
ステップS31の透明化工程では、ハレーションが存在すると判断される画素を透明化する。このため、図12の算出工程を用いる場合には、各画素の色の情報には、色パラメータとして、色相、彩度及び明度に加えて透明度を示す値(アルファチャンネル)が含まれる。この透明化工程で透明化される画素としては、例えば明度が所定の値以上である画素とされる。この明度の閾値としては、例えば50/255とすることができる。
(合成画像形成工程)
ステップS32の画像合成工程では、ステップS31の透明化工程でハレーションが存在すると判断される画素を透明化した展開画像を重ね合わせて合成画像を得る。この時、最も上側の展開画像として、複数の展開画像から特定の展開画像(以下、特定展開画像と呼ぶことがある)を選択する。特定展開画像としては、ハレーションの最も少ない画像や、塗料の色に対応する色パラメータの画素数が最も多い画像を選択することが好ましいが、ランダム又は撮影順、コンピュータへの入力順等の画像データの内容とは無関係の基準で選択してもよい。ハレーション部分を透明化した展開画像を重ね合わせることにより、特定展開画像の透明化された部分に上から2番目の展開画像の相当部分を補填した画像が得られる。ここで、特定展開画像と上から2番目の展開画像との透明化した部分が重複する場合、さらに下側に重ね合される3番目以降の展開画像によってこの部分が補填される。以下の工程では、このようにして得られた合成画像を基礎画像として用いる。
(合計算出工程)
ステップS33の合計算出工程では、ステップS32の画像合成工程で得られた合成画像中の塗料Pの色に対応する範囲の色パラメータを有する画素の合計数を算出する。
(比率算出工程)
ステップS34の比率算出工程では、ステップS33の合計算出工程で算出した塗料Pの色に対応する画素の合計数を展開画像の総画素数で除算することで、摺動面14の測定領域内で塗料が付着している領域の面積率を算出する。
当該当たり面積率の測定方法は、図12のフローチャートに示される算出工程によって、複数の撮影画像を用いてハレーションを補完するので、撮影環境を選ばず、比較的正確に当たり面積率を算出することができる。
[その他の実施形態]
上記実施形態は、本発明の構成を限定するものではない。従って、上記実施形態は、本明細書の記載及び技術常識に基づいて上記実施形態各部の構成要素の省略、置換又は追加が可能であり、それらは全て本発明の範囲に属するものと解釈されるべきである。
当該当たり面積率の測定方法において、枠体の貼設を省略し、摺動面の輪郭等に基づいて平面展開を行ってよい。
当該当たり面積率の測定方法において、ホワイトバランス調整工程は必須ではなく、また、ホワイトバランス調整工程は平面展開工程の後に行ってもよい。また、ホワイトバランス調整に利用する白色部分は、枠体以外の形態で測定領域の近傍に配置されてもよい。
図1の当該当たり面積率の測定方法において、合成画像形成工程は、当たり面積率の算出には直接関与しておらず、省略することができる。但し、合成画像を形成し、目視により摺動面の色を確認することにより、従来と同様に視覚による確認が可能となり、当たり面積率の数値以外の当たり領域の偏り等を確認することもできる。また、合成画像形成工程は、合計算出工程の後又は比率算出工程の後に行ってもよい。
また、一定間隔で色が変化する両側枠部としては、2色に塗り分けたもの以外にも、一定間隔で一定形状のマーキング等を有するものであってもよい。
また、当該当たり面積率の測定方法により当たり面積率を測定する摺動面は、円筒面に限らず、平面であってもよく、任意の曲面であってもよい。
以下、実施例に基づき本発明を詳述するが、この実施例の記載に基づいて本発明が限定的に解釈されるものではない。
本発明の効果を確認するために、上述の第一実施形態の当たり面積率の測定方法を行うコンピュータプログラムを作成して、以下の試験を行った。
[試験1]
試験1として、先ず、摺動面の測定領域内に赤色の塗料が市松模様(チェック模様)に付着(塗料付着面積率50.000%)し、その両側に青色と緑色とが交互に配置される両側枠部が貼設された状態を模した図をシートに印刷し、この図を印刷したシートを円筒面に貼着して疑似摺動面とした。続いて、この疑似摺動面をデジタルカメラで撮影した撮影画像を上記コンピュータプログラムによって処理することにより、図中の赤色の塗料を模した部分の面積率を測定した(図13参照)。
この結果、上記コンピュータプログラムにより算出された当たり面積率は、50.645%であった。よって、その誤差は、わずか0.645%であり、当該当たり面積率の測定方法における展開処理工程による誤差が非常に小さいことが確認された。
[試験2]
試験2として、赤色の塗料が市松模様に付着した部分と、その上下に左右方向に延在するストライプ状に塗料が付着した部分とを有する(塗料付着面積率63.333%)摺動面の測定領域の左右方向両側に青色と緑色とが交互に配置される両側枠部が貼設された状態を模した図をシートに印刷し、この図を印刷したシートを平板上に配置したものを疑似摺動面とした。続いて、この疑似摺動面をデジタルカメラで撮影した撮影画像を上記コンピュータプログラムによって処理することにより、図中の赤色の塗料を模した部分の面積率を測定した(図14参照)。
この結果、上記コンピュータプログラムにより算出された当たり面積率は、64.052%であった。よって、その誤差は、わずか0.719%であり、当該当たり面積率の測定方法における展開処理工程による誤差が非常に小さいことが重ねて確認された。
当該当たり面積率の測定方法は、大型で移動が容易ではなく、製造現場での測定が求められ、かつ比較的小ロットで専用製造ラインを組むことができない機械部品の摺動面の加工品質の検査に好適に利用される。
10 ワーク(クランク軸)
11 主軸
12 アーム
13 ピン
14 摺動面
20 測定具
21 対向基準面
22 ハンドル
30 枠体
31,32 両側枠部
33,34 両端枠部
35 第1着色部
36 第2着色部
P 塗料
S1 塗布工程
S2 擦り合わせ工程
S3 貼設工程
S4 撮影工程
S5 ホワイトバランス調整工程
S6 展開工程
S7 算出工程
S11 認識工程
S12 座標特定工程
S13 判別工程
S14 平面展開処理工程
S21 分割領域設定工程
S22 画素数算出工程
S23 最大値選択工程
S24 合成画像形成工程
S25 合計算出工程
S26 比率算出工程
S31 透明化工程
S32 合成画像形成工程
S33 合計算出工程
S34 比率算出工程

Claims (8)

  1. ワークの摺動面の当たり面積率を測定する方法であって、
    上記摺動面の規範となる対向基準面を有する測定具を用い、塗料を塗布した上記対向基準面を上記摺動面に擦り合わせる工程と、
    上記擦り合わせ工程後の摺動面の塗料付着状態をデジタルカメラで異なる複数の方向から撮影する工程と、
    上記撮影工程で取得した複数の撮影画像を同一縮尺の複数の平面画像に展開する工程と、
    上記展開工程で取得した複数の展開画像を用い、ハレーション部分を補完しつつ、色パラメータが所定範囲内の画素数の総画素数に対する割合を算出する工程と
    を備えることを特徴とする当たり面積率の測定方法。
  2. 上記擦り合わせ工程後撮影工程前に、両側枠部が一定間隔で色が変化する方形の枠体を測定領域を画定するよう上記摺動面に貼設する工程をさらに備え、
    上記展開工程で、上記枠体の両側枠部の画像データに基づいて平面展開処理を行う請求項1に記載の当たり面積率の測定方法。
  3. 上記枠体の両側枠部を接続する両端枠部の少なくとも一方が白色とされ、
    上記算出工程前に、上記白色の枠部の色に基づいて上記複数の画像又は上記複数の展開画像のホワイトバランスを調整する工程をさらに備える請求項2に記載の当たり面積率の測定方法。
  4. 上記展開工程で、上記枠体の大きさ及び両側枠部の色が変化する内側境界点数を含む枠体データに基づき、平面展開処理の基準となる両側枠部の画像データから上記枠体の反射画像を除く請求項2又は請求項3に記載の当たり面積率の測定方法。
  5. 上記算出工程の色パラメータが明度である請求項1から請求項4のいずれか1項に記載の当たり面積率の測定方法。
  6. 上記算出工程における算出の基礎画像として、上記複数の展開画像をそれらのハレーション部分を消去するよう合成した画像を用いる請求項1から請求項5のいずれか1項に記載の当たり面積率の測定方法。
  7. 上記算出工程で、上記複数の展開画像を同じ複数の領域毎に分割し、上記複数の展開画像の分割領域毎に色パラメータが所定範囲内の画素数を算出し、分割領域毎に上記色パラメータが所定範囲内の画素数の最大値を選択し、展開画像の総画素数に対する選択した分割領域毎の画素数の合計の比率を算出する請求項1から請求項5のいずれか1項に記載の当たり面積率の測定方法。
  8. 上記算出工程における算出の基礎画像として、上記複数の展開画像から特定の展開画像を選択し、その特定展開画像からハレーション部分を消去し、その消去したハレーション部分に他の展開画像の相当部分を補填した画像を用いる請求項1から請求項5のいずれか1項に記載の当たり面積率の測定方法。
JP2015007110A 2015-01-16 2015-01-16 当たり面積率の測定方法 Active JP6402036B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015007110A JP6402036B2 (ja) 2015-01-16 2015-01-16 当たり面積率の測定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015007110A JP6402036B2 (ja) 2015-01-16 2015-01-16 当たり面積率の測定方法

Publications (2)

Publication Number Publication Date
JP2016133918A true JP2016133918A (ja) 2016-07-25
JP6402036B2 JP6402036B2 (ja) 2018-10-10

Family

ID=56438147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015007110A Active JP6402036B2 (ja) 2015-01-16 2015-01-16 当たり面積率の測定方法

Country Status (1)

Country Link
JP (1) JP6402036B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110057278A (zh) * 2019-02-14 2019-07-26 镇江市高等专科学校 一种发动机曲轴轴颈表面接触面积检验方法
KR20210077308A (ko) * 2019-12-17 2021-06-25 주식회사 포스코 미세 조직의 상 분할 장치 및 방법
CN113267113A (zh) * 2021-05-18 2021-08-17 重庆齿轮箱有限责任公司 一种径向滑动轴承装配精度的检验方法
JP7472057B2 (ja) 2021-02-24 2024-04-22 株式会社神戸製鋼所 膜厚制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220244A (ja) * 2003-01-14 2004-08-05 Ryoei Engineering Kk 歯当たり抽出方法およびその装置
JP2011075506A (ja) * 2009-10-01 2011-04-14 Suzuki Motor Corp 歯当たり面検出装置
JP2012127704A (ja) * 2010-12-13 2012-07-05 Wakayama Univ 形状計測装置および形状計測方法
US20130067986A1 (en) * 2011-09-19 2013-03-21 Claire Elizabeth Girdler Shaving measurement method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004220244A (ja) * 2003-01-14 2004-08-05 Ryoei Engineering Kk 歯当たり抽出方法およびその装置
JP2011075506A (ja) * 2009-10-01 2011-04-14 Suzuki Motor Corp 歯当たり面検出装置
JP2012127704A (ja) * 2010-12-13 2012-07-05 Wakayama Univ 形状計測装置および形状計測方法
US20130067986A1 (en) * 2011-09-19 2013-03-21 Claire Elizabeth Girdler Shaving measurement method and apparatus

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110057278A (zh) * 2019-02-14 2019-07-26 镇江市高等专科学校 一种发动机曲轴轴颈表面接触面积检验方法
CN110057278B (zh) * 2019-02-14 2024-08-20 镇江市高等专科学校 一种发动机曲轴轴颈表面接触面积检验方法
KR20210077308A (ko) * 2019-12-17 2021-06-25 주식회사 포스코 미세 조직의 상 분할 장치 및 방법
KR102349156B1 (ko) * 2019-12-17 2022-01-10 주식회사 포스코 미세 조직의 상 분할 장치 및 방법
JP7472057B2 (ja) 2021-02-24 2024-04-22 株式会社神戸製鋼所 膜厚制御装置
CN113267113A (zh) * 2021-05-18 2021-08-17 重庆齿轮箱有限责任公司 一种径向滑动轴承装配精度的检验方法
CN113267113B (zh) * 2021-05-18 2022-11-29 重庆齿轮箱有限责任公司 一种径向滑动轴承装配精度的检验方法

Also Published As

Publication number Publication date
JP6402036B2 (ja) 2018-10-10

Similar Documents

Publication Publication Date Title
JP6402036B2 (ja) 当たり面積率の測定方法
US9709390B2 (en) Method and a device for the inspection of surfaces of an examined object
US10713780B2 (en) Color quality assessment based on multispectral imaging
WO2013136591A1 (ja) 画像検査方法および検査領域設定方法
US8090192B2 (en) Pattern misalignment measurement method, program, and semiconductor device manufacturing method
CN103168220A (zh) 用于识别和定义形成轮胎胎面设计的基本花纹的方法
US11769274B2 (en) Image processing apparatus, method and storage medium, for object color evaluation
WO2017177717A1 (zh) 基于颜色和梯度的元件定位方法和系统
CN103988069A (zh) 图像检查装置的检查区域设定方法
CN106404682A (zh) 一种土壤颜色识别方法
CN103234476B (zh) 物体二维轮廓识别方法
CN108593645A (zh) 一种尿液试纸的检测结果确定方法及确定装置
CN112334761A (zh) 缺陷判别方法、缺陷判别装置、缺陷判别程序及记录介质
JP5771423B2 (ja) 画像色彩補正装置及び画像色彩補正方法
Park et al. Automated defect inspection systems by pattern recognition
CN114187363A (zh) 一种获取径向畸变参数值的方法、装置以及移动终端
TW202016504A (zh) 檢測與標記瑕疵的方法
JP7314508B2 (ja) 検査装置
JP7448062B2 (ja) 評価方法及び評価システム
CN115205288B (zh) 工业缺陷检测方法和装置
US8055056B2 (en) Method of detecting defects of patterns on a semiconductor substrate and apparatus for performing the same
JPH02198306A (ja) コンクリート部材の面内変位計測方法
KR101559941B1 (ko) 인쇄패턴 불량 검사 시스템
US10048131B2 (en) Chromaticity test method and chromaticity test apparatus
JP7124569B2 (ja) 検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180910

R150 Certificate of patent or registration of utility model

Ref document number: 6402036

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150