JP2020020650A - 物品検査装置 - Google Patents

物品検査装置 Download PDF

Info

Publication number
JP2020020650A
JP2020020650A JP2018144224A JP2018144224A JP2020020650A JP 2020020650 A JP2020020650 A JP 2020020650A JP 2018144224 A JP2018144224 A JP 2018144224A JP 2018144224 A JP2018144224 A JP 2018144224A JP 2020020650 A JP2020020650 A JP 2020020650A
Authority
JP
Japan
Prior art keywords
inspection
article
illumination
container
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018144224A
Other languages
English (en)
Other versions
JP7189417B2 (ja
Inventor
賢 木戸口
Masaru Kidoguchi
賢 木戸口
圭太郎 中川
Keitaro Nakagawa
圭太郎 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shibuya Corp
Original Assignee
Shibuya Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shibuya Kogyo Co Ltd filed Critical Shibuya Kogyo Co Ltd
Priority to JP2018144224A priority Critical patent/JP7189417B2/ja
Publication of JP2020020650A publication Critical patent/JP2020020650A/ja
Application granted granted Critical
Publication of JP7189417B2 publication Critical patent/JP7189417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【解決手段】 コンベヤ3(搬送手段)で搬送される容器1(物品)を撮影した画像を二値化処理し、二値化処理された画像に基づいて容器1の検査を行う容器検査装置2(物品検査装置)に関する。対向照明4b(照明手段)と撮影手段5とを、搬送される容器1を挟んで対向した位置に配置し、これら対向照明4bと撮影手段5との間に上記容器1の検査位置Iを設定する。上記撮影手段5のシャッタースピードとして、物品検査モードと、当該物品検査モードよりもシャッタースピードの速い照明検査モードとが設定され、上記検査位置Iに容器1が位置していない時、撮影手段5は照明検査モードで対向照明4bを撮影し、撮影された画像から上記対向照明4bの検査光Lbの輝度を測定する。【効果】 物品を挟んで照明手段と撮影手段とを対向させた構成であっても、照明手段の劣化を確認することができる。【選択図】 図1

Description

本発明は物品検査装置に関し、詳しくは撮影手段によって撮影した画像を二値化処理し、当該二値化処理された画像に基づいて物品の検査を行う物品検査装置に関する。
従来、物品を搬送する搬送手段と、上記物品に検査光を照射する照明手段と、上記搬送される物品を撮影する撮影手段とを備え、撮影された画像に基づいて物品の検査を行う物品検査装置が知られている(特許文献1、2)
ここで、上記照明手段が長時間の使用により劣化すると、検査光の輝度が低下し、検査精度が低下する。特に所定のしきい値に基づいて二値化処理を行う場合は、僅かな輝度の低下によっても誤判定が生じる恐れがある。
そこで上記特許文献1、2では、上記撮影手段によって上記照明手段が照射した検査光の散乱光や反射光を受光し、これに基づいて上記照明手段の劣化を検出するようになっている。
特公平3−31220号公報 特開平8−43048号公報
上記特許文献1、2では、標準散乱板やテストピースに検査光を照射し、これら標準散乱板やテストピースで反射した散乱光や反射光を受光するようになっているが、この様な標準散乱板やテストピースを準備しなければならず、また物品の検査中にこれらの散乱光や反射光を受光しなければならない。
さらに上記検査方法は、物品を挟んで照明手段と撮影手段とを対向させて、物品の背後から照明を行い、物品の輪郭を把握するような検査には採用することがでなかった。
このような問題に鑑み、本発明は物品を挟んで照明手段と撮影手段とを対向させた構成であっても、照明手段の劣化を確認することが可能な物品検査装置を提供するものである。
すなわち本発明にかかる物品検査装置は、物品を搬送する搬送手段と、上記物品に検査光を照射する照明手段と、上記搬送される物品を撮影する撮影手段とを備え、撮影された画像における各画素の輝度に基づいて当該画像を二値化処理し、二値化処理された画像に基づいて物品の検査を行う物品検査装置において、
上記照明手段と撮影手段とを、上記搬送手段によって搬送される物品を挟んで対向した位置に配置し、これら照明手段と撮影手段との間に上記物品の検査位置を設定するとともに、当該照明手段と撮影手段の作動を制御する制御手段と、上記物品が上記検査位置に位置することを検知する検知手段とを備え、
上記制御手段には、上記撮影手段のシャッタースピードについて、物品の検査に適した物品検査モードと、当該物品検査モードよりもシャッタースピードの速い照明検査モードとが設定されており、
上記制御手段は、上記検査位置に物品が位置していない時に、上記照明手段を点灯させて、上記撮影手段により上記照明検査モードで上記照明手段を撮影して、撮影された画像から上記照明手段の検査光の輝度を測定することを特徴としている。
上記発明によれば、上記照明手段と撮影手段とを、上記搬送手段によって搬送される物品を挟んで対向した位置に配置した構成であっても、上記照明手段が照射した検査光の輝度を上記撮影手段を用いて測定することが可能となっている。
その際、物品の検査時よりもシャッタースピードの速い照明検査モードで撮影することにより、撮影手段に受光される検査光の光量を抑え、検査光の輝度を適切に認識することができる。
本実施例にかかる容器検査装置の構成図 容器の側面図 照明手段の照射回数と輝度の劣化とに関するグラフ
以下図示実施例について説明すると、図1は物品としての容器1の検査を行う容器検査装置2を示し、容器1を搬送する搬送手段としてベルトや樹脂チェーンの上に容器1を載置して搬送するコンベヤ3と、当該コンベヤ3により搬送される容器1に検査光Lを照射する照明手段4と、コンベヤ3により搬送される容器1を撮影する撮影手段5とを備え、これらの作動は制御手段6によって制御されるようになっている。
図2に示すように、上記容器1の本体部1aの側面にはラベル7が貼付されており、また本体部1aの上部に設けられた口部にはキャップ8が装着されている。さらに上記容器1におけるキャップ8の下方に隣接した位置にはフランジ1bが設けられている。
そして本実施例の容器検査装置2は、上記本体部1aに貼付されたラベル7のずれと、上記キャップ8の傾きを検査するようになっている。
上記コンベヤ3は、図示左方から右方へと容器1を搬送するように設けられ、搬送経路中に検査位置Iが設定されて、この検査位置Iに向けて上記照明手段4と撮影手段5とが設けられるとともに、当該検査位置Iの上流側には、検査位置Iに位置する容器1を検出する検知手段11が設けられている。
コンベヤ3の搬送方向上流側には、図示しない整列装置が設けられており、上記ラベル7が上記撮影手段5に正対するよう、容器1の向きを揃えて搬送するようになっている。
上記検知手段11は投光部11aと受光部11bとを備え、投光部11aと受光部11bとの間を上記容器1が通過して遮光することで、上記受光部11bに接続された上記制御手段6が容器1を認識し、その後上記制御手段6はコンベヤ3が備えるエンコーダのパルス信号をカウントすることで、容器1が検査位置Iに位置することを検知するようになっている。
上記照明手段4は、上記ラベル7のずれを検査するために用いる反射照明4aと、上記キャップ8の傾きを検査するために用いる対向照明4bとを備えている。
上記反射照明4aおよび対向照明4bには従来公知のLED照明を用いることができ、このようなLED照明はその他のハロゲンランプ等に比べて長寿命であるという特徴を有しているが、目視では判別できない程度に徐々に輝度が低下していくことが分っている。
上記反射照明4aは、上記コンベヤ3に対して上記撮影手段5と同じ側に設けられており、また図1に示すように撮影手段5を挟んで斜め側方から容器1に対して検査光Lを照射するよう、2つの照明によって構成されている。
一方上記対向照明4bは、上記コンベヤ3に対して上記撮影手段5とは反対側に対向して設けられており、対向照明4bが照射する検査光Lは上記撮影手段5に向けられている。
上記撮影手段5には従来公知のCCDカメラを使用することができ、撮影した画像は上記制御手段6に設けられた画像処理部6aへと送信されるようになっている。
ここで、上記撮影手段5は上記対向照明4bに対して上記コンベヤ3を挟んで対向するように配置されており、これら撮影手段5と対向照明4bとの間を上記容器1の検査位置Iとして設定している。
当該検査位置Iにおいてラベル7のずれを検査するためには、上記反射照明4aが撮影手段5と同じ側から検査光Laを照射し、当該検査光Laが照射された容器1のラベル7を撮影手段5が撮影するようになっている。換言すると、撮影手段5は上記容器1の本体部1aで反射した反射光Rを受光するようになっている。
これに対し、検査位置Iにおいてキャップ8の傾きを検査するためには、上記対向照明4bが上記容器1を挟んで撮影手段5に対向した位置、すなわち容器1の背後から検査光Lbを照射し、これにより撮影手段5は容器1やキャップ8を検査光Lbを遮る影の像として撮影するようになっている。換言すると、撮影手段5は、容器1やキャップ8の周囲において、上記対向照明4bが照射した検査光Lbを直接受光するようになっている。
上記制御手段6は、検査位置Iに容器1が位置している間に、反射照明4aと対向照明4bとを順次点灯させ、それぞれが点灯したタイミングで撮影手段5のシャッタを作動させるようになっている。
そして、上記撮影手段5が容器1を撮影すると、上記制御手段6に設けられた画像処理部6aによって、上記ラベル7のずれおよびキャップ8の傾きを判定するようになっている。
図2は上記撮影手段5が撮影した画像の一例を示し、まず画像処理部6aは当該撮影された画像に対し、ラベル7のずれを判定するためのラベル検査範囲FAと、キャップ8の傾きを判定するためのキャップ検査範囲FBとを設定する。
なお、実際には、反射照明4aを点灯したタイミングと、対向照明4bを点灯したタイミングとで、撮影手段5がそれぞれ異なる画像を撮影しているが、図2ではこれを1つの画像として表現している。
また撮影手段5が撮影した画像は、格子状に整列した多数の画素によって構成されており、各画素は撮影した各部分の明るさに基づいて256階調の輝度を有している。
そして画像処理部6aでは、上記ラベル検査範囲FAおよびキャップ検査範囲FBを構成する各画素に対し、予め定めたしきい値に基づいて白または黒に変換する二値化処理を行う。この処理によりラベル7およびキャップ8の輪郭を明確に規定することができる。このとき、キャップ検査範囲FBとラベル検査範囲FAに対し、異なるしきい値を用いて二値化処理を行ってもよい。
上記ラベル検査範囲FAの画像からラベル7のずれを検査するためには、上記画像処理部6aにおいて、二値化処理した画像に所要のマスクを重ね合わせ、ラベル7に相当する画素が上記マスクからはみ出しているか否かにより、ラベル7のずれを判定するようになっている。
一方、上記キャップ検査範囲FBの画像からキャップ8の傾きを検査するためには、上記画像処理部6aにおいて、二値化処理した画像で規定されるキャップ8の天面に相当する画素を認識し、当該キャップ8の天面の高さを左右で比較して、キャップ8の傾きを判定するようになっている。なお、これら二値化処理を利用した検査手法については、これらに限定されるものではなく、物品の特性に応じて様々な手法を採用することができる。
上述したように、本実施例では照明手段4にLED照明を用いているが、当該LED照明は長寿命であるものの、使用により徐々に劣化し、僅かながら照射する検査光Lの輝度は低下している。
図3は照明手段4による検査光の照射回数と、検査光の輝度との関係を示したグラフであり、長時間の使用により照射される検査光の輝度が徐々に低下することが理解できる。
このように照明手段4の劣化に伴って検査光の輝度が低下すると、撮影手段5によって撮影された画像においても、全体的に当該画像を構成する各画素の輝度が低下することとなる。
このため、上記画像処理部6aに設定されたしきい値の近傍の輝度を有する画素では、照明手段4の劣化の度合によって、二値化処理による判定が異なってしまう。
これにより、上記ラベル7のずれやキャップ8の傾きを検査する際に、検査をする時期によって判定が異なり誤判定をする可能性が生じてしまう。
そこで本実施例では、上記容器1の検査を行いながら、上記照明手段4の検査光La、Lbの輝度の低下を認識して、上述したような誤判定を防止するようになっている。
まず、上記照明手段4の反射照明4aに対する検査について説明すると、当該反射照明4aについての検査は、上記容器1のラベル7のずれの検査と同時に行うことができる。
図2に示す上記撮影手段5が撮影した画像のうち、上記ラベル検査範囲FAにおいて、上記画像処理部6aにおいて当該ラベル検査範囲FAの各画素を二値化処理をする前に、ラベル検査範囲FAの内側に設定した所要の判定位置Pの画素の輝度を認識する。
ここで、認識される画素の輝度は、上記反射照明4aが照射した検査光Laが容器1で反射した反射光Rに基づくものとなっている。
上記判定位置Pは複数の画素によって構成され、上記ラベル7における余白部分、すなわち文字やイラストの描かれていない部分等、照明の検査に適した部分に設定されている。なお判定位置Pを複数個所設定してもよい。
制御手段6には、照明の検査を行う照明検査部6bが設けられており、この照明検査部6bにおいて、上記判定位置Pを構成する複数の画素の輝度の平均値を算出し、これを、図3のグラフに示しているしきい値補正の値Naおよび警報出力の値Nbと比較する。
判定位置Pの画素の輝度が上記しきい値補正の値Naを上回っている場合は、反射照明4aの劣化が検査に影響しない程度と判断して、上記容器1に対する検査を続行する。
一方、判定位置Pの画素の輝度が上記しきい値補正の値Naを下回る場合は、照明検査部6bから画像処理部6aに変更指令を出力し、容器1の検査に用いる二値化処理するためのしきい値を変更する。
具体的には、当初より設定されていたしきい値よりも低い、補正用のしきい値を予め設定してあり、この補正用のしきい値に切換えることで、それ以降の誤判定の発生を防止するようにしている。
さらに、判定位置Pの画素の輝度が上記警報出力の値Nbを下回った場合には、照明検査部6bから直ちにその旨の警告を発生させ、容器検査装置2を停止させて容器1の検査を中断させる。
次に、上記照明手段4の対向照明4bに対する検査について説明すると、当該対向照明4bについての検査は、上記容器1が上記検査位置Iを通過し、次の容器1が検査位置Iに到達するまでの間に行う。これにより、対向照明4bに対する検査についても、容器検査装置2による容器1の検査中に行うことが可能となっている。
上述したように、上記コンベヤ3を搬送される容器1の位置は、上記検知手段11により制御手段6において認識されており、上記制御手段6は、上記容器1が検査位置Iに位置していない時に、上記撮影手段5によって上記対向照明4bを撮影させる。
この時、制御手段6は対向照明4bを点灯させて、撮影手段5に検査光Lbを直接照射した状態で、当該対向照明4bを撮影するようになっている。
そして、上記撮影手段5が対向照明4bを撮影する際には、上記制御手段6は撮影手段5のシャッタースピードについて、上記容器1の検査に適した物品検査モードから、当該物品検査モードよりもシャッタースピードの速い照明検査モードに変更する。
すなわち、点灯した対向照明4bを容器1の検査に適したシャッタースピードで撮影すると、全ての画素が256階調の最高輝度を超えてしまい、照明の劣化に伴なう微妙な輝度の低下を認識することはできない。
そこで、撮影手段5のシャッタースピードを5〜10倍速くして露光時間を1/5〜1/10に短くすることで、撮影手段5に受光される光量を抑え、256階調の範囲に収まるようにして過剰な光量による飽和を防止して各画素の輝度を適切に認識することができるようにしている。
これにより、照明検査部6bにおいて、撮影した画像を構成する各画素の輝度の平均値を算出し、これを図3のグラフに示しているしきい値補正の値Naおよび警報出力の値Nbと比較する。このとき、撮影したすべての範囲の画素の輝度を測定せず、特定の範囲の画素の輝度の平均を求めてもよい。
そして、上記反射照明4aの検査と同様、輝度の平均値が上記しきい値補正の値Naを下回った場合は、容器1の検査に用いる二値化処理するためのしきい値を変更するよう、画像処理部6aに変更指令を出力する。
一方、輝度の平均値が上記警報出力の値Nbを下回った場合は、直ちにその旨の警告を発生させるとともに、容器検査装置2を停止させて容器1の検査を中断させる。
また、この時に用いるしきい値補正の値Naおよび警報出力の値Nbについては、上記反射照明4aの検査に用いたしきい値補正の値Naおよび警報出力の値Nbと異ならせてもよい。
なお、上記実施例では搬送手段としてベルトや樹脂チェーン上に容器1を載置して搬送するタイプのコンベヤ3を用いているが、容器1を保持して搬送するものでもよく、また図示した直線式のものに限らず、例えば回転テーブル上に等間隔に載置台やグリッパを設けて、当該載置台やグリッパに容器1を支持させた状態で搬送する回転式であってもよい。この場合であっても、搬送経路を挟んで対向した位置に、上記対向照明4bと撮影手段5とを設ければよい。
また上記物品としては上記容器1に限らず、撮影手段5によって撮影した画像を二値化処理して判定することが可能であれば、物品の種類や検査内容は限定されるものではない。
1 容器 2 容器検査装置
3 コンベヤ(搬送手段) 4 照明手段
4a 反射照明 4b 対向照明(照明手段)
5 撮影手段 6 制御手段
6a 判定手段 7 ラベル
8 キャップ 11 検知手段
La、Lb 検査光 I 検査位置

Claims (2)

  1. 物品を搬送する搬送手段と、上記物品に検査光を照射する照明手段と、上記搬送される物品を撮影する撮影手段とを備え、撮影された画像における各画素の輝度に基づいて当該画像を二値化処理し、二値化処理された画像に基づいて物品の検査を行う物品検査装置において、
    上記照明手段と撮影手段とを、上記搬送手段によって搬送される物品を挟んで対向した位置に配置し、これら照明手段と撮影手段との間に上記物品の検査位置を設定するとともに、当該照明手段と撮影手段の作動を制御する制御手段と、上記物品が上記検査位置に位置することを検知する検知手段とを備え、
    上記制御手段には、上記撮影手段のシャッタースピードについて、物品の検査に適した物品検査モードと、当該物品検査モードよりもシャッタースピードの速い照明検査モードとが設定されており、
    上記制御手段は、上記検査位置に物品が位置していない時に、上記照明手段を点灯させて、上記撮影手段により上記照明検査モードで上記照明手段を撮影して、撮影された画像から上記照明手段の検査光の輝度を測定することを特徴とする物品検査装置。
  2. 上記制御手段は、上記検査位置に物品が位置している時は、上記撮影手段により上記物品検査モードで上記物品を撮影して、撮影された画像により当該物品の検査を行うことを特徴とする請求項1に記載の物品検査装置。
JP2018144224A 2018-07-31 2018-07-31 物品検査装置 Active JP7189417B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018144224A JP7189417B2 (ja) 2018-07-31 2018-07-31 物品検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018144224A JP7189417B2 (ja) 2018-07-31 2018-07-31 物品検査装置

Publications (2)

Publication Number Publication Date
JP2020020650A true JP2020020650A (ja) 2020-02-06
JP7189417B2 JP7189417B2 (ja) 2022-12-14

Family

ID=69588976

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018144224A Active JP7189417B2 (ja) 2018-07-31 2018-07-31 物品検査装置

Country Status (1)

Country Link
JP (1) JP7189417B2 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09225411A (ja) * 1996-02-20 1997-09-02 Kubota Corp ガラス瓶の選別方法
US6563579B1 (en) * 1998-05-15 2003-05-13 Mitsui Mining & Smelting Co., Ltd. Measurement apparatus for measuring internal quality of object
JP2003149166A (ja) * 2001-11-15 2003-05-21 Fuji Heavy Ind Ltd 汚れ自動検知方法、および自動清掃方法、並びに自動清掃装置
JP2005274538A (ja) * 2004-03-26 2005-10-06 Algol:Kk 検査対象物の外観を検査する装置
JP2009128158A (ja) * 2007-11-22 2009-06-11 Ushio Inc パターン検査装置
JP2012008098A (ja) * 2010-06-28 2012-01-12 Nireco Corp 青果物内部検査装置
CN107250774A (zh) * 2014-12-19 2017-10-13 株式会社佐竹 谷粒品级判别装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09225411A (ja) * 1996-02-20 1997-09-02 Kubota Corp ガラス瓶の選別方法
US6563579B1 (en) * 1998-05-15 2003-05-13 Mitsui Mining & Smelting Co., Ltd. Measurement apparatus for measuring internal quality of object
JP2003149166A (ja) * 2001-11-15 2003-05-21 Fuji Heavy Ind Ltd 汚れ自動検知方法、および自動清掃方法、並びに自動清掃装置
JP2005274538A (ja) * 2004-03-26 2005-10-06 Algol:Kk 検査対象物の外観を検査する装置
JP2009128158A (ja) * 2007-11-22 2009-06-11 Ushio Inc パターン検査装置
JP2012008098A (ja) * 2010-06-28 2012-01-12 Nireco Corp 青果物内部検査装置
CN107250774A (zh) * 2014-12-19 2017-10-13 株式会社佐竹 谷粒品级判别装置

Also Published As

Publication number Publication date
JP7189417B2 (ja) 2022-12-14

Similar Documents

Publication Publication Date Title
JP6677260B2 (ja) 検査システム及び検査方法
CN103685830B (zh) 图像读取装置以及纸张类处理装置
KR20160047360A (ko) 결함 검출 시스템 및 방법
JP2004109047A (ja) 印刷物の検査方法及び検査装置
JP2006292419A (ja) 不良検査装置及びptp包装機
JP5683996B2 (ja) 瓶の欠陥検査装置、及び、瓶の欠陥検査方法
KR102162693B1 (ko) 결함 검출 시스템 및 방법
JP2009036710A (ja) 検査装置
JP2015028459A (ja) 検査装置
JP4304690B2 (ja) テープ部材の検査装置
TW201629474A (zh) 檢查裝置
JP2020020650A (ja) 物品検査装置
JP6596290B2 (ja) 物品検査装置
JP2012122912A (ja) 検査領域の決定方法および異物検査装置
TWI815452B (zh) 基板的毛髮檢查裝置及基板的毛髮檢查方法
JP2006177890A (ja) 異物検査装置
KR100957130B1 (ko) 케이스의 표면 검사장치와, 이를 이용한 케이스의 표면검사방법
KR101471984B1 (ko) 조도 조절이 가능한 발광모듈이 구비되는 검사대상물 이송장치
JP2006275618A (ja) ラベル検査装置
CN110945347B (zh) 光学显示面板的损伤检查方法
JP2017067622A (ja) 物品検査装置
JP4399715B2 (ja) 検査方法及び検査装置
JP2017067730A (ja) 検査システム、検査方法
JP2016166826A (ja) 検査装置、検査方法、および、検査装置用のプログラム
CN111094951A (zh) 异物检查装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7189417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150