JP2018040635A - 冬用タイヤの判別方法 - Google Patents

冬用タイヤの判別方法 Download PDF

Info

Publication number
JP2018040635A
JP2018040635A JP2016173834A JP2016173834A JP2018040635A JP 2018040635 A JP2018040635 A JP 2018040635A JP 2016173834 A JP2016173834 A JP 2016173834A JP 2016173834 A JP2016173834 A JP 2016173834A JP 2018040635 A JP2018040635 A JP 2018040635A
Authority
JP
Japan
Prior art keywords
tire
image
polarization
winter
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016173834A
Other languages
English (en)
Other versions
JP6754646B2 (ja
Inventor
靖博 松田
Yasuhiro Matsuda
靖博 松田
橋本 和明
Kazuaki Hashimoto
和明 橋本
詳悟 林
Shogo Hayashi
詳悟 林
伊藤 泉
Izumi Ito
泉 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
West Nippon Expressway Engineering Shikoku Co Ltd
Original Assignee
Ricoh Co Ltd
West Nippon Expressway Engineering Shikoku Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd, West Nippon Expressway Engineering Shikoku Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016173834A priority Critical patent/JP6754646B2/ja
Publication of JP2018040635A publication Critical patent/JP2018040635A/ja
Application granted granted Critical
Publication of JP6754646B2 publication Critical patent/JP6754646B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Tires In General (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】冬用タイヤの判別を簡単かつ確実にできるようにする。【解決手段】4画素から1画素の、光の異なる方向の成分の情報を取得し、かつ、透過および遮断方向が異なる偏光フィルタが、画素ごとに設けられる撮影装置を用いて偏光度画像を取得し、得られた偏光度画像中に含まれる反射情報を解析し、ヒストグラムを生成し、ヒストグラムの分散度に応じて冬用タイヤであるか否かを判別することにより、トレッド面のサイプの有無から、冬用タイヤを判別する。【選択図】図11

Description

本発明は、自動車等のタイヤが冬用タイヤであるか否かを判別する方法に関する。
一般的に、冬季には、積雪や路面凍結の発生に応じ、冬用タイヤ規制が実施される。
この冬用タイヤ規制がなされると、全輪冬用タイヤ装着、または、駆動輪チェーン装着をしていない車両の通行は認められない。
例えば、高速道路、有料道路や自動車専用道では、冬用タイヤ規制が実施されると、それらの道路の入口等で、道路管理者側の確認要員が車両を停止させ、一台ずつ目視にてタイヤを確認することもある。
この冬用タイヤの判別方法としては、サイドウォールの表記に冬タイヤであることを示す略号を確認したり、トレッド面に形成される細かい溝であるサイプを確認したりすることで行われることが多い。
駆動輪チェーン装着車両の場合、タイヤの外側にチェーンが巻きかけられているため、その確認は容易であるが、冬用タイヤ、具体的には、スタッドレスタイヤ(以下、単に冬用タイヤという。)の確認は簡単ではなく、近年、冬用タイヤの装着車両が増加していることもあり、道路管理者側の負担が増加している。
さらに、例えば、西日本高速道路の四国支社管内の川之江ジャンクションから大豊インターチェンジの間は、連続トンネルにおける無積雪区間を走行した場合のチェーン切れを防止するため、冬用タイヤ規制中は、全輪冬用タイヤのみ通行可能とした、特殊な冬用タイヤ規制を実施している。
このため、道路管理者側は、タイヤ種別の確認要員を始めとする多くの人員を配置する必要があり、運用時の拘束時間も長期にわたり、多大な維持管理費用を必要とする。
本発明は、このような冬用タイヤ規制時の維持管理コストの圧縮のため、タイヤ種別確認の省力化を目的とする、冬用タイヤの判別方法に関する。
冬用タイヤの判別方法の従来技術としては、例えば、車両の走行時に、タイヤのトレッド面のブロックが、舗装面を叩く音や振動を解析し、タイヤ種別を判別する方法がある。
しかしながら、音や振動による解析は、周辺の騒音や、判定される車両の走行速度(振動計測では20km/h以上の走行速度が必要である。)の影響を受ける、という問題がある。
また、別なものとして、タイヤのサイドウォールの撮影画像を解析して、サイドウォール上の文字や略号の検出による判定方法もある。
このサイドウォールの画像解析による判定は、サイドウォール上の文字の文字種や大きさ、配置、デザイン等に統一性がなく、精度向上が困難である、という問題がある。
また、サイドウォールの劣化や汚損、雪や水滴の付着など、画像解析の精度の低下を招きうる外的要因も多く、実質的に実用化ができていない。
さらに、今日、中古タイヤのトレッド面を、新しいものに張り替えた再生タイヤも利用されるようになってきており、仮に、サイドウォールの画像解析の精度が上がったとしても、サイドウォールの記載上は、冬用タイヤであっても、トレッド面は夏用タイヤである恐れもあり、サイドウォールの画像解析をタイヤの判別に用いることは現実的ではない。
このため、冬用タイヤの確実な判別は、タイヤのトレッド面の状況から判断することが適切であろうと考えられるが、これまで、タイヤのトレッド面の撮影画像を解析することにより、冬用タイヤを確実に判別する技術は提案されていない。
特開2003−121111 特許第5899957号
本発明は、上記の問題を解決するためになされたものであって、冬用タイヤの判別を、タイヤのトレッド面の状態、特に、サイプの存在に基づき、確実に判別し、道路の維持管理費用のコストを圧縮できるようにすることを目的とする。
上記目的を達成するため、本発明にかかる冬用タイヤの判別方法は、
少なくとも2種の、異なる偏光方向成分の、反射光情報を取得する撮影装置を用いて、偏光度画像を生成するステップと、
得られた偏光度画像中に含まれる反射情報を解析し、ヒストグラムを生成し、ヒストグラムの分散度に応じて冬用タイヤであるか否かを判別するステップと、
を含むことを特徴とする。
また、本発明にかかる冬用タイヤの判別方法は、前記の方法において、
前記撮影装置の画素が、横方向偏光成分のみを透過する横方向偏光フィルタと、縦方向成分のみを透過する縦方向偏光フィルタとを備える
ことを特徴とする。
上記の本発明では、タイヤのトレッド面の撮影画像から、トレッド面に形成されたサイプを確認することができ、タイヤのトレッド面を目視で確認する確認要員を配置することなしに冬用タイヤを簡単かつ確実に判別することができる。
また、本発明では、磨耗が進んでサイプが浅くなったり、消滅した冬用タイヤの装着車両を排除することもできるようになる。
図1は、本発明にかかる冬用タイヤの判別方法における撮影概要を示す説明図である。 図2は可視画像の一例である。 図3は偏光画像の一例である。 図4は、偏光フィルタの原理を示す説明図である。 図5は通常のカラーカメラのベイヤー配列を示す説明図である。 図6は、本発明で用いられる偏光カメラの素子の配列を示す説明図である。 図7は、通常のカメラと偏光カメラによって得られた画像の比較例である。 図8は、輝度画像の一例である。 図9は、図8の輝度画像から作成された平滑化画像の一例である。 図10は、図8および図9に基づいて生成された差分輝度画像の一例である。 図11は、輝度画像、差分画像、および、偏光度画像の比較対照表である。 図12は、図11に示した各画像の反射情報のヒストグラムである。 図13は、偏光度画像におけるサンプリング箇所を示す説明画像である。 図14は、各画像の標準偏差のグループ間比較を示すグラフである。
以下、図面に基づき、本発明を具体的に説明する。
図1は、本発明にかかる冬用タイヤの判別方法における撮影概要を示す説明図、図2は可視画像の一例、図3は偏光画像の一例、図4は、偏光フィルタの原理を示す説明図、図5は通常のカラーカメラのベイヤー配列を示す説明図、図6は、本発明で用いられる偏光カメラの素子の配列を示す説明図、図7は、通常のカメラと偏光カメラによって得られた画像の比較例、図8は、輝度画像の一例、図9は、図8の輝度画像から作成された平滑化画像の一例、図10は、図8および図9に基づいて生成された差分輝度画像の一例、図11は、輝度画像、差分画像、および、偏光度画像の比較対照表、図12は、図11に示した各画像の反射情報のヒストグラム、図13は、偏光度画像におけるサンプリング箇所を示す説明画像、図14は、各画像の標準偏差のグループ間比較を示すグラフである。
図1中、1は図示しない車両に装着されるタイヤ、10は図示しない車両の進行方向、2は照明装置、3は撮影装置である。
本発明では、車両に装着されたタイヤ1を、図1に示されるように、タイヤ1の進行方向10に対して斜め方向から照明装置2による照明を行い、タイヤ1の進行方向に対して、照明とは反対側の斜め方向から撮影した画像を解析する。
具体的には、照明装置3から、タイヤ1に向けて可視光を照射し、撮影装置3で偏光度画像を取得する。
本発明では、撮影装置3を介して偏光度画像を取得するが、ここで、偏光度画像について説明する。
通常カメラによる可視画像と、偏光カメラによる偏光画像とを比較した場合、例えば、透明なビンの中に挿入した透明フィルムは、それぞれ、図2および図3に示したように画像化される。
偏光カメラは、輝度ではなく、光の波の偏りに着目して透明なフィルムを検出する。
光には波の性質があり、物体を透過または反射する際に、光の波の方向が変わる。
偏光カメラは、この透過または反射した光に対して、フィルタをかけることにより、光の波のうち、任意の向きの光を透過および遮断する偏光フィルタを介し、偏光画像を生成する。
この偏光フィルタの原理は、図4に示したとおりである。
通常、偏光フィルタは、画像に対して同じ方向にしか偏光成分を透過および遮断できない。
これに対し、本発明で用いる偏光カメラは、透過および遮断方向が異なるフィルタを画素ごとに取り付けることにより、光の横方向成分と、縦方向成分を同時に取得することを可能とする。
具体的には、通常のカラーカメラは、図5に示したように、RGBの4画素から1画そのカラー情報を取得する。
これに対し、本発明で用いる偏光カメラは、図6に示したように、4画素から1画の横方向成分と縦方向成分の情報を得る。
ここでは、4画素を情報取得単位として、各方向の偏光情報を得る例を示しているが、情報取得単位は、4画素に限定されるものではない。
例えば、縦3画素、横3画素の合計9画素を一つに情報取得単位とすることでも、上記と同様の情報を取得できる。
図6中、偏光カメラの配列のHは、横方向(水平方向)電場の入射変偏光を透過するフィルタを備えた画素、Vは、縦方向(垂直方向)電場の入射偏光を透過するフィルタを備えた画素を表す。
図6では、1画素おきに偏光方向の異なるフィルタが配置されている例を示している。
この配列は、図6のものに限定されるされるものではなく、情報取得単位、具体的には上記の実施例では、情報取得単位となる4画素に、V画素、H画素が含まれていればよい。
偏光度については、上記のH画素の受光強度I[H]、V画素の受光強度I[V]として、偏光度=(I[H]−I[V])/(I[H]+I[V])となる。
また、この偏光度は、偏光度=(I[V]−I[H])/(I[H]+I[V])としてもよい。
上記の偏光カメラ、および、偏光度の算出に関する技術について、特許文献2として挙げた特許第5899957号に、偏光フィルタの配列はその図5、図14に、偏光度は、その[0039]段落に開示されている。
この偏光カメラでは、偏光フィルタの調整を行わずに、リアルタイムに偏光画像を取得できる。
このため、この偏光カメラを使用すれば、図7に示したように、撮影しにくい黒色の被写体でも、被写体の面方位の違いを偏光度と捉えることにより画像化できる。
この偏光カメラを使用し、図1に示した条件で夏用タイヤ(ノーマルタイヤ)と、冬用タイヤ(スタッドレスタイヤ)を撮影し、その画像を検証する。
なお、画像を比較するため、以下に説明するように、撮影装置によって輝度画像(モノクロ可視画像)と、平滑化画像(輝度分布画像)を生成し、両者から差分輝度画像を生成した。
輝度画像の一例は、図8に示したとおりである。
輝度画像の場合、照明とカメラの確度による照明環境の違いや、撮影対象の反射率のばらつきなどにより、得られる反射強度が異なる。
具体的には、湿潤状態のタイヤを撮影した場合、図8に示されるように、タイヤ表面が鏡面鏡面反射して白く写ることが確認できる。
そして、平滑化画像(輝度分布画像)は、取得した輝度画像を平滑化して作成する。
図8の輝度画像から作成された平滑化画像は、図9に示したとおりである。
ここで、差分輝度画像は、輝度画像から、平滑化画像を差分してムラを除去して作成され、具体的には、図10に示したものとなる。
次に、得られた輝度画像、差分輝度画像、および、偏光度画像は、図11に示したとおりである。
輝度画像では、サイプ(スタッドレス特有の細い切れ込み)が確認できるが、黒つぶれ気味で輝度にムラが認められる。
差分輝度画像では、反射分布は改善されているが、画像下部の輝度情報が黒くつぶれ気味で、サイプを確認しにくい。
これらに対し、偏光度画像では、照度のばらつきに関係なく、サイプがはっきりと確認できる。
これは、少ない輝度でも、反射面の特性が偏光度として捉えられるためと考えられる。
次に、ノーマルタイヤとスタッドレスタイヤのトレッド面の丸部分の反射情報のヒストグラムを図12に示す。
輝度画像は、サイプ部の黒つぶれの影響が顕著で、正確な反射情報が得られなかった。
差分輝度画像は、反射情報の分布は得られるものの、判別可能な分布形状の違いは確認できない。
これに対し、偏光度画像は、他の画像に比べ、良好な反射情報の分布を取得でき、スタッドレスタイヤの分布傾向を見ると、ノーマルタイヤに比べ、分散が大きくなることが認められる。
具体的には、この実施例では、輝度画像では、標準偏差の差は7.283、差分輝度画像では、その差が7.696であり、8未満である。
これに対し、偏光度画像では、標準偏差の差は、11.700であり、偏光度画像の場合、ノーマルタイヤとスタッドレスタイヤとの間で、他の画像に比べ、標準偏差が大きく異なる。
これは、偏光度画像が明瞭にサイプ部を捉えていることが、数値データとして表れたことを示し、ヒストグラムの分散度、さらには、標準偏差に着目することで、画像情報から冬用タイヤを判別できることが確認できた。
例えば、本発明では、偏光度画像から生成されたヒストグラムにおける標準偏差が19.3以上のときには、撮影対象のタイヤは、適切なサイプを有するスタッドレスタイヤである、と判定できる。
また、図13に示すように、タイヤの上部周辺、中心部周辺、下部周辺の3箇所でサンプリングした反射情報から、輝度画像、差分輝度画像、および、偏光度画像を用い、ノーマルタイヤとスタッドレスタイヤの判別精度を確認した。
具体的には、標本数、スタッドレスタイヤ15個、ノーマルタイヤ9個の反射情報の標準偏差について、図14に示したとおり、t検定を行った。
図14のグラフの右軸は、自由度に基づく両側検定の有意確率を示し、輝度画像に比べ、差分輝度画像と偏光度画像の間に、優位な差があることが確認できる。
また、図14のグラフの左軸のt値を見ると、同様に、偏光度画像の値が高いことが確認できる。
以上の見解から、偏光度画像から得られるトレッド面の標準偏差は、ノーマルタイヤ=夏用タイヤと、スタッドレスタイヤ=冬用タイヤの判別に有効であり、偏光度=(I[H]−I[V])/(I[H]+I[V])の標準偏差は、タイヤ種別の判別に有効であることが確認できた。
本発明によると、タイヤの種別を判別すべき車両を、所定の撮影位置に停車させ、撮影を実行して偏光度画像を取得し、画像を解析することによって、撮影対象のタイヤが冬タイヤであるか否かを、確認要員の目視を必要とすることなく、簡単かつ確実に判別できるようになる。
また、本発明では、タイヤのトレッド面を直接撮影することによって取得された画像に基づき、タイヤの種別を判別するので、リサイクルタイヤのように、サイドウォールの刻印と、タイヤ種別が相違する場合や、トレッド面の磨耗によって、サイプが消失したタイヤでも、冬用タイヤとして有効であるか否かを確実に判別できる。
なお、本発明は上記の実施例に限定されるものではなく、例えば、タイヤに対する撮影および照明の角度は、タイヤのサイプを確実に撮影できるものであればよく、また、タイヤの撮影は、車両を所定の位置に停止させてから実行するようにしても、所定区間を徐行させるなどのように、走行中に実行するようにしてもよい。
本発明は、冬用タイヤの判別を少ない要員で簡単かつ確実に行うことができるので、冬用タイヤ規制が実施されている区間に、夏用タイヤで侵入しようとする車両を確実に排除でき、道路の維持管理、保守、事故防止に非常に有用である。

Claims (2)

  1. 少なくとも2種の、異なる偏光方向成分の、反射光情報を取得する撮影装置を用いて、偏光度画像を生成するステップと、
    得られた偏光度画像中に含まれる反射情報を解析し、ヒストグラムを生成し、ヒストグラムの分散度に応じて冬用タイヤであるか否かを判別するステップと、
    を含む冬用タイヤの判別方法。
  2. 前記撮影装置の画素が、横方向偏光成分のみを透過する横方向偏光フィルタと、縦方向成分のみを透過する縦方向偏光フィルタとを備える
    請求項1に記載の冬用タイヤの判別方法。
JP2016173834A 2016-09-06 2016-09-06 冬用タイヤの判別方法 Active JP6754646B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016173834A JP6754646B2 (ja) 2016-09-06 2016-09-06 冬用タイヤの判別方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016173834A JP6754646B2 (ja) 2016-09-06 2016-09-06 冬用タイヤの判別方法

Publications (2)

Publication Number Publication Date
JP2018040635A true JP2018040635A (ja) 2018-03-15
JP6754646B2 JP6754646B2 (ja) 2020-09-16

Family

ID=61625690

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016173834A Active JP6754646B2 (ja) 2016-09-06 2016-09-06 冬用タイヤの判別方法

Country Status (1)

Country Link
JP (1) JP6754646B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128696A (ja) * 2020-02-17 2021-09-02 横浜ゴム株式会社 交換支援システム、交換支援方法およびプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5990171A (ja) * 1982-11-15 1984-05-24 Sumitomo Rubber Ind Ltd タイヤの判別装置
JPH10320527A (ja) * 1997-05-14 1998-12-04 Mitsubishi Heavy Ind Ltd タイヤ種類判別装置及び車両運転者指導・誘導装置
JP2000193419A (ja) * 1998-12-25 2000-07-14 Oki Electric Ind Co Ltd タイヤチェ―ン検出装置及びスタッドレスタイヤ検出装置
JP2003121111A (ja) * 2001-10-12 2003-04-23 Micro Vision:Kk 積雪用タイヤ検出装置
US20080147347A1 (en) * 2003-09-10 2008-06-19 Shaw Eugene L Non-destructive testing and imaging
JP2009230599A (ja) * 2008-03-25 2009-10-08 Nishi Nihon Kosoku Doro Maintenance Chugoku Kk 冬用タイヤ装着車の自動識別装置
JP2011037327A (ja) * 2009-08-07 2011-02-24 Nishi Nihon Kosoku Doro Maintenance Chugoku Kk 冬用タイヤ装着検出装置
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5990171A (ja) * 1982-11-15 1984-05-24 Sumitomo Rubber Ind Ltd タイヤの判別装置
JPH10320527A (ja) * 1997-05-14 1998-12-04 Mitsubishi Heavy Ind Ltd タイヤ種類判別装置及び車両運転者指導・誘導装置
JP2000193419A (ja) * 1998-12-25 2000-07-14 Oki Electric Ind Co Ltd タイヤチェ―ン検出装置及びスタッドレスタイヤ検出装置
JP2003121111A (ja) * 2001-10-12 2003-04-23 Micro Vision:Kk 積雪用タイヤ検出装置
US20080147347A1 (en) * 2003-09-10 2008-06-19 Shaw Eugene L Non-destructive testing and imaging
JP2009230599A (ja) * 2008-03-25 2009-10-08 Nishi Nihon Kosoku Doro Maintenance Chugoku Kk 冬用タイヤ装着車の自動識別装置
JP2011037327A (ja) * 2009-08-07 2011-02-24 Nishi Nihon Kosoku Doro Maintenance Chugoku Kk 冬用タイヤ装着検出装置
JP2013148505A (ja) * 2012-01-20 2013-08-01 Ricoh Co Ltd 画像処理システム及びそれを備えた車両

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021128696A (ja) * 2020-02-17 2021-09-02 横浜ゴム株式会社 交換支援システム、交換支援方法およびプログラム

Also Published As

Publication number Publication date
JP6754646B2 (ja) 2020-09-16

Similar Documents

Publication Publication Date Title
US9344691B2 (en) Imaging device, object detecting apparatus, optical filter, and manufacturing method of optical filter
KR101404924B1 (ko) 물체 식별 장치, 이동체 제어 장치, 및 정보 제공 장치
KR101417571B1 (ko) 물체 식별 장치
JP4988786B2 (ja) 境界線認識装置
JP5664152B2 (ja) 撮像装置、車載用撮像システム及び物体識別装置
TWI475524B (zh) 利用影像偵測違規車輛的系統及方法
US20150371094A1 (en) A road marking analyser and a method of analysis of road markings and an apparatus and method for detecting vehicle weave
CN109299674B (zh) 一种基于车灯的隧道违章变道检测方法
CN101469985A (zh) 交叉路口车辆排队长度的单帧图像检测装置及其工作方法
US20120147187A1 (en) Vehicle detection device and vehicle detection method
CN101529198A (zh) 电车线磨耗测量设备
CN105575127B (zh) 道路交通违章自动取证处罚系统
JP2013524664A (ja) 車両カメラの画像センサ用のカラーマスク
US11367349B2 (en) Method of detecting speed using difference of distance between object and monitoring camera
CN104732233A (zh) 用于识别对象反射的方法和装置
Kawai et al. A method to distinguish road surface conditions for car-mounted camera images at night-time
JP2006308514A (ja) 路面の画像処理型積雪センサー及び積雪検出方法
CN104992160A (zh) 一种重型卡车夜间前方车辆检测方法
CN104482867A (zh) 机车闸瓦图像处理方法及装置
JP6754646B2 (ja) 冬用タイヤの判別方法
CN102169583A (zh) 基于车窗定位的车辆遮挡检测与分割方法
CN201203419Y (zh) 城市交叉路口车辆排队长度的单帧图像检测装置
KR102257078B1 (ko) 좌표계를 이용한 안개 탐지 장치 및 그 방법
KR102388804B1 (ko) 분광 데이터와 노면온도센서 데이터를 이용한 노면상태 분류 시스템 및 그 방법
Pike et al. Effects of the wet retroreflectivity and luminance of pavement markings on lane departure warning in nighttime continuous rain with and without glare sources

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20161005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190830

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200721

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200824

R150 Certificate of patent or registration of utility model

Ref document number: 6754646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250