JP2016224680A - 自己位置推定装置及び自己位置推定装置を備えた移動体 - Google Patents
自己位置推定装置及び自己位置推定装置を備えた移動体 Download PDFInfo
- Publication number
- JP2016224680A JP2016224680A JP2015110186A JP2015110186A JP2016224680A JP 2016224680 A JP2016224680 A JP 2016224680A JP 2015110186 A JP2015110186 A JP 2015110186A JP 2015110186 A JP2015110186 A JP 2015110186A JP 2016224680 A JP2016224680 A JP 2016224680A
- Authority
- JP
- Japan
- Prior art keywords
- self
- position estimation
- unit
- occurrence probability
- abnormality occurrence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
エンコーダ12は、左右の車輪の回転角度を検出し、コンピュータ18の第1自己位置推定部28及び第2自己位置推定部29(後述)に出力する。即ち、左右の車輪はそれぞれ図示しないモータによって駆動される。左右の車輪を駆動するモータにはエンコーダ12がそれぞれ設けられ、各エンコーダ12は左右の車輪の回転角度をそれぞれ検出する。エンコーダ12で検出される左右の車輪の回転角度は、コンピュータ18に入力される。
LRF14は、レーザ光を射出し、射出したレーザ光が物体で反射して返ってくるまでの時間を計測する。LRF14で計測される時間から、LRF14(即ち、移動体10)から物体までの距離が計測される。また、LRF14からレーザ光を射出した方向(即ち、物体から反射されるレーザ光の入射角度)は既知であるため、LRF14に対する物体の方位を決定することができる。以下、物体までの距離及び物体の方位を「観測情報」とも称する。LRF14で取得した観測情報は、コンピュータ18の第1自己位置推定部28に出力される。LRF14は、移動体10の進行方向に対して所定の角度範囲(例えば、進行方向に対して左右方向にそれぞれ60°)でレーザ光を射出する。
コンピュータ18は、演算処理を行うCPU20、演算処理のデータが一時的に記憶されるRAM22、及びCPUによって実行される演算プログラムが記憶されたROM24を備えている。コンピュータ18は、後述する様々な処理を実行する。CPU20がROM24に記憶された演算プログラムを実行することで、CPU20は、第1自己位置推定部28、第2自己位置推定部29等として機能する。なお、コンピュータ18による移動体10の走行制御については、公知の方法で行うことができるため、ここでは、コンピュータ18による最終自己位置推定等の処理について詳細に説明する。
図2に示すように、コンピュータ18は、環境地図記憶部26と、第1自己位置推定部28を備える。第1自己位置推定部28は、判定部58と、通常時推定部59と、異常時推定部60を備える。第1自己位置推定部28は、判定部58での判定結果に基づいて、ステップごとに、通常時推定部59での処理と、異常時推定部60での処理を切替える。通常時推定部59及び異常時推定部60は、いずれも移動体10の自己位置を推定する。以下では、通常時推定部59及び異常時推定部60により推定される自己位置を、いずれも「第1自己位置」と称する。以下では、通常時推定部59での第1自己位置推定処理について先に説明し、判定部58での判定処理及び異常時推定部60での第1自己位置推定処理については後で説明する。
通常時推定部59は、ROM24に予め格納されている公知の運動モデルに基づいて、モンテカルロ位置同定法(Monte Carlo Localization(以下、MCLと称する))により移動体10の第1自己位置をステップごとに推定する。MCLを用いた第1自己位置推定処理では、1つ前のステップにおいて推定された第1自己位置を用いて現在のステップにおける第1自己位置を推定する。ここで、現在のステップが、移動体10がスタート地点から移動を開始してから最初のステップであるときは、上記「1つ前のステップにおいて推定された第1自己位置」はスタート地点の位置を表す。この処理は、CPU20で実施される。MCLは、パーティクルフィルタを用いて移動体が自己位置を推定する公知の手法である。具体的には、通常時推定部59は、(1)まず、初期パーティクル集合を生成する。各パーティクルは移動体10の位置候補を表すベクトルであり、ベクトル要素として、xy座標系における移動体10のx座標、y座標、及びヨー角を備える。(2)次に、通常時推定部59は、エンコーダ12から取得した各車輪の回転角度を元に、移動体10の1ステップ分の移動距離及び移動方向(以下、移動距離及び移動方向を「移動情報」とも称する)を算出する。具体的には、通常時推定部59は、現在のステップにおいてエンコーダ12から取得した各車輪の回転角度から、現在のステップにおける移動体10の移動情報を算出する。そして、現在のステップにおける移動体10の移動情報と、1つ前のステップにおいて既に算出されている移動体10の移動情報との差を求めることにより、移動体10の1ステップ分の移動情報を算出する。ここで、現在のステップが、上述した最初のステップであるときは、上記「1つ前のステップにおいて既に算出されている移動体10の移動情報」はゼロである。そして、運動モデルに移動体10の1ステップ分の移動情報を入力し、各パーティクルを運動モデルに従って移動させる。(3)続いて、通常時推定部59は、各パーティクルにおいて、LRF14から入力された観測情報を、環境地図記憶部26から取得した環境地図とマッチングさせて、各パーティクルの尤度(確からしさ)を計算する。(4)そして、パーティクル数が、尤度の高い領域で多く、尤度の低い領域で少なくなるようにパーティクルを選択し、ノイズを加えて新たな集合を生成する。
図2に示すように、コンピュータ18は、第1自己位置推定部28の他に、第2自己位置推定部29と、最終自己位置記憶部56を備える。最終自己位置記憶部56は、ROM24に設けられており、最終自己位置推定部54(後述)により推定された最終自己位置(厳密には、環境地図上の座標)をステップごとに記憶している。第2自己位置推定部29は、最終自己位置記憶部56に記憶されている最終自己位置のうち、1つ前のステップにおける最終自己位置に、移動体10の1ステップ分の移動情報を加算することにより算出される値を、現在のステップにおける移動体10の自己位置と推定する。上記の説明から明らかなように、第2自己位置推定部29は、環境地図を用いずに第2自己位置を推定する。なお、第2自己位置自体は、環境地図に依存した要素を含む場合がある(即ち、1つ前のステップにおける最終自己位置が第1自己位置を構成要素に含む場合)。
移動体10は、本走行を行う前に、学習走行と呼ばれる走行を行う。以下では、移動体10の学習走行、及び学習走行時に得られるデータを元に学習データを生成する処理について説明する。
移動体10が異常発生確率計算式を生成する処理について説明する。図6に示すように、コンピュータ18は、上述した処理で使用される各部の他に、異常発生確率計算式生成部46と、異常発生確率計算式記憶部48を備える。
異常発生確率計算式生成部46は、学習データ記憶部38に記憶されている学習データを取得し、学習データをロジスティック回帰分析して、異常発生確率計算式を生成する。ロジスティック回帰分析は多変量解析の一手法であり、結果が2値の場合に、その結果の起きる確率を予測できる統計的な回帰モデルを生成する手法である。具体的には、次の数式で表されるロジスティックモデル;
異常発生確率計算式記憶部48は、ROM24に設けられており、異常発生確率計算式生成部46で生成された異常発生確率計算式を記憶する。
上述したように、第1自己位置推定部28は、判定部58での判定結果に基づいて、ステップごとに、通常時推定部59での処理と、異常時推定部60での処理を切替える。以下では、異常時推定部60での第1自己位置推定処理について説明する。
異常時推定部60は、パーティクル集合を生成する際に運動モデルを用いない点で通常時推定部59と異なっている。具体的には、異常時推定部60は、まず、第2自己位置推定部29から現在のステップにおける第2自己位置を取得し、当該第2自己位置を含む所定の範囲内にパーティクル集合を生成する。この所定の範囲内には、移動体10(即ち、真値)が含まれている。パーティクル集合を構成するパーティクルの数は、通常時推定部59におけるパーティクルの数と略同じである。
次に、異常時推定部60は、通常時推定部59における(3)、(4)の処理を実行する。異常時推定部60は、パーティクル集合を構成するパーティクルのいずれかと真値が一致するまで、或いは、パーティクル集合のいずれかのパーティクルが真値に極めて近くなるまで、上記(3)、(4)の処理を繰り返す。即ち、再設定時の第1自己位置推定処理においても、1回のステップにおいて、パーティクル集合の分布は複数回更新される。これにより、異常時推定部60において、現在のステップにおける第1自己位置が推定される。即ち、異常時推定部60では、1つ前のステップにおける第1自己位置ではなく、現在のステップにおける第2自己位置を用いて、現在のステップにおける第1自己位置を推定する。この処理は、CPU20で行われる。なお、パーティクル集合を構成するパーティクルは、上記の所定の範囲内にランダムに分布されてもよいし、均一に分布されてもよいし、所定の基準に従って分布されてもよい。
移動体10が異常発生確率pを計算する処理について説明する。コンピュータ18は、上述した処理で使用される各部の他に、異常発生確率計算部50を備える。
移動体10が第2移動領域において本走行を行う際は、第1自己位置推定部28の通常時推定部59又は異常時推定部60が、第2環境地図を用いて第1自己位置を推定する。通常時推定部59又は異常時推定部60で現在のステップにおける第1自己位置が推定されたときの3つの変数σx、σy、wmaxは、異常発生確率計算部50に出力される。
異常発生確率計算部50は、通常時推定部59又は異常時推定部60から取得した現在のステップにおける3つの変数σx、σy、wmaxを、異常発生確率計算式記憶部48から取得した異常発生確率計算式のX1、X2、X3にそれぞれ入力して、現在のステップにおける異常発生確率pを求める。異常発生確率pは、ステップごとに計算される。この処理は、CPU20で行われる。異常発生確率計算部50で算出された異常発生確率pは、第1自己位置推定部28の判定部58と、重み係数計算部52に出力される。現在のステップにおける異常発生確率pは、判定部58では1つ後のステップにおける判定処理(後述)に用いられ、重み係数計算部52では現在のステップにおける重み係数計算処理に用いられる。
移動体10が、現在のステップにおける第1自己位置を推定する処理を、通常時推定部59と異常時推定部60のどちらで行うかを判定する処理について説明する。上述したように、第1自己位置推定部28は、判定部58を備える。判定部58は、異常発生確率計算部50から、1つ前のステップにおける異常発生確率pを取得する。判定部58は、異常発生確率pが0<p≦0.8を満たすときは通常時推定部59において第1自己位置推定処理を実行させ、0.8<pを満たすときは、異常時推定部60において第1自己位置推定処理を実行させる。なお、移動体10がスタート地点から移動を開始してから最初のステップでは、判定の基準となる異常発生確率pがまだ算出されていないため、通常時推定部59が第1自己地位推定処理を行う。即ち、判定処理は、2回目以降のステップから実施される。また、第1自己位置推定処理を通常時推定部59と異常時推定部60のどちらで行うか判定する基準となる異常発生確率pの閾値は、0.8に限られず、例えば、0.8未満であってもよいし、0.8超であってもよい。
移動体10は、第2移動領域において本走行を行う前に、上述した学習データ生成処理及び異常発生確率計算式生成処理を実施する。そして、移動体10が本走行を行う際は、異常発生確率計算式から算出した異常発生確率に基づいて重み係数を計算し、その重み係数を用いて最終自己位置を推定する。以下では、移動体10の本走行時における最終自己位置推定処理について説明する。図2に示すように、コンピュータ18は、上述した処理で使用される各部の他に、重み係数計算式記憶部51と、重み係数計算部52と、最終自己位置推定部54を備える。
重み係数計算部52は、重み係数計算式記憶部51から取得した重み係数計算式に、異常発生確率計算部50から取得した現在のステップにおける異常発生確率pを入力して重み係数αを求める。この処理は、CPU20で行われる。重み係数計算部52で算出された重み係数αは、最終自己位置推定部54に出力される。
本実施例の移動体10では、異常発生確率pが増加するにつれて第1自己位置の重み係数αが減少すると共に、第2自己位置の重み係数1−αが増加する。この構成によると、異常発生確率pが高いとき(即ち、第1自己位置の推定精度が低いとき)は、最終自己位置に占める第1自己位置の割合を減らすと共に、第2自己位置の割合を増やすことができる。上述したように、第2自己位置の推定精度は高い。このため、この構成によると、第1自己位置の推定精度が低下しても、最終自己位置の推定精度が低下することを抑制できる。また、重み係数計算式は連続した滑らかな関数であるため、重み係数αは異常発生確率pの推移に応じて滑らかに変動する。このため、最終自己位置は、第1自己位置と第2自己位置の間を連続的に推移可能な値となる。従って、最終自己位置の推定精度がさらに向上する。
Claims (7)
- 所定の移動領域内を移動する移動体の最終自己位置をステップごとに推定する装置であって、
第1自己位置推定部と、第2自己位置推定部と、異常発生確率計算式記憶部と、異常発生確率計算部と、最終自己位置推定部と、を備えており、
前記第1自己位置推定部は、前記移動領域の環境地図と、現在のステップで観測された「前記移動体から前記移動領域内に存在している物体までの距離」及び「前記移動体に対する前記物体の方位」と、を少なくとも用いて前記移動体の状態の確率分布を最新の状態に更新し、その最新の状態の確率分布に基づいて第1自己位置を推定し、
前記第2自己位置推定部は、前記最終自己位置推定部で推定された1つ前のステップにおける前記移動体の最終自己位置に、前記オドメトリにより取得される、前記1つ前のステップから現在のステップまでの前記移動体の移動距離及び移動方向を加算することにより第2自己位置を推定し、
前記異常発生確率計算式記憶部は、前記移動体の学習移動時において、前記第1自己位置推定部が前記第1自己位置を推定した際に取得された学習データを機械学習して得られた異常発生確率計算式を記憶し、
前記異常発生確率計算部は、前記移動体の本移動時において、前記第1自己位置推定部が前記第1自己位置を推定した際に取得される複数の変数を前記異常発生確率計算式に入力して異常発生確率を計算し、
前記最終自己位置推定部は、前記第1自己位置推定部から取得される前記第1自己位置と前記第2自己位置推定部から取得される第2自己位置とを用いて算出される重み付き平均値を、現在のステップにおける最終自己位置とし、
前記学習データは、学習移動時に前記第1自己位置推定部において前記第1自己位置を推定した際に取得される複数の変数と、そのときの第1自己位置推定結果を正常又は異常に分類したときの分類結果と、を関連付けたデータを複数有しており、
前記最終自己位置推定部で用いられる重み係数は、前記異常発生確率計算部で取得される異常発生確率の関数である、移動体の自己位置推定装置。 - 前記異常発生確率が増加するにつれて、前記第1自己位置の前記重み係数が減少すると共に、前記第2自己位置の前記重み係数が増加する、請求項1に記載の移動体の自己位置推定装置。
- 前記第1自己位置推定部は、
前記1つ前のステップにおける前記異常発生確率が所定の閾値を超えていない場合は、当該第1自己位置推定部で推定された1つ前のステップにおける前記移動体の第1自己位置をさらに用いて前記移動体の状態の確率分布を最新の状態に更新し、
前記1つ前のステップにおける前記異常発生確率が所定の閾値を超えた場合は、前記移動体の状態の確率分布を、現在のステップにおいて前記第2自己位置推定部が推定した前記第2自己位置を含む所定の範囲内に前記移動体が位置するように更新する、請求項1又は2に記載の移動体の自己位置推定装置。 - 前記学習データの前記第1自己位置推定結果は、学習移動時に前記第1自己位置推定部で推定された第1自己位置と、前記移動体の実際の位置との位置誤差が所定値以下の場合には正常と分類され、前記位置誤差が所定値を超える場合には異常と分類されている、請求項1〜3の何れか一項に記載の移動体の自己位置推定装置。
- 前記オドメトリは、車輪オドメトリ、カメラを用いたビジュアルオドメトリ又はレーザセンサを用いたレーザオドメトリの何れかである、請求項1〜4の何れか一項に記載の移動体の自己位置推定装置。
- 前記第1自己位置推定部は、モンテカルロ位置同定法(Monte Carlo Localization、 MCL)又は拡張カルマンフィルタの何れかの手法を用いて前記第1自己位置を推定する、請求項1〜5の何れか一項に記載の移動体の自己位置推定装置。
- 所定の移動領域内を移動する移動体であって、
オドメトリにより前記移動体の移動距離及び移動方向を取得する移動情報取得部と、
前記移動領域内に存在している物体を観測し、前記移動体から前記物体までの距離及び前記移動体に対する前記物体の方位を取得する観測情報取得部と、
前記移動領域の環境地図を記憶している環境地図記憶部と、
請求項1〜6の何れか一項に記載の自己位置推定装置と、を備える移動体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015110186A JP6438354B2 (ja) | 2015-05-29 | 2015-05-29 | 自己位置推定装置及び自己位置推定装置を備えた移動体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015110186A JP6438354B2 (ja) | 2015-05-29 | 2015-05-29 | 自己位置推定装置及び自己位置推定装置を備えた移動体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016224680A true JP2016224680A (ja) | 2016-12-28 |
| JP6438354B2 JP6438354B2 (ja) | 2018-12-12 |
Family
ID=57748351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015110186A Active JP6438354B2 (ja) | 2015-05-29 | 2015-05-29 | 自己位置推定装置及び自己位置推定装置を備えた移動体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6438354B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018179960A1 (ja) * | 2017-03-27 | 2018-10-04 | 日本電産株式会社 | 移動体および自己位置推定装置 |
| JP2021018639A (ja) * | 2019-07-22 | 2021-02-15 | 株式会社ダイヘン | 自己位置推定装置、自己位置選択装置、及び学習器 |
| US11137768B2 (en) | 2018-03-14 | 2021-10-05 | Toyota Jidosha Kabushiki Kaisha | Position estimation system, position detection method, and program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006065703A (ja) * | 2004-08-30 | 2006-03-09 | Inst Of Systems Information Technologies Kyushu | 自己位置推定装置、自己位置推定方法、その自己位置推定方法をコンピュータに実行させることが可能なプログラム、及び、そのプログラムを記録した記録媒体 |
| JP2009175932A (ja) * | 2008-01-23 | 2009-08-06 | Ihi Corp | 移動ロボットの走行領域判別装置及び走行領域判別方法 |
| JP2009257763A (ja) * | 2006-06-30 | 2009-11-05 | Nec Corp | 車輌用位置推定装置、車輌用位置推定方法、および車輌用位置推定プログラム |
| JP2010224755A (ja) * | 2009-03-23 | 2010-10-07 | Toyota Motor Corp | 移動体及び移動体の位置推定方法 |
| JP2011043405A (ja) * | 2009-08-21 | 2011-03-03 | Toyota Motor Corp | 自己位置推定装置、自己位置推定方法及びプログラム |
| JP2014203144A (ja) * | 2013-04-02 | 2014-10-27 | パナソニック株式会社 | 自律移動装置 |
| JP2014228495A (ja) * | 2013-05-24 | 2014-12-08 | 株式会社Ihi | 自己位置推定装置及び方法 |
-
2015
- 2015-05-29 JP JP2015110186A patent/JP6438354B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006065703A (ja) * | 2004-08-30 | 2006-03-09 | Inst Of Systems Information Technologies Kyushu | 自己位置推定装置、自己位置推定方法、その自己位置推定方法をコンピュータに実行させることが可能なプログラム、及び、そのプログラムを記録した記録媒体 |
| JP2009257763A (ja) * | 2006-06-30 | 2009-11-05 | Nec Corp | 車輌用位置推定装置、車輌用位置推定方法、および車輌用位置推定プログラム |
| JP2009175932A (ja) * | 2008-01-23 | 2009-08-06 | Ihi Corp | 移動ロボットの走行領域判別装置及び走行領域判別方法 |
| JP2010224755A (ja) * | 2009-03-23 | 2010-10-07 | Toyota Motor Corp | 移動体及び移動体の位置推定方法 |
| JP2011043405A (ja) * | 2009-08-21 | 2011-03-03 | Toyota Motor Corp | 自己位置推定装置、自己位置推定方法及びプログラム |
| JP2014203144A (ja) * | 2013-04-02 | 2014-10-27 | パナソニック株式会社 | 自律移動装置 |
| JP2014228495A (ja) * | 2013-05-24 | 2014-12-08 | 株式会社Ihi | 自己位置推定装置及び方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吉川 大地,他2名: "屋内ロボットのための複数センサを用いたロバストな自己位置推定", 第31回日本ロボット学会学術講演会 2013年 THE 31ST ANNUAL CONFERENCE, JPN6018019955, 20 December 2013 (2013-12-20), JP, pages 1756 - 1759, ISSN: 0003807256 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018179960A1 (ja) * | 2017-03-27 | 2018-10-04 | 日本電産株式会社 | 移動体および自己位置推定装置 |
| US11137768B2 (en) | 2018-03-14 | 2021-10-05 | Toyota Jidosha Kabushiki Kaisha | Position estimation system, position detection method, and program |
| JP2021018639A (ja) * | 2019-07-22 | 2021-02-15 | 株式会社ダイヘン | 自己位置推定装置、自己位置選択装置、及び学習器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6438354B2 (ja) | 2018-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6240595B2 (ja) | 自己位置推定装置及び自己位置推定装置を備えた移動体 | |
| EP3660618B1 (en) | Map building and positioning of robot | |
| CN118760195B (zh) | 基于激光传感的畜舍清理机器人动态避障系统及方法 | |
| JP6773471B2 (ja) | 自律移動体と環境地図更新装置 | |
| US10127677B1 (en) | Using observations from one or more robots to generate a spatio-temporal model that defines pose values for a plurality of objects in an environment | |
| Deepak et al. | PSO based path planner of an autonomous mobile robot | |
| JP2016024598A (ja) | 自律移動装置の制御方法 | |
| CN117232493A (zh) | 针对slam的用于确定周围环境中的对象的方法 | |
| JP2017146893A (ja) | 自己位置推定方法 | |
| Hanten et al. | Vector-AMCL: Vector based adaptive monte carlo localization for indoor maps | |
| JP6438354B2 (ja) | 自己位置推定装置及び自己位置推定装置を備えた移動体 | |
| Luperto et al. | Predicting performance of slam algorithms | |
| Afonso et al. | Autonomous navigation of wheelchairs in indoor environments using deep reinforcement learning and computer vision | |
| Huang et al. | Multi-object detection, tracking and prediction in rugged dynamic environments | |
| Seçkin | Adaptive Positioning System Design Using AR Markers and Machine Learning for Mobile Robot | |
| Pedrosa et al. | Online SLAM based on a fast scan-matching algorithm | |
| WO2021201163A1 (ja) | 移動体制御装置、移動体制御プログラム及び移動体 | |
| Ali et al. | Robot operating system-based slam for a gazebo-simulated turtlebot2 in 2d indoor environment with cartographer algorithm | |
| Hamad et al. | Path Planning of Mobile Robot Based on Modification of Vector Field Histogram using Neuro-Fuzzy Algorithm. | |
| Xu et al. | Active SLAM in 3D deformable environments | |
| Marchant et al. | Cooperative global tracking using multiple sensors | |
| Yang et al. | Scoml: Trajectory planning based on self-correcting meta-reinforcement learning in hybrid terrain for mobile robot | |
| Deepa et al. | Design and Analysis of SLAM-based Autonomous Navigation of Mobile Robot | |
| Kim et al. | Path optimization for cooperative mapping using multiple robots with limited sensing capabilities | |
| Uygur et al. | Data fusion for sparse semantic localization based on object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170703 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180605 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181116 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6438354 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
