JP2021105584A - 位置推定方法及び位置推定装置 - Google Patents
位置推定方法及び位置推定装置 Download PDFInfo
- Publication number
- JP2021105584A JP2021105584A JP2019237812A JP2019237812A JP2021105584A JP 2021105584 A JP2021105584 A JP 2021105584A JP 2019237812 A JP2019237812 A JP 2019237812A JP 2019237812 A JP2019237812 A JP 2019237812A JP 2021105584 A JP2021105584 A JP 2021105584A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- point cloud
- position information
- cloud data
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000006866 deterioration Effects 0.000 abstract 1
- 238000013500 data storage Methods 0.000 description 14
- 230000007423 decrease Effects 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、センサにより取得した自車両の周囲の物体の3次元位置情報が十分でない場合の自車両の位置の推定精度の低下を軽減することを目的とする。
図1を参照する。以下、移動体の一例として車両の現在位置を推定する場合について説明するが、本発明は車両に限らず様々な移動体の現在位置の推定に広く適用することができる。
自車両1には、位置推定装置10が搭載される。位置推定装置10は、物体センサ11と、地図データベース12と、測位装置13と、車両センサ14と、コントローラ15を備える。図1において地図データベースを「地図DB」と表記する。図4においても同様である。
例えば物体センサ11は、LIDARや、レーザレーダ、ミリ波レーダ、ソナーなどの測距センサを備えてもよい。また、物体センサ11は、自車両1に搭載されたカメラであってもよい。例えば物体センサ11として、自車両1の周囲の物体を水平方向に走査して物体の3次元位置情報を取得するセンサを使用してもよい。
なお、物体センサ11による3次元位置情報は、必ずしも点群データに限定される必要はなく、例えば画像特徴点や明示的なランドマークの位置情報であってもよい。
以下、地図情報を構成する点群データを「地図点群データ」と表記し、物体センサ11により取得される点群データを「センサ点群データ」と表記する。
以下、コントローラ15による自車両1の現在の3次元位置と3軸方向の向きの推定を、単に「位置推定」と表記することがある。
記憶装置17は、半導体記憶装置や、磁気記憶装置、光学記憶装置等を備えてよい。記憶装置17は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM(Read Only Memory)及びRAM(Random Access Memory)等のメモリを含んでよい。
以下に説明するコントローラ15の機能は、例えばプロセッサ16が、記憶装置17に格納されたコンピュータプログラムを実行することにより実現される。
例えば、コントローラ15は、汎用の半導体集積回路中に設定される機能的な論理回路を備えてもよい。例えばコントローラ15はフィールド・プログラマブル・ゲート・アレイ(FPGA:Field-Programmable Gate Array)等のプログラマブル・ロジック・デバイス(PLD:Programmable Logic Device)等を有していてもよい。
図2A及び図2Bを参照する。物体センサ11により取得されるセンサ点群データ21と地図点群データとを照合して自車両1の位置推定を行う場合に、取得したセンサ点群データ21が十分でないことにより、自車両1の鉛直方向位置が不明になるおそれがある。
例えば、LIDARには、視野角が狭いセンサ(いわゆるラインスキャナ)などがあり、このセンサで得られる情報は平面状に分布する点群情報となり、例えば鉛直方向に関する情報が縮退する。
例えば、鉛直方向位置が異なる物体表面22及び23は、物体センサ11による測距方向における位置が異なる。このため、自車両1の鉛直方向位置の精度が低下したことにより、誤って物体表面22のセンサ点群データ21と物体表面23の地図点群データとを比較して自車両1の位置を推定すると、水平方向位置の推定精度も低下する。
図3を参照する。コントローラ15は、自車両1への物体センサ11の取付位置に基づいて、自車両1が走行する路面24の3次元位置情報25a、25b、25c及び25dを仮想的に生成する。3次元位置情報25a〜25dは、特許請求の範囲に記載の「第2位置情報」の一例である。
3次元位置情報25a〜25dは、物体センサ11により取得される3次元位置情報と同様に、物体センサ11の位置(すなわち自車両1の位置)を基準とする相対位置情報であり、自車両1の位置を中心とする車両座標系で表現される。
例えばコントローラ15は、3次元位置情報25a〜25dを、路面24の3次元位置を表す3次元点群データとして生成する。以下、コントローラ15によって生成された路面24の点群データを「仮想点群データ」と表記する。
例えばコントローラ15は、センサ点群データ及び仮想点群データと、地図点群データ
と、を比較して自車両1の位置を推定する。
この結果、物体センサ11による3次元位置情報が十分でなくても、鉛直方向の自車両1の位置の推定精度や、ロール角、ピッチ角の推定精度の低下を軽減できる。また、鉛直方向の位置精度の低下に伴う水平方向の位置精度の低下も軽減できる。
図4を参照する。コントローラ15は、点群データ取得部30と、点群データ格納部31と、移動量演算部32と、点群データ補正部33と、仮想点群追加部34と、位置推定部35を備える。
移動量演算部32は、前回の処理サイクルでセンサ点群データ21を取得した時点tpから今回の処理サイクルでセンサ点群データ21を取得する時点tcまでの自車両1の移動量を演算する。例えば移動量演算部32は、時点tpから時点tcまでの自車両1の位置と姿勢(方向)の変化を自車両1の移動量として演算する。
例えば、移動量演算部32は、測位装置13による測位結果や、車両センサ14からの車両信号によるオドメトリに基づいて自車両1の移動量を演算する。
図5を参照して点群データ補正部33によるセンサ点群データ21の補正処理の一例を説明する。参照符号1は、今回の処理サイクルでセンサ点群データ21を取得する時点tcにおける自車両の位置を示す。
上記の通り、センサ点群データは車両座標系上の座標、すなわち自車両1を基準とする相対位置で表現されている。このため、時点tpから時点tcまでの間に参照符号1で示す位置へ自車両1が移動すると、センサ点群データ21が示す位置は、四角プロット41で示す位置へ変化する。時点tcの自車両1の位置を基準とする相対位置41は、時点tpの位置40を基準とする相対位置21と同一である。
点群データ補正部33は、四角プロット41で示す相対位置を表すセンサ点群データ21を、時点tcにおける自車両1の位置を基準にして丸プロット21で示す相対位置を示す点群データへ補正する。
仮想点群追加部34は、仮想点群データ25の鉛直方向の座標を、路面24への自車両1の接地点から物体センサ11までの高さHに基づいて演算する。
例えば、仮想点群追加部34は、仮想点群データ25の水平面内位置を範囲42内に位置するように適宜決定し、高さHに基づいて鉛直方向位置を演算してよい。
また、例えば仮想点群追加部34は、図6Bに示すように、自車両1の直下の範囲に所定のマージンを加えた範囲42を、仮想点群データ25の生成範囲として設定してよい。
この場合、例えば仮想点群追加部34は、マージンが加えられた範囲42に等間隔に分布するように仮想点群データ25を配置してもよく、不均等に仮想点群データ25を配置してもよい。例えば、自車両1の直下の位置に近いほど密に、遠くなるほど疎らになるように仮想点群データ25を配置してもよい。また、自車両1の接地部位の位置に近いほど密に、遠くなるほど疎らになるように仮想点群データ25を配置してもよい。
この場合、例えば仮想点群追加部34は、後方に延びる範囲42に等間隔に分布するように仮想点群データ25を配置してもよく、不均等に仮想点群データ25を配置してもよい。例えば、自車両1の直下の位置に近いほど密に、遠くなるほど疎らになるように仮想点群データ25を配置してもよい。また、自車両1の接地部位の位置に近いほど密に、遠くなるほど疎らになるように仮想点群データ25を配置してもよい。
また例えば、仮想点群追加部34が、自車両1の直下の範囲42に仮想点群データ25を生成し、点群データ補正部33が、自車両1の移動量で仮想点群データ25を補正して蓄積することにより、図6Cに示す範囲42に分布する仮想点群データ25を生成してもよい。
また仮想点群追加部34は、図7Bに示すように路面24に対する自車両1の接地部位の位置の軌跡が占める範囲42に分布するように、仮想点群データ25を生成してよい。
例えば、仮想点群追加部34が、自車両1の接地部位の位置に仮想点群データ25を生成し、点群データ補正部33が、自車両1の移動量で仮想点群データ25を補正して蓄積することにより、図7Bに示す範囲42に分布する仮想点群データ25を生成してよい。
仮想点群追加部34は、十分な路面24の点群データがセンサ点群データ21に含まれていない場合に仮想点群データ25を生成(追加)し、十分な路面24の点群データがセンサ点群データ21に含まれている場合には、仮想点群データ25を生成(追加)しないか、または、生成する仮想点群データ25を低減してもよい。これにより、地図点群データと比較される仮想点群データ25が低減される。この結果、計算負荷を軽減できる。
または、センサ点群データ21を取得した範囲を等間隔の複数セルに分割し、各セルにおいてセンサ点群データ21が示す形状が水平面と平行か否かを判定し、センサ点群データ21が示す形状が水平面と平行であるセルが一定数以上ある場合に、十分な路面24のセンサ点群データ21があると判定してもよい。
仮想点群追加部34は、平面度が許容範囲にある場合(例えば平面度が閾値以上の場合)に仮想点群データ25を生成(追加)し、平面度が許容範囲にない場合(例えば平面度が閾値未満の場合)には、仮想点群データ25を生成(追加)しないか、または、生成する仮想点群データ25を低減してもよい。これにより、地図点群データと比較される仮想点群データ25が低減される。
このため、路面24が平坦であるとの仮定が成立しない個所で仮想点群データ25を生成することによる、位置推定の精度低下を防止できる。
具体的には、仮想点群追加部34は、段差を乗り越えたか、近傍の路面24の曲率が十分小さいかに基づいて、平面近似できるか否かを判定してよい。仮想点群追加部34は、加速度センサなどにより鉛直方向に大きな加速度変化が生じたか否かによって段差の乗り越えを判断してよい。仮想点群追加部34は、鉛直方向加速度やピッチ角の時系列に基づいて路面24の曲率を推定してよい。
位置推定部35は、前回の処理サイクルで推定した自車両1の処理座標系上の位置(すなわち地図上の位置)を、移動量演算部32が演算した移動量で補正して自車両1の現在の仮位置を決定する。
図8に、処理座標系におけるセンサ点群データ21a、21b、…及び仮想点群データ25…の位置を示す。
位置推定部35は、センサ点群データ21a、21b、…及び仮想点群データ25…の各々に対応する地図点群データM1、M2、M3…の組合せを選択する。
位置推定部35は、数値解析により、総和Sが最小となる地図点群データM1、M2、M3…の組合せと自車両1の位置及び姿勢を算出して、自車両1の現在位置(地図上の位置)の推定値として決定する。
例えば、位置推定部35は、最小の総和Sが小さいほど高い合致度Dmを算出してよい。例えば、位置推定部35は、最小の総和Sの減少関数に基づいて合致度Dmを算出してよい。また例えば位置推定部35は、最小の総和Sの増加関数の逆数(例えば最小の総和Sの逆数)を合致度Dmとして算出してよい。
例えば仮想点群追加部34は、合致度Dmが低いほど、生成する仮想点群データ25の密度を下げてよい。また、合致度Dmが低いほど、仮想点群データ25を生成する水平方向範囲を狭くしてもよい。
仮想点群データ25を生成する水平方向範囲を狭くする場合には、例えば車幅方向範囲を狭くしてよい。一般的な路面は、水はけのために路端に向かって表面高さが低くなるように形成されており、車幅方向に向かって自車両1の接地位置から離れるにつれて接地位置との高低差が増加するからである。
または、仮想点群追加部34は、密度及び/又は水平方向範囲を調整して(変化させて)今回の処理サイクルで用いる仮想点群データ25を再度生成し、位置推定部35が位置推定をやり直してもよい。
また、合致度Dmに応じて仮想点群データ25の密度及び/又は水平方向範囲を小さくする場合には、位置推定部35は、生成済みの仮想点群データ25の中から位置推定に用いる仮想点群データ25を選択して、より小さな密度及び/又は水平方向範囲の仮想点群データ25を用いて位置推定をやり直してもよい。
次に図9を参照して、実施形態の位置推定方法の一例を説明する。
ステップS1において移動量演算部32は、前回の処理サイクルでセンサ点群データ21を取得した時点tpから今回の処理サイクルでセンサ点群データ21を取得する時点tcまでの自車両1の移動量を演算する。
ステップS3において点群データ取得部30は、物体センサ11からセンサ点群データ21を取得して、点群データ格納部31に格納する。
ステップS5において位置推定部35は、センサ点群データ21と地図点群データとを比較して自車両1の位置を推定する。その後に処理はステップS10へ進む。
ステップS6において仮想点群追加部34は、自車両1の直下の路面24の平面度を推定し、平面度が許容範囲にあるか否かを判定する。平面度が許容範囲にない場合(ステップS6:N)に、点群データ補正部33が仮想点群データ25を生成せずに、処理はステップS5へ進む。
ステップS5において位置推定部35は、センサ点群データ21と地図点群データとを比較して自車両1の位置を推定する。その後に処理はステップS10へ進む。
ステップS7において仮想点群追加部34は、自車両1への物体センサ11の取付位置に基づいて、自車両1が走行する路面24の位置を示す仮想点群データ25を仮想的に生成する。
ステップS8において位置推定部35は、センサ点群データ21及び仮想点群データ25と、地図点群データと、を比較して自車両1の位置を推定する。また、位置推定部35は、センサ点群データ21及び仮想点群データ25と、地図点群データとの間の合致度(マッチング度)Dmを算出する。
ステップS10において位置推定装置10は、自車両1のイグニッションスイッチ(IGN)がオフになったか否かを判定する。イグニッションスイッチがオフにならない場合(ステップS10:N)に処理はステップS1に戻る。イグニッションスイッチがオフになった場合(ステップS10:Y)に処理は終了する。
(1)点群データ取得部30は、自車両1に搭載された物体センサ11により自車両1の周囲の物体の自車両1に対する3次元位置情報である第1位置情報を取得する。仮想点群追加部34は、自車両1への物体センサ11の取付位置に基づいて、自車両1が走行する路面24の自車両1に対する3次元位置情報である第2位置情報を生成する。位置推定部35は、自車両1の周囲の物体及び自車両1が走行する路面の既知の3次元位置情報を有する地図情報と、第1位置情報及び第2位置情報とを比較して自車両1の位置を推定する。
路面24が平坦である場合には、上記範囲において路面24の第2位置情報を精度良く生成することができる。この結果、鉛直方向位置や、ロール角、ピッチ角の推定精度を向上できる。
これにより、複数回の処理サイクルで取得した第1位置情報を用いて自車両1の位置を推定することが可能になるため、自車両1の位置の推定精度を向上できる。
これにより、第1位置情報によって十分な精度で自車両1の位置を推定できれば、第2位置情報の生成、及び地図情報と第2位置情報との比較を省略して、処理負荷を軽減できる。
これにより、路面24が平坦であるとの仮定が成立しない個所で生成した第2位置情報による位置推定の精度低下を防止できる。
第2位置情報と地図情報の合致度が低い個所は、第2位置情報を生成するのに適していないと考えられる。したがって、このような箇所では地図情報と比較する第2位置情報を低減することで、合致度を向上させて位置測定の精度を向上できる。
本発明によれば、水平方向に走査する物体センサ11を用いて、鉛直方向に関する情報が縮退した第1位置情報を取得しても、鉛直方向の自車両1の位置の推定精度や、ロール角、ピッチ角の推定精度の低下を軽減できる。また、鉛直方向の位置精度等の低下に伴う水平方向の位置精度の低下も軽減できる。
Claims (8)
- 自車両に搭載されたセンサにより前記自車両の周囲の物体の自車両に対する3次元位置情報である第1位置情報を取得し、
前記自車両への前記センサの取付位置に基づいて、前記自車両が走行する路面の自車両に対する3次元位置情報である第2位置情報を生成し、
前記自車両の周囲の物体及び前記自車両が走行する路面の既知の3次元位置情報を有する地図情報と、前記第1位置情報及び前記第2位置情報とを比較して前記自車両の位置を推定する、
ことを特徴とする位置推定方法。 - 前記自車両の接地部位の位置、前記自車両の直下の範囲、前記自車両の直下の範囲に所定のマージンを加えた範囲、又は前記自車両が占める車幅方向の位置範囲の路面の前記第2位置情報を生成することを特徴とする請求項1に記載の位置推定方法。
- 前記自車両の移動量を取得し、
前記移動量に基づいて前記第1位置情報を補正して蓄積し、
前記第2位置情報及び蓄積した前記第1位置情報と前記地図情報とを比較して前記自車両の位置を推定する、
ことを特徴とする請求項1又は2に記載の位置推定方法。 - 前記センサにより検出された前記路面の前記第1位置情報が前記自車両の位置推定に十分であるか否かを判定し、
前記路面の前記第1位置情報が前記自車両の位置推定に十分である場合に、前記地図情報と比較する前記第2位置情報を低減する、
ことを特徴とする請求項1〜3の何れか一項に記載の位置推定方法。 - 前記路面の平面度を推定し、
前記平面度が閾値未満の場合に前記地図情報と比較する前記第2位置情報を低減する、
ことを特徴とする請求項1〜4の何れか一項に記載の位置推定方法。 - 前記第1位置情報及び前記第2位置情報と前記地図情報の合致度を算出し、
前記合致度が比較的低い場合には、前記合致度が比較的高い場合よりも、前記地図情報と比較する前記第2位置情報を生成する範囲又は密度を小さくする、
ことを特徴とする請求項1〜5の何れか一項に記載の位置推定方法。 - 前記センサは、前記自車両の周囲の物体を水平方向に走査して前記第1位置情報を取得することを特徴とする請求項1〜6の何れか一項に記載の位置推定方法。
- 自車両に搭載されて、前記自車両の周囲の物体の自車両に対する3次元位置情報である第1位置情報を取得するセンサと、
前記自車両への前記センサの取付位置に基づいて、前記自車両が走行する路面の自車両に対する3次元位置情報である第2位置情報を生成し、前記自車両の周囲の物体及び前記自車両が走行する路面の既知の3次元位置情報を有する地図情報と、前記第1位置情報及び前記第2位置情報とを比較して前記自車両の位置を推定するコントローラと、
を備えることを特徴とする位置推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019237812A JP7408236B2 (ja) | 2019-12-27 | 2019-12-27 | 位置推定方法及び位置推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019237812A JP7408236B2 (ja) | 2019-12-27 | 2019-12-27 | 位置推定方法及び位置推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021105584A true JP2021105584A (ja) | 2021-07-26 |
JP7408236B2 JP7408236B2 (ja) | 2024-01-05 |
Family
ID=76918751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019237812A Active JP7408236B2 (ja) | 2019-12-27 | 2019-12-27 | 位置推定方法及び位置推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7408236B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230109206A1 (en) * | 2021-10-01 | 2023-04-06 | Mitsubishi Electric Corporation | Own position estimation apparatus and own position estimation method |
JP7412651B1 (ja) | 2023-03-01 | 2024-01-12 | 三菱電機株式会社 | 点群接合装置、点群接合方法、点群接合プログラムおよび計測車両 |
JP7575733B1 (ja) | 2024-07-18 | 2024-10-30 | 株式会社Futu-Re | 補正装置及び補正方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017199333A1 (ja) * | 2016-05-17 | 2017-11-23 | パイオニア株式会社 | 情報出力装置、端末装置、制御方法、プログラム及び記憶媒体 |
-
2019
- 2019-12-27 JP JP2019237812A patent/JP7408236B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017199333A1 (ja) * | 2016-05-17 | 2017-11-23 | パイオニア株式会社 | 情報出力装置、端末装置、制御方法、プログラム及び記憶媒体 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230109206A1 (en) * | 2021-10-01 | 2023-04-06 | Mitsubishi Electric Corporation | Own position estimation apparatus and own position estimation method |
JP7412651B1 (ja) | 2023-03-01 | 2024-01-12 | 三菱電機株式会社 | 点群接合装置、点群接合方法、点群接合プログラムおよび計測車両 |
JP7575733B1 (ja) | 2024-07-18 | 2024-10-30 | 株式会社Futu-Re | 補正装置及び補正方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7408236B2 (ja) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107016705B (zh) | 计算机视觉系统中的地平面估计 | |
US9097541B2 (en) | Driving support device | |
US11525682B2 (en) | Host vehicle position estimation device | |
KR20200011978A (ko) | 지도 데이터 보정 방법 및 장치 | |
US10508912B2 (en) | Road surface shape measuring device, measuring method, and non-transitory computer-readable medium | |
WO2018212292A1 (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
KR101909953B1 (ko) | 라이다 센서를 이용한 차량의 자세 추정 방법 | |
JPWO2018061084A1 (ja) | 自己位置推定方法及び自己位置推定装置 | |
JP7193414B2 (ja) | 軸ずれ推定装置 | |
JP7408236B2 (ja) | 位置推定方法及び位置推定装置 | |
CN110967038A (zh) | 车辆定位方法、车辆定位装置和车辆 | |
US11908206B2 (en) | Compensation for vertical road curvature in road geometry estimation | |
KR20200028648A (ko) | 센서들에 대한 정렬 모델 조정 방법 및 그 방법을 수행하는 전자 장치 | |
CN112284416A (zh) | 一种自动驾驶定位信息校准装置、方法及存储介质 | |
JP6988873B2 (ja) | 位置推定装置および位置推定用コンピュータプログラム | |
JP7081098B2 (ja) | 走行環境認識装置、走行環境認識方法、プログラム | |
US11454698B2 (en) | Radar mount-angle calibration | |
CN113091756A (zh) | 位置推定装置、以及位置推定方法 | |
JP7206938B2 (ja) | 移動量算出装置 | |
WO2022202915A1 (ja) | 自律走行車及び自律走行車の自己位置推定方法 | |
WO2018212290A1 (ja) | 情報処理装置、制御方法、プログラム及び記憶媒体 | |
JP2017112566A (ja) | パラメータ特定装置 | |
US20230109206A1 (en) | Own position estimation apparatus and own position estimation method | |
JP6907952B2 (ja) | 自己位置補正装置及び自己位置補正方法 | |
WO2023074907A1 (ja) | 地図作成装置、地図作成方法、及び地図作成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220802 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7408236 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |