JP2013246483A - 障害物検出方法、及び障害物検出システム - Google Patents
障害物検出方法、及び障害物検出システム Download PDFInfo
- Publication number
- JP2013246483A JP2013246483A JP2012117671A JP2012117671A JP2013246483A JP 2013246483 A JP2013246483 A JP 2013246483A JP 2012117671 A JP2012117671 A JP 2012117671A JP 2012117671 A JP2012117671 A JP 2012117671A JP 2013246483 A JP2013246483 A JP 2013246483A
- Authority
- JP
- Japan
- Prior art keywords
- model
- moving body
- obstacle
- moving
- space information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 230000002093 peripheral effect Effects 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 20
- 238000000926 separation method Methods 0.000 claims description 9
- 238000005259 measurement Methods 0.000 abstract description 17
- 238000010276 construction Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 239000002344 surface layer Substances 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【解決手段】本願発明は、走行路やその周辺に存在する物を表す3次元の空間情報と、移動体を表す3次元の空間情報に基づいて、障害物を検出するという点に着目したものであり、従来にはなかった発想に基づいてなされた発明であり、本願発明の障害物検出方法は、移動体計測工程、移動体モデル化工程、路面モデル化工程、及び検出工程を備えたものである。
【選択図】図2
Description
(1)走行路上を実際に移動体が走行することなく、建築限界内に存在する物の有無や、建築限界を超える移動体の走行の可否について判断することができる。そのため、効果的な輸送計画を立案することができる。
(2)障害となる物が確認された場合、その位置を特定することができるため、容易に対策を講じることができる。
(3)あらかじめ移動体を計測するので、標準的な移動体に限らず、あらゆる移動体を対象とすることができる。
(4)移動体の画像と、走行路やその周辺にある物の画像を、重畳表示することで、障害となるものを視覚的に把握することができる。その結果、何が障害となっているかを容易に判断することができる。
(5)さらに、写真を使って画像を作成すれば、実物と同様に目視確認できるので、障害物の実態をより把握しやすくなる。
本願発明は、例えば道路や軌道といった走行路において、自動車や列車など移動体にとって走行上障害となる物を抽出するものである。走行路上に存在する数多くの物を取り扱うことから、これらを表す3次元の空間情報を利用する。そこで、まずは3次元の空間情報について説明する。
前記のとおり本願発明では、走行モデルとして「移動体モデル」、「建築限界モデル」それぞれのケースで障害物を検出することができる。次に、それぞれのモデルについて詳しく説明する。
移動体モデルは、実際の形状を計測した結果に基づいて作成される。図2は、移動体3をレーザー計測器4で計測する状況を示す説明図である。このように、まずは移動体3の外形を計測して3次元空間情報を取得する。このときの計測方法としては、地上固定式のレーザー計測器4を用いてもよいし、MMSを採用することもできるし、あるいは直接TS(トータルステーション)等で計測してもよい。なお、移動体3の外形全体を計測することが望ましく、そのため地上固定式のレーザー計測器4やTSでは固定位置を変えながら、MMSでは移動体3の周囲を計測車両で移動しながら、計測するとよい。
移動体の安全な走行を確保するため、道路や軌道には物の設置を制限する断面空間、すなわち建築限界が設けられている。図3は、一般的な道路の建築限界を示す道路横断図である。この図に示すように、建築限界は走行路の横断面上で構成されるものであり、移動体モデルが立体的なモデルであるのに対して、建築限界モデルは断面空間を表す面的なモデル、あるいは断面空間の輪郭を表す線的なモデルである。走行モデルとして建築限界モデルを採用した場合、移動体を計測する手間が省けるという効果を奏する。
路面モデルは、走行路周辺の地形を表す3次元空間情報(以下、単に「走行路空間情報」という。)に基づいて作成される。図4は、MMSによって取得した道路周辺の計測点群を示すモデル図である。ここで走行路周辺とは、移動体が走行する走行路面、及びその他の周辺物で構成されるもので、したがって走行路空間情報は、走行路面の3次元空間情報、及び周辺物の3次元空間情報で構成される。なお、ここで用いる走行路空間情報は、本願発明のために計測して取得してもよいが、当然ながら既存のものがあればこれを利用することもできる。
既述のとおり、路面モデル上で走行モデルを移動させて、走行モデルに接触する(あるいは接触する可能性のある)“物”を障害物として検出する。その具体的内容について、次に説明する。
走行モデル(移動体モデル又は建築限界モデル)を路面モデル上で移動させるわけであるが、そのため走行モデルが移動する平面線形、すなわち経路(path)を路面モデル上で設定する。このとき、軌道であればレール位置に基づいて設定することができるし、道路であれば、車道や道路幅員、車線、あるいはこれらの中心線に基づいて設定することができる。経路が設定できると、走行モデルを路面モデル上で移動させる。なお現在では、車両の軌跡を計算するソフトウェアとして多種多様のものが知られており、これを用いて走行モデルを移動させることもできる。
走行モデルや、路面モデル、周辺物の3次元空間情報は、3次元空間情報からなるため、それだけでも形状を把握することはできるが、これらに色情報を付与すると、さらに視認性が向上する。ここで色情報とは、陰影、色調、きめ、模様、周囲の撮像との相互関係、周囲の撮像との複合関係、またはそれらの組み合わせを意味する。
障害物検出システムは、既述の障害物検出方法を実施するためのシステムであり、プログラムをコンピュータに実行させることによって実現するものである。以下、個別に説明する。なお、障害物検出方法で説明した内容と重複するものは、ここでは繰り返しての説明は行わない。
移動体計測手段は、移動体の外形を計測して3次元空間情報を取得するものである。このときの計測方法としては、既述のとおり、固定式のレーザー計測器や、MMS、TS等が選択される。
移動体外形記憶手段は、移動体計測手段で計測した結果得られた3次元空間情報(以下、「移動体空間情報」という。)を記憶するものであり、具体的にはコンピュータのハードディスクやCD−ROMといった記憶媒体である。つまり、移動体空間情報はコンピュータで処理可能なデータ形式で形成されている。
建築限界記憶手段は、走行路の建築限界を3次元空間情報で表した「建築限界空間情報」を記憶するものであり、移動体外形記憶手段と同様、具体的にはコンピュータのハードディスクやCD−ROMといった記憶媒体である。「建築限界空間情報」もコンピュータで処理可能なデータ形式で形成されている。
路面記憶手段は、既述した「走行路空間情報」を記憶するものであり、移動体外形記憶手段と同様、具体的にはコンピュータのハードディスクやCD−ROMといった記憶媒体である。「走行路空間情報」もコンピュータで処理可能なデータ形式で形成されている。
路面記憶手段は、既述した走行路空間情報のうち、走行路面の3次元空間情報(以下、「路面空間情報」という。)を記憶するものであり、移動体外形記憶手段と同様、具体的にはコンピュータのハードディスクやCD−ROMといった記憶媒体である。「路面空間情報」もコンピュータで処理可能なデータ形式で形成されている。
周辺物記憶手段は、既述した走行路空間情報のうち、周辺物の3次元空間情報(以下、「周辺物空間情報」という。)を記憶するものであり、移動体外形記憶手段と同様、具体的にはコンピュータのハードディスクやCD−ROMといった記憶媒体である。「周辺物空間情報」もコンピュータで処理可能なデータ形式で形成されている。
移動体モデル化手段は、ソフトウェアを用いてコンピュータに処理させるものである。まずは、移動体外形記憶手段から移動体空間情報を読み出し、既述のとおり移動体モデルを作成する。ここで作成された移動体モデルは、コンピュータのハードディスク等の記憶媒体に記憶される。
建築限界モデル化手段は、ソフトウェアを用いてコンピュータに処理させるものである。まずは、建築限界記憶手段から建築限界空間情報を読み出し、既述のとおり建築限界モデルを作成する。ここで作成された建築限界モデルは、コンピュータのハードディスク等の記憶媒体に記憶される。
路面モデル化手段は、ソフトウェアを用いてコンピュータに処理させるものである。まずは、路面記憶手段から路面空間情報を読み出し、既述のとおり路面モデルを作成する。ここで作成された路面モデルは、コンピュータのハードディスク等の記憶媒体に記憶される。
経路指定手段は、ソフトウェアを用いてコンピュータに処理させるものである。具体的には、マウスや、キーボード、コントローラーといった入力手段を用いて、走行モデルが移動する平面線形、すなわち経路(path)を路面モデル上で設定する。ここ設定された経路は、経路情報としてコンピュータのハードディスク等の記憶媒体に記憶される。
モデル移動手段は、ソフトウェアを用いてコンピュータに処理させるものである。移動体モデル(又は建築限界モデル)、路面モデル、及び経路情報を読み出し、そして路面モデルと経路情報に基づいて、移動体モデル(又は建築限界モデル)の配置を徐々に変更させながら移動させていく。
検出手段は、ソフトウェアを用いてコンピュータに処理させるものであり、既述のとおり、走行モデルと周辺物の3次元空間情報との距離(離隔)に基づいて障害物を抽出していく。ここで検出された障害物の3次元空間情報は、コンピュータのハードディスク等の記憶媒体に記憶される。
移動体画像取得手段及び周辺物画像取得手段は、写真画像を取得できるカメラやビデオなどの撮影手段である。あるいは、既述のとおりレーザー計測器も、色情報を与えることができることから、移動体画像取得手段及び周辺物画像取得手段として採用できる。
表示手段は、色情報を付与した走行モデルと、周辺物の3次元空間情報とを重畳表示するもので、具体的には、RGBや、CMYK、NCSといった画素値を用いて表示するディスプレイが例示できる。
2 計測器
3 移動体
4 レーザー計測器
Claims (9)
- 移動体が走行する走行路の周辺に存在する周辺物のうち、該移動体の走行の障害となる周辺物を検出する障害物検出方法において、
前記移動体の外形を計測することにより、該移動体の3次元空間情報を取得する移動体計測工程と、
前記移動体の3次元空間情報に基づいて、該移動体の外形面をモデル化した移動体モデルを得る移動体モデル化工程と、
前記走行路を構成する3次元空間情報に基づいて、該走行路の表面をモデル化した路面モデルを得る路面モデル化工程と、
前記移動体モデルを前記路面モデル上で移動させながら、移動体の障害となる周辺物を障害物として検出する検出工程と、を備え、
前記検出工程では、前記周辺物を構成する3次元空間情報と前記移動体モデルとを比較することによって、移動体モデルとの離隔が所定閾値以下となる周辺物を障害物として検出する、ことを特徴とする障害物検出方法。 - 移動体が走行する走行路の周辺に存在する周辺物のうち、該移動体の走行の障害となる周辺物を検出する障害物検出方法において、
前記走行路の建築限界をモデル化した建築限界モデルを得る建築限界モデル化工程と、
前記走行路を構成する3次元空間情報に基づいて、該走行路の表面をモデル化した路面モデルを得る路面モデル化工程と、
前記建築限界モデルを前記路面モデル上で移動させながら、建築限界内に位置する周辺物を障害物として検出する検出工程と、を備え、
前記検出工程では、前記周辺物を構成する3次元空間情報と前記建築限界モデルとを比較することによって、建築限界モデルとの離隔が所定閾値以下となる周辺物を障害物として検出する、ことを特徴とする障害物検出方法。 - 前記移動体モデルに色情報を付与して、移動体画像を得る移動体画像取得工程と、
前記周辺物を構成する3次元空間情報に色情報を付与して、周辺物画像を得る周辺物画像取得工程と、
前記移動体画像、及び前記周辺物画像を重畳表示する表示工程と、を備えたことを特徴とする請求項1記載の障害物検出方法。 - 前記移動体画像取得工程では、前記移動体の写真に基づいて、前記移動体モデルに色情報を付与し、
前記周辺物画像取得工程では、前記周辺物の写真に基づいて、前記周辺物を構成する3次元空間情報に色情報を付与する、ことを特徴とする請求項3記載の障害物検出方法。 - 移動体が走行する走行路の周辺に存在する周辺物のうち、該移動体の走行の障害となる周辺物を検出する障害物検出システムにおいて、
前記移動体の外形を3次元空間情報で表した移動体空間情報を、記憶する移動体外形記憶手段と、
前記走行路の表面を3次元空間情報で表した路面空間情報を、記憶する路面記憶手段と、
前記周辺物を3次元空間情報で表した周辺物空間情報を、記憶する周辺物記憶手段と、
前記移動体空間情報に基づいて、前記移動体の外形面をモデル化した移動体モデルを得る移動体モデル化手段と、
前記路面空間情報に基づいて、該走行路の表面をモデル化した路面モデルを得る路面モデル化手段と、
前記移動体モデルを走行させる経路を、前記路面モデル上に指定する経路指定手段と、
前記経路指定手段で指定された経路にしたがって、前記移動体モデルを移動させるモデル移動手段と、
前記移動体モデルを移動させながら、前記移動体の障害となる前記周辺物を障害物として検出する検出手段と、を備え、
前記検出手段では、前記周辺物空間情報と前記移動体モデルとを比較することによって、移動体モデルとの離隔が所定閾値以下となる周辺物を障害物として検出する、ことを特徴とする障害物検出システム。 - 前記移動体の外形を計測することにより前記移動体空間情報を取得する移動体計測手段を備えたことを特徴とする請求項5記載の障害物検出システム。
- 移動体が走行する走行路の周辺に存在する周辺物のうち、該移動体の走行の障害となる周辺物を検出する障害物検出システムにおいて、
前記走行路の建築限界を3次元空間情報で表した建築限界空間情報を、記憶する建築限界記憶手段と、
前記走行路の表面を3次元空間情報で表した路面空間情報を、記憶する路面記憶手段と、
前記周辺物を3次元空間情報で表した周辺物空間情報を、記憶する周辺物記憶手段と、
前記建築限界空間情報に基づいて、前記建築限界をモデル化した建築限界モデルを得る建築限界モデル化手段と、
前記路面空間情報に基づいて、該走行路の表面をモデル化した路面モデルを得る路面モデル化手段と、
前記建築限界モデルを移動させる経路を、前記路面モデル上に指定する経路指定手段と、
前記経路指定手段で指定された経路にしたがって、前記建築限界モデルを移動させるモデル移動手段と、
前記建築限界モデルを移動させながら、建築限界内に位置する周辺物を障害物として検出する検出手段と、を備え、
前記検出手段では、前記周辺物空間情報と前記建築限界モデルとを比較することによって、建築限界モデルとの離隔が所定閾値以下となる周辺物を障害物として検出する、ことを特徴とする障害物検出システム。 - 前記移動体モデルに色情報を付与して、前記移動体画像を得る移動体画像取得手段と、
前記周辺物空間情報に色情報を付与して、前記周辺物画像を得る周辺物画像取得手段と、
前記移動体画像、及び前記周辺物画像を重畳表示する表示手段と、を備えたことを特徴とする請求項5又は請求項6のいずれかに記載の障害物検出システム。 - 前記移動体画像取得手段では、前記移動体の写真に基づいて、前記移動体モデルに色情報を付与し、
前記周辺物画像取得手段では、前記周辺物の写真に基づいて、前記周辺物空間情報に色情報を付与する、ことを特徴とする請求項8記載の障害物検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012117671A JP6168380B2 (ja) | 2012-05-23 | 2012-05-23 | 障害物検出方法、及び障害物検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012117671A JP6168380B2 (ja) | 2012-05-23 | 2012-05-23 | 障害物検出方法、及び障害物検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013246483A true JP2013246483A (ja) | 2013-12-09 |
JP6168380B2 JP6168380B2 (ja) | 2017-07-26 |
Family
ID=49846236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012117671A Active JP6168380B2 (ja) | 2012-05-23 | 2012-05-23 | 障害物検出方法、及び障害物検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6168380B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015158397A (ja) * | 2014-02-24 | 2015-09-03 | 株式会社カネコ | 鉄道沿線構造物測定支援装置、鉄道沿線構造物測定方法、鉄道沿線構造物測定支援プログラム、記録媒体 |
JP2017167936A (ja) * | 2016-03-17 | 2017-09-21 | 株式会社パスコ | 車両の走行判定装置及び車両の走行判定プログラム |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05288519A (ja) * | 1992-04-10 | 1993-11-02 | Hitachi Ltd | 建築限界障害物測定装置 |
JPH10283592A (ja) * | 1997-04-09 | 1998-10-23 | Fuji Heavy Ind Ltd | 車両用運転支援装置 |
JP2000190725A (ja) * | 2000-01-01 | 2000-07-11 | Neoex Lab Inc | 車両用サンバイザの支軸構造 |
JP2002032891A (ja) * | 2000-07-13 | 2002-01-31 | Matsushita Electric Ind Co Ltd | 車両検知装置 |
JP2002506565A (ja) * | 1998-04-29 | 2002-02-26 | スクウエアー ディー カンパニー | ラッチ装置を含む限流回路閉鎖器作動機構 |
JP2002288782A (ja) * | 2001-03-26 | 2002-10-04 | Sumitomo Forestry Co Ltd | 進入路情報処理システム |
JP2005107870A (ja) * | 2003-09-30 | 2005-04-21 | Fujitsu Ltd | 解析モデル作成装置 |
JPWO2003063087A1 (ja) * | 2002-01-25 | 2005-05-26 | 株式会社岩根研究所 | 自動作業システム |
JP2008309533A (ja) * | 2007-06-13 | 2008-12-25 | Ihi Corp | 車両形状計測方法と装置 |
JP2010211680A (ja) * | 2009-03-12 | 2010-09-24 | Honda Motor Co Ltd | モデルデータの修正方法 |
JP2011186526A (ja) * | 2010-03-04 | 2011-09-22 | Mitsubishi Electric Corp | 車両判定システム及び通行物体管理システム |
-
2012
- 2012-05-23 JP JP2012117671A patent/JP6168380B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05288519A (ja) * | 1992-04-10 | 1993-11-02 | Hitachi Ltd | 建築限界障害物測定装置 |
JPH10283592A (ja) * | 1997-04-09 | 1998-10-23 | Fuji Heavy Ind Ltd | 車両用運転支援装置 |
JP2002506565A (ja) * | 1998-04-29 | 2002-02-26 | スクウエアー ディー カンパニー | ラッチ装置を含む限流回路閉鎖器作動機構 |
JP2000190725A (ja) * | 2000-01-01 | 2000-07-11 | Neoex Lab Inc | 車両用サンバイザの支軸構造 |
JP2002032891A (ja) * | 2000-07-13 | 2002-01-31 | Matsushita Electric Ind Co Ltd | 車両検知装置 |
JP2002288782A (ja) * | 2001-03-26 | 2002-10-04 | Sumitomo Forestry Co Ltd | 進入路情報処理システム |
JPWO2003063087A1 (ja) * | 2002-01-25 | 2005-05-26 | 株式会社岩根研究所 | 自動作業システム |
JP2005107870A (ja) * | 2003-09-30 | 2005-04-21 | Fujitsu Ltd | 解析モデル作成装置 |
JP2008309533A (ja) * | 2007-06-13 | 2008-12-25 | Ihi Corp | 車両形状計測方法と装置 |
JP2010211680A (ja) * | 2009-03-12 | 2010-09-24 | Honda Motor Co Ltd | モデルデータの修正方法 |
JP2011186526A (ja) * | 2010-03-04 | 2011-09-22 | Mitsubishi Electric Corp | 車両判定システム及び通行物体管理システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015158397A (ja) * | 2014-02-24 | 2015-09-03 | 株式会社カネコ | 鉄道沿線構造物測定支援装置、鉄道沿線構造物測定方法、鉄道沿線構造物測定支援プログラム、記録媒体 |
JP2017167936A (ja) * | 2016-03-17 | 2017-09-21 | 株式会社パスコ | 車両の走行判定装置及び車両の走行判定プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6168380B2 (ja) | 2017-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6503500B2 (ja) | 点群データ利用システム | |
JP7302934B2 (ja) | ナビゲーション情報を匿名化するためのシステム及び方法 | |
US11982540B2 (en) | Infrastructure mapping and layered output | |
JP6976641B2 (ja) | 高精度道路地図の更新のためのオブジェクトの変化検知システム及びその制御方法 | |
US10093332B2 (en) | Device for creating construction gauge measurement diagram, device for creating construction gauge measurement diagram data, and method for creating construction gauge measurement diagram | |
US10282861B2 (en) | Pose error estimation and localization using static features | |
US10127461B2 (en) | Visual odometry for low illumination conditions using fixed light sources | |
JP2022535351A (ja) | 車両ナビゲーションのためのシステム及び方法 | |
JP6975513B2 (ja) | カメラベースの自動化された高精度道路地図の生成システム及び方法 | |
JP6446005B2 (ja) | 地中探査装置 | |
CN107615201A (zh) | 自身位置估计装置及自身位置估计方法 | |
JP2010249709A (ja) | 断面計測装置、断面計測方法および断面計測プログラム | |
EP3959485B1 (en) | Generation of surface maps to improve navigation | |
JP6168380B2 (ja) | 障害物検出方法、及び障害物検出システム | |
JP2019219348A (ja) | 含水比マッピング方法及び含水比マッピング装置 | |
Merkle et al. | Concept of an autonomous mobile robotic system for bridge inspection | |
US11976939B2 (en) | High-definition maps and localization for road vehicles | |
JP2020112876A (ja) | 立面図作成方法 | |
US20230196912A1 (en) | System and method for determining passing, no-passing zones on roadways |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6168380 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |