JP2013200604A - 移動ロボット - Google Patents

移動ロボット Download PDF

Info

Publication number
JP2013200604A
JP2013200604A JP2012067181A JP2012067181A JP2013200604A JP 2013200604 A JP2013200604 A JP 2013200604A JP 2012067181 A JP2012067181 A JP 2012067181A JP 2012067181 A JP2012067181 A JP 2012067181A JP 2013200604 A JP2013200604 A JP 2013200604A
Authority
JP
Japan
Prior art keywords
robot
self
map
position estimation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012067181A
Other languages
English (en)
Other versions
JP5817611B2 (ja
Inventor
Yutaka Takaoka
豊 高岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2012067181A priority Critical patent/JP5817611B2/ja
Publication of JP2013200604A publication Critical patent/JP2013200604A/ja
Application granted granted Critical
Publication of JP5817611B2 publication Critical patent/JP5817611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】自己位置推定の精度を向上させ、ロバスト性を向上させた移動ロボット提供する。
【解決手段】あらかじめ作成された事前地図を記憶し、ロボットから対象物体までの距離について上下方向に複数の点で計測して3D点群データを取得し(S11)、自己位置推定に不必要な物体に対するデータを除去し(S12,S13)、データの除去が行われた前記3D点群データに基づいて床面に略垂直な縦面を抽出して2Dに投影した2Dグリッドマップを生成し(S14,S15)、記憶された事前地図と2Dグリッドマップとのマッチングを行うことにより自己位置推定の演算を行う(S16)。
【選択図】図4

Description

本発明は、自己位置の推定を行う自律移動式の移動ロボットに関する。
近年、事前に走行環境の情報を有することで、障害物との接触を避けながら自走するロボットが開発されている。
例えば、3D空間中においてあらゆる姿勢をとるヒューマノイド型のロボットが開発されている。このようなヒューマノイド型のロボットでは、3D点群データから位置(x,y,z)及び姿勢(roll,pitch,yaw)の自己位置を求める必要がある。
しかしながら、2D移動(位置(x,y)と姿勢(yaw))で十分に表現できる移動台車等の場合、3D点群データをそのまま利用するのは冗長である。そのため、2D自己位置推定を行う場合に用いるマップは、2Dマップで十分である。
特許文献1には、3D点群中の床面に垂直な平面である縦壁を検出し、ある高さにおける切り口で表現される形状を2Dマップへ投影することにより、自己位置推定を行う手法について記載されている。
特開2011−008320号公報
Sebastion Thrun "Probabilistic Robotics" Communications of the ACM - Robots: intelligence, versatility, adaptivity, Volume 45 Issue 3, March 2002
ある高さのみをレーザー照射して自己位置推定する場合、その高さに偶然、障害物が存在している場合がある。また、3D点群から自己位置推定用2Dマップを生成する方法において、マップとセンサデータの乖離が大きいと自己位置推定の誤差が発生し、マップにない動的障害物等をセンサデータから取り除くのが難しい場合がある。また、平面検出等の処理が必要であり、3D点群から自己位置推定に有効なデータ抽出の処理コストが高くなる場合がある。
特許文献1に示した方法では、動的障害物を認識しておらず、さらに静的障害物は低い位置に現れることを前提としているため、障害物を除去しきれず、自己位置推定の精度が低下する可能性がある。
本発明にかかる移動ロボットは、自己位置推定を行う移動ロボットであって、あらかじめ作成された事前地図を記憶する記憶部と、前記ロボットから対象物体までの距離について、少なくとも上下方向に複数の点で計測して3D点群データを取得するセンサと、前記センサで取得された3D点群データのうち、自己位置推定に不必要な物体に対するデータを除去し、データの除去が行われた前記3D点群データに基づいて床面に略垂直な縦面を抽出して2Dに投影した2Dグリッドマップを生成し、前記記憶部に記憶された事前地図と前記2Dグリッドマップとのマッチングを行うことにより、自己位置推定の演算を行う演算部と、を備える。
これにより、取得された対象物体からの距離情報に基づいて、自己位置推定を行うことができる。
自己位置推定の精度を向上させ、ロバスト性を向上させることができる。
実施の形態1にかかるロボットの構成を示す図である。 実施の形態1にかかるレーザレンジファインダの上下方向の揺動を表す図である。 実施の形態1にかかるレーザレンジファインダの左右方向の揺動を表す図である。 実施の形態1にかかるロボットによる自己位置推定のフローチャートである。 実施の形態1にかかるロボットと対象物体を表す図である。 実施の形態1にかかるロボットと床面及び天井の関係を示す図である。 実施の形態1にかかるロボットによる自己位置推定の詳細なフローチャートである。 実施の形態1にかかるロボットによる横から見た1ラインの測定状態を示す図である。 実施の形態1にかかるロボットによる上方向から見た測定状態を示す図である。 実施の形態1にかかる計測点データを並べ替えた状態を示す図である。 実施の形態1にかかる作成された2Dグリッドマップを示す図である。 実施の形態1にかかるロボットの測定領域に障害物がある場合を示す図である。
実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。図1は、ロボット10の構成を示した図である。
ロボット10は、レーザレンジファインダ11と、制御部12と、演算部13と、駆動部14と、車輪15と、記憶部16と、を備える。
レーザレンジファインダ11は、ロボット10の前方の物体までの距離を測定する。レーザレンジファインダ11は、ロボット10に揺動可能な状態で設けられており、揺動することによって、上下方向及び左右方向において、一定の角度以内での距離測定が可能である。ここで、上下方向とは床面に対して垂直方向であり、左右方向とは上下方向と直交し、床面に対して平行な方向とする。図2は、ロボット10の側面図であり、レーザレンジファインダ11の上下方向の揺動を示している。図3は、ロボット10の立面図であり、レーザレンジファインダ11の上下方向の揺動を示している。図2及び図3において、レーザレンジファインダ11による測定が可能な範囲を点線で示す。これによりレーザレンジファインダ11は、自己位置推定のために必要な、環境中に存在する対象物体までの距離を測定する。ここで対象物体とは、床面に対して略垂直に設けられた縦面であり、壁や円柱の柱などである。
制御部12は、ロボット10の動作を制御する。例えば制御部12は、駆動部14に駆動指令を与えることによって、車輪15の動作を制御する。また制御部12は、レーザレンジファインダ11の揺動を制御する。
演算部13は、自己位置推定のための演算処理を行う。例えば演算部13は、レーザレンジファインダ11により取得された距離情報から、床面、天井のデータの除去や、動的障害物、地図にない静的障害物を認識し、除去の演算を行う。言い換えると、演算部13は、自己位置推定に不必要な物体に対する距離情報の除去を行う。また演算部13は、レーザレンジファインダ11により取得された距離情報に基づいて、1ラインごとの計測点に基づいて、面を構成する縦線を検出する演算を行う。さらに演算部13は、検出した縦線に基づいて演算を行うことで、2Dグリッドマップを生成する。
駆動部14は、例えばロボット10に設けられたモータである。駆動部14は、制御部12から受信した駆動指令に基づいて、モータを動作させる。
車輪15は、ロボット10の下部に複数個設けられている。車輪15は、駆動部14からの動力を受けて回転することで、ロボット10を移動させる。
記憶部16は、地図情報をあらかじめ記憶する。例えば記憶部16は、ROM、RAM、ハードディスク等の内部又は外部記憶手段である。また記憶部16は、ロボット10から遠隔に設けられた記憶手段であって、通信網を介してロボット10が情報を取得するものとしても良い。ここで地図情報とは、レーザレンジファインダ11を用いて得られる環境の3D点群から、床面に垂直な縦面を抽出し、2Dマップへ投影した2Dグリッドマップを、複数の視点から作成したものを統合したものとする。すなわち地図情報は、以下に示すロボット10の自己位置推定用マップ生成の動作における、ステップS11〜ステップS15の処理を、事前に複数の位置から行い、得られた複数の2Dグリッドマップを統合したものである。
次に、ロボット10による自己位置推定用マップ生成の動作について説明する。図4は、ロボット10による自己位置推定用マップ生成のフローチャートである。図5に示すような、A面からD面を有する測定対象に対して、距離測定を行うものとする。図5において各面上に記載されている実線及び点線の縦線は1つのラインを表し、点線の横線は、ラインの計測を行うスキャン方向示している。図5において、X軸方向が奥行き、Y軸方向が左右方向、Z軸方向が上下方向である。
レーザレンジファインダ11は、3D点群のデータを計測する(ステップS11)。すなわちレーザレンジファインダ11は、制御部12の制御信号に基づいて走査を行い、ロボット10から対象物体までの3次元距離情報を取得する。このときレーザレンジファインダ11は、床面に対して上下方向及び左右方向に揺動することで、複数点で3D点群のデータを取得する。
演算部13は、床面及び天井データの除去を行う(ステップS12)。すなわち演算部13は、ロボット10の自己位置同定に不必要な横面データのうち、床面及び天井を除去しておく。床面及び天井データの除去は、レーザレンジファインダ11の接地位置、天井高さから幾何学的に床面及び天井データが特定できるので、それらの情報から3D点群中の床面、天井データを取り除く。図6は、ロボット10と、対象物体と、床面及び天井の位置関係の例を示している。
演算部13は、動的障害物を認識して除去する(ステップS13)。すなわち、人等の動的障害物は自己位置同定する上で不必要なので、これを認識して除去する。動的障害物の除去については、例えば前回計測したデータを利用して人間を認識する方法や、3D点群データから移動物体を認識する既知の手法を用いる。また演算部13は、静的障害物の除去を行う。静的障害物の除去は、例えば非特許文献1の手法を用いて行う。
演算部13は、縦ラインデータから縦面の検出を行い、2Dに圧縮する(ステップS14)。図7は、縦面検出の詳細なフローチャートである。
レーザレンジファインダ11は、任意の方向の縦ラインデータを取得する(ステップS21)。ステップS11で取得されている3D点群は、nスキャン×mラインで構成される。図8は、ロボット10及び対象物体を横から見たときの1ラインの計測点である。図9は、ロボット10を上方向から見たときの座標を示している。
演算部13は、レーザレンジファインダ11で得られた計測点を平滑化し(ステップS22)、奥行きdで大きさ順に並べ替える(ステップS23)。図10は計測点を平滑化して奥行きdで並べ替えた例であり、横軸が点数、縦軸が奥行きである。並べ替えを行うことにより、図8で示したように、例えば面Cがあることによって面Bが不連続であるような場合であっても、面Bを1つの面として検出することができる。
演算部13は、閾値幅に入るデータを縦面としてクラスタリングする(ステップS24)。ここで閾値は、奥行き方向に従って変化させる。より具体的には、演算部13は、図10において隣り合う点で作られる傾きが、ある閾値Thresh_angle以下の場合には、縦線候補の点であると判定する。さらに演算部13は、縦線候補と認識された点が、ある閾値Thresh_num以上続く場合には、縦線として判断する。なお閾値Thresh_numは、奥に行くほど計測点が疎になるため、奥行きが大きくなるにつれて小さくするのが望ましい。
演算部13は、分けられた縦線ごとに奥行きdを求める。ここで図○○において、面Bの奥行きをdB、面Cの奥行きをdC、面Dの奥行きをdDとする。次に演算部13は、dB、dC、dDについて、x=dsinθ、y=dcosθより、x及びyの値を求める。
演算部13は、クラスタリングされた値(x)の平均値を2Dグリッドへ投影する(ステップS25)。すなわち演算部13は、ラインデータ(Σd,θ)に基づいて、縦線を検出することで縦線の位置Σ(x,y)を算出する。その後、演算部13は、縦線の位置Σ(x,y)を2Dグリッドマップに投影する。
演算部13は、2Dグリッドマップへの投影処理が全ラインについて完了したか否かを判定する(ステップS15)。全ラインにおける2Dグリッドマップへの投影処理が終了していない場合には(ステップS15でNo)、ステップS14に戻り、ステップS21からステップS25の処理を繰り返し行う。演算部13は、2Dグリッドマップへの投影処理を全ラインについて繰り返し行う。これにより演算部13は、縦面を検出する。全ラインにおいて2Dグリッドマップへの投影処理が終了している場合には(ステップS15でYes)、ステップS16に進む。図11は、生成した2Dグリッドマップの例である。
演算部13は、記憶部16にあらかじめ記憶された事前地図と、生成した2Dグリッドマップとのマッチングを行う(ステップS16)。演算部13は、事前地図と2Dグリッドマップとのマッチング結果から、自己位置が地図上のどの位置であるかを推定する。
したがってロボットは、レーザレンジファインダから得られる環境の3D点群から、床面に垂直な縦面(壁や円柱の柱など)を抽出し、2Dマップへ投影することで得られる2Dグリッドマップを利用し、自己位置同定を行うことができる。ここでロボットは、2Dの自己位置同定((x,y,yaw)の同定)において重要な、環境中の縦面を利用することで精度が向上する。またロボットは、図12のように地図にない静的障害物がある環境下であっても、縦面が計測される可能性が高いため、ロバスト性が向上する。
事前地図は、複数の視点から2Dグリッドマップを作製したものを重ね合わせ、統合することで作成したものである。ロボットは、自己位置同定の動作において、移動中に得られる2Dグリッドマップを事前地図とマッチングすることで、自己位置を同定する。ロボットは、3D情報を圧縮した2Dグリッドマップを使用することで、自己位置同定に必要な情報だけ抽出することができ、処理速度の向上を図ることができる。
またロボットは、3D点群中の動的障害物を時系列データから認識し、点群から除く前処理を行っている。これにより、事前地図と自己位置推定時に取得した2Dグリッドマップとのマッチング精度を向上させることができる。
またロボットは、3D点群から床に垂直に切り出したラインデータを2Dに投影し、そのデータの疎密から縦面を検出する際に、センサの特性に合わせて奥行き方向に重みを持たせることで測定精度の向上を図ることができる。奥行き方向に重みを持たせる手法はシンプルな手法であり、ロボットは、処理速度の向上を図ることができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、環境の3D点群を取得するためにレーザレンジファインダを用いるものとして説明したが、環境の3D点群を取得できるものであれば、センサとしてレーザレンジファインダ以外のものを用いても良い。
10 ロボット
11 レーザレンジファインダ
12 制御部
13 演算部
14 駆動部
15 車輪
16 記憶部

Claims (1)

  1. 自己位置推定を行う移動ロボットであって、
    あらかじめ作成された事前地図を記憶する記憶部と、
    前記ロボットから対象物体までの距離について、上下方向に複数の点で計測して3D点群データを取得するセンサと、
    前記センサで取得された3D点群データのうち、自己位置推定に不必要な物体に対するデータを除去し、データの除去が行われた前記3D点群データに基づいて床面に略垂直な縦面を抽出して2Dに投影した2Dグリッドマップを生成し、前記記憶部に記憶された事前地図と前記2Dグリッドマップとのマッチングを行うことにより、自己位置推定の演算を行う演算部と、
    を備える移動ロボット。
JP2012067181A 2012-03-23 2012-03-23 移動ロボット Active JP5817611B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012067181A JP5817611B2 (ja) 2012-03-23 2012-03-23 移動ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012067181A JP5817611B2 (ja) 2012-03-23 2012-03-23 移動ロボット

Publications (2)

Publication Number Publication Date
JP2013200604A true JP2013200604A (ja) 2013-10-03
JP5817611B2 JP5817611B2 (ja) 2015-11-18

Family

ID=49520834

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012067181A Active JP5817611B2 (ja) 2012-03-23 2012-03-23 移動ロボット

Country Status (1)

Country Link
JP (1) JP5817611B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015152991A (ja) * 2014-02-12 2015-08-24 株式会社デンソーアイティーラボラトリ 自己位置推定装置及び自己位置推定方法
JP2016074053A (ja) * 2014-10-06 2016-05-12 トヨタ自動車株式会社 ロボット
US9576200B2 (en) 2014-12-17 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Background map format for autonomous driving
JP2017538915A (ja) * 2014-09-17 2017-12-28 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 測位・マッピング方法及び測位・マッピングシステム
JP2017228195A (ja) * 2016-06-24 2017-12-28 大成建設株式会社 清掃ロボット
CN107908185A (zh) * 2017-10-14 2018-04-13 北醒(北京)光子科技有限公司 一种机器人自主全局重定位方法及机器人
KR20190049086A (ko) * 2017-11-01 2019-05-09 주식회사 두시텍 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법
JP2020042726A (ja) * 2018-09-13 2020-03-19 株式会社東芝 Ogm圧縮回路、ogm圧縮伸長システム、および移動体システム
JP2021086547A (ja) * 2019-11-29 2021-06-03 株式会社豊田自動織機 走行制御装置
JP2021103482A (ja) * 2019-12-25 2021-07-15 財団法人車輌研究測試中心 自己位置推定方法
JP2021135580A (ja) * 2020-02-25 2021-09-13 三菱重工業株式会社 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム
WO2022009602A1 (ja) * 2020-07-08 2022-01-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326264A (ja) * 2003-04-22 2004-11-18 Matsushita Electric Works Ltd 障害物検出装置と同装置を用いた自律移動ロボット、障害物検出方法、及び障害物検出プログラム
JP2007141108A (ja) * 2005-11-21 2007-06-07 Matsushita Electric Works Ltd 自律移動装置
JP2011008320A (ja) * 2009-06-23 2011-01-13 Toyota Motor Corp 自律移動体、自己位置推定装置、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004326264A (ja) * 2003-04-22 2004-11-18 Matsushita Electric Works Ltd 障害物検出装置と同装置を用いた自律移動ロボット、障害物検出方法、及び障害物検出プログラム
JP2007141108A (ja) * 2005-11-21 2007-06-07 Matsushita Electric Works Ltd 自律移動装置
JP2011008320A (ja) * 2009-06-23 2011-01-13 Toyota Motor Corp 自律移動体、自己位置推定装置、およびプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015152991A (ja) * 2014-02-12 2015-08-24 株式会社デンソーアイティーラボラトリ 自己位置推定装置及び自己位置推定方法
JP2017538915A (ja) * 2014-09-17 2017-12-28 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 測位・マッピング方法及び測位・マッピングシステム
JP2016074053A (ja) * 2014-10-06 2016-05-12 トヨタ自動車株式会社 ロボット
US9576200B2 (en) 2014-12-17 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Background map format for autonomous driving
JP2017228195A (ja) * 2016-06-24 2017-12-28 大成建設株式会社 清掃ロボット
CN107908185A (zh) * 2017-10-14 2018-04-13 北醒(北京)光子科技有限公司 一种机器人自主全局重定位方法及机器人
KR20190049086A (ko) * 2017-11-01 2019-05-09 주식회사 두시텍 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법
KR102075028B1 (ko) 2017-11-01 2020-03-11 주식회사 두시텍 무인기 고속비행 중 정밀위치 영상 획득 장치 및 그를 이용한 정밀위치 획득 방법
JP2020042726A (ja) * 2018-09-13 2020-03-19 株式会社東芝 Ogm圧縮回路、ogm圧縮伸長システム、および移動体システム
JP2021086547A (ja) * 2019-11-29 2021-06-03 株式会社豊田自動織機 走行制御装置
JP2021103482A (ja) * 2019-12-25 2021-07-15 財団法人車輌研究測試中心 自己位置推定方法
JP7092741B2 (ja) 2019-12-25 2022-06-28 財団法人車輌研究測試中心 自己位置推定方法
JP2021135580A (ja) * 2020-02-25 2021-09-13 三菱重工業株式会社 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム
JP7350671B2 (ja) 2020-02-25 2023-09-26 三菱重工業株式会社 位置推定装置、制御装置、産業用車両、物流支援システム、位置推定方法およびプログラム
WO2022009602A1 (ja) * 2020-07-08 2022-01-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
JP5817611B2 (ja) 2015-11-18

Similar Documents

Publication Publication Date Title
JP5817611B2 (ja) 移動ロボット
US9939529B2 (en) Robot positioning system
EP2256574B1 (en) Autonomous mobile robot, self-position estimation method, environment map generation method, environment map generating device, and environment map generating computer program
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US8903160B2 (en) Apparatus and method with traveling path planning
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
JP5902275B1 (ja) 自律移動装置
JP5208649B2 (ja) 移動装置
KR101951573B1 (ko) 평면들을 교차하여 장애물을 검출하는 장치 및 이러한 장치를 사용하는 검출 방법
KR20150144730A (ko) ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP4333611B2 (ja) 移動体用の障害物検出装置
JP2011209845A (ja) 自律移動体、自己位置推定方法、地図情報作成システム
JP6435781B2 (ja) 自己位置推定装置及び自己位置推定装置を備えた移動体
KR102242653B1 (ko) 지상 로봇의 움직임을 고려한 강인한 레이저 스캐너 매칭 방법 및 그 장치
JP2010224755A (ja) 移動体及び移動体の位置推定方法
WO2018068446A1 (zh) 一种追踪方法及追踪设备、计算机存储介质
KR20170027767A (ko) 수평 평면을 이용해 장애물을 검출하는 장치 및 이러한 장치 구현 검출 방법
JP2010079852A (ja) 移動装置
Luo et al. Multisensor integrated stair recognition and parameters measurement system for dynamic stair climbing robots
CN110928296A (zh) 机器人回避充电座的方法及其机器人
EP2836853B1 (en) Apparatus and method for determining reference elements of an environment
JP2021099689A (ja) 情報処理装置、情報処理方法、およびプログラム
US10119804B2 (en) Moving amount estimating apparatus, autonomous mobile body, and moving amount estimating method
WO2023127337A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11460854B1 (en) System to determine floor or obstacle by autonomous mobile device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150914

R151 Written notification of patent or utility model registration

Ref document number: 5817611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151