JP2009175932A - 移動ロボットの走行領域判別装置及び走行領域判別方法 - Google Patents
移動ロボットの走行領域判別装置及び走行領域判別方法 Download PDFInfo
- Publication number
- JP2009175932A JP2009175932A JP2008012551A JP2008012551A JP2009175932A JP 2009175932 A JP2009175932 A JP 2009175932A JP 2008012551 A JP2008012551 A JP 2008012551A JP 2008012551 A JP2008012551 A JP 2008012551A JP 2009175932 A JP2009175932 A JP 2009175932A
- Authority
- JP
- Japan
- Prior art keywords
- area
- mobile robot
- region
- traveling
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000001514 detection method Methods 0.000 title abstract description 6
- 238000005259 measurement Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims 1
- 238000004148 unit process Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 8
- 238000012850 discrimination method Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【解決手段】レーザレンジファインダ11と、これで得たセンサ座標系データを直交座標系データへ変換するバーチカルジャイロ13を具備した外界計測部10と、事前データメモリ30a内の事前データと上記形状データの幾何的な特徴量とから、移動ロボットRの前方側を走行可能領域及び走行不能領域に区分けする処理部30を備え、事前データは、計測用車両の走行で得た形状データの幾何的な特徴量と、形状データをマッピングした2次元地図上で分類された走行可能領域及び走行不能領域の分類結果とから成り、処理部30では、外界計測部10で得た形状データの幾何的な特徴量に対して、事前データを教師データとする分類器を適用して、移動ロボットRの前方側を走行可能領域及び走行不能領域に区分けする。
【選択図】図1
Description
とくに、屋外の不整地環境では、既知障害物モデルとのパターンマッチングによる障害物検出は困難であるという問題を有しており、これらの問題を解決することが従来の課題となっていた。
また、移動ロボットの自己位置を求めて上記外界計測部による計測地点を明確化する自己位置計測手段として、例えば、デッドレコニングやGPS(グローバル・ポジショニング・システム)を用いることができる。
図1〜図6は、本発明に係る移動ロボットの走行領域判別装置の一実施形態を示しており、この実施形態では、移動ロボットが車両タイプである場合を例に挙げて説明する。
図1及び図2に示すように、この走行領域判別装置1は、レーザ光を走査して移動ロボットRの前方側の形状データを取得する水平ラインスキャンタイプの1軸レーザレンジファインダ11,3Dスキャンタイプの2軸レーザレンジファインダ12及び1軸レーザレンジファインダ11で得たセンサ座標系データを鉛直上向きを1軸とする直交座標系データへ変換するデータを供するバーチカルジャイロ(座標変換手段)13を具備した外界計測部10と、デッドレコニング用のホイルオドメータ21,ヨーレートセンサ22及びGPS23を具備して、移動ロボットRの自己位置を求める自己位置計測部20と、外界計測部10で得た外界データ及び自己位置計測部20で得た自己位置データが入出力回路2を介して入力される処理部30と、この処理部30とLAN3を介して接続する地図作成部40を備えている。
そして、移動ロボットRにおける車体駆動部50の操舵手段51は、ドライバ52及び入出力回路4を介して車体制御部60と接続していると共に、車体駆動部50の車速制御手段53は、コンバータ54及び入出力回路4を介して車体制御部60と接続しており、この車体制御部60には、地図作成部40からの制御信号がLAN3を介して入力されるようになっている。
上記した走行領域判別装置1では、外界計測部10において、1軸レーザレンジファインダ11で得たセンサ座標系データをバーチカルジャイロ13からの姿勢情報を用いて鉛直上向きを1軸とする直交座標系データへ変換しているが、1軸レーザレンジファインダ11及びバーチカルジャイロ13はいずれも雲台6に固定されているので、変換に用いる座標変換行列は、1軸レーザレンジファインダ11及びバーチカルジャイロ13の相対的な姿勢よりあらかじめ決定しておく。
ア.近傍領域の凹凸
1軸レーザレンジファインダ11の一走査ライン内において、隣接するデータ間における高さ方向の差の絶対値
イ.曲率
1レーザレンジファインダ11の一走査ライン内において、互いに隣接する三点のデータ間における高さ方向の2階差分値の絶対値
ウ.乱雑さ(凹凸の分散値)
1軸レーザレンジファインダ11の一走査ライン内において、互いに隣接する六点程度のデータの2次関数フィッティング後における曲線からの分散
エ.移動ロボット1の前方側を平面と仮定した場合の距離値と実測値との差
図4(a)に示す移動ロボット1の前方側が平面であると仮定した場合の距離値L1と、図4(b)に示す路肩に高さのある障害物Sが存在する場合の実測値L2との差の絶対値。
さらに、処理部30の事前データメモリ30aに格納した事前データは、その作成に際して、まず、走行が想定される環境において前記外界計測部10を具備した車両を実際に走行させて、そのレーザレンジファインダ11,12により形状データを取得し、図5に示すように、この形状データ(高さ情報)をGPSなどによる自己位置情報に基づいて2次元の地図データにマッピングする。図5において、黒色部分が低位置Lo、白色部分が高位置Hi、灰色部分が未計測位置Mである。
そして、区分した部分において、上記レーザレンジファインダ11,12による形状データの計測がなされた部位では、この形状データから上述した四つの幾何的な特徴量(ア)〜(エ)を抽出しており、これらの幾何的な特徴量(ア)〜(エ)と、2次元地図上における走行可能領域及び走行不能領域の分類結果とを組み合わせることで、走行可能領域及び走行不能領域に分類した事前データが作成される。
この実施形態では、上述したように、処理部30において、事前データを教師データとする分類器を用いるようにしているが、ここで、教師データ(事前データ)の構成要素として取得した特徴量(ア)について、図7に示すように、その統計をヒストグラムとして表した。この特徴量(ア)は、過去に車両が複数回通過することにより生じた轍及びその周囲の草むらにおいて取得した値である。
次に、図8に示すように、特徴量(ア)の値に対数をとって、改めてヒストグラムを作成した。
そこで、この実施形態では、走行可能領域及び走行不能領域の各クラスが、上記のようにして前処理を行うことで各特徴量(ア)〜(エ)の混合正規分布で表されると仮定し、処理部30の分類器 (機械学習手法)として以下に示すベイズの公式(式(1))を用いた。
各クラスにおける事前データの計測において、特徴量の確率分布密度が混合正規分布であると仮定した場合の確率は、以下の式(2)で求められる。
したがって、事前の学習として、教師データに基づいて、それぞれのクラス毎に各特徴量の平均値μと共分散行列Σを求める。分類の際には、走行可能領域及び走行不能領域の各クラスにおいて、計測データから取得した特徴量を上記式2の特徴量ベクトルDに代入し、確率P(D|C)が大きい方のクラスが推定されるクラスとなる。
上記ベイズの公式を用いるような分類手法を行う際のデータ処理は、収束演算を行わない分だけ計算コストを低減することができると共に、リアルタイムな処理を行うことが可能である。
このような場合には、走行可能領域が連続的に広がっていると仮定して、走行可能領域に囲まれた小さな走行不能領域を、例えば、メジアンフィルタを用いて、ノイズとして除去処理してもよく、これにより、事前の地図(経路情報)の存在しない自然発生的な轍についても、それらを検出して走行すべきルートであると判断することができ、轍に沿った道なり走行が可能になる。
そして、この走行領域判別装置1では、学習データを取得した環境(例えば、河原)と、移動ロボット1が走行する環境(例えば、林道)が異なる場合であったとしても、同程度の分類性能が得られる。
まず、走行領域判別装置1の処理部30における障害物検出モジュール30Aは、外界計測部10から得た形状データ及び自己位置計測部20から得た車速やヨーレート等による自己位置データに基づいて、走行可能領域及び障害による走行不能領域の判別処理を行う。
一方、処理部30における自己位置推定のための自己位置計測部20で得た車速やヨーレート等による自己位置データを受け取る自己位置情報生成モジュール30Bは、これらの自己位置データを受け取った時点で、自己位置推定結果を生成する。具体的には、車速度とヨーレートとの積分によるデッドレコ情報を生成する。
続いて、走行経路決定モジュール40Bでは、地図作成モジュール40Aで作成したベース地図に基づいて走行経路を決定して指令信号を車体制御部60に出力し、車体制御部60において操舵角度及び速度を決定して車体駆動部50の操舵手段51及び車速制御手段53に制御信号を出力すると、移動ロボットRの轍に沿った道なり走行が成されることとなる。
上記した走行領域判別装置1では、外界計測部10が、1軸レーザレンジファインダ11,3軸レーザレンジファインダ12及びバーチカルジャイロ13を具備している場合を示したが、外界計測部10の1軸レーザレンジファインダ11以外の構成や配置はこれに限定されるものではない。
さらにまた、上記した一実施形態では、移動ロボットが車両タイプである場合を示したが、これに限定されるものではない。
10 外界計測部
11 1軸レーザレンジファインダ
13 バーチカルジャイロ(座標変換手段)
30 処理部
30a 事前データメモリ
G 走行可能領域
NG 走行不能領域
R 移動ロボット
Claims (6)
- 自律して走行する移動ロボットの前方側の領域を走行可能領域及び障害による走行不能領域に区分けする走行領域判別装置であって、
レーザ光を走査して前記移動ロボットの前方側の形状データを取得するレーザレンジファインダと、このレーザレンジファインダで得たセンサ座標系データを直交座標系データへ変換する座標変換手段を具備した外界計測部と、
事前データメモリを具備して、この事前データメモリに格納した事前データと前記外界計測部で得た形状データの幾何的な特徴量とから、前記移動ロボットの前方側の領域を走行可能領域及び障害による走行不能領域に区分け処理する処理部を備え、
前記処理部の事前データメモリに格納した事前データは、前記外界計測部を具備した車両を実際に走行させてそのレーザレンジファインダにより取得した形状データの複数の幾何的な特徴量と、このレーザレンジファインダにより取得した形状データをマッピングした2次元地図上において分類された走行可能領域及び走行不能領域の分類結果とから成り、
前記処理部では、前記外界計測部で得た形状データの複数の幾何的な特徴量に対して、前記事前データメモリに格納した前記事前データを教師データとする分類器を適用して、前記移動ロボットの前方側の領域を走行可能領域及び障害による走行不能領域に区分け処理する
ことを特徴とする移動ロボットの走行領域判別装置。 - 前記処理部は、特に走行領域が屋外不整地である場合に、轍などの微かな車両通過跡に沿った経路を走行可能領域として処理する請求項1に記載の移動ロボットの走行領域判別装置。
- 前記処理部は、前記外界計測部で得た形状データの複数の幾何的な特徴量の値に対して、対数をとった値を用いて前記区分け処理を行う請求項1又は2に記載の移動ロボットの走行領域判別装置。
- 自律して走行する移動ロボットの前方側の領域を走行可能領域及び障害による走行不能領域に区分けする走行領域判別方法であって、
車両を実際に走行させてこの車両に搭載したレーザレンジファインダにより取得した形状データから抽出した複数の幾何的な特徴量と、前記レーザレンジファインダにより取得した形状データをマッピングした2次元地図上において分類された走行可能領域及び走行不能領域の分類結果とから成る事前データをあらかじめ作成し、
前記移動ロボットを走行させる時点において、この移動ロボットに搭載したレーザレンジファインダからレーザ光を走査して該移動ロボットの前方側の形状データを取得すると共に、このレーザレンジファインダで得たセンサ座標系データを直交座標系データへ変換した後、
前記移動ロボットのレーザレンジファインダで得た形状データから抽出した複数の幾何的な特徴量に対して、あらかじめ作成した前記事前データを教師データとする分類器を適用して前記移動ロボットの前方側の領域を走行可能領域及び障害による走行不能領域に区分けする
ことを特徴とする移動ロボットの走行領域判別方法。 - 特に走行領域が屋外不整地である場合において、轍などの微かな車両通過跡に沿った経路を走行可能領域として処理する請求項4に記載の移動ロボットの走行領域判別方法。
- 前記レーザレンジファインダで得た形状データの複数の幾何的な特徴量の値に対して、対数をとった値を用いて前記区分け処理を行う請求項4又は5に記載の移動ロボットの走行領域判別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008012551A JP5083543B2 (ja) | 2008-01-23 | 2008-01-23 | 移動ロボットの走行領域判別装置及び走行領域判別方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008012551A JP5083543B2 (ja) | 2008-01-23 | 2008-01-23 | 移動ロボットの走行領域判別装置及び走行領域判別方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009175932A true JP2009175932A (ja) | 2009-08-06 |
JP5083543B2 JP5083543B2 (ja) | 2012-11-28 |
Family
ID=41030969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008012551A Active JP5083543B2 (ja) | 2008-01-23 | 2008-01-23 | 移動ロボットの走行領域判別装置及び走行領域判別方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5083543B2 (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013803A (ja) * | 2009-06-30 | 2011-01-20 | Ihi Corp | 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法 |
JP2011043405A (ja) * | 2009-08-21 | 2011-03-03 | Toyota Motor Corp | 自己位置推定装置、自己位置推定方法及びプログラム |
JP2011150627A (ja) * | 2010-01-25 | 2011-08-04 | Ihi Corp | 通路検出方法、装置、及びプログラム |
JP2011150626A (ja) * | 2010-01-25 | 2011-08-04 | Ihi Corp | 画像分類方法、装置、及びプログラム |
JP2012220227A (ja) * | 2011-04-05 | 2012-11-12 | Toyota Motor Corp | 移動体の障害認識方法及び障害認識システム |
WO2016158683A1 (ja) * | 2015-03-30 | 2016-10-06 | シャープ株式会社 | 地図作成装置、自律走行体、自律走行体システム、携帯端末、地図作成方法、地図作成プログラム及びコンピュータ読み取り可能な記録媒体 |
JP2016224680A (ja) * | 2015-05-29 | 2016-12-28 | 株式会社豊田中央研究所 | 自己位置推定装置及び自己位置推定装置を備えた移動体 |
US9568608B2 (en) | 2014-06-04 | 2017-02-14 | Hitachi Construction Machinery Co., Ltd. | Peripheral object detection system and haulage vehicle |
JP6815571B1 (ja) * | 2020-02-27 | 2021-01-20 | 三菱電機株式会社 | ロボット制御装置、ロボット制御方法及び学習モデル生成装置 |
CN113739850A (zh) * | 2021-09-03 | 2021-12-03 | 浙江国净净化科技有限公司 | 一种基于数据自动处理的巡检采样机器人 |
CN114202191A (zh) * | 2021-12-09 | 2022-03-18 | 特斯联科技集团有限公司 | 一种服务机器人碳排放核算方法 |
JP2022541421A (ja) * | 2019-07-09 | 2022-09-26 | ウェイモ エルエルシー | レーザ波形埋め込み |
JP7521980B2 (ja) | 2019-09-13 | 2024-07-24 | トヨタ リサーチ インスティテュート,インコーポレイティド | 通過可能性のティーチングのための埋め込みおよびサポートベクトルマシン |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017004373A (ja) | 2015-06-12 | 2017-01-05 | 株式会社リコー | 情報処理装置、情報処理プログラム、および情報処理システム |
JP6529855B2 (ja) * | 2015-08-07 | 2019-06-12 | 株式会社Ihiエアロスペース | 移動体とその障害物検出方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0764634A (ja) * | 1993-08-27 | 1995-03-10 | Nissan Motor Co Ltd | 無人移動探査機の経路決定方法 |
JP2006018681A (ja) * | 2004-07-02 | 2006-01-19 | Matsushita Electric Ind Co Ltd | 工程管理方法 |
JP2006107475A (ja) * | 2004-09-13 | 2006-04-20 | Matsushita Electric Ind Co Ltd | 移動ロボット |
-
2008
- 2008-01-23 JP JP2008012551A patent/JP5083543B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0764634A (ja) * | 1993-08-27 | 1995-03-10 | Nissan Motor Co Ltd | 無人移動探査機の経路決定方法 |
JP2006018681A (ja) * | 2004-07-02 | 2006-01-19 | Matsushita Electric Ind Co Ltd | 工程管理方法 |
JP2006107475A (ja) * | 2004-09-13 | 2006-04-20 | Matsushita Electric Ind Co Ltd | 移動ロボット |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013803A (ja) * | 2009-06-30 | 2011-01-20 | Ihi Corp | 周囲形状検出装置、自律移動装置、移動体の操縦補助装置、周囲形状検出方法、自律移動装置の制御方法及び移動体の操縦補助方法 |
JP2011043405A (ja) * | 2009-08-21 | 2011-03-03 | Toyota Motor Corp | 自己位置推定装置、自己位置推定方法及びプログラム |
JP2011150627A (ja) * | 2010-01-25 | 2011-08-04 | Ihi Corp | 通路検出方法、装置、及びプログラム |
JP2011150626A (ja) * | 2010-01-25 | 2011-08-04 | Ihi Corp | 画像分類方法、装置、及びプログラム |
JP2012220227A (ja) * | 2011-04-05 | 2012-11-12 | Toyota Motor Corp | 移動体の障害認識方法及び障害認識システム |
US9568608B2 (en) | 2014-06-04 | 2017-02-14 | Hitachi Construction Machinery Co., Ltd. | Peripheral object detection system and haulage vehicle |
JP2016191735A (ja) * | 2015-03-30 | 2016-11-10 | シャープ株式会社 | 地図作成装置、自律走行体、自律走行体システム、携帯端末、地図作成方法、地図作成プログラム及びコンピュータ読み取り可能な記録媒体 |
WO2016158683A1 (ja) * | 2015-03-30 | 2016-10-06 | シャープ株式会社 | 地図作成装置、自律走行体、自律走行体システム、携帯端末、地図作成方法、地図作成プログラム及びコンピュータ読み取り可能な記録媒体 |
JP2016224680A (ja) * | 2015-05-29 | 2016-12-28 | 株式会社豊田中央研究所 | 自己位置推定装置及び自己位置推定装置を備えた移動体 |
JP2022541421A (ja) * | 2019-07-09 | 2022-09-26 | ウェイモ エルエルシー | レーザ波形埋め込み |
JP7224522B2 (ja) | 2019-07-09 | 2023-02-17 | ウェイモ エルエルシー | レーザ波形埋め込み |
JP7521980B2 (ja) | 2019-09-13 | 2024-07-24 | トヨタ リサーチ インスティテュート,インコーポレイティド | 通過可能性のティーチングのための埋め込みおよびサポートベクトルマシン |
JP6815571B1 (ja) * | 2020-02-27 | 2021-01-20 | 三菱電機株式会社 | ロボット制御装置、ロボット制御方法及び学習モデル生成装置 |
WO2021171500A1 (ja) * | 2020-02-27 | 2021-09-02 | 三菱電機株式会社 | ロボット制御装置、ロボット制御方法及び学習モデル生成装置 |
CN113739850A (zh) * | 2021-09-03 | 2021-12-03 | 浙江国净净化科技有限公司 | 一种基于数据自动处理的巡检采样机器人 |
CN113739850B (zh) * | 2021-09-03 | 2024-01-19 | 浙江国净净化科技有限公司 | 一种基于数据自动处理的巡检采样机器人 |
CN114202191A (zh) * | 2021-12-09 | 2022-03-18 | 特斯联科技集团有限公司 | 一种服务机器人碳排放核算方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5083543B2 (ja) | 2012-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5083543B2 (ja) | 移動ロボットの走行領域判別装置及び走行領域判別方法 | |
US8564657B2 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
Bar Hillel et al. | Recent progress in road and lane detection: a survey | |
EP1780675B1 (en) | Object detector | |
JP3937414B2 (ja) | 平面検出装置及び検出方法 | |
JP4297501B2 (ja) | 移動体周辺監視装置 | |
EP2574958B1 (en) | Road-terrain detection method and system for driver assistance systems | |
JP5023186B2 (ja) | 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム | |
Ruetz et al. | Ovpc mesh: 3d free-space representation for local ground vehicle navigation | |
上條俊介 et al. | Autonomous vehicle technologies: Localization and mapping | |
Levinson | Automatic laser calibration, mapping, and localization for autonomous vehicles | |
JP2022022287A (ja) | 地図作成装置、制御方法、プログラム及び記憶媒体 | |
CN106569225A (zh) | 一种基于测距传感器的无人车实时避障方法 | |
JP7376682B2 (ja) | 視覚追跡および画像再投影による自律運転のための物体位置特定 | |
CN116710961A (zh) | 使用图形切割进行地面分割的方法和系统 | |
US20220309776A1 (en) | Method and system for determining ground level using an artificial neural network | |
López et al. | Computer vision in vehicle technology: Land, sea, and air | |
JP2006053754A (ja) | 平面検出装置及び検出方法 | |
JP4270386B2 (ja) | 移動体移動量算出装置 | |
Chang et al. | Real-Time Visual-Servo Navigation for Map-Free Self-Driving in Unstructured Outdoor Environments | |
Azevedo et al. | Real-time road surface mapping using stereo matching, v-disparity and machine learning | |
Mohammadbagher | Self-localization for autonomous driving using vector maps and multi-modal odometry | |
Gu et al. | Correction of vehicle positioning error using 3D-map-GNSS and vision-based road marking detection | |
CN215495425U (zh) | 复眼摄像系统及使用复眼摄像系统的车辆 | |
WO2023017624A1 (en) | Drive device, vehicle, and method for automated driving and/or assisted driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20090702 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120815 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120821 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5083543 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |