JP2008264947A - 平面検出方法、及び移動ロボット - Google Patents
平面検出方法、及び移動ロボット Download PDFInfo
- Publication number
- JP2008264947A JP2008264947A JP2007112284A JP2007112284A JP2008264947A JP 2008264947 A JP2008264947 A JP 2008264947A JP 2007112284 A JP2007112284 A JP 2007112284A JP 2007112284 A JP2007112284 A JP 2007112284A JP 2008264947 A JP2008264947 A JP 2008264947A
- Authority
- JP
- Japan
- Prior art keywords
- template
- mobile robot
- plane
- dimensional
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
【解決手段】本発明にかかる平面検出方法は、移動ロボット100の移動状態に応じて、サンプリング対象領域が異なる複数のテンプレートより任意のテンプレートを選択するステップと、選択されたテンプレートにより定められたサンプリング対象領域において、3次元データ群から2点の3次元データの組をサンプリングし、該2点の3次元データの組に基づいて平面を検出するステップを有するものである。
【選択図】図2
Description
従来より、環境から平面を検出する数多くの手法が提案されている。多数の計測点(3次元位置データ群)から平面の方程式を表す3つのパラメータ(平面パラメータ)を検出する手法として、ハフ変換法やランダムサンプリング法が良く知られている。ハフ変換を利用する手法として、例えば特許文献1には、3次元位置データ群から3点以上のデータをサンプリングして平面パラメータを算出し、この平面パラメータを投票空間に直接投票することによって平面を検出する技術が開示されている。
また、2点ランダムサンプリング法は、3次元位置データ群から2点のデータの組をランダムにサンプリングして、2点のデータの組からなるベクトルより平面の法線ベクトルを算出し、この法線ベクトルに沿って平面までの距離を探索することによって平面を検出するものである。
一方、2点ランダムサンプリング法は、ハフ変換を利用する手法と比較して、正確かつ安定して平面を抽出できるという利点を有する。例えば、環境に階段などの複数の平面が存在する場合には、ハフ変換による手法に比べて、より多くの平面を安定して正確に検出することができる。
しかし、2点ランダムサンプリング法においても特許文献1記載の技術と同様に3次元位置データ群から3次元位置データをランダムにサンプリングするため、平面検出のために多大な処理時間を必要とするという問題点がある。
本発明は、かかる課題を解決するためになされたものであり、平面検出に要する処理時間を短縮することができる平面検出方法、及び移動ロボットを提供することを目的とする。
本実施の形態にかかる移動ロボットは、2つの脚リンクを有する脚式移動ロボットである。さらに、移動ロボットは平面検出装置1を有する。平面検出装置1は、移動ロボットの移動状態に応じて、サンプリング対象領域が異なる複数のテンプレートより任意のテンプレートを選択し、選択されたテンプレートにより定められたサンプリング対象領域において、3次元データ群から2点の3次元データの組をサンプリングし、2点の3次元データの組に基づいて平面を検出する装置である。
移動ロボットは、平面検出装置1によって検出された平面に基づいて移動ロボットが歩行する歩行面の3次元情報を含む環境地図データを決定し、移動ロボットの2つの脚リンクそれぞれの先端に設けられた足平の着地位置を決定する。
さらに、移動ロボットは、決定された足平着地位置を実現するための動作データを生成し、生成された動作データをもとに移動ロボットの関節群をアクチュエータによって駆動することで歩行する。
尚、図1においては、説明の便宜上、移動体1が進行する向き(前後方向)をx軸、移動体1が進行する方向について水平方向に直交する向き(左右方向)をy軸、移動体の移動する平面から鉛直方向に延びる向き(上下方向)をz軸とし、これらの3軸からなる座標系を用いて説明する。すなわち、図1中において、前記x軸は紙面に向かって左右方向、y軸は紙面の奥行方法、z軸は紙面中の上下方向を示す。
脚部104は、右脚102及び左脚103により構成され、右脚102は、右膝関節102c、右足首関節102e、右足平102fを備え、同様に、左脚103は、左膝関節103c、左足首関節103e、左足平103fを備える。
図示しないモータからの駆動力が、同じく図示しないプーリ及びベルトを介して伝達されることで、各関節が所望の角度に駆動され、その結果、右脚102及び左脚103に所望の動きをさせることができる。
このようにすると、移動ロボット100の足元近傍の距離画像データについて高い分解能を確保することができ、密度の高い足元近傍の距離画像データを取得することができる。
このようにすると、上面視では、レーザ光によるスキャン範囲を移動ロボット100の移動方向前方に向かって、左右に広がった扇形形状となるように構成することができ、移動に必要な領域のみを効率的にスキャンすることができる。
まず、レーザレンジファインダ10を左右に揺動せずに固定した場合に、レーザ光を床面に垂直に移動方向前方に向かって上下に照射することで、床面に垂直な平面上における障害物の距離画像データを取得する。そして、レーザレンジファインダ10を移動ロボット100の鉛直軸を中心に、移動方向前方に向かって左右に揺動しながらスキャンすることで、複数の異なる平面上における距離画像データを取得する。次いで、レーザレンジファインダ10を揺動可能に支持する関節の角度に基づいて複数の距離画像データを座標変換して位置合わせする。これにより、複数平面上で得られた距離画像データの統合を行うことができる。または、複数の距離画像データから対応点を求めることによって、距離画像データ相互の位置合わせを行ってもよい。
このようにして、前方の領域に含まれる3次元の距離画像データを簡便な構成によって容易に取得することができる。
尚、視覚センサとして、レーザレンジファインダに代えてステレオカメラを用いてもよい。つまり、CCD(Charge Coupled Device)イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備えた複数のカメラを備え、これら複数のカメラによって撮影された画像の視差を利用して距離画像データを生成してもよい。より具体的には、複数のカメラによって撮影した画像データから対応点を検出し、ステレオ視によって対応点の3次元位置を復元する。ここで、複数の撮影画像における対応点の探索は、複数の撮影画像に対する時空間微分の拘束式を用いた勾配法や相関法等の公知の手法を適用して行えばよい。
例えば図4の画像は、移動ロボット100により生成される3次元位置データ群の一例を示している。尚、図4は、床面に平行なxy平面に3次元位置データ群がプロットされたものであり、プロットされた各点について高さ情報(z軸方向の位置情報)が存在する。
ここで、図4の画像をフレームと呼ぶ。移動ロボット100により処理対象となる現在のフレームを現フレームと呼び、現フレームの以前に生成されたフレームを前フレームと呼ぶ。移動ロボット100が移動することで、前フレームと現フレームとでは3次元位置データ群が変化する。
さらにまた、3次元位置データ生成部11は、移動ロボット100の上体部101に設けられたジャイロ(図示せず)からの出力に基づいて、3次元位置データ群のピッチ方向の歪みを補正する。即ち、移動ロボット100の腰部に設けられたジャイロ(図示せず)の出力からピッチ方向の回転成分を検出し、3次元位置データのピッチ方向の検出誤差を補正する。
これにより、歩行ロボットにおいて3次元位置データに与える影響が大きいピッチ方向の検出誤差を補正することができる。
図5(b)の環境地図200は、各グリッドのデータとして、各平面のそれぞれを一意に識別可能な平面ID、各グリッドのz軸方向の高さ、及び法線ベクトル(na,nb,nc)が保持される。
尚、隣接するグリッド間の平面IDの違い及びz軸方向の高さの違いによって右足平102f及び左足平103fの着地位置における路面の凹凸を検出するため、環境地図200を構成する各グリッドの面積は、右足平102f及び左足平103fの底面の面積より十分に小さくなるよう選択するとよい。
図7は、テンプレートに定められるサンプリング対象領域を説明するための図である。図8は、サンプリング対象領域が異なる複数のテンプレートを説明するための図である。本実施の形態においては、サンプリング対象領域が異なる複数のテンプレートが予め生成され、移動ロボット100に搭載される。これにより、環境に応じて速やかにテンプレートを選択することができる。
さらに、サンプリング対象領域S1において、2点の3次元位置データの組が、予めランダムにサンプリングされ設定されている。より具体的には、2点の3次元位置データの組にそれぞれ対応するData(i1,j1)及びData(i2,j2)について、(i1,j1)及び(i2,j2)がランダムにサンプリング対象領域S1内に設定される。
これにより、2点の3次元位置データの組をランダムにサンプリングする処理を繰り返さずに済み、予め設定されたData(i1,j1)及びData(i2,j2)に対応した3次元位置データの組を用いることで、より高速に2点の3次元位置データの組を抽出することができる。
例えば、図8(a)に示すテンプレートT0は、移動ロボット100の足元近傍領域をサンプリング対象領域S0(図8(a)の斜線領域)とするテンプレートの一例である。
図8(b)に示すテンプレートT1は、移動ロボット100の進行方向前方において、フレームの中央近傍に段差や斜面などの検出すべき平面がある場合に、その中央近傍の領域をサンプリング対象領域S1(図8(b)の斜線領域)とするテンプレートの一例である。
図8(c)に示すテンプレートT2は、移動ロボット100の進行方向前方において、フレーム内に段差や斜面などの検出すべき平面がない場合に、進行方向遠方の領域をサンプリング対象領域S2(図8(c)の斜線領域)とするテンプレートの一例である。
図8(d)に示すテンプレートT3は、移動ロボット100が回転動作を行う場合に、移動ロボット100の足元近傍領域をサンプリング対象領域S3(図8(d)の斜線領域)とするテンプレートの一例である。
尚、図8(e)に示すテンプレートT4は、サンプリング対象領域を定めていないテンプレートを示している。
図9(a)に示すように、前フレームの平面情報より、移動ロボット100の進行方向前方に段差や斜面などの検出すべき平面(図9(a)において破線で囲まれた領域V)が存在するものと判定された場合には、テンプレート選択部12は、フレームの中央近傍の領域U2をサンプリング対象とするテンプレート(例えば図8(b)に示したテンプレート)を選択する。
さらにまた、例えば図9(b)に示すように、前フレームの平面情報より、移動ロボット100の進行方向前方に段差や斜面などの検出すべき平面が存在しないものと判定された場合には、テンプレート選択部12は、進行方向遠方の領域U3やセンサのセンシング領域の側面領域U4などをサンプリング対象とするテンプレート(例えば図8(c)に示したテンプレート)を選択する。
Dmin<Distance(Data(i1,j1),Data(i2,j2))<Dmax
ここで、上記の不等式を満足しないData(i1,j1)及びData(i2,j2)に対応する2点の3次元位置データの組みは採用されないものとする。
判定の結果、サンプリングされたベクトルの個数が予め定められた個数以上となっている場合には、ステップS105へと進む。
このため、条件を満足して得られたベクトルの個数に応じてテンプレートを切替えることにより、環境により適応したテンプレートを選択するように構成する。
具体的には、まず、サンプリングされたベクトルを正規化し原点へと移動する。すると、同一平面上に存在するベクトル群は原点を中心とする円盤状に分布するため、その円盤に直交するベクトルの角度を平面の法線として算出する。
具体的には、まず、原点からステップS105において探索された平面の法線ベクトルの方向に、平面上に存在するベクトルの密度が予め定めた閾値以上となる平面を探索する。そして、原点から探索された平面までの距離を検出候補平面までの距離とする。
尚、平面IDは、ステップS105からS106までの処理にかけて探索された複数の平面に対応して設定される。
特に、2点ランダムサンプリング法においては、これまで全領域においてベクトルをランダムにサンプリングしていたため、大きさに関する条件を満足するベクトルがサンプリングされる確率が低くなり、効率的に所望の個数のベクトルを抽出することができなかった。さらに、条件を満足するベクトルを所望の個数抽出するまでサンプリング処理を繰り返す必要があったため、平面検出に要する処理時間が非常に大きなものとなっていた。
本実施の形態によれば、予め、サンプリング対象領域における2点の3次元位置データの組を設定し、当該領域において設定された2点の3次元位置データの組みに基づいてサンプリングを実施する。これにより条件を満足したベクトルを効率よくサンプリングすることができるため、2点ランダムサンプリング法をより高速に実施することができる。
このように、平面検出に要する処理時間を短縮することにより、ひいては、平面検出処理が移動ロボットの高速移動の制約となることを緩和させることができる。
移動ロボット100の移動に伴って測定環境は変化するため、条件を満足して抽出されるベクトルの個数が得られる確率も変化する。このため、全ての領域をサンプリング対象領域とした場合や、同一のテンプレートを用いてサンプリングを実施し続けた場合には、検出すべき領域から所望の個数のベクトルを抽出することができない場合がある。
本実施の形態によれば、測定環境に応じてテンプレートを切替えることで、条件を満足してサンプリングされるベクトルの個数が得られる確率を環境に応じて向上させることができる。即ち、測定環境に応じてテンプレートを切替えることによりサンプリング対象領域を調整し、平面検出のための検出感度を向上させることができる。従って、より精度の高い平面検出を行うことができる。
発明の実施の形態1は、2点ランダムサンプリング法によって平面を検出する一例を示したが、本発明はこれに限定されない。例えば、移動ロボット100の移動状態に応じて、サンプリング対象領域が異なる複数のテンプレートより任意のテンプレートを選択し、選択されたテンプレートにより定められたサンプリング対象領域において、3次元位置データ群から複数の3次元位置データをサンプリングし、サンプリングされた3次元位置データからハフ変換を利用して平面を検出するように構成してもよい。
10 レーザレンジファインダ、11 3次元位置データ生成部、
12 テンプレート選択部、13 平面検出部、14 環境地図生成部、
15 歩行計画部、16 動作生成部、
17 制御部、18 アクチュエータ、19 エンコーダ
100 移動ロボット、104 脚部、
102 右脚、102c 右膝関節、102e 右足首関節、102f 右足平、
103 左脚、103c 左膝関節、103e 左足首関節、103f 左足平、
160 環境、161 障害物、P11、12 床面、200 環境地図、
P 搭乗者、R11、12 領域、V 領域、
T0〜T4 テンプレート、S0〜S3 サンプリング対象領域
Claims (10)
- 平面を検出する平面検出方法であって、
移動ロボットの移動状態に応じて、サンプリング対象領域が異なる複数のテンプレートより任意のテンプレートを選択するステップと、
選択されたテンプレートにより定められたサンプリング対象領域において、3次元データ群から2点の3次元データの組をサンプリングし、該2点の3次元データの組に基づいて平面を検出するステップと
を有する平面検出方法。 - 前記移動ロボットの過去の移動状態における平面情報に基づいて前記テンプレートを選択する
ことを特徴とする請求項1記載の平面検出方法。 - 前記サンプリングされた2点の3次元データの組の個数に基づいて前記テンプレートを選択する
ことを特徴とする請求項1又は2記載の平面検出方法。 - 前記テンプレートは、予めサンプリング対象領域が定められ前記移動ロボットに搭載されたものである
ことを特徴とする請求項1乃至3いずれか1項記載の平面検出方法。 - 前記2点の3次元データの組は、前記テンプレートにより定められたサンプリング対象領域において、予めランダムにサンプリングされたものである
ことを特徴とする請求項4記載の平面検出方法。 - 所定の環境内を移動する移動ロボットであって、
前記移動ロボットの移動状態に応じて、サンプリング対象領域が異なる複数のテンプレートより任意のテンプレートを選択するテンプレート選択部と、
選択されたテンプレートにより定められたサンプリング対象領域において、3次元データ群から2点の3次元データの組をサンプリングし、該2点の3次元データの組に基づいて平面を検出する平面検出部と
を備える移動ロボット。 - 前記テンプレート選択部は、
前記移動ロボットの過去の移動状態における平面情報に基づいて前記テンプレートを選択する
ことを特徴とする請求項6記載の移動ロボット。 - 前記テンプレート選択部は、
前記サンプリングされた2点の3次元データの組の個数に基づいて前記テンプレートを選択する
ことを特徴とする請求項6又は7記載の移動ロボット。 - 前記テンプレートは、予めサンプリング対象領域が定められ前記移動ロボットに搭載されたものである
ことを特徴とする請求項6乃至8いずれか1項記載の移動ロボット。 - 前記2点の3次元データの組は、前記テンプレートにより定められたサンプリング対象領域において、予めランダムにサンプリングされたものである
ことを特徴とする請求項9記載の移動ロボット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007112284A JP4844459B2 (ja) | 2007-04-20 | 2007-04-20 | 平面検出方法、及び移動ロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007112284A JP4844459B2 (ja) | 2007-04-20 | 2007-04-20 | 平面検出方法、及び移動ロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008264947A true JP2008264947A (ja) | 2008-11-06 |
JP4844459B2 JP4844459B2 (ja) | 2011-12-28 |
Family
ID=40045176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007112284A Expired - Fee Related JP4844459B2 (ja) | 2007-04-20 | 2007-04-20 | 平面検出方法、及び移動ロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4844459B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011145924A (ja) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | 移動装置及び方法 |
KR101164336B1 (ko) | 2010-04-21 | 2012-07-09 | 고려대학교 산학협력단 | 이동 로봇의 기준면 높이 보정 방법 및 이를 이용한 고도 지도 작성 방법 |
JP2014529314A (ja) * | 2011-07-20 | 2014-11-06 | スミス アンド ネフュー インコーポレーテッド | 解剖学的構造へのインプラントの適合を最適化するシステムおよび方法 |
JP2015024453A (ja) * | 2013-07-25 | 2015-02-05 | トヨタ自動車株式会社 | 載置判断方法、載置方法、載置判断装置及びロボット |
KR20180088306A (ko) * | 2017-01-26 | 2018-08-03 | (주)로보케어 | 센서 좌표계를 게임 존에 캘리브레이션하는 방법 및 장치 |
DE112021001132T5 (de) | 2020-02-17 | 2022-12-29 | Fanuc Corporation | Dreidimensionale messvorrichtung zum erzeugen dreidimensionalerpunktpositionsinformationen |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002144278A (ja) * | 2000-11-13 | 2002-05-21 | Honda Motor Co Ltd | 脚式移動ロボット |
JP2005144606A (ja) * | 2003-11-17 | 2005-06-09 | Yaskawa Electric Corp | 移動ロボット |
JP2006192562A (ja) * | 2004-12-14 | 2006-07-27 | Honda Motor Co Ltd | 自律移動ロボット |
-
2007
- 2007-04-20 JP JP2007112284A patent/JP4844459B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002144278A (ja) * | 2000-11-13 | 2002-05-21 | Honda Motor Co Ltd | 脚式移動ロボット |
JP2005144606A (ja) * | 2003-11-17 | 2005-06-09 | Yaskawa Electric Corp | 移動ロボット |
JP2006192562A (ja) * | 2004-12-14 | 2006-07-27 | Honda Motor Co Ltd | 自律移動ロボット |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011145924A (ja) * | 2010-01-15 | 2011-07-28 | Nec Access Technica Ltd | 移動装置及び方法 |
KR101164336B1 (ko) | 2010-04-21 | 2012-07-09 | 고려대학교 산학협력단 | 이동 로봇의 기준면 높이 보정 방법 및 이를 이용한 고도 지도 작성 방법 |
JP2014529314A (ja) * | 2011-07-20 | 2014-11-06 | スミス アンド ネフュー インコーポレーテッド | 解剖学的構造へのインプラントの適合を最適化するシステムおよび方法 |
US10102309B2 (en) | 2011-07-20 | 2018-10-16 | Smith & Nephew, Inc. | Systems and methods for optimizing fit of an implant to anatomy |
US10922448B2 (en) | 2011-07-20 | 2021-02-16 | Smith & Nephew, Inc. | Systems and methods for optimizing fit of an implant to anatomy |
US11868681B2 (en) | 2011-07-20 | 2024-01-09 | Smith & Nephew, Inc. | Systems and methods for optimizing fit of an implant to anatomy |
US11977817B2 (en) | 2011-07-20 | 2024-05-07 | Smith & Nephew, Inc. | Systems and methods for optimizing fit of an implant to anatomy |
JP2015024453A (ja) * | 2013-07-25 | 2015-02-05 | トヨタ自動車株式会社 | 載置判断方法、載置方法、載置判断装置及びロボット |
KR20180088306A (ko) * | 2017-01-26 | 2018-08-03 | (주)로보케어 | 센서 좌표계를 게임 존에 캘리브레이션하는 방법 및 장치 |
KR101979246B1 (ko) | 2017-01-26 | 2019-05-16 | (주)로보케어 | 센서 좌표계를 게임 존에 캘리브레이션하는 방법 및 장치 |
DE112021001132T5 (de) | 2020-02-17 | 2022-12-29 | Fanuc Corporation | Dreidimensionale messvorrichtung zum erzeugen dreidimensionalerpunktpositionsinformationen |
Also Published As
Publication number | Publication date |
---|---|
JP4844459B2 (ja) | 2011-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5067215B2 (ja) | 移動ロボット及び環境地図生成方法 | |
JP2009136987A (ja) | 移動ロボット、及び床面形状データの補正方法 | |
JP4788722B2 (ja) | 自律移動ロボット、自己位置推定方法、環境地図の生成方法、環境地図の生成装置、及び環境地図のデータ構造 | |
Luck et al. | Registration of range data using a hybrid simulated annealing and iterative closest point algorithm | |
JP5602392B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP4844459B2 (ja) | 平面検出方法、及び移動ロボット | |
CN108603936B (zh) | 激光扫描系统、激光扫描方法、非暂时性计算机可读存储介质 | |
JP5567908B2 (ja) | 3次元計測装置、その計測方法及びプログラム | |
JP4241651B2 (ja) | 移動装置 | |
JP5911934B2 (ja) | 輪郭線計測装置およびロボットシステム | |
JP4645601B2 (ja) | 環境地図の生成方法及び移動ロボット | |
KR101705601B1 (ko) | 3차원 깊이정보기반 자율주행 로봇의 위치추정 장치 및 그 방법 | |
JP2020021326A (ja) | 情報処理方法、情報処理装置およびプログラム | |
JP2009258779A (ja) | 移動ロボット及び足跡計画方法 | |
JP2013025401A (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
JP4678007B2 (ja) | 環境地図生成方法、及び移動ロボット | |
CN108544494A (zh) | 一种基于惯性和视觉特征的定位装置、方法及机器人 | |
US20220214696A1 (en) | Simultaneous Localization and Mapping | |
CN107136649A (zh) | 一种基于自动寻轨模式的三维脚型测量装置及实现方法 | |
JP6410231B2 (ja) | 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム | |
JP2017167974A (ja) | 推定装置、方法及びプログラム | |
JP2015007639A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2008264946A (ja) | 移動ロボット、及び床面形状データの補正方法 | |
KR101784584B1 (ko) | 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법 | |
JP2009042147A (ja) | 物体認識装置および物体認識方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110620 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110913 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110926 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4844459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |