JP2009157430A - 座標補正方法、座標補正プログラム、及び自律移動ロボット - Google Patents
座標補正方法、座標補正プログラム、及び自律移動ロボット Download PDFInfo
- Publication number
- JP2009157430A JP2009157430A JP2007331795A JP2007331795A JP2009157430A JP 2009157430 A JP2009157430 A JP 2009157430A JP 2007331795 A JP2007331795 A JP 2007331795A JP 2007331795 A JP2007331795 A JP 2007331795A JP 2009157430 A JP2009157430 A JP 2009157430A
- Authority
- JP
- Japan
- Prior art keywords
- map
- obstacle
- environmental
- cell
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 65
- 238000012937 correction Methods 0.000 title claims description 14
- 230000007613 environmental effect Effects 0.000 claims abstract description 86
- 238000004364 calculation method Methods 0.000 claims abstract description 43
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims 3
- 230000033001 locomotion Effects 0.000 abstract description 25
- 206010034719 Personality change Diseases 0.000 abstract 1
- 230000036544 posture Effects 0.000 description 46
- 230000006870 function Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【解決手段】(a)一方の環境地図の座標系を並進又は回転させることにより、一方の環境地図の姿勢を変動させ、(b)一方の環境地図に含まれる移動不可能な領域である複数の障害物セルの各々について、姿勢変動後の一方の環境地図の各障害物セルから、他方の環境地図における最寄りの障害物セルまでの距離を求める。(c)複数の障害物セルについて算出した最寄りの障害物セルまでの距離の合計値を目的関数として最適化計算を行い、目的関数が最適化される一方の環境地図の姿勢を決定する。(d)最適化計算により得られた一方の環境地図の姿勢に基づいて、2つの環境地図のうちの一方の地図上の座標を、他方の地図上の座標に座標変換する。
【選択図】図4
Description
(1)まず、結合する2枚のグリッド画像の各々から複数の特徴点を抽出する。
(2)次に、2枚のグリッド画像間で複数の特徴点を照合して一致する特徴点を識別する。特徴点の照合は、例えば、特徴点周囲の複数のグリッドにおける占有グリッド、非占有グリッド及び未知グリッドの数を表すヒストグラムを比較することにより行われる。ここで、占有グリッドは障害物に占有されているために走行不可能なグリッドであり、非占有グリッドは走行可能なグリッドであり、未知グリッドは未計測のグリッドである。
(3)続いて、一致した特徴点同士が重なるように、2枚のグリッド画像の重ね合わせ、すなわち座標変換を実行する。
(2−1)一方のグリッド画像の複数の特徴点の中から2点を選択し、これら2点を通る座標系を設定し、設定された座標系における他の特徴点の座標を算出する。もう一方のグリッド画像についても同様に、2つの特徴点を選択し、これら2点を通る座標系を設定し、設定された座標系における他の特徴点の座標を算出する。
(2−2)次に、2つのグリッド画像に含まれる全ての特徴点の間でヒストグラムを照合し、占有グリッドの数の差が所定の閾値以下である場合に特徴点間の相対距離を求め、得られた相対距離が所定の閾値以下である場合にこれらの特徴点が一致したものとしてカウントする。
(2−3)上記の(2−1)及び(2−2)の処理を2つの特徴点の全通りの組み合わせの座標系に対して行なう。
(2−4)特徴点の一致率の最も高かった座標系を2枚のグリッド画像の重ね合わせ用の座標系に決定する。
(a)前記第1の環境地図の座標系を並進又は回転させることにより、前記前記第1の環境地図の姿勢を変動させるステップ、
(b)前記第1の環境地図に含まれる移動不可能な領域である複数の障害物セルの各々について、姿勢変動後の前記第1の環境地図の各障害物セルから、前記第2の環境地図における最寄りの障害物セルまでの距離を求めるステップ、
(c)前記複数の障害物セルについて算出した前記距離の合計値又は前記合計値に関連するパラメータを目的関数として最適化計算を行い、前記目的関数が最適化される前記第1の環境地図の姿勢を決定するステップ、及び、
(d)前記最適化計算により得られた前記第1の環境地図の姿勢に基づいて、前記第1及び前記第2の環境地図のうちの一方の地図上の座標を、他方の地図上の座標に座標変換するステップ。
(a)前記第1の環境地図の座標系を並進又は回転させることにより、前記前記第1の環境地図の姿勢を変動させる処理、
(b)前記第1の環境地図に含まれる移動不可能な領域である複数の障害物セルの各々について、姿勢変動後の前記第1の環境地図の各障害物セルから、前記第2の環境地図における最寄りの障害物セルまでの距離を求める処理、
(c)前記複数の障害物セルについて算出した前記距離の合計値又は前記合計値に関連するパラメータを目的関数として最適化計算を行い、前記目的関数が最適化される前記第1の環境地図の姿勢を決定する処理、及び、
(d)前記最適化計算により得られた前記第1の環境地図の姿勢に基づいて、前記第1及び前記第2の環境地図のうちの一方の地図上の座標を、他方の地図上の座標に座標変換する処理。
本実施の形態にかかる自律移動ロボット1(以下、単にロボット1と呼ぶ)は、移動空間内の床面上を車輪153で走行する。なお、本実施の形態では、車輪走行型の自律移動ロボットを例にとって具体的に説明するが、脚歩行型など他の移動ロボットも本発明に含まれることは勿論である。
上述した発明の実施の形態1は、車輪走行型の移動ロボットについて具体的に説明した。しかしながら、本発明は、車輪走行型に限らず様々な移動ロボットに適用可能である。例えば、本発明は、球形の回転体の回転駆動によって走行する移動ロボット、脚部によって歩行する二足歩行型又は多足歩行型の移動ロボット等にも適用可能である。
11 視覚センサ
12 環境地図生成部
13 相対姿勢算出部
14 座標変換部
15 自律移動部
150 動作計画部
151 動作制御部
152 駆動部
153 車輪
154 エンコーダ
21、51 環境地図(壁マップ)
52 環境地図(壁距離マップ)
Claims (6)
- 各々がグリッド地図として構成され、前記グリッド地図を構成する複数のセルの各々に関連付けて、ロボットが移動可能な領域であるか否かを示す情報が少なくとも保持される第1及び第2の環境地図の間での座標補正方法であって、
前記第1の環境地図の座標系を並進又は回転させることにより、前記前記第1の環境地図の姿勢を変動させるステップ(a)と、
前記第1の環境地図に含まれる移動不可能な領域である複数の障害物セルの各々について、姿勢変動後の前記第1の環境地図の各障害物セルから、前記第2の環境地図における最寄りの障害物セルまでの距離を求めるステップ(b)と、
前記複数の障害物セルについて算出した前記距離の合計値又は前記合計値に関連するパラメータを目的関数として最適化計算を行い、前記目的関数が最適化される前記第1の環境地図の姿勢を決定するステップ(c)と、
前記最適化計算により得られた前記第1の環境地図の姿勢に基づいて、前記第1及び前記第2の環境地図のうちの一方の地図上の座標を、他方の地図上の座標に座標変換するステップ(d)と、
を含む座標補正方法。 - 前記第2の環境地図に基づいて、前記第2の環境地図を構成する各セルに関連付けて、最寄りの前記障害物セルからの距離情報が保持されたグリッド地図としての障害物距離マップを作成するステップをさらに含み、
前記ステップ(b)では、姿勢変動後の前記第1の環境地図の各障害物セルの位置に対応する前記障害物距離マップ上のセルに関連付けられた前記距離情報を読み出すことにより、前記距離を求める、請求項1に記載の座標補正方法。 - 各々がグリッド地図として構成され、前記グリッド地図を構成する複数のセルの各々に関連付けて、ロボットが移動可能な領域であるか否かを示す情報が少なくとも保持される第1及び第2の環境地図の間での座標補正処理をコンピュータに実行させるための座標補正プログラムであって、
前記座標補正処理は、
(a)前記第1の環境地図の座標系を並進又は回転させることにより、前記前記第1の環境地図の姿勢を変動させる処理と、
(b)前記第1の環境地図に含まれる移動不可能な領域である複数の障害物セルの各々について、姿勢変動後の前記第1の環境地図の各障害物セルから、前記第2の環境地図における最寄りの障害物セルまでの距離を求める処理と、
(c)前記複数の障害物セルについて算出した前記距離の合計値又は前記合計値に関連するパラメータを目的関数として最適化計算を行い、前記目的関数が最適化される前記第1の環境地図の姿勢を決定する処理と、
(d)前記最適化計算により得られた前記第1の環境地図の姿勢に基づいて、前記第1及び前記第2の環境地図のうちの一方の地図上の座標を、他方の地図上の座標に座標変換する処理と、
を含む座標補正プログラム。 - 前記座標補正処理は、
前記第2の環境地図に基づいて、前記第2の環境地図を構成する各セルに関連付けて、最寄りの前記障害物セルからの距離情報が保持されたグリッド地図としての障害物距離マップを作成する処理をさらに含み、
前記処理(b)では、姿勢変動後の前記第1の環境地図の各障害物セルの位置に対応する前記障害物距離マップ上のセルに関連付けられた前記距離情報を読み出すことにより、前記距離を求める、請求項3に記載の座標補正プログラム。 - 移動空間に関する環境地図を作成する機能を有する自律移動ロボットであって、
前記自律移動ロボットの周囲環境を計測するセンサと、
前記センサの計測情報に基づいて、新たな環境地図を作成する地図作成部と、
過去に作成された環境地図と前記新たな環境地図との間の相対姿勢を算出する相対姿勢算出部と、
前記相対姿勢に基づいて、前記過去の環境地図上の座標を、前記新たな環境地図上の座標に変換する座標変換部と備え、
前記新たな環境地図及び前記過去の環境地図は、各々がグリッド地図として構成され、前記グリッド地図を構成する複数のセルの各々に関連付けて、前記自律移動ロボットが移動可能な領域であるか否かを示す情報が少なくとも保持されており、
前記相対姿勢算出部は、
前記新たな環境地図及び前記過去の環境地図のうちの一方の環境地図の座標系を並進又は回転させることにより、前記一方の環境地図の姿勢を変動させ、
前記一方の環境地図に含まれる移動不可能な領域である複数の障害物セルの各々について、姿勢変動後の前記一方の環境地図の各障害物セルから、他方の環境地図における最寄りの障害物セルまでの距離を求め、
前記複数の障害物セルについて算出した前記距離の合計値又は前記合計値に関連するパラメータを目的関数として最適化計算を行い、前記目的関数が最適化される前記一方の環境地図の姿勢を決定する、
自律移動ロボット。 - 前記相対姿勢算出部は、
前記他方の環境地図に基づいて、前記他方の環境地図を構成する各セルに関連付けて、最寄りの前記障害物セルからの距離情報が保持されたグリッド地図としての障害物距離マップを参照し、
姿勢変動後の前記一方の環境地図の各障害物セルの位置に対応する前記障害物距離マップ上のセルに関連付けられた前記距離情報を読み出すことにより、前記距離を求める、請求項5に記載の自律移動ロボット。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007331795A JP5018458B2 (ja) | 2007-12-25 | 2007-12-25 | 座標補正方法、座標補正プログラム、及び自律移動ロボット |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007331795A JP5018458B2 (ja) | 2007-12-25 | 2007-12-25 | 座標補正方法、座標補正プログラム、及び自律移動ロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009157430A true JP2009157430A (ja) | 2009-07-16 |
JP5018458B2 JP5018458B2 (ja) | 2012-09-05 |
Family
ID=40961431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007331795A Expired - Fee Related JP5018458B2 (ja) | 2007-12-25 | 2007-12-25 | 座標補正方法、座標補正プログラム、及び自律移動ロボット |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5018458B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059719A (ja) * | 2012-09-18 | 2014-04-03 | Ihi Corp | 移動体の相対姿勢計測方法と装置 |
US9254870B2 (en) | 2013-11-08 | 2016-02-09 | Hanwha Techwin Co., Ltd. | Method of generating optimum parking path of unmanned driving vehicle, and unmanned driving vehicle adopting the method |
JP5902275B1 (ja) * | 2014-10-28 | 2016-04-13 | シャープ株式会社 | 自律移動装置 |
JP2016134090A (ja) * | 2015-01-21 | 2016-07-25 | 株式会社東芝 | 画像処理装置及びそれを用いた運転支援システム |
WO2017030188A1 (ja) * | 2015-08-19 | 2017-02-23 | Cyberdyne株式会社 | 自律移動体および施設内管理運営システム |
JP2017106978A (ja) * | 2015-12-07 | 2017-06-15 | 株式会社データ変換研究所 | 物体位置データベース構築システム |
KR101828255B1 (ko) * | 2016-02-19 | 2018-02-13 | 국방과학연구소 | 주행정보 및 환경인식 기반 주행영역 갱신 장치 및 그 제어방법 |
WO2019044498A1 (ja) * | 2017-09-04 | 2019-03-07 | 日本電産株式会社 | 移動体、位置推定装置、およびコンピュータプログラム |
DE112017007479T5 (de) | 2017-06-01 | 2020-01-09 | Mitsubishi Electric Corporation | Kartenverarbeitungseinrichtung, Kartenverarbeitungsverfahren und Kartenverarbeitungsprogramm |
CN110936383A (zh) * | 2019-12-20 | 2020-03-31 | 上海有个机器人有限公司 | 一种机器人的障碍物避让方法、介质、终端和装置 |
CN113050660A (zh) * | 2021-06-01 | 2021-06-29 | 新石器慧通(北京)科技有限公司 | 误差补偿方法、装置、计算机设备及存储介质 |
KR20210116576A (ko) * | 2019-04-12 | 2021-09-27 | 아미크로 세미컨덕터 씨오., 엘티디. | 시각적 로봇 기반의 과거 지도 이용 방법 |
CN113568401A (zh) * | 2021-05-30 | 2021-10-29 | 山东新一代信息产业技术研究院有限公司 | 一种机器人禁行区域规划方法、系统及机器人 |
WO2022068926A1 (zh) * | 2020-09-30 | 2022-04-07 | 杭州海康机器人技术有限公司 | 用于多机器人混行的方法、装置及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6614107B2 (ja) | 2016-11-18 | 2019-12-04 | 株式会社デンソー | 地図データ提供システム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005106953A (ja) * | 2003-09-29 | 2005-04-21 | Sharp Corp | 電子地図作成装置、電子地図作成方法、電子地図作成プログラム、および該プログラムを記録した記録媒体 |
JP2005326944A (ja) * | 2004-05-12 | 2005-11-24 | Hitachi Ltd | レーザー計測により地図画像を生成する装置及び方法 |
-
2007
- 2007-12-25 JP JP2007331795A patent/JP5018458B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005106953A (ja) * | 2003-09-29 | 2005-04-21 | Sharp Corp | 電子地図作成装置、電子地図作成方法、電子地図作成プログラム、および該プログラムを記録した記録媒体 |
JP2005326944A (ja) * | 2004-05-12 | 2005-11-24 | Hitachi Ltd | レーザー計測により地図画像を生成する装置及び方法 |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014059719A (ja) * | 2012-09-18 | 2014-04-03 | Ihi Corp | 移動体の相対姿勢計測方法と装置 |
US9254870B2 (en) | 2013-11-08 | 2016-02-09 | Hanwha Techwin Co., Ltd. | Method of generating optimum parking path of unmanned driving vehicle, and unmanned driving vehicle adopting the method |
JP5902275B1 (ja) * | 2014-10-28 | 2016-04-13 | シャープ株式会社 | 自律移動装置 |
WO2016067640A1 (ja) * | 2014-10-28 | 2016-05-06 | シャープ株式会社 | 自律移動装置 |
JP2016085689A (ja) * | 2014-10-28 | 2016-05-19 | シャープ株式会社 | 自律移動装置 |
JP2016134090A (ja) * | 2015-01-21 | 2016-07-25 | 株式会社東芝 | 画像処理装置及びそれを用いた運転支援システム |
WO2017030188A1 (ja) * | 2015-08-19 | 2017-02-23 | Cyberdyne株式会社 | 自律移動体および施設内管理運営システム |
JPWO2017030188A1 (ja) * | 2015-08-19 | 2018-07-05 | Cyberdyne株式会社 | 自律移動体および施設内管理運営システム |
JP2017106978A (ja) * | 2015-12-07 | 2017-06-15 | 株式会社データ変換研究所 | 物体位置データベース構築システム |
KR101828255B1 (ko) * | 2016-02-19 | 2018-02-13 | 국방과학연구소 | 주행정보 및 환경인식 기반 주행영역 갱신 장치 및 그 제어방법 |
DE112017007479T5 (de) | 2017-06-01 | 2020-01-09 | Mitsubishi Electric Corporation | Kartenverarbeitungseinrichtung, Kartenverarbeitungsverfahren und Kartenverarbeitungsprogramm |
WO2019044498A1 (ja) * | 2017-09-04 | 2019-03-07 | 日本電産株式会社 | 移動体、位置推定装置、およびコンピュータプログラム |
JPWO2019044498A1 (ja) * | 2017-09-04 | 2020-08-27 | 日本電産株式会社 | 移動体、位置推定装置、およびコンピュータプログラム |
KR20210116576A (ko) * | 2019-04-12 | 2021-09-27 | 아미크로 세미컨덕터 씨오., 엘티디. | 시각적 로봇 기반의 과거 지도 이용 방법 |
JP2022528861A (ja) * | 2019-04-12 | 2022-06-16 | 珠海一微半導体股▲ふん▼有限公司 | 視覚ロボットに基づく履歴地図利用方法 |
US11928869B2 (en) | 2019-04-12 | 2024-03-12 | Amicro Semiconductor Co., Ltd. | Historical map utilization method based on vision robot |
KR102693581B1 (ko) | 2019-04-12 | 2024-08-08 | 아미크로 세미컨덕터 씨오., 엘티디. | 시각적 로봇 기반의 과거 지도 이용 방법 |
CN110936383A (zh) * | 2019-12-20 | 2020-03-31 | 上海有个机器人有限公司 | 一种机器人的障碍物避让方法、介质、终端和装置 |
WO2022068926A1 (zh) * | 2020-09-30 | 2022-04-07 | 杭州海康机器人技术有限公司 | 用于多机器人混行的方法、装置及存储介质 |
CN113568401A (zh) * | 2021-05-30 | 2021-10-29 | 山东新一代信息产业技术研究院有限公司 | 一种机器人禁行区域规划方法、系统及机器人 |
CN113568401B (zh) * | 2021-05-30 | 2024-04-16 | 山东新一代信息产业技术研究院有限公司 | 一种机器人禁行区域规划方法、系统及机器人 |
CN113050660A (zh) * | 2021-06-01 | 2021-06-29 | 新石器慧通(北京)科技有限公司 | 误差补偿方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5018458B2 (ja) | 2012-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5018458B2 (ja) | 座標補正方法、座標補正プログラム、及び自律移動ロボット | |
CN110243360B (zh) | 机器人在运动区域的地图构建及定位方法 | |
JP5803367B2 (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
JP5452442B2 (ja) | ロボットシステム及び地図更新方法 | |
Sprunk et al. | Lidar-based teach-and-repeat of mobile robot trajectories | |
JP2009193240A (ja) | 移動ロボット及び環境地図の生成方法 | |
US20220390954A1 (en) | Topology Processing for Waypoint-based Navigation Maps | |
Kim et al. | UAV-UGV cooperative 3D environmental mapping | |
CN113778096B (zh) | 室内机器人的定位与模型构建方法及系统 | |
CN110260866A (zh) | 一种基于视觉传感器的机器人定位与避障方法 | |
JP2009053561A (ja) | 自律移動装置用の地図生成システムおよび地図生成方法 | |
JP5728564B2 (ja) | ロボットシステム及び地図更新方法 | |
Li et al. | Hybrid filtering framework based robust localization for industrial vehicles | |
JP5953393B2 (ja) | ロボットシステム及び地図更新方法 | |
JP2010112836A (ja) | 自己位置同定装置および該自己位置同定装置を備えた移動ロボット | |
Yue et al. | LiDAR-based SLAM for robotic mapping: state of the art and new frontiers | |
CN112082542A (zh) | 数字模型校正 | |
CN115407769A (zh) | 基于Cartographer算法的移动搬运机器人控制方法及系统 | |
Feng | Camera Marker Networks for Pose Estimation and Scene Understanding in Construction Automation and Robotics. | |
CN112747752A (zh) | 基于激光里程计的车辆定位方法、装置、设备和存储介质 | |
Hu et al. | Accurate fiducial mapping for pose estimation using manifold optimization | |
JP2016103269A (ja) | 移動量推定装置、自律移動体、及び移動量の推定方法 | |
US20240192695A1 (en) | Anchoring based transformation for aligning sensor data of a robot with a site model | |
CN112630745B (zh) | 一种基于激光雷达的环境建图方法和装置 | |
CN114236553B (zh) | 一种基于深度学习的自主移动机器人定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120515 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120528 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5018458 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |