JP2005242409A - 自律移動ロボットシステム - Google Patents

自律移動ロボットシステム Download PDF

Info

Publication number
JP2005242409A
JP2005242409A JP2004047294A JP2004047294A JP2005242409A JP 2005242409 A JP2005242409 A JP 2005242409A JP 2004047294 A JP2004047294 A JP 2004047294A JP 2004047294 A JP2004047294 A JP 2004047294A JP 2005242409 A JP2005242409 A JP 2005242409A
Authority
JP
Japan
Prior art keywords
sign
self
autonomous mobile
mobile robot
robot system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004047294A
Other languages
English (en)
Other versions
JP4279703B2 (ja
Inventor
Tsuyoshi Yamane
剛志 山根
Tatsuo Sakai
龍雄 酒井
Hisato Nakajima
久人 中嶋
Hiroyuki Uematsu
弘幸 上松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2004047294A priority Critical patent/JP4279703B2/ja
Publication of JP2005242409A publication Critical patent/JP2005242409A/ja
Application granted granted Critical
Publication of JP4279703B2 publication Critical patent/JP4279703B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】自律移動ロボットシステムにおいて、不安全状況を引き起こす危険を未然に防止し、危険な場所を回避しながら目的地への移動を可能とする。
【解決手段】自律移動ロボットシステムは、移動環境に設けられた標識を検出する標識検出手段10と、周囲に存在する物体までの距離情報を得る距離計測手段12と、移動環境の地図情報を記憶した地図記憶手段15と、得られた距離情報と記憶された地図情報を照合して自己位置を推定する自己位置演算手段16と、目的地までの移動経路を生成する経路生成手段17とを備え、自己位置演算手段16によって自己位置を推定しながら移動経路に沿って移動し、得られた自己位置の正誤を判定する判定手段18は、予め定められた位置に設置されている標識2を標識検出手段10が検出したとき、得られた自己位置が間違っていると判定し、ロボット本体の移動を一旦停止して危険個所を回避する。
【選択図】図2

Description

本発明は、自律移動ロボットシステムに関し、特に、病院、オフィス、及び公共施設といった建物内で、かつ一般の人々が利用する施設において、危険な場所を回避しながら移動する自律移動ロボットシステムに関する。
従来から、所定の移動領域内で自律移動するロボットを物品の搬送や清掃などの作業システムに組み込んだ自律移動ロボットシステムがある。このようなシステムにおいて、ロボットが目的地に自律移動する際に、意図しない領域に出てしまい、階段から転落するなどの不安全な状況が想定される。そこで、危険場所に設置した標識(バーコード)を認識し、作業領域境界を意味する標識を識別した場合に、一旦停止、又は作業領域内側方向へ走行制御をする動作を行い、境界を越えて領域外に出ないようにしながら作業を行うものが提案されている(例えば、特許文献1参照)。
特開2002−323925号公報
しかしながら、上述した特許文献1に示されるようなロボットシステムは、移動環境内での自己位置認識を特に必要としないものである。例えば、壁位置などの環境情報を得ながら壁沿い移動や中塗り移動などの移動方法を用いて清掃作業を行うものである。一方、目的地まで物品を搬送する自律移動ロボット等においては、予め生成した移動経路に沿って、常に自己位置を推定しつつ、不安全な状況を回避しながら移動する必要がある。
本発明は、上記課題を解消するものであって、不安全状況を引き起こす危険を未然に防止し、危険な場所を回避しながら目的地に移動する自律移動ロボットシステムを提供することを目的とする。
上記課題を達成するために、請求項1の発明は、移動環境に設けられた標識を検出する標識検出手段と、周囲に存在する物体までの距離を測定する距離計測手段と、ロボット本体を移動するための駆動手段と、ロボット本体の移動方向を操舵する操舵手段と、移動環境の地図の情報を記憶した地図記憶手段と、前記距離計測手段で得られた距離情報と前記地図記憶手段で記憶された地図情報を照合して自己位置を推定する自己位置演算手段と、前記標識検出手段と自己位置演算手段からの信号に基づき目的地までの移動経路を生成する経路生成手段とを備え、ロボット本体が前記自己位置演算手段によって自己位置を推定しながら前記経路生成手段によって生成された移動経路に沿って移動する自律移動ロボットシステムであって、予め定められた位置に設置されている標識が前記標識検出手段によって検出されたとき、前記自己位置演算手段により得られた自己位置が間違っていると判定する判定手段を備え、この判定手段により自己位置が間違っていることが判定されたとき、ロボット本体の移動を一旦停止するものである。
請求項2の発明は、請求項1記載の自律移動ロボットシステムにおいて、前記標識が固有の情報を持ち、かつ、それらの情報が前記地図記憶手段に地図情報として記憶されており、前記判定手段は、前記標識検出手段によって検出した標識の固有情報と、前記記憶された地図情報と、前記自己位置演算手段によって推定された自己位置とに基づいて自己位置が間違えていると判定するものである。
請求項3の発明は、請求項1記載の自律移動ロボットシステムにおいて、前記標識検出手段として、CCD及び/又はCMOSセンサからなる画像センサを備えているものである。
請求項4の発明は、請求項3記載の自律移動ロボットシステムにおいて、標識が、異なる色を組合せたマークを互いの近傍に配置したものであり、ロボット本体の移動環境内での位置・方向を示すものである。
請求項5の発明は、請求項3記載の自律移動ロボットシステムにおいて、標識が、同色複数のマークをパターン配置したものであり、ロボット本体の移動環境内での位置・方向を示すものである。
請求項6の発明は、請求項3記載の自律移動ロボットシステムにおいて、標識が、異なる形状のマークを配置したものであり、ロボット本体の移動環境内での位置・方向を示すものである。
請求項7の発明は、請求項3記載の自律移動ロボットシステムにおいて、標識が、移動環境の天井に設置され、ロボット本体の移動環境内での絶対的な方向を示すものである。
請求項8の発明は、請求項3記載の自律移動ロボットシステムにおいて、標識が誤検出防止用の特定のマークを有するものである。
請求項9の発明は、請求項1記載の自律移動ロボットシステムにおいて、前記自己位置演算手段は、前記標識検出手段の出力をも含めて自己位置を認識するものである。
請求項10の発明は、請求項1記載の自律移動ロボットシステムにおいて、前記標識検出手段はレーザ光の受光素子を含み、前記標識が移動環境側に設けた1つ以上のレーザ発光装置である。
請求項1の発明によれば、判定手段によって自己位置が間違っていると判定されたとき、ロボット本体の移動を一旦停止するので、不安全状況を引き起こす危険を未然に防止し、危険な場所を回避しながら目的地に移動することができる。
請求項2の発明によれば、地図情報として記憶した標識固有の情報を用いて自己位置の正誤判定を行うので、確実かつ容易にその判定ができ、例えば、危険場所に設置した標識により、危険回避と自己位置の修正とを同時に行うことができる。
請求項3の発明によれば、画像センサにより安価な検出手段を構成することができる。
請求項4の発明によれば、少ないパターン数で位置・方向を表示できる。画像センサのピントが多少合っていなくても色検出により安定して位置・方向を検出できる。
請求項5又は請求項6の発明によれば、単色マークにより位置・方向を表示できる。
請求項7の発明によれば、標識を天井に設置するので、壁に表示する場合と異なり移動平面内における絶対方向を表示できる。また、標識を床面や壁面に表示する場合に比べて、天井では標識検出に邪魔になる遮蔽物がなく照明条件も良いので安定した標識検出ができる。
請求項8の発明によれば、標識により移動環境内での位置・方向を示すと同時に、標識の誤検出防止ができる。
請求項9の発明によれば、標識検出手段の出力をも含めて自己位置を認識するので、自己位置を正しく認識できる。
請求項10の発明によれば、標識検出に照明が不要であり、標識を危険場所に設置して自己位置推定の誤り検知と危険回避を行うことができる。
以下、本発明の一実施形態に係る自律移動ロボットシステムについて、図面を参照して説明する。図1は、自律移動ロボットシステムを示し、図2は、その制御ブロックを示す。自律移動ロボットシステムは、図1に示すように、移動環境に設けられた標識2を検出する標識検出手段10と、周囲に存在する物体までの距離を測定する距離計測手段12と、ロボット本体1を移動するための駆動手段13と、ロボット本体1の移動方向を操舵する操舵手段14と、移動環境の地図の情報を記憶した地図記憶手段15と、距離計測手段12で得られた距離情報と地図記憶手段15で記憶された地図情報を照合して自己位置を推定する自己位置演算手段16と、標識検出手段10と自己位置演算手段16からの信号に基づき目的地までの移動経路を生成する経路生成手段17とを備え、自己位置演算手段16によって自己位置を推定しながら経路生成手段17によって生成された移動経路に沿って移動する。
標識2は、移動環境に設置した目印であり、後述するように、マークやパターン、超音波信号を発する超音波発信器、レーザ光を発するレーザ発光装置などが用いられる。標識検出手段10は、CCD及び/又はCMOSセンサからなる画像センサ、さらに、対応する標識の種類に応じて超音波受信器やレーザ光の受光素子によって構成される。距離計測手段12は、ロボット本体1が移動する前方方向Aに存在する物体の自己位置からの距離分布(距離情報)を測定するものであり、複数のレーザ距離センサ、レーザレーダ、複数の超音波センサ、超音波アレイセンサなどで構成される。移動環境には、柱や壁などのように移動環境に元々存在していて、移動環境における位置特定に有効な環境情報がある。距離計測手段12で得られた距離情報は、これらの環境情報を与える。
駆動手段13は、図示しないバッテリにより動作するモータなどの駆動源と、独立に回転制御される左右駆動輪と、前後の補助輪とからなる。操舵手段14は、左右駆動輪の回転数の独立制御によりロボット本体1を操舵する。地図記憶手段15は、移動環境にある柱や壁などの位置を示す環境情報や、ロボット本体の移動に必要な自律的に移動する範囲の地図情報を記憶している。
図2に示すように、自己位置演算手段16は、距離計測手段12で得られた距離情報と地図記憶手段15で記憶された地図情報と、さらに標識検出手段10からの出力と、をも含めてこれらの情報を照合して自己位置を推定する。自己位置推定は、距離情報と地図情報を照合して行うこともできる。経路生成手段17は、標識検出手段10と自己位置演算手段16からの信号に基づいて移動経路を生成する。すなわち、移動経路は、ロボット本体1の移動中に前記信号に基づいて修正、更新される。操舵手段14は、生成された移動経路に沿って駆動手段13を制御して目的地にロボット本体1を移動する。
さらに、自律移動ロボットシステムは、自己位置演算手段16により得られた自己位置の正誤を判定する判定手段18を備えている。判定手段18は、予め定められた位置に設置されている標識2を標識検出手段10が検出したとき、自己位置演算手段16により得られた自己位置が間違っていると判定する。また、判定手段18は、自己位置の正誤の判定に際し、標識検出手段10によって検出した標識の固有情報に加え、地図記憶手段15により予め地図情報として記憶した標識の固有情報をも参照することができる。判定手段18による判定結果は、自己位置演算手段16に渡され、さらに、操舵手段14に伝達され、判定結果の内容に従い、ロボット本体1の一旦停止などの処理が行われる。
また、自律移動ロボットシステムは、一旦停止などのロボット本体1の移動状況や自己位置を無線により遠隔にある監視装置32に通信する無線通信手段31と、目的地の情報を入力操作し、また情報表示させるためのヒューマンインターフェイス33とを備えている。上述の判定手段18による判定結果は、自己位置演算手段16を介して、無線通信手段31、及びヒューマンインターフェイス33に伝達され、それぞれにおいて、無線通信、画面表示の処理が行われる。
次に、図3により、自律移動ロボットシステムにおける自律移動の動作フローを説明する。なお、以下の説明において、図1及び図2を適宜参照する。ロボット本体1は、目的地に向って移動し(S11)、移動中に自己位置演算手段16が自己位置を推定する(S12)。ロボット本体1が目的地に到着していれば自律移動は終了する(S13でYes)。ロボット本体1が目的地に到着していなければ(S13でNo)、標識検出手段10の出力が検査され、標識が検出されていなければ(S14でNo)、ステップS11に戻る。
標識が検出されていれば(S14でYes)、判定手段18が、標識検出手段10の出力と自己位置演算手段16からの推定された自己位置を比較して、予め危険な場所に設置した標識を標識検出手段10によって検出している場合、推定された自己位置を誤りとの判定し(S15でYes)、自律移動を停止する(S16)。推定された自己位置が誤りでないと判定されたとき(S15でNo)、ステップS11に戻り、システムにおける所定の制御間隔に従って、上記ステップが繰り返えされる。
このように、自律移動ロボットシステムにおいて、「目的地に物体を搬送する途中に、目的地に向うように設定された経路から外れた経路を移動しており、かつ、通常移動してはならない危険な場所を通行しようとしており、それまで推定していた自己位置が誤りである」ことが検出され、ロボット本体1が移動を一旦停止することにより危険を回避できる。また、ロボット本体1が、自己位置を失っている場合に、標識検出手段10により標識を検出することで危険な場所にいることを検出し、危険を回避することができる。
次に、図4により、標識を用いた自己位置認識を説明する。自律移動ロボットシステムにおいて、標識検出手段10によって検出される標識が固有の情報を持ち、かつ、それらの情報が地図記憶手段15に地図情報として記憶されており、判定手段18は、標識検出手段10によって検出した標識の固有情報と、記憶された地図情報と、自己位置演算手段16によって推定された自己位置とに基づいて自己位置が間違えていると判定する。
例えば、場所によって色の異なる標識を設置する。図4に示すように、階段41の位置を示す標識21として赤色のマークを用い、段差42の位置を示す標識22として黄色のマークを用いる。この標識を検出することにより、ロボット本体1は、危険を回避すると同時に、改めて地図上での自己位置を得ることができる。すなわち、いずれの標識も検出されないはずの推定された自己位置P0において標識21が検出されることにより、推定自己位置P0が誤りであると判定でき、危険を回避できるとともに、正しい自己位置P1を得て自己位置の修正をすることができる。なお、標識検出手段10によって標識を検出できる範囲であれば、標識が検出されたということで、危険予知が可能であり、判定手段18は、距離計測手段12からの情報と組み合わせて、自己位置の正誤を判定することができる。
この場合のロボット本体の動作フローを、図5に示す。ステップS21〜S25は、前出の図3に示したフロー図におけるステップS11〜S15と同じである。判定手段18が、ステップS25において、推定された自己位置が誤りであるとの判定した場合(S25でYes)、判定手段18は、標識検出手段10によって検出した標識の固有情報と、記憶された地図情報とに基づいて自己位置を認識し(S26)、その後、自律移動を停止する(S26)。
次に、標識検出手段10について説明する。標識検出手段10として、CCD及び/又はCMOSセンサからなる画像センサを用いることができる。画像センサは、カラー対応でも、濃淡対応でもよい。狭角のレンズを持つ画像センサを多数用いるか、広角のレンズを持つ画像センサを少数用いるか、いずれによっても広い視野を観測することができ、より確実に標識を検出できる。
次に、図6により、標識検出手段10によって検出される標識が、異なる色を組合せたマークを互いの近傍に配置したものであり、この標識によりロボット本体1の移動環境内での位置・方向を示す例を説明する。例えば、階段41の位置を示す標識21として、丸い赤色のマーク21aと丸い緑色のマーク21bの組合せを用い、段差42の位置を示す標識22として、丸いピンクのマーク22aと丸い青色のマーク22bの組合せを用いる。マークの形は、丸い形が単純で好的であるが、特に限定されなく、四角形や三角形を適宜選択して用いることができる。これにより、簡単な画像処理で自己位置を認識することができる。また、非常出口の緑色の警告や消火器の赤い看板などが環境に存在することが予想されるが、異なる色を組み合わせることにより、誤検出を防ぐことができる。例えば、単に緑色のマークや、単に赤色のマーク検出しても、これらは危険場所を表示する標識ではないと判断でき、誤検出の可能性を減らすことができる。
次に、図7により、標識検出手段10によって検出される標識が、同色複数のマークをパターン配置したものであり、この標識によりロボット本体1の移動環境内での位置・方向を示す例を説明する。例えば、階段41の位置を示す標識21として、4個の丸い赤色のマークを凸型に配置し、段差42の位置を示す標識22として、4個の丸い赤色のマークをL字型に配置して用いる。マークの形や色は、特に限定されない。これにより濃淡の画像処理であっても標識を検出でき、自己位置を認識することができる。
上述の、図6や図7を参照して説明した標識として、発光色の異なる発光素子を組み合わせたものや、同色の発光素子を配列パターンを変えて組み合わせたものを用いることができる。これにより、照明に影響されずに標識を検出することが可能となる。
次に、図8により、標識検出手段10によって検出される標識が、異なる形状のマークを配置したものであり、この標識によりロボット本体1の移動環境内での位置・方向を示す例を説明する。例えば、階段41の位置を示す標識21として丸いマークを用い、段差42の位置を示す標識22として矢印を用いる。マークの形や色は、特に限定されない。異なる形状のマークにより、濃淡の画像処理であっても標識を検出して、自己位置を認識することができる。
次に、図9、図10により、標識検出手段10によって検出される標識が、移動環境の天井に設置され、この標識によりロボット本体1の移動環境内での絶対的な方向を示す例を説明する。例えば、図9に示すように、階段41の位置を示す標識21を階段の手前の天井に配置する。丸い赤いマーク21aを階段側に、また、丸い緑色のマーク21bをマーク21aの手前に配置し、マークの並び方向によって階段の方向を示すことができる。天井に標識を設置した場合、遮蔽物が少ないので、安定した標識検出が可能となる。
また、ロボット本体1が、多層階の建物内を上下に移動する場合においても、移動環境は基本的に2次元平面の組合せであり、さらに、天井面は、通常、床面と1対1の対応をしているので、図10に示すように、天井に設けた標識により移動環境内の絶対的な位置と方向を表すことができる。地図記憶手段15は、天井の標識21が有する移動環境内での絶対的な位置(Xi,Yi)、及びその指し示す危険方向D(角度θ)からなる固有情報を地図情報として記憶することができる。壁に標識を設置した場合は、右・左・真直ぐなど、相対的な方向しか示すことしかできない。
上述のいずれかのように、ロボット本体1が、標識検出手段10によって標識を検出し、その標識によって位置認識ができた場合、経路生成手段17は、自己位置演算手段16からの出力に基づき、現在位置から目的地までの新たな移動経路を生成する。その後、ロボット本体1は、自動的に移動を再開し、新たに生成された移動経路に沿って目的地に向かって移動する。それによって、一旦、自己位置を見失って危険場所に向かったロボット本体1が自動的に目的地に向かうことができる。
次に、図11により、標識検出手段10によって検出される標識が、誤検出防止用の特定のマークを有する例を説明する。例えば、階段41の位置を示す標識21として、丸い赤色のマーク21aと丸い緑色のマーク21bの組合せを用い、段差42の位置を示す標識22として、丸い赤色のマーク22aと丸い青色のマーク22bの組合せを用いる。この例では、標識の最後(階段又は段差側)に、特定の丸い赤色のマークを配している。この特定のマーク配置により、危険な場所がある方向を示すことができる。また、特定の標識、又はマークを検出することによって誤検出を防ぐことが可能となる。
次に、図12、図13により、ロボット本体1が停止したときの処理を説明する。前述のように、推定された自己位置が誤りであると判定された場合、その判定結果に従い、ロボット本体1は移動を一旦停止し、ヒューマンインターフェイス33の表示画面には、図12に示すように、標識を検出して停止した旨表示される。
また、例えば階段41の前で一旦停止した場合、図13に示すように、ロボット本体1は、無線通信手段31によって、遠隔にある通信機能を備えた監視装置32と通信して停止した旨を表示する。自律移動ロボットシステムにおいて、係員Mがロボット本体1の状態を監視できるようにしている場合、係員Mは、ロボット本体1が一旦停止したことを知ることができる。そこで、係員Mがロボット本体1のところに赴き、ロボット本体1にヒューマンインターフェイス33を用いて、ロボット本体1の現在位置を入力し、又は教示し、自律移動を再開させることができる。
次に、図14、図15により、自己位置演算手段16が、標識検出手段10の出力をも含めて参照して、自己位置を認識する手順について説明する。標識が天井に設けられているとすると、標識の座標は移動環境を表す地図情報の座標系により表現できる。そこで、図14(a)(b)に示すように、地図情報を表現する地図情報座標系X,Yを用いて、標識の情報、例えば、第0番めの標識では標識の種類n0、標識の座標(X0,Y0)、標識から見た危険場所の方向Dの角度α0のように定め、図14(c)に示すように、これらの標識の情報を全て地図記憶手段15に地図情報のデータとして記憶する。
地図情報に対応する現実の移動空間を移動するロボット本体1は、前出の図13に示すように、天井の標識を検出する標識検出手段10として、画像センサを有するカメラをロボット本体1の頭部に備えている。従って、カメラの撮像画像の中心位置にロボット本体が位置することになる。標識2が、図15に示すように、ロボット本体1と一体になって移動するカメラによって撮像されると、画像中のカメラ座標系x,yにおける標識2の位置座標(xc,yc)、標識2の危険方向Dを表す角度θ、標識2の画像サイズから、標識2とロボット本体1との位置関係が分かる。これを説明する。
標識2の大きさは予め既知であると設定できるので、検出された標識2の画像上の大きさをもとに、天井の標識2とロボット本体1の頭部にあるカメラとの距離を求めて、ロボット本体1と標識2との位置関係が求められる。また、既知な値として天井の高さ、及びカメラ焦点距離が与えられると、これらに基づいて、計算により、ロボット本体1と標識2の位置関係を求めることもできる。
また、画像から、撮像された標識2の種類が求められる。そこで、標識検出手段10が検出した標識2の候補を、地図情報に登録されている標識の中から抽出することができる。すなわち、地図情報座標系X,Yにおける標識2(の候補)の座標が分かる。ここで、地図情報座標系X,Yにおいて標識2は、位置座標(Xi,Yi)と角度φを有しているとする。
続いて、前述のカメラ座標系x,yにおける標識2とロボット本体1との位置関係を、地図情報座標系における抽出された標識とロボット本体1との関係に置き直すことにより、移動環境内におけるロボット本体1の自己位置が求められる。画像上で標識2の方向は、θ=atan(yc/R)と求められる。ここで、atan(*)は、tan(θ)の逆関数であり、R=root(xc×xc+yc×yc)であり、root(*)は、*の平方根である。Rは、カメラ座標系x,yにおける原点Oと標識2との距離である。なお、ロボット本体1は、カメラ座標x,yの原点に位置している。
また、ロボット本体1(すなわち自己位置)と標識2との距離mcは、mc=K×Rで与えられる。ここで、Kは、画像サイズを現実空間(移動環境空間)のサイズに変換するための変換係数である。以上により、ロボット本体1の地図情報座標系X,Yにおける位置座標Pと方向Θ、すなわちロボット本体1の推定された自己位置は、
P=(Xi−mc×sin(θ),Yi−mc×cos(θ))
Θ=φ−θ
と求められる。
続いて、上述の推定された自己位置を確定することについて説明する。自律移動ロボットシステムにおいて、自己位置の推定を行った後、ロボット本体1に備えた環境情報を取得する手段(距離計測手段12)により取得した壁や柱などの環境固定物の位置測定結果からなる環境情報と、地図情報に予め記憶している環境情報と、を照合して有意の一致が見られた場合、前記の推定された自己位置に照合による補正を行い、補正された自己位置により自己位置が確定して位置認識が成功したと結論する。
上述の照合において、有意の一致が得られなかった場合、自己位置の推定に用いた上述の地図情報座標系X,Yにおける標識2の候補が誤りである可能性を調べる。すなわち、画像中のカメラ座標系x,yにおける位置座標(xc,yc)に検出された標識2と標識種類が同一の他の標識を、地図情報の中から第2の候補として選び、再度、その標識をもとに推定された自己位置を求め、さらに、地図情報と環境情報との照合を行う。このような手順を、同じ標識種類の標識について、環境情報と地図情報が照合できるまで、すなわち有意の一致が得られるまで繰り返す。所定回数の照合の後、照合が不成功の場合には、照合できなかったことをヒューマンインターフェイス33に表示し、ロボット本体1は、移動を停止する。照合回数の上限を決める方法として、推定された自己位置から所定の距離以内の標識についてのみ、照合を行うようにしてもよい。
なお、上述のように、同じ標識種類の標識について、照合を繰り返すようにすれば、位置を認識するために標識として全てを異なるものにする必要はなく、環境情報が異なる場所では同じ標識を使うことができる。
次に、図16により、環境情報が取得と自己位置認識ができない場合のロボット本体1の移動について説明する。ここで示すロボット本体1は、危険回避のため単に移動停止状態を継続するのではなく、より自律性を持って移動するロボット本体1である。ロボット本体1が移動中に、危険場所を示す標識2を検出したが、環境情報や自己位置認識が不可能な場合、一旦停止を続けることなく移動を再開するには、標識2が示す危険方向Dから離れる方向に移動する。すなわち、ロボット本体1は、マーク2a,2bより形成される線よりも前方の領域D1を危険領域と判断し、少なくとも領域D1とは反対側の領域D2に向けて移動する。そして、ロボット本体1は、なんらかの障害物に到達して移動不可能になるか、又は、環境情報を取得できるようになるまで移動し、環境情報が取得できた時点で位置認識を行う。
次に、図17、図18により、標識検出手段10に関するいくつかの説明をする。自律移動ロボットシステムにおいて、ロボット本体1が、移動開始前に、所定位置に予め定めた標識を試験検出することにより標識検出手段10の故障検出のための自己診断を行う。例えば、図17(a)に示すような危険位置に設けたマーク21a,21bから成る標識21と同じ形と配列であるが、図17(b)に示すように、色違いのマーク23a,23bから成る標識23を所定の位置に設けておく。色違いであるので、標識23を検出した場合、危険位置とは誤認せずに、センサの故障診断を行うことができる。
また、標識検出手段10は、この故障診断時に、例えばレンズ機構を有する画像センサの場合、標識23を用いてピント調節の必要性の診断をすることができる。ピントが合っていない場合、ピントが合うように調節を指示する表示を、自己位置演算手段16を介して、ヒューマンインターフェイス33に表示することにより、高さの異なる天井に設けられた標識の検出に対応することが可能となる。
また、標識検出手段10は、暗くて標識を検出できない場合、標識が見えるように照明の調整を指示する表示を上述同様に行い、これにより、係員に明るさの調節を促すことで、故障確認用の標識23を安定した条件で認識することができる。
また、標識検出手段10は、画像センサを用いている場合、画像情報が正常に得られているかどうか常時チェックし、画像情報が得られなくなった場合、自己位置演算手段16を介して、操舵手段14を制御し、ロボット本体1の移動を停止する。画像センサの出力は、図18(a)に示すように、センサに絞り機能がついている場合、暗い場所で撮影しても画素値が全て0になることはなく、また、図18(b)に示すように、センサ故障により画像が得られない場合には画素値が全て0になるので、画像センサの故障を検知することができる。これにより、暗い場合と画像が得られない場合を明確に区別し、画像センサ(カメラ)交換を催促することが可能になる。また、画像情報が使えないまま移動し、危険場所に迷い込むことを防ぐことが可能となる。
次に、図19、図20により、超音波を用いた標識とその検出について説明する。移動環境側、例えば図19に示すように、天井に標識として下向きに送信ホーンを有する超音波発信器26を設け、標識検出手段としてロボット本体1の上部に、上向けに受信用ホーンを有する超音波センサ60を設ける。これにより、危険場所に設置した標識すなわち超音波発信器26からの超音波を、標識検出手段すなわち超音波センサ60により検出して、推定された自己位置の正誤の判定と危険回避を同時に行うことができる。なお、超音波を用いているので、標識検出に照明が不要である。
また、以下に示すようにして超音波の誤受信を防ぐことができる。標識となっている超音波発信器26から、図20(a)に示すように、予め定めた所定周期Tのパルス超音波を発信し、ロボット本体1側の超音波センサ60で超音波を受信した際に、受信した超音波の周期が、所定周期と一致するか否かを判定することで、意図する標識を検出しているか、ノイズなどによって標識を誤検出しているか判断される。図20(b)に示す受信超音波の例は、周期が所定周期Tと異なる周期T2を含んでおり、誤検出を示す。このように、標識の誤検出を防止しながら、推定された自己位置の正誤の判定と危険回避を同時に行うことが可能となる。
次に、図21(a)(b)により、レーザ光を用いる標識とその検出について説明する。例えば、図21(a)に示すように、ロボット本体1が移動する前方方向Aの両側にある壁面W1,W2に標識としてレーザ発光装置27を設け、標識検出手段として、ロボット本体1の左右両側表面にレーザ光の受光素子70を設ける。図21(b)に示すように、それぞれ1つ乃至複数個設け、ロボット本体1側でレーザ光を受光することで標識の検出を行う。通路両側にレーザ発光装置を設置することで、確実に標識を検出することができる。また、複数個以上設けておくことで、位置の情報を表すことが可能になる。これにより、危険場所に設置した標識により、推定された自己位置の正誤の判定と危険回避を同時に行うことが可能になる。
上述の、複数のレーザ発光装置27を用いた標識の場合、1つの標識における複数組のレーザ発光装置と、ロボット本体1側の受光素子70の組の内、1組を他の組のレーザ光が正確に受光されているか否かの判断に用いるようにする。これにより、何らかの原因でレーザ光が遮光され、正しく標識が認識できなかったことの検出が可能となる。なお、本発明は、上記構成に限られることなく種々の変形が可能である。
本発明の自律移動ロボットシステムの模式図。 同上自律移動ロボットシステムの制御ブロック図。 同上自律移動ロボットシステムの動作フロー図。 同上自律移動ロボットシステムにおける自己位置認識の説明図。 同上自律移動ロボットシステムの動作フロー図。 同上自律移動ロボットシステムで用いられる標識の説明図。 同上自律移動ロボットシステムで用いられる標識の説明図。 同上自律移動ロボットシステムで用いられる標識の説明図。 同上自律移動ロボットシステムの斜視図。 同上自律移動ロボットシステムで用いられる地図情報と標識の説明図。 同上自律移動ロボットシステムで用いられる標識の説明図。 同上自律移動ロボットシステムにおける表示出力の図。 同上自律移動ロボットシステムの斜視図。 (a)(b)は同上自律移動ロボットシステムで用いられる地図情報と標識の説明図、(c)は同地図情報のデータ説明図。 同上自律移動ロボットシステムにおける標識の位置に基づく自己位置認識の説明図。 同上自律移動ロボットシステムにおける危険場所方向の説明図。 (a)(b)は同上自律移動ロボットシステムの斜視図。 (a)(b)は同上自律移動ロボットシステムで用いられる画像センサの画素値の図。 同上自律移動ロボットシステムにおける標識検出手段を説明する側面図。 (a)(b)は図19で示した標識検出手段の信号強度の時間変化図。 (a)は同上自律移動ロボットシステムにおける標識検出手段の説明平面図、(b)は同斜視図。
符号の説明
1 ロボット本体
2 標識
10 標識検出手段
12 距離計測手段
13 駆動手段
14 操舵手段
15 地図記憶手段
16 自己位置演算手段
17 経路生成手段
18 判定手段
26 超音波発信器(標識)
27 レーザ発光装置(標識)
60 超音波センサ(標識検出手段)
70 受光素子(標識検出手段)

Claims (10)

  1. 移動環境に設けられた標識を検出する標識検出手段と、周囲に存在する物体までの距離を測定する距離計測手段と、ロボット本体を移動するための駆動手段と、ロボット本体の移動方向を操舵する操舵手段と、移動環境の地図の情報を記憶した地図記憶手段と、前記距離計測手段で得られた距離情報と前記地図記憶手段で記憶された地図情報を照合して自己位置を推定する自己位置演算手段と、前記標識検出手段と自己位置演算手段からの信号に基づき目的地までの移動経路を生成する経路生成手段とを備え、ロボット本体が前記自己位置演算手段によって自己位置を推定しながら前記経路生成手段によって生成された移動経路に沿って移動する自律移動ロボットシステムであって、
    予め定められた位置に設置されている標識が前記標識検出手段によって検出されたとき、前記自己位置演算手段により得られた自己位置が間違っていると判定する判定手段を備え、この判定手段により自己位置が間違っていることが判定されたとき、ロボット本体の移動を一旦停止することを特徴とする自律移動ロボットシステム。
  2. 前記標識が固有の情報を持ち、かつ、それらの情報が前記地図記憶手段に地図情報として記憶されており、
    前記判定手段は、前記標識検出手段によって検出した標識の固有情報と、前記記憶された地図情報と、前記自己位置演算手段によって推定された自己位置とに基づいて自己位置が間違えていると判定することを特徴とする請求項1記載の自律移動ロボットシステム。
  3. 前記標識検出手段として、CCD及び/又はCMOSセンサからなる画像センサを備えていることを特徴とする請求項1記載の自律移動ロボットシステム。
  4. 標識が、異なる色を組合せたマークを互いの近傍に配置したものであり、ロボット本体の移動環境内での位置・方向を示すことを特徴とする請求項3記載の自律移動ロボットシステム。
  5. 標識が、同色複数のマークをパターン配置したものであり、ロボット本体の移動環境内での位置・方向を示すことを特徴とする請求項3記載の自律移動ロボットシステム。
  6. 標識が、異なる形状のマークを配置したものであり、ロボット本体の移動環境内での位置・方向を示すことを特徴とする請求項3記載の自律移動ロボットシステム。
  7. 標識が、移動環境の天井に設置され、ロボット本体の移動環境内での絶対的な方向を示すことを特徴とする請求項3記載の自律移動ロボットシステム
  8. 標識が誤検出防止用の特定のマークを有することを特徴とする請求項3記載の自律移動ロボットシステム。
  9. 前記自己位置演算手段は、前記標識検出手段の出力をも含めて自己位置を認識することを特徴とする請求項1記載の自律移動ロボットシステム。
  10. 前記標識検出手段はレーザ光の受光素子を含み、前記標識が移動環境側に設けた1つ以上のレーザ発光装置であることを特徴とする請求項1記載の自律移動ロボットシステム。
JP2004047294A 2004-02-24 2004-02-24 自律移動ロボットシステム Expired - Lifetime JP4279703B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004047294A JP4279703B2 (ja) 2004-02-24 2004-02-24 自律移動ロボットシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004047294A JP4279703B2 (ja) 2004-02-24 2004-02-24 自律移動ロボットシステム

Publications (2)

Publication Number Publication Date
JP2005242409A true JP2005242409A (ja) 2005-09-08
JP4279703B2 JP4279703B2 (ja) 2009-06-17

Family

ID=35024124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004047294A Expired - Lifetime JP4279703B2 (ja) 2004-02-24 2004-02-24 自律移動ロボットシステム

Country Status (1)

Country Link
JP (1) JP4279703B2 (ja)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148583A (ja) * 2005-11-24 2007-06-14 Matsushita Electric Works Ltd 搬送システム
JP2007322138A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 移動装置及び移動装置の自己位置推定方法
JP2008076252A (ja) * 2006-09-21 2008-04-03 Matsushita Electric Works Ltd 自己位置認識システム
JP2008186097A (ja) * 2007-01-26 2008-08-14 Matsushita Electric Works Ltd 自律移動システム
JP2009217330A (ja) * 2008-03-07 2009-09-24 Toyota Motor Corp 移動ロボットシステム及びその制御方法
JP2009544966A (ja) * 2006-07-27 2009-12-17 韓國電子通信研究院 人工標識とオデメトリとの連動を利用する位置算出システム及び方法
JP2010061484A (ja) * 2008-09-05 2010-03-18 Hitachi Industrial Equipment Systems Co Ltd 移動体および移動体の位置推定誤り状態からの復帰方法
JP2011108056A (ja) * 2009-11-19 2011-06-02 Hitachi Industrial Equipment Systems Co Ltd 移動ロボット
JP2013232078A (ja) * 2012-04-27 2013-11-14 Hitachi Ltd 無人搬送車
WO2014178273A1 (ja) * 2013-05-01 2014-11-06 村田機械株式会社 自律移動体の移動制御装置、自律移動体及び移動制御方法
JP2016014947A (ja) * 2014-07-01 2016-01-28 株式会社豊田自動織機 自動移動車及び自動移動車制御システム
JP2017021570A (ja) * 2015-07-10 2017-01-26 日本精工株式会社 移動ロボット
CN107028558A (zh) * 2016-02-03 2017-08-11 原相科技股份有限公司 计算机可读取记录媒体及自动清扫机
JP2017531259A (ja) * 2014-10-31 2017-10-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 位置に基づく制御方法、装置、移動可能な機器及びロボット
WO2017215324A1 (zh) * 2016-06-15 2017-12-21 上海未来伙伴机器人有限公司 自动清扫机器人装置
JP2018081459A (ja) * 2016-11-15 2018-05-24 コニカミノルタ株式会社 ユーザ補助装置
CN109674402A (zh) * 2019-01-04 2019-04-26 云鲸智能科技(东莞)有限公司 一种信息处理方法及相关设备
JP2019079370A (ja) * 2017-10-26 2019-05-23 株式会社Soken 移動体制御装置
JP2020009391A (ja) * 2018-07-09 2020-01-16 株式会社ANswer 位置情報サービス方法及び位置情報サービスシステム
CN112101378A (zh) * 2020-08-20 2020-12-18 上海姜歌机器人有限公司 机器人重定位方法、装置及设备
USD920411S1 (en) * 2020-05-29 2021-05-25 Ubtech Robotics Corp Ltd Robot
CN112925301A (zh) * 2019-12-05 2021-06-08 杭州海康机器人技术有限公司 用于agv避险的控制方法和agv
USD924293S1 (en) * 2019-10-18 2021-07-06 Soichiro Nakamura Autonomous mobile robot
USD925637S1 (en) * 2020-04-17 2021-07-20 Soichiro Nakamura Autonomous mobile robot
USD925636S1 (en) * 2019-10-18 2021-07-20 Soichiro Nakamura Autonomous mobile robot
USD928212S1 (en) * 2020-04-24 2021-08-17 Tesseract Ventures, Llc Modular robot with backpack assembly
USD928211S1 (en) * 2020-04-24 2021-08-17 Tesseract Ventures, Llc Modular robot assembly
USD928857S1 (en) * 2019-08-02 2021-08-24 Shape Robotics ApS Robot
JP2021157531A (ja) * 2020-03-27 2021-10-07 住友重機械工業株式会社 駅構内の自律移動体の制御システムおよび自律移動体
CN114111703A (zh) * 2021-11-24 2022-03-01 上海景吾智能科技有限公司 跌落检测系统及机器人
CN114200935A (zh) * 2021-12-06 2022-03-18 北京云迹科技股份有限公司 一种机器人防跌落方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6037012A (ja) * 1983-08-05 1985-02-26 Hitachi Kiden Kogyo Ltd 無人台車の搬送方式
JPH01197808A (ja) * 1988-02-02 1989-08-09 Murata Mach Ltd 無人走行車の誘導装置
JPH03219308A (ja) * 1990-01-25 1991-09-26 Daifuku Co Ltd 移動車用の制御情報指示装置
JPH044407A (ja) * 1990-04-23 1992-01-08 Hitachi Kiden Kogyo Ltd 無人搬送車のアドレステープ検出方法
JP2001125640A (ja) * 1999-10-26 2001-05-11 Matsushita Electric Works Ltd 自律移動台車及びその自己位置推定方法
JP2003323215A (ja) * 2002-04-30 2003-11-14 Sogo Keibi Hosho Co Ltd 自律移動体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6037012A (ja) * 1983-08-05 1985-02-26 Hitachi Kiden Kogyo Ltd 無人台車の搬送方式
JPH01197808A (ja) * 1988-02-02 1989-08-09 Murata Mach Ltd 無人走行車の誘導装置
JPH03219308A (ja) * 1990-01-25 1991-09-26 Daifuku Co Ltd 移動車用の制御情報指示装置
JPH044407A (ja) * 1990-04-23 1992-01-08 Hitachi Kiden Kogyo Ltd 無人搬送車のアドレステープ検出方法
JP2001125640A (ja) * 1999-10-26 2001-05-11 Matsushita Electric Works Ltd 自律移動台車及びその自己位置推定方法
JP2003323215A (ja) * 2002-04-30 2003-11-14 Sogo Keibi Hosho Co Ltd 自律移動体

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007148583A (ja) * 2005-11-24 2007-06-14 Matsushita Electric Works Ltd 搬送システム
JP2007322138A (ja) * 2006-05-30 2007-12-13 Toyota Motor Corp 移動装置及び移動装置の自己位置推定方法
JP2009544966A (ja) * 2006-07-27 2009-12-17 韓國電子通信研究院 人工標識とオデメトリとの連動を利用する位置算出システム及び方法
JP2008076252A (ja) * 2006-09-21 2008-04-03 Matsushita Electric Works Ltd 自己位置認識システム
JP2008186097A (ja) * 2007-01-26 2008-08-14 Matsushita Electric Works Ltd 自律移動システム
JP2009217330A (ja) * 2008-03-07 2009-09-24 Toyota Motor Corp 移動ロボットシステム及びその制御方法
JP2010061484A (ja) * 2008-09-05 2010-03-18 Hitachi Industrial Equipment Systems Co Ltd 移動体および移動体の位置推定誤り状態からの復帰方法
JP2011108056A (ja) * 2009-11-19 2011-06-02 Hitachi Industrial Equipment Systems Co Ltd 移動ロボット
JP2013232078A (ja) * 2012-04-27 2013-11-14 Hitachi Ltd 無人搬送車
WO2014178273A1 (ja) * 2013-05-01 2014-11-06 村田機械株式会社 自律移動体の移動制御装置、自律移動体及び移動制御方法
JP2014219722A (ja) * 2013-05-01 2014-11-20 村田機械株式会社 自律移動体
JP2016014947A (ja) * 2014-07-01 2016-01-28 株式会社豊田自動織機 自動移動車及び自動移動車制御システム
JP2017531259A (ja) * 2014-10-31 2017-10-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 位置に基づく制御方法、装置、移動可能な機器及びロボット
US10627829B2 (en) 2014-10-31 2020-04-21 SZ DJI Technology Co., Ltd. Location-based control method and apparatus, movable machine and robot
JP2017021570A (ja) * 2015-07-10 2017-01-26 日本精工株式会社 移動ロボット
CN107028558A (zh) * 2016-02-03 2017-08-11 原相科技股份有限公司 计算机可读取记录媒体及自动清扫机
WO2017215324A1 (zh) * 2016-06-15 2017-12-21 上海未来伙伴机器人有限公司 自动清扫机器人装置
JP2018081459A (ja) * 2016-11-15 2018-05-24 コニカミノルタ株式会社 ユーザ補助装置
JP2019079370A (ja) * 2017-10-26 2019-05-23 株式会社Soken 移動体制御装置
JP2020009391A (ja) * 2018-07-09 2020-01-16 株式会社ANswer 位置情報サービス方法及び位置情報サービスシステム
CN109674402A (zh) * 2019-01-04 2019-04-26 云鲸智能科技(东莞)有限公司 一种信息处理方法及相关设备
USD928857S1 (en) * 2019-08-02 2021-08-24 Shape Robotics ApS Robot
USD925636S1 (en) * 2019-10-18 2021-07-20 Soichiro Nakamura Autonomous mobile robot
USD924293S1 (en) * 2019-10-18 2021-07-06 Soichiro Nakamura Autonomous mobile robot
CN112925301A (zh) * 2019-12-05 2021-06-08 杭州海康机器人技术有限公司 用于agv避险的控制方法和agv
JP2021157531A (ja) * 2020-03-27 2021-10-07 住友重機械工業株式会社 駅構内の自律移動体の制御システムおよび自律移動体
JP7360350B2 (ja) 2020-03-27 2023-10-12 住友重機械工業株式会社 駅構内の自律移動体の制御システムおよび自律移動体
USD925637S1 (en) * 2020-04-17 2021-07-20 Soichiro Nakamura Autonomous mobile robot
USD928212S1 (en) * 2020-04-24 2021-08-17 Tesseract Ventures, Llc Modular robot with backpack assembly
USD928211S1 (en) * 2020-04-24 2021-08-17 Tesseract Ventures, Llc Modular robot assembly
USD920411S1 (en) * 2020-05-29 2021-05-25 Ubtech Robotics Corp Ltd Robot
CN112101378A (zh) * 2020-08-20 2020-12-18 上海姜歌机器人有限公司 机器人重定位方法、装置及设备
JP2022035936A (ja) * 2020-08-20 2022-03-04 上海姜歌机器人有限公司 ロボットの再位置決め方法、装置及び機器
CN114111703A (zh) * 2021-11-24 2022-03-01 上海景吾智能科技有限公司 跌落检测系统及机器人
CN114200935A (zh) * 2021-12-06 2022-03-18 北京云迹科技股份有限公司 一种机器人防跌落方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
JP4279703B2 (ja) 2009-06-17

Similar Documents

Publication Publication Date Title
JP4279703B2 (ja) 自律移動ロボットシステム
US11865708B2 (en) Domestic robotic system
EP3499334B1 (en) Multi-sensor safe path system for autonomous vehicles
US20090312871A1 (en) System and method for calculating location using a combination of odometry and landmarks
KR101776823B1 (ko) 외부 감시카메라를 이용한 모바일 로봇의 위치인식 방법 및 시스템
US8583313B2 (en) Robotic vehicle for performing rail-related actions
WO2014132509A1 (ja) 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
JP5247494B2 (ja) 自律移動装置
KR101703177B1 (ko) 차량 위치 인식 장치 및 방법
US11269347B2 (en) Method for operating a partially autonomous or autonomous motor vehicle, and motor vehicle
CN109154662A (zh) 使用负映射的定位
JP6828579B2 (ja) 環境整備ロボットおよびその制御プログラム
JP2009237851A (ja) 移動体制御システム
JP4840162B2 (ja) 自律移動システム
JP2008009765A (ja) 無人搬送車、無人搬送車運転システム、その制御方法、記録媒体、ソフトウェア、ブロックパターン及び広域パターン
JP4462173B2 (ja) 自律移動装置
JP2009176031A (ja) 自律移動体,自律移動体制御システムおよび自律移動体の自己位置推定方法
JP7184243B2 (ja) 位置認識方法、位置認識装置、基準点設置用移動体、作業用移動体、及び位置認識システム
JPWO2010044277A1 (ja) 移動体ナビゲーション装置
KR102564663B1 (ko) 무인 반송 차량의 위치 인식 장치 및 방법
JP6406894B2 (ja) 環境地図生成制御装置、移動体、及び環境地図生成方法
US11577402B2 (en) Robot system and portable teaching device
US20210397197A1 (en) Method for navigating a movable device along an inclined surface
US11256258B2 (en) System and method for determining the position of a vehicle for automated driving on a site
JP2009145055A (ja) 自律移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090205

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4279703

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 5

EXPY Cancellation because of completion of term