JP2004303137A - 自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法 - Google Patents

自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法 Download PDF

Info

Publication number
JP2004303137A
JP2004303137A JP2003097913A JP2003097913A JP2004303137A JP 2004303137 A JP2004303137 A JP 2004303137A JP 2003097913 A JP2003097913 A JP 2003097913A JP 2003097913 A JP2003097913 A JP 2003097913A JP 2004303137 A JP2004303137 A JP 2004303137A
Authority
JP
Japan
Prior art keywords
autonomous mobile
mobile robot
specific position
robot
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003097913A
Other languages
English (en)
Inventor
Yoshihiro Furuyui
義浩 古結
Shin Asano
伸 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2003097913A priority Critical patent/JP2004303137A/ja
Publication of JP2004303137A publication Critical patent/JP2004303137A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】本発明は、自律移動型ロボットが滑らかな動作で任意の場所に、任意の方向から任意の向きで進入することができる自律移動型ロボットの特定位置誘導装置及び制御方法を提供することを目的とする。
【解決手段】自律移動可能な自律移動型ロボットにおいて、前記ロボットの周囲の状況を撮像する撮像装置と、前記撮像装置は、前記ロボットの最も高い部分に真上に向けて取り付けられていると共に該ロボットの周りを広く撮影することができる魚眼レンズを有しており、使用者が任意に設定した特定位置の上方で、前記自律移動型ロボットの位置、向きにかかわらず前記撮像装置にて撮像可能な高さに特定位置の場所を示すためのマーカを有している自律移動型ロボットの特定位置誘導装置。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法に関する。
【0002】
【従来の技術】
多関節アームロボットや搬送ロボット等の産業用ロボットは古くから知られ工場等では多く用いられている。産業用ロボットはその使用目的が溶接、塗装、運搬等といったように限定されており、アームロボット等のように1箇所に固定されたものや、搬送ロボットのように決められたルートを決められた順序で移動するものがほとんどであった。
【0003】
近年、自律移動型のロボットが発表されている。自律移動型ロボットは所定の空間内を自由に移動することができるものであり、人間の住環境下で人間と共存し、産業活動や生産活動等における単純作業や危険作業、難作業等の作業の手助けや、代行を行うことができる。例えば、前記作業としては原子力プラント、火力発電プラント等におけるメンテナンス作業、高層ビルにおける清掃作業、火災現場等の災害現場での救助活動等を挙げることができる。
【0004】
また、自律移動型ロボットとして1人暮らしの高齢者の家等に設置され、部屋の掃除をしたり、住人の体調管理を行ったり、該住人が家を留守にしたときの留守中の屋内安全確認等の人間の生活に密着した生活支援型ロボットが発表されている。生活支援型ロボットは、一般家庭にも適用可能なロボットとして位置付けられる。
【0005】
上述した自律移動型ロボットはいずれも動力として電気を使用する電動式のロボットであり、定期的に該ロボットに電力を供給する必要がある。
【0006】
上述したアームロボットのような固定ロボットの場合、常時電源から電力を供給することが可能であり、搬送ロボットのように決められたルートを決められた順路で移動するロボットの場合、電源ケーブルを介して常時電力を供給してもよく、ルートの途中で電力供給装置を備えることで電力を供給することが可能である。
【0007】
一方、自律移動型ロボットの場合、電源ケーブルを介して常時電力を供給することも可能であるが、電源ケーブルが引っ張られることで抜けたり、障害物に絡まったり、損傷したりする恐れがある。そこで、前記のような自律移動型ロボットでは、充電式バッテリを電源とする方式が一般的である。
【0008】
ここで問題となってくるのが充電作業である。上述のような用途に用いられる自律移動型ロボットは、自動で動作し続けることで所定の作業をこなすものがほとんどであり、その観点からも、充電作業の自動化が実用化を図る上での問題となる。使用者が、充電のたびにバッテリを交換したり、都度、バッテリを充電器へ接続したりするのは、使用者を煩わせ、作業効率も落ちることになる。また、生活支援型ロボットの場合、住人や家の状況を常に確認する必要があり、特に留守番機能を利用する場合などでは、自動充電が必須の機能となる。
【0009】
そこで、自律移動型ロボットのバッテリ充電を自動で行う方法として、いわゆる、充電装置を利用する方法が提案されている。充電装置とはロボットのバッテリを充電するための装置である。また、前記ロボットの中には待機中、充電装置に配置されるようになっているものもある。
【0010】
前記自律移動型ロボットは、バッテリ残量、連続駆動時間、使用者よりの命令等所定の条件が合ったときに、現在進行中の作業を中断して充電装置に向かう。充電装置において、前記ロボットに予め備えられている充電端子と、前記充電装置に予め備えられている給電端子とを、正しく接続することで、該ロボットの内部に備えられている充電バッテリを充電するものである。
【0011】
ここで、充電装置を用いて自動的に充電作業を行うためには、前記自律移動型ロボットを充電装置に対して正確に誘導するとともに、該ロボットは該充電装置の位置を検出し、該ロボットと該充電装置の間の位置決めを行い、該ロボットに備え付けられた充電端子と該充電装置に備え付けられた給電端子を正しく接続しなくてはならない。
【0012】
そこで、前記自律移動型ロボットが、前記自律移動型ロボットに対する充電装置の距離と方向を検知しその方向に向かって、該自律移動型ロボットを充電器装置に誘導させるものが示されている。前記自律移動型ロボットは充電装置に設けられた視認性識別データをカメラにて撮影して、その撮像画像をもとに、自らと充電装置の位置関係及び距離を算出するものである。前記自律移動型ロボットの形状及び(又は)前記充電装置の該自律移動型ロボットとの係合部との形状に特徴を持たせることで、前記自律移動型ロボットは前記充電装置に特定方向にのみ進入できるように構成されている。
【0013】
また、上記の方法は前記自律移動型ロボットを任意の位置に、任意の方向からアクセスする必要がある場合も同様である。
【0014】
【特許文献1】
特開2001−125641号公報
【特許文献2】
特開平7−191755号公報
【0015】
【発明が解決しようとする課題】
前記自律移動型ロボットは、自律移動をすることより障害物を避けて移動することができ、また、前記充電装置の位置を検知して、その位置に向かって移動することは容易にできる。しかしながら、前記自律移動型ロボットの充電端子と、前記充電装置の給電端子とを正しく接続しなくてはならず、前記自律移動型ロボットが前記充電装置への進入方向は限定されている。
【0016】
上記の問題に対し、従来の発明では、該ロボットと該充電装置の相対的な距離と方位を示すだけであり、充電装置の特定方向からの進入を、該ロボットに対して指令することができない。
【0017】
そこで本発明はこのような問題を鑑みて、自律移動型ロボットが滑らかな動作で任意の場所に、任意の方向から任意の向きで進入することができる自律移動型ロボットの特定位置誘導装置を提供することを目的とする。
【0018】
また、本発明はこのような問題を鑑みて、自律移動型ロボットの充電時に、該自律移動型ロボットが充電装置に任意の方向から任意の向きでアクセスすることができる自律移動型ロボットの特定位置誘導装置を提供することを目的とする。
【0019】
さらに、本発明はこのような問題を鑑みて、自律移動型ロボットが滑らかな動作で任意の場所に、任意の方向から任意の向きで進入することができる自律移動型ロボットの特定位置誘導制御方法を提供することを目的とする。
【0020】
また、本発明はこのような問題を鑑みて、自律移動型ロボットの充電時に、該自律移動型ロボットが充電装置に任意の方向から任意の向きでアクセスすることができる自律移動型ロボットの特定位置誘導制御方法を提供することを目的とする。
【0021】
【課題を解決するための手段】
上記目的を達成するために、本発明は自律移動可能な自律移動型ロボットにおいて、前記ロボットを移動させるための移動装置と、前記ロボットの周囲の状況を撮像する撮像装置と、前記撮像装置にて撮影された画像を処理する画像処理装置と、前記ロボットの動作を制御するための制御装置とを有しており、前記撮像装置は、前記ロボットの最も高い部分に真上に向けて取り付けられていると共に該ロボットの周りを広く撮影することができる魚眼レンズを有しており、使用者が任意に設定した特定位置の上方で、前記自律移動型ロボットの位置、向きにかかわらず前記撮像装置にて撮像可能な高さに特定位置の場所を示すためのマーカを有しており、前記画像処理装置は前記撮像装置にて撮影された画像をもとに、前記自律移動型ロボットと前記ロボットを誘導する位置の互いの位置関係、距離及び前記特定位置に対して該ロボットを通過させたい位置と進入方向を算出することを特徴とする自律移動型ロボットの特定位置誘導装置を提供する。
【0022】
この構成によると自律移動型ロボットを進入方向及び進入姿勢方向を限定して特定位置に誘導することを容易に行うことが可能である。
【0023】
前記マーカとして、複数の識別部材を有しており、前記複数の識別部材は撮像装置で撮影したときに異なる位置に写るように配置されているものを例示できる。
【0024】
この構成によると自律移動型ロボットが撮像画像をもとに該ロボットと該ロボットが誘導される特定位置との間の相対方向、距離、姿勢方向を算出するとき、多くの情報をもとに算出するのでより制度の高いデータを得ることが可能であり、それだけより細かい誘導を行うことが可能である。
【0025】
前記マーカとして、3個の識別部材を有しており、3個の識別部材のうち2個の識別部材は、該2個の識別部材を結ぶ線分が該マーカが示す前記特定位置の前記自律移動式ロボットが進入してくる方向と直角で床面と平行になるように配置されており、残りの識別部材は前記2個の識別部材を結ぶ線分の中点から該線分と垂直で該線分よりも高い部分に配置されるものを用いてもよい。
【0026】
この構成によると自律移動型ロボットに備えられている魚眼レンズを通した画像であっても、各識別部材が干渉したり、隠れたりした画像にならず、それだけ、正確な誘導を行うことができる。
【0027】
前記マーカは2つの識別部材を有しており、一方の識別部材は長尺の部材であり、前記マーカが示す前記特定位置の前記自律移動式ロボットが進入してくる方向と直角で床面と平行になるように配置されており、他方の識別部材は前記一方の識別部材中点から該部材と垂直で該部材よりも高い部分に配置されるものを例示することができる。
【0028】
この構成によると、3つの識別部材を有するものより構成要素を減らすことができより、簡単に、安価に製作することができる。
【0029】
前記マーカの識別部材は発光体でありロボットの移動動作に合わせて所定のタイミングで発光してもよい。
【0030】
前記マーカの3個の識別部材のうち下側の2個を結ぶ線分上に補助識別部材を配置しても良い。
【0031】
前記自律移動型ロボットは前記マーカとの間で通信が可能であり、前記自律移動型ロボットより前記マーカに発光タイミング命令を出力することでマーカの識別部材の発光タイミングを制御するものを例示できる。また、タイミングのみでなく発光色も変化させることができる。
【0032】
前記特定位置として、前記ロボット搭載の充電バッテリに充電するための充電装置を例示できる。
【0033】
前記撮像装置の姿勢を傾けて撮像範囲を変えることができるものを挙げることができる。
【0034】
前記撮像装置において魚眼レンズのかわりに全方位レンズを用いたものを例示することができる。
【0035】
前記撮像装置は、例えば、撮像範囲の異なる複数台のカメラを有しており、その複数のカメラにて撮影された各画像を別途画像処理により画像を連結・結合し、魚眼レンズや全方位レンズを使用した画像と同等の画像を再構成するものするものを挙げることができる。
【0036】
この構成によると、複数のカメラがそれぞれ予め定められた方向の画像を撮像しておりその画像を結合することでより精度の高い画像を得ることができ、それだけ正確に自律移動型ロボットを特定位置に誘導することができる。
【0037】
本発明は自律移動型ロボットを使用者が任意に選択した特定位置に誘導する自律移動型ロボットの特定位置誘導制御方法であって、前記自律移動型ロボットを移動させる移動ステップと、前記自律移動型ロボットの周囲の状況を撮影する撮像ステップと、前記特定位置の上方に設けられたマーカを抽出するマーカ抽出ステップと、前記撮像ステップにて撮影された撮像画像をもとに前記特定位置の方向を算出する方向算出ステップと、前記撮像画像をもとに前記自律移動型ロボットと前記特定位置の間の距離を算出する距離算出ステップと、前記撮像画像をもとに前記自律移動型ロボットと前記特定位置の該ロボット進入する姿勢方向を算出する姿勢方向算出ステップと、を有しており、前記自律移動型ロボットを前記特定位置の特定の方向から進入させることを特徴とする自律移動型ロボットの特定位置誘導制御方法を提供することができる。
【0038】
前記制御方法においてマーカ抽出ステップの後に、マーカ抽出のために撮像装置を傾ける撮像装置傾倒ステップを有しているものを例示することができる。
【0039】
この構成によると、マーカが抽出できない場合でも該マーカの位置を見つけ出すことができる。
【0040】
前記特定位置は前記自律移動型ロボットのバッテリに充電を行う充電装置であり、通常運転時に所定の条件を満たしたときに特定位置誘導制御を開始するものである特定位置誘導制御方法を例示することができる。
【0041】
前記所定条件として例えば使用者から前記自律移動型ロボットに発行された充電装置での待機指示であるものを挙げることができる。
【0042】
また、前記所定条件として例えば前記自律移動型ロボットの連続稼働時間が一定時間の超過をしたことを挙げることができる。
【0043】
さらに、前記所定条件として前記自律移動型ロボットのバッテリ残量が所定量を下回ることを例示できる。
【0044】
【発明の実施の形態】
本発明の実施の形態を図面を参照しながら説明する。
図1に自律移動型ロボットを本発明に係る自律移動型ロボットの特定位置誘導装置を用いて充電装置に誘導するものの1例の概略斜視図を示す。
図1に示す自律移動型ロボットAは、人型ロボットであり頭部1と胴体部2と一対の腕部3と人間の足代わりの駆動部4とを有している。自律移動型ロボットAは、それには限定されるものではないが、ここでは生活支援型ロボットであり、使用者と使用者の住環境にて共存している。ロボットAは使用者の体調管理や生活の管理、留守の管理等、時には使用者の生活のパートナとして時には使用者を助けるヘルパーとして動作するものである。
【0045】
頭部1には使用者を認識するための前方カメラ11と、部屋の中での自分の位置を認識するための天井カメラ12が搭載されている。天井カメラ12は頭頂部10に設けられており、魚眼レンズ121を備えている。魚眼レンズ121を備えていることで、1つの画像で部屋全体又は略部屋全体を認識することが可能である。また、カメラの代わりにCCD等の撮像手段を用いるものも例示することが可能である。
【0046】
腕部3は人間のひじに当たる第1関節31と人間の手首に当たる第2関節32とを有しており、それぞれ、関節31、32を中心に回動可能に支持されている。また、第2関節32から先には、物をつかむことができるチャック部33が備えられており、数々の動作をこなすことができるようになっている。
【0047】
駆動部4は、自律移動型ロボットAが倒れたり姿勢を崩したりすることなく移動できるものを広く採用することができる。ここでは後述のモータ42を用いて底面に設けられた車輪を回転させることで移動するものを採用している。
【0048】
自律移動型ロボットAは、充電装置CHにて充電されるものであり、同じフロアFLの中に配置されており、充電装置CH進入する前に進入開始位置Spに到達しそこから、所定の姿勢方向(ここでは、前向き又は後ろ向きでロボットAの現在の位置から向きやすい方)に向いて、充電装置CHに直進あるいは後進して進入していく。
【0049】
充電装置CHの上方には、天井カメラ12にて撮影した撮像画像をもとに自律移動型ロボットAと充電装置CHの進入口CH1とのそれぞれの相対的な姿勢方向と、互いの位置関係及び互いの距離を算出するために用いられるマーカMKを備えている。
【0050】
マーカMKは自律移動型ロボットAの身長、換言すれば、床面から魚眼レンズ121までの距離hよりも高い位置Hに取り付けられている。マーカMKの取り付け位置Hは自律移動型ロボットAの位置にかかわらず、魚眼レンズ121を介した撮像画像にマーカMKが写る位置を広く採用できる。本実施例ではマーカMKは充電装置CHに設けられた支持柱CH2に取り付けられているものを採用しているが、支持柱の形状、本数等は自律移動型ロボットAが充電装置CHに進入するときに邪魔にならないもの且つ撮像画像中でマーカMKの邪魔にならないものを広く採用することができる。
【0051】
図2にマーカの拡大図を示す。図2に示すマーカMKは、それには限定されないが、ここでは、第1の識別部材MK1、第2の識別部材MK2及び第3の識別部材MK3の3つの識別部材を有している。各識別部材は例えばLEDのように発光する部材である。図1に示す実施例中のマーカはマーカMKを用いるものとする。図2に示すマーカMKは第2の識別部材MK2と第3の識別部材MK3が第1の支持部材MS1にて連結支持されている。また、第1の支持部材MS1の中間部より平面視直角に仰角θで取り付けられた第2の支持部材MS2を介して、第1の識別部材MK1が支持されている。第1の支持部材MS1は、自律移動型ロボットAの進入方向αと垂直に且つ床面と平行に配置される。また、第1の識別部材MK1は自律移動型ロボットAが充電装置CHの充電位置で停止したときに魚眼レンズ121の真上又は略真上になるように配置される。
【0052】
この各識別部材MK1、MK2、MK3の配置方法によって自律移動型ロボットAに備えられている天井カメラ12を介して撮影しても、撮像画像中で各識別部材MK1、MK2、MK3が重なって表示されることはない。なぜなら、天井カメラ12は魚眼レンズ121を搭載しており、魚眼レンズ121を介して撮影した場合、各識別部材MK1、MK2、MK3が床面と平行な平面状に配置されている場合、第1の識別部材MK1と第2又は第3の識別部材MK2、MK3が干渉して写る可能性があり、場合によっては完全に隠れてしまう。これを防ぐために第2の支持部材MS2は第1の支持部材MS1に仰角θで取り付けられており、仰角θは自律移動型ロボットAの場所にかかわらず、各識別部材MK1、MK2、MK3が干渉して見えなくなることを防ぐことができる角度を広く採用することが可能である。
【0053】
また、図3に図2に示すマーカの他の例の拡大図を示す。
図3に示すマーカMK’は図2に示すマーカMKのうち、第2の識別部材MK2と第3の識別部材MK3が省略されているものである。その他の部分は同一の部材で構成されており、実質上同一の部分には同一の符号が付してある。マーカMK’は第1の支持部材MS1の両端部MS11、MS12と第1の識別部材MK1の位置関係で、マーカMKと同じ効果を得ることができるものであり、第2の識別部材MK2、第3の識別部材MK3を省いた分だけ、構成が簡略化されその分軽量化、コスト低減に貢献するものである。
また、MS1をライン上のLEDで構成することにより、該MS1の重心を割出して、MKと同等の効果を得ることができ、この構成で画像取得上、LEDの面積が大きくなる分有利になる特徴がある。
【0054】
上述の実施例においてはマーカとして3つの識別部材(MK1、MK2、MK3)を有するMKと2つの識別部材(MK1、MS1)を有するMK’を用いて説明しているがそれに限定されるものではなく、天井カメラ12にて撮影された撮像画像で、自律移動型ロボットAと充電装置CHとの相対関係を表す各種データを算出するための画像が得られるものを広く採用することができる。しかしながら本実施例では、識別部材が3つであるマーカMKを用いるものとする。
【0055】
図4に図1に示す自律移動型ロボットの特定位置誘導制御装置の概略構成を表すブロック図を示す。
自律移動型ロボットAは、魚眼レンズ121を介して天井カメラ12にて撮影された撮像画像を画像処理手段5に送信する。画像処理手段5では、撮像画像をもとに、マーカMKの位置を検出し、更にそのマーカMKの位置をもとに自律移動型ロボットAと充電装置CHの進入口CH1との相対的な姿勢方向、相対的な位置関係及び距離を算出する。また、自律移動型ロボットAが充電装置CHに進入を開始するときの進入開始位置Spの算出も行う。
【0056】
画像処理手段5にて算出された各種データは制御装置Contに送信され、制御装置Contは送信されてきた各種データをもとに、駆動制御手段41に駆動信号を出力し、駆動制御手段41が駆動信号を受信したら駆動信号をもとに駆動部4のモータ42を駆動させて自律移動型ロボットAを充電装置CH進入開始位置Spまで誘導し、自律移動型ロボットAを充電装置CHに充電可能な姿勢方向を保って進入させる。
【0057】
図5に図1に示す自律移動型ロボットを充電装置に誘導するときの誘導経路の平面図を示す。図中で矢印は自律移動型ロボットAを示しており、矢印の向きはロボットAの正面方向(姿勢方向)を示している。
自律移動型ロボットAの位置はP1であり、充電装置CHの位置はR1である。まず、自律移動型ロボットAは、天井カメラ12にて画像を撮影する。そのときの画像がPic1である。画像Pic1は自律移動型ロボットAの前方が図面内下方である。
【0058】
このときの画像をもとに、自分の今の位置の座標、充電装置CHの座標、進入開始位置Spの座標、自律移動型ロボットAと充電装置CHとの距離、自律移動型ロボットA及び充電装置CHの進入口の姿勢方向を算出する。そのとき、現在地P1から進入開始位置Spを経て充電装置CHまでの経路Line1、Line2を設定する。
【0059】
自律移動型ロボットAは設定された経路Line1、Line2にしたがって移動を開始する。このとき、自律移動型ロボットAは姿勢方向を進入開始位置Spから充電装置CHに進入するときの姿勢方向へ変化させながら経路Line上を移動する。また経路Line1を移動中に所定のタイミングで撮像画像を撮影し、その画像より、方向、距離、姿勢方向、経路を算出し、正しい経路で移動しているか調べながら進む。位置P2、P3、P4での撮像画像がPic2、Pic3、Pic4となる。
【0060】
図6に自律移動型ロボットの通常運転から特定位置誘導装置が動作して自律移動型ロボットを特定位置に誘導する場合の一例である充電モードに突入する一例のフローチャートを示す。
自律移動型ロボットAは上述のような与えられた所定の作業を行う通常運転動作をしている(ステップS1)。このときに、使用者から図示を省略したリモコン等から自律移動型ロボットAに待機命令が出たかどうか判別する(ステップS2)。使用者より待機命令が出た場合(ステップS2でYESの場合)、充電モードに突入する(ステップS6)。使用者より待機命令が出ていない場合(ステップS2でNOの場合)通常運転時間内であるかどうか判別する(ステップS3)。ここで通常運転時間とは、使用者のライフサイクル及びロボットAの作業に合わせてあらかじめ決められたロボットAの作業時間帯のことである。
【0061】
通常運転時間で無い場合(ステップS3でNOの場合)充電モードに入る(ステップS6)。通常運転時間内である場合(ステップS3でYESの場合)、自律移動型ロボットAのバッテリの残量を検出する(ステップS4)。バッテリの残量が所定量以下の場合(ステップS4にてNOの場合)充電モードに入る(ステップS6)。バッテリ残量が所定量異常以上の場合(ステップ(S4でYESの場合)自律移動型ロボットAの連続運転時間を検出する(ステップS5)。連続運転時間が所定の時間を超えた場合(ステップS5でYESの場合)充電モードに入る(ステップS6)。運転時間が所定の時間を超えていない場合(ステップS5にてNOの場合)通常運転に戻る(ステップS1)。
【0062】
ステップS6にて充電モードに突入した後は、自律移動型ロボットAはその時点で、充電装置CHに向かう。充電が完了した後(ステップS7)、使用者よりの待機命令が解除されているかどうか判別する(ステップS8)。使用者よりの待機命令が解除されていない場合(ステップS8でNOの場合)、処理は終了する。また、待機命令が解除されている場合(ステップS8でYESの場合)通常運転時間内であるかどうか判別する(ステップS9)。通常運転時間内ではない場合(ステップS9にてNOの場合)ステップS9の前に戻り通常運転時間になるまで待機を続ける。また、通常運転時間内である場合(ステップS9にてYESの場合)ステップS1に戻り通常運転を再開する。
【0063】
以上が、通常運転から充電モードに切り替わる動作手順である。充電モードに切り替わった時点で、自律移動型ロボットAは、特定位置誘導装置にて充電装置CHへ誘導される。図6に示すフローチャートの例では充電モードを例にとったがそれに限定されるものではなく、充電モードを他のオペレーションに置き換えることが可能である。また、通常運転から充電モードに切り替わる条件として、使用者よりの命令、運転時間、バッテリ残量、連続運転時間を用いたものを例示したが、これに限定されるものではなくこれら単独のもの、複数を組み合わせたもの、さらに他の条件を組み合わせるもの等、必要な条件を広く採用することが可能である。
【0064】
図7に充電モード時の自律移動型ロボットの動作手順の一例のフローチャートを示す。
まず自律移動型ロボットAの頭部1に設けられた天井カメラ12にて自律移動型ロボットAの周囲の画像を撮影し撮像画像を取得する(ステップS11)。ステップS11にて撮像した撮像画像中のマーカMKを抽出する(ステップS12)。マーカMKの配置、色等より第1、第2、第3の識別部材MK1、MK2、MK3を識別する(ステップS13)。識別したマーカMKをもとに自律移動型ロボットAと充電装置CHの相対方向、相対距離及び自律移動型ロボットAと充電装置CHの進入口の姿勢方向を算出する(ステップS14)。ステップS14にて算出されたデータを基に進入開始位置の座標を算出する(ステップS15)。
【0065】
自己位置の座標をオドメトリなどを用いて測定する(ステップS16)。進入開始位置Spと自己位置との距離を算出する(ステップS17)。制御装置が達成するべき目標(ここでは自律移動型ロボットAが進入開始位置Spに到達したかどうか)が達成されたかどうか判定する(ステップS18)。目標が達成されていない場合(ステップS18にてNOの場合)コマンド(ここでは自律移動型ロボットAの駆動制御手段41に進入開始位置Spに移動するための駆動命令)を発行する(ステップS110)。その後、移動し(ステップS111)、再度ステップS11に戻り画像の取得から繰り返す。また、目標が達成された場合(ステップS18でYESの場合)次の目標(ここでは、進入開始位置Spから充電装置CHへの進入)があるかどうか判別する(ステップS19)。次の目標がない場合(ステップS19でNOの場合)は処理を終了し、次の目標がある場合(ステップS19でYESの場合)、ステップS11に戻り画像の取得から繰り返す。以上を繰り返すことで自律移動型ロボットAを充電装置CHに誘導することができる。
【0066】
図8に本発明に係る自律移動型ロボットの特定位置誘導制御装置の他の例を備えた自律移動型ロボットの概略斜視図を、また図9に図8に示す自律移動型ロボットの概略構成のブロック図を示す。
図8において、自律移動型ロボットBは頭部1’を傾倒することができる構造を有している。それ以外の部分は図1に示す自律移動型ロボットAと同一の構造を有しており、同一の部分には同一の符号を付してある。
【0067】
図8に示す自律移動型ロボットBは、頭部1’に備えられた天井カメラ12の画像中にマーカMKが認識できなかったり、認識できたとしても認識しにくかったりする場合、例えば図8のPicAに示すような画像の場合、頭部1’を傾けることでカメラ12が撮影することができる範囲を変更し、マーカMKを画像内に捉える(画像PicB)ことができるようにするものである。
【0068】
自律移動型ロボットBの概略構成は自律移動型ロボットAと略同一であるが、頭部傾倒制御手段13と傾倒用モータ131とを備えている。カメラ12にて撮影された撮像画像を基に画像処理手段5にてマーカMKを抽出するときに、マーカMKが抽出されなかった場合は、制御装置Contは頭部傾倒制御手段13に頭部1’を傾倒するための傾倒信号を出力する。傾倒信号を受信した頭部傾倒制御手段13は、モータ131を駆動して頭部1’を傾倒する。
【0069】
図10に自律移動型ロボットの他の例の充電モード時の自律移動型ロボットの動作手順の他の例のフローチャートを示す。
自律移動型ロボットBが通常運転から充電モードに入る手順は図6のフローチャートに示す手順と同じである。
【0070】
まず自律移動型ロボットBの頭部1’に設けられた天井カメラ12にて自律移動型ロボットBの周囲の画像を撮影し撮像画像を取得する(ステップS21)。
ステップS21にて撮像した撮像画像中のマーカMKを抽出する(ステップS22)。マーカMKが抽出できたかどうか判別する(ステップS23)。マーカMKが抽出できなかった場合、頭部1’を傾倒し撮像範囲を変更する(ステップS24)。その後。再度ステップS21に戻って画像の取得をやり直す。またマーカMKを抽出することができた場合、マーカMKの配置、色等より第1、第2、第3の識別部材MK1、MK2、MK3を識別する(ステップS25)。識別したマーカMKをもとに自律移動型ロボットBと充電装置CHの相対方向、相対距離及び自律移動型ロボットBと充電装置CHの進入口の姿勢方向を算出する(ステップS26)。ステップS26にて算出されたデータを基に進入開始位置の座標を算出する(ステップS27)。
【0071】
自己位置の座標をオドメトリ等を用いて測定する(ステップS28)。進入開始位置Spと自己位置との距離を算出する(ステップS29)。制御装置が達成するべき目標(ここでは自律移動型ロボットBが進入開始位置Spに到達したかどうか)が達成されたかどうか判定する(ステップS210)。目標が達成されていない場合(ステップS210にてNOの場合)コマンド(ここでは自律移動型ロボットBの駆動制御手段41に進入開始位置に移動するための駆動命令)を発行する(ステップS212)。その後、自律移動型ロボットBは移動し(ステップS213)、再度ステップS21に戻り画像の取得から繰り返す。また、目標が達成された場合(ステップS210でYESの場合)次の目標(ここでは、進入開始位置Spから充電装置CHへの進入)があるかどうか判別する(ステップS211)。次の目標がない場合(ステップS211でNOの場合)は処理を終了し、次の目標がある場合(ステップS211でYESの場合)、ステップS21に戻り画像の取得から繰り返す。以上を繰り返すことで自律移動型ロボットBを充電装置CHに誘導することができる。
【0072】
上述の実施例において、マーカMKの識別部材として発光するものを用いて説明をしたがそれに限定されるものではなく、色分け、異なる大きさ等各識別部材を別物として認識することができるものを広く採用することができる。
また、マーカMKの各識別部材MK1、MK2、MK3は自律移動型ロボットA(B)からの指示に従って、発光色を変えたり、発光の順番を決定するものであってもよい。
【0073】
また、上述の実施例において、撮像手段として設けられた天井カメラのレンズとして魚眼レンズを用いているが、それに限定されるものではなく、例えば、全方位レンズのように部屋全体を1つの画像で撮影することができるレンズを広く採用することができる。
【0074】
また、上述の実施例において、撮像手段として設けられた天井カメラの撮像範囲を変える方法として、ロボットの頭部を傾ける方法を示しているが、これに限定されるものではなく、ロボット全体を傾けるもの、及びそれに加えて頭部も傾けるもの、天井カメラだけを傾けるもの等、撮像範囲を変えることができるものを広く採用することができる。
【0075】
【発明の効果】
本発明によると、自律移動型ロボットが滑らかな動作で任意の場所に、任意の方向から任意の向きで進入することができる自律移動型ロボットの特定位置誘導装置を提供することができる。
【0076】
また、本発明によると、自律移動型ロボットの充電時に、該自律移動型ロボットが充電装置に充電装置に任意の方向から任意の向きでアクセスすることができる自立移動型ロボットの特定位置誘導装置を提供することができる。
【0077】
さらに本発明によると、自律移動型ロボットが滑らかな動作で任意の場所に、任意の方向から任意の向きで進入することができる自律移動型ロボットの特定位置誘導制御方法を提供することができる。
【0078】
また本発明によると、自律移動型ロボットの充電時に、該自律移動型ロボットが充電装置に充電装置に任意の方向から任意の向きでアクセスすることができる自立移動型ロボットの特定位置誘導制御方法を提供することができる。
【図面の簡単な説明】
【図1】自律移動型ロボットを本発明に係る自律移動型ロボットの特定位置誘導装置を用いて充電装置に誘導するものの1例の概略斜視図である。
【図2】図1で用いられるマーカの拡大図である。
【図3】図2に示すマーカの他の例の拡大図である。
【図4】図1に示す自律移動型ロボットの特定位置誘導装置の概略構成を表すブロック図である。
【図5】図1に示す自律移動型ロボットを充電装置に誘導するときの誘導経路の平面図である。
【図6】自律移動型ロボットの通常運転から特定位置誘導装置が動作して自律移動型ロボットを特定位置に誘導する場合の一例である充電モードに突入する一例のフローチャートである。
【図7】充電モード時の自律移動型ロボットの動作手順の一例のフローチャートである。
【図8】本発明に係る自律移動型ロボットの特定位置誘導装置の他の例を備えた自律移動型ロボットお概略斜視図である。
【図9】図8に示す自律移動型ロボットの概略高せいを表すブロック図である。
【図10】自律移動型ロボットの他の例の充電モード時の自律移動型ロボットの動作手順の他の例のフローチャートである。
【符号の説明】
A 自律移動型ロボット
1 頭部
11 前方カメラ
12 天井カメラ
121 魚眼レンズ
13 頭部傾倒制御手段
131 頭部傾倒用モータ
2 胴体部
3 腕部
31 第1関節
32 第2関節
33 チャック
4 駆動部
41 駆動制御手段
42 モータ
5 画像処理手段
CH 充電装置
MK マーカ

Claims (17)

  1. 自律移動可能な自律移動型ロボットにおいて、
    前記ロボットを移動させるための移動装置と、
    前記ロボットの周囲の状況を撮像する撮像装置と、
    前記撮像装置にて撮影された画像を処理する画像処理装置と、
    前記ロボットの動作を制御するための制御装置とを有しており、
    前記撮像装置は、前記ロボットの最も高い部分に真上に向けて取り付けられていると共に該ロボットの周りを広く撮影することができる魚眼レンズを有しており、
    使用者が任意に設定した特定位置の上方で、前記自律移動型ロボットの位置、向きにかかわらず前記撮像装置にて撮像可能な高さに特定位置の場所を示すためのマーカを有しており、
    前記画像処理装置は前記撮像装置にて撮影された画像をもとに、前記自律移動型ロボットと前記ロボットを誘導する位置の互いの位置関係、距離及び前記特定位置に対して該ロボットを通過させたい位置と進入方向を算出することを特徴とする自律移動型ロボットの特定位置誘導装置。
  2. 前記マーカは複数の識別部材を有しており、
    前記複数の識別部材は撮像装置で撮影したときに異なる位置に写るように配置されていることを特徴とする請求項1記載の自律移動型ロボットの特定位置誘導装置。
  3. 前記マーカは、3個の識別部材を有しており、
    3個の識別部材のうち2個の識別部材は、該2個の識別部材を結ぶ線分が該マーカが示す前記特定位置の前記自律移動式ロボットが進入してくる方向と直角で床面と平行になるように配置されており、
    残りの識別部材は前記2個の識別部材を結ぶ線分の中点から該線分と垂直で該線分よりも高い部分に配置されることを特徴とする請求項2に記載の自律移動型ロボットの特定位置誘導装置。
  4. 前記マーカは2つの識別部材を有しており、
    一方の識別部材は長尺の部材であり、前記マーカが示す前記特定位置の前記自律移動式ロボットが進入してくる方向と直角で床面と平行になるように配置されており
    他方の識別部材は前記一方の識別部材中点から該部材と垂直で該部材よりも高い部分に配置されることを特徴とする請求項2に記載の自律移動型ロボットの特定位置誘導装置。
  5. 前記マーカは発光体でありロボットの移動動作に合わせて所定のタイミングで発光することを特徴とする請求項1から請求項4いずれかに記載の自律移動型ロボットの特定位置誘導装置。
  6. 前記自律移動型ロボットは前記マーカとの間で通信が可能であり、前記自律移動型ロボットより前記マーカに発光タイミング命令を出力することを特徴とする請求項5に記載の自律移動型ロボットの特定位置誘導装置。
  7. 前記特定位置を、前記ロボット搭載の充電用バッテリに充電するための充電装置としたことを特徴とする、請求項1から請求項6いずれかに記載の自律移動型ロボットの特定位置誘導装置。
  8. 前記撮像装置の撮像範囲を変えることを特徴とする請求項1から請求項7いずれかに記載の自律移動型ロボットの特定位置誘導装置。
  9. 前記撮像装置の撮像範囲を変えるものとして該撮像装置の姿勢を傾けることを特徴とする請求項8に記載の自律移動型ロボットの特定位置誘導装置。
  10. 前記撮像装置において魚眼レンズのかわりに全方位レンズを用いたことを特徴とする請求項1から請求項9いずれかに記載の自律移動型ロボットの特定位置誘導装置。
  11. 前記撮像装置は魚眼レンズを搭載したもののかわりに撮像範囲の異なる複数台のカメラを有しており、
    前記画像処理装置はその複数のカメラにて撮影された各画像を連結、結合することを特徴とする請求項1から請求項9いずれかに記載の自律移動型ロボットの特定位置誘導装置。
  12. 自律移動型ロボットを使用者が任意に選択した特定位置に誘導する自律移動型ロボットの特定位置誘導制御方法であって、
    前記自律移動型ロボットを移動させる移動ステップと、
    前記自律移動型ロボットの周囲の状況を撮影する撮像ステップと、
    前記特定位置の上方に設けられたマーカを抽出するマーカ抽出ステップと、
    前記撮像ステップにて撮影された撮像画像をもとに前記特定位置の方向を算出する方向算出ステップと、
    前記撮像画像をもとに前記自律移動型ロボットと前記特定位置の間の距離を算出する距離算出ステップと、
    前記撮像画像をもとに前記自律移動型ロボットと前記特定位置の該ロボット進入する姿勢方向を算出する姿勢方向算出ステップと、を有しており、
    前記自律移動型ロボットを前記特定位置の特定の方向から進入させることを特徴とする自律移動型ロボットの特定位置誘導制御方法。
  13. 前記制御方法において、マーカ抽出のために撮像装置を傾ける撮像装置傾倒ステップを有していることを特徴とする請求項12記載の自律移動型ロボットの特定位置誘導制御方法。
  14. 前記特定位置は前記自律移動型ロボットのバッテリに充電を行う充電装置であり、通常運転時に所定条件を満たしたときに特定位置誘導制御を開始するものである請求項12又は請求項13に記載の自律移動型ロボットの特定位置誘導制御方法。
  15. 前記所定条件の一つは、使用者から前記自律移動型ロボットに発行される充電装置での待機指示である請求項14に記載の自律移動型ロボットの特定位置誘導制御方法。
  16. 前記所定条件の一つは、前記自律移動型ロボットの連続稼働時間が一定時間を超過したことである請求項14又は請求項15に記載の自律移動型ロボットの特定位置誘導制御方法。
  17. 前記所定条件の一つは、前記自律移動型ロボットのバッテリ残量が所定量を下回ることである請求項14、請求項15及び請求項16のうちいずれかに記載の自律移動型ロボットの特定位置誘導制御方法。
JP2003097913A 2003-04-01 2003-04-01 自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法 Pending JP2004303137A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003097913A JP2004303137A (ja) 2003-04-01 2003-04-01 自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003097913A JP2004303137A (ja) 2003-04-01 2003-04-01 自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008118981A Division JP4838824B2 (ja) 2008-04-30 2008-04-30 自律移動型ロボットの特定位置誘導制御方法

Publications (1)

Publication Number Publication Date
JP2004303137A true JP2004303137A (ja) 2004-10-28

Family

ID=33409583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003097913A Pending JP2004303137A (ja) 2003-04-01 2003-04-01 自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法

Country Status (1)

Country Link
JP (1) JP2004303137A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008076094A (ja) * 2006-09-19 2008-04-03 Nec Access Technica Ltd 目標物判別システム、目標物判別方法および目標物判別制御プログラム
JP2010521733A (ja) * 2007-03-13 2010-06-24 リサーチ インスティチュート オブ インダストリアル サイエンス アンド テクノロジー 移動ロボットの位置認識用ランドマーク、並びにこれを利用した位置認識装置及び方法
JP2016524214A (ja) * 2013-05-10 2016-08-12 ダイソン・テクノロジー・リミテッド 自立走行車両をドッキングステーションへ誘導する装置
WO2016200098A1 (ko) * 2015-06-12 2016-12-15 엘지전자 주식회사 이동 로봇 및 그 제어방법
KR20170022642A (ko) * 2015-08-21 2017-03-02 삼성중공업 주식회사 위치 계측 장치
WO2017092565A1 (zh) * 2015-12-01 2017-06-08 纳恩博(北京)科技有限公司 充电系统和充电方法、计算机存储介质
JP2017191612A (ja) * 2012-09-21 2017-10-19 グーグル インコーポレイテッド スマートセンサーを装備した家のためのデバイス、方法、および関連する情報処理
WO2019049828A1 (en) 2017-09-05 2019-03-14 Sony Corporation INFORMATION PROCESSING APPARATUS, CLEAN POSITION ESTIMATING METHOD, AND PROGRAM
WO2019107164A1 (ja) * 2017-11-28 2019-06-06 Thk株式会社 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法
JP2019102047A (ja) * 2017-11-28 2019-06-24 Thk株式会社 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法
CN110352042A (zh) * 2016-10-21 2019-10-18 医疗技术股份有限公司 用于对3d术中图像进行自动重新校准的装置和方法
CN111625005A (zh) * 2020-06-10 2020-09-04 浙江欣奕华智能科技有限公司 一种机器人充电方法、机器人充电的控制装置及存储介质
WO2021249876A1 (en) * 2020-06-09 2021-12-16 Husqvarna Ab Guidance for an outdoor robotic work tool to an outdoor robotic work tool interaction station

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008076094A (ja) * 2006-09-19 2008-04-03 Nec Access Technica Ltd 目標物判別システム、目標物判別方法および目標物判別制御プログラム
JP4698540B2 (ja) * 2006-09-19 2011-06-08 Necアクセステクニカ株式会社 目標物判別システム、目標物判別方法および目標物判別制御プログラム
JP2010521733A (ja) * 2007-03-13 2010-06-24 リサーチ インスティチュート オブ インダストリアル サイエンス アンド テクノロジー 移動ロボットの位置認識用ランドマーク、並びにこれを利用した位置認識装置及び方法
US8368759B2 (en) 2007-03-13 2013-02-05 Research Institute Of Industrial Science & Technology Landmark for position determination of mobile robot and apparatus and method using it
JP2017191612A (ja) * 2012-09-21 2017-10-19 グーグル インコーポレイテッド スマートセンサーを装備した家のためのデバイス、方法、および関連する情報処理
JP2016524214A (ja) * 2013-05-10 2016-08-12 ダイソン・テクノロジー・リミテッド 自立走行車両をドッキングステーションへ誘導する装置
WO2016200098A1 (ko) * 2015-06-12 2016-12-15 엘지전자 주식회사 이동 로봇 및 그 제어방법
US10423163B2 (en) 2015-06-12 2019-09-24 Lg Electronics Inc. Mobile robot and method of controlling same
KR20170022642A (ko) * 2015-08-21 2017-03-02 삼성중공업 주식회사 위치 계측 장치
KR101724440B1 (ko) 2015-08-21 2017-04-07 삼성중공업(주) 위치 계측 장치
WO2017092565A1 (zh) * 2015-12-01 2017-06-08 纳恩博(北京)科技有限公司 充电系统和充电方法、计算机存储介质
US11771519B2 (en) 2016-10-21 2023-10-03 Medtech S.A. Device and method for automatic recalibration for 3D intraoperative images
CN110352042A (zh) * 2016-10-21 2019-10-18 医疗技术股份有限公司 用于对3d术中图像进行自动重新校准的装置和方法
WO2019049828A1 (en) 2017-09-05 2019-03-14 Sony Corporation INFORMATION PROCESSING APPARATUS, CLEAN POSITION ESTIMATING METHOD, AND PROGRAM
DE112018004904T5 (de) 2017-09-05 2020-06-04 Sony Corporation Informationsverarbeitungseinrichtung, selbstpositionsschätzverfahren und programm
JP2019102047A (ja) * 2017-11-28 2019-06-24 Thk株式会社 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法
CN111417911A (zh) * 2017-11-28 2020-07-14 Thk株式会社 图像处理装置、移动机器人的控制系统、移动机器人的控制方法
CN111417911B (zh) * 2017-11-28 2023-09-22 Thk株式会社 图像处理装置、移动机器人的控制系统、移动机器人的控制方法
WO2019107164A1 (ja) * 2017-11-28 2019-06-06 Thk株式会社 画像処理装置、移動ロボットの制御システム、移動ロボットの制御方法
WO2021249876A1 (en) * 2020-06-09 2021-12-16 Husqvarna Ab Guidance for an outdoor robotic work tool to an outdoor robotic work tool interaction station
CN111625005A (zh) * 2020-06-10 2020-09-04 浙江欣奕华智能科技有限公司 一种机器人充电方法、机器人充电的控制装置及存储介质

Similar Documents

Publication Publication Date Title
JP4838824B2 (ja) 自律移動型ロボットの特定位置誘導制御方法
JP2004303137A (ja) 自律走行型ロボットの特定位置誘導装置及び自律走行型ロボットの特定位置誘導制御方法
KR102162756B1 (ko) 공정 및 생산관리를 위한 모바일 로봇 플랫폼 시스템
JP4418381B2 (ja) 自律移動型ロボットにおける充電ステーション
KR101038581B1 (ko) 트랙형 이동 로봇을 이용하여 발전설비 시설물의 감시점검을 제공하기 위한 방법, 이동 로봇 시스템 및 운영방법
JP5122770B2 (ja) 映像認識の可能な移動体誘導システム
JP6108328B2 (ja) 自立走行車両をドッキングステーションへ誘導する装置
CN108431713B (zh) 用于给移动机器人充电的对接系统和方法
JP4856510B2 (ja) 移動ロボット
US11287831B2 (en) Apparatus, systems, and methods for operating and maintaining electrically-powered material-transport vehicles
JP2006344202A (ja) 移動ロボットの自動充電復帰システム及びその復帰方法
RU2001135970A (ru) Чистящий робот, система с его применением и способ повторного присоединения к внешнему зарядному устройству
CN104483969B (zh) 道路自动巡逻机器人
Nagumo et al. Human following behavior of an autonomous mobile robot using light-emitting device
JP4338657B2 (ja) 移動体の転倒防止装置及び移動体を支える方法並びにプログラム
CN116901028A (zh) 一种用于灾后救援的移动机器人装置及进行救援的方法
JP4431446B2 (ja) 自走式ロボット
JP2007152472A (ja) 充電システム、充電ステーション及びロボット誘導システム
JP2008134904A (ja) 自律移動体
CN110618688A (zh) 一种巡检机器人系统及其控制方法
JP5552710B2 (ja) ロボットの移動制御システム、ロボットの移動制御プログラムおよびロボットの移動制御方法
Bonani et al. The hand-bot, a robot design for simultaneous climbing and manipulation
JP2004151924A (ja) 自律移動ロボット及びその制御方法
JP2006201829A (ja) 自走式機器およびそのプログラム
JP2010055250A (ja) 移動体の位置情報取得システム及び取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060216

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20071010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080530

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080930