JP2011110644A - 自律移動ロボット - Google Patents

自律移動ロボット Download PDF

Info

Publication number
JP2011110644A
JP2011110644A JP2009268428A JP2009268428A JP2011110644A JP 2011110644 A JP2011110644 A JP 2011110644A JP 2009268428 A JP2009268428 A JP 2009268428A JP 2009268428 A JP2009268428 A JP 2009268428A JP 2011110644 A JP2011110644 A JP 2011110644A
Authority
JP
Japan
Prior art keywords
person
unit
autonomous mobile
robot body
mobile robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009268428A
Other languages
English (en)
Other versions
JP5392028B2 (ja
Inventor
Yoshikazu Okabayashi
美和 岡林
Keiju Okabayashi
桂樹 岡林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009268428A priority Critical patent/JP5392028B2/ja
Publication of JP2011110644A publication Critical patent/JP2011110644A/ja
Application granted granted Critical
Publication of JP5392028B2 publication Critical patent/JP5392028B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】人の移動したい方向が不明な場合でも、自律移動ロボットの適切な移動を実現する。
【解決手段】動作決定部80及び走行制御部66は、音声認識部56の認識結果に基づいて人が自律移動ロボットを退かそうとしているか否かを判定するとともに、人物検出部60と顔検出部52の検出結果に基づいて人が移動したい方向を判定する。この判定の結果、人に自律移動ロボットを退かそうとする意志があるが移動したい方向が不明と判定された場合には、自律移動ロボットを、人から離れる方向に移動させ、自律移動ロボットが人から離れる方向に移動した後に人が動いた方向に基づいて、自律移動ロボットを人から離れる方向に移動する。
【選択図】図2

Description

本件は、自律移動ロボットに関する。
従来、ショッピングセンタやオフィスなど、人が共存する環境で移動し、人と対話、応対して情報提供や案内などの作業を行う自律移動ロボット(サービスロボット)がある。
この種の自律移動ロボットに適用可能な技術として、例えば、特許文献1、2のような人の視線や顔の方向を検出して制御に利用する技術がある。特許文献1に記載の技術は、視線判定手段と発話判定手段を持つぬいぐるみ等の擬人的媒体で、ユーザの発話状態と視線方向の情報を連続的に取得し、当該情報に基づいて擬人的媒体の動作を制御する技術である。具体的には、擬人的媒体は、例えば、人が発話しながら横を向いた場合に、その視線方向を向くなどの動作を行う。また、特許文献2に記載の技術は、利用者の顔方向検出手段と無発話状態を検出する手段を備え、顔方向と発話状態の情報に基づいて会話モードと、作業モードとを切り換えるシステムに関するものである。会話モードでは顔方向に従って複数カメラを切り換えて顔の正面を映し出し、作業モードでは作業に集中できるよう相手の映像を正面ディスプレイから消す等の制御を行う。
また、自律移動ロボットに適用可能な技術として、例えば特許文献3のような接触回避技術がある。特許文献3に記載の技術は、自己の移動軌道と相手移動体の移動軌道を拡張してそれぞれ移動空間を作成し、移動空間が接触する可能性が高い場合に、接触を回避する軌道を探索して、その軌道を目標軌道に変更する技術である。この技術では、目標軌道が探索できない場合には、通行可能領域の境界に近づく軌道を探索し、相手移動体が通過後に再び軌道を探索し移動を行う。
特開2009−106325号公報 特開2006−139028号公報 特開2009−131940号公報
しかしながら、特許文献1、2に記載のように人の視線や顔の方向を検出しても、人の意図(自律移動ロボットに退いてもらいたいのか、応対してもらいたいのか)が不明な場合もある。このような場合、特許文献1、2や特許文献3を用いても、自律移動ロボットの動きを適切に制御することはできない。
具体的には、人に「退いてください」と声掛けされたときに、人が止まっていたり、人の移動方向と顔の方向が異なっていたりすると、人がどの方向に行きたいのか、ロボットはどの方向に退けば良いのかを判別することが難しい。また、上記の場合、人が単に通り抜けたい場合に限らず、ロボットの横の棚や扉に用がある場合もあるため、ロボットが単純に広い方向に退くのでは人の意図に反する場合がある。
そこで本件は上記の課題に鑑みてなされたものであり、適切な移動を行うことが可能な自律移動ロボットを提供することを目的とする。
本明細書に記載の自律移動ロボットは、ロボット本体と、前記ロボット本体の周囲に存在する人の位置及び移動方向を検出する人物検出部と、前記人の顔が向いている方向を検出する顔検出部と、前記人が発する音声を認識する音声認識部と、前記人物検出部と前記顔検出部の検出結果及び前記音声認識部の認識結果に基づいて、前記ロボット本体の動作を決定し、当該動作を前記ロボット本体に実行させる実行部と、前記実行部の指示により前記ロボット本体を移動させる移動部と、を備え、前記実行部が、前記音声認識部の認識結果に基づいて前記人が前記ロボット本体を退かそうとする意志があるか否かを判定するとともに、前記人物検出部と前記顔検出部の検出結果に基づいて前記人が移動したい方向を判定し、当該判定の結果、前記人に前記意志があるが、前記人が移動したい方向が不明であった場合に、前記ロボット本体を前記人から離れる方向に前記移動部により移動させ、前記ロボット本体が前記人から離れる方向に移動された後に、前記人物検出部により検出される前記人が動いた方向に基づいて、前記人から離れる方向に前記ロボット本体を前記移動部により移動させる自律移動ロボットである。
本明細書に記載の自律移動ロボットは、適切な移動を行うことができるという効果を奏する。
一実施形態に係る自律移動ロボットを概略的に示す斜視図である。 自律移動ロボットの制御系を示すブロック図である。 図3(a)は、自律移動ロボットが配置される領域の地図情報を模式的に示した図であり、図3(b)は、地図情報DBに実際に格納される、XY座標を用いた地図情報のデータを示す図である。 自律移動ロボットの動作を示すフローチャート(その1)である。 自律移動ロボットの動作を示すフローチャート(その2)である。 図4のステップS24の動作を説明するための図である。 図7(a)、図7(b)は、人がロボットに向かって近づいてなく、ロボットを見ていない場合を示す図である。 図8(a)は、人が停止中の場合を示す図であり、図8(b)は、人がロボットに向かって近づいており、ロボットを見ている場合を示す図である。 図9(a)は、人がロボットに向かって近づいているが、ロボットを見ていない場合を示す図であり、図9(b)は、人がロボットに向かって近づいていないが、ロボットを見ている場合を示す図である。 図10(a)、図10(b)は、図5のステップS50を説明するための図である。 図11(a)〜図11(d)は、図5のステップS52を説明するための図である。 図5のステップS58のサブルーチンの処理を示すフローチャートである。 図13(a)〜図13(c)は、図12のステップS68、S70の判断の結果を説明するための図である。 図14(a)〜図14(c)は、移動場所の設定方法の例を示す図である。 図15(a)、図15(b)は、移動場所の設定方法の変形例を示す図である。
以下、自律移動ロボットの一実施形態について、図1〜図14に基づいて詳細に説明する。図1には、自律移動ロボット100が斜視図にて示されている。また、図2には、自律移動ロボット100の制御系のブロック図が示されている。この自律移動ロボット100は、ショッピングセンタやオフィスなどに配置され、人との対話、人に対する応対を行うロボットである。また、自律移動ロボット100は、対話や応対を行わないときには、人に接触しないように回避動作を行う。
自律移動ロボット100は、図1に示すように、ロボット本体10と、ロボット本体10を2次元面内で移動させる移動部20と、を備えている。ロボット本体10は、頭部10a、胴体部10b、及び首部10cを有する。頭部10aには、カメラ12と、図2に示すアレイマイク14と、距離センサ16と、が設けられている。カメラ12は、例えばステレオカメラであり、撮影される映像は、図2に示すように、制御系30の人物検出部60、位置検出部62及び顔検出部52に送られる。アレイマイク14は、周囲の音声を取得し、当該音声情報を図2に示す音源方向検出部54及び音声認識部56に送る。距離センサ16は、LRF(レーザ・レンジ・ファインダ)などを含み、周囲に存在する物体までの距離を検出することで、周辺物体の位置を検出する。当該検出結果は、図2の障害物検出部58に送られる。
胴体部10bには、図1及び図2に示すスピーカ18と、図2に示すジャイロセンサ32と、地図情報保持部としての地図情報DB34と、が設けられている。スピーカ18は、人に対して、問い掛けや応対のための音声を出力する。ジャイロセンサ32は、自律移動ロボット100の角速度及び角度を検出し、当該検出結果を位置検出部62に送る。地図情報DB34は、自律移動ロボット100が配置される場所の地図情報を格納する。なお、地図情報については後述する。なお、図2では、制御系30が頭部10aや胴体部10bとは別に記載されているが、制御系30は、頭部10aや胴体部10bの内部に設けられても良い。
首部10cは、図2に示す首モータ36の回転駆動により回転される。これにより、頭部10aやカメラ12等が回転されるようになっている。
移動部20は、制御系30からの指示を受けて、ロボット本体10を移動させるものであり、図2に示すように、複数の車輪(タイヤなど)22と、当該車輪を回転駆動する走行モータ24と、走行モータ24、複数の車輪22の回転角度及び回転数を検出するエンコーダ26と、有する。複数の車輪22が走行モータ24により回転されることで、自律移動ロボット100は、前後左右に移動可能となっている。エンコーダ26は、複数の車輪22それぞれの回転角度及び回転数を検出するため、結果的に自律移動ロボット100の移動方向および移動量を検出することができる。
図2の制御系30は、顔検出部52と、音源方向検出部54と、音声認識部56と、障害物検出部58と、人物検出部60と、ロボット本体位置検出部としての位置検出部62と、を備える。また、制御系30は、首制御部64と、走行制御部66と、発声制御部68と、地図更新部72と、動作決定部80と、を備える。
顔検出部52は、カメラ12により撮影された画像から、人の顔を検出するとともに、人の顔の方向(向き)を検出する。音源方向検出部54は、アレイマイク14で取得された音声情報に基づいて、人により声が発せられた方向を検出する。音声認識部56は、アレイマイク14で取得された音声情報から、人が発した言葉を解析して認識する。障害物検出部58は、距離センサ16において検出された周辺物体の位置を用いて、障害物の位置を検出する。
人物検出部60は、カメラ12により撮影された画像から人の位置を検出する。また、人の位置をリアルタイム連続検出した結果から、人の移動方向及び移動速度を算出する。なお、人物検出部60は、検出精度を高めるために、距離センサ16の検出結果を併用して、人の位置や移動方向及び速度を検出することとしても良い。また、周囲に複数の人が存在しているような場合には、音源方向検出部54で検出される、声の発せられた方向を用いて、声を発した人を特定する。
位置検出部62は、例えば、カメラ12により検出される画像から、画像処理で判別しやすい特徴的な物体(マークや構造物など)の特徴データを抽出する。そして、当該特徴データと、カメラ12又は距離センサ16により検出される周辺の障害物の位置とを、地図情報DB34に格納されている地図情報とマッチングし、自律移動ロボット100(ロボット本体10)の初期位置を検出する。なお、周辺の障害物の位置は、カメラ12及び距離センサ16の両方の検出結果を用いて検出することとしてもよい。これにより検出精度を向上することができる。また、位置検出部62は、移動を開始した後は、初期位置と、エンコーダ26の検出結果(移動方向及び移動量)とを用いて、自律移動ロボット100の位置を検出する。なお、移動方向及び移動量の検出精度を向上するため、移動方向や移動量の検出に、ジャイロセンサ32やカメラ12、距離センサ16などの検出結果を用いることとしても良い。
首制御部64は、首モータ36の回転を制御して、頭部10aの向き(カメラ12の向き)を調整する。走行制御部66は、走行モータ24の回転を制御して、自律移動ロボット100を移動させる。発声制御部68は、状況に応じた音声を、音声合成などを用いて、スピーカ18から出力する。スピーカ18からは、人に対する応対のための音声も出力される。すなわち、スピーカ18と発声制御部68とを含んで、応対部としての機能が実現される。地図更新部72は、障害物検出部58の検出結果に基づいて、障害物の存在位置に自律移動ロボット100が入らないようにするために、地図情報を更新する。
動作決定部80は、制御系30の各部の検出結果を用いて、自律移動ロボット100の動作を決定し、首制御部64、走行制御部66、発声制御部68、地図更新部72に対して指示を出す。このうち、動作決定部80、首制御部64、走行制御部66、及び発声制御部68を含んで、ロボット本体10(自律移動ロボット100)の動作を決定し、当該動作を移動部20に実行させる実行部が実現される。
次に、地図情報DB34に格納されている地図情報について、図3(a)、図3(b)に基づいて説明する。図3(a)は、自律移動ロボット100が配置される領域の地図情報を模式的に示した図であり、図3(b)は、地図情報DB34に実際に格納される、図3(a)のXY座標を用いた地図情報のデータを示す図である。
図3(a)の地図情報では、移動可能範囲と、移動不可範囲と、ロボット応対可能範囲と、応対不可範囲とが定義されている。移動可能範囲は、自律移動ロボット100が移動できる範囲を意味し、移動不可範囲は、自律移動ロボット100が侵入できない範囲を意味する。また、ロボット応対可能範囲は、幅が狭い通路などの領域で、人に対して応対する自律移動ロボット100が位置すべき範囲を意味する。このロボット応対範囲は、狭い通路でも、自律移動ロボット100が人の通行の邪魔にならない範囲である。更に、応対不可範囲は、ドアなどが近傍に存在するため、応対のときに自律移動ロボット100が位置すべきでない範囲を意味する。また、図3(b)のデータでは、各XY座標に対応して、オリジナルデータとして移動可能範囲や移動不可範囲、ロボット応対可能範囲、応対不可範囲等が定義されている。また、例えば、移動可能範囲等に障害物(人など)が存在している場合には、障害物検出部58の検出結果に基づいて、地図更新部72が地図情報のデータの更新の項目を、「障害物あり」に更新する。更新の項目が「障害物あり」となっている場合には、オリジナルが移動可能範囲等であっても、移動不可範囲と同等の取り扱いがなされる。
次に、自律移動ロボット100の動作について、図4、図5、図12のフローチャートに沿って、その他図面を適宜参照しつつ説明する。
まず、図4のステップS10では、動作決定部80が、人物検出部60の検出結果に基づいて、人が近づいてきたか否かを判断する。ここでの判断が否定された場合には、ステップS12に移行し、判断が肯定された場合には、ステップS14に移行する。ステップS12に移行した場合、動作決定部80は、音声認識部56が音声を認識したか否かを判断する。ここでの判断が否定された場合には、ステップS10に戻り、判断が肯定された場合には、ステップS14に移行する。すなわち、ステップS14に移行する場合とは、人が近づいてきたか、あるいは人の発する音声を認識した場合である。動作決定部80は、近づいてきた人あるいは音声を発した人を、動作対象と認識する。
ステップS14では、人物検出部60が、人(動作対象)の位置及び進行方向を検出する。次いで、動作決定部80は、ステップS16において、人(動作対象)が退いて欲しい意味の音声を発したことで、音声認識部56が当該音声を認識したか否かを判断する。ここでの判断が否定された場合には、ステップS38に移行する。なお、ステップS38以降の処理については後述する。一方、ステップS16の判断が肯定された場合には、ステップS18に移行する。
ステップS18では、動作決定部80が、人物検出部60の検出結果に基づいて、人(動作対象)が移動中であるか否かを判断する。ここでの判断が肯定された場合には、ステップS20に移行する。ステップS20では、動作決定部80が、位置検出部62において検出される自律移動ロボット100の位置と、人物検出部において検出される人の位置及び移動方向とを結ぶ線を算出し、当該線と人の進行方向との角度差を計算する。そして、動作決定部80は、ステップS22において、角度差が所定範囲内か否かを判断する。ここで、所定範囲としては、自律移動ロボット100と人の位置を結ぶ線と、人の進行方向とがほぼ一致するとみなせる範囲を定めることができる。ここでの判断が否定された場合、すなわち、人が退いてほしいとの声を発し(ステップS16が肯定)、人がロボットを避ける方向に移動していると判断された場合には、ステップS36において、動作決定部80は、自律移動ロボット100の回避処理開始を決定する。具体的には、動作決定部80は、人の移動を妨げず、人が移動しやすくなる方向、例えば、人の移動方向に垂直な方向、に移動を開始するように決定する。そして、動作決定部80が回避処理を行うことを決定すると、走行制御部66は、当該決定に基づいて走行モータ24を駆動し、回避処理を行う。この回避処理が完了すると、図4、図5の全処理を終了する。
一方、ステップS22の判断が肯定された場合には、ステップS24に移行する。ステップS24に移行する場合とは、人(動作対象)が退いてほしいとの声を発し、当該人が自律移動ロボット100の方向に向かって移動している又は停止している(ステップS18が否定)場合である。すなわち、自律移動ロボット100は、どの方向に避けるべきかが判別不能な状況であるといえる。この場合、動作決定部80は、ステップS24において、人に対して反対に移動するように決定し、走行制御部66を介して、走行モータ24を駆動して、人と反対方向に移動する。具体的には、図6に示すような動作を実行する。図6では、人をHで示し、自律移動ロボット100をRで示している。ここで、人は、ロボットを避けて通行したいという意志を有している場合でも、ロボットとの位置関係からどちらに避ければ良いか判断できない場合がある。しかるに、人は、このような場合でもロボットと人との間隔が変われば、どちらに避ければ良いかを判断することができる場合がある。したがって、ステップS24では、自律移動ロボット100が人と反対方向に移動して、人との間隔を変えることで、人に判断及び動作を促している。
次いで、ステップS26では、人物検出部60が、人(動作対象)の位置及び進行方向を検出する。次いで、ステップS28では、動作決定部80が、人(動作対象)が移動中であるか否かを判断する。ここでの判断が肯定された場合、すなわち、人が移動している場合には、ステップS32において、ステップS20と同様、動作決定部80が、自律移動ロボット100の位置と人の位置とを結ぶ線と、人の進行方向との角度差を計算する。そして、ステップS34では、ステップS22と同様、動作決定部80が、角度差が所定範囲内であるか否かを判断する。ここでの判断が否定された場合は、自律移動ロボット100が人の進行方向とは反対の方向に移動して、様子を見た結果、人が異なる方向に移動したと推定される。このような場合には、ステップS36に移行し、動作決定部80は、前述と同様に、人が移動している方向から離れる方向を回避方向として決定する。そして、動作決定部80は、走行制御部66を介して、走行モータ24を駆動して、上記回避方向に回避処理を実行する。一方、ステップS34の判断が肯定された場合、すなわち、自律移動ロボット100を人の進行方向とは反対の方向に移動させて様子を見た結果、人がまだ自律移動ロボット100に向けて移動している場合には、ステップS24に戻る。そして、ステップS24を再度実行して、自律移動ロボット100を人の進行方向と反対の方向に更に移動させて様子を見る(ステップS26)。
これに対し、ステップS28の判断が否定された場合、すなわち、人の進行方向に対して反対方向に移動した結果、人が移動を止めた場合には、ステップS30に移行する。ステップS30では、動作決定部80が、位置検出部62及び人物検出部60の検出結果から、人と自律移動ロボット100とが一定距離離れたか否かを判断する。ここでの判断が肯定された場合には、全処理を終了し、動作対象であった人を動作対象から解除する。一方、ステップS30の判断が否定された場合には、ステップS24に戻る。その後は、ステップS30が肯定されるまで、あるいはステップS36の処理が完了するまで、ステップS24以降の処理を繰り返す。
ところで、図4のステップS16の判断が否定された場合、すなわち、人が退いてほしい意味の音声を発していない場合には、図5に移行して、ステップS38の処理を実施する。具体的には、ステップS38では、動作決定部80が、地図情報DB34に格納されている地図情報を用いて、自律移動ロボット100が位置している場所の幅が一定以下か否かを判断する。ここでの判断が否定された場合、すなわち、自律移動ロボット100が、広い場所に位置していると判断された場合には、自律移動ロボット100が人の邪魔とならないと推定される。このため、図4、図5の全処理を終了する。一方、ステップS38の判断が肯定された場合には、ステップS40に移行する。
ステップS40では、動作決定部80が、人(動作対象)が移動中であるか否かを判断する。ここでの判断が否定された場合にはステップS52に移行する。一方、ステップS40の判断が肯定された場合には、ステップS42に移行し、ステップS20、S32と同様、動作決定部80が、自律移動ロボット100の位置と人の位置とを結ぶ線と、人の進行方向との角度差を計算する。そして、ステップS44では、ステップS22、S34と同様、動作決定部80が、角度差が所定範囲内であるか否かを判断する。ここでの判断が肯定された場合、ステップS52に移行する。一方、ステップS44の判断が否定された場合にも、ステップS48において、動作決定部80が、顔検出部52の検出結果に基づいて、人が自律移動ロボット100に顔を向けているか否かを判断する。ここでの判断が肯定された場合には、ステップS52に移行する。また、ここでの判断が否定された場合には、ステップS50に移行する。
ここで、ステップS40〜S48の処理・判断について、図7〜図9に基づいて具体的に説明する。なお、図7〜図9では、一例として、自律移動ロボット100が棚の前に位置している場合を図示している。
(A) ステップS40〜S48の処理・判断の結果、ステップS50に移行する場合
図7(a)、図7(b)に示すように、人が、自律移動ロボット100に向かって近づいてなく、かつ人が自律移動ロボット100に顔を向けていない場合であり、自律移動ロボット100に用がないと推定される場合である。このような場合、ステップS40(肯定)、ステップS42、ステップS44(否定)、ステップS48(否定)を経て、ステップS50に移行するようになっている。
(B) ステップS40〜S48の処理・判断の結果、ステップS52に移行する場合
(1)人が停止している場合
図8(a)に示すように人が停止している場合、人が自律移動ロボット100に退いて欲しいと考えているのか、人が棚にアクセスしたいと考えているのかが不明であると推定される。このような場合、ステップS40の判断が否定された後、ステップS52に移行するようになっている。
(2)人が自律移動ロボット100に向かって近づいており、かつ自律移動ロボット100の方向に顔を向けている場合
図8(b)に示すように、人が自律移動ロボット100に向かって近づいており、かつ自律移動ロボット100の方向に顔を向けている場合も、人が自律移動ロボット100に退いて欲しいと考えているのか、自律移動ロボット100に用があるのかが不明であると推定される。このような場合、ステップS40(肯定)、ステップS42、ステップS44(肯定)を経て、ステップS52に移行するようになっている。
(3)人が自律移動ロボット100に向かって近づいているが、自律移動ロボット100の方向に顔を向けていない場合
図9(a)に示すように、人が自律移動ロボット100に向かって近づいているが自律移動ロボット100の方向に顔を向けていない場合も、人が自律移動ロボット100に退いて欲しいと考えているのか不明であると推定される。このような場合も上記(2)と同様に、ステップS40(肯定)、ステップS42、ステップS44(肯定)を経て、ステップS52に移行するようになっている。
(4)人が自律移動ロボット100に向かって近づいていないが、自律移動ロボット100の方向に顔を向けている場合
図9(b)に示すように、人が自律移動ロボット100に向かって近づいていないが自律移動ロボット100の方向に顔を向けている場合も、人が自律移動ロボット100に退いて欲しいと考えているのか不明であると推定される。このような場合、ステップS40(肯定)、ステップS42、ステップS44(否定)、ステップS48(肯定)を経て、ステップS52に移行するようになっている。
図5に戻り、ステップS50では、前述したステップS36と同様にして、回避処理を実行する。具体的には、図10(a)、図10(b)に示すように、自律移動ロボット100が、人の進行方向から離れる方向に移動するように、動作決定部80が移動方向を決定し、走行制御部66を介して走行モータ24を駆動する。
一方、ステップS52では、動作決定部80は、発声制御部68を介してスピーカ18から音声を出力して、人の意志を確認する。具体的には、「何か御用でしょうか」などの音声をスピーカ18から出力する。次いで、ステップS54では、動作決定部80が、音声認識部56において、人からの回答があったことが認識されたか否かを判断する。ここでの判断が肯定された場合にはステップS56に移行し、否定された場合には、図4のステップS24に移行する。
ステップS56では、動作決定部80が、人からの回答が退いて欲しい意味の音声であったと、音声認識部56において認識されたか否かを判断する。ここでの判断が肯定された場合には、図4のステップS24に移行する。
図4のステップS24に移行した場合、すなわち、人からの回答が無かったり、回答があったが、当該回答が退いて欲しいという意味であった場合には、ステップS24以降の処理を、前述したのと同様に実行する。具体的には、図11(a)のように人が停止している場合(図8(a)に対応)、図11(b)、図11(c)のように人が自律移動ロボット100に向かって移動している場合(図8(b)、図9(a)に対応)、及び図11(d)に示すように人の顔が自律移動ロボット100に向いている場合(図9(b)に対応)のいずれにおいても、人から離れる方向に移動する。そして、自律移動ロボット100の移動後における人の動きを見て、当該人の動きから離れる方向に自律移動ロボット100が回避するようにする(ステップS36)。
図5に戻り、ステップS54の判断が否定された場合、すなわち、人に自律移動ロボット100に退いてほしいという意志がない場合には、動作決定部80等が、人(動作対象)に対する応対を処理を実行する(ステップS58)。
ステップS58のサブルーチンでは、図12に示す処理を実行する。
図12の処理では、まず、ステップS60において、動作決定部80が、位置検出部62で検出される自律移動ロボット100の位置を取得する。次いで、ステップS62において、動作決定部80が、人物検出部60で検出された人(動作対象)の位置を取得する。次いで、ステップS64では、動作決定部80の指示の下、首制御部64が首モータ36を駆動して、人に頭部10a正面を向けるとともに、発声制御部68がスピーカ18を介して発話などを行うことで、応対を開始することを示す。
次いで、ステップS66では、動作決定部80が、地図情報DB34に格納されている地図情報(図3(b)参照)と、ステップS60で取得した位置から、自己位置情報及び通路幅を取得する。動作決定部80は、自己位置情報として、図3に示すデータからオリジナルの項目(例えば、移動可能範囲や応対不可範囲など)の情報を取得する。次いで、ステップS68では、動作決定部80が、自律移動ロボット100が位置する領域における通路幅が規定幅より狭いか否かを判断する。すなわち、自律移動ロボット100(ロボット本体10)の周囲に所定広さ、例えば、自律移動ロボット100の幅と人の幅(予め設定されているものとする)の合計よりも広い通路幅、が確保されているか否かを判断する。ここでの判断が否定された場合、すなわち、図13(a)に示すように、通路幅が規定幅より広い場合には、ステップS82に移行する。そして、ステップS82では、動作決定部80の指示の下、走行制御部66が走行モータ24を駆動したり、首制御部64が首モータ36を駆動したりすることで、自律移動ロボット100の方向を人に向けて、応対を行う。このように、通路幅が規定幅より広い場合には、図13(c)に示すように、その場で応対を行っても、動作対象の人以外の人の通行等を邪魔することが無いことから、自律移動ロボット100は、その場で応対を行うようにしている。なお、応対は、発声制御部68がスピーカ18から音声を出力したり、音声認識部56が人の音声を認識し、人の問いかけに適切に答えたりすることにより、行われる。
一方、ステップS68の判断が肯定されると、ステップS70に移行して、動作決定部80は、自律移動ロボット100の位置がロボット応対可能範囲であるか否かを判断する。ここでの判断が肯定された場合、すなわち、図13(b)に示すように、既に、自律移動ロボット100がロボット応対可能範囲に存在している場合には、特に移動することなく、前述と同様、ステップS82の処理(応対)を行う。
一方、ステップS70の判断が否定された場合、すなわち図13(c)に示すように、自律移動ロボット100がロボット応対可能範囲に存在していない場合には、ステップS72に移行する。ステップS72では、動作決定部80が、障害物検出部58で検出される障害物の位置を取得し、地図情報を更新する。具体的には、図3(b)に示すように、更新の項目を「障害物あり」と更新する。
次いで、ステップS74では、動作決定部80が、自律移動ロボット100の移動場所を決定する。例えば、図14(a)に示すように、自律移動ロボット100近傍に移動不可範囲や応対不可範囲が存在しない場合には、動作決定部80は、ロボット応対可能範囲のうちで最も近い位置を移動場所として決定する。この決定においては、ポテンシャル法などの既存技術を用いることができる。また、図14(b)に示すように、自律移動ロボット100の近傍に障害物としての人が存在している場合には、当該人に接触せずに移動でき、かつロボット応対可能範囲のうちで最も近い位置を移動場所として決定する。更に、図14(c)のように、自律移動ロボット100の近傍に応対不可範囲がある場合には、応対不可範囲を除き、ロボット応対可能範囲のうちで最も近い位置を移動場所として決定する。図14(b),図14(c)のような場合にもポテンシャル法を用いることができる。
次いで、ステップS76では、動作決定部80の指示の下、発声制御部68がスピーカ18を介して、人に対して移動開始を通知する。次いで、ステップS78では、動作決定部80の指示の下、走行制御部66が、走行モータ24を駆動して、自律移動ロボット100を、ステップS74で決定した移動場所まで移動させる。次いで、動作決定部80は、ステップS80において、移動が完了するまで待機し、移動が完了した段階で、ステップS82に移行する。ステップS82では、前述したのと同様に、自律移動ロボット100の向きを人に向け、応対を行う。
以上のようにして、図12の処理が終了すると、図5に戻り、全処理を終了する。
以上、詳細に説明したように、本実施形態によると、動作決定部80及び走行制御部66は、音声認識部56の認識結果に基づいて人が自律移動ロボット100を退かそうとしているか否かを判定するとともに、人物検出部60と顔検出部52の検出結果に基づいて人が移動したい方向を判定する。そして、判定の結果、人に退かそうとする意志があるが移動したい方向が不明であった場合には、自律移動ロボット100を人から離れる方向に移動させ(ステップS24)、自律移動ロボット100が人から離れる方向に移動した後に、人が動いた方向に基づいて、人から離れる方向に自律移動ロボット100を移動する。ここで、人は、ロボットを避けて通行したいという意志を有している場合でも、ロボットとの位置関係からどちらに避ければ良いかという判断ができない場合がある。このような場合でも、人は、ロボットとの間隔が変化すると、自発的にどちらに避ければ良いかを判断し、その方向への動作を実行する習性を有している。このため、本実施形態の自律移動ロボット100は、人が自律移動ロボット100を退かしたいと考え、かつ人が移動したい方向が不明な場合に、人から一旦離れ、そのときの様子を見て人の移動したい方向を確認し、人から離れるように移動するようにしている。これにより、人の移動したい方向が不明な場合でも、適切な移動(回避動作)を行うことが可能である。
また、本実施形態では、動作決定部80及び走行制御部66は、人の移動方向が自律移動ロボット100に向かう方向でなく、かつ人の顔の向きが自律移動ロボット100の方向でない場合に、自律移動ロボット100に、人に接触しないように回避動作を実行させる。このように、人の移動方向が自律移動ロボット100に向かう方向でなく、かつ人の顔の向きが自律移動ロボット100の方向でない場合には、人が自律移動ロボット100に用がある可能性が低い。したがって、自律移動ロボット100は人に接触しないように回避動作を実行することで、人の邪魔をすることなく、同一の空間で人と共存することができるようになる。
また、本実施形態では、動作決定部80及び走行制御部66並びに発声制御部68は、音声認識部56の認識結果に基づいて人が自律移動ロボット100を退かそうとする意志が無いと判定した場合で、かつ、(a)人が移動していない場合、(b)人が移動中で当該人の顔が自律移動ロボット100の方向を向いている場合、及び(c)人が自律移動ロボットの方向に移動中で当該人の顔が自律移動ロボット100の方向を向いていない場合のいずれかに該当する場合に、スピーカ18から人に対して意志を確認する音声を発生させ、音声認識部56の認識結果に基づいて人が自律移動ロボット100を退かそうとする意志があるか否かを判定する。このように、人の移動方向と人の顔の向きを確認した結果、人に自律移動ロボット100を退かそうとする意志があるか否かが不明と判定されたときに、人の意志を確認することができる。これにより、確認結果を用いることで、自律移動ロボット100を適切に動作させることができるようになる。
また、本実施形態では、自律移動ロボット100の位置する通路の幅が狭い場合、すなわち、自律移動ロボット100の周囲に所定広さ、例えば、自律移動ロボット100の幅と人の幅の合計よりも広い通路幅、が確保されていない場合に、人の意志を確認する。したがって、自律移動ロボット100が退かなくても人の邪魔にならないような場合まで、自律移動ロボット100を動作させなくても良くなるので、動作を効率よく行うことが可能である。
また、本実施形態では、人が自律移動ロボットを退かそうとする意志が無いと判定された場合に、邪魔にならない場所に移動した後、人に対する応対を行う。これにより、動作対象の人以外の人にとっても自律移動ロボット100が邪魔にならずに、動作対象の人に対する応対を行うことができる。
また、本実施形態では、応対不可範囲や移動不可範囲を除く領域内で自律移動ロボット100を移動させるので、自律移動ロボット100を適切な範囲で移動させることが可能である。
また、本実施形態では、検出した障害物の位置を、新たな応対不可範囲として地図情報に設定するため、障害物(応対する人以外の人など)に自律移動ロボット100が接触するのを回避することができる。
なお、上記実施形態では、図14(a)〜図14(c)の回避動作に代えて、図15(a)、図15(b)のような回避動作を、自律移動ロボット100に行わせても良い。具体的には、図15(a)に示すように、自律移動ロボット100近傍に障害物(人)が存在する場合、自律移動ロボット100は、図15(a)の紙面上側及び下側のロボット応対可能範囲のいずれかに移動することができる。ここでは、動作決定部80は、人との距離が離れないように移動場所を決定することとする。例えば、図15(a)の場合であれば、人(動作対象)との距離の増加しない範囲(円L内)で、かつ移動距離が最も少なくなる位置100’を移動場所とする。このようにすることで、場所100”に移動する場合よりも応対時の人との位置関係を適切に保つことができる。同様に、図15(b)に示すように、応対不可範囲が自律移動ロボット100の近傍にある場合にも、人との距離の増加しない範囲(円L内)で、かつ移動距離が最も少ない位置を移動場所とする。これにより、動作対象の人との位置関係を適切に保つことができる。
なお、上記実施形態では、カメラ12としてステレオカメラを用い、当該カメラ12で撮影される画像を用いて、顔検出及び人の位置検出を行う場合について説明した。しかしながら、これに限られるものではなく、顔検出用のカメラを別途設け、当該顔検出用のカメラで撮影される画像を用いて人の顔を検出することとしても良い。
なお、上記実施形態では、前述のように、ジャイロセンサ32は、自律移動ロボット100の向きを精度良く検出するために用いるためのものである。このため、然程精度が要求されないような場合には、ジャイロセンサ32を設けないこととしても良い。
また、上記実施形態では、首部10cが回転可能である場合について説明したが、これに限らず、首部10cは回転しなくても良い。この場合、首モータ36や首制御部64を省略することができる。カメラ12の撮影方向を変更する場合には、移動部20の走行モータ24を用いることとすれば良い。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。
10 ロボット本体
18 スピーカ(応対部の一部)
20 移動部
34 地図情報DB(地図情報保持部)
56 音声認識部
60 人物検出部
62 位置検出部(ロボット本体位置検出部)
64 首制御部(実行部の一部)
66 走行制御部(実行部の一部)
68 発声制御部(実行部の一部、発声部、応対部の一部)
80 動作決定部(実行部の一部)
100 自律移動ロボット

Claims (8)

  1. ロボット本体と、
    前記ロボット本体の周囲に存在する人の位置及び移動方向を検出する人物検出部と、
    前記人の顔が向いている方向を検出する顔検出部と、
    前記人が発する音声を認識する音声認識部と、
    前記人物検出部と前記顔検出部の検出結果及び前記音声認識部の認識結果に基づいて、前記ロボット本体の動作を決定し、当該動作を前記ロボット本体に実行させる実行部と、
    前記実行部の指示により前記ロボット本体を移動させる移動部と、
    を備え、
    前記実行部は、
    前記音声認識部の認識結果に基づいて前記人が前記ロボット本体を退かそうとする意志があるか否かを判定するとともに、前記人物検出部と前記顔検出部の検出結果に基づいて前記人が移動したい方向を判定し、
    当該判定の結果、前記人に前記意志があるが、前記人が移動したい方向が不明であった場合に、前記ロボット本体を前記人から離れる方向に前記移動部により移動させ、
    前記ロボット本体が前記人から離れる方向に移動された後に、前記人物検出部により検出される前記人が動いた方向に基づいて、前記人から離れる方向に前記ロボット本体を前記移動部により移動させることを特徴とする自律移動ロボット。
  2. 前記実行部は、前記人物検出部で検出される前記人の移動方向が前記ロボット本体に向かう方向でなく、かつ前記顔検出部で検出される前記人の顔の向きが前記ロボット本体の方向でない場合には、前記ロボット本体に、前記人に接触しないように回避動作を前記移動部に実行させることを特徴とする請求項1に記載の自律移動ロボット。
  3. 前記実行部は、音声を発する発声部を有し、
    前記音声認識部の認識結果に基づいて前記人が前記ロボット本体を退かそうとする意志が無いと判定した場合で、かつ、前記人が移動していない場合、前記人が移動中で当該人の顔が前記ロボット本体の方向を向いている場合、及び前記人が前記ロボット本体の方向に移動中で当該人の顔が前記ロボット本体の方向を向いていない場合のいずれかに該当する場合に、
    前記発声部から前記人に対して意志を確認する音声を発生し、その後の前記音声認識部の認識結果に基づいて前記人が前記ロボット本体を退かそうとする意志があるか否かを判定することを特徴とする請求項1又は2に記載の自律移動ロボット。
  4. 前記ロボット本体が配置される領域の地図情報を保持する地図情報保持部と、
    前記ロボット本体の位置を検出するロボット本体位置検出部と、を更に備え、
    前記実行部は、前記ロボット本体位置検出部で検出された前記ロボット本体の位置と、前記地図情報保持部に保持されている地図情報とに基づいて、前記ロボット本体の周囲に所定広さが確保されているか否かを判断し、
    前記所定広さが確保されていない場合に、前記発声部から前記人に対して意志を確認する音声を発生させることを特徴とする請求項3に記載の自律移動ロボット。
  5. 前記人と応対を行う応対部を更に備え、
    前記地図情報には、前記ロボット本体が位置しても邪魔にならない場所が設定されており、
    前記実行部は、前記人が前記ロボット本体を退かそうとする意志が無いと判定した場合に、前記邪魔にならない場所に前記ロボット本体を移動させて、前応対部に応対を実行させることを特徴とする請求項4に記載の自律移動ロボット。
  6. 前記実行部は、前記邪魔にならない場所のうち、前記ロボット本体と前記人との距離が大きくならない場所に、前記ロボット本体を前記移動部により位置させて、前記応対部に応対を実行させることを特徴とする請求項5に記載の自律移動ロボット。
  7. 前記地図情報には、前記ロボット本体が位置できない禁止場所が設定されており、
    前記実行部は、前記禁止場所を除く場所に前記ロボット本体を前記移動部により位置させて、前記応対部に応対を実行させることを特徴とする請求項4〜6のいずれか一項に記載の自律移動ロボット。
  8. 前記ロボット本体周辺に位置する障害物を検出する障害物検出部を更に備え、
    前記障害物検出部は、検出した障害物の位置を、新たな禁止場所として地図情報に設定することを特徴とする請求項7に記載の自律移動ロボット。
JP2009268428A 2009-11-26 2009-11-26 自律移動ロボット Expired - Fee Related JP5392028B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009268428A JP5392028B2 (ja) 2009-11-26 2009-11-26 自律移動ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009268428A JP5392028B2 (ja) 2009-11-26 2009-11-26 自律移動ロボット

Publications (2)

Publication Number Publication Date
JP2011110644A true JP2011110644A (ja) 2011-06-09
JP5392028B2 JP5392028B2 (ja) 2014-01-22

Family

ID=44233393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009268428A Expired - Fee Related JP5392028B2 (ja) 2009-11-26 2009-11-26 自律移動ロボット

Country Status (1)

Country Link
JP (1) JP5392028B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013069195A1 (ja) * 2011-11-09 2013-05-16 パナソニック株式会社 自律移動装置、自律移動方法、及び自律移動装置用のプログラム
WO2014068975A1 (ja) * 2012-11-05 2014-05-08 パナソニック株式会社 自律走行装置の走行情報生成装置、方法、及びプログラム、並びに自律走行装置
JPWO2017169826A1 (ja) * 2016-03-28 2018-04-12 Groove X株式会社 お出迎え行動する自律行動型ロボット
KR20180060567A (ko) * 2016-11-29 2018-06-07 한국기술교육대학교 산학협력단 노년층을 위한 교감 로봇시스템
JP6343362B1 (ja) * 2017-03-21 2018-06-13 三菱ロジスネクスト株式会社 有人無人兼用車および配車システム
KR20180082777A (ko) * 2017-01-11 2018-07-19 한국기술교육대학교 산학협력단 노년층을 위한 교감 로봇시스템
JP2018173830A (ja) * 2017-03-31 2018-11-08 カシオ計算機株式会社 移動装置、移動装置の制御方法及びプログラム
JP2019062970A (ja) * 2017-09-28 2019-04-25 株式会社イームズラボ 無人消火装置、無人消火方法及び無人消火プログラム
JP2019155144A (ja) * 2019-06-18 2019-09-19 国立大学法人千葉大学 自律移動ロボット及びバイタルサインモニタリング方法
KR20190117832A (ko) * 2018-03-26 2019-10-17 제주대학교 산학협력단 교감형 반려식물 로봇시스템
WO2020100437A1 (ja) * 2018-11-14 2020-05-22 株式会社 東芝 制御システム、制御方法、プログラム、及び記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006035381A (ja) * 2004-07-28 2006-02-09 Honda Motor Co Ltd 移動ロボットの制御装置
JP2006043792A (ja) * 2004-08-02 2006-02-16 Yaskawa Electric Corp 衝突防止機能付ロボット
JP2008238327A (ja) * 2007-03-27 2008-10-09 Toshiba Corp ロボット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006035381A (ja) * 2004-07-28 2006-02-09 Honda Motor Co Ltd 移動ロボットの制御装置
JP2006043792A (ja) * 2004-08-02 2006-02-16 Yaskawa Electric Corp 衝突防止機能付ロボット
JP2008238327A (ja) * 2007-03-27 2008-10-09 Toshiba Corp ロボット

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9086700B2 (en) 2011-11-09 2015-07-21 Panasonic Intellectual Property Management Co., Ltd. Autonomous locomotion apparatus, autonomous locomotion method, and program for autonomous locomotion apparatus
WO2013069195A1 (ja) * 2011-11-09 2013-05-16 パナソニック株式会社 自律移動装置、自律移動方法、及び自律移動装置用のプログラム
WO2014068975A1 (ja) * 2012-11-05 2014-05-08 パナソニック株式会社 自律走行装置の走行情報生成装置、方法、及びプログラム、並びに自律走行装置
JP5597322B1 (ja) * 2012-11-05 2014-10-01 パナソニック株式会社 自律走行装置の走行情報生成装置、方法、及びプログラム、並びに自律走行装置
US9235216B2 (en) 2012-11-05 2016-01-12 Panasonic Intellectual Property Management Co., Ltd. Running information generating apparatus of autonomous running apparatus, running information generating method, running information generating program, and autonomous running apparatus
US11135727B2 (en) 2016-03-28 2021-10-05 Groove X, Inc. Autonomously acting robot that performs a greeting action
JPWO2017169826A1 (ja) * 2016-03-28 2018-04-12 Groove X株式会社 お出迎え行動する自律行動型ロボット
KR20180060567A (ko) * 2016-11-29 2018-06-07 한국기술교육대학교 산학협력단 노년층을 위한 교감 로봇시스템
KR101954610B1 (ko) * 2016-11-29 2019-03-06 한국기술교육대학교 산학협력단 노년층을 위한 교감 로봇시스템
KR20180082777A (ko) * 2017-01-11 2018-07-19 한국기술교육대학교 산학협력단 노년층을 위한 교감 로봇시스템
JP6343362B1 (ja) * 2017-03-21 2018-06-13 三菱ロジスネクスト株式会社 有人無人兼用車および配車システム
JP2018156569A (ja) * 2017-03-21 2018-10-04 三菱ロジスネクスト株式会社 有人無人兼用車および配車システム
JP2018173830A (ja) * 2017-03-31 2018-11-08 カシオ計算機株式会社 移動装置、移動装置の制御方法及びプログラム
JP2019062970A (ja) * 2017-09-28 2019-04-25 株式会社イームズラボ 無人消火装置、無人消火方法及び無人消火プログラム
JP7186339B2 (ja) 2017-09-28 2022-12-09 智幸 伊豆 無人消火装置、無人消火方法及び無人消火プログラム
KR20190117832A (ko) * 2018-03-26 2019-10-17 제주대학교 산학협력단 교감형 반려식물 로봇시스템
KR102116259B1 (ko) * 2018-03-26 2020-05-29 제주대학교 산학협력단 교감형 반려식물 로봇시스템
WO2020100437A1 (ja) * 2018-11-14 2020-05-22 株式会社 東芝 制御システム、制御方法、プログラム、及び記憶媒体
JP2020086473A (ja) * 2018-11-14 2020-06-04 株式会社東芝 制御システム、制御方法、プログラム、及び記憶媒体
JP2019155144A (ja) * 2019-06-18 2019-09-19 国立大学法人千葉大学 自律移動ロボット及びバイタルサインモニタリング方法

Also Published As

Publication number Publication date
JP5392028B2 (ja) 2014-01-22

Similar Documents

Publication Publication Date Title
JP5392028B2 (ja) 自律移動ロボット
JP2008158868A (ja) 移動体、及びその制御方法
JP4266211B2 (ja) ロボット装置、ロボット装置の移動方法、および、プログラム
JP7017025B2 (ja) 自律移動ロボット、自律移動ロボットの制御方法および制御プログラム
US20120316680A1 (en) Tracking and following of moving objects by a mobile robot
US11554487B2 (en) Robot navigating through waypoints based on obstacle avoidance and method of robot's navigation
US8010231B2 (en) Communication robot
US20100198443A1 (en) Path planning device, path planning method, and moving body
JP4276624B2 (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
JP3906743B2 (ja) 案内ロボット
JP4675811B2 (ja) 位置検出装置、自律移動装置、位置検出方法および位置検出プログラム
JP4682973B2 (ja) 移動経路作成方法、自律移動体および自律移動体制御システム
JP5366048B2 (ja) 情報提供システム
JP2007260822A (ja) 道案内ロボット
JP2008084135A (ja) 移動制御方法、移動ロボットおよび移動制御プログラム
Lee et al. Autonomous tour guide robot by using ultrasonic range sensors and QR code recognition in indoor environment
JP2008087140A (ja) 音声認識ロボットおよび音声認識ロボットの制御方法
JP2007199965A (ja) 自律移動装置
JP2008152599A (ja) 移動経路作成方法、自律移動体および自律移動体制御システム
WO2016039158A1 (ja) 移動体制御装置及び移動体
JP2011224737A (ja) 案内ロボット、案内方法、及び案内制御用プログラム
CN112631269A (zh) 自主移动机器人及自主移动机器人的控制程序
KR20200137471A (ko) 동영상을 획득하는 로봇 및 전자 기기와, 상기 로봇을 이용한 동영상 획득 방법
JP5115886B2 (ja) 道案内ロボット
JP2017177228A (ja) サービス提供ロボットシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130930

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees