JP2007279824A - 自律移動型ロボット - Google Patents

自律移動型ロボット Download PDF

Info

Publication number
JP2007279824A
JP2007279824A JP2006102012A JP2006102012A JP2007279824A JP 2007279824 A JP2007279824 A JP 2007279824A JP 2006102012 A JP2006102012 A JP 2006102012A JP 2006102012 A JP2006102012 A JP 2006102012A JP 2007279824 A JP2007279824 A JP 2007279824A
Authority
JP
Japan
Prior art keywords
master
mobile robot
route
unit
stalker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006102012A
Other languages
English (en)
Inventor
Akiyoshi Yoshida
明美 吉田
Toshiki Kanemichi
敏樹 金道
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006102012A priority Critical patent/JP2007279824A/ja
Publication of JP2007279824A publication Critical patent/JP2007279824A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】監視対象物との遭遇を効果的に防止することが可能な自律移動型ロボットを提供する。
【解決手段】周辺環境を観測しつつその観測情報に基づいて自律して移動可能な自律移動型ロボットRであって、主人Mが通行する予定のルートを先行して移動するように走行を制御する走行制御手段5Mと、予定のルート上で周辺環境を撮像して得た撮像データに基づいて、予定のルート上に監視対象物が存在するか否かを判定する判定手段5C,5Eと、予定のルート上に監視対象物が存在すると判定された場合に、その判定結果を主人に報知する報知手段5F,10と、を備える。
【選択図】図3

Description

本発明は、自律移動型ロボットに関する。
近年、ストーカー等による犯罪が増加しており、社会問題化している。このような犯罪を抑止したり、万一犯罪に巻き込まれたときの手がかりとしたりするために、監視カメラで撮影した監視対象者の映像をリアルタイムでユーザに提供する監視装置が開発されている(例えば、特許文献1を参照)。
特開2005−80156号公報
しかしながら、上記した従来の監視装置では、監視カメラが設置されていない場所に監視対象者がいる場合は対応できず、主人と監視対象者との遭遇を効果的に防止することができなかった。
本発明は、上記した事情に鑑みて為されたものであり、主人と監視対象物との遭遇を効果的に防止することが可能な自律移動型ロボットを提供することを目的とする。
本発明に係る自律移動型ロボットは、周辺環境を観測しつつその観測情報に基づいて自律して移動可能な自律移動型ロボットであって、主人が通行する予定のルートを先行して移動するように走行を制御する走行制御手段と、予定のルート上で周辺環境を撮像して得た撮像データに基づいて、予定のルート上に監視対象物が存在するか否かを判定する判定手段と、予定のルート上に監視対象物が存在すると判定された場合に、その判定結果を主人に報知する報知手段と、を備えることを特徴とする。
この自律移動型ロボットでは、主人が通行する予定のルートを先行して監視対象物が存在するか否かを確認することができるため、主人と監視対象物との遭遇を効果的に防止することができる。
予定のルート上に監視対象物が存在すると判定された場合に、主人が監視対象物と遭遇しないように、予定のルートとは異なるルートを設定するルート変更手段を備えると好ましい。このようにすれば、変更されたルートを主人が通行することで、主人と監視対象物との遭遇を効果的に防止することができる。
撮像データに含まれる人物データを蓄積し、蓄積頻度に基づいて不審人物を抽出する不審人物抽出手段を備えると好ましい。このようにすれば、主人の近くによく現れる不審人物を知ることができる。
本発明の自律移動型ロボットによれば、主人と監視対象物との遭遇を効果的に防止することが可能となる。
以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
参照する図面において、図1は本実施形態に係る自律移動型ロボットとしてのモビルロボットおよびその主人を模式的に示す平面図、図2は図1に示したモビルロボットの構造を示す側面図、図3は図2に示したモビルロボットが備える制御装置の構成を示すブロック図、図4は図3に示した制御装置による処理手順の一部を示すフローチャート、図5は主人に新たなルートを提示するときの画面表示の一例を示す図である。
自律移動型ロボットは、図1に示すように、主人Mとの距離を一定に保ちながら主人Mに先行して移動可能なモビルロボットRとして構成されている。このモビルロボットRは、周辺環境を観測しつつその観測情報に基づいて自律して移動可能である。なお、本実施形態では、モビルロボットRが、監視対象物としてストーカーなどの特定人物を監視する場合について説明する。また、モビルロボットRは視認可能な範囲で主人Mのかなり前方を移動する場合を説明するが、視認不能な範囲まで離れていてもよい。
図2に示すように、モビルロボットRは、走行装置1により移動可能なボディR1と、このボディR1に対して回転可能に接続されたヘッドR2とを備えており、ボディR1には、報知、警報、案内などの各種のメッセージを画像や文字により表示可能なディスプレイ2が設置されている。そして、このボディR1には、電源としてのバッテリ3、ヘッドR2を回転駆動するためのヘッド駆動モータ4、自身の位置を検出する位置センサ9の他、走行装置1、ディスプレイ2、ヘッド駆動モータ4などを制御するための制御装置5が内蔵されている。位置センサ9は、例えばGPS(グローバルポジショニングシステム)レシーバ、ジャイロコンバータなどを有しており、これらによって自身の現在位置を検出する。
一方、モビルロボットRのヘッドR2には、周辺に存在する障害物(他の人物や動物、構造物、設置物、車両等)などを含む周辺環境をステレオ画像として観測するための撮像装置としてのCCDカメラ(または赤外線カメラ)6と、報知、警報、案内などの各種メッセージの音声を発声可能なスピーカ7と、無線によりデータを送受信するための送受信アンテナ10が設置されている。なお、CCDカメラ6は、走行用と監視用のカメラを備えている。
図1および図2に示すように、走行装置1は、例えば、ホイールインモータ1A,1Bにより回転方向および回転速度が左右独立に制御される左右一対の駆動車輪1C,1Dと、360度の旋回が可能なキャスタ車輪1Eとを有する。
この走行装置1は、左右一対の駆動車輪1C,1Dが同方向に前転駆動または後転駆動されることでモビルロボットRを前進または後退させる。その際、左右一対の駆動車輪1C,1Dの回転速度が同速度であればモビルロボットRを直進させ、左右一対の駆動車輪1C,1Dの回転速度に差があれば駆動車輪1C,1Dのうち回転速度の遅い側にモビルロボットRを旋回させる。そして、この走行装置1は、左右一対の駆動車輪1C,1Dが同速度で相互に逆方向に回転駆動されると、モビルロボットRをその場で左右の何れかに回転させる。
ここで、制御装置5は、ECU(Electric Control Unit)等のマイクロコンピュータのハードウェアおよびソフトウェアを利用して構成されている。この制御装置5は、ホイールインモータ1A,1Bやヘッド駆動モータ4の駆動回路、ディスプレイ2、CCDカメラ6、スピーカ7、位置センサ9、送受信アンテナ10等との間の入出力インターフェースI/OおよびA/Dコンバータの他、プログラムおよびデータを記憶したROM(Read Only Memory)、入力データ等を一時記憶するRAM(Random Access Memory)、プログラムを実行するCPU(CentralProcessing Unit)等をハードウェアとして備えている。
そして、この制御装置5には、図3に示すように、人物特徴抽出部5A、カメラ制御部5B、ストーカー記憶部5C、ストーカー登録部5D、ストーカー判定部5E、データ送受信部5F、人物データ記憶部5G、異常値検出部5H、走行制御モジュール5Mがソフトウェアとして構成されている。走行制御モジュール5Mは、地図データベース(DB)部5Ma、環境認識部5Mb、目的地入力受付部5Mc、案内走行計画部5Md、走行制御部5Meを含むように構成されている。
人物特徴抽出部5Aには、走行用のCCDカメラ6から周辺環境の画像データが所定時間毎に入力される。そして、送られた画像データに基づいて、人物を抽出してその3次元位置データを推測する。また、人物特徴抽出部5Aには、監視用のCCDカメラ6から、人物の画像データが入力される。
カメラ制御部5Bには、人物特徴抽出部5Aから抽出した人物の3次元位置データが所定時間毎に入力される。そして、入力された人物の3次元位置データに基づき、後述する走行制御部5Meと協働して、抽出した人物の顔を監視用のカメラを用いて全て撮像できるように、ヘッド駆動モータ4の回転を制御してモビルロボットRのヘッドR2を回転させる。
ストーカー記憶部5Cには、監視対象物としてストーカーの画像が記憶されている。ストーカーの画像は、ストーカー登録部5Dを通して入力部11から主人Mにより予め登録されている。このストーカー登録部5Dへの入力は、例えばディスプレイ2をタッチパネル式の入力部11として機能させることで行うことができる。
ストーカー判定部5Eは、人物特徴抽出部5Aから順次入力される人物の画像データに基づいて、予めストーカー記憶部5Cに記憶されているストーカーの画像データとのマッチング処理によりストーカーを検出する。
データ送受信部5Fは、ストーカーが存在すると判定された場合に、その判定結果を送受信アンテナ10を通して無線などで主人Mに報知する。主人Mは、携帯端末100を通してストーカーの存在を認知する。
走行制御モジュール5Mは、主人Mが通行する予定のルート上をモビルロボットRが主人Mに先行して障害物を避けつつ自律して移動するように、走行を制御する。地図DB部5Maには、所定範囲の地図データが収納されている。目的地入力受付部5Mcは、主人Mが向かおうとしている目的地の入力を受け付ける。この目的地入力受付部5Mcへの入力は、例えばディスプレイ2をタッチパネル式の入力手段として機能させることで行うことができる。案内走行計画部5Mdは、位置センサ9から入力される現在の位置データ、地図DB部5Maから入力される地図データ、及び目的地入力受付部5Mcから入力される目的地データに基づいて、目的地までの走行ルートを設定する。この場合、過去のデータに基づいて、ストーカーがよく現れる場所を避けるようにルートを設定すると好ましい。また、位置センサ9から入力される現在の位置データ、及び主人Mの携帯端末100から送信され、送受信アンテナ10を通してデータ送受信部5Fを介して入力される主人Mの位置データに基づいて、主人Mとの距離を一定に保ちながら移動するように、移動速度を設定する。
環境認識部5Mbは、CCDカメラ6から所定時間毎に順次入力された画像データに基づいて撮影画像のエッジ処理を行うことにより、撮影画像中に存在する障害物(他の人物や動物、構造物、設置物、車両等)を検出する。そして、検出された障害物のステレオ画像をステレオマッチング処理することにより、障害物の3次元位置を三角測量の原理で所定時間毎に推測する。
案内走行計画部5Mdには、環境認識部5Mbから障害物の3次元位置データが所定時間毎に入力される。そして、入力された障害物の3次元位置データに基づき、モビルロボットRが障害物を避けつつ走行するように、走行ルートの詳細を設定する。走行制御部5Meは、案内走行計画部5Mdで設定された走行ルート及び移動速度に従って移動するように、ホイールインモータ1A,1Bの回転を個別に制御して走行装置1の駆動車輪1C,1Dの回転方向および回転速度を個別に制御する。
人物データ記憶部5Gには、人物特徴抽出部5Aから入力される人物の画像データが、計測時刻データ及び位置センサ9からの位置データと共に蓄積される。異常値検出部5Hは、蓄積された人物の画像データに基づいて、蓄積頻度に基づいて不審人物を抽出する。すなわち、蓄積頻度が所定の閾値を超えて主人Mの近くに繰り返し現れる頻度が高く、注意が必要と思われる不審人物の候補を抽出する。
異常値検出部5Hは、抽出した不審人物をディスプレイ2に表示する。主人Mは、表示された不審人物をストーカーとして登録するか否かを検討し、ストーカーとして登録すると決定した場合には、その人物データをストーカー登録部5Dを通してストーカー記憶部5Cに新たに登録する。
ここで、走行制御モジュール5Mにより本発明の走行制御手段が構成される。また、ストーカー記憶部5Cとストーカー判定部5Eとにより、本発明の判定手段が構成される。また、データ送受信部5Fと送受信アンテナ10とにより、本発明の報知手段が構成される。また、案内走行計画部5Mdにより、本発明のルート変更手段が構成される。また、人物データ記憶部5Gと異常値検出部5Hとにより、本発明の不審人物抽出手段が構成される。
次に、図3に示した制御装置5を備えるモビルロボットRによるストーカーの監視方法について、図4のフローチャートを参照してより詳細に説明する。
まず、ストーカー記憶部5Cに、監視対象物としてストーカーの画像を記憶させる。ストーカーの画像は、ストーカー登録部5Dを通して入力部11から主人Mが登録する。
次に、主人Mが目的地を入力する。案内走行計画部5Mdは、目的地入力受付部5Mcから目的地の入力を受け付けると、位置センサ9から入力される現在の位置データ、及び地図DB部5Maから入力される地図データに基づいて、目的地までの走行ルートを設定する。そして、設定されたルートをディスプレイ2に表示して主人Mに示す。また、環境認識部5Mbを通して入力される障害物の3次元位置データに基づき、モビルロボットRが障害物を避けつつ走行するように、走行ルートの詳細を設定する。そして、走行制御部5Meは、案内走行計画部5Mdで設定された走行ルートに従って移動するように、走行装置1を制御する。このようにして、モビルロボットRは設定された走行ルートを主人に先行して移動する。
このとき、位置センサ9から入力される自身の現在の位置データ、及び主人Mの携帯端末100から発信され、送受信アンテナ10を通してデータ送受信部5Fを介して入力される主人Mの位置データに基づいて、主人Mとの距離を一定に保ちながら移動するように、案内走行計画部5Mdは、移動速度を設定する。走行制御部5Meは、設定された移動速度に従って移動するように、走行装置1を制御する。
モビルロボットRは、図4のステップS1において、移動に際してCCDカメラ6により周辺環境を撮像して画像データを取得する。そして、ステップS2では、人物特徴抽出部5Aにおいて、周囲にいる全ての人物の画像データを取得する。ステップS3では、予めストーカー記憶部5Cに記憶されているストーカーの画像データとのマッチング処理により、ストーカー判定部5Eにおいてストーカーを検出する。
ステップS4では、ストーカー判定部5Eにおいてストーカーが存在しないと判定された場合は、ステップS1に戻る。一方で、ストーカー判定部5Eにおいてストーカーが存在すると判定された場合は、ステップS5に進み、データ送受信部5Fは、その判定結果を送受信アンテナ10を通して主人Mの携帯端末100に報知する。また、ステップS6において、自身とストーカーのそのときの位置データを取得し、ステップS7において、案内走行計画部5Mdは、ストーカーを避ける新たなルートを設定し、データ送受信部5Fは、送受信アンテナ10を通して主人Mの携帯端末100に送信する。これにより、図5に示すように、主人Mは、携帯端末100を通してストーカーの存在と新たなルートを認知することができる。
なお、人物データ記憶部5Gには、人物特徴抽出部5Aから入力される人物の画像データが、計測時刻データ及び位置センサ9からの位置データと共に蓄積される。異常値検出部5Hは、蓄積された人物の画像データに基づいて、蓄積頻度に基づいて不審人物を抽出する。すなわち、蓄積頻度が所定の閾値を超えて主人Mの近くに繰り返し現れる頻度が高く、注意が必要と思われる不審人物の候補を抽出する。
そして、異常値検出部5Hは、抽出した不審人物をディスプレイ2に表示する。主人Mは、表示された不審人物をストーカーとして登録するか否かを検討し、ストーカーとして登録すると決定した場合には、その人物データをストーカー登録部5Dを通してストーカー記憶部5Cに新たに登録することができる。
以上詳述したように、本実施形態の自律移動型ロボットとして構成されたモビルロボットRは、周辺環境をCCDカメラ6により撮影しつつ、その撮影画像のデータに基づいて走行装置1の左右一対の駆動車輪1C,1Dの回転方向および回転速度を左右独立に制御することにより、主人Mに先行して通行する予定のルートを自律して移動する。その際、ストーカーが存在するか否かを確認することができるため、主人Mとストーカーとの遭遇を効果的に防止することができる。
また、予定のルート上にストーカーが存在すると判定された場合には、主人Mがストーカーと遭遇しないように、予定のルートとは異なるルートを設定することができるため、変更されたルートを主人が通行することで、ストーカーとの遭遇をより効果的に防止することができる。
さらに、撮像された人物データを蓄積し、蓄積頻度に基づいて不審人物を抽出して主人Mに提示することができるため、主人Mの近くによく現れる不審人物を知ることができるとともに、必要に応じてストーカーとして新たにストーカー記憶部5Cに登録することができる。
なお、本発明は上記した実施形態に限定されることなく、種々の変形が可能である。例えば、上記した実施形態では、データ送受信部5Fと送受信アンテナ10とにより、本発明の報知手段が構成される場合について説明したが、主人Mが視認可能な距離を保ちながらモビルロボットRが移動する場合は、パイロットランプなどの視覚的な指示装置により報知手段を構成してもよく、またスピーカを介して聴覚的な指示装置により報知手段を構成してもよい。
また、上記した実施形態では、監視対象物としてストーカーなど特定の人物を監視する場合について説明したが、監視対象物は犬など人物以外を対象にしてもよい。
また、移動手段は2足歩行や4足歩行などでもよい。また、周囲の障害物(物体)との距離等を認識する手段は、ステレオCCDカメラに限らず、イメージセンサとレーザ測距との組み合わせや、距離イメージセンサ等であってもよい。
また、撮像データに基づいて監視対象物の認識を行う構成としたが、本発明はこれに限られず、例えば、携帯電話等の固有番号により、監視対象の認識を行う構成としてもよい。
実施形態に係る自律移動型ロボットとしてのモビルロボットおよびその主人を模式的に示す平面図である。 図1に示したモビルロボットの構造を示す側面図である。 図2に示したモビルロボットが備える制御装置の構成を示すブロック図である。 図3に示した制御装置による処理手順の一部を示すフローチャートである。 主人に新たなルートを提示するときの画面表示の一例を示す図である。
符号の説明
1…走行装置、2…ディスプレイ、3…バッテリ、4…ヘッド駆動モータ、5…制御装置、5A…人物特徴抽出部、5B…カメラ制御部、5C…ストーカー記憶部、5D…ストーカー登録部、5E…ストーカー判定部、5F…データ送受信部、5G…人物データ記憶部、5H…異常値検出部、5M…走行制御モジュール、5Ma…地図DB部、5Mb…環境認識部、5Mc…目的地入力受付部、5Md…案内走行計画部、5Me…走行制御部、6…CCDカメラ、7…スピーカ、9…位置センサ、10…送受信アンテナ、11…入力部、100…主人側携帯端末、R…モビルロボット、M…主人。

Claims (3)

  1. 周辺環境を観測しつつその観測情報に基づいて自律して移動可能な自律移動型ロボットであって、
    主人が通行する予定のルートを先行して移動するように走行を制御する走行制御手段と、
    前記予定のルート上で周辺環境を撮像して得た撮像データに基づいて、前記予定のルート上に監視対象物が存在するか否かを判定する判定手段と、
    前記予定のルート上に前記監視対象物が存在すると判定された場合に、その判定結果を前記主人に報知する報知手段と、
    を備えることを特徴とする自律移動型ロボット。
  2. 前記予定のルート上に前記監視対象物が存在すると判定された場合に、前記主人が該監視対象物と遭遇しないように、該予定のルートとは異なるルートを設定するルート変更手段を備えることを特徴とする請求項1に記載の自律移動型ロボット。
  3. 前記撮像データに含まれる人物データを蓄積し、蓄積頻度に基づいて不審人物を抽出する不審人物抽出手段を備えることを特徴とする請求項1又は2に記載の自律移動型ロボット。

JP2006102012A 2006-04-03 2006-04-03 自律移動型ロボット Withdrawn JP2007279824A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006102012A JP2007279824A (ja) 2006-04-03 2006-04-03 自律移動型ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006102012A JP2007279824A (ja) 2006-04-03 2006-04-03 自律移動型ロボット

Publications (1)

Publication Number Publication Date
JP2007279824A true JP2007279824A (ja) 2007-10-25

Family

ID=38681239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006102012A Withdrawn JP2007279824A (ja) 2006-04-03 2006-04-03 自律移動型ロボット

Country Status (1)

Country Link
JP (1) JP2007279824A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181159A (ja) * 2017-04-19 2018-11-15 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
JP2020021377A (ja) * 2018-08-02 2020-02-06 本田技研工業株式会社 報知システム
CN111611904A (zh) * 2020-05-15 2020-09-01 新石器慧通(北京)科技有限公司 基于无人车行驶过程中的动态目标识别方法
WO2020203302A1 (ja) * 2019-04-01 2020-10-08 Necプラットフォームズ株式会社 通知システム、通知方法及び通知用コンピュータプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018181159A (ja) * 2017-04-19 2018-11-15 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
JP2020021377A (ja) * 2018-08-02 2020-02-06 本田技研工業株式会社 報知システム
JP7289618B2 (ja) 2018-08-02 2023-06-12 本田技研工業株式会社 報知システム
WO2020203302A1 (ja) * 2019-04-01 2020-10-08 Necプラットフォームズ株式会社 通知システム、通知方法及び通知用コンピュータプログラム
JP2020170234A (ja) * 2019-04-01 2020-10-15 Necプラットフォームズ株式会社 通知システム、通知方法及び通知用コンピュータプログラム
CN111611904A (zh) * 2020-05-15 2020-09-01 新石器慧通(北京)科技有限公司 基于无人车行驶过程中的动态目标识别方法
CN111611904B (zh) * 2020-05-15 2023-12-01 新石器慧通(北京)科技有限公司 基于无人车行驶过程中的动态目标识别方法

Similar Documents

Publication Publication Date Title
US20150268338A1 (en) Tracking from a vehicle
KR101407158B1 (ko) 수상 인명 구조 시스템 및 그의 구조 방법
KR101421172B1 (ko) 셔틀로봇 플랫폼을 이용한 무인운송차량
JP7259274B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6047083B2 (ja) 駐車支援システム
JP6080568B2 (ja) 監視システム
JP4940698B2 (ja) 自律移動型ロボット
JP2008260107A (ja) 移動ロボットシステム
JP2015075899A (ja) 駐車支援システム
JP7166712B2 (ja) パーソナルモビリティ
KR20180040839A (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
KR101810576B1 (ko) 시각 장애인 보조용 드론 장치 및 그의 제어 방법
US20220315062A1 (en) Information processing apparatus, control apparatus for moving body, method of controlling information processing apparatus, and method of controlling moving body
JP2007279824A (ja) 自律移動型ロボット
JP2007264950A (ja) 自律移動型ロボット
KR20180040255A (ko) 공항 로봇
JP4702154B2 (ja) 自律移動体および情報表示システム
CN115963785A (zh) 用于运载工具的方法、系统和设备以及存储介质
JP4784381B2 (ja) 自律移動型ロボット
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
KR20180038884A (ko) 공항 로봇 및 그를 포함하는 공항 로봇 시스템
JP2008012635A (ja) 人物識別システム
JP2007290077A (ja) 自律移動体および情報構築システム
US20220308556A1 (en) Delivery robot and notification method
US11964402B2 (en) Robot control system, robot control method, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090402

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20110322