JP2010510895A - ロボットの姿勢検出装置及びその方法 - Google Patents
ロボットの姿勢検出装置及びその方法 Download PDFInfo
- Publication number
- JP2010510895A JP2010510895A JP2009539177A JP2009539177A JP2010510895A JP 2010510895 A JP2010510895 A JP 2010510895A JP 2009539177 A JP2009539177 A JP 2009539177A JP 2009539177 A JP2009539177 A JP 2009539177A JP 2010510895 A JP2010510895 A JP 2010510895A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- robot
- motor
- detected
- contact
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000036544 posture Effects 0.000 claims description 345
- 230000006870 function Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 210000002414 leg Anatomy 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 5
- 210000001217 buttock Anatomy 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 210000001364 upper extremity Anatomy 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 208000028752 abnormal posture Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
- B25J13/084—Tactile sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Toys (AREA)
Abstract
姿勢を変更できるロボットの姿勢検出装置及び方法を開示する。ロボット姿勢検出装置は、複数のモーター、複数の接触センサ、及びロボット制御部を含む。モーターは、ロボットに取り付けられてロボットの動きを検出する。接触センサは、ロボットに取り付けられてユーザー及び物の接触を区別する。ロボット制御部は、モーター及び接触センサを通じて検出される情報に基づきロボットの姿勢を検出する。
Description
本発明は、姿勢変更が可能なロボットに関し、より詳細には姿勢変更が可能なロボットのその姿勢を検出するためのロボットの姿勢検出装置及びその方法に関する。
一般的に、ロボットは人が行いにくい作業、例えば、重い物を運ぶ作業や、高精密度を必要とする作業、または高温/低温の作業環境における該作業を行わなければならない産業現場において主に使用される。
最近、家庭用ロボット、愛玩用ロボット、人名救助ロボット、人造人間(android)のような様々な非産業型ロボットが開発され登場してきている。居住環境でユーザーと共に生活しながらユーザーと会話したり、ユーザーを手伝うことができる対話型(interactive)のロボットを開発するため、多くの研究がさらに活発に行われている。
産業用ロボットと異なり、人造人間は、姿や動きが人に類似するように開発されている。特に、人造人間は、通常、頭部、胴体、両腕及び両足を有していて、人と類似した姿勢をとる。
このような人造人間は、人と同様に自ら動くことができなければならないため、多くの関連技術が必要になる。特に、動きを制御するため、人造人間にはその姿勢を正確に検出する技法が求められる。
以下に、ロボットの姿勢を制御する技法に関する従来の技術について述べる。
「脚式移動ロボットの動作制御装置及び動作制御方法並びにロボット装置」と題する韓国公開特許第2004−0108526(2004.12.24)には、高い自由度で動作可能な複数の関節を有する脚式移動ロボットの動作制御装置、動作制御方法及びロボット装置が記載されている。この発明は、直立姿勢を有する脚式移動ロボットの制御装置及び制御方法、並びにこれを用いたロボット装置を提供する。ロボットに加速度センサ及び姿勢センサ等を取り付け、ZMP(Zero Movement Point)アルゴリズムを用いて姿勢安定度を判定し、ロボットが直立姿勢を維持して歩行できるようにしている。
「傾きセンサによって二足歩行ロボットの姿勢をリアルタイムで制御する装置及び方法」と題する韓国公開特許第2005−0002302(2005.01.07)には、リアルタイムの姿勢制御方法が記載されている。ここでは、二足歩行ロボットの前後及び左右の傾きを測定することでロボットの姿勢を制御している。軸方向に対応する傾きを測定するため、一軸の傾きセンサまたは二軸の傾きセンサを用いている。
二足歩行ロボットについて記述されたこれら2つの従来技術は、その姿勢を制御するために加速度センサ、姿勢センサ、傾きセンサを用い、数学的計算を通じて安定した姿勢をとるロボット制御方法を提供している。
「ロボット及びその姿勢制御方法」と題する韓国公開特許第2001−0022664(2001.03.26)では、ロボットが異常姿勢になったことを検出することで正常姿勢に復帰させるロボットの制御方法が開示されている。この方法では、加速度センサから得られる加速度情報に基づいてロボットの異常姿勢を検出する。また、接触センサの状態情報もロボットの姿勢を検出するために使用されることを教示している。
しかし、これらの従来の技術は、上記したように、独立した状態のロボットによる動きを検出する方法を提供しているが、これらの技術は、ロボットが人と相互作用(interact)している間のロボットの姿勢を検出する方法には言及していない。例えば、人がロボットを抱いているような特殊な状態で、ロボットの姿勢を検出する方法の開発が求められている。
韓国公開特許第2001−0022664(2001.03.26)では、ロボットの姿勢を判定するために接触センサが使用できると言及している。しかし、これは、触れているかどうかを判定する方法を教示しているだけで、人とロボットとが接触しながら相互作用している状態におけるロボットの姿勢を検出することは不可能である。
本発明は、上述した先行技術の課題を解決するためになされたもので、本発明の観点では、外部の物体による接触を含むロボットの姿勢を検出するための装置及び方法を提供する。
本発明の他の観点では、人がロボットを抱いている状態のような、人がロボットと接しているときに人とロボットの相互間の感覚の変化に対するロボットの姿勢を検出するための装置及び方法を提供する。
また、本発明の他の観点では、ロボットに接触する外部の物体とロボットが効率的かつ動的に相互作用することを可能にするロボットの姿勢を検出するための装置及び方法を提供する。
本発明の観点に従えば、本発明は、ロボットに取り付けられてロボットの動きを検出する複数のモーターと、ロボットに取り付けられてロボットに対するユーザー及び物の接触を区別する複数の接触センサと、モーター及び接触センサを通じて検出される情報に基づきロボットの姿勢を検出するロボット制御部とを含むロボットの姿勢を検出するための装置及び方法を提供する。
各モーターは、モーターの動作を制御するプロセッシング部と、モーターの動作によるロボットの動きを検出し、モーターとロボット制御部との間の通信インターフェイスを提供して検出したロボットの動きをロボット制御部に提供するドライバとを含む。
接触センサは、熱感知機能及び湿度感知機能を有する第1の接触センサと、熱感知機能を有する第2の接触センサと、外部の接触の有無に対する感知機能を有する第3の接触センサのうちいずれか1つにすることができる。
第1の接触センサは、人の接触、物の接触、数mmのような近接した範囲にいる人体が接触していない状態、及び数mmのような近接した範囲にある人体または物が接触していない状態を区別することで接触感知を実行することができる。
第2の接触センサは、人の接触、物の接触、数mmのような近接した範囲にいる人体が接触していない状態、及び数mmのような近接した範囲にある人体または物が接触していない状態を区別することで接触感知を実行することができる。
第3の接触センサは、人体または物が接触している状態と、人体または物が接触していない状態とを区別することで接触感知を実行することができる。
ロボット制御部は、モーター値のみ、センサ値のみ、またはモーター値及びセンサ値の両方、のうちいずれか1つを使用してロボットの姿勢を検出することができる。
ロボット制御部は、プログラムされたモーターまたはセンサの検出値と現在検出されたモーターまたはセンサの検出値とを比較してロボットの姿勢を検出するプログラム姿勢検出方式と、モーター値およびセンサ値の姿勢を学習することでロボットの姿勢を検出する学習姿勢検出方式との何れか1つを使用してロボットの姿勢を検出することができる。
プログラム姿勢検出方式を使用する場合、ロボット制御部は、モーター及び接触センサから検出される情報を収集する状態情報収集部と、モーター及び接触センサから検出される情報に対応して既設定のロボットの姿勢に基づき、収集した情報に対応するロボットの姿勢を検出する姿勢検出部とを含むことができる。
ロボット制御部は、姿勢検出部で収集した情報に対応して検出したロボットの姿勢が既設定のロボットの基準姿勢でない場合、ロボットの姿勢を姿勢検出部で検出したロボットの姿勢が含まれる既設定のロボットの姿勢の類似姿勢グループ内に設定された基準姿勢に修正する。
ロボット制御部は、学習姿勢検出方式を用いる場合、姿勢検出学習用デバイスから学習を通じて得たロボットの学習結果モデルを受け取って保存する保存部と、モーター及び接触センサから検出される情報を収集する状態情報収集部と、保存された学習結果モデルに基づき、収集した情報に対応するロボットの姿勢を検出する姿勢検出部とを含むことができる。
ロボット制御部は、姿勢検出部で検出したロボットの姿勢が基準姿勢でない場合、ロボットの姿勢を姿勢検出部で検出したロボットの姿勢が含まれる既設定のロボットの姿勢の類似姿勢グループ内に設定された基準姿勢に修正する姿勢修正部を含む。
学習モードは、モーターの状態値を入力とするときのロボット姿勢と、モーターの状態値および接触センサ値を入力するときのロボット姿勢と、接触センサ値を入力とするときのロボット姿勢との少なくとも1つを含むことができる。
モーターの状態値は、モーターの状態値、モーターの状態値をシンボル化した値及びモーターのグループ単位の状態値をシンボル化した値の少なくとも1つを含むことができる。
姿勢修正部は、姿勢検出部で検出したロボットの姿勢が、基準姿勢と比較して一致しない場合、モーターの状態値を変更してロボットに対する基準姿勢へ移行させることができる。
姿勢修正部は、ロボット姿勢変更処理を通じてロボットの姿勢が基準姿勢に修正されない場合、ユーザーインターフェイスを通じてユーザーにロボットを基準姿勢に復帰させることを要請することができる。
物体を認識する本発明の他の観点によれば、ロボットに取り付けられた複数のモーターを通じてモーターの状態値に基づいたロボットの動きを検出する段階と、ロボットに取り付けられた複数の接触センサを通じて感知されるロボットに対するユーザー及び物の接触情報を収集する段階と、検出されたロボットの動き情報及び接触情報に基づきロボットの姿勢を検出する段階とを含むロボットの姿勢検出方法が提供される。
この方法は、検出したロボットの姿勢が例外姿勢であるか否かを判別する段階と、検出した姿勢が例外姿勢であれば、検出したロボットの姿勢に最も近似した姿勢を検索する段階と、検出したロボットの姿勢によるモーターの状態値を検索した基準姿勢に対応する値に変更する段階をさらに含むことができる。
この方法は、検出したロボットの姿勢が例外姿勢でなければ、基準姿勢によるモーターの状態値と検出した姿勢とが相互に一致するか否かを判別する段階と、基準姿勢によるモーターの状態値と検出した姿勢とが一致しない場合に、検出した姿勢によるモーターの状態値を基準値に対応する値に変更する段階をさらに含むことができる。
本発明の実施形態によれば、ロボットの姿勢は、ロボットの動きを検出するモーターと、人による接触と物による接触とを区別する接触センサとを通じて検出される。従って、より多様なロボットの姿勢を検出することができるだけでなく、人と接触しながら相互作用するロボットの姿勢も把握することが可能である。
本発明の一実施形態によれば、ロボットの動きを検出するモーターと、人の接触と物の接触とを区別することができる接触センサとを通じてロボットの姿勢を検出する。これにより、ロボットの多様な姿勢を検出することができ、人と接触しながら相互作用するロボットの姿勢も把握可能である。
本発明によるロボットの姿勢検出装置及びその方法においては、独自に動作しているロボットの姿勢を検出するだけでなく、ロボットと人とが相互接触している状態のロボットの姿勢も検出する。例えば、子供がロボットを人形のようなものと考えて、子供がロボットにたくさん接触する場合でも、ロボットの姿勢を正確に検出できる。これにより、より知能的なロボットの応用開発が可能になる。
また、本発明によるロボットの姿勢検出装置及びその方法においては、検出された姿勢が不安定な姿勢である場合に、ロボットを安定姿勢に復帰させる。何回試してもロボットを安定姿勢に復帰させられない場合は、ロボットに取り付けた出力手段を通じて、ユーザーに安定姿勢への復帰のための助けを求める。これにより、ロボットがたびたび、または継続的に不安定な姿勢になることによって発生しうる誤作動や故障または事故を未然に防ぐことができる。
以下、本発明の実施形態を添付した図面を参照して詳細に説明する。
本発明はモーターとセンサとを用いてロボットの姿勢を把握することができる方法を提案する。
本発明では、人体から発散される熱と湿度を感知する接触センサをロボットの姿勢検出方法と共に提供することで、ロボットが人に接触されたのか、物に接触されたのかを区別できる。従来の技術とは異なり、ロボットが人と相互作用している間でもロボットの姿勢検出が可能である。
また、本発明では、単純な姿勢をメモリにプログラムしておくことでロボットの姿勢を検出するプログラム姿勢検出方法と、モーター/センサのデータを使用した姿勢の学習を通じてロボットの姿勢を検出する学習姿勢検出方法とを提供する。このような方法により、不明確さを有する姿勢も検出することができる。
上述した技術によれば、二足歩行ロボットの姿勢を、モーター値、加速度センサ及び傾きセンサを用いて、数学的計算によって検出している。しかし、本発明では、モーター及び接触センサの両方を使用してロボットが人が接触しているときでもロボットの姿勢を検出できるようにする。
本発明では、前足2本(左右)、後ろ足2本(左右)、モーターで制御される両まぶた及び両耳を備えた頭部、及び胴体を備えた4足ロボットを例に挙げるが、ロボットは2足や4足に制限されない。また、モーター同士がフレームで連結され、各部分も連結されなければならないが、これらはロボットの姿勢検出方法とは直接関連しないため、これらの詳細説明は省略する。また、これらのモーターは動作可能に互いに連結されているものとする。
本発明では、ロボット装置に取り付けられたモーター及びセンサと、モーター、センサ及びこれらの組み合わせを通じて提供される情報によりロボットの姿勢を検出する手段と、検出された姿勢から予め定義された最も安定した姿勢にロボットの姿勢を修正する手段と、ロボットの姿勢を検出する手段及びロボットの姿勢を修正する手段を備えたロボット制御ユニットとを含むロボットの姿勢検出装置及びその方法を提供する。
図1は本発明の実施形態によるモーター及びセンサを有するロボットの例を示した図である。図1の(a)は、本発明の実施形態によるロボット100の正面を示し、図1の(b)はロボット100の背面を示している。
図示したように、各モーター部151〜155は、物理的動きを行うモーターと、モーターの制御及びロボットの全体的動作を制御する図2に示すロボット制御ユニットとの通信機能を行うドライバと、で構成されている。モーター部151〜155は、ロボット100が基準位置からどれだけ移動したか等の自身の位置値情報を提供することができる。
モーター集合部110、120、130、140は、モーター部151〜155のような複数のモーター部のセットを示したものである。すなわち、各モーター集合部110、120、130、140は、フレームで連結された少なくとも2つのモーター部を備えている。
本発明の実施形態によるロボット100は、センサ部160〜176を備えている。各センサ部160〜176は、以下の特性のうち、少なくとも1つの特性を有するセンサである。
第一に、センサ部160〜176は、熱に対する感知機能及び湿度に対する感知機能を有する第1の接触センサ1を含む。第1の接触センサ1は、人体から発散される熱及び湿度を感知することができる。
第二に、センサ部160〜176は、熱に対する感知機能を有する第2の接触センサ2を含む。第2の接触センサ2は、人の体から発散される熱を感知することができる。
第三に、センサ部160〜176は、接触されたかどうかを感知する第3の接触センサ3を含む。
三つの特性のうちの1つを有するセンサ部160〜176のセンサは、センサが感知した値をロボット制御ユニット200に伝送し、感知された値をロボット制御ユニット200から受信するドライバと共に、ロボット100に備えられる。ドライバは、センサが感知した値とデータとを、ロボット制御ユニット200との間で送受信する。
センサ部160〜176の第1の接触センサ1は、人体が接触したこと、物が接触したこと、人体が近くにあるが接触していないこと、及び人体や物が近くになく、接触もしていないことの感知機能を区別することができる。
センサ部160〜176の第2の接触センサ2は、人体が接触したこと、物が接触したこと、人体が近くにあるが接触していないこと、及び人体や物が近くになく、接触もしていないことの感知機能を区別することができる。
センサ部160〜176の第3の接触センサ3は、人または物が接触したこと及び接触していないことの感知機能を区別することができる。
本実施形態では、第1の接触センサ1及び第2の接触センサ2の特徴を有するセンサを通じて感知機能を提供する。
第3の接触センサ3のような通常の接触センサは、接触されたかどうかを感知するが、第1及び第2の接触センサ1、2は、人が触れたか、物が触れたかを区別することができる。これらのセンサ1、2は、本発明の実施形態によるロボット100の姿勢検出方法に利用することができる。
センサ部160〜176の第1及び第2の接触センサ1、2を使用しても、第1及び第2の接触センサ1、2は、人体の外部に露出した部分と衣服で覆われた部分とを感知したときに異なる検出値を出力する場合がある。しかし、このような場合も実験値に基づいて明確に区別することができるため、その詳細説明は省略する。
図1に示すように、本実施形態によるロボット100は、複数のモーター部、例えば5つのモーター部151〜155を備えている。
例えば、モーター部152は右まぶたを制御し、モーター部153は左まぶたを制御する。また、モーター部151とモーター部154は、夫々右耳と左耳を制御する。
本実施形態では、ロボット100の様々な姿勢を検出するために、モーター部だけでなくセンサ部が、脚部、まぶた及び耳を備えたロボットの様々な部分に取り付けられる。例えば、耳が前に折れまがった状態、または右まぶたが閉じられた状態は、本実施形態によるロボットの姿勢検出装置及び方法における検出対象となる。
図1の(b)は、センサ部172及び176が取り付けられたロボット100の背面を示している。モーター部151〜155と同様に、センサ部172〜176も、ロボットの胴体のどの位置にも取り付けることができる。一般的に、センサ部は、頻繁に床面と接触する部分に主として取り付けられる。
本実施形態では、センサ部172〜176は、頻繁に床面と接触する部分だけでなく、人と頻繁に接触する部分にも取り付けられる。例えば、センサ部172〜176を、ロボット100の後頭部、耳、額、腰、脇腹及び尻などの、人と頻繁に接触する部分に取り付けることができる。
図2は、本発明の実施形態によるロボット制御ユニット200を備えたロボット100を示した図である。
図示したように、ロボット制御ユニット200は、ロボット100の内部に取り付けられる。図2では、ロボット制御ユニット200をロボット100の腹部に取り付けているが、ロボット制御ユニット200は、ロボット100の他の部分に取り付けることもできる。
添付図面には、ロボット100への電源供給部を示してはいないが、電源はバッテリーから供給することができるため、詳細説明は省略する。
図3は、本発明の実施形態によるロボット100に備えられるロボット制御ユニット200、モーター部151〜155を含むモーター集合部110〜140、及びセンサ部160〜176のネットワーク構成例を示した図である。
図示したように、モーター部151〜155、111、112及びセンサ部160〜176は、ロボット制御ユニット200内にあるバス230を通じて、CPU(Central Processing Unit)210及びメモリ220と接続される。各モーター集合部110〜140は、モーター部151〜155、111、112の集合を示したものである。モーター集合部110〜140は、モーター部151〜155、111、112と同様に、バス230を通じて連結される。
図4及び図5は、本発明の実施形態によるロボット100と人との接触例を示した図である。
図4は、本発明の実施形態によるロボット100が人500と相互作用しているときの姿勢検出例を示す図である。
図4に示されたように、ロボット100の両後ろ足に取り付けた2つの接触センサ160、162に人500の腹部B2、B3が接触し、人500の右手B1がロボット100の尻に取り付けられた接触センサ161に接触している。
接触されたか否かだけを判断する第3の接触センサ3のような、通常のセンサを使用した場合には、ロボット100が尻を床面に接している状態と、ロボット100が2本の前足を上げていて2本の後ろ足が床面に接している状態とを区別できない。
そこで、本発明の実施形態では、上記したロボットの2つの姿勢を区別するため、第1および第2の接触センサ1、2と同一の特性を有する接触センサを用いる。
熱と湿度とを感知することができる第1の接触センサ1を使用する場合、人体から発散される熱と湿度に対する情報を予め記憶させておき、ロボット100に人500が接触したとき、第1の接触センサ1が記憶された情報に基づいてこれを判断する。
熱を感知する第2の接触センサ2を使用する場合、第2の接触センサ2は人体から発散される熱を感知できるので、第2の接触センサ2は、ロボット100が床面に接しているか、人500が触れているかを区別できる。
本実施形態では、熱及び湿度を感知できる第1および第2の接触センサ1、2を使用することで、ロボット100が独自に動作する場合の姿勢だけでなく、人500と相互作用している場合にもロボットの姿勢を検出することができる。
図5は、本発明の実施形態による人と相互作用するロボットの姿勢検出のための他の例を示した図である。
図示したように、ロボット100が尻と両後ろ足を床面に接触した状態で、人500がロボット100の両前足を手で掴んでいる。
ロボット100が人500と相互作用していないとき、すなわち、ロボット100が独立して姿勢を取っているときは、図5に示す状態のロボット100の姿勢を把握することは不可能である。本実施形態では、ロボット100が人500と接触した2箇所と、床面に接触しているロボット100の他の2箇所とを区別できる。そのため、ロボット100が両前足で人500に接していて、尻が床面に接しているという、ロボット100の姿勢を把握することができる。
図5から、ロボット姿勢検出装置及び方法は、ロボット100が人と無関係に動作する場合だけではなく、ロボット100が人と相互作用している場合の姿勢までも把握できる優位性を有することが明らかである。
本実施形態によれば、ロボットの姿勢を、モーター値のみを使用したり、センサ値のみを使用したり、またはモーター及びセンサの両方の値を使用して検出することができる。
図6は、本発明の実施形態によるロボットの検出された姿勢及び例外姿勢から基準姿勢への復帰に対する概念を説明するための図である。
図6のように、ロボット100の類似姿勢グループ610、620は、モーター値やセンサ値に該当する姿勢に対応して設定された値と完全には一致しないが、その値が一定範囲内の値であり、同じ姿勢として取り扱える姿勢のグループをいう。
例えば、ロボット100が座っているような同じ姿勢でもモーター値やセンサ値が異なることがあるため、多様な類似姿勢グループをユーザーが定義することができる。本実施形態では、判断されたロボットの姿勢を検出姿勢612、622と定義する。検出された姿勢が、ロボット100が上下逆になっているなどの不安定な姿勢でとても珍しい場合は、例外姿勢613または623として定義する。
本発明の実施形態による姿勢修正手段は、検出姿勢612、622や例外姿勢613、623を基準姿勢611、621に修正する。ここで、基準姿勢611、621とは、類似姿勢グループ610、620の標準となる姿勢、即ち、ロボット100の最も安定した姿勢をいう。
本実施形態では、検出姿勢612、622や例外姿勢613、623から最も近い基準姿勢611、621を探すために、センサ値および2つのベクトルの間の最短距離を探す方法を使用することができる。
図7は、本発明の実施形態によるロボットの姿勢検出方法を示した流れ図である。
前述のように、ロボット100はモーターとセンサとを通じて収集した情報によってロボット100の姿勢を検出する(S110)。
姿勢を検出した後、ロボット100は、検出した姿勢が例外姿勢であるか否かを判断する(S120)。
S120において、ロボット100が、検出した姿勢が例外姿勢であると判断した場合、ロボット100は、検出した姿勢と最も近い基準姿勢をメモリ220から検索する(S130)。
S120において、ロボット100が、検出した姿勢が例外姿勢でないと判断した場合、ロボット100は、検出した姿勢のモーター値と設定された基準姿勢のモーター値とを比較する(S150)。
このとき、ロボット100は、検出した姿勢のモーター値が設定された基準姿勢のモーター値と一致するか否かを判別する(S160)。
検出した姿勢のモーター値が設定された基準姿勢のモーター値と一致すると、ロボット100は、S110段階で検出した姿勢がロボット100の正確な姿勢であると判断し、姿勢検出動作を終了する(S170)。
一方、S130段階で例外姿勢である判断された検出姿勢と最も近い基準姿勢を検出(検索)した後、またはS160段階で、検出した姿勢のモーター値の少なくとも1つが設定された基準姿勢のモーター値と一致しない場合、ロボット100は、メモリ220に保存されたモーター値を基準姿勢に変更し、ロボット100は、再び姿勢検出段階S110を実行する。
上記した段階を繰り返すことができる。例えば、ロボット100が上下逆になった後で、ロボット100が最も近い基準姿勢への復帰を試みることがある。数回試してもロボット100が基準姿勢に復帰できない場合は、ロボット100は、ロボット100に取り付けられたスピーカー、LED、LCDのようなユーザーインターフェイスを通じて、ユーザーに基準姿勢に復帰することを援助するよう要請することができる。ユーザーが、ロボット100が基準姿勢に復帰することを手助けしても、ロボット100が完全には基準姿勢に復帰できないことがある。このような場合に、ロボット100は、上述の段階を繰り返すことで基準姿勢へ復帰することができる。一般的に、ロボット100はスピーカー、LCD、LED等の外部出力装置を有するため、本実施形態では、スピーカーやLCD、LEDを備えたロボット100を別途に図示しない。
本発明の一実施形態では、モーター値やセンサ値をメモリ220に予め記憶させておき、記憶した値が検出された姿勢の値と一致するか、または類似するとき、ロボットが、記憶した値に基づいてロボット自身の姿勢を判断する。これが、プログラム姿勢検出方法である。本発明の他の実施形態では、ロボットは、学習を通じて姿勢を判断することができる。これが、学習姿勢検出方法である。
図12は、本発明の実施形態によるプログラム姿勢検出方法によるロボットの姿勢検出手段及び姿勢修正手段の構成例を示した図である。
図12において、状態収集プログラム221は、ロボット制御ユニット200のメモリ220内にあるセンサ情報を通じて、ロボット100のモーターやセンサの値を読み出し、読み出した値を姿勢検出プログラム224に出力する。
姿勢検出プログラム224は、モーター値やセンサ値の組み合わせと、姿勢との対応関係を予めメモリに記憶し、状態収集プログラム221から入力されたモーター値やセンサ値と比較して姿勢を判断する。
姿勢が基準姿勢でない場合、ロボット100のロボット制御ユニット200は、姿勢修正プログラム222を通じて基準姿勢への復帰を試みる。姿勢修正手段は後に詳しく説明する。
本実施形態において、メモリ220に予め記憶されているロボット100の姿勢情報は、(モーター値ベクトル、姿勢)、(センサ値ベクトル、姿勢)、及び(モーター値ベクトル、センサ値ベクトル、姿勢)にすることができる。即ち、本実施形態では、ロボット100の姿勢情報を、モーター値のみを使用した姿勢、センサ値のみを使用した姿勢、及びモーター値とセンサ値の両方を使用した姿勢のうちの少なくとも1つを使用して構成することができる。
例えば、図4に示したセンサ値を用いた状態をプログラムする場合は、(センサ値ベクトル、姿勢)は、(160状態値、161状態値、162状態値、・・・、175姿勢値、姿勢値)とすることができる。第1の接触センサ1および第2の接触センサ2を用いる場合、(センサ値ベクトル、姿勢)は、(HUMAN_TOUCH、HUMAN_TOUCH、HUMAN_TOUCH、NO_TOUCH、・・・、NO_TOUCH、posture1)とすることができる。
このような場合、モーター値またはセンサ値をシンボル化して用いることができる。また、モーターの場合、グループ単位で値をシンボル化することもできる。例えば、各足の姿勢を10個に区分して、足全体の姿勢のモーター値をそれらから選択した1の値を1つのシンボル化された値として処理することもできる。
モーターの場合、動いた角度をそのまま用いることもできる。例えば、検出された値が、(angle1<value<angle2)である場合に、検出された値が2つの値(angle1、angle2)の間にあるということを確認するテストを行うことができる。以上のように、モーター値やセンサ値の場合、これらの値をそのまま用いたり、その値をシンボル化して用いたり、またはグループ単位で値をシンボル化して用いることができる。
図8乃至図11は、本発明の実施形態による学習姿勢検出方法によるロボットの姿勢検出のための構成例を示す図である。
図8は、本発明の実施形態による学習を用いたロボット姿勢検出方法を示した図である。
図示したように、学習姿勢検出方法は、姿勢学習をさせる際に、ロボット制御ユニット200がインターフェイスケーブル310を通じて姿勢検出学習用コンピュータ300に接続されていなければならない。
ここで、図11に示した状態収集プログラム221は、モーター値とセンサ値とを収集し、収集したモーターとセンサ値とを、図8及び図9に示した姿勢検出学習用コンピュータ300の姿勢検出学習プログラム400に伝達する。
図9は、図8の本発明の実施形態によるロボット姿勢検出手段を示した図である。
図示したように、ロボット100のロボット制御ユニット200と通信する姿勢検出学習用コンピュータ300は、姿勢検出学習プログラム400を備える。姿勢検出学習プログラム400は、データ収集部410、学習データ420、学習アルゴリズム430及び学習結果モデル440を含む。
データ収集部410は、ロボット制御ユニット200から伝達されたデータを学習データ420として保存する。学習アルゴリズム430は、学習データ420を用いて姿勢学習をし、その結果を学習結果モデル440として保存する。
姿勢学習の過程で、ユーザー500が介在する必要がある。これはデータを収集する段階である。データを収集する段階では、ユーザーは、単にモーター値やセンサ値を保存するのではなく、これら値に関連するロボットの姿勢を入力しなければならない。このような機械的な学習の工程は当業者に周知であるため、詳細な説明は省略する。
図10は、本発明の実施形態によるロボット姿勢検出のための学習データの構成例を示す図である。
図示したように、学習のためのデータとしてモーター状態値421、422、423と、センサ状態値424、425とを用い、それによってロボット100の姿勢426を得ている。
本発明による学習データの構成は、図10に示されたものに制限されない。学習データは、モーター値やセンサ値を用いることも、モーター値やセンサ値をシンボル化して得られた値を用いることも、モーター値やセンサ値をグループ単位でシンボル化して得られた値を用いることもできる。これについては前述した。
図11は、本発明の実施形態による学習結果モデルを用いた姿勢検出手段及び姿勢修正手段を示した図である。
図9での学習を通じて学習結果モデル440が生成されると、これの複写441がロボット制御ユニット200内のメモリに記録され、姿勢検出に使用される。
ここで、状態収集プログラム221がモーターやセンサの値を読み出して、姿勢検出プログラム223に読み出した値を伝達すると、姿勢検出プログラム223は、学習結果モデル440の複写441を用いてロボット100の姿勢を検出する。検出された姿勢が基準姿勢でない場合、姿勢修正プログラム222はロボット100の検出姿勢を基準姿勢へと復帰させる。姿勢修正手段及び姿勢修正方法については、図6及び図7を参照して既に説明したため、詳細説明は省略する。
以上、本発明を、好ましい実施形態に関連して説明したが、当業者であれば、添付の特許請求の範囲によって特定される発明の趣旨及び範囲から逸脱しない限り、変形や変更が可能であることが明らかであろう。
Claims (19)
- ロボットに取り付けられて前記ロボットの動きを検出する複数のモーターと、
前記ロボットに取り付けられて前記ロボットに対するユーザー及び物の接触を区別する複数の接触センサと、
前記モーター及び前記接触センサを通じて検出される情報に基づき前記ロボットの姿勢を検出するロボット制御部と
を含むことを特徴とするロボットの姿勢検出装置。 - 前記モーターは、
前記モーターの動作を制御するプロセッシング部と、
前記モーターと前記ロボット制御部との通信インターフェイスを提供して、前記モーターの動作による前記ロボットの動きを検出して前記ロボット制御部に提供するドライバと
を含むことを特徴とする請求項1に記載のロボットの姿勢検出装置。 - 前記接触センサは、
熱に対する感知機能及び湿度に対する感知機能を有する第1の接触センサ、熱に対する感知機能を有する第2の接触センサ、及び外部の接触の可否に対する感知機能を有する第3の接触センサ、のうちいずれか1つである
ことを特徴とする請求項1に記載のロボットの姿勢検出装置。 - 前記第1の接触センサは、
人が接触したこと、物が接触したこと、近接した範囲にいる人体が接触していないこと、及び近接した範囲に人体または物がおらず接触もしていないこと、を区別することで前記接触感知を行う
ことを特徴とする請求項3に記載のロボットの姿勢検出装置。 - 前記第2の接触センサは、
人が接触したこと、物が接触したこと、近接した範囲にいる人体が接触していないこと、及び近接した範囲に人体がおらず接触もしていないこと、を区別することで前記接触感知を行う
ことを特徴とする請求項3に記載のロボットの姿勢検出装置。 - 前記第3の接触センサは、
人体または物が接触したこと、及び人体または物が接触していないことを区別することで前記接触感知を行う
ことを特徴とする請求項3に記載のロボットの姿勢検出装置。 - 前記ロボット制御部は、
前記モーター値、前記センサ値、及び前記モーターとセンサの値の両方、のうちいずれか1つを使用して前記ロボットの姿勢を検出する
ことを特徴とする請求項1に記載のロボットの姿勢検出装置。 - 前記ロボット制御部は、
予めプログラムされた姿勢値と現在の検出値とを比較して前記ロボットの姿勢を検出するプログラム姿勢検出方式と、前記モーター値及びセンサ値の姿勢学習を通じて前記ロボットの姿勢を検出する学習姿勢検出方式のうちいずれか1つを用いてロボットの姿勢を検出する
ことを特徴とする請求項1に記載のロボットの姿勢検出装置。 - 前記ロボット制御部は、前記プログラム姿勢検出方式を用いる場合、
前記モーター及び前記接触センサから検出される情報を収集する状態情報収集部と、
前記モーター及び前記接触センサが検出する情報に対応して設定された姿勢情報に基づき、前記収集した情報に対応する前記ロボットの姿勢を検出する姿勢検出部と
を含むことを特徴とする請求項8に記載のロボットの姿勢検出装置。 - 前記ロボット制御部は、
収集した情報に対応して前記姿勢検出部で検出したロボットの姿勢が、姿勢検出部で検出したロボットの姿勢が含まれる既設定のロボットの姿勢の類似姿勢グループ内に設定される基準姿勢でない場合、前記ロボットの姿勢を前記基準姿勢に修正する姿勢修正部を含む
ことを特徴とする請求項9に記載のロボットの姿勢検出装置。 - 前記ロボット制御部は、前記学習姿勢検出方式を用いる場合、
姿勢検出学習用デバイスから学習を通じて得た前記ロボットの学習結果モデルを受け取り、受け取った学習結果モデルを保存する保存部と、
前記モーター及び前記接触センサから検出された情報を収集する状態情報収集部と、
前記保存された学習結果モデルに基づき、前記収集した情報に対応する前記ロボットの姿勢を検出する姿勢検出部と
を含むことを特徴とする請求項8に記載のロボットの姿勢検出装置。 - 前記ロボット制御部は、
前記姿勢検出部で検出した前記ロボットの姿勢が、前記姿勢検出部で検出したロボットの姿勢が含まれる既設定のロボットの姿勢の類似姿勢グループ内に設定された基準姿勢でない場合、前記ロボットの姿勢を基準姿勢に修正する姿勢修正部を含む
ことを特徴とする請求項11に記載のロボットの姿勢検出装置。 - 前記学習結果モデルは、
前記モーターの状態値を入力としたときのロボット姿勢と、前記モーターの状態値と前記接触センサの状態値とを入力としたときのロボット姿勢と、前記接触センサの値を入力としたときのロボット姿勢、のうち少なくとも1つを含む
ことを特徴とする請求項12に記載のロボットの姿勢検出装置。 - 前記モーターの状態値は、
前記モーターの状態値、前記モーターの状態値をシンボル化して得られた値、及び前記モーターのグループ単位の状態値をシンボル化して得られた値のうち少なくとも1つを含む
ことを特徴とする請求項13に記載のロボットの姿勢検出装置。 - 前記姿勢修正部は、
前記姿勢検出部で検出した姿勢がロボットの基準姿勢と一致していない場合に、前記モーターの状態値を変更することで前記検出した姿勢を基準姿勢に移行する
ことを特徴とする請求項10または請求項12に記載のロボットの姿勢検出装置。 - 前記姿勢修正部は、
前記ロボット姿勢修正処理によって前記ロボットの姿勢が基準姿勢に修正されない場合に、ユーザーインターフェイスを通じてユーザーに前記ロボットを現在の検出姿勢から基準姿勢に復帰させることを要請する
ことを特徴とする請求項15に記載のロボットの姿勢検出装置。 - ロボットに取り付けられた複数のモーターからの状態値に基づいて前記ロボットの動きを検出する段階と、
前記ロボットに取り付けられた接触センサを通じて感知される、前記ロボットに対するユーザーまたは物の接触情報を収集する段階と、
前記検出された動きの情報及び接触情報に基づき前記ロボットの姿勢を検出する段階と
を含むことを特徴とするロボットの姿勢検出方法。 - 前記検出したロボットの姿勢が例外姿勢であるか否かを判別する段階と、
前記検出した姿勢が例外姿勢である場合に、前記検出したロボットの姿勢が最も近似する基準姿勢を検索する段階と、
前記検出したロボットの姿勢によるモーターの状態値を、前記検索した基準姿勢に対応する値に変更する段階と
をさらに含むことを特徴とする請求項17に記載のロボットの姿勢検出方法。 - 前記検出したロボットの姿勢が例外姿勢でない場合に、前記基準姿勢と前記検出した姿勢のモーターの状態値が互いに一致するか否かを判別する段階と、
前記基準姿勢と前記検出した姿勢のモーターの状態値が一致しない場合に、前記検出した姿勢のモーターの状態値を前記基準姿勢に対応する値に変更する段階と
をさらに含むことを特徴とする請求項18に記載のロボットの姿勢検出方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060119903A KR100862190B1 (ko) | 2006-11-30 | 2006-11-30 | 로봇의 자세 검출 장치 및 그 방법 |
PCT/KR2007/005799 WO2008066273A1 (en) | 2006-11-30 | 2007-11-19 | Apparatus and method for detecting posture of robot |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010510895A true JP2010510895A (ja) | 2010-04-08 |
Family
ID=39468027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009539177A Pending JP2010510895A (ja) | 2006-11-30 | 2007-11-19 | ロボットの姿勢検出装置及びその方法 |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2010510895A (ja) |
KR (1) | KR100862190B1 (ja) |
WO (1) | WO2008066273A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020147604A (ja) * | 2020-06-17 | 2020-09-17 | テックフィールズ インコーポレイテッド | 非常に速い皮膚及び膜浸透速度を有するnsaiaプロドラッグ及びその新規医薬使用 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103513768B (zh) * | 2013-08-30 | 2016-08-24 | 展讯通信(上海)有限公司 | 一种基于移动终端姿态变化的控制方法及装置、移动终端 |
CN105094160A (zh) * | 2014-11-18 | 2015-11-25 | 芜湖蓝宙电子科技有限公司 | 直立平衡机器人 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0780790A (ja) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | 三次元物体把持システム |
JP2000061872A (ja) * | 1998-06-09 | 2000-02-29 | Sony Corp | ロボット装置及びその姿勢制御方法 |
JP2002052489A (ja) * | 2000-08-11 | 2002-02-19 | Yamaha Motor Co Ltd | 接触物判別装置及び接触状態判別装置 |
JP2002239952A (ja) * | 2001-02-21 | 2002-08-28 | Sony Corp | ロボット装置、ロボット装置の行動制御方法、プログラム及び記録媒体 |
JP2004025434A (ja) * | 2002-03-15 | 2004-01-29 | Sony Corp | 脚式移動ロボットの動作制御装置及び動作制御方法、並びにロボット装置 |
JP2004357915A (ja) * | 2003-06-04 | 2004-12-24 | Matsushita Electric Ind Co Ltd | センシング玩具 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100610235B1 (ko) * | 1998-11-30 | 2006-08-09 | 소니 가부시끼 가이샤 | 로봇 장치 및 그 제어 방법 |
JP3682525B2 (ja) | 2001-06-07 | 2005-08-10 | 独立行政法人科学技術振興機構 | 二脚歩行式人型ロボット |
JP4384021B2 (ja) | 2004-12-14 | 2009-12-16 | 本田技研工業株式会社 | 脚式ロボットの制御装置 |
-
2006
- 2006-11-30 KR KR1020060119903A patent/KR100862190B1/ko not_active IP Right Cessation
-
2007
- 2007-11-19 JP JP2009539177A patent/JP2010510895A/ja active Pending
- 2007-11-19 WO PCT/KR2007/005799 patent/WO2008066273A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0780790A (ja) * | 1993-09-16 | 1995-03-28 | Fujitsu Ltd | 三次元物体把持システム |
JP2000061872A (ja) * | 1998-06-09 | 2000-02-29 | Sony Corp | ロボット装置及びその姿勢制御方法 |
JP2002052489A (ja) * | 2000-08-11 | 2002-02-19 | Yamaha Motor Co Ltd | 接触物判別装置及び接触状態判別装置 |
JP2002239952A (ja) * | 2001-02-21 | 2002-08-28 | Sony Corp | ロボット装置、ロボット装置の行動制御方法、プログラム及び記録媒体 |
JP2004025434A (ja) * | 2002-03-15 | 2004-01-29 | Sony Corp | 脚式移動ロボットの動作制御装置及び動作制御方法、並びにロボット装置 |
JP2004357915A (ja) * | 2003-06-04 | 2004-12-24 | Matsushita Electric Ind Co Ltd | センシング玩具 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020147604A (ja) * | 2020-06-17 | 2020-09-17 | テックフィールズ インコーポレイテッド | 非常に速い皮膚及び膜浸透速度を有するnsaiaプロドラッグ及びその新規医薬使用 |
Also Published As
Publication number | Publication date |
---|---|
KR100862190B1 (ko) | 2008-10-09 |
KR20080049396A (ko) | 2008-06-04 |
WO2008066273A1 (en) | 2008-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5512048B2 (ja) | ロボットアームの制御装置及び制御方法、ロボット、制御プログラム、並びに、集積電子回路 | |
US20190278295A1 (en) | Robot control system, machine control system, robot control method, machine control method, and recording medium | |
Brooks et al. | Sensing and manipulating built-for-human environments | |
US9555543B2 (en) | Robot with joints of variable rigidity and method for calculating said optimized rigidity | |
JP6314134B2 (ja) | ロボット訓練のためのユーザインターフェース | |
US20140135991A1 (en) | Hybrid gesture control haptic system | |
US20040015265A1 (en) | Robot apparatus and method for controlling the operation thereof | |
JP2003266345A (ja) | 経路計画装置、経路計画方法及び経路計画プログラム並びに移動型ロボット装置 | |
US5982353A (en) | Virtual body modeling apparatus having dual-mode motion processing | |
JP2012125918A (ja) | 力を指示するトリガー機構を用いた触覚インターフェースハンドル | |
CN112105488B (zh) | 具有柔软外皮的机器人 | |
Devine et al. | Real time robotic arm control using hand gestures with multiple end effectors | |
Luo et al. | Team Northeastern's approach to ANA XPRIZE Avatar final testing: A holistic approach to telepresence and lessons learned | |
JP2003266349A (ja) | 位置認識方法、その装置、そのプログラム、その記録媒体及び位置認識装置搭載型ロボット装置 | |
JP2010510895A (ja) | ロボットの姿勢検出装置及びその方法 | |
Wosch et al. | Reactive motion control for human-robot tactile interaction | |
JP2007125670A (ja) | ロボット用表現動作変換システム | |
KR20140054589A (ko) | 로봇 제어 장치 및 방법 | |
Lee et al. | A self-reliance assistive tool for disable people | |
Uribe et al. | Mobile robotic teleoperation using gesture-based human interfaces | |
JP4878462B2 (ja) | コミュニケーションロボット | |
CN116831474A (zh) | 童锁控制方法及装置、机器人、存储介质、电子设备 | |
Dwiputra et al. | Haptic interface for domestic service robot | |
Rotenstein et al. | Towards the dream of intelligent, visually-guided wheelchairs | |
JP4453076B2 (ja) | ヒューマノイドロボット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110624 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120113 |