JP2002086378A

JP2002086378A - 脚式ロボットに対する動作教示システム及び動作教示方法

Info

Publication number: JP2002086378A
Application number: JP2000273805A
Authority: JP
Inventors: Takeshi Ohashi; 武史大橋; Kotaro Sabe; 浩太郎佐部; Gabriel Costa; ガブリエル・コスタ; Jun Yokono; 順横野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-09-08
Filing date: 2000-09-08
Publication date: 2002-03-26

Abstract

(57)【要約】【課題】音楽に合わせたダンスを直感的で且つ容易に
教示する。【解決手段】リカレント・ニューラル・ネットワーク
は、時系列の事象を学習することができる。教示信号と
して、音楽情報と、時系列の関節角度パラメータを用い
ることによって、音楽とロボットのポーズの対応付けを
学習することができる。学習後は、ロボットのポーズと
聴覚から得られる音楽情報より、次のロボットのポーズ
を予測して音楽に合わせたダンスを実行する。また、未
だ教示していない曲に対しても、既に教示された曲とダ
ンスの経験から、以前に教示された局の中から近いダン
スを組み合わせてダンスを行うことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、少なくとも肢体と
体幹部を有する脚式ロボットのための動作教示システム
及び動作教示方法に係り、特に、肢体及び／又は体幹部
を利用した各種の動作パターンを実行する脚式ロボット
のための動作教示システム及び動作教示方法に関する。

【０００２】更に詳しくは、本発明は、音楽に合わせた
ダンスを直感的で且つ容易に教示することができる、脚
式ロボットのための動作教示システム及び動作教示方法
に係り、特に、ニューラル・ネットワークを利用して環
境との関連付けにより音楽に合わせたダンスを教示した
り、教示されない音楽に対してもダンスの再生を行うこ
とができる、脚式ロボットのための動作教示システム及
び動作教示方法に関する。

【０００３】

【従来の技術】電気的若しくは磁気的な作用を用いて人
間の動作に似せた運動を行う機械装置のことを「ロボッ
ト」という。ロボットの語源は、スラブ語のＲＯＢＯＴ
Ａ(奴隷機械)に由来すると言われている。わが国では、
ロボットが普及し始めたのは１９６０年代末からである
が、その多くは、工場における生産作業の自動化・無人
化などを目的としたマニピュレータや搬送ロボットなど
の産業用ロボット（industrial robot）であった。

【０００４】アーム式ロボットのように、ある特定の場
所に植設して用いるような据置きタイプのロボットは、
部品の組立・選別作業など固定的・局所的な作業空間で
のみ活動する。これに対し、移動式のロボットは、作業
空間は非限定的であり、所定の経路上または無経路上を
自在に移動して、所定の若しくは任意の人的作業を代行
したり、ヒトやイヌあるいはその他の生命体に置き換わ
る種々の幅広いサービスを提供することができる。なか
でも脚式の移動ロボットは、クローラ式やタイヤ式のロ
ボットに比し不安定で姿勢制御や歩行制御が難しくなる
が、階段や梯子の昇降や障害物の乗り越えや、整地・不
整地の区別を問わない柔軟な歩行・走行動作を実現でき
るという点で優れている。

【０００５】最近では、イヌやネコのように４足歩行の
動物の身体メカニズムやその動作を模したペット型ロボ
ット、あるいは、ヒトのような２足直立歩行を行う動物
の身体メカニズムや動作をモデルにしてデザインされた
「人間形」若しくは「人間型」のロボット（humanoid r
obot）など、脚式移動ロボットに関する研究開発が進展
し、実用化への期待も高まってきている。

【０００６】ロボットに対して所定動作を教え込むこと
を、「教示」若しくは「ティーチング」と呼ぶ。動作教
示には、例えば、作業現場においてオペレータ又はユー
ザが手取り足取り教える教示方式や、計算機などロボッ
ト外部のエディタ上で動作パターンの入力・作成・編集
を行う教示方式などが挙げられる。

【０００７】しかしながら、従来のロボットにおいて
は、動作教示を行うために、その操作環境を相当程度理
解し習熟する必要があり、ユーザの負担が過大であっ
た。

【０００８】例えば、ロボットがある音楽に合わせてダ
ンスを踊ることができたならば、そのエンターティンメ
ント性は著しく向上し、ユーザは同じロボットを飽きる
ことなく長い期間楽しむことができる。ダンスは、一般
には、所定の音楽に同期した、所定の事象・現象（物語
など）を全身で表現する動作シーケンスの組み合わせで
構成される。

【０００９】ロボットに対して、このようなダンスの振
り付けを直感的且つ容易に教示することができたなら
ば、ロボットのエンターテインメント性が高まる。さら
に、未だ教示されていない音楽に対しても、既に教示さ
れている音楽とダンスのデータを組み合わせてダンスを
再生することができれば、利便性が高まる。

【００１０】しかしながら、ダンスは脚部など多数の関
節を複雑に動作させなければならず、さらに関節制御の
リズムを音楽のリズムと同期させなければならないの
で、教示に手間がかかってしまう。このため、多種多様
な音楽に対してダンスを教示することは困難であり、ま
た、教示していない音楽に合わせてロボットがダンスを
実現することは不可能に等しい。

【００１１】音楽は主として、規則正しく一定の周期を
有する振動が、継続して起こる場合の音、つまり、一定
の高さをもつ楽音によって構成される。音には、音高、
強度、持続、音色などのパラメーターがある^/*/。要言
すれば、音楽データは、音の各パラメータの時間軸上の
組み合わせで構成される時系列データである。ロボット
に対するダンスの教示は、ロボットが音声入力すなわち
聴覚によって得られる音楽情報と、ユーザによって動か
される関節の角度パラメータとを関連付けて、時系列デ
ータとして学習させることを意味する。

【００１２】しかしながら、時系列の事象をロボットに
学習させるようなロボットの教示方式や学習機構に関し
ては、充分な従来技術は存在しない。

【００１３】ところで、近年、ロボットの制御にニュー
ラル・ネットワークを適用する事例が紹介されている。

【００１４】ニューラル・ネットワークとは、人間の脳
における神経回路網を簡略化したモデルであり、神経細
胞ニューロンが一方向にのみ信号を通過するシナプスを
介して結合されているネットワークを意味する。ニュー
ロン間の信号の伝達はシナプスを介して行われ、シナプ
スの抵抗、すなわち重みを適当に調整することによりさ
まざまな情報処理が可能となる。各ニューロンは、他の
１以上のニューロンからの出力をシナプスによる重み付
けをして入力し、それら入力値の総和を非線型応答関数
の変形を加え、再度他のニューロンへ出力する。

【００１５】ニューラル・ネットワークによる制御で
は、摩擦や粘性などの非線型問題にそのまま対応するこ
とができるとともに、学習機能を備えているので、パラ
メータの設定変更が不要になる。

【００１６】しかしながら、時系列的な事象をロボット
に学習させるためにニューラル・ネットワークを適用し
た事例は少ない。

【００１７】《注釈》＊：伝統的には、楽音に固有な音高というパラメーター
から組織されるのが、音組織であり、このなかに音律、
音階、旋法、調性等の諸概念が含まれている。伝統的に
は、楽音に固有な音高というパラメーターから組織され
るのが「音組織」であり、このなかに音律、音階、旋
法、調性（tonality）等の諸概念が含まれている。

【００１８】

【発明が解決しようとする課題】本発明の目的は、少な
くとも肢体と体幹部を有する脚式ロボットに対する優れ
た動作教示システム及び動作教示方法を提供することに
ある。

【００１９】本発明の更なる目的は、音楽に合わせたダ
ンスを直感的で且つ容易に教示することができる、脚式
ロボットに対する優れた動作教示システム及び動作教示
方法を提供することにある。

【００２０】本発明の更なる目的は、ニューラル・ネッ
トワークを利用して環境との関連付けにより音楽に合わ
せたダンスを教示したり、教示されない音楽に対しても
ダンスの再生を行うことができる、脚式ロボットに対す
る優れた動作教示システム及び動作教示方法を提供する
ことにある。

【００２１】本発明の更なる目的は、ニューラル・ネッ
トワークを利用して、音楽情報とダンスのような時系列
の事象をロボットに効率的に学習させることができる、
脚式ロボットに対する優れた教示方式を提供することに
ある。

【００２２】

【課題を解決するための手段】本発明は、上記課題を参
酌してなされたものであり、その第１の側面は、複数の
関節で構成される脚式ロボットのための動作教示システ
ムであって、各関節の駆動を始めとするロボットの動作
を制御する制御手段と、時系列的な知覚データを入力す
る知覚手段と、各関節に印加される時系列的な外力を入
力する関節データ入力手段と、前記関節データ入力手段
から入力される外力に基づく時系列的な関節データを前
記知覚手段から入力される知覚データと同期的に関連付
けて時系列データとして学習する学習手段と、を具備す
ることを特徴とする脚式ロボットのための動作教示シス
テムである。

【００２３】ここで、前記学習手段は、リカレント・ニ
ューラル・ネットワークを用いて知覚データと関節デー
タからなる時系列データを学習するようにしてもよい。

【００２４】また、本発明の第１の側面に係る動作教示
システムは、前記知覚手段から知覚データが入力された
ことに応答して、前記学習手段によって該知覚データと
関連付けて学習された時系列的な関節データを該知覚デ
ータと同期的に再生する再生手段をさらに備えるように
してもよい。再生手段はリカレント・ニューラル・ネッ
トワークを用いて知覚データと関節データからなる時系
列データを再生するようにしてもよい。

【００２５】また、前記制御手段は、前記知覚手段を介
して知覚データが入力されている期間中に、前記関節デ
ータ入力手段を介して外力が入力されたことに応答して
前記学習手段を付勢して関節データと知覚データを同期
的に関連付けて学習する「学習モード」に切り替わるよ
うにしてもよいし、また、前記知覚手段を介して音楽デ
ータが入力されている期間中に、前記関節データ入力手
段を介して外力が検出されないときには、前記再生手段
を付勢して前記学習手段によって該知覚データと関連付
けて学習された時系列的な関節データを該知覚データと
同期的に再生する「再生モード」に切り替わるようにし
てもよい。

【００２６】ここで言う知覚データとは、例えば、音の
各パラメータの時間軸上の組み合わせで構成される音楽
データのことである。また、前記関節データ入力手段を
介して入力される外力は、脚式ロボットに対して所定の
音楽に合わせてダンスの振り付けを教示するために各関
節に印加される教示動作を構成する。

【００２７】また、本発明の第２の側面は、複数の関節
で構成される脚式ロボットのための動作教示方法であっ
て、時系列的な知覚データを入力する知覚ステップと、
各関節に印加される時系列的な外力を入力する関節デー
タ入力ステップと、前記関節データ入力ステップにおい
て入力される外力に基づく時系列的な関節データを前記
知覚ステップにおいて入力される知覚データと同期的に
関連付けて時系列データとして学習する学習ステップ
と、を具備することを特徴とする脚式ロボットのための
動作教示方法である。

【００２８】前記学習ステップではリカレント・ニュー
ラル・ネットワークを用いて知覚データと関節データか
らなる時系列データを学習するようにしてもよい。

【００２９】また、本発明の第２の側面に係る動作教示
方法は、前記知覚ステップにおいて知覚データが入力さ
れたことに応答して、前記学習ステップによって該知覚
データと関連付けて学習された時系列的な関節データを
該知覚データと同期的に再生する再生ステップをさらに
備えてもよい。再生ステップではリカレント・ニューラ
ル・ネットワークを用いて知覚データと関節データから
なる時系列データを再生するようにしてもよい。

【００３０】また、前記知覚ステップを介して知覚デー
タが入力されている期間中に、前記関節データ入力ステ
ップを介して外力が入力されたことに応答して、前記学
習ステップにジャンプして関節データと知覚データを同
期的に関連付けて学習する「学習モード」に切り替わる
ようにしてもよい。また、前記知覚ステップを介して音
楽データが入力されている期間中に、前記関節データ入
力ステップを介して外力が検出されないときには、前記
再生ステップにジャンプして前記学習ステップによって
該知覚データと関連付けて学習された時系列的な関節デ
ータを該知覚データと同期的に再生する「再生モード」
に切り替わるようにしてもよい。

【００３１】ここで言う知覚データとは、例えば、音の
各パラメータの時間軸上の組み合わせで構成される音楽
データのことである。また、前記関節データ入力手段を
介して入力される外力は、脚式ロボットに対して所定の
音楽に合わせてダンスの振り付けを教示するために各関
節に印加される教示動作を構成する。

【００３２】

【作用】本発明は、ロボットの学習機構にリカレント・
ニューラル・ネットワークを採り入れることにより、時
系列の事象を学習させることができる。教示信号とし
て、音楽情報と、時系列の関節角度パラメータを用いる
ことによって、音楽とロボットのポーズの対応付けを学
習させることができる。学習後は、現在のロボットと、
聴覚によって得られる音楽情報より、次のロボットのポ
ーズが予測可能となり、音楽に合わせたダンスを実行す
ることができる。

【００３３】また、本発明によれば、リカレント・ニュ
ーラル・ネットワークを用いた学習機構により時系列的
な学習を行うので、楽曲の中に似たような短いフレーズ
が連続するような場合であっても、その前後関係を判断
することにより、ロボットは各フレーズに合わせて正し
くダンスを再生することができる。また、ニューラル・
ネットワークによる学習であるので、ダンスの教示が行
われていない楽曲に対しても、ロボットはそれまでに教
示されている楽曲とダンスの経験から、以前に教示され
た曲の中から近いダンスを組み合わせることで、音楽に
合わせたダンスを実行することができる。

【００３４】本発明は、ダンスの直接教示方法と、リカ
レント・ニューラル・ネットワークによる学習方法を組
み合わせたという側面を持つ。例えば、ロボットがダン
ス再生中に外力によって関節アクチュエータが動かされ
たことを感知した場合、ダンス再生モードからダンス学
習モードにニューラル・ネットワークのモード切替を行
えばよい。これによって、ダンス再生中にユーザがロボ
ットのダンスを修正することができ、ロボットに対して
より直感的でインタラクティブなダンスの教示を実現す
ることができる。

【００３５】本発明のさらに他の目的、特徴や利点は、
後述する本発明の実施例や添付する図面に基づくより詳
細な説明によって明らかになるであろう。

【００３６】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施例を詳解する。

【００３７】図１には、本発明の実施に供される脚式歩
行ロボット１の外観構成を前方並びに後方から眺めた様
子を示している。この歩行ロボットは、人間型若しくは
人間形をしたアミューズメント用のロボットであるが、
２本の腕部と頭部を含む上肢と、移動動作を実現する２
本の脚部からなる下肢と、上肢と下肢とを連結する体幹
部とで構成される。さらに、各足部の接地部分（足裏）
には、図示しない接触センサが取り付けられており、路
面に対する足部の着床を検出できるようになっている。

【００３８】また、図２には、歩行ロボット１の関節自
由度構成モデルを模式的に図解している。

【００３９】頭部を支持する首関節は、首関節ヨー軸
と、首関節ピッチ軸と、首関節ロール軸という３自由度
を有している。

【００４０】また、各腕部は、肩関節ピッチ軸と、肩関
節ロール軸と、上腕ヨー軸と、肘関節ピッチ軸と、前腕
ヨー軸と、手首関節ピッチ軸と、手首関節ロール軸と、
手部とで構成される。手部は、実際には、複数本の指を
含む多関節・多自由度構造体である。手部の動作をゼロ
自由度と仮定する。したがって、各腕部は７自由度を有
することになる。

【００４１】また、体幹部は、体幹ピッチ軸と、体幹ロ
ール軸と、体幹ヨー軸という３自由度を有する。

【００４２】また、下肢を構成する各々の脚部は、股関
節ヨー軸と、股関節ピッチ軸と、股関節ロール軸と、膝
関節ピッチ軸と、足首関節ピッチ軸と、足首関節ロール
軸と、足部とで構成される。人体の足部は実際には多関
節・多自由度の足底を含んだ構造体であるが、本実施例
に係る歩行ロボット１の足底はゼロ自由度とする。した
がって、左右の各脚部は６自由度で構成される。

【００４３】以上を総括すれば、本実施例に係る歩行ロ
ボット１全体としては、合計で３＋７×２＋３＋６×２
＝３２自由度を有することになる。但し、本発明に係る
脚式ロボットは３２自由度に限定される訳ではない。設
計・製作上の制約条件や要求仕様等に応じて、自由度す
なわち関節数を適宜増減することができることは言うま
でもない。

【００４４】歩行ロボット１が持つ各関節自由度は、実
際にはアクチュエータを用いて実装される。外観上で余
分な膨らみを排してヒトの自然体形状に近似させるこ
と、２足歩行という不安定構造体に対して姿勢制御を行
うことなどの要請から、アクチュエータは小型且つ軽量
であることが好ましい。例えば、ギア直結型で且つサー
ボ制御系をワンチップ化してモータ・ユニットに内蔵し
たタイプの小型ＡＣサーボ・アクチュエータを各関節に
適用することができる。この種のＡＣサーボ・アクチュ
エータに関しては、例えば本出願人に既に譲渡されてい
る特願平１１−３３３８６号明細書に開示されている。

【００４５】ロボット１の胴体フレーム内には、マイク
ロコンピュータやその他の電子部品で実装される制御回
路、並びに、図示のロボット・システム全体に駆動電力
を供給するためのバッテリ（いずれも図示しない）が搭
載されている。これにより、歩行ロボット１は、アクチ
ュエータを必要に応じて駆動することによって、あらか
じめプログラムされた動作を実現することができる。

【００４６】図３には、移動ロボット１の電気・制御系
統の構成図を模式的に示している。同図に示すように、
移動ロボット１は、全体の動作の統括的制御やその他の
データ処理を行う制御部２０と、入出力部４０と、駆動
部５０と、電源部６０とで構成される。以下、各部につ
いて説明する。

【００４７】入出力部４０は、入力部として移動ロボッ
ト１の目に相当するＣＣＤカメラ１５や、耳に相当する
マイクロフォン１６、触感に相当するタッチセンサ１８
など、五感に相当する各種のセンサを含む。また、出力
部として、口に相当するスピーカ１７などを装備してい
る。これら出力部は、脚などによる機械運動パターン以
外の形式でロボット１からのシンボリックなユーザ・フ
ィードバックを表現することができる。

【００４８】移動ロボット１は、カメラ１５を含むこと
で、作業空間上に存在する任意の物体の形状や色彩を認
識することができる。また、移動ロボット１は、カメラ
のような視覚手段の他に、赤外線、音波、超音波、電波
などの発信波を受信する受信装置をさらに備えていても
よい。この場合、各伝送波を検知するセンサ出力に基づ
いて発信源からの位置や向きを計測することができる。

【００４９】駆動部５０は、制御部２０が指令する所定
の運動パターンに従って歩行ロボット１の機械運動を実
現する機能ブロックであり、首関節、肩関節、肘関節、
体幹関節、股関節、膝関節、足首関節などのそれぞれの
関節におけるロール、ピッチ、ヨーなど各軸毎に設けら
れた駆動ユニットで構成される。図示の例では、歩行ロ
ボット１はｎ個の関節自由度を有し、したがって駆動部
５０はｎ個の駆動ユニットで構成される。各駆動ユニッ
トは、所定軸回りの回転動作を行うモータ５１と、モー
タ５１の回転位置を検出するエンコーダ５２と、エンコ
ーダ５２の出力に基づいてモータ５１の回転位置や回転
速度を適応的に制御するドライバ５３の組み合わせで構
成される。

【００５０】電源部６０は、その字義通り、歩行ロボッ
ト１内の各電気回路等に対して給電を行う機能モジュー
ルである。本実施例に係る歩行ロボット１は、バッテリ
を用いた自律駆動式であり、電源部６０は、充電バッテ
リ６１と、充電バッテリ６１の充放電状態を管理する充
放電制御部６２とで構成される。

【００５１】充電バッテリ６１は、例えば、複数本のニ
ッケル・カドミウム電池セルをカートリッジ式にパッケ
ージ化した「バッテリ・パック」という形態で構成され
る。

【００５２】また、充放電制御部６２は、バッテリ６１
の端子電圧や充電／放電電流量、バッテリ６１の周囲温
度などを測定することでバッテリ６１の残存容量を把握
し、充電の開始時期や終了時期などを決定するようにな
っている。

【００５３】制御部２０は、「頭脳」に相当し、例えば
移動ロボット１の頭部ユニット３あるいは胴体部ユニッ
ト２に搭載される。

【００５４】図４には、制御部２０の構成をさらに詳細
に図解している。同図に示すように、制御部２０は、メ
イン・コントローラとしてのＣＰＵ（Central Processi
ng Unit）２１が、メモリその他の各回路コンポーネン
トや周辺機器とバス接続された構成となっている。バス
２７上の各装置にはそれぞれに固有のアドレス（メモリ
・アドレス又はＩ／Ｏアドレス）が割り当てられてお
り、ＣＰＵ２１はアドレス指定することでバス２７上の
特定の装置と通信することができる。

【００５５】ＲＡＭ（Random Access Memory）２２は、
ＤＲＡＭ（Dynamic RAM）などの揮発性メモリで構成さ
れた書き込み可能メモリであり、ＣＰＵ２１が実行する
ロボット制御用のプログラム・コードをロードしたり、
作業データの一時的な保存のために使用される。

【００５６】ＲＯＭ（Read Only Memory）２３は、プロ
グラムやデータを恒久的に格納する読み出し専用メモリ
である。ＲＯＭ２３に格納されるプログラム・コードに
は、歩行ロボット１の電源投入時に実行する自己診断テ
スト・プログラムや、移動ロボット１の動作を規定する
制御プログラムなどが挙げられる。

【００５７】本実施例では、ロボット１の制御プログラ
ムには、リカレント・ニューラル・ネットワークに基づ
く学習機能が適用されている。リカレント・ニューラル
・ネットワークによれば、時系列的な学習を行うことが
できる。すなわち、音楽などの時系列的な入力情報と、
個々の音楽に合わせたダンスなどの時系列的な関節角度
パラメータとを関連付けた学習を行うことができる。但
し、リカレント・ニューラル・ネットワークを用いた学
習・教示機構並びに再生機構については、後述に譲る。

【００５８】不揮発性メモリ２４は、例えばＥＥＰＲＯ
Ｍ（Electrically Erasable and Programmable ROM）の
ように、電気的に消去再書き込みが可能なメモリ素子で
構成され、逐次更新すべきデータを不揮発的に保持する
ために使用される。逐次更新すべきデータには、例え
ば、移動ロボット１の行動パターンを規定するモデルな
どが挙げられる。

【００５９】インターフェース２５は、制御部２０外の
機器と相互接続し、データ交換を可能にするための装置
である。インターフェース２５は、例えば、カメラ１５
やマイクロフォン１６、スピーカ１７との間でデータ入
出力を行う。また、インターフェース２５は、駆動部５
０内の各ドライバ５３−１…との間でデータやコマンド
の入出力を行う。また、インターフェース２５は、電源
部６０との間で充電開始及び充電終了信号の授受を行う
こともできる。

【００６０】インターフェース２５は、ＲＳ（Recommen
ded Standard）−２３２Ｃなどのシリアル・インターフ
ェース、ＩＥＥＥ（Institute of Electrical and elec
tronics Engineers）１２８４などのパラレル・インタ
ーフェース、ＵＳＢ（Universal Serial Bus）インター
フェース、ｉ−Ｌｉｎｋ（ＩＥＥＥ１３９４）インター
フェース、ＳＣＳＩ（Small Computer System Interfac
e）インターフェースなどのような、コンピュータの周
辺機器接続用の汎用インターフェースを備え、ローカル
接続された外部機器との間でプログラムやデータの移動
を行うようにしてもよい。

【００６１】また、インターフェース２５の１つとして
赤外線通信（ＩｒＤＡ）インターフェースを備え、外部
機器と無線通信を行うようにしてもよい。赤外線通信の
ための送受信部は、例えば頭部ユニットなどのように、
歩行ロボット１本体の先端部に設置されることが受信感
度の観点から好ましい。

【００６２】さらに、制御部２０は、無線通信インター
フェース２６ネットワーク・インターフェース・カード
（ＮＩＣ）２７を含み、"ｂｌｕｅｔｏｏｔｈ"や"．１
１Ｂ"のような近接無線通信、あるいはＬＡＮ（Local A
rea Network：例えばＥｔｈｅｒｎｅｔ（登録商標））
やインターネットを経由して、外部のホスト・コンピュ
ータ１００とデータ通信を行うことができる。

【００６３】このようなロボットとホストコンピュータ
間のデータ通信の目的は、遠隔のコンピュータ資源を用
いて歩行ロボット１の動作をリモート・コントロールす
ることである。また、該データ通信の他の目的は、動作
モデルやその他のプログラム・コードなどロボット１の
動作制御に必要なデータやプログラムをネットワーク経
由で歩行ロボット１に供給することにある。

【００６４】ロボット１の動作制御は、現実には、ＣＰ
Ｕ２１において所定のソフトウェア・プログラムを実行
することによって実現する。図５には、ロボット１上で
稼動するソフトウェア制御構成を模式的に示している。

【００６５】同図に示すように、ロボット制御用のソフ
トウェアは、複数層のソフトウェアで構成される階層構
造を備えている。制御用ソフトウェアにはオブジェクト
指向プログラミングを採り入れることができる。この場
合、各ソフトウェアは、データとそのデータに対する処
理手続きとを一体化させた「オブジェクト」というモジ
ュール単位で扱われる。

【００６６】最下層のデバイス・ドライバは、各関節ア
クチュエータの駆動やセンサ出力の受信などハードウェ
アに対して直接アクセスすることを許容されたオブジェ
クトであり、ハードウェアからの割り込み要求に応答し
て該当する処理を行うようになっている。

【００６７】仮想ロボットは、各種デバイス・ドライバ
と所定のオブジェクト間通信プロトコルに基づいて動作
するオブジェクトとの仲介となるオブジェクトである。
ロボット１を構成する各ハードウェア装置へのアクセス
は、この仮想ロボットを介して行われる。

【００６８】サービス・マネージャは、コネクション・
ファイルに記述されたオブジェクト間の接続情報を基
に、各オブジェクトに接続を促すシステム・オブジェク
トである。

【００６９】システム層より上位のソフトウェアは、オ
ブジェクト（プロセス）毎にモジュール化されており、
必要な機能毎にオブジェクトを選択して置換容易な構成
になっている。したがって、コネクション・ファイルを
書き換えることで、データ型が一致するオブジェクトの
入出力を自由に接続することができる。

【００７０】デバイス・ドライバ層とシステム層以外の
ソフトウェア・モジュールは、ミドルウェア層とアプリ
ケーション層に大別される。

【００７１】図６には、ミドルウェア層の内部構成を模
式的に図解している。

【００７２】ミドルウェア層は、ロボット１の基本的な
機能を提供するソフトウェア・モジュールの集まりであ
り、各モジュールの構成はロボット１の機械的・電気的
な特性や仕様、形状などハードウェア属性の影響を受け
る。

【００７３】ミドルウェア層は、機能的に、認識系のミ
ドルウェア（図６の左半分）と、出力系のミドルウエア
（図６の右半分）に分けることができる。

【００７４】認識系のミドルウェアでは、画像データや
音声データ、その他のセンサから得られる検出データな
ど、ハードウェアからの生データを仮想ロボット経由で
受け取ってこれらを処理する。すなわち、各種入力情報
に基づき、音声認識、距離検出、姿勢検出、接触、動き
検出、色認識などの処理を行い、認識結果を得る（例え
ば、「ボールを検出した」、「転倒を検出した」、「撫
でられた」、「叩かれた」、「ドミソの音階が聞こえ
た」、「（動く物体を）検出した」、「（障害物を）検
出した」、「（障害物を）認識した」など）。認識結果
は、入力セマンティクス・コンバータを介して上位のア
プリケーション層に通知され、その後の行動計画などに
利用される。

【００７５】一方、出力系のミドルウェアでは、歩行、
動きの再生、出力音の合成、目に相当するＬＥＤの点灯
制御などの機能を提供する。すなわち、アプリケーショ
ン層において立案された行動計画を出力セマンティクス
・コンバータを介して受信処理して、ロボット１の各機
能毎にロボットの各ジョイントのサーボ指令値や出力
音、出力光（ＬＥＤ）、出力音声などを生成して、出力
すなわち仮想ロボットを介してロボット１上で実演す
る。このような仕組みにより、関節アクチュエータに対
する制御指令のような物理的なコマンドではなく、より
抽象的な行動コマンド（例えば、前進、後退、喜ぶ、吼
える、寝る、体操する、驚く、トラッキングするなど）
を与えることで、ロボット１を制御することができる。

【００７６】また、図７には、アプリケーション層の内
部構成を模式的に図解している。

【００７７】アプリケーションは、入力セマンティクス
・コンバータ経由で受け取った認識結果を使って、ロボ
ット１の行動計画を決定して、出力セマンティクス・コ
ンバータ経由で決定された行動を返すようになってい
る。

【００７８】アプリケーションは、ロボットの感情をモ
デル化した感情モデルと、本能をモデル化した本能モデ
ルと、外部事象を逐次記憶していく学習モジュールと、
行動パターンをモデル化した行動モデルと、行動モデル
によって決定された行動の出力先を切り替える行動切替
部とで構成される。

【００７９】入力セマンティクス・コンバータ経由で入
力される認識結果は、感情モデル、本能モデル、行動モ
デルに入力されるとともに、学習モジュールには学習教
示信号として入力される。

【００８０】行動モデルによって決定されたロボット１
の行動は、行動切替部並びに出力セマンティクス・コン
バータ経由でミドルウェアに送信され、ロボット１上で
実行される。あるいは、行動切替部を介して、行動履歴
として感情モデル、本能モデル、学習モジュールに、行
動履歴として供給される。

【００８１】感情モデルと本能モデルは、それぞれ認識
結果と行動履歴を入力に持ち、感情値と本能値を管理し
ている。行動モデルは、これら感情値や本能値を参照す
ることができる。また、学習モジュールは、学習教示信
号に基づいて行動選択確率を更新して、更新内容を行動
モデルに供給する。

【００８２】本実施例に係る学習モジュールは、音楽デ
ータのような時系列データと、関節角度パラメータとを
関連付けて、時系列データとして学習することができ
る。時系列データの学習のために、リカレント・ニュー
ラル・ネットワークを採用する。リカレント・ニューラ
ル・ネットワークは、内部にフィードバック結合を備え
ることで、１周期前の情報をネットワーク内に持ち、こ
れによって時系列データの履歴を把握することができる
仕組みになっている。

【００８３】図８には、リカレント型のニューラル・ネ
ットワークの構成例を模式的に図解している。同図に示
すように、このネットワークは、入力データが入力され
るユニット群である入力層と、ネットワークの出力を出
すユニット群である出力層と、それら以外のユニット群
である中間層で構成される。

【００８４】リカレント・ニューラル・ネットワークで
は、各ユニットにおける過去の出力がネットワーク内の
他のユニット（あるいは自分自身）に戻されるような結
合関係が許容される。したがって、時間に依存して各ニ
ューロンの状態が変化するような動的性質をネットワー
ク内に含めることができ、時系列パターンの認識や予測
を行うことができる。

【００８５】図８に示す例では、リカレント・ニューラ
ル・ネットワークは、所定数の入力層のニューロンを有
している。各ニューロンには、センサの状態に相当する
ｓ_tと、モータすなわち関節アクチュエータの状態に相
当するＭ_tが入力されている。また、入力層のニューロ
ンの出力は、中間層のニューロンを介して、出力層のニ
ューロンに供給されている。

【００８６】出力層のニューロンからは、リカレント・
ニューラル・ネットワークのセンサの状態に対応する出
力Ｓ_t+1が出力される。また、出力の一部は、コンテク
ストＣ_tとして、入力層のニューロンにフィードバック
されている。

【００８７】図示のリカレント・ニューラル・ネットワ
ークを用いた学習は、出力されたセンサの予測値Ｓ_t+1
と、実際に次の時刻で計測されたセンサの値ｓ_t+1との
誤差に基づいて、バックプロパゲーション法により実行
される。このような学習機構により、入力されたセンサ
とモータと時系列データに対して、次のセンサ情報を予
測することが可能になる。

【００８８】図９には、リカレント・ニューラル・ネッ
トワークのインバース・ダイナミクスを示している。こ
れは、時刻ｔにおけるセンサ予測出力とコンテクストＣ
_tを与えて、時刻ｔ−１のセンサ入力とモータの状態入
力、コンテクストＣ_t-1を得るネットワーク構造であ
る。

【００８９】インバース・ダイナミクスによる学習は、
図７に示したフォワード・ダイナミクスの出力を入力と
して、その出力結果とフォワード・ダイナミクスへの入
力との誤差を使って、同様にバック・プロパゲーション
法により実現する。したがって、図８に示したフォワー
ド・ダイナミクスによる学習と同時に、図９に示すイン
バース・ダイナミクスによる学習を行なうことができ
る。

【００９０】このインバース・リカレント・ニューラル
・ネットワークを用いて、得られたセンサ入力とコンテ
クストを順次入力にフィードバックしていくことで、時
間を遡ってモータの状態を順に得ることができる。最終
的に、時刻ｔのセンサ出力ｓ _tを得るためのモータの時
系列ｍ₁，ｍ₂，…，ｍ_t-1を得ることができる。

【００９１】図８に示すフォワード・ダイナミクスと図
９に示すインバース・ダイナミクスとを組み合わせ、さ
らにロボット制御用ソフトウェア（図５を参照のこと）
の枠組みに従ってモジュール化することより、ロボット
の学習機構を実現するリカレント・ニューラル・ネット
ワーク（ＲＮＮ）モジュールを構築することができる。
図９には、このＲＮＮモジュールの構成を図解してい
る。また、図１１には、ＲＮＮモジュールを搭載したロ
ボット制御用ソフトウェアの概略的な構成を図解してい
る。

【００９２】行動計画モジュールは、外部事象や感情モ
デル、本能モデル等に基づいてロボット１がとるべき行
動計画を立案し、コマンドすなわち各モータ（関節アク
チュエータ）に対する制御指示ｍ_tを発行するととも
に、ＲＮＮモジュールにもコマンドＡ_tを入力する。

【００９３】姿勢管理モジュールは、コマンドＡ_tに従
って、仮想ロボットを介して、トラッキング、モーショ
ン再生、転倒復帰、歩行などの該当する動作を実現す
る。

【００９４】また、画像や音声、その他のセンサから得
られる検出データは、仮想ロボット経由で認識系のミド
ルウェア（前述）において処理され、それぞれの特徴量
が抽出される。これらセンサ特徴量Ｓ_tはＲＮＮモジュ
ールに入力される。

【００９５】ＲＮＮモジュールは、学習フェーズでは、
コマンドＡ_tとセンサ特徴量Ｓ_tという２つの入力を用い
て、フォワード・モデル及びインバース・モデルの学習
を行う。

【００９６】行動計画モジュールは、ＲＮＮモジュール
のフォワード・ダイナミクスからの出力として、次の時
刻におけるセンサの予測値Ｓ_t+1とコンテクストＣ_t+1を
観測することができる。学習フェーズでは、行動計画モ
ジュールは、自らの行動計画に基づいて、ロボット１の
行動を決定する。

【００９７】これに対し、ＲＮＮモジュールによりロボ
ット１の学習が進行した状態では、行動計画モジュール
は、ＲＮＮモジュールによるセンサ予測値Ｓ_t+1とコン
テクストＣ_t+1を必要に応じて内部状態に関連付けて記
憶する、という作業を行う。

【００９８】そして、行動計画モジュールの内部に記憶
されたセンサ値とコンテクストを想起させる必要が発生
したときには、行動計画モジュールは、想起させたいセ
ンサ値ＳとコンテクストＣを取り出して、ＲＮＮモジュ
ールのインバース・モデルに対してこれを与える。これ
に対し、ＲＮＮモジュールでは、これらセンサ値Ｓ及び
コンテクストＣの入力を実現するアクションの時系列
を、インバース・ダイナミクス（図９を参照のこと）を
用いて順次計算し、この計算結果を姿勢管理モジュール
に送信する。この結果、行動計画モジュールが期待する
入力が得られるように、ロボット１が行動を行うように
なる。

【００９９】次いで、本実施例に係るロボット１に対し
て音楽に合わせたダンスを教示するための手順について
説明する。

【０１００】図１２には、ロボット１に対して音楽に合
わせてダンスを教示している様子を描写している。同図
に示す例では、ユーザすなわちロボット１のオペレータ
は、ロボット１の各関節を例えば手動で直接動かしなが
ら、音楽と同期してダンスの動作を形成する。

【０１０１】これに対し、ロボット１は、聴覚すなわち
スピーカなどの音声入力部を介して得られる音楽情報
と、ユーザによって動かされる関節の角度パラメータ
（各関節アクチュエータの角度、角速度、角加速度な
ど）とを対応付けて、リカレント・ニューラル・ネット
ワークにより時系列データとして学習する。

【０１０２】図１２に示すような教示方法によれば、ユ
ーザは、直感的な作業でロボット１にダンスを教え込む
ことができる。

【０１０３】図１３には、音楽に関連付けられたダンス
動作を時系列データとしてリカレント・ニューラル・ネ
ットワークにより学習するメカニズムを図解している。

【０１０４】既に説明したように、リカレント・ニュー
ラル・ネットワークは時系列の事象を学習することがで
きる。図示の例では、リカレント・ニューラル・ネット
ワークは、入力層と、出力層と、入出力層間の関係を形
成する中間層とで構成される。リカレント・ニューラル
・ネットワークに対する教示信号として、音楽によるパ
ラメータと、時系列状の関節角度パラメータが入力層の
各セルに投入される。中間層は、各入力パラメータを重
み付けして、出力層との関係を形成する。各重み付け値
が音楽に従ったダンス動作の学習結果となる。

【０１０５】学習後は、現在のロボット１のポーズと、
聴覚によって得られる音楽情報により、次の時刻におけ
るロボット１のポーズを予測することができるので、音
楽に合わせたダンスを実行することができる。

【０１０６】図１４には、音楽に合わせたダンスを学習
したロボット１が、音楽に合わせてダンスを再生してい
る様子を図解している。

【０１０７】リカレント・ニューラル・ネットワークに
よる学習機構は時系列的な学習を行うことができる。し
たがって、曲の中に似たような短いフレーズが連続する
場合であっても、時系列的な認識を行うことができる。
すなわち、部分的なフレーズ単体ではなく楽曲全体のコ
ンテクストで判断することができるので、正しくダンス
を再生することができる。

【０１０８】また、リカレント・ニューラル・ネットワ
ークによる学習であることから、未だ教示が行われてい
ない曲に対しても、ロボット１は、ニューラル・ネット
ワークの般化能力により、それまでに教示されている曲
とダンスとの経験から、以前に教示された曲の中から近
いダンスを組み合わせて、音楽に合わせたダンスを実行
することができる。

【０１０９】従来の直接教示方法とリカレント・ニュー
ラル・ネットワークによる学習方法とを組み合わせてロ
ボット１の教示を行うこともできる。図１５には、ダン
スの直接教示方法とリカレント・ニューラル・ネットワ
ークによる学習方法とを組み合わせた教示方法について
図解している。

【０１１０】同図は、ロボット１が音楽に合わせたダン
スを再生中に、ユーザがロボットの各関節を動かして動
作を修正する様子を示している。ロボット１は、ダンス
再生中に、ユーザの手など外力によって関節アクチュエ
ータが動かされたことを感知した場合、リカレント・ニ
ューラル・ネットワークはダンス再生モードからダンス
学習モードに切り替わる。この結果、一度教示したダン
スを、いわゆる「手取り足取り」で音楽に合わせて修正
・教示することができる。

【０１１１】ダンス再生中にユーザがロボット１のダン
スを修正することができ、ロボット１に対してより直感
的でインタラクティブなダンスの教示を行うことが可能
となる訳である。

【０１１２】図１６には、リカレント・ニューラル・ネ
ットワークが動作モードを選択する処理手順をフローチ
ャートの形式で示している。以下、このフローチャート
を参照しながら、動作モードの切替について説明する。

【０１１３】ロボット１は、音楽がかかっていることを
認識している期間中に（ステップＳ１）、さらに外力に
よる関節の駆動を検出したときには（ステップＳ２）、
リカレント・ニューラル・ネットワークを学習モードに
切り替えて、ダンスの学習を開始する（ステップＳ
５）。

【０１１４】他方、外部による関節の駆動を検出しない
場合には、さらに、ダンスの教示が行われているか否か
を確認する（ステップＳ３）。そして、ダンスの教示が
行われていない場合には、リカレント・ニューラル・ネ
ットワークを再生モードに切り替えて、音楽に合わせて
既に学習したダンスの再生を行う（ステップＳ４）。

【０１１５】［追補］以上、特定の実施例を参照しなが
ら、本発明について詳解してきた。しかしながら、本発
明の要旨を逸脱しない範囲で当業者が該実施例の修正や
代用を成し得ることは自明である。

【０１１６】本明細書中では、音楽に対するダンスをロ
ボットに教示する例をあげて説明したが、本発明の要旨
はこれに限定されず、入力を音楽以外のセンサ入力を用
いることによって、ダンスに限らずさまざまな環境に応
じた適切な動作を実行させることも可能である。

【０１１７】また、本発明の要旨は、必ずしも「ロボッ
ト」と称される製品には限定されない。すなわち、電気
的若しくは磁気的な作用を用いて人間あるいはその他の
動物の動作に似せた運動を行う機械装置であるならば、
例えば玩具等のような他の産業分野に属する製品であっ
ても、同様に本発明を適用することができる。

【０１１８】要するに、例示という形態で本発明を開示
してきたのであり、限定的に解釈されるべきではない。
本発明の要旨を判断するためには、冒頭に記載した特許
請求の範囲の欄を参酌すべきである。

【０１１９】

【発明の効果】以上詳記したように、本発明によれば、
少なくとも肢体と体幹部を有する脚式ロボットに対する
優れた動作教示方法を提供することができる。

【０１２０】また、本発明によれば、音楽に合わせたダ
ンスの振り付けを直感的で且つ容易に教示することがで
きる、脚式ロボットに対する優れた動作教示システム及
び動作教示方法を提供することができる。

【０１２１】また、本発明によれば、リカレント・ニュ
ーラル・ネットワークを学習・再生機構として利用する
ことによって、環境との関連付けにより音楽に合わせた
ダンスを教示したり、教示されない音楽に対してもダン
スの再生を行うことができる、脚式ロボットに対する優
れた動作教示システム及び動作教示方法を提供すること
ができる。

【０１２２】また、本発明によれば、リカレント・ニュ
ーラル・ネットワークを利用して、音楽情報とダンスの
ような時系列の事象をロボットに効率的に学習させるこ
とができる、脚式ロボットに対する優れた動作教示シス
テム及び動作教示方法を提供することができる。

【０１２３】本発明は、ロボットの学習機構にリカレン
ト・ニューラル・ネットワークを採り入れることによ
り、時系列の事象を学習させることができる。教示信号
として、音楽情報と、時系列の関節角度パラメータを用
いることによって、音楽とロボットのポーズの対応付け
を学習させることができる。学習後は、現在のロボット
の状態と、聴覚によって得られる音楽情報より、次のロ
ボットのポーズが予測可能となり、音楽に合わせたダン
スを実行することができる。

【０１２４】また、本発明によれば、リカレント・ニュ
ーラル・ネットワークを用いた学習機構により時系列的
な学習を行うので、楽曲の中に似たような短いフレーズ
が連続するような場合であっても、その前後関係に基づ
いて判断することにより、ロボットは正しくダンスを再
生することができる。また、リカレント・ニューラル・
ネットワークによる学習であるので、ダンスの教示が行
われていない楽曲に対しても、ロボットはそれまでに教
示されている楽曲とダンスの経験から、以前に教示され
た曲の中から近いダンスを組み合わせて、適当なダンス
を実行することができる。

【０１２５】本発明は、ダンスの直接教示方法と、リカ
レント・ニューラル・ネットワークによる学習方法を組
み合わせたという側面を持つ。例えば、ロボットがダン
ス再生中に外力によって関節アクチュエータが動かされ
たことを感知した場合、ダンス再生モードからダンス学
習モードにニューラル・ネットワークのモード切替を行
えばよい。これによって、ダンス再生中にユーザがロボ
ットのダンスを修正することができ、ロボットに対して
より直感的でインタラクティブなダンスの教示を実現す
ることができる。

【図面の簡単な説明】

【図１】本発明の実施に供される脚式歩行ロボット１の
外観構成を示した図である。

【図２】歩行ロボット１の自由度構成モデルを模式的に
示した図である。

【図３】脚式歩行ロボット１の電気・制御系統の構成図
を模式的に示した図である。

【図４】制御部２０の構成をさらに詳細に示した図であ
る。

【図５】ロボット１上で稼動するソフトウェア制御構成
を模式的に示した図である。

【図６】ミドルウェア層の内部構成を模式的に示した図
である。

【図７】アプリケーション層の内部構成を模式的に示し
た図である。

【図８】リカレント型のニューラル・ネットワーク（フ
ォワード・ダイナミクス）の構成例を模式的に示した図
である。

【図９】リカレント・ニューラル・ネットワークのイン
バース・ダイナミクスを示した図である。

【図１０】ロボット制御用ソフトウェアの枠組みに従っ
てモジュール化されたＲＮＮモジュールの構成を示した
図である。

【図１１】図１０に示すＲＮＮモジュールを搭載したロ
ボット制御用ソフトウェアの構成を示した図である。

【図１２】ロボット１に対して音楽に合わせてダンスを
教示している様子を描写した図である。

【図１３】音楽に関連付けられたダンス動作を時系列デ
ータとしてリカレント・ニューラル・ネットワークによ
り学習するメカニズムを示した図である。

【図１４】音楽に合わせたダンスを学習したロボット１
が、音楽に合わせてダンスを再生している様子を示した
図である。

【図１５】ダンスの直接教示方法とリカレント・ニュー
ラル・ネットワークによる学習方法とを組み合わせた教
示方法を示した図である。

【図１６】リカレント・ニューラル・ネットワークが動
作モードを選択する処理手順を示したフローチャートで
ある。

【符号の説明】

１…歩行ロボット１５…ＣＣＤカメラ１６…マイクロフォン１７…スピーカ１８…タッチセンサ２０…制御部２１…ＣＰＵ２２…ＲＡＭ２３…ＲＯＭ２４…不揮発メモリ２５…インターフェース２６…無線通信インターフェース２７…ネットワーク・インターフェース・カード２８…バス２９…キーボード４０…入出力部５０…駆動部５１…モータ（関節アクチュエータ）５２…エンコーダ（関節角度センサ）５３…ドライバ６０…電源部６１…充電バッテリ６２…充放電制御部１００…外部のホスト・コンピュータ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｂ２５Ｊ 5/00 Ｂ２５Ｊ 5/00 ＦＧ０６Ｎ 3/00 ５５０Ｇ０６Ｎ 3/00 ５５０ＥＧ１０Ｌ 15/10 Ｇ１０Ｌ 3/00 ５３１Ｎ 15/16 ５３９ 15/00 ５５１Ｈ (72)発明者ガブリエル・コスタ東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者横野順東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 2C150 CA01 DA02 DC15 DF02 DF08 DK02 EB01 EC02 ED11 ED37 ED39 ED43 ED47 ED56 EE02 EF16 EF30 EH07 EH08 EH12 FA03 FB33 3F059 BB06 DA02 DA08 DD18 FA03 FC14 FC15 5D015 AA06 JJ00 KK01

Claims

【特許請求の範囲】

【請求項１】複数の関節で構成される脚式ロボットのた
めの動作教示システムであって、各関節の駆動を始めとするロボットの動作を制御する制
御手段と、時系列的な知覚データを入力する知覚手段と、各関節に印加される時系列的な外力を入力する関節デー
タ入力手段と、前記関節データ入力手段から入力される外力に基づく時
系列的な関節データを前記知覚手段から入力される知覚
データと同期的に関連付けて時系列データとして学習す
る学習手段と、を具備することを特徴とする脚式ロボッ
トのための動作教示システム。
【請求項２】前記学習手段はリカレント・ニューラル・
ネットワークを用いて知覚データと関節データからなる
時系列データを学習することを特徴とする請求項１に記
載の脚式ロボットのための動作教示システム。
【請求項３】さらに、前記知覚手段から知覚データが入
力されたことに応答して、前記学習手段によって該知覚
データと関連付けて学習された時系列的な関節データを
該知覚データと同期的に再生する再生手段を備えること
を特徴とする請求項１に記載の脚式ロボットのための動
作教示システム。
【請求項４】前記再生手段はリカレント・ニューラル・
ネットワークを用いて知覚データと関節データからなる
時系列データを再生することを特徴とする請求項１に記
載の脚式ロボットのための動作教示システム。
【請求項５】前記制御手段は、前記知覚手段を介して知
覚データが入力されている期間中に、前記関節データ入
力手段を介して外力が入力されたことに応答して前記学
習手段を付勢して関節データと知覚データを同期的に関
連付けて学習する学習モードに切り替わることを特徴と
する請求項１又は３のいずれかに記載の脚式ロボットの
ための動作教示システム。
【請求項６】前記制御手段は、前記知覚手段を介して知
覚データが入力されている期間中に、前記関節データ入
力手段を介して外力が検出されないときには、前記再生
手段を付勢して前記学習手段によって該知覚データと関
連付けて学習された時系列的な関節データを該知覚デー
タと同期的に再生する再生モードに切り替わることを特
徴とする請求項３に記載の脚式ロボットのための動作教
示システム。
【請求項７】前記知覚データは、音の各パラメータの時
間軸上の組み合わせで構成される音楽データであること
を特徴とする請求項１に記載の脚式ロボットのための動
作教示システム。
【請求項８】前記関節データ入力手段を介して入力され
る外力は、脚式ロボットに対して所定の音楽に合わせて
ダンスの振り付けを教示するために各関節に印加される
教示動作を構成することを特徴とする請求項１に記載の
脚式ロボットのための動作教示システム。
【請求項９】複数の関節で構成される脚式ロボットのた
めの動作教示方法であって、時系列的な知覚データを入力する知覚ステップと、各関節に印加される時系列的な外力を入力する関節デー
タ入力ステップと、前記関節データ入力ステップにおいて入力される外力に
基づく時系列的な関節データを前記知覚ステップにおい
て入力される知覚データと同期的に関連付けて時系列デ
ータとして学習する学習ステップと、を具備することを
特徴とする脚式ロボットのための動作教示方法。
【請求項１０】前記学習ステップではリカレント・ニュ
ーラル・ネットワークを用いて知覚データと関節データ
からなる時系列データを学習することを特徴とする請求
項９に記載の脚式ロボットのための動作教示方法。
【請求項１１】さらに、前記知覚ステップにおいて知覚
データが入力されたことに応答して、前記学習ステップ
によって該知覚データと関連付けて学習された時系列的
な関節データを該知覚データと同期的に再生する再生ス
テップを備えることを特徴とする請求項９に記載の脚式
ロボットのための動作教示方法。
【請求項１２】前記再生ステップではリカレント・ニュ
ーラル・ネットワークを用いて知覚データと関節データ
からなる時系列データを再生することを特徴とする請求
項９に記載の脚式ロボットのための動作教示方法。
【請求項１３】前記知覚ステップを介して知覚データが
入力されている期間中に、前記関節データ入力ステップ
を介して外力が入力されたことに応答して前記学習ステ
ップにジャンプして関節データと知覚データを同期的に
関連付けて学習する学習モードに切り替わることを特徴
とする請求項９又は１２のいずれかに記載の脚式ロボッ
トのための動作教示方法。
【請求項１４】前記知覚ステップを介して知覚データが
入力されている期間中に、前記関節データ入力ステップ
を介して外力が検出されないときには、前記再生ステッ
プにジャンプして前記学習ステップによって該知覚デー
タと関連付けて学習された時系列的な関節データを該知
覚データと同期的に再生する再生モードに切り替わるこ
とを特徴とする請求項１２に記載の脚式ロボットのため
の動作教示方法。
【請求項１５】前記知覚データは、音の各パラメータの
時間軸上の組み合わせで構成される音楽データであるこ
とを特徴とする請求項９に記載の脚式ロボットのための
動作教示方法。
【請求項１６】前記関節データ入力ステップを介して入
力される外力は、脚式ロボットに対して所定の音楽に合
わせてダンスの振り付けを教示するために各関節に印加
される教示動作を構成することを特徴とする請求項９に
記載の脚式ロボットのための動作教示方法。