JP2002239952A - ロボット装置、ロボット装置の行動制御方法、プログラム及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 行動範囲を広げる行動をより現実的なものと
して実行可能にする。 【解決手段】 ロボット装置は、検出手段が検出した実
センサー値Ｓ_ｔを学習して、その後に検出手段が検出す
る実センサー値Ｓ_ｔが入力されて、それに対応して学習
結果に基づいて得た予測センサー値Ｓ_ｔ＋１を出力し、
次時刻の実センサー値Ｓ_ｔ＋１と予測センサー値Ｓ
_ｔ＋１との差が小になるほど大きいホーミング・リワー
ドＲＨ_ｔ＋１を出力するものである。これにより、ＲＮ
Ｎ１０３は、既存のセンサー予測値とセンサー実測値と
の差が小さいほど、ホーミング・リワードＲＨ_ｔ＋１の
値が大きくなるようにするが、これは、ホーム２０３に
近いほど、慣れた場所（学習している場所）であること
から、センサー予測値がセンサー実測値に近い値として
得ることができるからである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボット装置、ロ
ボット装置の行動制御方法、プログラム及び記録媒体に
関し、詳しくは、自律的に行動するロボット装置に適用
するのに好適な場合に関する。

【０００２】

【従来の技術】近年、外観形状が犬や猫等の動物に模し
て形成されたロボット装置が提供されている。そのよう
なロボット装置には、外部からの情報や内部の状態に応
じて自律的に動作するものがある。このようなロボット
装置は、複数の行動計画を有しており、上述したような
外部からの情報等に基づいて選択した一の行動計画に沿
って行動するようになされている。

【０００３】

【発明が解決しようとする課題】ところで、ロボット装
置は、予め決められた情報に基づいて行動している。上
述したような予め用意された行動計画に基づいて行動を
決定するようにである。しかし、これではロボット装置
が真に自律的な行動をとっているとは言い難い。

【０００４】例えば、ロボット装置が自律的な行動とし
て、積極的にその行動する範囲を広げる移動ができれ
ば、より娯楽性が増し、そのような行動は、より現実的
な動物としての行動として把握されるようになる。ま
た、このように行動範囲を広げていく場合には、基準位
置（例えば、ベース或いはホーム等）を用意して、それ
を基準として行動範囲を広げるようなことが考えられ
る。このようなことから、行動範囲を広げると同時に、
基準位置に戻る行動も、自律的な行動として必要になる
と考えられる。例えば、基準位置に戻る行動は、動物で
いえば、家に帰ること（例えば、帰巣すること）と等価
な行動であるとも言える。

【０００５】そこで、本発明は、上述の実情に鑑みてな
されたものであり、行動範囲を広げる行動をより現実的
なものとして実行可能にするロボット装置、ロボット装
置の行動制御方法、プログラム及び記録媒体の提供を目
的としている。

【０００６】

【課題を解決するための手段】本発明に係るロボット装
置は、上述の課題を解決するために、評価値が増加する
ように、行動をさせる行動制御手段を備えており、評価
値が、基準位置に近いほど増加するようになされてい
る。このようなロボット装置は、評価値が増加するよう
に行動することによって、結果的として基準位置に戻る
行動をするようになる。

【０００７】また、本発明に係るロボット装置の行動制
御方法は、上述の課題を解決するために、基準位置に近
いほど増加する評価値に基づいてロボット装置の行動を
制御し、評価値が増加するように、ロボット装置の行動
制御をする。このようなロボット装置の行動制御方法に
より、ロボット装置は、評価値が増加するように行動す
ることによって、結果的として基準位置に戻る行動をす
るようになる。

【０００８】また、本発明に係るプログラムは、上述の
課題を解決するために、基準位置に近いほど増加する評
価値に基づいてロボット装置の行動を制御し、評価値が
増加するように、ロボット装置の行動制御を実行する。
このようなプログラムに基づいて行動制御を実行するロ
ボット装置は、評価値が増加するように行動することに
よって、結果的として基準位置に戻る行動をするように
なる。

【０００９】また、本発明に係る記録媒体は、上述の課
題を解決するために、基準位置に近いほど増加する評価
値に基づいてロボット装置の行動を制御し、評価値が増
加するように、ロボット装置の行動制御を実行するプロ
グラムが記録される。このような記録媒体に記録された
プログラムに基づいて行動制御を実行するロボット装置
は、評価値が増加するように行動することによって、結
果的として基準位置に戻る行動をするようになる。

【００１０】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて詳細に説明する。この実施の形態は、
本発明を、周囲の環境（外的要因）や内部の状態（内的
要因）に応じて自律的に行動をする自律型のロボット装
置に適用したものである。

【００１１】図１に、このロボット装置１の外観の具体
例を示している。このロボット装置１は、「犬」等の動
物を模した形状の、いわゆるペット型ロボットとされ、
胴体部ユニット２の前後左右にそれぞれ脚部ユニット３
Ａ，３Ｂ，３Ｃ，３Ｄが連結されると共に、胴体部ユニ
ット２の前端部及び後端部にそれぞれ頭部ユニット４及
び尻尾部ユニット５が連結されて構成されている。この
ように構成されるロボット装置１は、制御プログラムに
基づいて、自己（内部）及び周囲（外部）の状況や、使
用者からの指示及び働きかけに応じて、脚部ユニット３
Ａ，３Ｂ，３Ｃ，３Ｄ等の動作部を動作させて、自律的
に行動するようになされている。

【００１２】（１）本発明が適用されたロボット装置 このロボット装置１は、自律的な行動として、その行動
範囲を積極的に広げることができるようになされてい
る。例えば、図２に示すように、ロボット装置１は、物
理的な境界とされる壁２００，２０１や物体２０２によ
って必然的に形成される経路内を選択的に移動してい
き、行動範囲を広げていくようになされている。ロボッ
ト装置１は、このような行動範囲の拡張を、報酬（rewa
rd）に基づいて実行している。例えば、一般的には、報
酬は、モチベーションとした作用するものである。この
報酬に基づく行動範囲の拡張については、後で詳述す
る。

【００１３】そして、このロボット装置１は、そのよう
に行動範囲を積極的に広げつつも、行動を広げる基準と
される基準位置（以下、ホームという。）に自律的な行
動として戻ることができるようにもなされている。すな
わち、図２に示すように、ロボット装置１は、ホーム２
０３を基準として行動範囲を広げつつも、そのホーム２
０３に、自律的に戻ること（例えば、帰巣すること）が
できるようになされている。

【００１４】以上のような行動により、ロボット装置１
は、積極的に行動範囲を広げる行動を、より自然な形と
して実行している。次に、ロボット装置１による行動範
囲（或いは活動範囲）を広げるための行動制御と、その
ようなロボット装置１がホーム２０３に戻るための行動
制御とについて説明する。

【００１５】（１−１）ロボット装置による行動範囲を
広げる行動制御 例えば、行動範囲を広げた場合、一般的に、認知される
外部環境は未知のものとなる。すなわち、行動範囲を広
げた外界は経験のない情報として知覚される。このよう
なことを利用して、ロボット装置１は、積極的に未知の
情報が得られるように行動することで、行動範囲を広げ
ている。

【００１６】これを実現するために、ロボット装置１
は、行動により場所を移動して得られる外部環境を学習
していく。そして、ロボット装置１は、学習結果と入力
されてくる情報（具体的には、センサー情報）に基づい
て、その入力を未だ学習していないことを検出する。例
えば、入力されてくるセンサー情報と学習結果により得
られる情報（例えば、予測情報）との差を求め、その差
から未だ学習していないことを検出する。ここで、セン
サー情報とは、例えば、撮像装置からの撮像信号等であ
る。

【００１７】ロボット装置１は、上述したような差が発
生するように学習し、そのような差を大きくするように
行動することで、結果として行動範囲を広げる行動をす
ることができるようになされている。そして、ロボット
装置１においては、そのような差を、「報酬」といった
評価値として与えている。これにより、ロボット装置１
は、報酬が大きくなるように行動し、結果として行動範
囲を広げる行動をすることになる。

【００１８】（１−１−１）情報を学習するニューラル
ネットワークの基本動作 先ず、実施の形態において情報を学習するために使用す
るシステムについて説明する。実施の形態では、学習シ
ステムとしてニューラルネットワークを用いている。図
３には、センサー情報の学習のためのニューラルネット
ワーク１０３の構成を示している。図３に示すように、
ニューラルネットワーク１０３は、入力層１０３_１、隠
れ層（或いは中間層）１０３_２及び出力層１０３_３に階
層化されている。このニューラルネットワーク１０３
は、出力層１０３_３から入力層１０３_１に向かってフィ
ードバックするループを有するリカレント型ニューラル
ネットワーク（以下、ＲＮＮという。）である。

【００１９】ＲＮＮ１０３を構成する入力層１０３_１、
隠れ層１０３_２及び出力層１０３_３はそれぞれ、所定の
数のニューロンを有し、各層間で各ニューロンが結合さ
れている。そして、このニューロンは、各層間でランダ
ムに結合されている。そして、出力層１０３_３の一部の
ニューロンは、フィードバックニューロンとされるコン
テキスト（context）として、入力層１０３_１に結合さ
れている。例えば、出力層１０３_３のニューロンの数が
１４のニューロンである場合において、出力層１０３_３
の２つのニューロンがコンテキストとして入力層１０３
_１に結合されている。そして、各層間のニューロンの結
合は重み係数として観念されるものである。このような
ＲＮＮ１０３において、学習は次のようにしてなされ
る。なお、ここでいう学習とは、このような各層間のニ
ューロンを結合している重み係数をチューニングし、記
憶していくことである。

【００２０】ＲＮＮ１０３では、学習対象として入力さ
れた情報が入力層１０３_１から出力層１０３_３に向かっ
て入力されることで学習が行われる。例えば、学習対象
とされる情報はベクトル値として入力される。各層で
は、そのような入力ベクトルに対して、各ニューロンに
て重み係数を乗算して、後の層の他のニューロンに出力
する。

【００２１】具体的には、ＲＮＮ１０３において、セン
サーの状態に対応する値Ｓ_ｔ（或いはＳ（ｔ）と記
す。）が入力層１０３_１に入力されると、隠れ層１０３
_２を介して、出力層１０３_３のニューロンに供給され
る。そして、出力層１０３_３のニューロンからは、セン
サーの状態に対応するＳ_ｔ＋１が出力される。

【００２２】ここで、例えば、センサーの状態に対応す
る値とは、外部環境検出手段とされる撮像装置、マイク
等により検出される撮像画像信号、音声信号等、或いは
脚部ユニットの回動状態を示すポテンショメータによる
回転検出値等である。また、例えば、画像撮像信号や音
声信号については、全部を学習対象とすると学習対象の
情報量が多くなることから、特徴量を検出して、その特
徴量を学習対象として学習を実行するようにしている。
また、例えば、撮像装置については、ロボット装置１
は、ＣＣＤ（Charge Coupled Device）カメラとして備
えており、このＣＣＤカメラによって得られる撮像信号
の特徴量を得ている。

【００２３】そして、学習では、誤算逆伝播法とされ
る、いわゆるバックプロパゲーション法により、重み係
数（例えば、重みマトリックスともいう。）を更新して
いる。ここで、誤算逆伝播法とは、概略としては、出力
層１０３_３から出力された値（例えば、センサーの予測
値）と、実際に次時刻で得られた値（例えば、センサー
の予測値）の誤差を、出力層１０３_３から入力層１０３
_１に向けてフィードバックさせる、といったものであ
る。

【００２４】具体的には、学習では、出力されたセンサ
ーの予測値Ｓ_ｔ＋１（或いはＳ（ｔ＋１）と記す。）と
実際に次時刻に計測されたセンサーの値Ｓ_ｔ＋１との誤
差を、出力層１０３_３から入力層１０３_１にフィードバ
ックさせる。

【００２５】以上のようなＲＮＮ１０３に基づく学習シ
ステムにより、ロボット装置１は、センサー情報を入力
とした学習を行っている。

【００２６】（１−１−２）報酬とセンサー情報とを結
びつけた学習 図４には、入力に対して報酬を出力するＲＮＮを示して
いる。なお、この図４は、ＲＮＮ１０３を簡略化したも
のとして示している。

【００２７】このＲＮＮ１０３は、学習の際には、同時
に出力されたセンサー予測値とセンサー実測値との差分
が大きい場合、すなわち、センサー予測値がセンサー実
測値からかけ離れているほど、高い報酬を与えるように
学習可能にするものである。すなわち、センサー値につ
いての予測値と実測値との差分に応じた報酬を学習する
ものであり、差分が大きいほど報酬が多くなる（値が大
きくなる）ように学習して、差分が小さいほど報酬が少
なくなる（値が小さくなる）ように学習する。このよう
な学習により、学習後のＲＮＮ１０３では、センサー実
測値（入力されてくるセンサー情報）とセンサー予測値
（学習結果を利用して予測値として出力されるセンサー
情報）との差分が大きいほど、すなわち、不測の事態を
起こす行動をとるほど、高い報酬が得られるようにな
る。

【００２８】図５には、学習が進んだＲＮＮ１０３から
得られる報酬に基づいて一の行動が選択される場合を示
している。

【００２９】後述するところであるが、ロボット装置１
は、複数の行動計画データＡ_１，Ａ _２，・・・，Ａ_ｎを
有しており、外部情報等の条件に基づいて一の行動計画
データを選択して、その行動計画データに基づいて行動
をすることができるようになされている。図５に示す行
動選択部１０４は、そのような一の行動計画データを選
択する部分を構成しており、その選択を、より高い報酬
が得られるであろう行動計画データが選択されるように
なされている。なお、この行動選択部１０４とＲＮＮ１
０３は、一体とされたモジュール１０５として構成され
ることとしても良い。

【００３０】行動選択部１０４については、具体的に
は、実際の行動をする前に、行動計画データに基づいて
得られるであろうセンサー値或いはアクションデータを
学習後のＲＮＮに与えることによって各行動計画データ
毎に報酬を得ている。すなわち、行動選択部１０４は、
各行動計画データに基づいて行動を仮想的に試行して、
各行動計画データについての報酬値を得ているといえ
る。例えば、ロボット装置１におけるこのような処理
は、報酬を基準としてメモリの内部リハーサルを実行す
る処理として把握されるものである。そして、行動選択
部１０４は、そのようにして得た報酬値に基づいて、そ
の報酬値を大きくするような行動計画データを選択す
る。

【００３１】このような行動選択部１０４により、ロボ
ット装置１は、より報酬が高くなるような行動を、実際
の行動を起こすことなく選択することができるようにな
る。これにより、そのような行動計画データの選択が、
今まで経験したことのないような行動や外界の行動（セ
ンサー入力）を選択したことになることから、ロボット
装置１は、結果として、行動範囲を広げるような自律的
に行動することができるようになる。

【００３２】そして、ロボット装置１は、そのようなＲ
ＮＮ１０３に基づいてした行動範囲を広げる行動により
内部マッピングを形成していくことにより、極めて安定
して、センサーを介して新規の行動領域を認識できるよ
うになる。

【００３３】（１−２）ロボット装置がホーム（基準位
置）に戻るための行動制御 ロボット装置１がホーム２０３に戻るための行動制御に
ついて説明する。例えば、ロボット装置１は、上述した
行動範囲を広げていく場合と同様に、報酬に基づいてホ
ーム２０３に戻ることができるようになされている。例
えば、ホーム２０３に戻るための評価値とされる報酬
を、ホーミング・リワード（homing reward）と言う。

【００３４】図６には、ホーミング・リワードをも考慮
に入れたＲＮＮ１０３の構成について示している。この
図６に示すＲＮＮ１０３は、上述したような行動範囲を
広げるための報酬ＲＮ_ｔについての学習をする他に、ホ
ーミング・リワードＲＨ_ｔについても学習するように構
成されている。

【００３５】このＲＮＮ１０３は、撮像装置等の検出手
段が検出した実外部環境情報とされるセンサー入力（例
えば、撮像信号等）を学習して、検出手段が検出する実
外部環境情報と、学習結果に基づいて得た予測外部環境
情報（予測される撮像信号等）との差が小になるほど大
きい評価値とされるホーミング・リワードＲＨ_ｔ＋１を
出力する学習手段とされるものである。すなわち、この
ＲＮＮ１０３は、検出手段が検出した実センサー値Ｓ_ｔ
を学習して、その後に検出手段が検出する実センサー値
Ｓ_ｔが入力されて、それに対応して学習結果に基づいて
得た予測センサー値Ｓ_ｔ＋１を出力し、次時刻の実セン
サー値Ｓ_ｔ＋１と予測センサー値Ｓ_{ｔ＋ １}との差が小に
なるほど大きいホーミング・リワードＲＨ_ｔ＋１を出力
するものである。これにより、ＲＮＮ１０３は、既存の
センサー予測値とセンサー実測値との差が小さいほど、
ホーミング・リワードＲＨ_ｔ＋１の値が大きくなるよう
にするが、これは、ホーム２０３に近いほど、慣れた場
所（学習している場所）であることから、センサー予測
値がセンサー実測値に近い値として得ることができるか
らである。

【００３６】また、このＲＮＮ１０３は、基準位置とさ
れるホーム２０３に近づくほど評価値とされるホーミン
グ・リワードＲＨ_ｔを増加させることから、ホーム２０
３から近い環境に移動するに従って評価値を増加させる
評価値生成手段としても把握されるものでもある。

【００３７】このようなＲＮＮ１０３によりホーミング
・リワードに基づいて学習することで、ホーミング・リ
ワードの値が大きくなるようなセンサー情報を得るよう
に行動することで、馴染みの環境へ移動するようにな
り、最終的に、ロボット装置１がホーム２０３に戻るこ
とができるようになる。このようにロボット装置１は、
ホーミング・リワードを新たに定義して、そのホーミン
グ・リワードに基づいて行動をすることにより、ホーム
２０３に戻ることができるようになる。

【００３８】なお、ロボット装置１は、上述した行動範
囲を広げるための報酬（以下、ノベリティ・リワードと
いう。）とホーミング・リワードとを比較考量して、行
動をすることもできる。この場合、ロボット装置１は、
候補として挙げた行動計画データから、より高い値とし
て予測するノベリティ・リワード或いはホーミング・リ
ワードに基づいて行動を選択するようにする。すなわ
ち、ノベリティ・リワード或いはホーミング・リワード
について、値がより高く期待される行動を選択するよう
にする。例えば、ノベリティ・リワード及びホーミング
・リワードそれぞれについて閾値を設定して、それぞれ
閾値と比較した結果に基づいて行動を選択するようにす
る。これにより、ロボット装置１は、ノベリティ・リワ
ード及びホーミング・リワードを比較考量して、より高
い値が得られる行動をするようになる。

【００３９】さらに、上述したノベリティ・リワードと
ホーミング・リワードとに、優先度を与えることもでき
る。例えば、初期の段階では、ホーミング・リワードに
より高い優先度を与え、ロボット装置１がマッピングす
る領域についての知識を増やすにつれて、すなわち、行
動範囲を広げるに従ってノベルティ・リワードの優先度
を増すようにする。これにより、ロボット装置１は、初
期の段階では行動範囲を広げても直ぐにホーム２０３に
戻るようにして、行動範囲が広がるに従ってホーム２０
３に戻る回数を減らして、積極的に行動範囲を広げるよ
うにすることができる。

【００４０】以上のように、ロボット装置１は、ホーム
２０３に戻ることを学習機能に取り入れて行動すること
ができるようになる。これにより、ロボット装置１は、
ホーム２０３を基準として行動範囲を広げつつも、その
ホーム２０３に自律的に戻ること（例えば、帰巣するこ
と）ができる。

【００４１】ここで、単にロボット装置１が報酬を基準
として行動範囲を広げる行動の機能だけを有する場合を
考えてみる。

【００４２】上述したようなロボット装置１が行動範囲
を広げる機能は、ロボット装置１がマッピング及びロー
カリゼーションを行う機能とされるものであって、目標
位置を記憶し、思い出すためのＲＮＮを用いる手法とも
言える。この機能により、ロボット装置１は、ホーム２
０３に置かれ、その位置の周辺領域を探査し始め、ある
物理的な境界線に到達する。そのとき、ロボット装置１
は、探索する領域についての知識を獲得しながら、報酬
を基準としてメモリの内部リハーサルを実行して、行動
範囲を広げていく。そして、ロボット装置１は、このよ
うな動作を何度か反復実行することにより、探査する領
域についての知識を獲得し、その領域でどのように移動
するかを知る能力を得ることができる。

【００４３】しかし、このように行動範囲を学習するた
めには、基準位置から開始する行動の数度の実行が必要
とされるが、例えば、行動範囲を広げていく機能だけで
は、ロボット装置１は、基準位置とされるホーム２０３
に戻ることはできない。例えば、ホーム２０３に戻るた
めには、補助が必要になり、具体的には、ユーザによる
手動で戻されるような手助けが必要になる。これは、ノ
ベルティ・リワードのみを行動基準として用いる場合で
は、ロボット装置１がよく知らない場所に行くことの方
を好んで選択するとき（所望の目標位置はその時点での
目標位置とは異なる）、その度にロボット装置１を手動
でホームポジションに戻す必要があるという問題にな
る。それ故、ロボット装置１が、再び次の反復行為を開
始するために自力で行動範囲拡張のための基準位置に戻
ることができるとすれば、それは非常に重要なことであ
る。

【００４４】このようなことから、ホーミング・リワー
ドを別に規定して、それに基づいて行動の選択もするこ
とによって、ロボット装置１は、行動範囲を広げる、す
なわち未知の知識を獲得するとともに、そのような行動
によってホーム２０３に帰れなくなることを防止して、
確実に自律行動としてホーム２０３に戻ることができる
ようになされている。なお、上述の実施の形態では、ロ
ボット装置１がノベルティ・リワードやホーミング・リ
ワードといった報酬の概念を基準にして行動を選択して
いく場合を説明しているが、これに限定されるものでは
ない。例えば、ロボット装置１は、精神的な基準として
取り入れることもできる。これにより、ロボット装置１
は、例えば精神的に安定するように行動することもでき
る。

【００４５】また、上述の実施の形態では、ロボット装
置１は、ＲＮＮを利用してホーム２０３に戻るためのシ
ステムを構成した場合を説明した。しかし、これに限定
されるものではなく、ロボット装置１は、ホーム２０３
を認識するホーム認識手段、ホーム２０３が位置すると
ころまでの距離を測る測定手段、或いはホーム２０３に
戻るまでのコストを概算する概算手段を備えることによ
り、これらの手段を用いてホーム２０３に戻るように行
動することもできる。

【００４６】（２）ロボット装置の具体的な構成 上述の図１に示すように、「犬」等の動物に模した形状
のいわゆるペット型ロボットとされ、胴体部ユニット２
の前後左右にそれぞれ脚部ユニット３Ａ，３Ｂ，３Ｃ，
３Ｄが連結されると共に、胴体部ユニット２の前端部及
び後端部にそれぞれ頭部ユニット４及び尻尾部ユニット
５が連結されて構成されている。

【００４７】胴体部ユニット２には、図７に示すよう
に、ＣＰＵ（Central Processing Unit）１０、ＤＲＡ
Ｍ（Dynamic Random Access Memory）１１、フラッシュ
ＲＯＭ（Read ０nly Memory）１２、ＰＣ（Personal Co
mputer）カードインターフェース回路１３及び信号処理
回路１４が内部バス１５を介して相互に接続されること
により形成されたコントロール部１６と、このロボット
装置１の動力源としてのバッテリ１７とが収納されてい
る。また、胴体部ユニット２には、ロボット装置１の向
きや動きの加速度を検出するための角速度センサー１８
及び加速度センサー１９なども収納されている。

【００４８】また、頭部ユニット４には、外部の状況を
撮像するためのＣＣＤ（Charge Coupled Device）カメ
ラ２０と、使用者からの「撫でる」や「叩く」といった
物理的な働きかけにより受けた圧力を検出するためのタ
ッチセンサー２１と、前方に位置する物体までの距離を
測定するための距離センサー２２と、外部音を集音する
ためのマイクロホン２３と、鳴き声等の音声を出力する
ためのスピーカ２４と、ロボット装置１の「目」に相当
するＬＥＤ（Light Emitting Diode）（図示せず）とな
どがそれぞれ所定位置に配置されている。

【００４９】さらに、各脚部ユニット３Ａ〜３Ｄの関節
部分や各脚部ユニット３Ａ〜３Ｄ及び胴体部ユニット２
の各連結部分、頭部ユニット４及び胴体部ユニット２の
連結部分、並びに尻尾部ユニット５の尻尾５Ａの連結部
分などにはそれぞれ自由度数分のアクチュエータ２５_１
〜２５_ｎ及びポテンショメータ２６_１〜２６_ｎが配設さ
れている。例えば、アクチュエータ２５_１〜２５_ｎはサ
ーボモータを構成として有している。サーボモータの駆
動により、脚部ユニット３Ａ〜３Ｄが制御されて、目標
の姿勢或いは動作に遷移する。

【００５０】そして、これら角速度センサー１８、加速
度センサー１９、タッチセンサー２１、距離センサー２
２、マイクロホン２３、スピーカ２４及び各ポテンショ
メータ２６_１〜２６_ｎなどの各種センサー並びにＬＥＤ
及び各アクチュエータ２５_１〜２５_ｎは、それぞれ対応
するハブ２７_１〜２７_ｎを介してコントロール部１６の
信号処理回路１４と接続され、ＣＣＤカメラ２０及びバ
ッテリ１７は、それぞれ信号処理回路１４と直接接続さ
れている。

【００５１】信号処理回路ｌ４は、上述の各センサーか
ら供給されるセンサーデータや画像データ及び音声デー
タを順次取り込み、これらをそれぞれ内部バス１５を介
してＤＲＡＭ１１内の所定位置に順次格納する。また信
号処理回路１４は、これと共にバッテリ１７から供給さ
れるバッテリ残量を表すバッテリ残量データを順次取り
込み、これをＤＲＡＭ１１内の所定位置に格納する。

【００５２】このようにしてＤＲＡＭ１１に格納された
各センサーデータ、画像データ、音声データ及びバッテ
リ残量データは、この後ＣＰＵ１０がこのロボット装置
１の動作制御を行う際に利用される。

【００５３】実際上ＣＰＵ１０は、ロボット装置１の電
源が投入された初期時、胴体部ユニット２の図示しない
ＰＣカードスロットに装填されたメモリカード２８又は
フラッシュＲＯＭ１２に格納された制御プログラムをＰ
Ｃカードインターフェース回路１３を介して又は直接読
み出し、これをＤＲＡＭ１１に格納する。

【００５４】また、ＣＰＵ１０は、この後上述のように
信号処理回路１４よりＤＲＡＭ１１に順次格納される各
センサーデータ、画像データ、音声データ及びバッテリ
残量データに基づいて自己及び周囲の状況や、使用者か
らの指示及び働きかけの有無などを判断する。

【００５５】さらに、ＣＰＵ１０は、この判断結果及び
ＤＲＡＭ１１に格納しだ制御プログラムに基づいて続く
行動を決定すると共に、当該決定結果に基づいて必要な
アクチュエータ２５_１〜２５_ｎを駆動させることによ
り、頭部ユニット４を上下左右に振らせたり、尻尾部ユ
ニット５の尻尾５Ａを動かせたり、各脚部ユニット３Ａ
〜３Ｄを駆動させて歩行させるなどの行動を行わせる。

【００５６】また、この際ＣＰＵ１０は、必要に応じて
音声データを生成し、これを信号処理回路１４を介して
音声信号としてスピーカ２４に与えることにより当該音
声信号に基づく音声を外部に出力させたり、上述のＬＥ
Ｄを点灯、消灯又は点滅させる。

【００５７】このようにしてこのロボット装置１におい
ては、自己及び周囲の状況や、使用者からの指示及び働
きかけに応じて自律的に行動し得るようになされてい
る。

【００５８】（３）制御プログラムのソフトウェア構成 ここで、ロボット装置１における上述の制御プログラム
のソフトウェア構成は、図８に示すようになる。この図
８において、デバイス・ドライバ・レイヤ３０は、この
制御プログラムの最下位層に位置し、複数のデバイス・
ドライバからなるデバイス・ドライバ・セット３１から
構成されている。この場合、各デバイス・ドライバは、
ＣＣＤカメラ２０（図７）やタイマ等の通常のコンピュ
ータで用いられるハードウェアに直接アクセスするごと
を許されたオブジェクトであり、対応するハードウェア
からの割り込みを受けて処理を行う。

【００５９】また、ロボティック・サーバ・オブジェク
ト３２は、デバイス・ドライバ・レイヤ３０の最下位層
に位置し、例えば上述の各種センサーやアクチュエータ
２５ _１〜２５_ｎ等のハードウェアにアクセスするための
インターフェースを提供するソフトウェア群でなるバー
チャル・ロボット３３と、電源の切換えなどを管理する
ソフトウェア群でなるパワーマネージャ３４と、他の種
々のデバイス・ドライバを管理するソフトウェア群でな
るデバイス・ドライバ・マネージャ３５と、ロボット装
置１の機構を管理するソフトウェア群でなるデザインド
・ロボット３６とから構成されている。

【００６０】マネージャ・オブジェクト３７は、オブジ
ェクト・マネージャ３８及びサービス・マネージャ３９
から構成されている。オブジェクト・マネージャ３８
は、ロボティック・サーバ・オブジェクト３２、ミドル
・ウェア・レイヤ４０、及びアプリケーション・レイヤ
４１に含まれる各ソフトウェア群の起動や終了を管理す
るソフトウェア群であり、サービス・マネージャ３９
は、メモリカード２８（図７）に格納されたコネクショ
ンファイルに記述されている各オブジェクト間の接続情
報に基づいて各オブジェクトの接続を管理するソフトウ
ェア群である。

【００６１】ミドル・ウェア・レイヤ４０は、ロボティ
ック・サーバ・オブジェクト３２の上位層に位置し、画
像処理や音声処理などのこのロボット装置１の基本的な
機能を提供するソフトウェア群から構成されている。ま
た、アプリケーション・レイヤ４１は、ミドル・ウェア
・レイヤ４０の上位層に位置し、当該ミドル・ウェア・
レイヤ４０を構成する各ソフトウェア群によって処理さ
れた処理結果に基づいてロボット装置１の行動を決定す
るためのソフトウェア群から構成されている。

【００６２】なお、ミドル・ウェア・レイヤ４０及びア
プリケーション・レイヤ４１の具体なソフトウェア構成
をそれぞれ図９に示す。

【００６３】ミドル・ウェア・レイヤ４０は、図９に示
すように、騒音検出用、温度検出用、明るさ検出用、音
階認識用、距離検出用、姿勢検出用、タッチセンサー
用、動き検出用及び色認識用の各信号処理モジュール５
０〜５８並びに入力セマンティクスコンバータモジュー
ル５９などを有する認識系６０と、出力セマンティクス
コンバータモジュール６８並びに姿勢管理用、トラッキ
ング用、モーション再生用、歩行用、転倒復帰用、ＬＥ
Ｄ点灯用及び音再生用の各信号処理モジュール６１〜６
７などを有する出力系６９とから構成されている。

【００６４】認識系６０の各信号処理モジュール５０〜
５８は、ロボティック・サーバ・オブジェクト３２のバ
ーチャル・ロボット３３によりＤＲＡＭ１１（図７）か
ら読み出される各センサーデータや画像データ及び音声
データのうちの対応するデータを取り込み、当該データ
に基づいて所定の処理を施して、処理結果を入力セマン
ティクスコンバータモジュール５９に与える。ここで、
例えば、バーチャル・ロボット３３は、所定の通信規約
によって、信号の授受或いは変換をする部分として構成
されている。

【００６５】入力セマンティクスコンバータモジュール
５９は、これら各信号処理モジュール５０〜５８から与
えられる処理結果に基づいて、「うるさい」、「暑
い」、「明るい」、「ボールを検出した」、「転倒を検
出した」、「撫でられた」、「叩かれた」、「ドミソの
音階が聞こえた」、「動く物体を検出した」又は「障害
物を検出した」などの自己及び周囲の状況や、使用者か
らの指令及び働きかけを認識し、認識結果をアプリケー
ション・レイヤ４１（図７）に出力する。

【００６６】アプリケーション・レイヤ４ｌは、図１０
に示すように、行動モデルライブラリ７０、行動切換え
モジュール７１、学習モジュール７２、感情モデル７３
及び本能モデル７４の５つのモジュールから構成されて
いる。

【００６７】行動モデルライブラリ７０には、図１１に
示すように、「バッテリ残量が少なくなった場合」、
「転倒復帰する」、「障害物を回避する場合」、「感情
を表現する場合」、「ボールを検出した場合」などの予
め選択されたいくつかの条件項目にそれぞれ対応させ
て、それぞれ独立した行動モデル７０_１〜７０_ｎが設け
られている。

【００６８】そして、これら行動モデル７０_１〜７０_ｎ
は、それぞれ入力セマンティクスコンバータモジュール
５９から認識結果が与えられたときや、最後の認識結果
が与えられてから一定時間が経過したときなどに、必要
に応じて後述のように感情モデル７３に保持されている
対応する情動のパラメータ値や、本能モデル７４に保持
されている対応する欲求のパラメータ値を参照しながら
続く行動をそれぞれ決定し、決定結果を行動切換えモジ
ュール７１に出力する。

【００６９】なお、この実施の形態の場合、各行動モデ
ル７０_１〜７０_ｎは、次の行動を決定する手法として、
図１２に示すような１つのノード（状態）ＮＯＤＥ_０〜
ＮＯＤＥ_ｎから他のどのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎ
に遷移するかを各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに間を
接続するアークＡＲＣ_１〜ＡＲＣ_ｎ１に対してそれぞれ
設定された遷移確率Ｐ_１〜Ｐ_ｎに基づいて確率的に決定
する有限確率オートマトンと呼ばれるアルゴリズムを用
いる。

【００７０】具体的に、各行動モデル７０_１〜７０
_ｎは、それぞれ自己の行動モデル７０_１〜７０_ｎを形成
するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎにそれぞれ対応させ
て、これらノードＮＯＤＥ_０〜ＮＯＤＥ_ｎごとに図１３
に示すような状態遷移表８０を有している。

【００７１】この状態遷移表８０では、そのノードＮＯ
ＤＥ_０〜ＮＯＤＥ_ｎにおいて遷移条件とする入力イベン
ト（認識結果）が「入力イベント名」の行に優先順に列
記され、その遷移条件についてのさらなる条件が「デー
タ名」及び「データ範囲」の行における対応する列に記
述されている。

【００７２】したがって、図１３の状態遷移表８０で表
されるノードＮＯＤＥ_１００では、「ボールを検出（Ｂ
ＡＬＬ）」という認識結果が与えられた場合に、当該認
識結果と共に与えられるそのボールの「大きさ（ＳＩＺ
Ｅ）」が「0から1000」の範囲であることや、「障害物
を検出（ＯＢＳＴＡＣＬＥ）」という認識結果が与えら
れた場合に、当該認識結果と共に与えられるその障害物
までの「距離（ＤＩＳＴＡＮＣＥ）」が「0から100」の
範囲であることが他のノードに遷移するための条件とな
っている。

【００７３】また、このノードＮＯＤＥ_１００では、認
識結果の入力がない場合においても、行動モデル７０_１
〜７０_ｎが周期的に参照する感情モデル７３及び本能モ
デル７４にそれぞれ保持された各情動及び各欲求のパラ
メータ値のうち、感情モデル７３に保持された「喜び
（ＪＯＹ）」、「驚き（ＳＵＲＰＲＩＳＥ）」若しくは
「悲しみ（ＳＵＤＮＥＳＳ）」のいずれかのパラメータ
値が「50から100」の範囲であるときには他のノードに
遷移することができるようになっている。

【００７４】また、状態遷移表８０では、「他のノード
ヘの遷移確率」の欄における「遷移先ノード」の列にそ
のノードＮＯＤＥ_０〜 ＮＯＤＥ_ｎから遷移できるノー
ド名が列記されていると共に、「入力イベント名」、
「データ値」及び「データの範囲」の行に記述された全
ての条件が揃ったときに遷移できる他の各ノードＮＯＤ
Ｅ_０〜ＮＯＤＥ_ｎへの遷移確率が「他のノードヘの遷移
確率」の欄内の対応する箇所にそれぞれ記述され、その
ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移する際に出力すべ
き行動が「他のノードヘの遷移確率」の欄における「出
力行動」の行に記述されている。なお、「他のノードヘ
の遷移確率」の欄における各行の確率の和は１００
［％］となっている。

【００７５】したがって、図１３の状態遷移表８０で表
されるノードＮＯＤＥ_１００では、例えば「ボールを検
出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大き
さ）」が「0から1000」の範囲であるという認識結果が
与えられた場合には、「30［％］」の確率で「ノードＮ
ＯＤＥ_１２０（node 120）」に遷移でき、そのとき「Ａ
ＣＴＩＯＮ１」の行動が出力されることとなる。

【００７６】各行動モデル７０_１〜７０_ｎは、それぞれ
このような状態遷移表８０として記述されたノードＮＯ
ＤＥ_０〜 ＮＯＤＥ_ｎがいくつも繋がるようにして構成
されており、入力セマンティクスコンバータモジュール
５９から認識結果が与えられたときなどに、対応するノ
ードＮＯＤＥ_０〜ＮＯＤＥ_ｎの状態遷移表を利用して確
率的に次の行動を決定し、決定結果を行動切換えモジュ
ール７１に出力するようになされている。

【００７７】図１０に示す行動切換えモジュール７１
は、行動モデルライブラリ７０の各行動モデル７０_１〜
７０_ｎからそれぞれ出力される行動のうち、予め定めら
れた優先順位の高い行動モデル７０_１〜７０_ｎから出力
された行動を選択し、当該行動を実行すべき旨のコマン
ド（以下、これを行動コマンドという。）をミドル・ウ
ェア・レイヤ４０の出力セマンティクスコンバータモジ
ュール６８に送出する。なお、この実施の形態において
は、図１１において下側に表記された行動モデル７０_１
〜７０_ｎほど優先順位が高く設定されている。

【００７８】また、行動切換えモジュール７１は、行動
完了後に出力セマンティクスコンバータモジュール６８
から与えられる行動完了情報に基づいて、その行動が完
了したことを学習モジュール７２、感情モデル７３及び
本能モデル７４に通知する。

【００７９】一方、学習モジュール７２は、入力セマン
ティクスコンバータモジュール５９から与えられる認識
結果のうち、「叩かれた」や「撫でられた」など、使用
者からの働きかけとして受けた教示の認識結果を入力す
る。

【００８０】そして、学習モジュール７２は、この認識
結果及び行動切換えモジュール７１からの通知に基づい
て、「叩かれた（叱られた）」ときにはその行動の発現
確率を低下させ、「撫でられた（褒められた）」ときに
はその行動の発現確率を上昇させるように、行動モデル
ライブラリ７０における対応する行動モデル７０_１〜７
０_ｎの対応する遷移確率を変更する。

【００８１】他方、感情モデル７３は、「喜び（jo
y）」、「悲しみ（sadness）」、「怒り（anger）」、
「驚き（surprise）」、「嫌悪（disgust）」及び「恐
れ（fear）」の合計６つの情動について、各情動ごとに
その情動の強さを表すパラメータを保持している。そし
て、感情モデル７３は、これら各情動のパラメータ値
を、それぞれ入力セマンティクスコンバータモジュール
５９から与えられる「叩かれた」及び「撫でられた」な
どの特定の認識結果と、経過時間及び行動切換えモジュ
ール７１からの通知となどに基づいて周期的に更新す
る。

【００８２】具体的には、感情モデル７３は、入力セマ
ンティクスコンバータモジュール５９から与えられる認
識結果と、そのときのロボット装置１の行動と、前回更
新してからの経過時間となどに基づいて所定の演算式に
より算出されるそのときのその情動の変動量を△Ｅ
［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、そ
の情動の感度を表す係数をｋ_ｅとして、（１）式によっ
て次の周期におけるその情動のパラメータ値Ｅ［ｔ＋
１］を算出し、これを現在のその情動のパラメータ値Ｅ
［ｔ］と置き換えるようにしてその情動のパラメータ値
を更新する。また、感情モデル７３は、これと同様にし
て全ての情動のパラメータ値を更新する。

【００８３】

【数１】

【００８４】なお、各認識結果や出力セマンティクスコ
ンバータモジュール６８からの通知が各情動のパラメー
タ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかは
予め決められており、例えば「叩かれた」といった認識
結果は「怒り」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与え、「撫でられた」といった認
識結果は「喜び」の情動のパラメータ値の変動量△Ｅ
［ｔ］に大きな影響を与えるようになっている。

【００８５】ここで、出力セマンティクスコンバータモ
ジュール６８からの通知とは、いわゆる行動のフィード
バック情報（行動完了情報）であり、行動の出現結果の
情報であり、感情モデル７３は、このような情報によっ
ても感情を変化させる。これは、例えば、「吠える」と
いった行動により怒りの感情レベルが下がるといったよ
うなことである。なお、出力セマンティクスコンバータ
モジュール６８からの通知は、上述した学習モジュール
７２にも入力されており、学習モジュール７２は、その
通知に基づいて行動モデル７０_１〜７０_ｎの対応する遷
移確率を変更する。

【００８６】なお、行動結果のフィードバックは、行動
切換えモジュレータ７１の出力（感情が付加された行
動）によりなされるものであってもよい。

【００８７】一方、本能モデル７４は、「運動欲（exer
cise）」、「愛情欲（affection）」、「食欲（appetit
e）」及び「好奇心（curiosity）」の互いに独立した４
つの欲求について、これら欲求ごとにその欲求の強さを
表すパラメータを保持している。そして、本能モデル７
４は、これらの欲求のパラメータ値を、それぞれ入力セ
マンティクスコンバータモジュール５９から与えられる
認識結果や、経過時間及び行動切換えモジュール７１か
らの通知などに基づいて周期的に更新する。

【００８８】具体的には、本能モデル７４は、「運動
欲」、「愛情欲」及び「好奇心」については、認識結
果、経過時間及び出力セマンティクスコンバータモジュ
ール６８からの通知などに基づいて所定の演算式により
算出されるそのときのその欲求の変動量をΔＩ［ｋ］、
現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の
感度を表す係数ｋ_ｉとして、所定周期で（２）式を用い
て次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋
１］を算出し、この演算結果を現在のその欲求のパラメ
ータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラ
メータ値を更新する。また、本能モデル７４は、これと
同様にして「食欲」を除く各欲求のパラメータ値を更新
する。

【００８９】

【数２】

【００９０】なお、認識結果及び出力セマンティクスコ
ンバータモジュール６８からの通知などが各欲求のパラ
メータ値の変動量△Ｉ［ｋ］にどの程度の影響を与える
かは予め決められており、例えば出力セマンティクスコ
ンバータモジュール６８からの通知は、「疲れ」のパラ
メータ値の変動量△Ｉ［ｋ］に大きな影響を与えるよう
になっている。

【００９１】なお、本実施の形態においては、各情動及
び各欲求（本能）のパラメータ値がそれぞれ0から100ま
での範囲で変動するように規制されており、また係数ｋ
_ｅ、ｋ_ｉの値も各情動及び各欲求ごとに個別に設定され
ている。

【００９２】一方、ミドル・ウェア・レイヤ４０の出力
セマンティクスコンバータモジュール６８は、図９に示
すように、上述のようにしてアプリケーション・レイヤ
４１の行動切換えモジュール７１から与えられる「前
進」、「喜ぶ」、「鳴く」又は「トラッキング（ボール
を追いかける）」といった抽象的な行動コマンドを出力
系６９の対応する信号処理モジュール６１〜６７に与え
る。

【００９３】そしてこれら信号処理モジュール６１〜６
７は、行動コマンドが与えられると当該行動コマンドに
基づいて、その行動を行うために対応するアクチュエー
タ２５_１〜２５_ｎ（図７）に与えるべきサーボ指令値
や、スピーカ２４（図７）から出力する音の音声データ
及び又は「目」のＬＥＤに与える駆動データを生成し、
これらのデータをロボティック・サーバ・オブジェクト
３２のバーチャル・ロボット３３及び信号処理回路１４
（図７）を順次介して対応するアクチュエータ２５_１〜
２５_ｎ又はスピーカ２４又はＬＥＤに順次送出する。

【００９４】このようにしてロボット装置１において
は、制御プログラムに基づいて、自己（内部）及び周囲
（外部）の状況や、使用者からの指示及び働きかけに応
じた自律的な行動を行うことができるようになされてい
る。

【００９５】そして、ロボット装置１は、上述したよう
に、専用のセンサーを何ら必要とせずに、制御信号によ
って外力の情報を検出することができ、例えば、その検
出した外力を利用することによって、他の姿勢に遷移し
たり、感情等の内部状態を変化させることができる。

【００９６】なお、上述の実施の形態では、本発明を、
ロボット装置１自体に適用した場合について説明した
が、これに限定されるものではない。例えば、上述した
ような処理をロボット装置１に実行させるプログラムや
そのようなプログラムが記録された記録媒体に適用する
こともできる。この場合、例えば、記録媒体からプログ
ラムをロボット装置１に取り込むことにより、ロボット
装置１は、プログラムの実行により、上述したよう行動
制御をすることができるようになる。

【００９７】また、ロボット装置１は、他の学習手法に
よる学習システムを有することもできる。ロボット装置
１は具体的には、他の学習システムとして、図３に示し
たＲＮＮ１０３の逆変換として位置付けられる、いわゆ
るインバースＲＮＮ（或いはＲＮＮ^−１）を用いた学習
システムを有している。このインバースＲＮＮにより、
ＲＮＮの学習結果に基づいて予測することができる。

【００９８】例えば、インバースＲＮＮは、図３に示し
たＲＮＮ１０３に対応して図示すると、図１４に示すよ
うになり、入力層１０３_１、隠れ層（或いは中間層）１
０３ _２及び出力層１０３_３によって構成されている。以
下に、このようなインバースＲＮＮ１０３による処理に
ついて、上述の図３に示したＲＮＮ１０３の処理を含め
て説明する。例えば、ＲＮＮで考えた場合に、入力され
る値はセンサーの状態を示すセンサー出力とモータの状
態を示すモータ出力になり、それに対応した出力値は、
予測値（以下、センサー予測値という。）になる場合を
例として説明する。

【００９９】ＲＮＮ１０３には、入力層１０３_１に、セ
ンサー出力Ｓ_ｔとアクションのデータＡ_ｔとが入力さ
れ、出力層１０３_３は、この入力に対応するセンサーの
状態に対する出力Ｓ_ｔ＋１とアクションに対する出力Ａ
_ｔ＋１とをする。そして、ＲＮＮ１０３では、その出力
の一部が、コンテキスト（context）Ｃ_ｔとして、入力
層１０３_１にフィードバックされる。また、ＲＮＮ１０
３では、例えば、出力されたセンサー予測値Ｓ_ｔ＋１と
実際に次時刻で計測されたセンサーの値Ｓ_ｔ＋１の誤差
に基づいてバックプロパゲーション法により実行され
る。ＲＮＮ１０３では、このような入力層１０３_１への
情報の入力により、学習結果として、各層における重み
係数が決定される。

【０１００】一方、インバースＲＮＮ１０３では、その
ようなＲＮＮ１０３の逆変換として、学習結果に基づい
て予測値を得ることができる。具体的には、インバース
ＲＮＮ１０３は、図１４に示すように、時刻ｎのセンサ
ー予測出力Ｓ_ｎとコンテキストＣ_ｎが与えられる。これ
により、インバースＲＮＮ１０３は、時刻ｎ−１のセン
サー入力とアクションの状態入力とコンテキストＣ
_ｎ−１とを出力するようになる。そして、インバースＲ
ＮＮ１０３では、上述のＲＮＮ１０３と同様にバックプ
ロパゲーション法により、フォワードダイナミクスへの
入力と、出力結果との誤差を使用した処理を行う。

【０１０１】インバースＲＮＮ１０３は、以上のような
処理結果として、センサー入力とコンテキストとを順次
入力にフォードバックすることで、時間をさかのぼって
モータの状態の順を予測値として出力する。そして、最
終的には、時刻ｎのセンサー出力Ｓ_ｎを得るためのアク
ションの時系列Ａ_１，Ａ_２，・・・，Ａ_ｎ−１を得るこ
とができるようになる。

【０１０２】このようなインバースＲＮＮ１０３によ
り、ロボット装置１は、学習後において、予め得ている
学習結果に基づいてそれが予め教示された動作になるで
あろうことを予測して、動作を自律動作として出現させ
ることができるようになる。

【０１０３】これにより、ロボット装置１は、ＲＮＮ１
０３によりセンサー情報から教示された動作を学習し
て、学習後においては、入力されたセンサー情報から次
の時間での出力すべきアクションを予測することで、学
習した姿勢とされる希望の姿勢（起想した姿勢）に自律
的に遷移することができるようになる。

【０１０４】なお、この例では、センサーの状態ととも
に入力するデータがアクションについてのデータとして
いるが、具体的には、アクションについてのデータをモ
ータのデータとすることができる。例えば、この場合、
学習時には、ＲＮＮには、時系列のセンサーの状態を示
す時系列Ｓ_１，Ｓ_２，・・・，Ｓ_ｎ−１とともに、モー
タの時系列ｍ_１，ｍ_２，・・・，ｍ_ｎ−１が入力される
ようになる。

【０１０５】以上のようなＲＮＮ及びＲＮＮインバース
は、具体的には、図１５に示すＲＮＮモジュール１１２
として構成されている。

【０１０６】このロボット装置１は、図１５に示すよう
に、上述のバーチャルロボット３３、並びに姿勢管理用
トラッキングモジュールモジュール用、モーション再生
用、転倒復帰用及び歩行用の信号処理モジュール６１〜
６４の他に、行動計画モジュール１１１、ＲＮＮモジュ
ール１１２及び特徴量抽出モジュール１１３を備えてい
る。例えば、このような各構成部分は、制御プログラム
として構成されている。具体的には、上述の図８に示し
たミドル・ウェア・レイヤ４０を構成しており、上述し
たように姿勢管理用トラッキングモジュールモジュール
用、モーション再生用、転倒復帰用及び歩行用の各信号
処理モジュール６１〜６４については、出力系６９にお
いて構成されており、特徴量抽出モジュール１１３につ
いては、認識系６０において構成されている。

【０１０７】図１５のように示される構成において、ロ
ボット装置１において検出された各種センサー情報は、
特徴量抽出モジュール１１３に入力される。

【０１０８】特徴量抽出モジュール１１３では、各種セ
ンサー情報を処理して、センサー情報から特徴量を抽出
し、センサー特徴量を得る。そして、特徴量抽出モジュ
ール１１３は、センサー特徴量を、ＲＮＮモジュール１
１２に出力する。

【０１０９】ＲＮＮモジュール１１２は、情報の学習
と、その学習結果を利用した情報の予測を行う機能を有
している。例えば、ＲＮＮモジュール１１２は、図１６
に示すように構成されている。また、例えば、このＲＮ
Ｎモジュール１１２は、図１０に示した学習モジュール
７２として制御プログラムによって構成されている。

【０１１０】このようなＲＮＮモジュール１１２には、
センサー情報が入力として与えられると同時に、行動計
画モジュール１１１から出力されるコマンドＡ_ｔも入力
として与えられる。ＲＮＮモジュール１１２では、入力
されるセンサー特徴量とコマンドとを使用して、ＲＮＮ
としてのフォワードモデル１１２_１とインバースＲＮＮ
としてのインバースモデル１１２_２とによる学習を行
う。

【０１１１】学習の際には、ＲＮＮモジュール１１２
は、フォワードモデル１１２_１により、入力されてくる
センサー情報Ｓ_ｔ等から次時刻のセンサー情報（センサ
ー予測値）Ｓ_ｔ＋１及びコンテキストＣ_ｔ＋１を得る。
ＲＮＮモジュール１１２において得られた次時刻のセン
サー情報Ｓ_ｔ＋１及びコンテキストＣ_ｔ＋１は、行動計
画モジュール１１１において記憶される。例えば、行動
計画モジュール１１１は、必要に応じて内部状態に関連
付けて記憶する。例えば、内部状態とは、感情等であ
る。

【０１１２】行動計画モジュール１１１は、ロボット装
置１の行動の計画を決定する部分である。行動計画モジ
ュール１１１は、例えば、図１０に示した行動モデルラ
イブラリ７０として構成されている。学習（学習フェイ
ズ）の際（すなわち、未だ完全に学習されていない場
合）には、行動計画モジュール１１１は、上述したよう
な行動モデルライブラリ７０の行動モデル７０_１〜７０
_ｎのうちの一の所望の行動モデルに基づいてロボット装
置１の行動を決定するようにしている。行動計画モジュ
ール１１１は、図１５に示すように、行動計画に応じた
行動情報Ａ_ｔを、姿勢管理モジュール６１に出力してい
る。そして、姿勢管理モジュール６１以降の処理によ
り、そのような行動情報Ａ_ｔに基づいて動作の制御がな
されるようになる。

【０１１３】また、行動計画モジュール１１１は、ＲＮ
Ｎモジュール１１２の学習が進んだ状態（すなわち、あ
る程度学習をした後）で、行動計画モジュール１１１の
内部にて記憶されたセンサー情報とコンテキストを起想
させる必要が起こったときに、起想させたいセンサー情
報ＳとコンテキストＣとを取り出し、それをインバース
ＲＮＮとされるフォワードモデル１１２_２の入力として
ＲＮＮモジュール１１２に与える。

【０１１４】ＲＮＮモジュール１１２では、この入力か
ら、インバースＲＮＮにより、実現する（想起する）ア
クションの時系列Ａ_１，Ａ_２，・・・，Ａ_ｎを順次計算
し、姿勢管理モジュール６１に対して送信する。これに
より、行動計画モジュール１１１の期待する入力が得ら
れるようにロボット装置１の行動が実行されるするよう
になる。

【０１１５】以上のように、ロボット装置１によれば、
ユーザが直接ロボット装置１に対して力を加えること
で、ユーザとロボット装置１との間で直感的なインター
フェースを形成することができ、しかも、繰り返して同
じ操作を教えることによって、後に、ロボット装置１自
身が採るべき動作を予測し、最後まで操作しなくても自
律的に動作するようになる。

【０１１６】

【発明の効果】本発明に係るロボット装置は、評価値が
増加するように、行動をさせる行動制御手段を備えてお
り、評価値が、基準位置に近いほど増加するようになさ
れている。これにより、ロボット装置は、評価値が増加
するように行動することによって、結果的として基準位
置に戻る行動をするようになる。このようなロボット装
置は、例えば、行動範囲を広げる行動をより現実的に実
行することができるようになる。

【０１１７】また、本発明に係るロボット装置の行動制
御方法は、基準位置に近いほど増加する評価値に基づい
てロボット装置の行動を制御し、評価値が増加するよう
に、ロボット装置の行動制御をすることにより、このよ
うなロボット装置の行動制御方法によって制御されるロ
ボット装置は、評価値が増加するように行動することに
よって、結果的として基準位置に戻る行動をするように
なる。このようなロボット装置は、例えば、行動範囲を
広げる行動をより現実的に実行することができるように
なる。

【０１１８】また、本発明に係るプログラムは、基準位
置に近いほど増加する評価値に基づいてロボット装置の
行動を制御し、評価値が増加するように、ロボット装置
の行動制御を実行するものであり、このようなプログラ
ムに基づいて行動制御を実行するロボット装置は、評価
値が増加するように行動することによって、結果的とし
て基準位置に戻る行動をするようになる。このようなロ
ボット装置は、例えば、行動範囲を広げる行動をより現
実的に実行することができるようになる。

【０１１９】また、本発明に係る記録媒体は、基準位置
に近いほど増加する評価値に基づいてロボット装置の行
動を制御し、評価値が増加するように、ロボット装置の
行動制御を実行するプログラムが記録されるものであ
り、このような記録媒体に記録されたプログラムに基づ
いて行動制御を実行するロボット装置は、評価値が増加
するように行動することによって、結果的として基準位
置に戻る行動をするようになる。このようなロボット装
置は、例えば、行動範囲を広げる行動をより現実的に実
行することができるようになる。

【図面の簡単な説明】

【図１】本発明の実施の形態であるロボット装置の外観
構成を示す斜視図である。

【図２】上述のロボット装置による行動範囲を広げる行
動を説明するために使用した図である。

【図３】ロボット装置が備える学習システムとされるＲ
ＮＮの構成を示す図である。

【図４】行動に関連して報酬についても学習をするＲＮ
Ｎの構成を示す図である。

【図５】行動選択をする具体的な構成を示すブロック図
である。

【図６】ホーミング・リワードについても学習するＲＮ
Ｎの構成を示す図である。

【図７】上述のロボット装置の回路構成を示すブロック
図である。

【図８】上述のロボット装置のソフトウェア構成を示す
ブロック図である。

【図９】上述のロボット装置のソフトウェア構成におけ
るミドル・ウェア・レイヤの構成を示すブロック図であ
る。

【図１０】上述のロボット装置のソフトウェア構成にお
けるアプリケーション・レイヤの構成を示すブロック図
である。

【図１１】上述のアプリケーション・レイヤの行動モデ
ルライブラリの構成を示すブロック図である。

【図１２】ロボット装置の行動決定のための情報となる
有限確率オートマトンを説明するために使用した図であ
る。

【図１３】有限確率オートマトンの各ノードに用意され
た状態遷移表を示す図である。

【図１４】インバースＲＮＮの構成を示す図である。

【図１５】ＲＮＮモジュールを取り得れた構成を示す図
である。

【図１６】ＲＮＮとインバースＲＮＮとによって構成さ
れるＲＮＮモジュールの構成を示す図である。

【符号の説明】

１ ロボット装置、１０３ ＲＮＮ（インバースＲＮ
Ｎ）

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 3C007 AS36 BS09 CX01 CY02 ES09 HS04 HS27 JS07 KS12 KS16 KS19 KS20 KS36 KS38 KS39 KT02 KT11 KV01 KV06 KV18 LS15 LV05 LV14 LW03 LW12 LW15 MS07 MS09 MS27 MT14 WA04 WA14 WA28 WB01 WB09 WB14 WB15 WB16 WB26 WC13 WC30

Claims (16)

【特許請求の範囲】
1. 【請求項１】 評価値が増加するように、行動をさせる
   行動制御手段を備え、 上記評価値が、基準位置に近いほど増加すること を特徴とするロボット装置。
2. 【請求項２】 上記基準位置から近い環境に移動するに
   従って評価値を増加させる評価値生成手段を備え、 上記行動制御手段は、上記評価値生成手段が生成する評
   価値に基づいて行動をさせることを特徴とする請求項１
   記載のロボット装置。
3. 【請求項３】 外部環境を検出する検出手段と、 上記検出手段が検出した実外部環境情報を学習して、上
   記検出手段が検出する実外部環境情報と、学習結果に基
   づいて得た予測外部環境情報との差が小になるほど大き
   い評価値を出力する学習手段とを備え、 上記行動制御手段は、上記学習手段が出力する上記評価
   値に基づいて行動をさせることを特徴とする請求項１記
   載のロボット装置。
4. 【請求項４】 上記検出手段は、上記外部環境情報に応
   じたセンサー値を出力し、 上記学習手段は、上記検出手段が検出した実センサー値
   を学習して、上記検出手段が検出する実センサー値が入
   力されて、それに対応して学習結果に基づいて得た予測
   センサー値を出力し、上記実センサー値と上記予測セン
   サー値との差が小になるほど大きい評価値を出力するこ
   とを特徴とする請求項３記載のロボット装置。
5. 【請求項５】 実行される行動を規定する行動計画デー
   タが複数記憶された記憶手段と、上記評価値が最大にな
   る一の行動計画データを選択する行動計画選択手段とを
   備えており、 上記学習手段は、上記行動計画データに基づいて行動す
   ると仮定した場合に上記検出手段から得られるであろう
   実外部環境情報と、学習結果に基づいて得た予測外部環
   境情報との差が小になるほど大きい評価値を出力し、 上記行動計画選択手段は、上記学習手段が出力する上記
   評価値に基づいて一の行動計画データを選択し、 上記行動制御手段は、上記行動計画選択手段が選択した
   行動計画データに基づいて行動をさせることを特徴とす
   る請求項３記載のロボット装置。
6. 【請求項６】 上記学習手段は、上記検出手段が検出し
   た実外部環境情報が、入力層、隠れ層及び出力層に向か
   って入力されるニューラルネットワークにより学習をす
   ることを特徴とする請求項４記載のロボット装置。
7. 【請求項７】 上記ニューラルネットワークが、上記出
   力層から上記入力層に向かってフィードバックするルー
   プを有するリカレントニューラルネットワークであるこ
   とを特徴とする請求項６記載のロボット装置。
8. 【請求項８】 上記基準位置から離れるほど大きくなる
   第２の評価値があり、 上記行動制御手段は、上記第２の評価値が大きくなるよ
   うに、自律的な行動をさせてもいることを特徴とする請
   求項１記載のロボット装置。
9. 【請求項９】 基準位置に近いほど大きくなる上記評価
   値と、上記第２の評価値とを比較した比較結果に基づい
   て行動をさせることを特徴とする請求項８記載のロボッ
   ト装置。
10. 【請求項１０】 上記基準位置が、行動範囲を広げるた
    めの基点であることを特徴とする請求項１記載のロボッ
    ト装置。
11. 【請求項１１】 基準位置に近いほど増加する評価値に
    基づいてロボット装置の行動を制御し、上記評価値が増
    加するように、ロボット装置の行動制御をすることを特
    徴とするロボット装置の行動制御方法。
12. 【請求項１２】 上記基準位置から近い環境にロボット
    装置が移動するに従って評価値を増加させる評価値生成
    工程を有し、 上記評価値生成工程にて生成される評価値に基づいてロ
    ボット装置の行動制御をすることを特徴とする請求項１
    １記載のロボット装置の行動制御方法。
13. 【請求項１３】 基準位置に近いほど増加する評価値に
    基づいてロボット装置の行動を制御し、上記評価値が増
    加するように、ロボット装置の行動制御を実行すること
    を特徴とするプログラム。
14. 【請求項１４】 上記基準位置から近い環境にロボット
    装置が移動するに従って評価値を増加させる評価値生成
    工程を有し、 上記評価値生成工程にて生成される評価値に基づいてロ
    ボット装置の行動制御を実行することを特徴とする請求
    項１３記載のプログラム。
15. 【請求項１５】 基準位置に近いほど増加する評価値に
    基づいてロボット装置の行動を制御し、上記評価値が増
    加するように、ロボット装置の行動制御を実行するプロ
    グラムが記録されることを特徴とする記録媒体。
16. 【請求項１６】 上記基準位置から近い環境にロボット
    装置が移動するに従って評価値を増加させる評価値生成
    工程を有し、 上記評価値生成工程にて生成される評価値に基づいてロ
    ボット装置の行動制御を実行するプログラムが記録され
    ることを特徴とする請求項１５記載の記録媒体。