JP2003340759A

JP2003340759A - ロボット装置およびロボット制御方法、記録媒体、並びにプログラム

Info

Publication number: JP2003340759A
Application number: JP2002145334A
Authority: JP
Inventors: Tsutomu Sawada; 務澤田; Masahiro Fujita; 雅博藤田; Osamu Hanagata; 理花形; Takeshi Takagi; 剛高木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-05-20
Filing date: 2002-05-20
Publication date: 2003-12-02
Also published as: EP1508409A1; US20040210347A1; WO2003097308A1

Abstract

(57)【要約】【課題】ロボットに、ユーザを飽きさせないように行
動させることができるようにする。【解決手段】行動管理部７２は、行動選択確率に基づ
いて、探索的行動と知識利用的行動を選択する。行動管
理部７２が、選択した行動ａを実行すると、環境・ユー
ザ１１１から報酬ｒが与えられる。行動管理部７２は、
報酬ｒに基づき、行動価値を更新し、その行動価値を、
ボルツマン分布に適用して、行動選択確率を決定する。
また、行動管理部７２は、ボルツマ温度を入力情報に基
づいて変化させる。本発明は、ロボットの強化学習シス
テムに適用できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ロボット装置およ
びロボット制御方法、記録媒体、並びにプログラムに関
し、特に、ロボットに、人間と同じように、かつ、ユー
ザを飽きさせないように、行動させることができるよう
にしたロボット装置およびロボット制御方法、記録媒
体、並びにプログラムに関する。

【０００２】

【従来の技術】生命体を模擬するロボット装置とインタ
ラクションする場合、ユーザは、ロボット装置に対して
「人と同じような」振る舞いを期待している。

【０００３】ロボット装置にこのような行動を実行させ
るには、ロボット装置に行動獲得のための強化学習を行
わせればよい。ロボット装置は、行動価値から算出され
る行動選択確率に基づいて、行動を選択する。選択する
行動としては、探査を主とした行動（以下、探査的行動
と称する）と知識利用を主とした行動（以下、知識利用
的行動と称する）がある。探査的行動が選択されると、
ロボット装置は今までと異なる新たな行動をとるように
なる。これに対して、知識的行動が選択されると、ロボ
ット装置は、一般的に期待される通りの行動をとる。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の強化学習では、行動選択確率は、ロボット装
置の外部状態や内部状態によらず一定であった。

【０００５】したがって、ロボット装置に、人と同じよ
うに、かつ、ユーザを飽きさせないように、振る舞わせ
ることは困難であった。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、ロボット装置に、人と同じように行動させ
つつ、ユーザを飽きさせないように行動させることがで
きるようにすることを目的とする。

【０００７】

【課題を解決するための手段】本発明のロボット装置
は、探査的行動と知識利用的行動の選択を動的に変更す
る行動管理手段を備えることを特徴とする。

【０００８】行動管理手段は、行動選択確率に基づい
て、探査的行動と知識利用的行動を選択することができ
る。

【０００９】行動選択確率は、ボルツマン温度によって
決定されることができる。

【００１０】ボルツマン温度は、入力情報に応じて変化
されることができる。

【００１１】時刻を計測する計測手段をさらに備え、ボ
ルツマン温度は、時刻に応じて変化されることができ
る。

【００１２】本発明のロボット制御方法は、探査的行動
と知識利用的行動の選択を動的に変更する行動管理ステ
ップを含むことを特徴とする。

【００１３】本発明の記録媒体のプログラムは、探査的
行動と知識利用的行動の選択を動的に変更する行動管理
ステップを含むことを特徴とする。

【００１４】本発明のプログラムは、探査的行動と知識
利用的行動の選択を動的に変更する行動管理ステップを
コンピュータに実行させることを特徴とする。

【００１５】本発明のロボット装置およびロボット制御
方法、記録媒体、並びにプログラムにおいては、入力情
報に基づいて、探査的行動と知識利用的行動の選択が動
的に変化される。

【００１６】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。図１は、本発明を適用し
たペットロボット１の例を示す斜視図である。

【００１７】例えば、ペットロボット１は、４本足の小
熊形状のものとされており、胴体部ユニット２の前後左
右に、それぞれ脚部ユニット３Ａ、３Ｂ、３Ｃ、３Ｄが
連結されるとともに、胴体部ユニット２の前端部と後端
部に、それぞれ頭部ユニット４と尻尾部ユニット５が連
結されている。

【００１８】図２は、図１のペットロボット１の内部構
成の例を示すブロック図である。胴体部ユニット２に
は、ペットロボット１の全体を制御するコントローラ１
０、ペットロボット１の各部に電力を供給するバッテリ
１１、並びにバッテリセンサ１２、および熱センサ１３
からなる内部センサ１４が格納されている。このコント
ローラ１０には、CPU(Central Processing Unit)１０
Ａ、CPU１０Ａが各部を制御するためのプログラムが記
憶されているメモリ１０Ｂ、および計時動作を行い、現
在の日時、起動後の経過時間等を計測する時計１０Ｃが
設けられている。

【００１９】また、CPU１０Ａには、インタネットに代
表されるネットワークを介してデータを通信する通信部
６３、プログラムなどの各種データを格納する半導体メ
モリなどよりなる記憶部６２が接続されている。さら
に、リムーバブルメモリ６１などの記録媒体に対してデ
ータを読み書きするドライブ６０が必要に応じて接続さ
れる。

【００２０】このペットロボット１に本発明を適用した
ロボット装置としての動作を実行させるロボット制御プ
ログラムは、リムーバブルメモリ６１に格納された状態
でペットロボット１に供給され、ドライブ６０によって
読み出されて、記憶部６２に内蔵されるハードディスク
ドライブにインストールされる。記憶部６２にインスト
ールされたロボット制御プログラムは、ユーザから入力
されるコマンドに対応するCPU１０Ａの指令によって、
記憶部６２からメモリ１０Ｂにロードされて実行され
る。

【００２１】頭部ユニット４には、外部からの刺激を感
知するセンサとして、音を感知する「耳のような聴覚器
官」に相当するマイクロフォン１５、CCD(Charge Coupl
ed Device)、CMOS(Complementary Metal Oxide Semicon
ductor)、およびイメージセンサなどから構成され、外
部の画像信号を取得する「目のような視覚器官」に相当
するビデオカメラ１６、およびユーザが接触することに
よる圧力等を感知する「肌等のような触覚器官」に相当
するタッチセンサ１７が、それぞれ所定の位置に設けら
れている。また、頭部ユニット４には、対象物までの距
離を測定する位置検出センサ１８、および所定の音階を
出力するペットロボット１の「口のような発声器官」に
相当するスピーカ１９が、それぞれ所定の位置に設置さ
れている。

【００２２】脚部ユニット３Ａ乃至３Ｄのそれぞれの関
節部分、脚部ユニット３Ａ乃至３Ｄのそれぞれと胴体部
ユニット２の連結部分、頭部ユニット４と胴体部ユニッ
ト２の連結部分、並びに尻尾部ユニット５と胴体部ユニ
ット２の連結部分などには、アクチュエータが設置され
ている。アクチュエータは、コントローラ１０からの指
示に基づいて各部を動作させる。

【００２３】図２の例においては、脚部ユニット３Ａに
は、アクチュエータ３ＡＡ₁乃至３ＡＡ_Kが設けられ、脚
部ユニット３Ｂには、アクチュエータ３ＢＡ₁乃至３Ｂ
Ａ_Kが設けられている。また、脚部ユニット３Ｃには、
アクチュエータ３ＣＡ₁乃至３ＣＡ_Kが設けられ、脚部ユ
ニット３Ｄには、アクチュエータ３ＤＡ₁乃至３ＤＡ _Kが
設けられている。さらに、頭部ユニット４には、アクチ
ュエータ４Ａ₁乃至４Ａ_Lが設けられており、尻尾部ユニ
ット５には、アクチュエータ５Ａ₁および５Ａ ₂がそれぞ
れ設けられている。

【００２４】以下、脚部ユニット３Ａ乃至３Ｄに設けら
れているアクチュエータ３ＡＡ₁乃至３ＤＡ_K、頭部ユニ
ット４に設けられているアクチュエータ４Ａ₁乃至４
Ａ_L，および尻尾部ユニットに設けられているアクチュ
エータ５Ａ₁および５Ａ₂のそれぞれを個々に区別する必
要がない場合、適宜、まとめて、アクチュエータ３ＡＡ
₁乃至５Ａ₂と称する。

【００２５】さらに、脚部ユニット３Ａ乃至３Ｄには、
アクチュエータの他にスイッチ３ＡＢ乃至３ＤＢが、ペ
ットロボット１の足の裏に相当する場所に設置されてい
る。そして、ペットロボット１が歩行したとき、スイッ
チ３ＡＢ乃至３ＤＢが押下され、それを表す信号がコン
トローラ１０に入力されるようになされている。

【００２６】頭部ユニット４に設置されるマイクロフォ
ン１５は、ユーザの発話を含む周囲の音声（音）を集音
し、得られた音声信号をコントローラ１０に出力する。
ビデオカメラ１６は、周囲の状況を撮像し、得られた画
像信号を、コントローラ１０に出力する。タッチセンサ
１７は、例えば、頭部ユニット４の上部に設けられてお
り、ユーザからの「撫でる」や「叩く」といった物理的
な働きかけにより受けた圧力を検出し、その検出結果を
圧力検出信号としてコントローラ１０に出力する。位置
検出センサ１８は、例えば、赤外線を出射し、その反射
光を受光したタイミングにおいての検出結果をコントロ
ーラ１０に出力する。

【００２７】コントローラ１０は、マイクロフォン１
５、ビデオカメラ１６、タッチセンサ１７、および位置
検出センサ１８から与えられる音声信号、画像信号、圧
力検出信号等に基づいて、周囲の状況や、ユーザからの
指令、ユーザからの働きかけなどの有無を判断し、その
判断結果に基づいて、ペットロボット１が次に実行する
動作を決定する。そして、コントローラ１０は、その決
定に基づいて、必要なアクチュエータを駆動させ、これ
により、頭部ユニット４を上下左右に振らせたり、尻尾
部ユニット５を動かせたり、脚部ユニット３Ａ乃至３Ｄ
のそれぞれを駆動して、ペットロボット１を歩行させる
などの動作を実行させる。

【００２８】その他にも、コントローラ１０は、ペット
ロボット１の頭部ユニット４などに設けられた、図示し
ないLED（Light Emitting Diode）を点灯、消灯または
点滅させるなどの処理を行う。

【００２９】図３は、図２のコントローラ１０の機能的
構成例を示すブロック図である。なお、図３に示す各機
能は、CPU１０Ａがメモリ１０Ｂに記憶されている制御
プログラムを実行することによって実現される。

【００３０】コントローラ１０は、外部からの刺激を検
知するセンサ（マイクロフォン１５乃至位置検出センサ
１８、およびスイッチ３ＡＢ乃至３ＤＢ）からの各種信
号を検出するセンサ入力処理部３１と、センサ入力処理
部３１により検出された情報等に基づいて、ペットロボ
ット１を動作させる情報処理部３２から構成されてい
る。

【００３１】センサ入力処理部３１を構成する角度検出
部４１は、アクチュエータ３ＡＡ₁乃至５Ａ₂のそれぞれ
に設けられるモータが駆動されたとき、アクチュエータ
３ＡＡ₁乃至５Ａ₂のそれぞれから通知される情報に基づ
いて、その角度を検出する。角度検出部４１により検出
された角度情報は、情報処理部３２の行動管理部７２、
および音データ生成部７５に出力される。

【００３２】音量検出部４２は、マイクロフォン１５か
ら供給される信号に基づいて、その音量を検出し、検出
した音量情報を行動管理部７２、および音データ生成部
７５に出力する。

【００３３】音声認識部４３は、マイクロフォン１５か
ら供給される音声信号について音声認識を行う。音声認
識部４３は、その音声認識結果としての、例えば、「お
話しよう」、「歩け」、「伏せ」、「ボールを追いかけ
ろ」等の指令その他を、音声認識情報として、本能・感
情管理部７１、行動管理部７２、および音データ生成部
７５に通知する。

【００３４】画像認識部４４は、ビデオカメラ１６から
供給される画像信号を用いて、画像認識を行う。画像認
識部４４は、その処理の結果、例えば、「赤い丸いも
の」、「地面に対して垂直な、かつ、所定の高さ以上の
平面」、「広い開放的な場所」、「家族がいる」、「家
族の中の子供の友人がいる」等を検出したときには、
「ボールがある」、「壁がある」、「畑である」、「家
である」、「学校である」等の画像認識結果を、画像認
識情報として、本能・感情管理部７１、行動管理部７
２、および音データ生成部７５に通知する。

【００３５】圧力検出部４５は、タッチセンサ１７から
与えられる圧力検出信号を処理する。例えば、圧力検出
部４５は、その処理の結果、所定の閾値以上で、かつ、
短時間の圧力を検出したときには、「叩かれた（しから
れた）」と認識し、所定の閾値未満で、かつ、長時間の
圧力を検出したときには、「なでられた（ほめられ
た）」と認識して、その認識結果を、状態認識情報とし
て、本能・感情管理部７１、行動管理部７２、および音
データ生成部７５に通知する。

【００３６】位置検出部４６は、位置検出センサ１８か
ら供給される信号に基づいて、所定の対象物までの距離
を測定し、その距離情報を行動管理部７２、および音デ
ータ生成部７５に通知する。例えば、位置検出部４６
は、目の前にユーザの手などが差し出されたとき、その
手までの距離や、画像認識部４４により認識されたボー
ルまでの距離を検出する。

【００３７】スイッチ入力検出部４７は、ペットロボッ
ト１の足の裏に相当する部分に設けられているスイッチ
３ＡＢ乃至３ＤＢから供給される信号に基づき、例え
ば、ペットロボット１が歩行している状態において、そ
の歩行タイミングや、ユーザにより足の裏が触れられた
ことを本能・感情管理部７１、および行動管理部７２に
通知する。

【００３８】一方、情報処理部３２を構成する本能・感
情管理部７１は、ペットロボット１の本能、および感情
を管理し、所定のタイミングで、ペットロボット１の本
能を表すパラメータや、感情を表すパラメータを行動管
理部７２、および音データ生成部７５に出力する。

【００３９】ペットロボット１の本能を表すパラメータ
と感情を表すパラメータについて、図４を参照して説明
する。図４に示すように、本能・感情管理部７１は、ペ
ットロボット１の感情を表現する感情モデル１０１と、
本能を表現する本能モデル１０２を記憶し、管理してい
る。

【００４０】感情モデル１０１は、例えば、「うれし
さ」、「悲しさ」、「怒り」、「驚き」、「恐れ」、
「苛立ち」等の感情の状態（度合い）を、所定の範囲
（例えば、０乃至１００等）の感情パラメータによって
それぞれ表し、センサ入力処理部３１の音声認識部４
３、画像認識部４４、および圧力検出部４５からの出力
や時間経過等に基づいて、その値を変化させる。

【００４１】この例において、感情モデル１０１は、
「うれしさ」を表す感情ユニット１０１Ａ、「悲しさ」
を表す感情ユニット１０１Ｂ、「怒り」を表す感情ユニ
ット１０１Ｃ、「驚き」を表す感情ユニット１０１Ｄ、
「恐れ」を表す感情ユニット１０１Ｅ、および「苛立
ち」を表す感情ユニット１０１Ｆから構成されている。

【００４２】本能モデル１０２は、例えば、「運動
欲」、「愛情欲」、「食欲」、「好奇心」、「睡眠欲」
等の本能による欲求の状態（度合い）を、所定の範囲
（例えば、０乃至１００等）の本能のパラメータによっ
てそれぞれ表し、音声認識部４３、画像認識部４４、お
よび圧力検出部４５等からの出力や時間経過等に基づい
て、その値を変化させる。また、本能モデル１０２は、
行動履歴に基づいて、「運動欲」を表すパラメータを高
めたり、バッテリ１１の残量（電圧）に基づいて、
「食欲」を表すパラメータを高めたりする。

【００４３】この例において、本能モデル１０２は、
「運動欲」を表す本能ユニット１０２Ａ、「愛情欲」を
表す本能ユニット１０２Ｂ、「食欲」を表す本能ユニッ
ト１０２Ｃ、「好奇心」を表す本能ユニット１０２Ｄ、
および「睡眠欲」を表すユニット１０２Ｅから構成され
ている。

【００４４】このような感情ユニット１０１Ａ乃至１０
１Ｆと本能ユニット１０２Ａ乃至１０２Ｅのパラメータ
は、外部からの入力だけでなく、図の矢印で示されるよ
うに、それぞれのユニット同士が相互に影響し合うこと
によっても変化される。

【００４５】例えば、「うれしさ」を表現する感情ユニ
ット１０１Ａと「悲しさ」を表現する感情ユニット１０
１Ｂが相互抑制的に結合することにより、本能・感情管
理部７１は、ユーザにほめてもらったときには「うれし
さ」を表現する感情ユニット１０１Ａのパラメータを大
きくするとともに、「悲しさ」を表現する感情ユニット
１０１Ｂのパラメータを小さくするなどして、表現する
感情を変化させる。

【００４６】また、感情モデル１０１を構成する各ユニ
ット同士、および本能モデル１０２を構成する各ユニッ
ト同士だけでなく、双方のモデルを超えて、それぞれの
ユニットのパラメータが変化される。

【００４７】例えば、図４に示されるように、本能モデ
ル１０２の「愛情欲」を表す本能ユニット１０２Ｂや、
「食欲」を表す本能ユニット１０２Ｃのパラメータの変
化に応じて、感情モデル１０１の「悲しさ」を表現する
感情ユニット１０２Ｂや「怒り」を表現する感情ユニッ
ト１０２Ｃのパラメータが変化される。

【００４８】具体的には、「愛情欲」を表す本能ユニッ
ト１０２Ｂのパラメータ、または「食欲」を表す本能ユ
ニット１０２Ｃのパラメータが大きくなったとき、感情
モデル１０１の「悲しさ」を表現する感情ユニット１０
１Ｂのパラメータと「怒り」を表現する感情ユニット１
０１Ｃのパラメータが小さくなる。

【００４９】このようにして、本能・感情管理部７１に
より、管理される感情のパラメータ、または本能のパラ
メータは、所定の周期で計測され、行動管理部７２、お
よび音データ生成部７５に出力される。

【００５０】なお、本能・感情管理部７１には、音声認
識部４３、画像認識部４４、および圧力検出部４５等か
ら認識情報が供給される他に、行動管理部７２から、ペ
ットロボット１の現在、または過去の行動、具体的に
は、例えば、「長時間歩いた」などの行動の内容を示す
行動情報が供給されるようになされている。そして、本
能・感情管理部７１は、同一の認識情報等が与えられた
場合であっても、行動情報により示されるペットロボッ
ト１の行動に応じて、異なる内部情報を生成する。

【００５１】例えば、ペットロボット１がユーザに挨拶
をし、ユーザに頭をなでられた場合には、ユーザに挨拶
をしたという行動情報と、頭をなでられたという認識情
報が本能・感情管理部７１に供給される。このとき、本
能・感情管理部７１においては、「うれしさ」を表す感
情ユニット１０１Ａの値が増加される。

【００５２】図３の説明に戻り、行動管理部７２は、音
声認識部４３、および画像認識部４４等から供給されて
きた情報と、本能・感情管理部７１から供給されてきた
パラメータ、および時間経過等に基づいて次の行動を決
定し、決定した行動の実行を指示するコマンドを姿勢遷
移管理部７３に出力する。姿勢遷移管理部７３は、行動
管理部７２から指示された行動に基づいて、姿勢の遷移
を決定し、制御部７４に出力する。制御部７４は、姿勢
遷移管理部７３からの出力に基づき、アクチュエータ３
ＡＡ１乃至５Ａ２を制御して、行動管理部７２が決定し
た動作を行う。

【００５３】また、音データ生成部７５は、音声認識部
４３、および画像認識部４４等から供給されてきた情報
と、本能・感情管理部７１から供給されてきたパラメー
タ、および時間経過等に基づいて音データを生成する。
そして、行動管理部７２は、ペットロボット１に発話を
させるとき、あるいは所定の動作に対応する音をスピー
カ１９から出力させるとき、音の出力を指示するコマン
ドを音声合成部７６に出力し、音声合成部７６は、音デ
ータ生成部７５から出力された音データに基づいて、ス
ピーカ１９に音を出力させる。

【００５４】図５は、本発明を適用した強化学習システ
ムの原理的構成を示している。ステップＳ１において、
行動管理部７２は、行動選択確率（後述する式（３））
に基づいて、ランダムに動き、新しい行動をする探査的
行動と、過去の行動の中から最も良いと考えられる行動
を選択する知識利用的行動のいずれかを選択し、選択さ
れた行動ａをペットロボット１に実行させる。ステップ
Ｓ２において、環境・ユーザ１１１は、その行動ａに対
して、ペットロボット１に報酬ｒを与える。ここで、報
酬ｒとは、行動ａが正しかったときに環境・ユーザ１１
１により行われる、例えば、「頭をなでる」行為や、行
動ａが誤っていた（ユーザが期待していない行動であっ
た）ときに環境・ユーザ１１１により行われる、例え
ば、「頭をたたく」行為である。

【００５５】行動管理部７２は、獲得した報酬ｒに基づ
き、以下のような式（１）に従って、この行動ａに対す
る行動価値Q(a)を、新しい（報酬ｒに基づく）行動価値
Q₁(a)に更新する。

【数１】

【００５６】なお、式（１）において、αは、０と１の
間の値の係数であって、獲得した報酬をどの程度行動価
値に反映させるかを決定するパラメータ（学習率）であ
り、報酬ｒは、「頭をなでられる」、「叩かれる」、
「与えられたタスクを達成する」、「与えられたタスク
を失敗する」等のセンサ入力処理部３１からの検出信号
に応じて決定される値である。

【００５７】このようにして求められた行動価値Q(a)
は、行動ａを実行して、報酬ｒを獲得するごとに更新さ
れる。したがって、新しく獲得した報酬ｒ₂によって、
更新された行動価値Q₂(a)は、前の行動価値Q₁(a)とその
前の行動価値Q₀(a)を使って表すと、

【数２】となり、学習率αは０と１の間の値なので、新しく獲得
した報酬ｒ₂の係数αは、前の報酬ｒ₁の係数（１−α）
αよりも必ず大きくなる。したがって、行動価値Q₂(a)
は、過去の報酬ｒ₁よりも新しく受け取った報酬ｒ₂のほ
うに、より重み付けされる。即ち、式（２）により、行
動価値Q(a)は、遠い過去の報酬よりも、最近受け取った
報酬が反映される。

【００５８】さらに、行動管理部７２は、このようにし
て求められた行動価値Q(a)に基づき、行動ａの行動選択
確率Ｐ（ａ）を、以下に示すボルツマン分布の式（３）
から演算する。

【数３】

【００５９】なお、式（３）において、Ａは選択可能な
全ての行動を表す。Ｔはボルツマン温度を表し、行動価
値Q(a)を、どの程度行動選択確率Ｐに反映させるかを決
定するパラメータである。

【００６０】式（３）より明らかなように、ボルツマン
温度Ｔの値が小さいほど、行動価値Q(a)が、より行動選
択確率Ｐに反映され、行動管理部７２は、より知識利用
的な行動を選択する。一方、ボルツマン温度Ｔの値が大
きいほど、行動価値Q(a)が、行動選択確率Ｐに反映され
難くなり、行動管理部７２は、より探査的な行動を選択
する。

【００６１】本発明においては、探査的行動と知識利用
的行動の選択が、動的に変更される。このため、行動管
理部７２は、本能・感情管理部７１からの感情のパラメ
ータの出力に応じて、ボルツマン温度Ｔを適宜変化させ
る。この場合の処理を図６を参照して説明する。

【００６２】ステップＳ１１において、行動管理部７２
は、本能・感情管理部７１から、感情のパラメータを読
み出す。ステップＳ１２において、行動管理部７２は、
読み出した感情のパラメータに基づいて、メモリ１０Ｂ
に記憶されている式またはテーブル（例えば、図７の例
の場合、「苛立ち」とボルツマン温度Ｔとの関係を表す
式またはテーブル）に基づき、ボルツマン温度Ｔを演算
する。

【００６３】「苛立ち」を表すパラメータに基づいて演
算されたボルツマン温度Ｔの例を図７に示す。図７に示
されるように、「苛立ち」を表すパラメータの値が大き
いほど、ボルツマン温度Ｔの値は大きくなる。したがっ
て、「苛立ち」を表すパラメータの値が大きいほど、行
動価値Q(a)は、行動選択確率Ｐに反映され難くなり、ペ
ットロボット１は、探査的な行動をする。即ち、ペット
ロボット１は、人間と同様に、苛立っているときは、理
性的な行動をとりにくくなる。

【００６４】また、本能・感情管理部７１からの本能の
パラメータの出力に応じて、ボルツマン温度Ｔを変化さ
せるようにしてもよい。この場合の処理を図８を参照し
て説明する。

【００６５】ステップＳ２１において、行動管理部７２
は、本能・感情管理部７１から、本能のパラメータを読
み出す。ステップＳ２２において、行動管理部７２は、
読み出した本能のパラメータに基づいて、メモリ１０Ｂ
に記憶されている式またはテーブル（例えば、図９の例
の場合、「好奇心」とボルツマン温度Ｔとの関係を表す
式またはテーブル）に基づき、ボルツマン温度Ｔを演算
する。

【００６６】「好奇心」を表すパラメータに基づいて演
算されたボルツマン温度Ｔの例を図９に示す。図９の例
の場合、「好奇心」を表すパラメータの値が大きいほ
ど、ボルツマン温度Ｔの値は小さくなる。したがって、
「好奇心」を表すパラメータの値が大きいほど、行動価
値Q(a)は、行動選択確率Ｐに反映されやすくなり、ペッ
トロボット１は、知識利用的な行動をする。即ち、ペッ
トロボット１は、人間と同様に、好奇心があるときは、
その行動を集中して(熱中して)行う。

【００６７】さらに、行動管理部７２は、画像認識部４
４からの場所に関する情報に応じて、ボルツマン温度Ｔ
を変化させることができる。この場合の処理を図１０を
参照して説明する。

【００６８】ステップＳ３１において、行動管理部７２
は、画像認識部４４の出力から、ペットロボット１が位
置する場所を検出する。ステップＳ３２において、行動
管理部７２は、ペットロボット１が位置する場所が学校
であるか否かを判定する。ステップＳ３２において、ペ
ットロボット１の位置する場所が学校であると判定され
た場合、行動管理部７２は、処理をステップＳ３３に進
め、学校におけるボルツマン温度Ｔをメモリ１０Ｂから
読み出す。

【００６９】ステップＳ３２において、ペットロボット
１が位置する場所が学校ではないと判定された場合、行
動管理部７２は、処理をステップＳ３４に進め、ペット
ロボット１が位置する場所が家であるか否かを判定す
る。ステップＳ３４において、ペットロボット１が位置
する場所が家であると判定された場合、行動管理部７２
は、処理をステップＳ３５に進め、家におけるボルツマ
ン温度Ｔをメモリ１０Ｂから読み出す。

【００７０】ステップＳ３４において、ペットロボット
１が位置する場所が家ではないと判定された場合、行動
管理部７２は、処理をステップＳ３６に進め、ペットロ
ボット１が位置する場所が畑であるか否かを判定する。
ステップＳ３６において、ペットロボット１が位置する
場所が畑であると判定された場合、行動管理部７２は、
処理をステップＳ３７に進め、畑におけるボルツマンの
温度Ｔをメモリ１０Ｂから読み出す。

【００７１】ステップＳ３３，Ｓ３５，またはＳ３７の
処理の後、行動管理部７２は、ステップＳ３８におい
て、読み出したボルツマン温度Ｔを、新しいボルツマン
温度Ｔとして設定する。そして、処理は終了する。

【００７２】ステップＳ３６において、ペットロボット
１が位置する場所が畑ではないと判定された場合、行動
管理部７２は、処理をステップＳ３９に進め、エラー処
理を行ない、処理を終了する。

【００７３】場所によるボルツマン温度Ｔの値を示す例
を、図１１に示す。ペットロボット１が学校に位置する
とき、ボルツマン温度Ｔの値は一番小さく、行動価値Q
(a)は行動選択確率Ｐに反映され、ペットロボット１
は、知識利用的な行動をする。即ち、ペットロボット１
は、人間と同様に、学校にいるときは、決まった行動を
する。

【００７４】ペットロボット１が家に位置するときは、
ボルツマン温度Ｔの値は平均的な値とされ、ペットロボ
ット１は、知識利用的行動と探査的行動の両方をバラン
スよく行う。そして、ペットロボット１が畑に位置する
とき、ボルツマン温度Ｔの値は、一番大きくなり、行動
価値Q(a)は行動選択確率Ｐに反映され難くなる。したが
って、ペットロボット１は、より探査的な行動をする。
即ち、ペットロボット１は、人間と同様に、畑のような
開放的な場所にいるときは、新しい行動を多くする。

【００７５】また、時刻に応じて、ボルツマン温度Ｔを
変化させることもできる。この場合の処理を、図１２を
参照して説明する。

【００７６】ステップＳ５１において、行動管理部７２
は、時計１０Ｃから、現在の時刻を読み出す。ステップ
Ｓ５２において、行動管理部７２は、その読み出された
時刻に基づいて、メモリ１０Ｂに記憶されている式また
はテーブル（例えば、図１３の例の場合、「一日の流れ
の中の時刻」とボルツマン温度Ｔとの関係を表す式また
はテーブル）に基づき、ボルツマン温度Ｔを演算する。

【００７７】行動管理部７２が、時刻に基づいて、ボル
ツマン温度Ｔを変化させる例を図１３に示す。朝起きた
ばかりの時刻ｔ１のとき、ボルツマン温度Ｔは、最も小
さい値とされ、ペットロボット１は、知識利用的な行動
（決まった行動）をとり、新しい行動を行なわない。そ
して、時刻の経過とともに、徐々にボルツマン温度Ｔは
上がっていき、朝食を食べた後の時刻ｔ２で、ボルツマ
ン温度Ｔは、最大となる。したがって、朝食を食べた後
の時間帯では、ペットロボット１は、探査的な行動（新
しい行動）を行い、活発に動く。

【００７８】朝食を食べて、活発に動いた後、眠くなる
時刻ｔ３まで、ボルツマン温度Ｔは徐々に下がってい
く。したがって、時刻ｔ３を中心とする眠くなる時間帯
のとき、ペットロボット１は、知識利用的な行動（決ま
った行動）をとり、活発な動きをしない（ただし、時刻
ｔ１を中心とする時間帯よりは活発に活動する）。その
後、夕方から夜にかけての時刻ｔ４まで、ボルツマン温
度Ｔは、徐々に上がっていき、ペットロボット１は、ま
た、探査的な行動（新しい行動）を行う（時刻ｔ２の時
間帯と時刻ｔ３の時間帯の中間のレベルの活動を行
う）。

【００７９】そして、寝る前の時刻ｔ５になるにつれ
て、ボルツマン温度Ｔは下がっていき、ペットロボット
１は、徐々に知識利用的な行動（決まった行動）をとる
ようになっていく。そして、ペットロボット１は就寝す
る。このように、ペットロボット１は、人間と同様な行
動を、１日の時間の流れの中で行なう。

【００８０】さらに、起動後の経過時刻（ペットロボッ
ト１の成長時刻）に応じて、ボルツマン温度Ｔを変化さ
せてもよい。この場合の処理を、図１４を参照して説明
する。

【００８１】ステップＳ６１において、行動管理部７２
は、時計１０Ｃから、ペットロボット１が生まれて（起
動されて）からの時刻（成長時刻）を読み出す。ステッ
プＳ６２において、行動管理部７２は、その読み出され
た成長時刻に基づいて、メモリ１０Ｂに記憶されている
式またはテーブル（例えば、図１５の例の場合、「成長
時刻」とボルツマン温度Ｔとの関係を表す式またはテー
ブル）ボルツマン温度Ｔを演算する。

【００８２】行動管理部７２は、成長時刻ｔに基づい
て、例えば、以下に示す式（４）のようにボルツマン温
度Ｔを変化させる。

【数４】

【００８３】なお、式（４）において、τは基準時刻、
βは基準時刻付近での変化率を、それぞれ表す。また、
Ｔ_minとＴ_maxは、それぞれ最小と最大のボルツマン温度
を表す。

【００８４】この式（４）を用いて計算されたボルツマ
ン温度Ｔの変化を示す例を図１５に示す。図１５に示さ
れるように、ペットロボット１が生まれたばかり（起動
当初）（ｔ＝０）のときのボルツマン温度Ｔは、Ｔ_max
で表される最大値とされ、探査的な行動（新しい行動）
を多くする。その後、時刻（年齢）が経過すると、徐々
にボルツマン温度Ｔは小さくなる。そして、ボルツマン
温度Ｔは、最終的にはＴ_minで表される最小値に収束
し、ペットロボット１は、知識利用的行動（過去に学ん
だ行動）を行うようになる。即ち、人間と同様に、年を
とるにつれて、探査的な行動（新しい行動）をとりにく
くなり、知識利用的行動（決まった行動）を行うように
なる。予め設定してある基準時刻（基準年齢）τにおい
て、ボルツマン温度Ｔは、最大値と最小値の中間の値と
なる。

【００８５】なお、上述した一連の処理は、図１に示し
たような動物型のペットロボットに実行させるだけでな
く、例えば、２足歩行が可能な人間型ロボットや、コン
ピュータ内で活動する仮想ロボット等に実行させるよう
にしてもよい。また、本明細書において、ロボットに
は、人工エージェントも含まれる。

【００８６】また、上述した一連の処理は、ハードウエ
アにより実行させることもできるが、ソフトウエアによ
り実行させることもできる。一連の処理をソフトウエア
により実行させる場合には、そのソフトウエアを構成す
るプログラムが、専用のハードウエアに組み込まれてい
るロボット装置、または、各種のプログラムをインスト
ールすることで、各種の機能を実行することが可能な、
例えば汎用のロボット装置などに、ネットワークや記録
媒体からインストールされる。

【００８７】この記録媒体は、図２に示されるように、
装置本体とは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されているリムーバブ
ルメモリ６１などよりなるパッケージメディアにより構
成されるだけでなく、装置本体に予め組み込まれた状態
でユーザに提供される、プログラムが記録されているメ
モリ１０Ｂに含まれるハードディスクなどで構成され
る。

【００８８】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に沿って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【００８９】

【発明の効果】以上のように、本発明によれば、ロボッ
ト装置を動作させることができる。また、その行動を通
して、ユーザに、より生命らしい擬似感覚を与えること
ができる。従って、ユーザが飽きない、ロボット装置を
実現することができる。

【図面の簡単な説明】

【図１】本発明を適用したペットロボットの外観の構成
例を示す斜視図である。

【図２】図１のペットロボットの内部の構成例を示すブ
ロック図である。

【図３】ペットロボットの機能モジュールの構成例を示
す図である。

【図４】図３の本能・感情管理部の機能の例を模式的に
示す図である。

【図５】本発明を適用した強化学習システムの構成を示
す図である。

【図６】感情パラメータに基づいてボルツマン温度を演
算する処理を説明するためのフローチャートである。

【図７】感情パラメータに基づくボルツマン温度の変化
の例を示す図である。

【図８】本能パラメータに基づいてボルツマン温度を演
算する処理を説明するためのフローチャートである。

【図９】本能パラメータに基づくボルツマン温度の変化
の例を示す図である。

【図１０】場所に基づいてボルツマン温度を決定する処
理を説明するためのフローチャートである。

【図１１】場所に基づくボルツマン温度の変化の例を示
す図である。

【図１２】時刻に基づいてボルツマン温度を演算する処
理を説明するためのフローチャートである。

【図１３】時刻に基づくボルツマン温度の変化の例を示
す図である。

【図１４】成長時刻に基づいてボルツマン温度を演算す
る処理を説明するためのフローチャートである。

【図１５】成長時刻に基づくボルツマン温度の変化の例
を示す図である。

【符号の説明】

３１センサ入力処理部，３２情報処理部，４１
角度検出部，４２音量検出部，４３音声認識
部，４４画像認識部，４５圧力検出部，４６
位置検出部，４７スイッチ入力検出部，７１
本能・感情管理部，７２行動管理部，７３姿勢
遷移管理部，７４制御部，７５音データ生成部，
７６音声合成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者花形理東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者高木剛東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 2C150 CA02 DA05 DA24 DA25 DA26 DA27 DA28 DF03 DF04 DF06 DF33 ED10 ED39 ED42 ED47 ED52 EF07 EF16 EF17 EF22 EF23 EF28 EF29 EF33 EF36 3C007 AS36 CS08 KS23 KS24 KS31 KS36 KS39 KT01 LW12 MT14 WA04 WA14 WB13 WB16 WC00

Claims

【特許請求の範囲】

【請求項１】供給される入力情報に応じた行動を行う
ロボット装置において、探査的行動と知識利用的行動の選択を動的に変更する行
動管理手段を備えることを特徴とするロボット装置。
【請求項２】前記行動管理手段は、行動選択確率に基
づいて、前記探査的行動と前記知識利用的行動を選択す
ることを特徴とする請求項１に記載のロボット装置。
【請求項３】前記行動選択確率は、ボルツマン温度に
よって決定されることを特徴とする請求項２に記載のロ
ボット装置。
【請求項４】前記ボルツマン温度は、前記入力情報に
応じて変化されることを特徴とする請求項３に記載のロ
ボット装置。
【請求項５】時刻を計時する計測手段をさらに備え、前記ボルツマン温度は、前記時刻に応じて変化されるこ
とを特徴とする請求項３に記載のロボット装置。
【請求項６】供給される入力情報に応じた行動を行う
ロボット装置のロボット制御方法において、探査的行動と知識利用的行動の選択を動的に変更する行
動管理ステップを含むことを特徴とするロボット制御方
法。
【請求項７】供給される入力情報に応じた行動を行う
ロボット装置のプログラムであって、探査的行動と知識利用的行動の選択を動的に変更する行
動管理ステップを含むことを特徴とするコンピュータが
読み取り可能なプログラムが記録されている記録媒体。
【請求項８】供給される入力情報に応じた行動を行う
ロボット装置を制御するコンピュータに、探査的行動と知識利用的行動の選択を動的に変更する行
動管理ステップを実行させることを特徴とするプログラ
ム。