JP2001212783A

JP2001212783A - ロボット装置及びその制御方法

Info

Publication number: JP2001212783A
Application number: JP2000028947A
Authority: JP
Inventors: Atsuo Hiroe; 厚夫廣江; Hironaga Tsutsumi; 洪長包; Hideki Kishi; 秀樹岸; Masanori Omote; 雅則表; Kazuhiko Tajima; 和彦田島; Masatoshi Takeda; 正資武田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-02-01
Filing date: 2000-02-01
Publication date: 2001-08-07

Abstract

(57)【要約】【課題】本発明は、アミューズメント性を格段と向上し
得るロボット装置及びその制御方法を実現しようとする
ものである。【解決手段】外部状況に応じて変化させる感情を有し、
当該感情の状態に応じた行動を生成するロボット装置及
びその制御方法において、外部状況を検出した後、当該
検出結果に基づいて、外部状況に対する印象を生成し、
さらに当該生成された印象に基づいて感情を変化させる
ようにしたことにより、外部状況に対する印象に基づい
て、新たな感情をあたかも本物の動物や人間がもつ感情
のように変化させることができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はロボット装置及びそ
の制御方法に関し、例えばペットロボットに適用して好
適なものである。

【０００２】

【従来の技術】近年、ユーザからの指令や周囲の環境に
応じて行動を行う４足歩行型のペットロボットが本願特
許出願人から提案及び開発されている。かかるペットロ
ボットは、一般家庭において飼育される犬や猫に似た形
状を有し、ユーザからの指令や周囲の環境に応じて自律
的に行動するものである。なお以下においては、動作の
集合を行動と定義して使用するものとする。

【０００３】またかかるペットロボットに対して、ユー
ザの発話及び表情どからユーザの感情を抽出又は推定し
（図１３）、それに応じてあたかも本物の動物や人間が
「感情」をもっているかのごとくペットロボットの感情
や応答を変化させる（図１４）ような機能（以下、これ
を対話機能と呼ぶ）を搭載し、ユーザに親近感や満足感
を与え、ペットロボットとしてのアミューズメント性を
向上させることなども本願特許出願人により提案されて
いる。

【０００４】例えばユーザが「ダメッ」と発話すると共
に怖そうな表情をすることによってペットロボットを叱
りつけると、ペットロボットは落ち込んで首をうなだれ
るといった動作を発現することが実現されている。

【０００５】

【発明が解決しようとする課題】ところが、上述のよう
な対話機能の実行中において、従来のペットロボット
は、その応答が人間の場合と比較して不自然な点があっ
た。その一つは、人間の場合は同一の入力情報に対し
て、それをどのように受け取るかによって応答が変化す
るのに対し、ペットロボットの場合にはそのような応答
の変化がないことである。

【０００６】例えば「叱りつける」という動作を人間に
対して行った場合、人間は同一の人物から全く同様に叱
りつけられても、「叱咤激励された」と受け取るときも
あれば、「人間性を否定された」と受け取るときもあ
り、どう受け取るかは、そのときの気分や状況などによ
って異なり、またそれぞれによって応答は異なる。

【０００７】すなわち人間の場合、「どのような入力情
報があるか」よりも「その入力情報をどのようなもので
あると受け取ったか」の方が応答を決定するにあたって
重要である。

【０００８】しかしながら、ユーザの表情や発話などに
基づいて抽出又は推定したユーザの感情に応じて予め複
数の応答パターンを用意しておき、ユーザの感情に対応
する応答パターンを実行する方法しかなく、ユーザの感
情を「どのようなものであると受け取ったか」という機
能を搭載したペットロボットは未だ提案されていなかっ
た。

【０００９】本発明は以上の点を考慮してなされたもの
で、アミューズメント性を格段と向上し得るロボット装
置及びその制御方法を提案しようとするものである。

【００１０】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、外部状況に応じて変化させる感情
を有し、当該感情の状態に応じた行動を生成するロボッ
ト装置において、外部状況を検出する外部状況検出手段
と、外部状況検出手段の検出結果に基づいて、外部状況
に対する印象を生成する印象生成手段と、印象生成手段
により生成された印象に基づいて感情を変化させる感情
変化手段とを設けるようにした。

【００１１】この結果このロボット装置では、外部状況
に対する印象に基づいて、新たな感情をあたかも本物の
動物や人間がもつ感情のように変化させることができ
る。

【００１２】また本発明においては、外部状況に応じて
変化させる感情を有し、当該感情の状態に応じた行動を
生成するロボット方法において、外部状況を検出した
後、当該検出結果に基づいて、外部状況に対する印象を
生成し、さらに当該生成された印象に基づいて感情を変
化させるようにした。

【００１３】この結果このロボット装置の制御方法で
は、外部状況に対する印象に基づいて、新たな感情をあ
たかも本物の動物や人間がもつ感情のように変化させる
ことができる。

【００１４】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【００１５】（１）本実施の形態によるペットロボット
の構成図１において、１は全体として本実施の形態によるペッ
トロボットを示し、胴体部ユニット２の前後左右にそれ
ぞれ脚部ユニット３Ａ〜３Ｄが連結されると共に、胴体
部ユニット２の前端部及び後端部にそれぞれ頭部ユニッ
ト４及び尻尾部ユニット５が連結されることにより構成
されている。

【００１６】この場合胴体部ユニット２には、図２に示
すように、このペットロボット１全体の動作を制御する
コントローラ１０と、このペットロボット１の動力源と
なるのバッテリ１１と、バッテリセンサ１２及び熱セン
サ１３からなる内部センサ部１４となどが収納されてい
る。

【００１７】また頭部ユニット４には、このペットロボ
ット１の「耳」に相当するマイクロホン１５と、「目」
に相当するＣＣＤ（Charge Coupled Device ）カメラ１
６と、タッチセンサ１７と、「口」に相当するスピーカ
１８となどがそれぞれ所定位置に配設されている。

【００１８】さらに各脚部ユニット３Ａ〜３Ｄの関節部
分や、各脚部ユニット３Ａ〜３Ｄ及び胴体部ユニット２
の各連結部分、頭部ユニット４及び胴体部ユニット２の
連結部分、並びに尻尾部ユニット５及び胴体部ユニット
２の連結部分などにはそれぞれアクチュエータ１９Ａ〜
１９Ｎが配設されている。

【００１９】そして頭部ユニット４のマイクロホン１５
は、ユーザから図示しないサウンドコマンダを介して音
階として与えられる「歩け」、「伏せ」又は「ボールを
追いかけろ」等の指令音を集音し、得られた音声信号Ｓ
１をコントローラ１０に送出する。またＣＣＤカメラ１
６は、周囲の状況を撮像し、得られた画像信号Ｓ２をコ
ントローラ１０に送出する。

【００２０】さらにタッチセンサ１７は、図１において
明らかなように頭部ユニット４の上部に設けられてお
り、ユーザからの「撫でる」や「叩く」といった物理的
な働きかけにより受けた圧力を検出し、検出結果を圧力
検出信号Ｓ３としてコントローラ１０に送出する。

【００２１】さらに胴体部ユニット２のバッテリセンサ
１２は、バッテリ１１の残量を検出し、検出結果をバッ
テリ残量検出信号Ｓ４としてコントローラ１０に送出
し、熱センサ１３は、ペットロボット１内部の熱を検出
して検出結果を熱検出信号Ｓ５としてコントローラ１０
に送出する。

【００２２】コントローラ１０は、マイクロホン１６、
ＣＣＤカメラ１７、タッチセンサ１８、バッテリセンサ
１２及び熱センサ１３から与えられる音声信号Ｓ１、画
像信号Ｓ２及び圧力検出信号Ｓ３、バッテリ残量検出信
号Ｓ４及び熱検出信号Ｓ５などに基づいて、周囲の状況
や、ユーザからの指令及びユーザからの働きかけの有無
などを判断する。

【００２３】そしてコントローラ１０は、この判断結果
と予めメモリ１０Ａに格納されている制御プログラムと
に基づいて続く行動を決定し、決定結果に基づいて必要
なアクチュエータ１９Ａ〜１９Ｎを駆動させることによ
り、頭部ユニット４を上下左右に振らしたり、尻尾部ユ
ニット５の尻尾５Ａを動かせたり、各脚部ユニット３Ａ
〜３Ｄを駆動して歩行させるなどの行動を行わせる。

【００２４】またこの際コントローラ１０は、必要に応
じて音声信号Ｓ６を生成してこれをスピーカ１８に与え
ることにより、当該音声信号Ｓ６に基づく音声を外部に
出力させたり、このペットロボット１の「目」の位置に
配設された図示しないＬＥＤ（Light Emitting Diode）
を点灯、消灯又は点滅させる。

【００２５】このようにしてこのペットロボット１にお
いては、周囲の状況及び制御プログラム等に基づいて自
律的に行動することができるようになされている。

【００２６】かかる構成に加えてこのペットロボット１
の場合、ユーザの発話及び表情に基づいてユーザの感情
を抽出又は推定した後、当該ユーザの感情にペットロボ
ット１の感情を反映させて当該ペットロボット１が受け
た印象を生成することにより、当該印象に基づいて、あ
たかも本物の動物や人間が「感情」をもっているかのご
とくペットロボット１の感情及び応答を生成するように
なされている。

【００２７】なお以下においては、「印象」を次のよう
に定義する。すなわち「印象」とは、当該ユーザの感情
に一種のフィルタを作用させたものであり、そのフィル
タにはペットロボット１の現在の感情が反映される。

【００２８】ここでこのようなペットロボットの対話機
能に関するコントローラ１０の処理について説明する。
図３に示すように、ペットロボット１の対話機能に関す
るコントローラ１０の処理の内容を機能的に分類する
と、制御部２０、入力処理部２１、音声認識解析部２
２、画像認識部２３、ユーザ識別部２４、対話管理部２
５、出力生成部２６、音声出力部２７、動作制御部２
８、印象モデル部２９及び感情モデル部３０に分けるこ
とができる。

【００２９】この場合制御部２０は、ＣＰＵ、ＲＡＭ、
ＲＯＭ及び記憶部などから構成され、ペットロボット１
全体の制御を行うようになされている。また入力処理部
２１は、マイクロホン１５、ＣＣＤカメラ１６及びタッ
チセンサ１７（共に図２）から与えられる音声信号Ｓ
１、画像信号Ｓ２及び圧力検出信号Ｓ３に基づいて、特
定の状態や、ユーザからの特定の働きかけ及びユーザか
らの指示を検出及び認識し、認識結果を制御部２０に通
知する。

【００３０】音声認識解析部２２は、マイクロホン１５
から与えられる音声信号Ｓ１をＡ／Ｄ（アナログ／ディ
ジタル）変換処理及び特徴抽出処理を行った後、音響モ
デル、辞書及び文法等の情報に基づいて、ユーザの発話
における特徴量とのマッチングを行うことによって音声
認識結果を生成した後、必要に応じて当該音声認識結果
を所定の処理形式（例えばテキスト、構文解析木、対話
用フレームなど）に変換する。

【００３１】さらに音声認識解析部２２は、音声認識結
果の中にユーザの感情を表す言葉（文末の助詞や助動詞
などで表現されることが多い）が含まれている場合、当
該言葉を検出した後、この言語認識結果を感情モデル部
３０に通知する。

【００３２】画像認識部２３は、マイクロホン１５から
与えられる音声信号Ｓ１に基づく声紋を抽出すると共
に、ＣＣＤカメラ１６から与えられる画像信号Ｓ２に基
づく顔画像を抽出することにより、当該抽出した声紋や
顔画像の特徴量に基づいてユーザを識別した後、当該識
別結果を制御部２０に通知する。

【００３３】対話管理部２５は、音声認識解析部２２か
ら得られた音声認識結果や、感情モデル部３０で得られ
た現在のペットロボット１の感情や、印象モデル部２９
で得られたユーザ感情や、その時点までの対話履歴など
から、ロボットの発話や動作を生成する。そして、生成
した行動の内容を行動指令情報として制御部２０に通知
する。また対話管理部２５は、対話規則テーブル２５Ａ
を有し、これによって各種入力に対応した応答を決定す
る。

【００３４】出力生成部２６は、対話管理部２５から得
られる行動指令情報のうち「応答文を発話する」という
指令情報が含まれている場合、当該応答文に対応する合
成音を生成した後、これを音声出力部２７に送出する。
また出力生成部２６は、対話管理部２５から得られる行
動指令情報に基づいて動作パターンを生成した後、当該
動作パターンを動作制御部２８に送出する。

【００３５】音声出力部２７は、出力生成部２６から送
出された合成音を音声信号Ｓ６としてスピーカ１８（図
２）を介して出力させると共に、必要に応じて音声以外
の様々な効果音（例えばペットロボットが精神的にショ
ックを受けた場合に「ガーン」という効果音）も音声信
号Ｓ６としてスピーカ１８を介して出力させる。

【００３６】動作制御部２８は、出力生成部２６から得
られた動作パターンに基づいて必要なアクチュエータ１
９Ａ〜１９Ｎに対する制御信号Ｓ７Ａ〜Ｓ７Ｎを生成
し、これら制御信号Ｓ７Ａ〜Ｓ７Ｎに基づいて対応する
アクチュエータ１９Ａ〜１９Ｎを駆動制御する。

【００３７】印象モデル２９は、ユーザ感情抽出部２９
Ａ及び感情フィルタ２９Ｂの２つのモジュールを有し、
ペットロボット１が受けた印象を表す印象データを生成
する。ユーザ感情抽出部２９Ａは、音声認識解析部２２
から受け取った発話に含まれる感情情報（発話のイント
ネーションや語調、又は文末の表現で感情に関するも
の）と、画像認識部２３から受け取ったユーザの表情で
感情に関係する情報とに基づいて、ユーザの感情を抽出
又は推定する。

【００３８】感情フィルタ２９Ｂは、ペットロボット１
の感情をパラメータ化するフィルタであり、ユーザ感情
抽出部２９Ａから抽出又は推定されたユーザの感情を、
感情モデル部３０から得られるペットロボット１の現在
の感情と共にフィルタをかけることによって、ペットロ
ボット１が受けた印象を生成した後、これを上述の印象
データとして感情モデル部３０に送出する。

【００３９】感情モデル部３０は、印象−感情・行動テ
ーブル３０Ａを有し、入力された印象データ、現在の感
情及び過去の履歴などに基づいて対応する新たな感情及
び行動パターンを決定することにより、ペットロボット
１の感情の内部表現を行うと共に印象モデルから与えら
れる印象データやその他外界情報に基づきペットロボッ
ト１の感情を変化させる。

【００４０】かかる感情モデル部３０は、図４に示すよ
うな階層型ニューラルネットワーク５０を用いて、ペッ
トロボット１の感情の内部表現及び感情の変化を行うよ
うになされている。この階層型ニューラルネットワーク
５０は、入力層５０Ａ、中間層５０Ｂ及び出力層５０Ｃ
の３層からなり、各層５０Ａ〜５０Ｃはそれぞれ所定数
のニューロンにより形成されている。

【００４１】入力層５０Ａは印象モデル部２９において
ペットロボット１が受けた印象を複数種類のニューロン
ＮＲＩ₁〜ＮＲＩ_nで表したものであり、ｎ種類の「印
象」に対応してｎ種類のニューロンＮＲＩ₁〜ＮＲＩ_n
が設定される。この場合、ニューロンＮＲＩ₁〜ＮＲＩ
_nは−∞から＋∞までの数値として表現される。

【００４２】入力層５０Ａにおいて、ニューロンＮＲＩ
₁〜ＮＲＩ_nの内部状態は、そのニューロン（ＮＲＩ₁
〜ＮＲＩ_n）に対応した「印象」が存在する場合には
「１」にセットし、それ以外は全て「０」にセットす
る。例えば、印象モデル部２９から出力される印象デー
タに基づく印象のうち「怒り」という印象が含まれてい
る場合（すなわち、ペットロボット１はユーザの発話や
表情などから「ユーザは怒っている」という印象をもっ
た場合）、入力層５０ＡのニューロンＮＲＩ₁〜ＮＲＩ
_nのうち「怒り」に対応するニューロンＮＲＩ₂の内部
状態のみを「１」にセットする。

【００４３】入力層５０Ａの各ニューロンＮＲＩ₁〜Ｎ
ＲＩ_nは、中間層５０Ｂの各ニューロンＮＲＭ₁〜ＮＲ
Ｍ_kとそれぞれ結線を介して接続されている。すなわち
中間層５０ＢのニューロンＮＲＭ₁〜ＮＲＭ_kの数をｋ
とすると、入力層５０Ａと中間層５０Ｂとの間にはｎ×
ｋ本の結線がある。各結線には、それぞれ独立した所定
の重み係数が設定されており、これら各結線を通過する
データには対応する重み係数が乗じられるようになされ
ている。

【００４４】中間層５０ＢのニューロンＮＲＭ₁〜ＮＲ
Ｍ_kの内部状態は、接続している入力層５０Ａの各ニュ
ーロンＮＲＩ₁〜ＮＲＩ_nの内部状態に対応する重み係
数をそれぞれ乗じ、それらの総和をとったものである。
また、中間層５０ＢのニューロンＮＲＭ₁〜ＮＲＭ_kの
出力は、内部状態に例えばシグモイド関数のような所定
の関数を作用させたものである。

【００４５】出力層５０Ｃにはｍ個のニューロンＮＲＥ
₁〜ＮＲＥ_mがあり、これらはペットロボット１の各感
情とそれぞれ対応している。例えば、１番目のニューロ
ンＮＲＥ₁は「喜び」に対応し、２番目のニューロンＮ
ＲＥ₂は「怒り」に対応し、３番目のニューロンＮＲＥ
₃は「悲しみ」に対応している。また出力層５０Ｃの各
ニューロンＮＲＥ₁〜ＮＲＥ_mは、中間層５０Ｂの各ニ
ューロンＮＲＭ₁〜ＮＲＭ_kとそれぞれ結線を介して接
続されており、当該各結線にはそれぞれ独立した所定の
重み係数が設定されている。

【００４６】なお入力層５０Ａ及び中間層５０Ｂ間と、
中間層５０Ｂ及び出力層５０Ｃ間とにおいて、各ニュー
ロンＮＲＩ₁〜ＮＲＩ_n、ＮＲＭ₁〜ＮＲＭ_k、ＮＲＥ
₁〜ＮＲＥ_m間の重み係数は、ペットロボット１が受け
た印象とペットロボット１の感情との対応パターンから
事前に学習させておくようにする。

【００４７】実際に感情モデル部３０は、印象モデル部
２９からペットロボット１が受けた印象を受け取ると、
上述した階層型ニューラルネットワーク５０を用いて、
当該印象に対応した入力層５０Ａの各ニューロン（ＮＲ
Ｉ₁〜ＮＲＩ_n）の内部状態を「１」にセットすると共
に、それ以外の他のニューロン（ＮＲＩ₁〜ＮＲＩ_n）
の内部状態を「０」にセットする。そして入力層５０Ａ
から中間層５０Ｂ及び続く出力層５０Ｃへと各ニューロ
ン（ＮＲＩ₁〜ＮＲＩ_n、ＮＲＭ₁〜ＮＲＭ_k、ＮＲＥ
₁〜ＮＲＥ_m）の内部状態を伝播させていくことによ
り、当該出力層５０Ｃの各ニューロンＮＲＥ₁〜ＮＲＥ
_mの出力値を比較し、最も大きな値をもつニューロン
（ＮＲＥ₁〜ＮＲＥ_m）に対応した感情をペットロボッ
ト１の新たな感情とする。

【００４８】さらに感情の変化を上述のようにして行う
と、ユーザからの入力がない場合（ユーザが何も発声し
なかったり、ＣＣＤカメラ１６の視界内に存在しなかっ
たりする場合）には、何も変化が起こらなくなる。その
ため時間の経過や過失の履歴などによっても感情の変化
が起こるような機構を設けるようにしても良い。例えば
所定時間入力がない場合は、感情を「ニュートラル」に
戻すといったようなことを行う。この機構は、感情を階
層型ニューラルネットワーク以外の手段で表現した場合
にも適用可能である。

【００４９】なおこの階層型ニューラルネットワーク５
０では、出力層５０Ｃの各ニューロンＮＲＥ₁〜ＮＲＥ
_mの出力値を要素とするｍ次元のベクトルで表すことに
よって、これらｍ次元のベクトルに対応した感情をペッ
トロボット１の新たな感情とするようにしても良い。

【００５０】印象モデル部２９は、図５に示すような階
層型ニューラルネットワーク６０を用いてペットロボッ
ト１が受けた印象を生成するようになされている。この
階層型ニューラルネットワーク６０は、上述したように
入力層６０Ａ、中間層６０Ｂ及び出力層６０Ｃの３層か
らなり、各層６０Ａ〜６０Ｃはそれぞれ所定数のニュー
ロンにより構成されている。

【００５１】入力層６０Ａは（ｉ＋ｊ）個のニューロン
ＮＲＵＥ₁〜ＮＲＵＥ_i、ＮＲＰＥ₁〜ＮＲＰＥ_jを有
し、そのうちｉ個は「ユーザの感情」に対応した数のニ
ューロンＮＲＵＥ₁〜ＮＲＵＥ_iであり、他のｊ個は
「ペットロボット１の現在の感情」に対応した数のニュ
ーロンＮＲＰＥ₁〜ＮＲＰＥ_jである。入力層６０Ａに
おいて、ニューロンＮＲＵＥ₁〜ＮＲＵＥ_i、ＮＲＰＥ
₁〜ＮＲＰＥ_jの内部状態は、そのニューロン（ＮＲＵ
Ｅ₁〜ＮＲＵＥ_i、ＮＲＰＥ₁〜ＮＲＰＥ_j）に対応し
た「ユーザの感情」及び「ペットロボット１の感情」が
存在する場合にはそれぞれ「１」にセットし、それ以外
は全て「０」にセットする。

【００５２】入力層６０Ａの各ニューロンＮＲＵＥ₁〜
ＮＲＵＥ_i、ＮＲＰＥ₁〜ＮＲＰＥ_jは、中間層６０Ｂ
の各ニューロンＮＲＭ₁〜ＮＲＭ_kとそれぞれ結線を介
して接続されている。すなわち中間層６０Ｂのニューロ
ンＮＲＭ₁〜ＮＲＭ_kの数をｋとすると、入力層６０Ａ
と中間層６０Ｂとの間には（ｉ×ｋ＋ｊ×ｋ）本の結線
がある。各結線には、それぞれ独立した所定の重み係数
が設定されており、これら各結線を通過するデータには
対応する重み係数が乗じられるようになされている。

【００５３】中間層６０ＢのニューロンＮＲＭ₁〜ＮＲ
Ｍ_kの内部状態は、接続している入力層６０Ａの各ニュ
ーロンＮＲＵＥ₁〜ＮＲＵＥ_i、ＮＲＰＥ₁〜ＮＲＰＥ
_jの内部状態に対応する重み係数をそれぞれ乗じ、それ
らの総和をとったものである。また、中間層６０Ｂのニ
ューロンＮＲＭ₁〜ＮＲＭ_kの出力は、内部状態に例え
ばシグモイド関数のような所定の関数をかけたものであ
る。

【００５４】出力層６０Ｃにはｎ個のニューロンＮＲＩ
₁〜ＮＲＩ_nがあり、これらはペットロボット１が受け
た印象に対応している。また出力層６０Ｃの各ニューロ
ンＮＲＩ₁〜ＮＲＩ_nは、中間層６０Ｂの各ニューロン
ＮＲＭ₁〜ＮＲＭ_kとそれぞれ結線を介して接続されて
おり、当該各結線にはそれぞれ独立した所定の重み係数
が設定されている。この場合、出力層６０Ｃの各ニュー
ロンＮＲＩ₁〜ＮＲＩ_nは、上述した図４に示す階層型
ニューラルネットワーク５０における入力層５０Ａの各
ニューロンＮＲＩ₁〜ＮＲＩ_nに対応している。

【００５５】実際に印象モデル部２９は、ユーザ感情抽
出部２９Ａにおいて抽出したユーザの感情とペットロボ
ット１の現在の感情とを得ると、階層型ニューラルネッ
トワーク６０を用いて、当該両方の感情に対応した入力
層６０Ａの各ニューロンＮＲＵＥ₁〜ＮＲＵＥ_i、ＮＲ
ＰＥ₁〜ＮＲＰＥ_jの内部状態を「１」にセットすると
共に、それ以外の他のニューロンの内部状態を「０」に
セットする。

【００５６】そして入力層６０Ａから中間層６０Ｂ及び
続く出力層６０Ｃへと各ニューロンＮＲＵＥ₁〜ＮＲＵ
Ｅ_i、ＮＲＰＥ₁〜ＮＲＰＥ_j、ＮＲＭ₁〜ＮＲＭ_k、
ＮＲＩ₁〜ＮＲＩ_nの内部状態を伝播させていくことに
より、当該出力層６０Ｃの各ニューロンＮＲＩ₁〜ＮＲ
Ｉ_nの出力値を比較し、最も大きな値をもつニューロン
（ＮＲＩ₁〜ＮＲＩ_n）に対応した印象をペットロボッ
ト１が受けた印象とする。

【００５７】なおこの階層型ニューラルネットワーク６
０では、出力層６０Ｃの各ニューロンＮＲＥ₁〜ＮＲＥ
_nの出力値を要素とするｎ次元のベクトルで表すことに
よって、これらｎ次元のベクトルに対応した印象をペッ
トロボット１が受けた印象とするようにしても良い。

【００５８】（２）対話機能処理手順ＲＴ１ここでコントローラ１０の制御部２０は、図６に示す対
話機能処理手順ＲＴ１に従ってユーザの感情にペットロ
ボット１の感情を反映させて当該ペットロボット１が受
けた印象を生成した後、当該印象に基づいてペットロボ
ット１の感情及び応答を生成する。

【００５９】すなわち制御部２０は、この一番始めの電
源投入後にこの対話機能処理手順ＲＴ１をステップＳＰ
１において開始し、続くステップＳＰ２においてユーザ
の表情及び発話が入力されたか否かを判断する。

【００６０】このステップＳＰ２において肯定結果を得
ると、このことはマイクロホン１５から入力処理部２１
を介して音声認識解析部２２がユーザの発話を取り込
み、又はＣＣＤカメラ１６を介して画像認識部２３がユ
ーザの顔画像を取り込んだことを表しており、このとき
制御部２０は、ステップＳＰ３に進んで、印象モデル部
２９のユーザ感情抽出部２９Ａにおいて、ユーザの発話
に含まれる感情情報と、ユーザの顔画像のうち感情に関
する表情情報とに基づいて、ユーザの感情を抽出又は推
定する。

【００６１】一方ステップＳＰ２において否定結果を得
ると、制御部２０は、再度ステップＳＰ２に戻り、この
後ステップＳＰ２において肯定結果を得るまでステップ
ＳＰ２のループを繰り返す。

【００６２】やがて制御部２０は、ステップＳＰ４に進
んで、印象モデル部２９のユーザ感情抽出部２９Ａから
抽出又は推定したユーザの感情を、ペットロボット１の
現在の感情と共に、印象モデル部２９の感情フィルタ２
９Ｂをかけることにより、ペットロボット１が受けた印
象を生成させた後、ステップＳＰ５に進む。

【００６３】次いで制御部２０は、このステップＳＰ５
において、ペットロボット１が受けた印象及び過去の対
話履歴や時間等に基づいて、対話管理部２５の対話規則
テーブル２５Ａを参照することにより、当該対話管理部
２５からペットロボット１の新たな感情及び応答を行動
指令情報として受け取った後、ステップＳＰ６に進む。

【００６４】そして制御部２０は、ステップＳＰ６にお
いて、行動指令情報に基づいて、出力生成部２６にペッ
トロボット１の応答分に対応する合成音や動作パターン
を生成させた後、音声出力部２７を介して当該合成音を
出力させると共に、出力生成部２６を介して当該動作パ
ターンに基づいて必要なアクチュエータ１９Ａ〜１９Ｎ
を駆動制御させることにより、ペットロボット１を新た
な感情及び応答に応じた動作又は行動を行わせる。

【００６５】続いて制御部２０は、ステップＳＰ７に進
んで、所定時間対話が中断したか否かを判断し、肯定結
果が得られたとき、そのままステップＳＰ８に進んで当
該対話機能処理手順ＲＴ１を終了する。一方ステップＳ
Ｐ７において否定結果が得られると、制御部２０は、対
話が継続するものと判断して、再度ステップＳＰ２に戻
って上述と同様の処理を繰り返す。

【００６６】（３）具体的な対話機能実行例実際に例えばユーザがペットロボット１に対してニコニ
コとした表情をしながら「かわいいね」と発話した場
合、上述の対話機能処理手順ＲＴ１を実行することによ
り、ペットロボット１が受ける印象が変化し、これに応
じてペットロボット１の感情及び応答も変化する。

【００６７】この場合、「ユーザの感情」を喜怒度で表
し、「ペットロボット１の感情」を躁鬱度及び喜怒度で
表し、「ペットロボットが受けた印象」を称賛度で表す
こととする。これら喜怒度、躁鬱度及び称賛度の度合い
はいずれも正負の値をとるようになされ、例えばペット
ロボットが受けた印象の値である「称賛度」は、正の値
のときは「誉められた」という印象を表し、負の値のと
きは「けなされた」（又は「馬鹿にされた」や「嫌味を
言われた」）という印象を表す。またユーザ及びペット
ロボット１の感情の値である「喜怒度」は、正の値のと
きは「喜んでいる」という感情を表し、負の値のときに
は「怒っている」という感情を表す。

【００６８】ユーザがニコニコした表情をしながら「か
わいいね」という音声を発すると、ペットロボット１
は、頭部ユニット４に設けられたＣＣＤカメラ１６を介
してユーザの顔画像を撮像し、その撮像画像を印象モデ
ル部２９のユーザ感情抽出部２９Ａにおいて処理するこ
とにより、「（表情からすると）ユーザは喜んでいる」
という情報（ユーザの感情）を得る。

【００６９】これと共に、ユーザが発した音声を頭部ユ
ニット４に設けられたマイクロホン１５を介して集音
し、それを音声認識解析部２２において処理することに
より、「かわいいね」という認識結果を得る。その一方
で、音声のイントネーション等の情報を印象モデル部２
９のユーザ感情抽出部２９Ａにおいて処理することによ
り、「（音声からすると）ユーザは喜んでいる」とうい
う情報（ユーザの感情）も得る。その結果、ユーザの感
情である「喜怒度」を正の値にセットする。

【００７０】このように正の値の「喜怒度」として抽出
されたユーザの感情に対して印象モデル部２９の感情フ
ィルタ２９Ｂをかけることにより、ペットロボット１が
受けた印象を「称賛度」として生成する。このときのペ
ットロボット１が受けた印象は、ペットロボット１の躁
鬱度によって異なるものとする。

【００７１】すなわちペットロボット１が躁状態のとき
には、「称賛度」は正の値をとることにより、ペットロ
ボット１は、「ユーザが誉めている」という印象をも
つ。これに対してペットロボット１が鬱状態のときに
は、「称賛度」は負の値をとることにより、ペットロボ
ット１は、「ユーザが嫌味を言っている」という印象を
もつ。

【００７２】このようにしてペットロボット１が受けた
印象が「称賛度」として生成されると、当該印象と上述
の「（表情及び音声からすると）ユーザは喜んでいる」
というユーザの感情とに基づいて、ペットロボット１は
感情及び応答を生成する。このとき生成される応答は、
「称賛度」によって（すなわち、ペットロボット１がど
のような印象をもったかによって）相違がある。

【００７３】ここで対話管理部２５の対話規則テーブル
２６Ａは、図７に示すような入力とこれに対応する応答
（出力）がテーブルとして記述されている。すなわち入
力として「ユーザの発話」と「（ペットロボット１がも
つ）印象」とが記述され、これに対応した応答（出力）
として「（ペットロボット１の）動作」と「（ペットロ
ボット１の）感情変化」（どのような感情に遷移する
か）と「（ペットロボット１の）発話」とが記述されて
いる。

【００７４】この場合、入力側の「称賛度＋／称賛度
−」は、称賛度が正の値／負の値であることをそれぞれ
表す。応答側の「喜怒度＋／喜怒度−」は、喜怒度を正
の値／負の値にセットすることをそれぞれ表す。かくし
て対話規則テーブル２５Ａに従って、ペットロボット１
は、ユーザの発話が同じ「かわいいね」であっても、称
賛度が正か負かによって以下の通り２通りの応答をす
る。

【００７５】まず「称賛度」が正の場合、ペットロボッ
ト１は、「喜んでいる」ことを表す仕種を行うと共に、
「ありがとう」という音声を合成し、「喜怒度」を正の
値にセットし又は現在値から増加させる。これに対して
「称賛度」が負の場合、ペットロボット１は、「怒って
いる」ことを表す仕種を行うと共に、「どうせ嘘でし
ょ」という音声を合成し、「喜怒度」を負の値にセット
し又は現在値から減少させる。この結果、応答時の感情
変化の際にペットロボット１の現在の感情を反映させる
ことができる。

【００７６】以上のようにしてユーザから同一の入力
（ユーザの発話及び又は表情）があっても、そのときの
ペットロボット１の感情によって異なる印象が生成さ
れ、結果として異なる応答をするペットロボット１を実
現することができる。

【００７７】（４）本実施の形態による動作及び効果以上の構成において、このペットロボット１では、図８
に示すように、ユーザの発話及び表情からユーザの感情
を抽出又は推定した後、当該ユーザの感情及びペットロ
ボット１の現在の感情に基づいて、ペットロボット１が
受けた印象を生成することにより、当該印象にペットロ
ボット１の現在の感情を反映させることができる。

【００７８】この結果、図９に示すように、ペットロボ
ット１が受けた印象及び必要に応じて過去の対話履歴や
時間に基づいて、ペットロボット１の新たな感情及び応
答を生成することにより、当該新たな感情及び応答をあ
たかも本物の動物と対話しているかのごとく変化させる
ことができる。

【００７９】以上の構成によれば、このペットロボット
１において、ユーザの発話及び表情に基づくユーザの感
情のみならず、ペットロボット１の現在の感情をも反映
させて、ペットロボット１が受けた印象を生成するよう
にしたことにより、当該ユーザの感情が同一であって
も、ペットロボット１の現在の感情に応じてペットロボ
ット１は異なった印象を生成し、この結果、当該印象に
基づいて生成される新たな感情及び応答をあたかも本物
の動物と対話しているかのごとく変化させることがで
き、かくしてアミューズメント性を格段と向上し得るペ
ットロボット１を実現できる。

【００８０】（５）他の実施の形態なお上述の実施の形態においては、ペットロボット１の
感情の内部表現及び感情の変化を図４における階層型ニ
ューロネットワーク５０を適用して行うようにした場合
について述べたが、本発明はこれに限らず、この他にも
状態遷移モデルやイメージスケール等の種々の手法を用
いて行うようにしても良い。

【００８１】まず状態遷移モデルを用いて感情を表現す
る場合、かかる状態遷移モデル７０は、図１０に示すよ
うに、例えば３つの状態はペットロボットの感情に対応
しており、各状態ごとに入力である「ペットロボット１
が受けた印象」と遷移先、さらに遷移確率が定義されて
いる。例えば現在の状態が「感情１」であり、そのとき
の入力が「印象３」であるとき、ｐ₁,₃の遷移確率で
「感情３」という状態に遷移する。図１０において、
「感情ｍ」から「感情ｎ」へｐ_m,nの遷移確率で遷移す
ることを表している。

【００８２】このように状態遷移モデル７０において、
各感情を状態として表しておき、入力された印象に応じ
て対応する遷移確率で他の状態に遷移するにして、ペッ
トロボット１の感情の内部表現及び感情の変化を行うよ
うにしても良い。なおこの遷移確率は、ペットロボット
１が受けた印象とペットロボット１の感情との対応パタ
ーンから統計的に計算したり、又は人間が演繹的に決定
するようにしても良い。

【００８３】さらにイメージスケールを用いて感情を表
現する場合、かかるイメージスケールは、感情や感性と
いった概念は、その中に例えば「明るい／暗い」、「躁
／鬱」、「外向的／内向的」などの様々な尺度を含むこ
とから、これらの尺度のうちのｎ個を座標軸としてｎ次
元空間（軸が２本なら平面）を構成したものであり、感
情や感性は当該ｎ次元空間の中のある領域を占めること
になる。

【００８４】図１１に示すようなイメージスケール８０
は、縦軸を内向的及び外向的で表すと共に横軸を躁状態
及び鬱状態で表した２本の座標軸で構成される平面の上
で各感情を表現したものであり、この座標軸を用いて、
ペットロボット１の現在の感情も同じ平面上の点として
表わすことができる。図１１においてペットロボット１
の現在の感情を表すポイントＰ_Aは、「感情３」の領域
内部にあることから、ペットロボット１の現在の感情は
「感情３」となる。

【００８５】一方、印象モデル部２９によって生成され
た「印象」からは、イメージスケール８０に用いた尺度
と同じものを成分とするベクトル（以下、これを印象ベ
クトルと呼ぶ）Ｂ_Iを生成することができる。ペットロ
ボット１の感情の変化は、現在の感情を表すポイントＰ
_Aに対応してｋ×Ｂ_I（ｋは適当な正の数）分だけ移動
させたポイントＰ_Bとなり、当該ポイントＰ_Bが新たに
変化した感情を表すこととなる。

【００８６】このポイントＰ_Bは、「感情５」の領域内
部にあることから、ペットロボット１の感情は、印象ベ
クトルＢ_Iに応じて「感情３」から「感情５」へと変化
したことを表している。

【００８７】このように特定の軸（内外向的、躁鬱状
態）から構成されるイメージスケール８０上で感情の分
布を示しておき、入力された印象ベクトルＢ_Iに応じて
現在の感情から新たな感情へと移動させるようにして、
ペットロボット１の感情の内部表現及び感情の変化を行
うようにしても良い。

【００８８】また上述の実施の形態においては、ペット
ロボット１が受けた印象を図１２における階層型ニュー
ロネットワークを適用して生成するようにした場合につ
いて述べたが、本発明はこれに限らず、いわゆるｉｆ−
ｔｈｅｎルール等の種々の手法を用いて生成するように
しても良い。

【００８９】この場合、ｉｆ−ｔｈｅｎルールは、各感
情や各印象の度合いを、例えば「躁鬱の度合い」、「叱
咤の度合い」及び「励ましの度合い」などのように表現
し、これらの度合いを正負両方の値をもつような変数で
表しておき、これら変数を用いて記述されるものであ
る。

【００９０】例えば「叱咤の度合い」をユーザの感情を
表す変数とし、「躁鬱の度合い」をペットロボット１の
感情を表す変数とし、「励ましの度合い」をペットロボ
ット１が受けた印象を表す変数とし、ｋを変数としたと
き、ｉｆ−ｔｈｅｎルールは、図１３に示すように記述
される。これは、ユーザがペットロボット１を叱りつけ
た場合、ペットロボット１が躁状態のときはそれを「励
まし」という印象を受けるが、鬱状態のときは「やる気
を削ぐもの」という印象を受ける、といったことを記述
したルールである。

【００９１】具体的にかかるｉｆ−ｔｈｅｎルールを説
明すると、まず「叱咤の度合い＞０」は、ユーザの発話
や表情に「叱っている」ことを表す要素が含まれている
ことを表している。例えば、文末が「〜しろ」、「〜す
るな」のような強い命令形になっていたり、いわゆる
「語調を強めた言い方」になっていたり、表情が「厳し
く」なっている場合が該当する。

【００９２】また「躁鬱の度合い＞０」は、ペットロボ
ットは躁状態である（うきうきしている）ことを表して
いる。さらに「励ましの度合い＝ｋ×叱咤の度合い」
は、ペットロボットは「励まされた」という印象を受け
たことを表しており、この場合、「励ましの度合い＞
０」である。さらに「躁鬱の度合い＜０」は、ペットロ
ボットは鬱状態である（落ち込んでいる）ことを表して
いる。さらに「励ましの度合い＝−ｋ×叱咤の度合い」
は、ペットロボット１は「やる気を削がれた」という印
象を受けた（ユーザがした叱咤を「やる気を削ぐための
もの」だと言った）ことを表しており、この場合、「励
ましの度合い＜０」である。

【００９３】なお「励ましの度合い＝ｋ×叱咤の度合
い」の代わりに、「励ましの度合い＝励ましの度合い＋
ｋ×叱咤の度合い」のように記述すると、新たな印象の
度合い（「励まし合い」）は今までの度合いをある程度
反映したものになる。こうすると、「一度持った印象
は、そう簡単には変化しない」といったことも表現する
ことができる。

【００９４】このようにｉｆ−ｔｈｅｎルールを用い
て、ユーザの感情とペットロボット１の感情とに基づい
て、ペットロボット１が受けた印象を生成するようにし
ても良い。

【００９５】さらに上述の実施の形態においては、外部
状況に応じて変化させる感情を有し、当該感情の状態に
応じた行動を生成するロボット装置として、図１のよう
に構成された４足歩行型のロボットを適用するようにし
た場合について述べたが、本発明はこれに限らず、この
他種々の構成のロボット装置に広く適用することができ
る。例えばヒューマノイド型ロボットに応用すること
で、人間らしい感情変化や応答をする対話ロボットを作
ることができる。

【００９６】この場合において上述の実施の形態では、
外部状況を検出する外部状況検出手段として、頭部ユニ
ット４に設けられたマイクロホン１５、ＣＣＤカメラ１
６及びタッチパネル１７並びにコントローラ１０内の入
力処理部２１、音声認識解析部２２及び画像認識部２３
を適用した場合について述べたが、本発明はこれに限ら
ず、外部状況検出手段としては本発明を適用するロボッ
ト装置の形態に応じてこの他種々の構成を適用すること
ができる。

【００９７】またこの場合においては、外部状況に対す
る印象を生成する印象生成手段として、コントローラ１
０内の印象モデル部２９（ユーザ感情抽出部２９Ａ及び
感情フィルタ２９Ｂ）を適用した場合について述べた
が、本発明はこれに限らず、要は、外部状況に対する印
象を生成することができれば、現在の感情を外部状況に
反映させるようにしても良く、印象生成手段としては本
発明を適用するロボット装置の形態に応じてこの他種々
の構成を適用することができる。

【００９８】また印象モデル部２９の感情フィルタ２９
Ｂをユーザの感情に対してかけるようにしたが、それ以
外の外界情報に対してもかけるようにしても良い。例え
ばＣＣＤカメラ１６から得られる撮像結果に感情フィル
タ２９Ｂをかけて、感情変化手段において画像の明度及
び又は色相等を変化させることにより、「落ち込んでい
るときは、周囲の風景まで暗く見える」、「うきうきし
ているときは周囲がバラ色に見える」といったことを表
現するようにしても良い。またマイクロホン１５のゲイ
ンに感情フィルタ２９Ｂをかけて、感情変化手段におい
て「ペットロボット１が何かに熱中しているときは、ユ
ーザが呼びかけてもなかなか反応しない」といったこと
も表現できる。

【００９９】さらにこの場合においては、印象に基づい
て感情を変化させる感情変化手段として、コントローラ
１０内の感情モデル部３０を適用した場合について述べ
たが、本発明はこれに限らず、印象に加えて過去の履歴
及び又は時間に基づいて感情変化させるようにしても良
く、感情変化手段としては本発明を適用するロボット装
置の形態に応じてこの他種々の構成を適用することがで
きる。

【０１００】

【発明の効果】上述のように本発明によれば、外部状況
に応じて変化させる感情を有し、当該感情の状態に応じ
た行動を生成するロボット装置において、外部状況を検
出する外部状況検出手段と、外部状況検出手段の検出結
果に基づいて、外部状況に対する印象を生成する印象生
成手段と、印象生成手段により生成された印象に基づい
て感情を変化させる感情変化手段とを設けるようにした
ことにより、外部状況に対する印象に基づいて、新たな
感情をあたかも本物の動物や人間がもつ感情のように変
化させることができ、かくしてアミューズメント性を格
段と向上し得るロボット装置を実現することができる。

【０１０１】また本発明によれば、外部状況に応じて変
化させる感情を有し、当該感情の状態に応じた行動を生
成するロボット方法において、外部状況を検出した後、
当該検出結果に基づいて、外部状況に対する印象を生成
し、さらに当該生成された印象に基づいて感情を変化さ
せるようにしたことにより、外部状況に対する印象に基
づいて、新たな感情をあたかも本物の動物や人間がもつ
感情のように変化させることができ、かくしてアミュー
ズメント性を格段と向上し得るロボット装置の制御方法
を実現することができる。

【図面の簡単な説明】

【図１】本実施の形態によるペットロボットの外観構成
を示す斜視図である。

【図２】本実施の形態によるペットロボットの回路構成
を示すブロック図である。

【図３】対話機能に関するコントローラの処理の説明に
供するブロック図である。

【図４】ニューラルネットワークによる感情表現及び感
情遷移の説明に供する略線図である。

【図５】ニューラルネットワークによる感情フィルタの
説明に供する略線図である。

【図６】対話機能処理手順の説明に供するフローチャー
トである。

【図７】対話規則テーブルを示す図表である。

【図８】ペットロボットが受けた印象生成の説明に供す
る略線図である。

【図９】印象を反映した応答・感情生成の説明に供する
略線図である。

【図１０】他の実施の形態による状態遷移モデルによる
感情表現及び感情遷移の説明に供する略線図である。

【図１１】他の実施の形態によるイメージスケールによ
る感情表現及び感情遷移の説明に供する略線図である。

【図１２】他の実施の形態によるｉｆ−ｔｈｅｎルール
の説明に供する略線図である。

【図１３】従来の感情抽出の説明に供する略線図であ
る。

【図１４】従来の応答・感情生成の説明に供する略線図
である。

【符号の説明】

１……ペットロボット、２……胴体部ユニット、３Ａ〜
３Ｄ……脚部ユニット、４……頭部ユニット、５……尻
尾部ユニット、１０……コントローラ、１５……マイク
ロホン、１６……ＣＣＤカメラ、１７……タッチセン
サ、１８……スピーカ、１９Ａ〜１９Ｎ……アクチュエ
ータ、２０……制御部、２１……入力処理部、２２……
音声認識解析部、２３……画像認識部、２５……対話管
理部、２９……印象モデル部、２９Ａ……ユーザ感情抽
出部、２９Ｂ……感情フィルタ、３０……感情モデル
部、５０、６０……階層型ニューラルネットワーク。

───────────────────────────────────────────────────── フロントページの続き (72)発明者岸秀樹東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者表雅則東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者田島和彦東京都品川区北品川６丁目７番35号ソニー株式会社内 (72)発明者武田正資東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 2C150 BA06 CA01 CA02 DA04 DA05 DA24 DA26 DA27 DA28 DF03 DF04 DF06 DF33 ED42 ED52 EF03 EF13 EF16 EF23 EF29 EF33 EF36 3F059 AA00 BB06 DA05 DA07 DB04 DC00 DC01 FC00 3F060 AA00 BA10 CA14 5B049 AA00 BB07 DD03 EE01 EE03 EE07 FF06

Claims

【特許請求の範囲】

【請求項１】外部状況に応じて変化させる感情を有し、
当該感情の状態に応じた行動を生成するロボット装置に
おいて、上記外部状況を検出する外部状況検出手段と、上記外部状況検出手段の検出結果に基づいて、上記外部
状況に対する印象を生成する印象生成手段と、上記印象生成手段により生成された上記印象に基づいて
上記感情を変化させる感情変化手段とを具えることを特
徴とするロボット装置。
【請求項２】上記印象生成手段は、上記外部状況検出手段の検出結果に加えて、現在の感情
に基づいて上記印象を生成することを特徴とする請求項
１に記載のロボット装置。
【請求項３】上記感情変化手段は、上記印象に加えて、過去の履歴及び又は時間に基づいて
上記感情変化させることを特徴とする請求項１に記載の
ロボット装置。
【請求項４】外部状況に応じて変化させる感情を有し、
当該感情の状態に応じた行動を生成するロボット方法に
おいて、上記外部状況を検出する第１のステップと、上記検出結果に基づいて、上記外部状況に対する印象を
生成する第２のステップと、上記生成された上記印象に基づいて上記感情を変化させ
る第３のステップとを具えることを特徴とするロボット
装置の制御方法。
【請求項５】上記第２のステップでは、上記外部状況の検出結果に加えて、現在の感情に基づい
て上記印象を生成することを特徴とする請求項４に記載
のロボット装置の制御方法。
【請求項６】上記第３のステップでは、上記印象に加えて、過去の履歴及び又は時間に基づいて
上記感情変化させることを特徴とする請求項４に記載の
ロボット装置の制御方法。