JP2019023835A - 感情表現装置、方法およびプログラム - Google Patents

Abstract

【課題】人間や動物等の生物の姿を模倣するのではない手段または方法で感情を表現することを可能にする。
【解決手段】アニメーションにより表示パターンを変化させることが可能な図形をバーチャルエージェントとして用いている。そして、周囲の状況に対応したシステムの感情を感情決定装置１により決定し、感情表現制御装置２により、上記決定された感情を、波形変化として表した感情表現関数に変換したのち、当該感情表現関数をもとにアニメーションデータを生成し、このアニメーションデータにより上記図形を変化させることにより、上記システムの感情を表現するようにしたものである。
【選択図】図２

Description

この発明は、エージェントを用いて感情を表現するための感情表現装置、方法およびプログラムに関する。

近年、人間や動物の動きや表情、声等を模倣して感情を表現するロボットやバーチャルエージェント（以下エージェントと呼ぶ）の研究が多く行われている。また、人間や動物の姿を模倣するのではなく、飛行型ロボットの移動の軌道によって感情を表現する研究も行われている（例えば特許文献１を参照）。

特開２０１６−２２４７６１号公報

しかし、人間や動物の動きや表情、音声などを模倣して感情を表現する感情表現の実装方法は、各エージェントのアクチュエータの制約に基づいて設計する必要があり、開発コストが高くなる。また、飛行型ロボットのように人間や動物等の生物の姿を模倣していないエージェントの場合には、生物の身体動作の模倣による感情表現を行うことができない。

この発明は上記事情に着目してなされたもので、その目的とするところは、人間や動物等の生物を模倣するのではない手段または方法で感情を表現することを可能にした感情表現装置、方法およびプログラムを提供することにある。

上記目的を達成するためにこの発明は、図形あるいはロボットといった感情表現体を、感情に依存した表現パターンを感情表現関数に基づいて制御することで、感情を表現する。より具体的には、図形の表示パターンを制御する、あるいは、ロボットの動作パターンを制御するといったことで感情を表現する。

この発明によれば、人間や動物等の生物を模倣するのではない手段または手法で感情を表現することを可能にした感情表現装置、方法およびプログラムを提供することができる。

この発明の第１の実施形態に係る感情表現装置を構成するシステムの全体構成を示す図。 図１に示したシステムの感情決定装置および感情表現制御装置の機能構成を示すブロック図。 図２に示した感情決定装置および感情表現制御装置の処理手順と処理内容を示すフローチャート。 図２に示した感情表現制御装置において使用される感情表現関数の一例を示す図。 感情をエージェントの表示パターンを変えることで表現する場合の第１の表示例を示す図。 感情をエージェントの表示パターンを変えることで表現する場合の第２の表示例を示す図。 感情をエージェントの表示パターンを変えることで表現する場合の第３の表示例を示す図。 感情をエージェントの表示パターンを変えることで表現する場合の第４の表示例を示す図。 この発明の第２の実施形態に係る感情表現装置を構成するシステムの全体構成を示す図。 図９に示したシステムの感情決定・表現制御装置の機能構成を示すブロック図。 図１０に示した感情決定・表現制御装置の処理手順と処理内容を示すフローチャート。 この発明の第３の実施形態に係る感情表現装置を構成するシステムの全体構成を示す図。 図１２に示したシステムの感情表現制御装置の機能構成を示すブロック図。 図１３に示した感情表現制御装置の処理手順と処理内容を示すフローチャート。 この発明の第４の実施形態に係る感情表現装置を構成するシステムの全体構成を示す図。 図１５に示したシステムの感情表現制御装置の機能構成を示すブロック図。 図１６に示した感情表現制御装置の処理手順と処理内容を示すフローチャート。 この発明の第５の実施形態に係る感情表現装置を構成するシステムの全体構成を示す図。 図１８に示したシステムの感情決定・表現制御装置の機能構成を示すブロック図。 図１９に示した感情決定・表現制御装置の処理手順と処理内容を示すフローチャート。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［第１の実施形態］
この発明の第１の実施形態に係る感情表現装置は、人や動物等の生物の動きや表情、音声を模倣するのではないバーチャルエージェントとして、アニメーションにより表示パターンを変化させることが可能な図形（キャラクタや幾何学図形など）を用い、周囲の状況に対応した感情を決定し、この決定された感情に対応する感情表現関数を用いてアニメーションデータを生成し、このアニメーションデータにより上記図形を変化させることで、キャラクタ動作などを詳細に設計することなく、上記感情を表現するようにしたものである。

（構成）
図１は、この発明の第１の実施形態に係る感情表現装置のシステム構成を示すもので、感情表現装置は、感情決定装置１と、感情表現制御装置２と、表示デバイス３とを備えている。

感情決定装置１は、周囲の状況に応じたシステムの感情を決定するもので、例えばパーソナルコンピュータ、スマートフォン、タブレット型端末又はマイクロコンピュータを備えた専用装置により構成される。感情表現制御装置２は、上記感情決定装置１により決定された感情をバーチャルエージェントＡＧ１としての図形の変化により表現するためのアニメーションデータを生成するもので、この感情表現制御装置２もパーソナルコンピュータ、スマートフォン、タブレット型端末又はマイクロコンピュータを備えた専用装置により構成される。表示デバイス３は、ディスプレイや投影装置（プロジェクタ）からなり、上記感情表現制御装置２により生成されたアニメーションデータに従いバーチャルエージェントＡＧ１の図形を表示する。なお、感情決定装置１、感情表現制御装置２、および表示デバイス３は１個の装置により構成することも可能である。

図２は、上記感情決定装置１および感情表現制御装置２の機能構成を示すブロック図である。感情決定装置１は、複数のセンサ１１と、センサインタフェース部１２と、制御部１３と、感情対応表記憶部１４と、通信インタフェース部１５とを備えている。

センサ１１は、マイクロフォン、カメラ、超音波センサ、位置センサ、デプスセンサ等を含み、周囲の音声、画像、周辺に立つ人との距離などの周囲の状況を検出する。なお、センサ１１は、温度センサや湿度センサ等の気象センサ、周辺に存在する人が要求等を入力するスイッチ類を備えるようにしてもよい。

センサインタフェース部１２は、上記センサ１１から出力されたセンサデータを制御部１３が取り扱うことが可能なデータ形式に変換する。

感情対応表記憶部１４には感情対応表を表すデータが記憶されている。感情対応表は、センサ１１により検出される周囲の複数種類の状況を表す情報と、当該周囲の各状況に対応する感情を表す情報とを関連付けたもので、詳細は後述する。

制御部１３は、ＣＰＵ（Central Processing Unit）等と呼ばれるプロセッサを有し、本実施形態に係る制御機能として、センサデータ取得制御部１３１と、感情決定部１３２と、送信制御部１３３とを有している。これらの制御機能は、いずれも図示しないプログラムメモリに格納されたプログラムを上記プロセッサに実行させることにより実現される。

センサデータ取得制御部１３１は、上記センサ１１から出力されるセンサデータを定期的又は任意のタイミングで上記センサインタフェース部１２を介して取り込み、図示しないセンサデータ記憶部に記憶させる。

感情決定部１３２は、上記センサデータ取得制御部１３１により取り込んだセンサデータから周囲の状況を表す特徴量を算出し、この算出した特徴量と感情対応表記憶部１４に記憶された感情対応表のデータとに基づいて上記周囲の状況に対応する感情を決定し、その識別情報（感情ＩＤ）を出力する。

送信制御部１３３は、上記感情決定部１３２から出力された感情ＩＤを、通信インタフェース部１５から感情表現制御装置２へ送信するための制御を行う。通信インタフェース部１５は、例えばBluetooth（登録商標）等の小電力無線データ伝送方式を使用してデータの送受信を行う。

感情表現制御装置２は、通信インタフェース部２１と、制御部２２と、感情表現関数記憶部２３と、表示インタフェース部２４とを備えている。

通信インタフェース部２１は上記感情決定装置１との間でデータを送受信するもので、伝送方式としては上記通信インタフェース部１５と同様にBluetooth（登録商標）等の小電力無線データ伝送方式を使用している。

感情表現関数記憶部２３には、複数種類の感情を図形のアニメーションを用いて表現するために予め設定された関数式が、感情ＩＤに関連付けて記憶されている。この感情表現のための関数式については後に詳しく述べる。

制御部２２は、ＣＰＵ（Central Processing Unit）等と呼ばれるプロセッサを有し、本実施形態に係る制御機能として、受信制御部２２１と、アニメーションデータ生成部２２２と、表示制御部２２３とを有している。これらの制御機能は、いずれも図示しないプログラムメモリに格納されたプログラムを上記プロセッサに実行させることにより実現される。

受信制御部２２１は、上記感情決定装置１から送信される感情ＩＤを通信インタフェース部２１を介して受信し、受信した感情ＩＤをアニメーションデータ生成部２２２へ出力する。

アニメーションデータ生成部２２２は、上記受信制御部２２１から出力された感情ＩＤに対応する感情表現関数式を感情表現関数記憶部２３から読み出し、この関数式に応じてバーチャルエージェントＡＧ１としての図形の表示パターン（例えば大きさ）を変化させるためのアニメーションデータを生成する。

表示制御部２２３は、上記アニメーションデータ生成部２２２により生成されたアニメーションデータに従いバーチャルエージェントＡＧ１を表す図形を表示するための表示データを生成し、当該表示データを表示インタフェース部２４から表示デバイス３へ出力して表示させる。

（動作）
次に、以上のように構成された感情決定装置１および感情表現制御装置２の動作を説明する。
図３は、感情決定装置１および感情表現制御装置２の処理手順と処理内容を示すフローチャートである。

（１）感情の決定
感情決定装置１は、センサデータ取得制御部１３１の制御の下で、ステップＳ１１により、複数のセンサ１１から出力されるセンサデータをセンサインタフェース部１２を介して取得する。次に感情決定部１３２の制御の下、先ずステップＳ１２により上記取得されたセンサデータから周囲の状況を表す特徴量を抽出し、抽出した特徴量をもとに周囲の状況を判定する。

例えば、いまオフィスの受付システムや店舗での接客をバーチャルエージェントＡＧ１が行う場合を想定する。この場合感情決定装置１は、カメラにより得られる画像データから画像のパターン認識技術を用いて、客の画像パターンを特徴量として抽出する。そして、上記抽出した画像パターンをもとに、周辺に客が存在するか否かを判定する。また、距離センサのセンサデータをもとに周囲に存在する客との距離を特徴量として算出する。そして、この算出した距離をもとに客が近づいてきたか遠ざかったかを判定する。さらに、マイクロフォンにより検出された客の音声から音声認識技術を用いて発話内容を特徴量として認識する。そして、認識した発話内容から客が怒っているか、迷っているか、喜んでいるか等の客の状態を判定する。

なお、上記カメラの画像データやマイクロフォンの音声データ等から客の数を表す特徴量を抽出し、これらの特徴量をもとに店内の混雑状況等を判定するようにしてもよい。また、画像データから表情を解析して客の感情を推定するようにしてもよい。その他、気象センサのセンサデータから温度や湿度の特徴量を抽出し、この特徴量をもとに周囲が暑いか寒いか等の環境に関する情報を判定するようにしてもよい。

続いて感情決定部１３２は、ステップＳ１３において、上記ステップＳ１２による周囲の状況の判定結果と、感情対応表記憶部１４に記憶された感情対応表とに基づいて、上記周囲の状況に応じてシステムの感情を決定する。

感情は、例えばラッセルの円環モデルを用いて定義される。ラッセルの円環モデルとは、「喜び」、「怒り」、「悲しみ」等の感情を、「快−不快」および「活性−不活性」の二軸で表現した二次元座標平面にマッピングしたものである。感情対応表には、上記定義された感情の識別情報（感情ＩＤ）と、周囲の状況を表す情報とを、例えばオペレータの入力設定操作により事前に対応付ける。

例えば、周囲に客がいないことを示す判定結果には、エージェントが客を待っている振る舞いを表現するために、感情として「ほのぼの」を対応付ける。また、客が近づいてきたことを示す判定結果に対しては、エージェントが客を歓迎する振る舞いを表現するために、感情として「喜び」を対応付ける。さらに、客が話す内容が怒っている内容であることを示す判定結果に対しては、エージェントがお詫びの意を示している振る舞いを表現するために、感情として「悲しい」を対応付ける。

感情決定部１３２は、上記ステップＳ１２により得られた周囲の状況の判定結果を表す情報をもとに、感情対応表記憶部１４から対応する感情ＩＤを読み出す。

感情決定装置１は、次に送信制御部１３３の制御の下で、ステップＳ１４において、上記感情決定部１３２により感情対応表から読み出された感情ＩＤを、通信インタフェース部１５から感情表現制御装置２へ送信する。

（２）感情表現の制御
感情表現制御装置２は、先ず受信制御部２２１の制御の下、ステップＳ１５において、上記感情決定装置１から送信された感情ＩＤを通信インタフェース部２１を介して受信する。

感情表現制御装置２は、次にアニメーションデータ生成部２２２の制御の下、ステップＳ１６により、感情表現関数記憶部２３から上記感情ＩＤに対応する感情表現関数を読み出す。

感情表現関数記憶部２３には、先にラッセルの円環モデルに基づいて定義された複数の感情の感情ＩＤに対応付けて、当該感情をバーチャルエージェントＡＧ１としての図形の時系列変化（周期と振幅の変化）により表現するための関数式が記憶されている。図４は感情とそれに対応する感情表現関数との対応関係の一例を示すものである。感情表現関数におけるｒ−baseは図形の元の大きさ、ｒは伸縮の振幅、ｔは時間、Ｔは周期、ｘ(t) は時刻ｔの時の図形の大きさを表す。周期Ｔおよび振幅ｒは、感情を喚起させるような周期（心拍、呼吸、筋肉のふるえ等の周期に近い周期）および振幅とする。

例えば、「喜び」の感情は、バーチャルエージェントＡＧ１を示す図形（円）の大きさを、図４に図示する三角波に基づいて変化させることによって表現する。「わくわく」の感情は、図形（円）の大きさを、図４に図示するノコギリ波に基づいて変化させることによって表現する。「恐怖」の感情についても、図形（円）の大きさを、図４に図示するノコギリ波に基づいて変化させることによって表現する。「怒り」の感情については、図形（円）の大きさを、図４に図示する正弦波と余弦波の積に基づいて変化させることによって表現する。「悲しい」の感情については、図形（円）の大きさを、図４に図示する正弦波と余弦波の積に基づいて変化させることによって表現する。「眠い」の感情については、図形（円）の大きさを、図４に図示する正弦波に基づいて変化させることによって表現する。「ほのぼの」の表現については、図形（円）の大きさを、図４に図示する正弦波と余弦波の積に基づいて変化させることによって表現する。

ここで、図４における「わくわく」と「恐怖」の感情表現関数は同一の式となっているが、係数が異なる。このように、同一の感情表現関数であっても、周期等の係数を変えることによって異なる感情を表現することができる。

なお、上記例では、三角波、ノコギリ波、正弦波、及び正弦波と余弦波の積により各感情を表現したが、上記バーチャルエージェントＡＧ１を見る人がシステムの感情を想起できるのであれば、上記の波形ではなく矩形波等の他の波形を用いても構わないし、上記記載の感情以外の感情表現があってもよい。また、上記例では図４に記載の通りに各感情と各波形を対応付けたが、各波形に対応付けられる感情は上記の限りではない。

アニメーションデータ生成部２２２は、続いてステップＳ１７において、上記感情表現関数記憶部２３から読み出された感情表現関数に基づいて、バーチャルエージェントＡＧ１の図形の表示パターン（例えば大きさ）を変化させるためのアニメーションデータを生成する。

感情表現制御装置２は、表示制御部２２３の制御の下、ステップＳ１８において、上記生成されたアニメーションデータを表示インタフェース部２４から表示デバイス３へ出力する。この結果、表示デバイス３には、大きさがアニメーションにより変化する図形がバーチャルエージェントＡＧ１として表示される。

（３）バーチャルエージェントの表示例
上記バーチャルエージェントＡＧ１の表示例には、以下のようなものが考えられる。
（３−１）図５は第１の表示例を示すものである。第１の表示例は、アニメーション動作しない写真やキャラクタ画像ＡＧ２の背面側に、図形（円）からなるバーチャルエージェントＡＧ１を表示し、このバーチャルエージェントＡＧ１の大きさをアニメーションデータに従い変化させるようにしたものである。

ただ単に図形（円）のみを表示させた場合、客はこの図形の大きさの変化をシステムの感情として認識することに違和感を覚えるかも知れない。しかしながら、第１の表示例のようにキャラクタ画像を配置することで、キャラクタ自体は変化しなくても、客にあたかもキャラクタが感情を表現しているかのように錯覚させることが可能となる。

（３−２）図６は第２の表示例を示すものである。第２の表示例は、表示デバイス３の前面側にそれ自体は動かないぬいぐるみや人形などのロボットＲＢ１を配置した状態で、表示デバイス３の表示画面に図形（円）からなるバーチャルエージェントＡＧ１を表示し、このバーチャルエージェントＡＧ１の大きさをアニメーションデータに応じて変化させるようにしたものである。

この第２の表示例においても、第１の表示例と同様に、ロボットＲＢ１自体は変化しなくても、客に対しあたかもロボットＲＢ１が感情を表現しているかのように錯覚させることが可能となる。

（３−３）図７は第３の表示例を示すものである。第３の表示例は、表示デバイスとして投影装置（ビデオプロジェクタ）２０を使用し、それ自体は動かないロボットＲＢ１を例えば壁面の前に配置し、当該壁面に上記投影装置２０によりバーチャルエージェントＡＧ１としての図形（円）のアニメーション画像を投影するようにしたものである。

この第３の表示例によれば、高価なディスプレイを不要にしてシステムのコストダウンを図ることができ、また表示デバイスの設置場所の制約を受けることもなくなる。さらに、第３の表示例においても上記第２の表示例と同様に、ロボットＲＢ１自体は変化しなくても、客に対しあたかもロボットＲＢ１が感情を表現しているかのように錯覚させることが可能となる。

（３−４）図８は第４の表示例を示すものである。第４の表示例は、表示デバイスとして投影装置（ビデオプロジェクタ）２０を使用し、それ自体は動かないぬいぐるみや人形などのロボットＲＢ１の体の表面に、上記投影装置２０によりバーチャルエージェントＡＧ１としての図形（ハート型）のアニメーション画像を投影するようにしたものである。

この第４の表示例によれば、システムの感情が、ロボットＲＢ１の体の表面に表示されるハート画像の大きさの変化として表現される。このため、客は上記ハート画像の変化により、システムの感情をロボットＲＢ１の感情と錯覚して違和感なく認識することが可能となる。

（４）変形例
以上の説明では、バーチャルエージェントＡＧ１としての図形（円）の大きさを変化させることでシステムの感情を変化させるようにしたが、図形（円）の形状や色等を変化させたり、図形の移動パターンによりシステムの感情を表現するようにしてもよい。また、バーチャルエージェントＡＧ１としての図形は円形に限るものではなく、矩形、多角形、楕円形、球形等のその他の幾何学図形、または人間や動物の姿をしたキャラクタであってもよく、またこれらの形状を組み合わせたものであってもよい。

（効果）
以上述べたように第１の実施形態では、アニメーションにより表示パターンを変化させることが可能な図形をバーチャルエージェントＡＧ１として用いている。そして、周囲の状況に対応したシステムの感情を感情決定装置１により決定し、感情表現制御装置２により、上記決定された感情を、波形変化として表した感情表現関数に変換したのち、当該感情表現関数をもとにアニメーションデータを生成し、このアニメーションデータにより上記図形を変化させることにより、上記システムの感情を表現するようにしている。

従って、バーチャルエージェントが人間や動物等の生物の体の動きや表情、音声等を模倣することで感情を表現する手段を持っていなくても、周囲の状況に応じたシステムの感情を表現することができ、これによりシステムのバーチャルエージェントＡＧ１と人とがインタラクションする際のノンバーバルコミュニケーションを助長することが可能となる。

［第２の実施形態］
この発明の第２の実施形態は、人や動物等の生物の動きや表情、音声等を模倣しないバーチャルエージェントとして、アニメーションにより表示パターンを変化させることが可能な図形を用いる点は第１の実施形態と同様である。第１の実施形態と異なる点は、ネットワークを介して相互に通信が可能なユーザ端末間で、それぞれのユーザの感情をセンサデータにより推定する。そして、この推定されたユーザの感情を、波形変化として表した感情表現関数に変換したのち、当該感情表現関数をもとにアニメーションデータを生成し、このアニメーションデータにより上記ユーザのバーチャルエージェントとしての図形を変化させ、当該図形を相手側のユーザ端末へ送信して表示するようにした点である。

（構成）
図９は、この発明の第２の実施形態に係る感情表現装置を構成するシステムの全体構成を示す図である。
第２の実施形態に係るシステムは、ユーザＡが使用する感情決定・表現制御装置４Ａと、遠隔地にいるユーザＢが使用する感情決定・表現制御装置４Ｂとの間を、ネットワーク５を介して通信可能に接続したものである。上記感情決定・表現制御装置４Ａ，４Ｂにはそれぞれ表示デバイス３Ａ，３Ｂが接続され、これらの表示デバイス３Ａ，３Ｂに相手側ユーザの感情を表現するバーチャルエージェントが表示される。なお、表示デバイス３Ａと感情決定・表現制御装置４Ａ、および表示デバイス３Ｂと感情決定・表現制御装置４Ｂは、それぞれ１個の装置により構成することも可能である。

図１０は、上記感情決定・表現制御装置４Ａ，４Ｂの機能構成を示すブロック図である。同図に示すように感情決定・表現制御装置４Ａ，４Ｂは、第１の実施形態で説明した感情決定装置１の機能と感情表現制御装置２の機能を１つの装置に備えたものであり、前記図２と同一部分には同一符号を付してある。

感情決定・表現制御装置４Ａ，４Ｂは、例えばパーソナルコンピュータ、スマートフォンまたはタブレット型端末からなり、複数のセンサ４１と、センサインタフェース部４２と、制御部４３と、記憶ユニット４４と、通信インタフェース部４５と、表示インタフェース部４６と、操作部４７とを備えている。

センサ４１は、マイクロフォンやカメラの他に、心電計や脈拍計、皮膚電位計、筋電計などの生体センサを備えている。マイクロフォンおよびカメラは、それぞれユーザの音声および顔の画像を検出する。生体センサ群はユーザの生体情報を計測する。操作部４７は、ユーザが自身の感情に関係する操作データを入力するために使用される。

センサインタフェース部４２は、上記センサ４１から出力されたセンサデータを制御部４３が取り扱うことが可能なデータ形式に変換する。

記憶ユニット４４は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のメモリを使用し、その記憶領域には感情対応表記憶部１４と、感情表現関数記憶部２３が設けられている。

感情対応表記憶部１４には感情対応表が記憶されている。感情対応表には、センサ４１により検出されるユーザの状態を表す情報と、当該ユーザの状態を表す情報に対応する感情を表す情報とが、互いに関連付けられて記憶されている。

感情表現関数記憶部２３には、複数種類の感情を図形のアニメーションを用いて表現するために予め設定された関数式が、感情ＩＤに関連付けて記憶されている。

制御部２２は、ＣＰＵ（Central Processing Unit）等と呼ばれるプロセッサを有し、本実施形態に係る制御機能として、センサ／操作データ取得制御部４３１と、感情決定部４３２と、アニメーションデータ生成部４３３と、送信制御部４３４と、受信制御部４３５とを有している。これらの制御機能は、いずれも図示しないプログラムメモリに格納されたプログラムを上記プロセッサに実行させることにより実現される。

センサ／操作データ取得制御部４３１は、上記センサ４１から出力されるセンサデータを定期的又は任意のタイミングで上記センサインタフェース部４２を介して取り込み、図示しないセンサデータ記憶部に記憶させる。またセンサ／操作データ取得制御部４３１は、上記操作部４７によりユーザが入力した操作データを取り込む。

感情決定部４３２は、上記センサ／操作データ取得制御部４３１により取り込んだセンサデータおよび操作データからユーザの状態を表す特徴量を算出し、この算出した特徴量と感情対応表記憶部１４に記憶された感情対応表のデータとに基づいて上記ユーザの状態に対応する感情を決定し、その識別情報（感情ＩＤ）を出力する。

アニメーションデータ生成部４３３は、上記感情決定部４３２により決定された感情ＩＤに対応する感情表現関数式を感情表現関数記憶部２３から読み出し、この関数式に応じてバーチャルエージェントＡＧ１としての図形の表示パターン（例えば大きさ）を変化させるためのアニメーションデータを生成する。或いはアニメーションデータ生成部４３３は、上記アニメーションデータに従いバーチャルエージェントＡＧ１を表す図形を表示するための表示データを生成する。

送信制御部４３４は、上記アニメーションデータ生成部４３３により生成されたアニメーションデータ、または図形の表示データを、通信インタフェース部４５から通信相手先の感情決定・表現制御装置４Ｂ，４Ａへ送信する。

受信制御部４３５は、通信相手側の感情決定・表現制御装置４Ｂ，４Ａから送られたアニメーションデータまたは図形の表示データを、上記通信インタフェース部４５を介して受信する。そして、アニメーションデータを受信した場合には、当該アニメーションデータに従いバーチャルエージェントＡＧ１を表す図形を表示するための表示データを生成し、当該表示データを表示インタフェース部４６から表示デバイス３Ａ，３Ｂへ出力して表示させる。また、バーチャルエージェントＡＧ１を表す図形の表示データを受信した場合には、当該図形の表示データを表示インタフェース部４６から表示デバイス３Ａ，３Ｂへ出力して表示させる。

（動作）
次に、以上のように構成された感情決定・表現制御装置４Ａ，４Ｂの動作を説明する。図１１はその処理手順と処理内容を示すフローチャートである。
ここでは、ユーザＡの感情を感情決定・表現制御装置４Ａにおいてセンサデータをもとに決定し、この決定した感情をバーチャルエージェントＡＧ１としての図形を変化させることにより表現するために、上記図形の表示パターン（例えば大きさ）を変化させるアニメーションデータを生成し、このアニメーションデータを相手ユーザＢの感情決定・表現制御装置４Ｂへ送信する場合を例にとって説明する。

感情決定・表現制御装置４Ａでは、マイクロフォンやカメラ、生体センサ等のセンサ４１により、ユーザＡの音声や顔の画像、さらには生体情報が定期的または任意のタイミングで計測される。感情決定・表現制御装置４Ａは、センサ／操作データ取得制御部４３１の制御の下、ステップＳ２１において、上記各センサ４１により計測されたセンサデータをセンサインタフェース部４２を介して取り込む。またセンサ／操作データ取得制御部４３１は、ユーザＡが操作部４７において自身の感情に対応するボタンを押下した場合にも、その操作データをステップＳ２１により取り込む。

感情決定・表現制御装置４Ａは、次に感情決定部４３２の制御の下、ステップＳ２２において、上記取り込まれたセンサデータからユーザＡの状態の特徴を抽出する。例えば、カメラにより得られた画像データやマイクロフォンにより検出された音声データをそれぞれ解析することで、ユーザＡの顔の表情（喜んでいる、泣いている、怒っている、疲れている等）や、ユーザＡの発話内容（楽しい、悲しい等）を表す各特徴を抽出する。また、生体センサにより得られた心拍や血圧、皮膚電位等のセンサデータをもとに、ユーザＡの自律神経の働き（例えば興奮度）を示す特徴を抽出する。

感情決定部４３２は、続いてステップＳ２３において、上記抽出されたユーザＡの状態を表す特徴と、感情対応表記憶部１４に記憶されている感情対応表とをもとに、ユーザＡの感情を決定する。感情は、例えば第１の実施形態で述べたようにラッセルの円環モデルを用いて定義され、上記感情対応表記憶部１４から上記ユーザＡの状態を表す特徴に対応する感情ＩＤを読み出すことにより決定される。感情対応表は、例えば、不特定多数のユーザを対象に、あるいは特定のユーザごとに、機械学習により事前に作成されたものを用いる。

なお、ユーザＡが自身の感情に対応するボタンを押下した場合には、その操作データに対応付する感情ＩＤを上記感情対応表記憶部１４から読み出す。

感情決定・表現制御装置４Ａは、次にアニメーションデータ生成部４３３の制御の下、先ずステップＳ２４において、感情表現関数記憶部２３から上記感情ＩＤに対応する感情表現関数を読み出す。感情表現関数記憶部２３には、図４に例示したように、感情をバーチャルエージェントＡＧ１としての図形の時系列変化（周期と振幅の変化）により表現するための関数式が記憶されている。アニメーションデータ生成部４３３は、上記感情ＩＤに対応する関数式を感情表現関数記憶部２３から読み出す。

次にアニメーションデータ生成部４３３は、上記読み出した感情表現関数に基づいて、バーチャルエージェントＡＧ１の図形の表示パターン（例えば大きさ）を変化させるためのアニメーションデータを生成する。

感情決定・表現制御装置４Ａは、送信制御部４３４の制御の下、ステップＳ２５において、上記生成されたアニメーションデータを通信インタフェース部４５から相手ユーザＢの感情決定・表現制御装置４Ｂへ送信する。

一方、相手ユーザＢの感情決定・表現制御装置４Ｂは、受信制御部４３５の制御の下、ステップＳ２６により、上記ユーザＡの感情決定・表現制御装置４Ａから送信されたアニメーションデータを受信すると、ステップＳ２７において、上記受信したアニメーションデータを表示インタフェース部４６から表示デバイス３Ｂに出力する。この結果、表示デバイス３Ｂには、大きさがアニメーションにより変化する図形がバーチャルエージェントＡＧ１として表示される。

かくして、ユーザＡの感情を表すバーチャルエージェントＡＧ１が、遠隔地にいる相手ユーザＢの感情決定・表現制御装置４Ｂの表示デバイス３Ｂに表示される。

（効果）
以上詳述したように第２の実施形態では、ユーザＡ，Ｂがそれぞれ感情決定・表現制御装置４Ａ，４Ｂによりネットワークを介して通信が可能な状態で、感情決定・表現制御装置４Ａ，４Ｂにより、センサ４１により得られたセンサデータからユーザＡ，Ｂの状態の特徴を抽出して、この特徴に対応する感情を感情対応表をもとに決定する。そして、上記決定された感情に対応する感情表現関数を感情表現関数記憶部２３から読み出し、当該関数式をもとにバーチャルエージェントＡＧ１としての図形（例えば円）の大きさを変化させるためのアニメーションデータを生成し、このアニメーションデータを相手ユーザの感情決定・表現制御装置４Ｂへ送信して表示デバイス３Ｂ，３ＡにバーチャルエージェントＡＧ１を表示するようにしている。

従って、ユーザＡ，Ｂの感情を、互いに相手側の感情決定・表現制御装置４Ａ，４Ｂにおいて、バーチャルエージェントＡＧ１のアニメーションを用いて表現することができる。その際、バーチャルエージェントＡＧ１として図形（円）を用いるので、バーチャルエージェントが人間や動物等の生物の体の動きや表情、音声等を模倣することで感情を表現する手段を持っていなくても、ユーザ間で感情を提示し合うことが可能となる。また、感情の決定機能と感情表現の制御機能を１台の感情決定・表現制御装置４Ａ，４Ｂに持たせることができ、これによりシステム構成を簡単小型化することができる。

なお、第２の実施形態では、感情決定・表現制御装置４Ａ，４Ｂにおいて、それぞれユーザＡ，Ｂの顔の表情や音声、生体情報等を表すセンサデータをもとに各ユーザＡ，Ｂの感情を決定し、この感情に対応する図形のアニメーションデータを相手ユーザＢ，Ａの感情決定・表現制御装置４Ｂ，４Ａに伝送してバーチャルエージェントとしての図形を変化させる場合について述べた。しかしそれに限らず、感情決定・表現制御装置４Ａ，４Ｂにおいてそれぞれその周辺の状況に応じた当該感情決定・表現制御装置４Ａ，４Ｂの感情を決定し、この感情に対応する図形のアニメーションデータを相手ユーザＢ，Ａの感情決定・表現制御装置４Ｂ，４Ａに伝送してバーチャルエージェントとしての図形を変化させるようにしてもよい。

また、第１の実施形態と同様に、バーチャルエージェントＡＧ１としての図形は円形に限るものではなく、矩形、多角形、楕円形、球形等のその他の幾何学図形、または人間や動物の姿をしたキャラクタであってもよく、またこれらの形状を組み合わせたものであってもよい。さらに、バーチャルエージェントの表示例と変形例も第１の実施形態と同様である。

［第３の実施形態］
この発明の第３の実施形態は、ロボットが光源を備える場合に、当該ロボットの感情を上記光源の発光パターンを変化させることにより表現するものである。

（構成）
図１２は、この発明の第３の実施形態に係るシステムの構成を示すもので、ロボットＲＢ２に設けられた光源６５と、感情決定装置１と、感情表現制御装置６とを備えている。

ロボットＲＢ２は、例えばぬいぐるみのようにそれ自体は感情表現のための機能は持っていないものであるが、例えば胸に当たる位置に光源６５が設けられている。光源６５は、例えば、単色またはカラー発光が可能なＬＥＤ（Light Emitting Diode）と、その発光駆動回路と、通信インタフェース部とを備える。通信インタフェース部は、感情表現制御装置６から送信された発光駆動信号を受信するために使用される。なお、光源６５としては、ＬＣＤなどの２次元または３次元ディスプレイを用いることもできる。

感情決定装置１は、周囲の状況に応じてシステムの感情を決定するもので、例えばパーソナルコンピュータ、スマートフォン、タブレット型端末又はマイクロコンピュータを備えた専用装置により構成される。なお、感情決定装置１の構成は図２と同一なので説明は省略する。

感情表現制御装置６は、上記感情決定装置１により決定された感情を、上記光源６５の発光パターンの変化により表現するもので、そのために感情ごとに異なる発光パターンデータを生成する。なお、この感情表現制御装置６も、パーソナルコンピュータ、スマートフォン、タブレット型端末又はマイクロコンピュータを備えた専用装置により実現される。なお、上記感情決定装置１と上記感情表現制御装置６はロボットＲＢ２に内蔵させることも可能である。

図１３は上記感情表現制御装置６の機能構成を示すブロック図である。
感情表現制御装置６は、通信インタフェース部６１と、制御部６２と、感情表現関数記憶部６３と、出力インタフェース部６４とを備えている。

通信インタフェース部６１は感情決定装置１との間でデータを送受信するもので、伝送方式としてはBluetooth（登録商標）等の小電力無線データ伝送方式を使用している。

感情表現関数記憶部６３には、複数種類の感情を光源６５の発光パターンの変化により表現するために設定された感情表現関数式が、感情ＩＤに関連付けて記憶されている。発光パターンの変化は、例えば光源６５の明るさ（照度または発光強度）の変化率として定義される。感情の種類と感情表現関数との対応関係は、図４におけるｘ（ｔ）を時刻ｔの時の明るさとして、図４に例示したものをそのまま用いることができる。

制御部６２は、ＣＰＵ（Central Processing Unit）等と呼ばれるプロセッサを有し、本実施形態に係る制御機能として、受信制御部６２１と、発光パターンデータ生成部６２２と、発光制御部６２３とを備えている。これらの制御機能は、いずれも図示しないプログラムメモリに格納されたプログラムを上記プロセッサに実行させることにより実現される。

受信制御部６２１は、上記感情決定装置１から送信される感情ＩＤを通信インタフェース部６１を介して受信し、受信した感情ＩＤを発光パターンデータ生成部６２２へ出力する。

発光パターンデータ生成部６２２は、上記受信制御部６２１から出力された感情ＩＤに対応する感情表現関数式を感情表現関数記憶部６３から読み出し、この関数式に応じてバーチャルエージェントとしての光源６５の発光パターン（例えば明るさ）を変化させるための発光パターンデータを生成する。

発光制御部６２３は、上記発光パターンデータ生成部６２２により生成された発光パターンデータに従い、バーチャルエージェントを表す光源６５を発光動作させるための発光制御信号を生成し、当該発光制御信号を出力インタフェース部６４から光源６５へ送信する。

（動作）
次に、以上のように構成された感情表現制御装置６の動作を説明する。図１４はその処理手順と処理内容を示すフローチャートである。なお、感情決定装置１の動作については、第１の実施形態と同一なので説明は省略する。

感情表現制御装置６は、受信制御部６２１の制御の下、ステップＳ３１において、感情決定装置１から送信された感情ＩＤを通信インタフェース部６１を介して受信する。

上記感情ＩＤを受信すると感情表現制御装置６は、発光パターンデータ生成部６２２の制御の下、先ずステップＳ３２により、感情表現関数記憶部６３から上記感情ＩＤに対応する感情表現関数を読み出す。感情表現関数は、図４に例示したように感情の種類ごとに発光パターンを異なる波形として表したものである。発光パターンデータ生成部６２２は、続いてステップＳ３３により、上記感情表現関数記憶部６３から読み出された感情表現関数に基づいて、バーチャルエージェントとしての光源６５の発光パターン（例えば明るさ）を変化させるための発光パターンデータを生成する。

感情表現制御装置６は、発光制御部６２３の制御の下、ステップＳ３４において、上記生成された発光パターンデータに対応する発光制御信号を生成し、この発光制御信号を出力インタフェース部６４から光源６５へ出力する。光源６５は、上記発光制御信号を受信すると、当該発光制御信号により発光駆動回路がＬＥＤ等の発光素子を発光駆動する。かくして、ロボットＲＢ２の感情が、光源６５の発光パターン（例えば明るさ）の変化として表現される。

（効果）
以上述べたように第３の実施形態では、ロボットＲＢ２にバーチャルエージェントとして機能させるために光源６５を設け、センサデータと感情対応表をもとに決定された感情ＩＤに対応する感情表現関数を感情表現関数記憶部６３から読み出し、当該感情表現関数をもとに発光パターンデータを生成して、この発光パターンデータに従い上記光源６５の明るさを変化させるようにしている。
従って、ロボットＲＢ２自体が動きや音声等を用いた感情表現手段を有していない場合でも、ロボットＲＢ２の感情を、光源６５の発光パターンの変化により表現することができる。

なお、以上の説明では、ロボットＲＢ２の感情を光源６５の発光パターンを変化させることにより表現する場合について述べたが、第２の実施形態のようにユーザの感情をロボットＲＢ２に設けた光源６５の発光パターンを変化させることにより表現するようにしてもよい。

また、上記説明では、光源６５の発光パターンの変化として明るさを変化させるようにしたが、発光色や発光の点滅周期、さらにはこれらの組み合わせを変化させるようにしてもよい。

［第４の実施形態］
この発明の第４の実施形態は、ロボットが伸縮可能な構造体を有し、当該構造体を伸縮装置により伸縮させることが可能な場合に、ロボットの感情を当該ロボットの構造体の伸縮パターンを変化させることにより表現するようにしたものである。

（構成）
図１５は、この発明の第４の実施形態に係るシステムの構成を示すものである。
ロボットＲＢ３は伸縮可能な材質からなる構造体を有し、当該構造体内に内蔵された伸縮装置８により上記構造体を伸縮変化させることが可能となっている。例えば、構造体が多関節型の構造筐体からなる場合には、伸縮装置８として例えばサーボモータを使用した駆動機構を用い、この駆動機構により関節を動かすことにより構造体を伸縮させる。また、構造体が風船のような弾性材料からなる場合には、伸縮装置８として例えばポンプを有する空気圧の調整機構を用い、この調整機構により構造体内に空気を注入したり排気することにより構造体を伸縮させる。

感情決定装置１は、周囲の状況に応じたシステムの感情を決定するもので、例えばパーソナルコンピュータ、スマートフォン、タブレット型端末又はマイクロコンピュータを備えた専用装置により構成される。なお、感情決定装置１の構成は図２と同一なので説明は省略する。

感情表現制御装置７は、上記感情決定装置１により決定された感情を、上記ロボットＲＢ３の伸縮パターンの変化により表現するもので、そのために感情ごとに異なる伸縮パターンデータを生成する。なお、この感情表現制御装置７も、パーソナルコンピュータ、スマートフォン、タブレット型端末又はマイクロコンピュータを備えた専用装置により実現される。なお、上記感情決定装置１と上記感情表現制御装置７は、上記ロボットＲＢ３に内蔵させることも可能である。

図１６は、上記感情表現制御装置７の機能構成を示すブロック図である。
感情表現制御装置７は、通信インタフェース部７１と、制御部７２と、感情表現関数記憶部７３と、出力インタフェース部７４とを備えている。

通信インタフェース部７１は感情決定装置１との間でデータを送受信するもので、伝送方式としてはBluetooth（登録商標）等の小電力無線データ伝送方式を使用している。

感情表現関数記憶部７３には、複数種類の感情を、ロボットＲＢ３の構造体の伸縮パターンの変化により表現するために設定された感情表現関数式が、感情ＩＤに関連付けて記憶されている。構造体の伸縮パターンの変化は、例えば構造体の大きさ（筐体の場合は外形寸法、風船のような球体の場合は外径）の変化率として定義される。感情の種類と感情表現関数との対応関係は、図４におけるｘ（ｔ）を時刻ｔの時の構造体の大きさとして、図４に例示したものをそのまま用いることができる。

制御部７２は、ＣＰＵ（Central Processing Unit）等と呼ばれるプロセッサを有し、本実施形態に係る制御機能として、受信制御部７２１と、伸縮パターンデータ生成部７２２と、伸縮制御部７２３とを備えている。これらの制御機能は、いずれも図示しないプログラムメモリに格納されたプログラムを上記プロセッサに実行させることにより実現される。

受信制御部７２１は、感情決定装置１から送信された感情ＩＤを通信インタフェース部７１を介して受信し、受信した感情ＩＤを伸縮パターンデータ生成部７２２へ出力する。

伸縮パターンデータ生成部７２２は、上記受信制御部７２１から出力された感情ＩＤに対応する感情表現関数を感情表現関数記憶部７３から読み出し、この関数式に応じてロボットＲＢ３の構造体の伸縮パターン（例えば大きさ）を変化させるための伸縮パターンデータを生成する。

伸縮制御部７２３は、上記伸縮パターンデータ生成部７２２により生成された伸縮パターンデータに従い、ロボットＲＢ３の構造体を伸縮させるための伸縮制御信号を生成し、当該伸縮制御信号を出力インタフェース部７４からロボットＲＢ３の伸縮装置８へ送信する。

（動作）
次に、以上のように構成された感情表現制御装置７の動作を説明する。図１７はその処理手順と処理内容を示すフローチャートである。なお、本実施形態においても、感情決定装置１の動作については第１の実施形態と同一なので、説明は省略する。

感情表現制御装置７は、受信制御部６２１の制御の下、ステップＳ４１において、感情決定装置１から送信された感情ＩＤを通信インタフェース部７１を介して受信する。

上記感情ＩＤを受信すると感情表現制御装置７は、伸縮パターンデータ生成部７２２の制御の下、先ずステップＳ３２により、感情表現関数記憶部７３から上記感情ＩＤに対応する感情表現関数を読み出す。感情表現関数は、図４に例示したように感情の種類ごとに伸縮パターンを異なる波形として表したものである。伸縮パターンデータ生成部７２２は、続いてステップＳ４３により、上記感情表現関数記憶部７３から読み出された感情表現関数に基づいて、ロボットＲＢ３の構造体の伸縮パターン（例えば大きさ）を変化させるための伸縮パターンデータを生成する。

感情表現制御装置７は、伸縮制御部７２３の制御の下、ステップＳ４４において、上記生成された伸縮パターンデータに対応する伸縮制御信号を生成し、この伸縮制御信号を出力インタフェース部７４からロボットＲＢ３の伸縮装置８へ出力する。伸縮装置８は、上記伸縮制御信号を受信すると、当該伸縮制御信号によりサーボ機構またはポンプ等を動作させて構造体を伸縮させる。かくして、システムの感情は、ロボットＲＢ３の構造体の伸縮パターン（大きさ）の変化として表現される。

（効果）
以上述べたように第４の実施形態では、ロボットＲＢ３に伸縮可能な構造体と当該構造体を伸縮動作させる伸縮装置８を設け、センサデータと感情対応表をもとに決定された感情ＩＤに対応する感情表現関数を感情表現関数記憶部７３から読み出し、当該感情表現関数をもとに伸縮パターンデータを生成して、この伸縮パターンデータに従い上記ロボットＲＢ３の構造体の伸縮パターン（例えば大きさ）を変化させるようにしている。
従って、ロボットＲＢ３自体が人や動物等の生物を模倣したものでなくても、つまり手足の動きや音声等による感情表現手段を有していない場合でも、システムの感情を、ロボットＲＢ３の構造体の伸縮パターン（例えば大きさ）の変化により表現することができる。

なお、以上の説明では、システムの感情をロボットＲＢ３の構造体の伸縮パターン（例えば大きさ）を変化させることにより表現する場合について述べたが、第２の実施形態のようにユーザの感情をロボットＲＢ３に設けた伸縮可能な構造体の伸縮パターンを変化させることにより表現するようにしてもよい。

また、ロボットＲＢ３として球体を用いた場合について説明したが、楕円体や錘状体、立方体、直方体等を用いてもよく、構造体の材質や伸縮の方式、伸縮量や伸縮方向等についても適宜に設定することができる。さらに、構造体の伸縮パターンとしては、大きさに限らず色や形状等を変化させるものであってもよい。

［第５の実施形態］
この発明の第５の実施形態は、システムまたはユーザの感情を、複数台のロボットの隊形パターンを変化させることにより表現するものである。

（構成）
図１８はこの発明の第５の実施形態に係るシステムの構成を示すものである。本実施形態のシステムは、ロボットＲＢ１１〜ＲＢ１６と、感情決定・表現制御装置９とを備えている。

ロボットＲＢ１１〜ＲＢ１６は、例えばドローンのように空中を自在に移動可能なものからなる。なお、ロボットＲＢ１１〜ＲＢ１６としては、地上を自在に移動する車両タイプのものや転がるタイプまたは飛び跳ねるタイプのものであってもよい。

図１９は、上記感情決定・表現制御装置９の機能構成を示すブロック図である。同図に示すように感情決定・表現制御装置９は、第２の実施形態で説明した感情決定・表現制御装置４Ａ，４Ｂと同様に、感情決定装置１の機能と感情表現制御装置２の機能を１つの装置に備えたものである。なお、図１９において前記図１０と同一部分には同一符号を付して説明を行う。

感情決定・表現制御装置９は、例えばパーソナルコンピュータ、スマートフォンまたはタブレット型端末からなり、複数のセンサ４１と、センサインタフェース部４２と、制御部９１と、記憶ユニット４４と、通信インタフェース部４５と、操作部４７とを備えている。

センサ４１は、マイクロフォンやカメラの他に、心電計や脈拍計、皮膚電位計、筋電計などの生体センサを備えている。マイクロフォンおよびカメラは、それぞれユーザの音声および顔の画像を検出する。生体センサ群はユーザの生体情報を計測する。操作部４７は、ユーザが自身の感情に関係する操作データを入力するために使用される。

センサインタフェース部４２は、上記センサ４１から出力されたセンサデータを制御部９１が取り扱うことが可能なデータ形式に変換する。

記憶ユニット４４は、記憶媒体として例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のメモリを使用し、その記憶領域には感情対応表記憶部１４と、感情表現関数記憶部２３が設けられている。

感情対応表記憶部１４には感情対応表が記憶されている。感情対応表には、センサ４１により検出されるユーザの状態を表す情報と、当該ユーザの状態を表す情報に対応する感情を表す情報とが、互いに関連付けられて記憶されている。

感情表現関数記憶部２３には、複数種類の感情を複数台のロボットの隊形パターンを用いて表現するために予め設定された関数式が、感情ＩＤに関連付けて記憶されている。

制御部９１は、ＣＰＵ（Central Processing Unit）等と呼ばれるプロセッサを有し、本実施形態に係る制御機能として、センサ／操作データ取得制御部４３１と、感情決定部４３２と、隊形制御パターンデータ生成部９１１と、送信制御部９１２とを有している。これらの制御機能は、いずれも図示しないプログラムメモリに格納されたプログラムを上記プロセッサに実行させることにより実現される。

センサ／操作データ取得制御部４３１は、上記センサ４１から出力されるセンサデータを定期的又は任意のタイミングで上記センサインタフェース部４２を介して取り込み、図示しないセンサデータ記憶部に記憶させる。またセンサ／操作データ取得制御部４３１は、上記操作部４７によりユーザが入力した操作データを取り込む。

感情決定部４３２は、上記センサ／操作データ取得制御部４３１により取り込んだセンサデータおよび操作データからユーザの状態を表す特徴量を算出し、この算出した特徴量と感情対応表記憶部１４に記憶された感情対応表のデータとに基づいて上記ユーザの状態に対応する感情を決定し、その識別情報（感情ＩＤ）を出力する。

隊形制御パターンデータ生成部９１１は、上記感情決定部４３２により決定された感情ＩＤに対応する感情表現関数式を感情表現関数記憶部２３から読み出し、この関数式に応じて上記複数台のロボットＲＢ１１〜ＲＢ１６の隊形パターン（例えば相互の間隔）を変化させるための隊形制御パターンデータを生成する。

送信制御部９１２は、上記隊形制御パターンデータ生成部９１１により生成された隊形制御パターンデータを、通信インタフェース部４５からロボットＲＢ１１〜ＲＢ１６に向け送信する。

ロボットＲＢ１１〜ＲＢ１６は、それぞれ飛行または移動するための駆動装置に加えて制御装置を備える。制御装置は、通信インタフェース部および制御部を有する。通信インタフェース部は、上記感情決定・表現制御装置９から送信された隊形制御パターンデータを受信する。制御部は、上記通信インタフェース部により受信された隊形制御パターンデータに応じて、自装置の飛行動作または移動動作を制御する。

（動作）
次に、以上のように構成されたシステムの動作を説明する。図２０は感情決定・表現制御装置９その処理手順と処理内容を示すフローチャートである。

感情決定・表現制御装置９では、マイクロフォンやカメラ、生体センサ等のセンサ４１により、ユーザの音声や顔の画像、さらには生体情報が定期的または任意のタイミングで計測される。感情決定・表現制御装置９は、センサ／操作データ取得制御部４３１の制御の下、ステップＳ５１において、上記各センサ４１により計測されたセンサデータをセンサインタフェース部４２を介して取り込む。またセンサ／操作データ取得制御部４３１は、ユーザＡが操作部４７において自身の感情に対応するボタンを押下した場合にも、その操作データをステップＳ５１により取り込む。

感情決定・表現制御装置９は、次に感情決定部４３２の制御の下、ステップＳ５２において、上記取り込まれたセンサデータからユーザの状態の特徴を抽出する。例えば、カメラにより得られた画像データやマイクロフォンにより検出された音声データをそれぞれ解析することで、ユーザの顔の表情（喜んでいる、泣いている、怒っている、疲れている等）や、ユーザの発話内容（楽しい、悲しい等）を表す各特徴を抽出する。また、生体センサにより得られた心拍や血圧、皮膚電位等のセンサデータをもとに、ユーザの自律神経の働き（例えば興奮度）を示す特徴を抽出する。

感情決定部４３２は、続いてステップＳ５３において、上記抽出されたユーザの状態を表す特徴と、感情対応表記憶部１４に記憶されている感情対応表とをもとに、ユーザの感情を決定する。感情は、例えば第１の実施形態で述べたようにラッセルの円環モデルを用いて定義され、上記感情対応表記憶部１４から上記ユーザの状態を表す特徴に対応する感情ＩＤを読み出すことにより決定される。感情対応表は、例えば、不特定多数のユーザを対象に、あるいは特定のユーザごとに、機械学習により事前に作成されたものを用いる。

なお、ユーザが自身の感情に対応するボタンを押下した場合には、その操作データに対応付する感情ＩＤを上記感情対応表記憶部１４から読み出す。

感情決定・表現制御装置９は、次に隊形制御パターンデータ生成部９１１の制御の下、先ずステップＳ５４において、感情表現関数記憶部２３から上記感情ＩＤに対応する感情表現関数を読み出す。感情表現関数記憶部２３には、図４に例示したように、感情に対応付けて、エージェントとしての複数台のロボットＲＢ１１〜ＲＢ１６の隊形変化（例えば相互間隔の変化）により表現するための関数式が記憶されている。隊形制御パターンデータ生成部９１１は、上記感情ＩＤに対応する関数式を感情表現関数記憶部２３から読み出す。

次に隊形制御パターンデータ生成部９１１は、上記読み出した感情表現関数に基づいて、ロボットＲＢ１１〜ＲＢ１６の隊形（例えば相互間隔）を変化させるための隊形制御パターンデータを生成する。

感情決定・表現制御装置９は、送信制御部９１２の制御の下、ステップＳ５５において、上記生成された隊形制御パターンデータを通信インタフェース部４５から複数台のロボットＲＢ１１〜ＲＢ１６に向けて送信する。

これに対し複数台のロボットＲＢ１１〜ＲＢ１６は、上記感情決定・表現制御装置９から送信された隊形制御パターンデータを受信すると、この受信された隊形制御パターンデータに含まれる自ロボット宛ての制御データに基づいて、自己の飛行位置または移動位置を変化させる。

例えば、ユーザの感情が「喜び」または「わくわく」の場合に、ロボットＲＢ１１〜ＲＢ１６は相互間隔を大きく変化させる。また、ユーザの感情が「恐怖」、「悲しい」の場合に、ロボットＲＢ１１〜ＲＢ１６は相互間隔を小刻みに変化させる。

かくして、ユーザの感情が複数台のロボットＲＢ１１〜ＲＢ１６の隊形変化により表現される。

（効果）
以上詳述したように第５の実施形態では、センサデータをもとに決定されたユーザの感情に対応する感情表現関数が感情表現関数記憶部２３から読み出され、この感情表現関数をもとに隊形制御パターンデータが生成されて、当該隊形制御パターンデータに従い各ロボットＲＢ１１〜ＲＢ１６の隊形が制御される。
従って、ユーザの感情を、複数台のロボットＲＢ１１〜ＲＢ１６の隊形を変化させることで表現することができる。

なお、第５の実施形態では、感情決定・表現制御装置９において、ユーザの顔の表情や音声、生体情報等を表すセンサデータをもとにユーザの感情を決定し、この感情に対応する隊形制御パターンデータに従い複数台のロボットＲＢ１１〜ＲＢ１６の飛行位置又は移動位置を変化させる場合について述べた。しかしそれに限らず、感情決定・表現制御装置９においてその周辺の状況に応じたロボットＲＢ１１〜ＲＢ１６の感情（システムの感情）を決定し、この決定した感情をロボットＲＢ１１〜ＲＢ１６の隊形の変化により表現するようにしてもよい。

また、隊形パターンの変化は、相互間隔の変化以外に、相互間隔は保持したままロボットＲＢ１１〜ＲＢ１６全体が上下、左右または回転方向に移動するものであってもよく、さらにはロボットＲＢ１１〜ＲＢ１６がそれぞれの位置で個別に振動または回転するものであってもよい。

［他の実施形態］
なお、この発明は上記実施形態に限定されるものではない。例えば、第４の実施形態ではロボットの構造体の伸縮パターンを変化させることにより感情を表現する場合について述べたが、ロボットの移動パターンを変化させることにより感情を表現するようにしてもよい。この場合の移動パターンは図４に示した感情表現関数を適用することができる。

また、前記各実施形態では、感情決定装置においてセンサ部から周辺の環境またはユーザの状態を表すセンサデータ、あるいは操作部によるユーザの入力データを取得し、これらのデータに基づいて周辺の状況やユーザの状態を表す特徴量を抽出してその結果をもとに感情を決定するようにしたが、予め決められたシナリオを記憶しておき、このシナリオの通りに感情を表現するようにしてもよい。この場合も、感情の表現手段としては、図形の表示パターンや光源の発光パターン、ロボットの構造体の伸縮パターン、ロボットの隊形制御パターンの変化が用いられる。

さらに、前記各実施形態では、人や動物等の生物の動きや表情、音声等を模倣しないバーチャルエージェントやロボットを例として用いたが、人や動物等の生物の動きや表情、音声等を用いた感情表現が可能なバーチャルエージェントやロボットに対して、前記各実施形態に示した感情表現手段を補助的に用いることとしてもよい。

その他、バーチャルエージェントの形状や構成、感情の種類とその決定手法、感情表現関数式の構成等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

ＡＧ１，ＡＧ２，ＡＧ３…エージェント、ＲＢ１，ＲＢ２…ロボット、ＲＢ１１〜ＲＢ１６…ロボット群、１…感情決定装置、２，６，７…感情表現制御装置、３，３Ａ，３Ｂ…表示デバイス、４Ａ，４Ｂ，９…感情決定・表現制御装置、５…ネットワーク、８…伸縮装置、１１，４１…センサ、１２，４２…センサインタフェース部、１３，２２，４３，６２，７２…制御部、１４…感情対応表記億部、１５，２１，４５，６１，７１…通信インタフェース部、２０…投影装置、２３，６３，７３…感情表現関数記憶部、２４…表示インタフェース部、４４…記憶ユニット、４６…表示インタフェース部、４７…操作部、６４，７４…出力インタフェース部、６５…光源、１３１…センサデータ取得制御部、１３２，４３２…感情決定部、１３３，４３４，９１２…送信制御部、２２１，４３５，６２１，７２１…受信制御部、２２２，４３３…アニメーションデータ生成部、２２３…表示制御部、４３１…センサ／操作データ取得制御部、６２２…発光パターンデータ生成部、６２３…発光制御部、７２２…伸縮パターンデータ生成部、７２３…伸縮制御部、９１１…隊形制御パターンデータ生成部。

Claims (8)

1. 感情表現体を用いて感情表現を制御する感情表現装置であって、
   前記感情表現体の表現パターンの時系列変化を表す感情表現関数と感情の識別情報とを対応付けて記憶する感情表現情報記憶部と、
   指定された感情の識別情報に対応する感情表現関数を前記感情表現情報記憶部から読み出し、読み出した感情表現関数に基づいて前記感情表現体の表現パターンを制御する制御部と
   を具備する感情表現装置。
2. 前記感情表現体は図形であり、前記表現パターンは前記図形の表示パターンである、請求項１記載の感情表現装置。
3. 前記感情表現体はロボットであり、前記表現パターンは前記ロボットの動作パターンである、請求項１記載の感情表現装置。
4. 前記ロボットの動作パターンは前記ロボットが有する光源の発光パターンである、請求項３記載の感情表現装置。
5. 前記ロボットの動作パターンは前記ロボットの体型変化パターンである、請求項３記載の感情表現装置。
6. 前記ロボットは隊形を組んで動作可能な複数のロボットであり、前記ロボットの動作パターンは前記複数のロボットの隊形の変化パターンである、請求項３記載の感情表現装置。
7. 感情表現体を用いて感情を表現する感情表現装置が実行する感情表現方法であって、
   指定された感情の識別情報に対応する感情表現関数を、前記感情表現体の表現パターンの時系列変化を表す感情表現関数と感情の識別情報とを対応付けて記憶する感情表現情報記憶部から読み出し、読み出した感情表現関数に基づいて前記感情表現体の表現パターンを制御する過程と
   を具備する感情表現方法。
8. 請求項１乃至６のいずれかに記載の感情表現装置が備える制御部としてプロセッサを機能させるプログラム。