JP2005169567A

JP2005169567A - コンテンツ再生システム、コンテンツ再生方法、コンテンツ再生装置

Info

Publication number: JP2005169567A
Application number: JP2003413427A
Authority: JP
Inventors: Takuma Aoyama; 拓磨青山
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-12-11
Filing date: 2003-12-11
Publication date: 2005-06-30
Anticipated expiration: 2023-12-11
Also published as: JP4556425B2

Abstract

【課題】ロボット装置の表現能力を向上させる。
【解決手段】
外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づいて自律的に行動するロボット装置１０は、コンテンツ再生装置２０に対して感情情報を送信する。コンテンツ再生装置２０は、コンテンツに関する情報を記述したメタデータとロボット装置１０の感情情報とを比較し、ロボット装置１０の感情に適合するコンテンツを選択する。そして、選択したコンテンツを再生部２６で再生してロボット装置１０の感情を表現する。
【選択図】図１

Description

本発明は、コンテンツ再生システム、コンテンツ再生方法、及びコンテンツ再生装置に関し、具体的には、外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置の内部状態に適合したコンテンツを再生するコンテンツ再生システム、コンテンツ再生方法、及びコンテンツ再生装置に関する。

最近では、人間のパートナーとして生活を支援する、すなわち住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットの開発が進められている。このような実用ロボットは、産業用ロボットとは異なり、人間の生活環境の様々な局面において、個々に個性の相違した人間、又は様々な環境への適応方法を自ら学習する能力を備えている。例えば、犬、猫のように４足歩行の動物の身体メカニズムやその動作を模した「ペット型」ロボット、或いは、２足直立歩行を行う動物の身体メカニズムや動作をモデルにしてデザインされた「人間型」又は「人間形」ロボット（Humanoid Robot）等の脚式移動ロボットは、既に実用化されつつある。

これらの脚式移動ロボットは、産業用ロボットと比較してエンターテインメント性を重視した様々な動作を行うことができるため、エンターテインメントロボットと呼称される場合もある。

上述したような自律型のロボット装置は、人間と円滑にコミュニケーションをとることでロボット装置への愛着信及び好奇心を向上させて、エンターテインメント性を向上しうるものと考えられる。

従来、人間と円滑にコミュニケーションをとるためにロボット装置に発光素子を取り付け、その発光パターンや発光色によりロボット装置の感情を表現している（例えば、特許文献１参照）。

しかしながら、発光素子の発光パターンや発光色による感情の表現は、人間の感情表現とは、大きく異なるため、ロボット装置の感情表現に慣れていない人間は、ロボット装置の感情を認識することができない。

また、発光手段を用いた感情表現方法では、“喜び”や“悲しみ”など単純な感情しか表現することしかできないため、ロボット装置の複雑な感情や欲求、思考内容などを適切に表現することができない。ロボット装置が感情や思考内容を適切に表現すると、ロボット装置と人間とのコミュニケーションをより円滑化しうるものと考えられる。

特許第３２７７５００号

本発明は、以上の点を考慮してなされたもので、ロボット装置の表現能力をより一層向上させうるコンテンツ再生システム、コンテンツ再生装置、及びコンテンツ再生方法を提供する。

上述した課題を解決するために、本発明にかかるコンテンツ再生システムは、外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置と、コンテンツに関する情報を記憶する記憶手段と、ロボット装置の内部状態を受信する内部状態受信手段と、ロボット装置の内部状態とコンテンツに関する情報とを比較し、ロボット装置の内部状態に適合したコンテンツを選択するコンテンツ選択手段と、選択手段にて選択したコンテンツを再生するコンテンツ再生手段とを備えたコンテンツ再生装置とを備えた。

また、本発明にかかるコンテンツ再生方法は、外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置の内部状態を受信する内部状態受信工程と、コンテンツの内容を示す情報を受信する情報受信工程と、内部状態とコンテンツの内容を示す情報とを比較し、内部状態に適合したコンテンツを検索するコンテンツ検索工程と、コンテンツを再生するコンテンツ再生工程とを有する。

また、本発明にかかるコンテンツ再生装置は、外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置の内部状態を受信する内部状態受信手段と、コンテンツの内容を示す情報を記憶する記憶手段と、ロボット装置の内部状態とコンテンツの内容を示す情報とを比較し、ロボット装置の内部状態に適合したコンテンツを選択するコンテンツ選択手段と、ロボット装置の内部状態に適合したコンテンツを再生するコンテンツ再生手段とを備える。

本発明は、コンテンツを再生してロボット装置の内部状態を表現するため、ロボット装置の表現力が広がり、ロボット装置のエンターテインメント性が向上する。本発明では、ロボット装置の内部状態とコンテンツに関する情報とを比較し、コンテンツの内部状態に適合したコンテンツを選択する。

また、本発明では、ネットワーク上に存在するコンテンツ及びコンテンツに関する情報を記録した外部記録装置を検索し、この外部記録装置からコンテンツに関する情報を受信する。そして、このコンテンツに関する情報を記録した外部記録装置に対してコンテンツの配信を要求する。ネットワーク上には、無数の外部記録装置が存在するので、コンテンツの選択の幅が広がる。

以下、本発明を適用したコンテンツ再生システムについて説明する。ロボット装置は、外部環境や外部からの働きかけに応じて内部状態を変更して自律的に動作を行う。コンテンツ再生システムは、コンテンツに付加されたメタ情報とロボット装置の内部状態とを比較し、ロボット装置の内部状態に適合したコンテンツを再生することによりロボット装置の内部状態をユーザに通知するシステムである。

図１は、コンテンツ再生システムの一例を示している。以下に示すコンテンツ再生システム１は、ロボット装置１０の内部状態の１つである感情をコンテンツで表現する。コンテンツ再生システム１は、感情を変化し自律的に行動するロボット装置１０と、ロボット装置１０の感情に適合したコンテンツを選択し再生するコンテンツ再生装置２０とから構成される。

図２はロボット装置１０の外観構成を示しており、図３はロボット装置１０の内部構成を示している。ロボット装置１０は、四肢を有する動物の形状や構造をモデルにして構成された多関節型のロボット装置１０である。特に、このロボット装置１０は、愛玩動物の代表例であるイヌの形状及び構造を模してデザインされたペット型ロボットであり、例えば、実際のイヌと同じように、人間の住環境において人間と共存するような形態でユーザ操作に応じた動作表現をする。

本実施の形態において、ロボット装置１０は、４足歩行のロボットとしているが、ロボット装置１０は、２足、４足、６足などの脚式歩行を行うロボットのほか、クローラ式など他の移動メカニズムによって移動するロボット装置１０にも、本発明を適用することができる。

ロボット装置１０は、胴体部ユニット２と、四肢すなわち脚部ユニット３Ａ〜３Ｄと、頭部ユニット４と、尻尾５とで構成される。頭部ユニット３は、ロール、ピッチ及びヨーの各軸方向の自由度を持つ首関節５を介して、胴体部ユニット２の略前上端に配設されている。

また、頭部ユニット３には、イヌの「目」に相当するＣＣＤ（Charge Coupled Device：電荷結合素子）カメラと１１６、「耳」に相当するマイクロフォン１１５と、「口」に相当するスピーカ１１８と、触感に相当するタッチセンサ１１７が搭載されている。

また、ロボット装置１０における主制御部１１では、加速度センサ１４、タッチセンサ１１７、接地センサ１３Ａ〜１３Ｄ等の各種センサ、及びＣＣＤカメラ１６からの画像情報、マイクロフォン１５からの音声情報等を統括して処理している。主制御部１１は、ロボット装置１０の間接部に設けられたアクチュエータ３Ａ_１〜３Ａ_ｋ、３Ｂ_１〜３Ｂ_ｋ、３Ｃ_１〜３Ｃ_ｋ、３Ｄ_１〜３Ｄ_ｋ、４_１〜４_Ｌ、５_１、５_２と接続されている。

主制御部１１は、上述の各センサから供給されるセンサデータや画像データ及び音声データを順次取り込み、これらをそれぞれ内部インターフェイスを介してＤＲＡＭ１２内の所定位置に順次格納する。また、主制御部１１は、バッテリセンサ１９から供給されるバッテリ残量データを順次取り込み、これをＤＲＡＭ１２内の所定位置に格納する。ＤＲＡＭ１２に格納された各センサデータ、画像データ、音声データ及びバッテリ残量データは、主制御部１１がこのロボット装置１０の動作制御を行う際に利用される。

主制御部１１は、上述のように主制御部１１よりＤＲＡＭ１２に順次格納される各センサデータ、画像データ、音声データ及びバッテリ残量データに基づいて自己及び周囲の状況や、使用者からの指示及び働きかけの有無などを判断する。さらに、主制御部１１は、この判断結果及びＤＲＡＭ１２に格納した制御プログラムに基づいて自己の状況に応じて行動を決定するとともに、当該決定結果に基づいて必要なアクチュエータを駆動させる。

ロボット装置１０の行動生成は、後述する行動生成モジュール５１で行う。行動生成モジュール５１では、ロボット装置１０の行動を認識し、この行動に応じてロボット装置１０の感情のパラメータや欲求のパラメータを変化させる。本発明のロボット装置１０は、行動生成モジュール５１で生成した感情をコンテンツ再生装置２０に送信する。なお、行動生成モジュール５１の詳しい説明は後述する。

次いでコンテンツ再生装置２０について図１を参照して説明する。コンテンツ再生装置２０は、コンテンツを記憶するコンテンツ記憶部２１と、コンテンツの内容を示すメタデータを記憶するメタデータ記憶部２２と、ロボット装置１０と無線通信を行う無線通信部２３と、ロボット装置１０から受信した感情を記憶する感情情報記憶部２４と、メタデータとロボット装置１０の感情の相関を基にロボット装置１０の感情に対応したコンテンツを選択するコンテンツ選択部２５と、コンテンツを再生する再生部２６とを備える。

無線通信部２３は、ロボット装置１０の感情情報を入力する。無線通信部２３は、入力した感情情報を感情情報記憶部２４に記憶させる。この感情には、「喜び」、「悲しみ」、「怒り」、「驚き」、「嫌悪」及び「恐れ」などがある。

コンテンツ記憶部２１は、映画、ドラマ、ニュース、音楽などのコンテンツを記憶する。各コンテンツには、コンテンツに関係する情報であるメタデータが付加されている。メタデータは、メタデータ記憶部２２に記憶されている。メタデータは、複数の項目から構成される。メタデータを構成する項目には、コンテンツのタイトル、ジャンル、内容紹介などがある。以下、各コンテンツに１つのメタデータが付加されているものとして説明するが、コンテンツが複数のセグメントから構成される場合には各セグメントにメタデータを付加してもよい。

コンテンツ選択部２３は、メタデータ記憶部２２が記憶しているメタデータと感情情報記憶部２４が記憶している感情情報とを比較し、ロボット装置１０の感情情報と最も相関が深いメタデータを選択する。コンテンツ選択部２３のコンテンツ選択方法の一例を説明する。この例におけるコンテンツ選択部２３は、図４に示すようにロボット装置１０の感情に関連するキーワードを記録している。キーワードは、メタデータの項目に区分して記憶されている。コンテンツ選択部２３は、メタデータの項目内容とキーワードとをマッチングし、キーワードと最も適合度が高いコンテンツを選択する。また、適合度が等しい複数のコンテンツを選択した場合、コンテンツ選択部２３は、複数のコンテンツから無作為に１つのコンテンツを選択する。コンテンツをランダムに選択するのは、コンテンツを偏りなく選択するためである。コンテンツ選択部２３は、選択したコンテンツを再生部２６に出力する。

上述したコンテンツ再生システム１がロボット装置１０の感情に適合したコンテンツを再生する手順について図５を参照して説明する。ここで、ロボット装置１０は、サッカーでゴールを決め嬉しくなっているものとする。ロボット装置１０がゴールすると、ロボット装置１０の感情は「嬉しい」に変化する（ステップＳ１１）。ロボット装置１０は、この感情をコンテンツ再生装置２０に送信する（ステップＳ１２）。

コンテンツ再生装置２０は、ロボット装置１０の「嬉しい」という感情に対応するキーワードを読出し、メタデータ記憶部２２に記憶されたメタデータとキーワードとを比較する（ステップＳ１３）。例えば、「嬉しい」に対応するキーワードとして“嬉し泣き”が存在し、このキーワードとコンテンツのタイトルが一致すると（ステップＳ１４）、コンテンツ再生装置１は、このコンテンツをコンテンツ記憶部２１から読み出して再生部２６に出力する（ステップＳ１５）。コンテンツ再生装置１の再生部２６には、ロボット装置１０のゴールと同時に嬉し泣きのシーンが表示される（ステップＳ１６）。ユーザは、再生部２６の表示内容からロボット装置１０が喜んでいること知ることができる。

また、感情以外の因子からコンテンツを絞り込むことができる。現在のロボット装置１０は、動作モードに応じて、絵を描いたり、ゲームをしたり、スポーツをする。ロボット装置１０の動作モードがサッカーの試合である場合、コンテンツ再生装置１は、キーワードにサッカーを追加する。そして、サッカーというキーワードとメタデータが一致するコンテンツを検索する。これにより、ロボット装置１０がゴールするとサッカー選手がグラウンドでダンスしているシーンや観客の歓声など表示してロボット装置１０の感情を表現することができる。コンテンツを選択する因子を増やすことでより具体的なコンテンツを選択することができる。

次いで、ネットワーク上のサーバ３０に記録されたコンテンツを再生するコンテンツ再生システム１について説明する。このコンテンツ再生システム１は、図６に示すようにコンテンツ再生装置２０とサーバ３０とがネットワークを介して接続されたシステムである。このシステムにおけるコンテンツ再生装置２０は、サーバからコンテンツを受信するため、選択できるコンテンツの幅が広がる。

サーバ３０は、図７に示すようにコンテンツを記録するコンテンツ記録部３１と、コンテンツのメタデータを記録するメタデータ記録部３２と、コンテンツ再生装置２０からの情報を受信する受信部３３と、コンテンツ再生装置２０に情報を送信する情報送信部３４と、コンテンツ再生装置２０からの要求に応じてサーバ３０のサービス内容を返信するサービス内容返信部３５とを備える。

また、このコンテンツ再生システム１におけるコンテンツ再生装置２０は、上述した構成の他にサーバに情報を送信する送信部２７、サーバが送信した情報を受信する受信部２８、コンテンツ及びコンテンツのメタデータを記録したサーバを検索するサーバ検索部２９とを備える。

サーバ３０の検索はサーバ検索部２９が行う。サーバ検索部２９は、例えば、ＵＰｎＰ（Universal Plug and Play）を用いてネットワークに存在するサーバ３０が提供しているサービスの内容を問い合わせ、コンテンツ及びメタデータを配信するサービスを行っているサーバに対してメタデータの配信を要求し、受信したメタデータをメタデータ記憶部２２に記憶する。

このコンテンツ再生システム１では、以下のようなことが可能である。例えば、サーバ検索部２９が定期的に新しいサーバ３０を検索し、メタデータ記憶部２２の内容を定期的に更新することができる。これにより、コンテンツ再生装置２０は、常に新しいコンテンツを提供することができ、ユーザの楽しみがより一層向上する。また、このコンテンツ再生システム１では、ロボット装置１０の感情に適合するコンテンツが見つからなかった場合、ロボット装置１０の感情に適合するコンテンツを所有するサーバをネットワーク上から検索することができる。

図８を参照して、コンテンツ再生装置２０のサーバ検索処理について説明する。まず、コンテンツ再生装置２０は、ネットワーク上に存在するサーバ３０のサービス内容を問い合わせ（ステップＳ２１）、コンテンツ及びコンテンツのメタデータを提供するサーバ３０を検索する（ステップＳ２２）。コンテンツ再生装置２０は、目的のサーバ３０を発見すると、このサーバ３０に対してメタデータの送信を要求する（ステップＳ２３）。コンテンツ再生装置２０は、受信したメタデータをメタデータ記憶部２２に記憶する（ステップＳ２４）。

次いで、コンテンツ再生装置２０は、ロボット装置１０の感情を受信し（ステップＳ２５）、ロボット装置１０の感情とメタデータとを比較し、ロボット装置１０の感情に適合したコンテンツを選択する（ステップＳ２６）。ステップＳ２６において、感情に適合したコンテンツが選択できた場合（ステップＳ２７；ＹＥＳ）、コンテンツ再生装置２０は、このコンテンツを記録するサーバ３０にコンテンツの転送を要求し（ステップＳ２８）、受信したコンテンツを再生部２６に出力する（ステップＳ２９）。

一方、ステップＳ２６において、感情に適合したコンテンツが存在しなかった場合（ステップＳ２７；ＮＯ）、コンテンツ再生装置２０は、ステップＳ２１に処理を移行し、再度メタデータを収集する（ステップＳ２８）。

以上のよう説明したロボット装置１０の感情や動作は、主制御部１０に組み込まれたソフトウェアによって実現される。ロボット装置１０における制御プログラムのソフトウェア構成例について図９〜図１４用いて説明する。

図９において、デバイス・ドライバ・レイヤ４０は、制御プログラムの最下位層に位置し、複数のデバイス・ドライバからなるデバイス・ドライバ・セット４１から構成されている。この場合、各デバイス・ドライバは、ＣＣＤカメラやタイマ等の通常のコンピュータで用いられるハードウェアに直接アクセスすることを許されたオブジェクトであり、対応するハードウェアからの割り込みを受けて処理を行う。

また、ロボティック・サーバ・オブジェクト４２は、デバイス・ドライバ・レイヤ４０の最下位層に位置し、例えば上述の各種センサやアクチュエータ等のハードウェアにアクセスするためのインターフェイスを提供するソフトウェア群でなるバーチャル・ロボット４３と、電源の切換えなどを管理するソフトウェア群でなるパワーマネージャ４４と、他の種々のデバイス・ドライバを管理するソフトウェア群でなるデバイス・ドライバ・マネージャ４５と、ロボット装置１０の機構を管理するソフトウェア群でなるデザインド・ロボット４６とから構成されている。

マネージャ・オブジェクト４７は、オブジェクト・マネージャ４８及びサービス・マネージャ４９から構成されている。オブジェクト・マネージャ４８は、ロボティック・サーバ・オブジェクト４２、ミドル・ウェア・レイヤ５０、及びアプリケーション・レイヤ５１に含まれる各ソフトウェア群の起動や終了を管理するソフトウェア群であり、サービス・マネージャ４９は、メモリカードに格納されたコネクションファイルに記述されている各オブジェクト間の接続情報に基づいて各オブジェクトの接続を管理するソフトウェア群である。

ミドル・ウェア・レイヤ５０は、ロボティック・サーバ・オブジェクト４２の上位層に位置し、画像処理や音声処理などのこのロボット装置１０の基本的な機能を提供するソフトウェア群から構成されている。また、アプリケーション・レイヤ５１は、ミドル・ウェア・レイヤ５０の上位層に位置し、当該ミドル・ウェア・レイヤ５０を構成する各ソフトウェア群によって処理された処理結果に基づいてロボット装置１０の行動を決定するためのソフトウェア群から構成されている。

なお、ミドル・ウェア・レイヤ５０及びアプリケーション・レイヤ５１の具体なソフトウェア構成をそれぞれ図１０に示す。

ミドル・ウェア・レイヤ５０は、図１０に示すように、騒音検出用、温度検出用、明るさ検出用、音階認識用、距離検出用、姿勢検出用、タッチセンサ用、動き検出用及び色認識用の各信号処理モジュール６０〜６８並びに入力セマンティクスコンバータモジュール６９などを有する認識系７０と、出力セマンティクスコンバータモジュール７８並びに姿勢管理用、トラッキング用、モーション再生用、歩行用、転倒復帰用、ＬＥＤ点灯用及び音再生用の各信号処理モジュール７１〜７７などを有する出力系７９とから構成されている。

上述したインタラクション生成部２００をプログラムとして用意した場合、インタラクションを生成する処理は、このモーション再用の信号処理モジュール７３に含まれる。

認識系７０の各信号処理モジュール６０〜６８は、ロボティック・サーバ・オブジェクト４２のバーチャル・ロボット４３によりＤＲＡＭから読み出される各センサデータや画像データ及び音声データのうちの対応するデータを取り込み、当該データに基づいて所定の処理を施して、処理結果を入力セマンティクスコンバータモジュール６９に与える。ここで、例えば、バーチャル・ロボット４３は、所定の通信規約によって、信号の授受或いは変換をする部分として構成されている。

入力セマンティクスコンバータモジュール６９は、これら各信号処理モジュール６０〜６８から与えられる処理結果に基づいて、「うるさい」、「暑い」、「明るい」、「ボールを検出した」、「転倒を検出した」、「撫でられた」、「叩かれた」、「ドミソの音階が聞こえた」、「動く物体を検出した」又は「障害物を検出した」などの自己及び周囲の状況や、使用者からの指令及び働きかけを認識し、認識結果をアプリケーション・レイヤ５１に出力する。

アプリケーション・レイヤ５１は、図１１に示すように、行動モデルライブラリ８０、行動切換モジュール８１、学習モジュール８２、感情モデル８３及び本能モデル８４の５つのモジュールから構成されている。

行動モデルライブラリ８０には、図１２に示すように、「転倒復帰する」、「障害物を回避する場合」、「感情を表現する場合」、「ボールを検出した場合」などの予め選択されたいくつかの条件項目にそれぞれ対応させて、それぞれ独立した行動モデルが設けられている。

そして、これら行動モデルは、図１１に示すように、それぞれ入力セマンティクスコンバータモジュール６９から認識結果が与えられたときや、最後の認識結果が与えられてから一定時間が経過したときなどに、必要に応じて後述のように感情モデル８３に保持されている対応する情動のパラメータ値や、本能モデル８４に保持されている対応する欲求のパラメータ値を参照しながら続く行動をそれぞれ決定し、決定結果を行動切換モジュール８１に出力する。

なお、この実施の形態の場合、各行動モデルは、次の行動を決定する手法として、図１３に示すような１つのノード（状態）ＮＯＤＥ_０〜ＮＯＤＥ_ｎから他のどのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移するかを各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎの間を接続するアークＡＲＣ_１〜ＡＲＣ_ｎ１に対してそれぞれ設定された遷移確率Ｐ_１〜Ｐ_ｎに基づいて確率的に決定する有限確率オートマトンと呼ばれるアルゴリズムを用いる。

具体的に、各行動モデルは、それぞれ自己の行動モデルを形成するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎにそれぞれ対応させて、これらノードＮＯＤＥ_０〜ＮＯＤＥ_ｎ毎に図１４に示すような状態遷移表９０を有している。

この状態遷移表９０では、そのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎにおいて遷移条件とする入力イベント（認識結果）が「入力イベント名」の列に優先順に列記され、その遷移条件についてのさらなる条件が「データ名」及び「データ範囲」の列における対応する行に記述されている。

したがって、図１４の状態遷移表９０で表されるノードＮＯＤＥ_１００では、「ボールを検出（ＢＡＬＬ）」という認識結果が与えられた場合に、当該認識結果とともに与えられるそのボールの「大きさ（SIZE）」が「0から1000」の範囲であることや、「障害物を検出（OBSTACLE）」という認識結果が与えられた場合に、当該認識結果とともに与えられるその障害物までの「距離（DISTANCE）」が「0から100」の範囲であることが他のノードに遷移するための条件となっている。

また、このノードＮＯＤＥ_１００では、認識結果の入力がない場合においても、行動モデルが周期的に参照する感情モデル８３及び本能モデル８４にそれぞれ保持された各情動及び各欲求のパラメータ値のうち、感情モデル８３に保持された「喜び（Joy）」、「驚き（Surprise）」又は「悲しみ（Sadness）」の何れかのパラメータ値が「50から100」の範囲であるときには他のノードに遷移することができるようになっている。

また、状態遷移表９０では、「他のノードヘの遷移確率」の欄における「遷移先ノード」の行にそのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎから遷移できるノード名が列記されているとともに、「入力イベント名」、「データ名」及び「データの範囲」の列に記述された全ての条件が揃ったときに遷移できるほかの各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎへの遷移確率が「他のノードヘの遷移確率」の欄内の対応する箇所にそれぞれ記述され、そのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移する際に出力すべき行動が「他のノードヘの遷移確率」の欄における「出力行動」の行に記述されている。なお、「他のノードヘの遷移確率」の欄における各行の確率の和は１００［％］となっている。

したがって、図１４の状態遷移表９０で表されるノードＮＯＤＥ_１００では、例えば「ボールを検出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大きさ）」が「0から1000」の範囲であるという認識結果が与えられた場合には、「30［％］」の確率で「ノードＮＯＤＥ_１２０（node 120）」に遷移でき、そのとき「ＡＣＴＩＯＮ１」の行動が出力されることとなる。

各行動モデルは、それぞれこのような状態遷移表９０として記述されたノードＮＯＤＥ_０〜ＮＯＤＥ_ｎが幾つも繋がるようにして構成されており、入力セマンティクスコンバータモジュール６９から認識結果が与えられたときなどに、対応するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎの状態遷移表を利用して確率的に次の行動を決定し、決定結果を行動切換モジュール８１に出力するようになされている。

図１１に示す行動切換モジュール８１は、行動モデルライブラリ８０の各行動モデルからそれぞれ出力される行動のうち、予め定められた優先順位の高い行動モデルから出力された行動を選択し、当該行動を実行すべき旨のコマンド（以下、行動コマンドという。）をミドル・ウェア・レイヤ５０の出力セマンティクスコンバータモジュール７８に送出する。なお、この実施の形態においては、図１１において下側に表記された行動モデルほど優先順位が高く設定されている。

また、行動切換モジュール８１は、行動完了後に出力セマンティクスコンバータモジュール７８から与えられる行動完了情報に基づいて、その行動が完了したことを学習モジュール８２、感情モデル８３及び本能モデル８４に通知する。

一方、学習モジュール８２は、入力セマンティクスコンバータモジュール６９から与えられる認識結果のうち、「叩かれた」や「撫でられた」など、使用者からの働きかけとして受けた教示の認識結果を入力する。

そして、学習モジュール８２は、この認識結果及び行動切換えモジュール７１からの通知に基づいて、「叩かれた（叱られた）」ときにはその行動の発現確率を低下させ、「撫でられた（誉められた）」ときにはその行動の発現確率を上昇させるように、行動モデルライブラリ７０における対応する行動モデルの対応する遷移確率を変更する。

他方、感情モデル８３は、「喜び（Joy）」、「悲しみ（Sadness）」、「怒り（Anger）」、「驚き（Surprise）」、「嫌悪（Disgust）」及び「恐れ（Fear）」の合計６つの情動について、各情動毎にその情動の強さを表すパラメータを保持している。そして、感情モデル８３は、これら各情動のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール６９から与えられる「叩かれた」及び「撫でられた」などの特定の認識結果や、経過時間及び行動切換モジュール８１からの通知などに基づいて周期的に更新する。

具体的には、感情モデル８３は、入力セマンティクスコンバータモジュール６９から与えられる認識結果と、そのときのロボット装置１０の行動と、前回更新してからの経過時間となどに基づいて所定の演算式により算出されるそのときのその情動の変動量をΔＥ［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、その情動の感度を表す係数をｋ_ｅとして、（１）式によって次の周期におけるその情動のパラメータ値Ｅ［ｔ＋１］を算出し、これを現在のその情動のパラメータ値Ｅ［ｔ］と置き換えるようにしてその情動のパラメータ値を更新する。また、感情モデル８３は、これと同様にして全ての情動のパラメータ値を更新する。

なお、各認識結果や出力セマンティクスコンバータモジュール７８からの通知が各情動のパラメータ値の変動量ΔＥ［ｔ］にどの程度の影響を与えるかは予め決められており、例えば「叩かれた」といった認識結果は「怒り」の情動のパラメータ値の変動量ΔＥ［ｔ］に大きな影響を与え、「撫でられた」といった認識結果は「喜び」の情動のパラメータ値の変動量ΔＥ［ｔ］に大きな影響を与えるようになっている。

ここで、出力セマンティクスコンバータモジュール７８からの通知とは、いわゆる行動のフィードバック情報（行動完了情報）であり、行動の出現結果の情報であり、感情モデル８３は、このような情報によっても感情を変化させる。これは、例えば、「叫ぶ」といった行動により怒りの感情レベルが下がるといったようなことである。なお、出力セマンティクスコンバータモジュール７８からの通知は、上述した学習モジュール８２にも入力されており、学習モジュール８２は、その通知に基づいて行動モデルの対応する遷移確率を変更する。

なお、行動結果のフィードバックは、行動切換モジュール８１の出力（感情が付加された行動）によりなされるものであってもよい。

一方、本能モデル８４は、「運動欲（exercise）」、「愛情欲（affection）」、「食欲（appetite）」及び「好奇心（curiosity）」の互いに独立した４つの欲求について、これら欲求毎にその欲求の強さを表すパラメータを保持している。そして、本能モデル８４は、これらの欲求のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール６９から与えられる認識結果や、経過時間及び行動切換モジュール８１からの通知などに基づいて周期的に更新する。

具体的には、本能モデル８４は、「運動欲」、「愛情欲」及び「好奇心」については、認識結果、経過時間及び出力セマンティクスコンバータモジュール７８からの通知などに基づいて所定の演算式により算出されるそのときのその欲求の変動量をΔＩ［ｋ］、現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の感度を表す係数ｋ_ｉとして、所定周期で（２）式を用いて次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋１］を算出し、この演算結果を現在のその欲求のパラメータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラメータ値を更新する。また、本能モデル８４は、これと同様にして「食欲」を除く各欲求のパラメータ値を更新する。

なお、認識結果及び出力セマンティクスコンバータモジュール７８からの通知などが各欲求のパラメータ値の変動量ΔＩ［ｋ］にどの程度の影響を与えるかは予め決められており、例えば出力セマンティクスコンバータモジュール７８からの通知は、「疲れ」のパラメータ値の変動量ΔＩ［ｋ］に大きな影響を与えるようになっている。

なお、本実施の形態においては、各情動及び各欲求（本能）のパラメータ値がそれぞれ０から１００までの範囲で変動するように規制されており、また係数ｋ_ｅ、ｋ_ｉの値も各情動及び各欲求毎に個別に設定されている。

一方、ミドル・ウェア・レイヤ５０の出力セマンティクスコンバータモジュール７８は、図８に示すように、上述のようにしてアプリケーション・レイヤ５１の行動切換モジュール８１から与えられる「前進」、「喜ぶ」、「鳴く」又は「トラッキング（ボールを追いかける）」といった抽象的な行動コマンドを出力系７９の対応する信号処理モジュール７１〜７７に与える。

そしてこれら信号処理モジュール７１〜７７は、行動コマンドが与えられると当該行動コマンドに基づいて、その行動をするために対応するアクチュエータに与えるべきサーボ指令値や、スピーカから出力する音の音声データ及び又はＬＥＤに与える駆動データを生成し、これらのデータをロボティック・サーバ・オブジェクト４２のバーチャル・ロボット４３及び信号処理回路を順次介して対応するアクチュエータ又はスピーカ又はＬＥＤに順次送出する。このようにしてロボット装置１０は、上述した制御プログラムに基づいて、自己（内部）及び周囲（外部）の状況や、使用者からの指示及び働きかけに応じた自律的な行動ができる。

以上説明したように本発明を適用したコンテンツ再生装置は、映画、テレビ、音楽などのコンテンツを再生してロボット装置の感情を表現するため、複雑な感情表現、臨場感あふれる感情表現、あいまいな感情表現などが表現できるようになり、ロボット装置の感情表現の幅が広がる。

また、コンテンツ再生装置は、コンテンツ及びコンテンツのメタデータを記録したサーバを検索するサーバ検索部を備える。そのため、定期的に新しいサーバを検索して、メタデータを更新したり、現在記憶しているメタデータに適合する感情が存在しないときに新しいサーバを検索することができる。ネットワーク上には、無数のサーバが存在するため、選択するコンテンツの幅が広がる、
なお、本発明は、上述した実施の形態に限定されるものではなく、コンテンツを再生してロボット装置の感情を表現するという本発明の主旨を含む変形、改良は、本発明に含まれるものとする。例えば、内部状態は、感情には限定されず、ロボット装置の欲求、思考内容などの他の内部状態も含む。また、コンテンツを選択する際、「嬉しい」、「悲しい」のような単純な感情だけでなく、「喜び」、「悲しみ」、「怒り」、「驚き」、「嫌悪」、「恐れ」の６つの感情のパラメータをもとにコンテンツを選択してもよい。こうすることにより、より複雑な感情表現が可能である。

さらに、コンテンツ再生装置とサーバとは、外部ネットワークを介して接続されているとしたが、ホームネットワークのような狭域ネットワークを介して接続してもよい。この場合、サーバは、ユーザの家や仕事場などに存在するパーソナルコンピュータ等であると考えられる。このサーバにメタデータ入力部を設け、ユーザがコンテンツのメタデータを定義できるようにしてもよい。例えば、ユーザの撮った写真やビデオなどにタイトルなどのメタデータを入力すると、より親しみのあるコンテンツを再生することができる。

コンテンツ再生システムの構成を示す図である。ロボット装置の外観を示す図である。ロボット装置の内部構成を示す図である。コンテンツ検索部に記録されたキーワードのデータ構造を示す図である。コンテンツを再生する手順を示すフローチャートである。コンテンツ再生システムの構成を示す図である。サーバの構成を示す図である。サーバ検索処理の手順を示すフローチャートである。同ロボット装置のソフトウェア構成を示すブロック図である。同ロボット装置のソフトウェア構成におけるミドル・ウェア・レイヤの構成を示すブロック図である。同ロボット装置のソフトウェア構成におけるアプリケーション・レイヤの構成を示すブロック図である。アプリケーション・レイヤの行動モデルライブラリの構成を示すブロック図である。同ロボット装置の行動決定のための情報となる有限確率オートマトンを説明する図である。有限確率オートマトンの各ノードに用意された状態遷移表を示す図である。

符号の説明

１コンテンツ再生システム、１０ロボット装置、１１主制御部、２０コンテンツ再生装置、２１コンテンツ記憶部、２２メタデータ記憶部、２３無線通信部、２４感情情報記憶部、２５コンテンツ選択部、２６再生部、２７送信部、２８受信部、２９サーバ検索部、３０サーバ、３１コンテンツ記録部、３２メタデータ記録部、３３受信部、３４、送信部、３５サービス内容返信部、８０行動モデルライブラリ、８１行動切換モジュール、８２学習モジュール、８３感情モデル、８４本能モデル

Claims

外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置と、
コンテンツに関する情報を記憶する記憶手段と、上記ロボット装置の内部状態を受信する内部状態受信手段と、上記ロボット装置の内部状態とコンテンツに関する情報とを比較し、ロボット装置の内部状態に適合したコンテンツを選択するコンテンツ選択手段と、上記選択手段にて選択したコンテンツを再生するコンテンツ再生手段とを備えたコンテンツ再生装置と
を備えたことを特徴とするコンテンツ再生システム。
上記ロボット装置の内部状態は、ロボット装置の感情であることを特徴とする請求項１記載のコンテンツ再生システム。
コンテンツを記録するコンテンツ記録手段と、上記コンテンツに関する情報を記録するコンテンツ関係情報記録手段とを備えた外部記録装置を備え、
上記コンテンツ再生装置は、上記選択手段にて上記外部記録装置のコンテンツを選択すると、上記外部記録装置に対してコンテンツの配信を要求するコンテンツ配信要求手段を備えたことを特徴とする請求項１記載のコンテンツ再生システム。
上記コンテンツ再生装置は、
外部ネットワーク上に存在する外部記録装置が提供するサービスの内容を問合せ、コンテンツ記録手段及びコンテンツ関係情報記録手段を備えた外部記録装置を検索する情報処理装置検索手段を備えたことを特徴とする請求項３記載のコンテンツ再生システム。
上記コンテンツは、複数のセグメントから構成され、各セグメントにその内容に関する情報が付加されていることを特徴とする請求項１記載のコンテンツ再生システム。
上記コンテンツ選択手段は、
複数のコンテンツを選択した場合、上記複数のコンテンツの任意の１つのコンテンツを無作為に選択することを特徴とする請求項１記載のコンテンツ再生システム。
外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置の内部状態を受信する内部状態受信工程と、
コンテンツの内容を示す情報を受信する情報受信工程と、
上記内部状態とコンテンツの内容を示す情報とを比較し、上記内部状態に適合したコンテンツを検索するコンテンツ検索工程と、
上記コンテンツを再生するコンテンツ再生工程と
を有するコンテンツ再生方法。
外部情報、外部からの働きかけに応じた動作及び／又は内部状態に基づく自律的動作を実行するロボット装置の内部状態を受信する内部状態受信手段と、
コンテンツの内容を示す情報を記憶する記憶手段と、
上記ロボット装置の内部状態とコンテンツの内容を示す情報とを比較し、ロボット装置の内部状態に適合したコンテンツを選択するコンテンツ選択手段と、上記ロボット装置の内部状態に適合したコンテンツを再生するコンテンツ再生手段と
を備えたコンテンツ再生装置。