JP2006071936A - 対話エージェント - Google Patents

Abstract

【課題】利用者への応答を自我状態に応じて変化させ、利用者に違和感や不快感の生じない自然な対話を行うことを可能とした対話エージェントを提供する。
【解決手段】顔感情推定部１３はカメラ４１で撮像した利用者の表情から感情を推定する。マイクロホン４２から入力された利用者の音声は、音声感情推定部１４で感情が推定され、口調推定部１５で口調が推定され、テキスト抽出部１６でテキストが抽出される。自我状態推定部２０では、利用者の表情から得た感情と音声から得た感情と口調とテキストとの４種類の情報を組み合わせることにより利用者の発話に対する自我状態ベクトルを推定する。対話制御部３０は、利用者の発話により推定された自我状態ベクトルから応答用の自我状態ベクトルおよびテキストを決定し、スピーカ４３を通して合成音声で応答する。
【選択図】 図１

Description

本発明は、利用者の音声に応答して利用者と対話する対話エージェントに関するものである。

従来から、利用者の音声に応答して利用者と対話する対話システムが種々提案されている。この種の対話システムでは、コンピュータを用いて実現されるものであるが、人間同士の対話と同様な自然な対話を行うことが要望されている。たとえば、利用者の音声による認識情報を静的な情報と動的な情報とに分けて保持し、動的な情報を認識対象の項目別に管理する構成によって、対話に用いる内容の絞り込みを迅速に行えるようにする技術が提案されている（たとえば、特許文献１参照）。
特開平６−２０８３８９号公報（第００２３−００４６段落、図３）

上述した特許文献１に記載された技術では、対話における応答時間を短縮することによって応答の遅れによる違和感を抑制する技術であって、利用者の発話内容が同じであれば同じ応答になるから、画一的な応答しかできないものである。たとえば、利用者が大人か子供かにかかわらず、いかにも機械が応答しているという対話しか行えないという問題がある。

本発明は上記事由に鑑みて為されたものであり、その目的は、利用者との対話の際に自我状態を認識することによって、状況に応じた自我状態で対話することを可能とし、利用者への応答を自我状態に応じて適宜に変化させることにより、利用者にとって受け入れやすくかつ違和感のない自然な対話を行うことを可能とした対話エージェントを提供することにある。

請求項１の発明は、利用者の音声が入力される音声入力手段と、音声入力手段から入力された音声の内容に応答するテキストを生成する対話処理手段と、対話処理手段により生成されたテキストを利用者に対して出力するテキスト出力手段とを有し、対話処理手段は、音声入力手段から入力された音声の韻律的特徴を用いて利用者の感情を複数種類に分類し音声感情データとして出力する音声感情推定部と、音声入力手段から入力された音声の韻律的特徴を用いて利用者の口調を複数種類に分類し口調データとして出力する口調推定部と、音声入力手段から入力された音声から音列を抽出しテキストデータとして出力するテキスト抽出部と、利用者の顔を撮像する画像入力手段と、画像入力手段により撮像した利用者の顔の各部位に設定した特徴点の時間経過に伴う位置の変化から表情を分類する表情推定部と、表情推定部で抽出された表情が入力され時間変化に伴う表情の変化パターンを用いて利用者の感情を複数種類に分類し感情サマリデータとして出力する顔感情推定部と、対話する両者の心のモデルである自我状態の組合せを話し手から聞き手への向きも含めた自我状態ベクトルとし感情サマリデータと音声感情データと口調データとテキストデータとの組から利用者の発話による自我状態ベクトルを推定する自我状態推定部と、自我状態推定部で推定された自我状態ベクトルからあらかじめ設定されている対応ルールに従って利用者に応答する際の自我状態ベクトルを決定しかつテキストデータの内容から利用者に応答するテキストを自動的に決定する対話制御部とを備えることを特徴とする。

この構成によれば、利用者の表情から得られる感情と、利用者の音声から得られる感情、口調、テキストとの４種類の情報を用いることにより、利用者の自我状態と刺激された対話エージェントの自我状態との組合せを刺激の向きとともに自我状態ベクトルとして推定し、この自我状態ベクトルを用いて利用者に応答する際の自我状態ベクトルを決定するとともに応答用のテキストを決定するから、利用者の発話により推定される自我状態ベクトルに応じて利用者への応答を変化させることになり、利用者にとって受け入れやすく違和感や不快感を生じさせない自然な対話が可能になる。

請求項２の発明では、請求項１の発明において、前記自我状態推定部は、前記感情サマリデータと前記音声感情データとの組合せから推定される自我状態ベクトルの候補ごとに尤度を示す感情自我状態スコアを求める感情スコア割当部と、前記音声感情データと前記口調データとの組合せから推定される自我状態ベクトルの候補ごとに尤度を示す口調自我状態スコアを求める口調スコア割当部と、前記テキストデータの内容から推定される自我状態ベクトルの候補ごとに尤度を示すテキスト自我状態スコアを求めるテキストスコア割当部と、感情スコア割当部と口調スコア割当部とテキストスコア割当部とで得られた自我状態ベクトルの候補に含まれている自我状態を対話する各者ごとに分類し、各者の各自我状態ごとに当該候補の感情自我状態スコアと口調自我状態スコアとテキスト自我状態スコアとにそれぞれ重み係数を乗じて加算した加重和を尤度の評価値である統合スコアとして求め、自我状態ベクトルの候補に含まれている各者の各自我状態ごとの統合スコアのうち尤度が最大になる自我状態を利用者の発話による自我状態ベクトルにおける各者の自我状態と推定するスコア統合演算部とを備えることを特徴とする。

この構成によれば、表情および音声から得られる感情と、音声から得られる口調と、音声から得られるテキストとによりそれぞれ自我状態ベクトルを推定し、各自我状態ベクトルの尤度を統合することによって、妥当と考えられる自我状態ベクトルを求めるから、利用者の発話に対する自我状態ベクトルの決定精度が高くなる。なお、尤度の用語は、もっともらしさの程度という意味で用いている。

請求項３の発明では、請求項２の発明において、前記感情自我状態スコアは、前記感情サマリデータと前記音声感情データとが示す感情が一致する場合に自我状態ベクトルの候補に対して満点を与え、感情が一致しない場合に得られる自我状態ベクトルの候補に対して同点に配分される数値であり、前記口調自我状態スコアは、前記音声感情データと前記口調データとに矛盾がない場合に自我状態ベクトルの候補に対して満点を与え、矛盾がある場合に自我状態ベクトルの候補に対して同点に配分される数値であり、前記テキスト自我状態スコアは、前記テキストデータに特定の付帯語句が含まれるときに当該付帯語句に対応する自我状態ベクトルの候補に対して尤度の高い順に大きい値が充てられる数値であり、１つの付帯語句に対応する自我状態ベクトルの候補に充てたテキスト自我状態スコアの合計が満点になることを特徴とする。

この構成によれば、感情自我状態スコアと口調自我状態スコアとテキスト自我状態スコアとを比較的簡単かつ適切に設定することができる。

請求項４の発明では、請求項２または請求項３の発明において、前記統合スコアを求める重み係数は、感情自我状態スコアに対する重み係数と口調自我状態スコアに対する重み係数との和がテキスト自我状態スコアに対する重み係数よりも大きく、かつテキスト自我状態スコアに対する重み係数は利用者の自我状態に対する重み係数よりも刺激された自我状態に対する重み係数のほうが大きいことを特徴とする。

この構成によれば、利用者の発話に対する自我状態ベクトルの決定の際には、非言語情報を言語情報よりも重視して感情自我状態スコアおよび口調自我状態スコアをテキスト自我状態スコアに対して優勢に用いるから、感情自我状態スコアおよび口調自我状態スコアを主に用いるとともにテキスト自我状態スコアを補助的に用いて自我状態を推定することになり、利用者の発話に対する自我状態を適切に決定することができる。また、言語情報については、話し手の自我状態よりもむしろ聞き手のどの自我状態に対する刺激を意図したものであるかが表出されていると考え、上述のようにテキスト自我状態スコアの重み係数を設定している。

請求項５の発明では、請求項１ないし請求項４の発明において、前記対話制御部は、決定した応答用の自我状態ベクトルと決定した応答用のテキストとから音声の韻律パラメータを生成する機能を有し、前記テキスト出力手段は、対話制御部で決定した応答用のテキストに韻律パラメータを適用した合成音声を生成する音声合成処理部と、音声合成処理部で生成された合成音声を出力する音声出力手段とを備えることを特徴とする。

この構成によれば、利用者に対して音声による応答が可能であり、利用者が他の作業をしながらでも対話することが可能になる。また、視覚障害者との対話が可能になる。

請求項６の発明では、請求項１ないし請求項５の発明において、前記表情推定部は、「無表情」、「驚き」、「恐怖」、「嫌悪」、「怒り」、「幸福」、「悲しみ」の７種類の表情を分類することを特徴とする。

この構成によれば、表情推定部で分類する表情として、「無表情」、「驚き」、「恐怖」、「嫌悪」、「怒り」、「幸福」、「悲しみ」の７種類を用いるのであって、これらの７種類の表情を用いれば自我状態との対応付けは比較的容易である。

請求項７の発明では、請求項１ないし請求項６の発明において、利用者の音声の特徴および利用者の顔の特徴を利用者に対応付けて登録したユーザデータベースを有し、前記音声入力手段から入力される利用者の音声の特徴と前記画像入力手段により撮像される利用者の顔の画像の特徴とをユーザデータベースに照合して利用者を特定するユーザ認識部を備え、前記対話制御部は、ユーザ認識部で特定される利用者の属性があらかじめ登録されており、利用者に応答する際の自我状態ベクトルおよびテキストを決定する際に前記自我状態推定部で推定された自我状態ベクトルと前記テキストデータとのほかに、利用者の属性も用いることを特徴とする。

この構成によれば、あらかじめユーザデータベースに登録されている特定多数の利用者について自我状態を決定するから、応答時の自我状態ベクトルを決定する際に利用者について既知の情報を利用することが可能になり、不特定多数の利用者について自我状態を決定する場合に比較すると、違和感や不快感を生じさせない応答ができる可能性を高めることができる。また、対話エージェントが対話する利用者を特定することによって許可されていない利用者との対話を禁止することも可能である。

請求項８の発明では、請求項７の発明において、前記自我状態推定部が推定した自我状態ベクトルを前記ユーザ認識部により特定された利用者に対応付けて蓄積記憶する自我状態履歴記憶部と、自我状態履歴記憶部に蓄積された利用者の自我状態ベクトルの出現頻度の分布パターンにより利用者の性格を推定する自我状態特徴抽出部と、自我状態特徴抽出部により推定された性格を利用者に対応付けて記憶する自我状態特徴記憶部とが付加され、前記対話制御部は自我状態特徴記憶部に格納された利用者の性格を用いて利用者に応答する際の自我状態ベクトルおよびテキストを決定することを特徴とする。

この構成によれば、利用者の自我状態の出現頻度の履歴によって利用者の性格を推定することができるから、カウンセラの診断や自己診断テストなどを行うことなく、利用者の性格推定が可能になる。性格の推定結果は自我状態特徴記憶部に格納され、利用者の性格の推定結果を用いて利用者に応答する際の自我状態ベクトルおよびテキストを決定するから、利用者に応じたスムーズな応答が可能になる。なお、利用者の自我状態の履歴と性格の推定結果とを記憶しているから、利用者のカウンセリングのためにカウンセラが利用することも可能である。

請求項９の発明は、請求項１ないし請求項８の発明において、前記対話制御部の対応ルールでは、利用者の発話によって刺激される自我状態を応答時の自我状態とし、応答時に刺激する利用者の自我状態を利用者の先の発話時の自我状態とすることを特徴とする。

この構成によれば、利用者が発話する際の自我状態ベクトルと対話エージェントが応答する際の自我状態ベクトルとが一致するから、利用者に違和感や不快感を生じさせないスムーズな対話が可能になる。また、利用者が発話する際の自我状態ベクトルが決まれば対話エージェントが応答する際の自我状態ベクトルを一意に決定できるから、対応ルールが簡単になる。

請求項１０の発明では、請求項１ないし請求項９の発明において、身体動作を伴う表現を行う身体モデル表現部と、前記対話制御部で決定された自我状態ベクトルおよびテキストを身体モデル表現部の身体動作に変換する身体表現制御部とが付加されていることを特徴とする。

この構成によれば、対話制御部で決定されたテキストおよび自我状態ベクトルを身体モデル表現部の身体動作に反映させるから、対話の際に利用者に対して身振りや手まねを付与して応答することができ、利用者へのメッセージの伝達がスムーズになる。

請求項１１の発明では、請求項１ないし請求項１０の発明において、前記自我状態は、交流分析に基づく心のモデルである「批判的な親」、「保護的な親」、「大人」、「自由な子供」、「順応する子供」の５種類に分類されることを特徴とする。

この構成によれば、自我状態として、交流分析に基づく心のモデルである「批判的な親」、「保護的な親」、「大人」、「自由な子供」、「順応する子供」を用いるから、交流分析に従って応答時の自我状態ベクトルを比較的容易に設定することができる。

本発明の構成によれば、利用者の表情から得られる感情と、利用者の音声から得られる感情、口調、テキストとの４種類の情報を用いることにより、利用者の自我状態と刺激された自我状態との組合せである自我状態ベクトルを推定し、この自我状態ベクトルを用いて利用者に応答する際の自我状態ベクトルを決定するとともに応答用のテキストを決定するから、利用者の発話により推定される自我状態ベクトルに応じて利用者への応答を変化させることになり、利用者にとって受け入れやすく違和感や不快感を生じさせない自然な対話が可能になるという利点がある。

（基本動作）
以下に説明する対話エージェントは、コンピュータを用いて構成され、利用者との間で自然な対話を実現するために自我状態に着目して応答用の音声を生成するものである。自我状態は、交流分析（たとえば、杉田峰泰：「交流分析」，日本文化科学社，１９８５）に基づく心のモデルであり、親（Ｐ）、大人（Ａ）、子供（Ｃ）の３状態に分類され、さらに親は批判的な親（ＣＰ）と保護的な親（ＮＰ）に分類され、子供は自由な子供（ＦＣ）と順応する子供（ＡＣ）とに分類される。つまり、自我状態は５種類に分類される。以下では自我状態を説明する際に、ＣＰ、ＮＰ、Ａ、ＦＣ、ＡＣの符号を用いる。また、以下に説明する実施形態では「利用者」として人間を想定して「利用者」と呼び、原則として利用者が先に発話するものとする。

交流分析においては、対話する両者の自我状態が適切な関係であるときにスムーズな対話が成立する。すなわち、対話する際の発話者と応答者との関係においては、発話者がある自我状態で発話すると、発話者の発話を受けて応答者の自我状態が刺激されるのであって、発話者の自我状態と応答者の刺激された自我状態との関係が適正な関係であれば、応答者の応答が発話者に違和感や不快感を与えることがなく、応答の内容を効率よく伝達することが可能になる。一方、発話者の自我状態と応答者の刺激された自我状態との関係が適正でないときには、応答者の応答が発話者に違和感や不快感を与え、馴れ馴れしい印象や素っ気ない印象を与えることになる。つまり、スムーズな対話を成立させるには、発話者と応答者との自我状態の関係を適正にすることが必要であることが知られている。

対話の際に自我状態を考慮するために、対話エージェントは、基本的には図３に示す手順で動作する。まず利用者の音声がマイクロホンから入力されると（Ｓ１）、利用者の音声および利用者の表情をマイクロホンおよびＴＶカメラを用いて取得し（Ｓ２）、利用者の自我状態と利用者により刺激される対話エージェントの自我状態との組合せを推定する（Ｓ３）。ここに、利用者と対話エージェントとの自我状態の組合せを話し手から聞き手への向きを含めて「自我状態ベクトル」と呼び、また、利用者が対話エージェントの自我状態を刺激する場合には被刺激の自我状態ベクトルと呼び、対話エージェントが利用者の自我状態を刺激する場合には加刺激の自我状態ベクトルと呼ぶことにする。被刺激の自我状態ベクトルが推定されると、対話エージェントの自我状態と対話エージェントが刺激する利用者の自我状態との組合せである加刺激の自我状態ベクトルを決定した後（Ｓ４）、加刺激の自我状態ベクトルに適合した応答用のテキストを生成し（Ｓ５）、利用者に対してテキストを出力するのである（Ｓ６）。また、本発明では、被刺激の自我状態ベクトルの推定に際して、利用者から取得した情報の組合せを評価値であるスコアに置き換え、スコアを用いて加刺激の自我状態ベクトルを決定する構成を採用している。スコアには０〜１００の整数値を用いる。

自我状態ベクトルは、丸括弧内に利用者の自我状態と対話エージェントの自我状態とを左側が利用者の自我状態になるように左右に並べて記述し、被刺激の場合は利用者から対話エージェントに向かうように両者間を右向き矢印で結合し、加刺激の場合は両者間を左向き矢印で結合する。たとえば、利用者の自我状態がＣＰ、対話エージェントの自我状態がＡＣである被刺激の場合には（ＣＰ→ＡＣ）と記述し、加刺激の場合には（ＣＰ←ＡＣ）と記述する。また、自我状態に対応するスコアは、丸括弧内に利用者のスコアと対話エージェントのスコアとを左側が利用者のスコアになるように左右に並べて記述し、両者間をコンマで区切る。たとえば、利用者のスコアが５０であり、対話エージェントのスコアが５０であれば、（５０，５０）と記述する。被刺激の自我状態ベクトルが（ＣＰ→ＡＣ）であり、その自我状態ベクトルのスコアが（５０，５０）であるときには、（ＣＰ→ＡＣ）＝（５０，５０）と記述する。

（実施形態１）
本実施形態の対話エージェントの構成を図１に示す。対話エージェントは、利用者の顔の表情を取得するための画像入力手段としてＴＶカメラからなるカメラ４１を備え、また利用者の音声を取得するための音声入力手段としてマイクロホン４２を備える。カメラ４１は利用者の顔付近を撮像するように視野が設定される。また、対話エージェントは、利用者の発話に応答してテキストを出力するものであり、本実施形態では、テキストを音声と文字とにより出力する例を示す。したがって、テキストを出力するテキスト出力手段として、テキストに応じて音声合成処理部１７で生成した合成音声を出力するための音声出力手段であるスピーカ４３と、テキストを画面に表示する画像出力手段であるＣＲＴあるいは液晶表示器のようなディスプレイ４４とを備える。カメラ４１、マイクロホン４２、スピーカ４３、ディスプレイ４４は、適宜のプログラムを実行するコンピュータにより実現される対話処理手段１０に接続され、対話処理手段１０では、以下に説明する処理によって、マイクロホン４２から入力された利用者の音声に応答するテキストを生成する。

対話処理手段１０は、基本的にはカメラ４１で撮像された画像とマイクロホン４２から入力された音声とにより被刺激の自我状態ベクトルを推定する手段と、被刺激の自我状態ベクトルから加刺激の自我状態ベクトルを決定する手段と、マイクロホン４２から入力された音声に含まれるテキストと加刺激の自我状態ベクトルとから応答用のテキストを生成するとともに、スピーカ４３とディスプレイ４４との少なくとも一方を通して応答用のテキストを利用者に提示する手段とを備える。

本実施形態では、被刺激の自我状態ベクトルを推定する手段は、表情推定部１１、表情データベース１２、顔感情推定部１３、音声感情推定部１４、口調推定部１５、テキスト抽出部１６、自我状態推定部２０により構成してあり、加刺激の自我状態ベクトルを決定する手段および応答用のテキストを利用者に提示する手段は、対話制御部３０、音声合成処理部１７により構成してある。

カメラ４１で撮像される画像は動画像であって、カメラ４１で取得した動画像は表情推定部１１に入力される。表情推定部１１は、カメラ４１で撮像した利用者の顔の画像（たとえば、３０フレーム／秒で画像を取り込む）のうち眉、目、口などの各部位について特徴点を設定し、特徴点の位置の時間経過に伴う変化から表情を分類する。表情の種類としては、エクマン：「表情分析入門」などに記述されているように、「無表情」、「驚き」、「恐怖」、「嫌悪」、「怒り」、「幸福」、「悲しみ」の７種類を用いる。

表情推定部１１では、顔の各部位の時間変化のパターンを抽出するとともに、抽出した時間変化のパターンを表情データベース１２と照合する。表情データベース１２には、特徴点の時間変化のパターンが上述した７種類の表情に対応付けて格納してあり、表情推定部１１は、顔の各部位の時間変化のパターンを表情データベース１２と照合することによって、表情データベース１２からパターンマッチングの技術によって表情を分類する。

なお、表情推定部１１で扱う画像はデジタル画像であるものとする。デジタル画像はカメラ４１から出力することができるが、カメラ４１から出力されるアナログ信号の映像信号に対して表情推定部１１においてアナログ−デジタル変換を行ってもよい。

表情推定部１１で抽出された表情は顔感情推定部１３に入力される。顔感情推定部１３は、時間経過に伴うフレーム毎の表情の変化パターンを用いて利用者の感情を推定する。表情から感情を推定する際には、利用者の発話の開始時点と終了時点とを検出し、開始から終了までの区間と終了後の区間とにおける表情の整合性を評価し、両区間で推定した感情に明らかな矛盾が発生していなければ、その結果を採用する。顔の画像に基づいて利用者の感情を分類する際には、リアルタイムでの分類が可能となるように、顔感情推定部１３が出力する感情の種類は「平静または怒り」「喜び」「推定不能」の３種類に制限してある。

一方、マイクロホン４２から出力される音声信号は、音声感情推定部１４と口調推定部１５とテキスト抽出部１６とに入力される。音声感情推定部１４と口調推定部１５とテキスト抽出部１６とにおいては、音声信号のセグメンテーションを行い、ＦＦＴなどの技術を用いて周波数成分を特徴量として抽出する。特徴量を抽出する処理は、音声感情推定部１４と口調推定部１５とテキスト抽出部１６とで同様の処理になるから、特徴量を抽出する処理を行う処理部を設けて、音声感情推定部１４と口調推定部１５とテキスト抽出部１６とで共用し、音声感情推定部１４と口調推定部１５とテキスト抽出部１６とにおいては特徴量を抽出する処理を省略してもよい。

音声感情推定部１４では、利用者が発話した音声の韻律的特徴によって感情を分類するものであり、韻律的特徴の分類にはガウス混合モデル（ＧＭＭ）を用いる。分類する感情は３種類であって、「怒り」「喜び」「平静」とする。

また、口調推定部１５は、ガウス混合モデルを用いて、利用者が発話した音声の口調を分類する。５種類の自我状態に対する口調は、上述した文献では１つの自我状態について１６口調ずつ示されているが、本実施形態では表１のように、１つの自我状態について４口調ずつ対応させ、利用者の音声を２０種類の口調に分類する。口調を分類するために用いるＧＭＭにおける混合ガウス分布数は６４とする。また、音声信号からの特徴量抽出条件を表２に示す。音声感情推定部１４および口調推定部１５の学習方法については後述する。

テキスト抽出部１６は、利用者の音声からテキスト（音列）を抽出する。テキスト抽出部１６における音声の認識にはＧＭＭや隠れマルコフモデル（ＨＭＭ）を用いた周知の技術を採用することができる。

上述のように、顔感情推定部１３ではカメラ４１で撮像した利用者の画像から３種類の感情が抽出される。また、音声感情推定部１４では利用者の音声から「怒り」「喜び」「平静」の３種類の感情が抽出され、口調推定部１５では利用者の音声が表１に示した２０種類の口調に分類され、テキスト抽出部１６では利用者の音声からテキストが抽出される。以下では、顔感情推定部１３の出力を表情サマリデータｄ１、音声感情推定部１４の出力を音声感情データｄ２、口調推定部１５の出力を口調データｄ３、テキスト抽出部１６の出力をテキストデータｄ４、と呼ぶことにする。表情サマリデータｄ１、音声感情データｄ２、口調データｄ３、テキストデータｄ４は、被刺激の自我状態ベクトルを推定する機能を有した自我状態推定部２０に入力される。

自我状態推定部２０は、表情サマリデータｄ１と音声感情データｄ２との組合せを感情自我状態スコアＳ１に置き換える感情スコア割当部２１と、音声感情データｄ２と口調データｄ３との組合せを口調自我状態スコアＳｂに置き換える口調スコア割当部２２と、テキストデータｄ４の内容からテキスト自我状態スコアＳｃを求めるテキストスコア割当部２３とを備える。感情自我状態スコアＳａ、口調自我状態スコアＳｂ、テキスト自我状態スコアＳｃは、被刺激の自我状態ベクトルについて、利用者と対話エージェントとのそれぞれの自我状態に０〜１００点の点数を与えたものであって、１００点に近いほどその自我状態である可能性が高いことを示す。

ところで、自我状態には５状態があるから、自我状態ベクトルは２５種類が考えられる。もっとも、料理のレシピを提示する対話エージェントのように、利用者が対話エージェントに対して要求や質問を行い、対話エージェントが利用者に対して違和感や不快感をもたらさないように応答する場合を想定すると、利用者の発話時の自我状態としてＮＰやＡＣはあり得ず、対話エージェントの応答時の自我状態としてＣＰはあり得ない。つまり、利用者の自我状態としては、ＣＰ、Ａ、ＦＣの３種類が選択可能であり、対話エージェントの自我状態としては、ＮＰ、Ａ、ＦＣ、ＡＣの４種類が選択可能である。さらに、相補的交流パターン（対話する両者の自我状態が同じである交流パターン）が成立する自我状態ベクトルと、上述した文献に記載されている一般に起こりやすい交流パターンが成立する自我状態ベクトルとを考慮すれば、被刺激の自我状態ベクトルは、（Ａ→Ａ）、（ＣＰ→ＡＣ）、（ＦＣ→ＦＣ）、（ＦＣ→ＮＰ）の４種類になる。

利用者が対話エージェントと対話するには、まず利用者の自我状態がＣＰ、Ａ，ＦＣのどれであるかを対話エージェントが推定しなければならない。一方、自我状態がＦＣであるときには、「本能的」「自由な感情表現」「興奮」などの特徴があり、自我状態がＣＰであるときには、「高圧的」「避難」「叱責」「怒りっぽい頑固おやじ」などの特徴があることが知られている。また、感情自我状態スコアＳａと口調自我状態スコアＳｂとは、音声感情データｄ２から求める利用者の感情を含んでおり、ＦＣという自我状態を音声感情データｄ２の３種類の感情である「怒り」「喜び」「平静」の特徴を持つか否かの観点で見れば、ＦＣという自我状態では、「喜び」あるいは「喜び」に類した特徴を持つ場合と、「怒り」の特徴と持つ場合との２種類の場合がある。

そこで、感情自我状態スコアＳａと口調自我状態スコアＳｂとを求める際には、ＦＣを、「喜び」の特徴を持つＦＣａと、「怒り」の特徴を持つＦＣｂとに分けて考えることにする。つまり、被刺激の自我状態ベクトルとして、（Ａ→Ａ）、（ＣＰ→ＡＣ）、（ＦＣａ→ＦＣａ）、（ＦＣａ→ＮＰ）、（ＦＣｂ→ＦＣｂ）の５種類を考える。また、音声感情データｄ２から求める利用者の感情が、「平静」の場合は自我状態をＡ、「喜び」の場合は自我状態をＦＣａ、「怒り」の場合は自我状態をＣＰまたはＦＣｂとする。

表情サマリデータｄ１と音声感情データｄ２との組合せに対する感情自我状態スコアＳａは、表情サマリデータｄ１が「平静または怒り」「喜び」「推定不能」の３種類であり、音声感情データｄ２が「怒り」「喜び」「平静」の３種類であるから、表３のように、組合せは９種類になる。つまり、表情サマリデータｄ１と音声感情データｄ２との９種類の組合せに対して自我状態ベクトルを対応付け、各自我状態ベクトルごとに感情自我状態スコアＳａを規定する。表３においては、表情サマリデータｄ１と音声感情データｄ２とが示す感情が一致する場合には、感情自我状態スコアＳａを満点（本実施形態では１００）とし、表情サマリデータｄ１と音声感情データｄ２とが示す感情が一致しない場合には、表情サマリデータｄ１と音声感情データｄ２との内容に応じて、自我状態ベクトルの可能性の順に感情自我状態スコアＳａを設定している。

表情サマリデータｄ１と音声感情データｄ２との１つの組合せに対して複数種類の自我状態ベクトルを推定できる場合には、表情サマリデータｄ１と音声感情データｄ２との１つの組合せにおける感情自我状態スコアＳａの合計が満点になるように、感情自我状態スコアＳａを割り振る。なお、上述した５種類の自我状態ベクトルのいずれにも該当しないと考えられる場合には、自我状態ベクトルを「不明」とし、不明の自我状態ベクトルに感情自我状態スコアＳａを規定している。すなわち、表情サマリデータｄ１が「推定不能」であるときに、音声感情データｄ２の内容にかかわらず、自我状態ベクトルが「不明」である場合を規定し、感情自我状態スコアＳａを（２０，２０）とし、残りの（８０，８０）を可能性がある他の自我状態ベクトルで配分する。また、表情サマリデータｄ１が「喜び」であり音声感情データｄ２が「怒り」である場合には感情が矛盾しているから、自我状態ベクトルを「不明」として感情自我状態スコアＳａは（１００，１００）とする。

口調自我状態スコアＳｂを求める際に用いる口調データｄ３は、本実施形態では、５種類の自我状態について４種類ずつの口調を対応付けているものであるから、２０種類の口調に分類することが可能であるが、上述したように、利用者の発話時の自我状態をＡ、ＣＰ、ＦＣ（ＦＣａ、ＦＣｂ）の３種類に制限しているから、口調の種類は表４に示すように合計１２種類になる。さらに、本実施形態では口調自我状態スコアＳｂを求めるための口調について、表４のように、自我状態がＣＰに対応するものと、Ａに対応するものと、ＦＣ１、ＦＣ３に対応するものと、ＦＣ２に対応するものと、ＦＣ４に対応するものとの５種類にまとめている。したがって、音声感情データｄ２と口調データｄ３との組合せに対する口調自我状態スコアＳｂは、表４のように、１５種類の組合せになる。ここに、表４におけるアルファベットと数字との組合せは表１における縦行のアルファベットと横列の数字との組合せであり、アルファベットと数字との交差する升目が口調の種類になる。また、表４におけるＮは「口調なし」を示す。音声感情データｄ２と口調データｄ３との１５種類の組合せに対して自我状態ベクトルを対応付け、各自我状態ベクトルごとに感情自我状態スコアＳａを規定する。口調自我状態スコアＳｂに対応する自我状態ベクトルの推定においても、５種類の自我状態ベクトルのいずれにも該当しないと考えられる場合には、自我状態ベクトルを「不明」とし、適宜の口調自我状態スコアＳｂを与える。

本実施形態では、利用者が対話エージェントに対して要求や質問を行う場合を想定しているから、テキスト自我状態スコアＳｃを求めるには、テキストデータｄ４から要求あるいは質問を表す語句を付帯語句として抽出し、付帯語句に自我状態ベクトルを対応付け、各自我状態ベクトルごとにテキスト自我状態スコアＳｃを規定する。テキストデータｄ４から抽出する付帯語句としては表５のように１４種類を想定する。テキストデータｄ４から抽出する付帯語句によって得られる自我状態ベクトルには、（ＦＣｂ→ＦＣｂ）も考えられるが、表５の例では自我状態としてＦＣｂは含まれていない。

表３〜５は、感情スコア割当部２１と口調スコア割当部２２テキストスコア割当部２３とにそれぞれ登録される。なお、表３〜５は実験結果に基づいて決定したものであるが、表情サマリデータｄ１、音声感情データｄ２、口調データｄ３、テキストデータｄ４を抽出する構成や対話エージェントの使用目的などによって適宜に変更される。

自我状態推定部２０は、感情スコア割当部２１で求めた感情自我状態スコアＳａと口調スコア割当部２２で求めた口調自我状態スコアＳｂとテキストスコア割当部２３で求めたテキスト自我状態スコアＳｃとにそれぞれ重み係数を乗じて加算した加重和を求めるスコア統合演算部２４を備える。つまり、スコア統合演算部２４では、次式の演算により統合スコアＳＩを求める。
ＳＩ＝ｗ１・Ｓａ＋ｗ２・Ｓｂ＋ｗ３・Ｓｃ
ただし、ｗ１，ｗ２，ｗ３は重み係数である。表３〜表５に示すように、感情自我状態スコアＳａと口調自我状態スコアＳｂとテキスト自我状態スコアＳｃとは、利用者と対話エージェントとの両方について点数が与えられているから、統合スコアＳＩは利用者と対話エージェントとの双方について求める。つまり、感情自我状態スコアＳａと口調自我状態スコアＳｂとテキスト自我状態スコアＳｃとは、いずれも利用者のスコアと対話エージェントのスコアとの組であるが、統合スコアＳＩを求める際には、上式の演算を利用者のスコアと対話エージェントのスコアとについてそれぞれ個別に行い、演算結果を統合スコアＳＩにおける利用者のスコアと対話エージェントのスコアとに用いる。統合スコアＳＩは、被刺激の自我状態ベクトルの評価値であって、統合スコアＳＩにより被刺激の自我状態ベクトルを推定することができる。

表３〜表５では、感情自我状態スコアＳａと口調自我状態スコアＳｂとテキスト自我状態スコアＳｃについて、どの自我状態ベクトルについても利用者のスコアと対話エージェントのスコアとが同じ値になっているが、重み係数ｗ１，ｗ２，ｗ３について以下の条件を設定することで、統合スコアＳＩでは利用者と対話エージェントとの値が異なる値になることがある。ここでは、統合スコアＳＩおよび重み係数ｗ１，ｗ２，ｗ３について利用者については（ｕ）を付加して記述し、対話エージェントについては（ａ）を付加して記述する。つまり、統合スコアＳＩは（ＳＩ（ｕ），ＳＩ（ａ））と表すことができる。また、重み係数ｗ１（ｕ），ｗ２（ｕ），ｗ３（ｕ），ｗ１（ａ），ｗ２（ａ），ｗ３（ａ）の条件は、以下の３条件を満たすことである。
ｗ１（ｕ）＋ｗ２（ｕ）＞ｗ３（ｕ）
ｗ１（ａ）＋ｗ２（ａ）＞ｗ３（ａ）
ｗ３（ｕ）＜ｗ３（ａ）
上記条件を満たす重み係数ｗ１（ｕ），ｗ２（ｕ），ｗ３（ｕ），ｗ１（ａ），ｗ２（ａ），ｗ３（ａ）としては、たとえばｗ１（ｕ）＝ｗ２（ｕ）＝ｗ２（ａ）＝ｗ３（ａ）＝０．４、ｗ３（ｕ）＝ｗ１（ａ）＝０．２と設定することができる。すなわち、下記関係になる。
ｗ１（ｕ）＋ｗ２（ｕ）＝０．８＞０．２＝ｗ３（ｕ）
ｗ１（ａ）＋ｗ２（ａ）＝０．６＞０．４＝ｗ３（ａ）
上例において、ｗ３（ｕ）を比較的小さくしているのは、テキストデータｄ４から抽出される付帯語句は、利用者の自我状態を反映しているものの感情に比較すると自我状態を反映する程度が小さいからであり、対話エージェントにおいてｗ１（ａ）を比較的小さくしているのは、対話エージェントにおいて利用者に刺激される自我状態は、口調データｄ３とテキストデータｄ４との反映の程度が大きいからである。

ところで、表３〜表５のようなデータを用いることによって、表情サマリデータｄ１と音声感情データｄ２と口調データｄ３とテキストデータｄ４との１つの組合せに対して、１種類以上の自我状態ベクトルが抽出される。また、表情サマリデータｄ１と音声感情データｄ２と口調データｄ３とテキストデータｄ４との１つの組合せに対して、感情自我状態スコアＳａと口調自我状態スコアＳｂとテキスト自我状態スコアＳｃとの少なくとも１つが複数規定されている場合もある。このように、複数種類の自我状態ベクトルが得られるときには、自我状態ベクトルに含まれる自我状態を利用者と対話エージェントとについてそれぞれ分類し、分類した自我状態ごとに、重み係数ｗ１（ｕ），ｗ２（ｕ），ｗ３（ｕ），ｗ１（ａ），ｗ２（ａ），ｗ３（ａ）を乗じて加算した加重和を求め、得られた加重和を利用者および対話エージェントにおける各自我状態の統合スコアＳＩとする。統合スコアＳＩは、利用者の自我状態と対話エージェントにおいて刺激された自我状態とのそれぞれについて自我状態の種類別に求められるから、利用者の各自我状態について求めた統合スコアＳＩ（ｕ）のうち最大値が得られる自我状態を利用者の自我状態と推定し、対話エージェントの各自我状態について求めた統合スコアＳＩ（ａ）のうち最大値が得られる自我状態を対話エージェントの自我状態と推定する。

以下に、利用者の発話による被刺激の自我状態ベクトルを推定する手順の一例を示す。ここでは、表情サマリデータｄ１が「平静」、音声感情データｄ２が「平静」、口調データｄ３が「口調なし」、テキストデータｄ４の付帯語句が「〜して」であるものとする。表３によれば、表情サマリデータｄ１が「平静」で音声感情データｄ２が「平静」である組合せでは、（Ａ→Ａ）＝（１００，１００）になる。また、表４によれば、口調データｄ３が「口調なし」で音声感情データｄ２が「平静」である組合せでは、（Ａ→Ａ）＝（１００，１００）になる。さらに、表５によりテキストデータｄ４から抽出した付帯語句が「〜して」であるときには、自我状態ベクトルが複数種類得られ、（Ａ→Ａ）＝（５０，５０）、（ＣＰ→ＡＣ）＝（３０，３０）、（ＦＣａ→ＦＣａ）＝（１０，１０）、（ＦＣａ→ＮＰ）＝（１０，１０）になる。

ところで、自我状態は、ＣＰ、ＮＰ、Ａ、ＦＣ、ＡＣの５種類であり、さらに本実施形態ではＦＣをＦＣａ，ＦＣｂに分けているから合計６種類の自我状態がある。各重み係数を、それぞれｗ１（ｕ）＝０．４，ｗ２（ｕ）＝０．４，ｗ３（ｕ）＝０．２，ｗ１（ａ）＝０．２，ｗ２（ａ）＝０．４，ｗ３（ａ）＝０．４とし、自我状態を区別するために各統合スコアＳＩ（ｕ），ＳＩ（ａ）、感情自我状態スコアＳａ、口調自我状態スコアＳｂ、テキスト自我状態スコアＳｃにそれぞれ＜Ｘ＞を付加し、Ｘを自我状態とすれば、利用者および対話エージェントの各自我状態ごとの統合スコアＳＩ（ｕ）＜Ｘ＞，ＳＩ（ａ）＜Ｘ＞は次式のようになる。
ＳＩ（ｕ）＜Ｘ＞＝０．４×Ｓａ＜Ｘ＞＋０．４×Ｓｂ＜Ｘ＞＋０．２×Ｓｃ＜Ｘ＞
ＳＩ（ａ）＜Ｘ＞＝０．２×Ｓａ＜Ｘ＞＋０．４×Ｓｂ＜Ｘ＞＋０．４×Ｓｃ＜Ｘ＞
また、上述の例では利用者については、Ｓａ＜Ａ＞＝１００、Ｓｂ＜Ａ＞＝１００、Ｓｃ＜Ａ＞＝５０、Ｓｃ＜ＣＰ＞＝３０、Ｓｃ＜ＦＣａ＞＝１０＋１０（自我状態がＦＣａである自我状態ベクトルが２個あることを意味する）であり、対話エージェントについては、Ｓａ＜Ａ＞＝１００、Ｓｂ＜Ａ＞＝１００、Ｓｃ＜Ａ＞＝５０、Ｓｃ＜ＡＣ＞＝３０、Ｓｃ＜ＦＣａ＞＝１０、Ｓｃ＜ＮＰ＞＝１０であり、感情自我状態スコアＳａ、口調自我状態スコアＳｂ、テキスト自我状態スコアＳｃの他の値は０になる。

これらの値を用い、利用者と対話エージェントとに分類して６種類の各自我状態ごとの総合スコアＳＩ（ｕ），ＳＩ（ａ）を求めると、以下のようになる。
ＳＩ（ｕ）＜ＣＰ＞＝０．４×０＋０．４×０＋０．２×３０＝６
ＳＩ（ｕ）＜ＮＰ＞＝０
ＳＩ（ｕ）＜Ａ＞＝０．４×１００＋０．４×１００＋０．２×５０＝９０
ＳＩ（ｕ）＜ＦＣａ＞＝０．４×０＋０．４×０＋０．２×（１０＋１０）＝４
ＳＩ（ｕ）＜ＡＣ＞＝０
ＳＩ（ｕ）＜ＦＣｂ＞＝０
ＳＩ（ａ）＜ＣＰ＞＝０
ＳＩ（ａ）＜ＮＰ＞＝０．２×０＋０．４×０＋０．４×１０＝４
ＳＩ（ａ）＜Ａ＞＝０．２×１００＋０．４×１００＋０．４×５０＝８０
ＳＩ（ａ）＜ＦＣａ＞＝０．２×０＋０．４×０＋０．４×１０＝４
ＳＩ（ａ）＜ＡＣ＞＝０．２×０＋０．４×０＋０．４×３０＝１２
ＳＩ（ａ）＜ＦＣｂ＞＝０
利用者と対話エージェントとについて、それぞれ統合スコアＳＩ（ｕ），ＳＩ（ａ）の最大値を求めると、ＳＩ（ｕ）＜Ａ＞＝９０、ＳＩ（ａ）＜Ａ＞＝８０であるから、利用者の自我状態をＡ、対話エージェントの自我状態をＡとし、被刺激の自我状態ベクトルを（Ａ→Ａ）＝（９０，８０）と推定することができる。

自我状態推定部２０において利用者の自我状態と刺激された対話エージェントの自我状態との推定により自我状態ベクトルが決まると、自我状態ベクトルは、テキストデータｄ４とともに対話制御部３０に与えられる。対話制御部３０では、自我状態推定部２０で推定された被刺激の自我状態ベクトルから加刺激の自我状態ベクトルを決定する。対話エージェントから利用者に応答する際の加刺激の自我状態ベクトルは、応答戦略決定部３１において被刺激の自我状態ベクトルに対応付けてあらかじめ設定してある対応ルールを用いて決定する。対話制御部３０には、応答戦略決定部３１により決定された自我状態ベクトルとテキストデータｄ４とを用いて利用者に応答するテキストを決定する応答テキスト決定部３２も設けられる。

対話制御部３０は、表６に示すように、被刺激の自我状態ベクトルと加刺激の自我状態ベクトルとの対応ルールを集めて登録したシナリオデータベース３３を備え、応答戦略決定部３１は、被刺激の自我状態ベクトルが自我状態推定部２０から与えられると、シナリオデータベース３３に格納された表６の対応関係を用いて加刺激の自我状態ベクトルを抽出する。なお、表６において、自我状態ベクトル間を結ぶ矢印は、因果関係を示している。つまり、矢印の左側の括弧の（被刺激の自我状態ベクトル）が与えられると、矢印の右側の括弧の（加刺激の自我状態ベクトル）を用いることを意味している。

料理のレシピを提案する対話エージェントでは、利用者の自我状態としてＮＰ、ＡＣはないから、表６のうちＮｏ６、Ｎｏ７は使用しない。また、自我状態ベクトルには「不明」の場合があるから、Ｎｏ１〜Ｎｏ５に当てはまらない場合には、Ｎｏ８を用いる。Ｎｏ３は利用者が「甘える」場合に相当し、Ｎｏ５は利用者が「怒る」場合に相当する。

応答テキスト決定部３２では、応答戦略決定部３１で得られた加刺激の自我状態ベクトルとテキストデータｄ４に含まれるキーワードとを用いて対話エージェントによる応答用のテキストを自動的に決定する。対話エージェントが利用者に応答するテキストは、利用者の発話によるテキストデータｄ４の中のキーワードに対応するように応答用のキーワードが決められており、対話エージェントと利用者との自我状態に応じて決まる付帯語句を応答用のキーワードに付加してテキストを組み立てることにより、対話エージェントが応答するテキストを生成する。応答用のキーワードおよび自我状態ベクトルに応じて決定される付帯語句はシナリオデータベース３３に格納しておく。つまり、シナリオデータベース３３では、被刺激の自我状態ベクトルに加刺激の自我状態ベクトルが対応付けて登録され、加刺激の自我状態ベクトルに付帯語句が対応付けて登録され、テキストデータｄ４に含まれることが予測されるキーワードに付加して応答用のキーワードが登録されている。さらに、テキストデータｄ４に含まれるキーワードのうち利用者からの命令語として解釈されるキーワードには、レシピの検索などの他の作業を行うためのコマンドが対応付けられる。また、応答用のテキストと自我状態ベクトルとから応答用の韻律が決まるから、応答テキスト決定部３２では韻律制御用の韻律パラメータも生成する。

応答テキスト決定部３２で決定された応答用のテキストと韻律パラメータとは、テキスト合成を行う音声合成処理部１７に与えられる。音声合成処理部１７では、テキストと韻律パラメータとを用いて応答用の合成音声を生成し、スピーカ４３を通して利用者に対する応答音声として出力する。

以下では、対話エージェントに料理のレシピを検索させる場合を例として具体的に説明する。本例では利用者が材料を口頭で対話エージェントに伝えると、その材料で作ることができる料理名の候補を検索して複数提示し、提示された候補から利用者が所望の料理名を選択すると、対話エージェントがその料理のレシピを提示するように対話システムを構築しているものとする。料理名およびレシピはディスプレイ４４に提示する。また、利用者から対話エージェントに対する指示には、スイッチのような操作部を併用する構成としてもよいが、ここでは利用者からの指示は音声のみによるものとする。対話エージェントが検索するレシピのデータは、対話エージェントに登録しておくか、対話エージェントにウェブ検索の機能を設けておきウェブ検索によって入手させる。あるいはまた、対話エージェントに登録したものを優先的に提示し、登録されているレシピ以外のレシピを利用者が求めるときにウェブ検索でレシピを入手するようにしてもよい。

料理のレシピの検索を対話エージェントに要求する場合の具体例を表７に示す。表７において「自我状態（利）」は利用者の自我状態、「自我状態（エ）」は対話エージェントの自我状態を表す。上述した構成例では、表情サマリデータｄ１と音声感情データｄ２と口調データｄ３とテキストデータｄ４とを用いて、被刺激の自我状態ベクトルを決定しているが、表７では自我状態推定部２０において、表情サマリデータｄ１と音声感情データｄ２と口調データｄ３とを用いて利用者の感情が「平静」「怒り」「喜び」「不明」のいずれかであることがわかり、テキストデータｄ４によりキーワードおよび付帯語句が得られている場合を想定している。感情と付帯語句とを用いることにより、自我状態推定部２０において被刺激の自我状態ベクトルが決まるから、対話制御部３０では応答戦略決定部３１の対応ルールを用いて加刺激の自我状態ベクトルを決める。加刺激の自我状態ベクトルが決まれば、応答テキスト決定部３２において、テキストデータｄ４のキーワードとあらかじめ登録してある付帯語句とを用いて利用者に応答するテキストおよび応答用の韻律を決めるのである。

ところで、対話エージェントには、利用者があらかじめ登録されているか否かを認識することによって、特定の利用者の特徴を利用して認識率を高めたり、利用者の認証を行ったりすることができるユーザ認識部５０を設けている。ユーザ認識部５０は、図２に示すように、マイクロホン４２から入力される利用者の音声の特徴量を利用者データベース５１に照合して利用者の候補を抽出する利用者認識処理部５２と、カメラ４１により撮像される利用者の顔の画像の特徴量を顔画像データベース５３に照合して利用者の候補を抽出する顔画像認識処理部５４とを備える。ここに、図では便宜上、利用者データベース５１と顔画像データベース５３とを別に分けて記述しているが、両者を一括してユーザデータベースとすることができる。利用者認識処理部５２で抽出した利用者の候補と顔画像認識処理部５４で抽出した利用者の候補とは利用者判断部５５に入力され、利用者判断部５５ではファジー論理などを用いて利用者の候補を組み合わせることにより、利用者を決定するとともに利用者ごとに付与した識別情報を出力する。このように、利用者の音声の特徴量と利用者の顔の画像の特徴量とをユーザデータベースに照合して利用者の候補を抽出するとともに、抽出した利用者の候補を用いて利用者を決定するから、利用者の認識率が高くなる。

ユーザ認識部５０から出力される識別情報を対話制御部３０で採用するために、シナリオデータベース３３には、対話における利用者の好みや利用者の性格などの情報が識別情報に対応付けて格納されており、対話制御部３０では、ユーザ認識部５０から識別情報が得られるときには、利用者に応じた対応ルールを決定し、その対応ルールを用いて自我状態ベクトルを決定する。この動作を可能とするために、シナリオデータベース３３では、利用者の好みや性格に応じた対応ルールを識別情報に対応付けてあり、対話制御部３０では、ユーザ認識部５０で識別情報が得られるときには識別情報に対応付けた対応ルールを用い、識別情報が得られないときにはデフォルトの対応ルールを用いる。また、利用者の識別情報が得られることによって、対話エージェントが利用者の名前を呼びかけに用いることも可能になる。

対話エージェントはディスプレイ４４に表示された仮想的な身体を用いて身体動作を伴う表現が可能になっており、身体表現を行うことによって親近感のある応答が可能になる。このような仮想的な身体による身体表現を行うために、本実施形態の対話エージェントには、仮想的な身体を表現するためのデータ群を記憶装置に格納した身体モデル表現部１８と、対話制御部３０で決定した応答内容（テキスト、エージェントの自我状態、刺激する利用者の自我状態）を身体モデル表現部１８の身体動作に変換する身体表現制御部１９とを設けてある。ここに、身体モデル表現部１８の身体動作に変換するとは、身体モデル表現部１８に格納されている身体表現のデータ群から、表現に必要なデータ群を抽出するとともに、抽出したデータ群をディスプレイ４４に表示された仮想的な身体に適用することを意味する。この処理によって、ディスプレイ４４に表示されたエージェントの身振り・手振り（手を挙げる、手を伸ばす、首を振る、頷くなど）を対話エージェントの応答内容に応じて制御することが可能になる。

ところで、音声感情推定部１４および口調推定部１５は、ガウス混合モデルを用いるからあらかじめ学習させる必要がある。以下では、まず口調推定部１５の学習方法について説明し、次に音声感情推定部１４の学習方法について説明する。口調推定部１５の学習にあたっては、表１に示した２０種類の口調の音声をデータとして収集する必要がある。そこで、本発明者らは、まずサーチエンジンを用いＷｅｂからテキストを収集した。テキストの収集には、〔」〕と活用形とを組み合わせた検索文を用いた。たとえば、「命令」口調であれば、検索文として〔」と命令した〕を用いると、〔「前へ出ろ」と命令した〕というようなテキストが抽出される。この場合、「前へ出ろ」を「命令」口調のテキストとして利用することができる。このようにして抽出されたテキストを自動整形し、不適切な表現が含まれる文は手作業で取り除いた。また、口調によってはＷｅｂでは十分な数の文例を収集できない場合があったから、５０文以上収集できた口調について学習に用いた。表１の口調は５０文以上収集できた口調である。なお、各口調を識別するために口調データｄ３は表１における自我状態と数値との組合せを用いた（表４参照）。たとえば、「命令」口調は口調データｄ３を「ＣＰ１」とし、「慰める」口調は口調データｄ３を「ＮＰ２」とした。

各口調のテキストの収集後に、簡易防音室において、俳優にテキストを読み上げてもらい、その際に顔の表情についても演技してもらった。俳優は父親役（男性２名）、母親役（女性２名）、子供役（女性２名）の合計６名で、表１の２０種類の口調について３０文ずつのテキストを読み上げてもらった。また、口調付きの３０文とは異なる５文ずつのテキストを口調をつけずに読み上げてもらった。音響分析時のパラメータは表２に示した通りである。

上述の方法で口調推定部１５の学習を行った後に、評価用音声により口調を識別する能力を実験した。６名の俳優にそれぞれ５文を発生してもらい、口調推定部１５で口調が正しく識別された割合を全俳優について平均した。実験結果では、口調付きの音声に対して口調を正しく認識できた割合は４９．５％であり、口調なしの音声について口調がないと認識できた割合は９０％であった。なお、口調データｄ３がＣＰ２、ＦＣ１、ＡＣ１、ＡＣ３、ＡＣ４である口調は高い割合で識別でき、ＣＰ４、ＮＰ３である口調は識別できた割合がやや低かった。

音声感情推定部１４の学習には、口調推定部１５の学習と同様に、６人の俳優にテキストを読み上げてもらった。上述したように、音声感情推定部１４において識別する利用者の感情は「喜び」「怒り」「平静」の３種類であり、「喜び」は表１における「ＦＣ１」、「怒り」は表１における「ＦＣ２」、「平静」は表１におけるＡ１〜Ａ４に相当すると考え、口調推定部１５と同じテキストを用いて音声感情推定部１４の学習を行った。

学習後の音声感情推定部１４について、評価用音声により感情を識別する能力を実験した。「平静」を識別する評価用音声には、「喜び」に対応するテキストを口調なしで読み上げた音声と、「怒り」に対応するテキストを口調なしで読み上げた音声とを用いた。評価したテキストの数は、「喜び」と「怒り」については６人の俳優それぞれで５文ずつとし、合計３０文を用い、また、「平静」については６人の俳優それぞれで１０文ずつとし、合計６０文を用いた。音声感情推定部１４による識別結果を表８に示す。いずれの場合も高い確度で識別することができ、平均では８５．６％の識別性能が得られた。

（実施形態２）
本実施形態は、ユーザ認識部５０により利用者を特定できることを利用して利用者ごとに自我状態の履歴を記録し、利用者の自我状態の履歴を用いて利用者の性格を推定することにより利用者の性格に合わせた応答を可能とするものである。

本実施形態では、図４に示すように、自我状態推定部２０が推定した利用者の自我状態をユーザ認識部５０において特定した利用者に対応付けて蓄積して記憶する自我状態履歴記憶部６１と、自我状態履歴記憶部６１に記憶した利用者の自我状態の出現頻度の分布パターンから利用者の性格を推定する自我状態特徴抽出部６２と、自我状態特徴抽出部６２により推定した性格を利用者に対応付けて記憶する自我状態特徴記憶部６３とを付加している。自我状態履歴記憶部６１では利用者の自我状態を時系列で履歴として記憶するとともに各自我状態の出現頻度を記憶している。

自我状態特徴抽出部６２では、自我状態の出現頻度の分布パターンと性格とを対応付けて登録してある自我状態特徴データベース６４とを照合し、一致度の高い性格を利用者の性格として推定する。すなわち、自我状態特徴データベース６４には、交流分析における５種類の自我状態の出現頻度の分布パターン（出現頻度を正規化した分布パターン）が性格に対応付けて登録してあり、自我状態履歴記憶部６１に記憶した利用者ごとの自我状態の出現頻度の分布パターンが、自我状態特徴データベース６４に登録されている分布パターンと照合される。この照合はパターンマッチングであって類似度の高いものが選択され、選択された性格が利用者の性格と推定される。

自我状態特徴データベース６４では、たとえば、自我状態としてＮＰ，ＦＣが低く、ＣＰ，ＡＣが高い場合には、「自分を表現することができにくく、鬱になりやすい性格」「不登校タイプの性格」「責任感、現実検討能力、協調性は十分持っているが、思いやりに欠ける性格」などの性格が対応付けられる。自我状態特徴抽出部６２での性格の推定結果は利用者と対応付けて自我状態特徴記憶部６３に記憶される。

ところで、自我状態特徴記憶部６３に利用者の性格が記憶されているときには、当該利用者との対話を行う際に、対話制御部３０では自我状態特徴記憶部６３から利用者の性格を取得する。シナリオデータベース３３には利用者の識別情報に対応付けて対応ルールが登録されているから、対話制御部３０においてシナリオデータベース３３から利用者の性格に応じた対応ルールを選択することができ、結果的に利用者の性格に応じたスムーズな対話が可能になる。

また、本実施形態の対話エージェントを看護ロボットなどに用いる場合に、利用者の性格を推定することによって、対話エージェントをセラピストのように機能させることが可能になる。たとえば、利用者の性格が悲観的あるいは自虐的な傾向であるときに、利用者の心理状態を向上させるような応答を行うことが可能になる。いま、自我状態の出現頻度のうちＮＰ，ＦＣが低く、ＣＰ，ＡＣが高い場合には上述したように、鬱傾向があることが知られている。そこで、一般の利用者では対話エージェントと利用者との間で以下に〔１〕で示す対話を行うとすれば、自我状態の出現頻度のうちＮＰ，ＦＣが低く、ＣＰ，ＡＣが高い利用者では以下に〔２〕で示すように肯定的な表現を用いて利用者を励まし、利用者の心理状態を向上させる対話が可能になる。
〔１〕
対話エージェント：お薬の時間ですよ。
利用者：もうわかったよ。
対話エージェント：では、よろしくお願いしますね。
〔２〕
対話エージェント：お薬の時間ですよ。
利用者：もうわかったよ。
対話エージェント：これで良くなりますから、元気を出してください。もう少しですから。

なお、上述のように、自我状態履歴記憶部６１には利用者ごとの自我状態の履歴（自我状態の出現頻度を含む）が記憶されており、また自我状態特徴記憶部６３には利用者ごとの性格の推定結果が記憶されているから、利用者がカウンセリングを受ける際にはカウンセラにこれらのデータを提供することによって、カウンセリングの参考に用いることが可能になる。他の構成および機能は実施形態１と同様である。

（実施形態３）
上述した各実施形態では利用者が１人である場合を例示したが、本実施形態は２人の利用者が存在し対話エージェントを含めて３者での対話を行うことを可能とする構成について説明する。本実施形態では、図５に示すように、カメラ４１により撮像された画像に含まれる人物の視線の向きを監視し、視線の向きによって対話相手を認識する対話相手認識部６５と、利用者、対話の時間、対話相手、テキスト、自我状態ベクトルからなる対話データを蓄積する対話記録部６６とを付加している。利用者および発話時はユーザ認識部５０により取得でき、対話相手は対話相手認識部６５から取得でき、発話のテキストおよび利用者と対話相手との自我状態は対話制御部３０から取得することができる。なお、本実施形態では、カメラ４１として利用者の目の位置および瞳の位置を監視できる程度の解像度のものを用いることが必要である。

また、ユーザ認識部５０では、カメラ４１で撮像された画像から顔画像認識処理部５４が２人の利用者を認識したときに、対話制御部３０、感情認識部１３、自我状態推定部２０、対話相手認識部６５に通知することによって、２人の利用者が存在する対話を行う動作に切り換える。その後、ユーザ認識部５０では、マイクロホン４２から入力される利用者の音声を用いて利用者認識処理部５２において発話した利用者を特定し、対話制御部３０、感情認識部１３、自我状態推定部２０、対話相手認識部６５に対して認識した利用者を通知する。要するに、本実施形態ではカメラ４１で撮像された画像を、利用者の人数と利用者の対話相手との特定に用い、マイクロホン４２から入力される音声により発話した利用者の感情を推定し、発話した利用者と対話相手との自我状態ベクトルを推定する。自我状態推定部２０で推定された自我状態ベクトルと、テキスト抽出部１６で得られたテキストデータｄ４とは、対話制御部３０に与えられ、対話制御部３０では上述した対話データを対話記録部６６に記録する。

本実施形態におけるシナリオデータベース３３には３者間の対話シナリオが上述した各実施形態のような２者間での対話シナリオとは別に格納されており、対話相手認識部６５から２人の利用者が存在することが対話制御部３０に通知されると、対話制御部３０ではシナリオデータベース３３から３者間の対話シナリオを選択する。３者間の対話シナリオでは、対話相手が対話エージェントを含むときにのみ対話エージェントが発話するように設定され、利用者同士の対話では対話エージェントから発話しないように設定される。つまり、対話制御部３０は、テキスト抽出部１６が抽出した発話のテキストと、対話相手認識部６５が認識した対話相手と、自我状態推定部２０が推定した自我状態とを用い（対話記録部６６に対話データとして記録されている）、対話エージェントが発話すべきか否かを判断する。対話エージェントが発話しないときにはカメラ４１で撮像した画像から利用者の人数を確認する処理に戻り、対話エージェントが発話するときには上述した各実施形態と同様に音声合成処理部１７および身体表現制御部１９を通して身体表現を伴う発話を行う。

本実施形態を用いた対話シナリオの一例を以下に示す。以下に示す例は、対話エージェントが看護ロボットに設けられており、被看護人と来訪者との２人の利用者が存在する場合を例示している。また、〔１〕は対話エージェントが発話しない場合であり、〔２〕は対話エージェントが発話する場合である。
〔１〕
被看護人→来訪者（ＦＣａ→ＦＣａ）：学校では変わったことはない？
来訪者→被看護人（ＦＣａ→ＦＣａ）：いつも通りだよ。
〔２〕
被看護人→来訪者（ＦＣａ→ＮＰ）：しんどいよ。
来訪者→被看護人（ＮＰ→ＦＣａ）：もうすぐ良くなるよ。
看護ロボット→被看護人（ＮＰ→ＦＣａ）：そうですよ、がんばってください。

上述したように、本実施形態の構成によれば、利用者が複数人存在する場合でも対話が可能になり、たとえば看護ロボットに対話エージェントを設けている場合に、被看護人と来訪者や見舞客と看護ロボットとの３者での対話が可能になる。ここに、対話制御部３０において対話記録部６６の対話データを参照しているのは、対話エージェントの応答が要求されているか否かを判断するためであって、対話相手が対話エージェントを含む場合にのみ対話エージェントによる発話を行うことになる。

なお、本実施形態では２人の利用者と対話エージェントとの３者による対話を例示したが、本実施形態の技術を３人以上の利用者に拡張することによって、さらに多人数での対話も可能である。他の構成および動作は実施形態１と同様である。

（実施形態４）
本実施形態は利用者の覚醒度を判断することによって、対話エージェントが応答する際の合成音声の速度を調節するものである。つまり、利用者の覚醒度が低いときには、速いテンポで応答すると応答内容を利用者が聞き取れない場合があり、逆に利用者の覚醒度が高いときには、遅いテンポで応答すると利用者がいらだつ場合があるから、利用者の覚醒度を判断するとともに、利用者の覚醒度に応じてスピーカ４３から出力する合成音声の速度を調節している。

本実施形態では、利用者の覚醒度の判断に皮膚電位水準（ＳＰＬ）を用いる。皮膚電位水準を求めるために、図６に示すように、利用者の手のひらや足の裏のように精神状態による発汗量の変化が生じやすい部位に接触可能な電極７１（電極７１は一対ある）を設けてあり、電極７１は電位計測部７２に接続され電位計測部７２では一対の電極７１の電位差を計測する。電極７１が利用者に装着されていると利用者は煩わしく感じる可能性があるから、たとえば対話エージェントを看護ロボットに組み込むような場合には、利用者との握手などの行為によって利用者が電極７１に触れるようにするのが望ましい。電位計測部７２により計測された電位差は覚醒度判断部７０に入力され、覚醒度判断部７０では電位差を覚醒度に変換する。一般に、電位差（ＳＰＬ）が大きいほど覚醒度が高いから、適宜に設定した閾値に対して電位差が大きければ覚醒度判断部７０において利用者の覚醒度が高いと判断する。なお、本実施形態では利用者の覚醒度を高低２段階で判断しているが、覚醒度を多段階で判断してもよい。ところで、電位計測部７２で計測される電位差は利用者によって個人差があるから、ユーザ認識部５０により認識した利用者に対応付けて電位計測部７２での検出結果を記憶して蓄積しておき、利用者別の蓄積結果の平均値を上述の閾値に用いるようにすればよい。

上述のようにして覚醒度判断部７０において求めた利用者の覚醒度は対話制御部３０に与えられ、対話制御部３０では利用者の覚醒度が低い（ＳＰＬが閾値より低い）ときには、合成音声による応答の速度が比較的遅いテンポになるように、音声合成処理部１７で生成する合成音声の出力速度を調節する。このように覚醒度の低い利用者に対して遅いテンポで応答することにより、テキストの内容を聞き取りやすくすることができる。一方、利用者の覚醒度が高い（ＳＰＬが閾値より高い）ときには、やや速いテンポで応答することで利用者の覚醒度を保ち、利用者が応答の遅さにいらだつことがないようにする。すなわち、利用者の覚醒度に応じて合成音声の速度を調節し、利用者の覚醒度が低ければ遅いテンポで応答することにより応答内容を利用者に聞き取りやすくし、逆に利用者の覚醒度が高ければ速いテンポで応答することにより利用者を待たせることなく応答することが可能になる。他の構成および動作は実施形態１と同様である。

（実施形態５）
本実施形態は、利用者の生体情報を検出することによって対話エージェントが推定した自我状態が対話に適切であったか否かを判断するものである。すなわち、利用者と対話エージェントとが対話する際には自我状態推定部２０において利用者の発話に基づいて利用者の自我状態と対話エージェントにおいて刺激される自我状態とを推定している。一般的には、推定した自我状態を用いて相補的交流を行えばスムーズな対話が可能になる。ここでスムーズな対話とは、利用者が感情を害することなく対話することを意味する。一方、相補的交流ではなく自我状態の交差が生じるような交流では、利用者は感情を害して対話がスムーズに進行しなくなる可能性がある。

そこで、本実施形態では、利用者の感情を判断するために、利用者の瞬時心拍率（１分間の心拍数）を用いている。一般に瞬時心拍率は、怒り、ストレス、恐怖などの防衛的あるいは攻撃的な感情が生じると上昇し、落ち着いているときには低下することが知られている。本実施形態では、このような生理現象を利用して対話中の利用者の瞬時心拍率を求め、瞬時心拍率の変動を監視することによって、利用者に防衛的ないし攻撃的な感情が生じていないか否かを判断している。瞬時心拍率の検出にはＥＣＧを用いており、実施形態４と同様に電極７３（電極７３は一対ある）を設けている。電極７３は利用者の胸部あるいは四肢に装着される。

図７に示すように、電極７３はＥＣＧ計測部７４に接続され、一対の電極７３により検出される電位差がＥＣＧ計測部７４において検出される。ＥＣＧ計測部７４では、たとえば図８に示すような電位変化が検出される。この電位変化は、心臓における心房の興奮を示すＰ波と、心室の脱分極を示すＱＲＳと、心室の細分極を示すＴ波とを含む。ここで、Ｒ−Ｒの間隔は心臓交換神経と心臓副交感神経との拮抗支配を受けており、Ｒ−Ｒ間隔を１分当たりの心拍数に換算することで瞬時心拍率を求めることができる。そこで、図８に示すようなＥＣＧ計測部７４の出力を瞬時心拍率検出部７５に入力し、Ｒ−Ｒ間隔を求めることによって瞬時心拍率を求める。すなわち、電極７３とＥＣＧ計測部７４と瞬時心拍率検出部７５とにより生体情報計測手段が構成される。利用者が防衛的ないし攻撃的な感情を持つと、瞬時心拍率が常時よりも上昇するから、適否判断部７６では瞬時心拍率検出部７５で求めた瞬時心拍率を適宜の閾値と比較することにより、利用者の感情が防衛的ないし攻撃的であるか否かを判断する。つまり、適否判断部７６は自我状態推定部２０が推定した自我状態が適切であったか否かを判断することになる。適否判断部７６では、瞬時心拍率が閾値よりも低いときには自我状態推定部２０で推定した利用者の自我状態および対話エージェントの刺激された自我状態が適切であったと判断し、瞬時心拍率が閾値以上であるときには自我状態推定部２０の推定結果が適切でなかったと判断する。

なお、図７に破線で示すように、適否判断部７６による判断結果を自我状態推定部２０にフィードバックして自我状態推定部２０の学習に用いれば、推定した自我状態の尤度を高めることができ、結果的に対話エージェントの応答によって利用者の感情を害する可能性が低減されスムーズな対話が可能になる。すなわち、自我状態推定部２０で推定した自我状態ベクトルが利用者の感情を害していないか否かを適否判断部７６において判断することができるから、適否判断部７６の判断結果を自我状態ベクトルの推定結果にフィードバックすることにより、利用者の感情を害することのない適正な自我状態ベクトルの推定が可能になる。瞬時心拍率の検出には電極７３に変えて血流を監視する光学式のセンサを用いてもよい（この種のセンサは種々運動機械における心拍計に用いられている）。他の構成および動作は実施形態１と同様である。

実施形態１を示すブロック図である。 同上の要部のブロック図である。 基本構成の動作説明図である 実施形態２を示すブロック図である。 実施形態３を示すブロック図である。 実施形態４を示すブロック図である。 実施形態５を示すブロック図である。 同上に用いるＥＣＧの一例を示す図である。

符号の説明

１０ 対話処理手段
１１ 表情推定部
１３ 顔感情推定部
１４ 音声感情推定部
１５ 口調推定部
１６ テキスト抽出部
１７ 音声合成処理部
１８ 身体モデル表現部
１９ 身体表現制御部
２０ 自我状態推定部
２１ 感情スコア割当部
２２ 口調スコア割当部
２３ テキストスコア割当部
２４ スコア統合演算部
３０ 対話制御部
４１ カメラ（画像入力手段）
４２ マイクロホン（音声入力手段）
４３ スピーカ（音声出力手段）
４４ ディスプレイ（画像出力手段）
５０ ユーザ認識部
５１ 利用者データベース
５２ 利用者認識処理部
５３ 顔画像データベース
５４ 顔画像認識処理部
５５ 利用者判断部
６１ 自我状態履歴記憶部
６２ 自我状態特徴抽出部
６３ 自我状態特徴記憶部
６５ 対話相手認識部
６６ 対話記録部
７０ 覚醒度判断部
７３ 電極
７４ ＥＣＧ計測部
７５ 瞬時心拍率検出部
７６ 適否判断部

Claims (11)

1. 利用者の音声が入力される音声入力手段と、音声入力手段から入力された音声の内容に応答するテキストを生成する対話処理手段と、対話処理手段により生成されたテキストを利用者に対して出力するテキスト出力手段とを有し、対話処理手段は、音声入力手段から入力された音声の韻律的特徴を用いて利用者の感情を複数種類に分類し音声感情データとして出力する音声感情推定部と、音声入力手段から入力された音声の韻律的特徴を用いて利用者の口調を複数種類に分類し口調データとして出力する口調推定部と、音声入力手段から入力された音声から音列を抽出しテキストデータとして出力するテキスト抽出部と、利用者の顔を撮像する画像入力手段と、画像入力手段により撮像した利用者の顔の各部位に設定した特徴点の時間経過に伴う位置の変化から表情を分類する表情推定部と、表情推定部で抽出された表情が入力され時間変化に伴う表情の変化パターンを用いて利用者の感情を複数種類に分類し感情サマリデータとして出力する顔感情推定部と、対話する両者の心のモデルである自我状態の組合せを話し手から聞き手への向きも含めた自我状態ベクトルとし感情サマリデータと音声感情データと口調データとテキストデータとの組から利用者の発話による自我状態ベクトルを推定する自我状態推定部と、自我状態推定部で推定された自我状態ベクトルからあらかじめ設定されている対応ルールに従って利用者に応答する際の自我状態ベクトルを決定しかつテキストデータの内容から利用者に応答するテキストを自動的に決定する対話制御部とを備えることを特徴とする対話エージェント。
2. 前記自我状態推定部は、前記感情サマリデータと前記音声感情データとの組合せから推定される自我状態ベクトルの候補ごとに尤度を示す感情自我状態スコアを求める感情スコア割当部と、前記音声感情データと前記口調データとの組合せから推定される自我状態ベクトルの候補ごとに尤度を示す口調自我状態スコアを求める口調スコア割当部と、前記テキストデータの内容から推定される自我状態ベクトルの候補ごとに尤度を示すテキスト自我状態スコアを求めるテキストスコア割当部と、感情スコア割当部と口調スコア割当部とテキストスコア割当部とで得られた自我状態ベクトルの候補に含まれている自我状態を対話する各者ごとに分類し、各者の各自我状態ごとに当該候補の感情自我状態スコアと口調自我状態スコアとテキスト自我状態スコアとにそれぞれ重み係数を乗じて加算した加重和を尤度の評価値である統合スコアとして求め、自我状態ベクトルの候補に含まれている各者の各自我状態ごとの統合スコアのうち尤度が最大になる自我状態を利用者の発話による自我状態ベクトルにおける各者の自我状態と推定するスコア統合演算部とを備えることを特徴とする請求項１記載の対話エージェント。
3. 前記感情自我状態スコアは、前記感情サマリデータと前記音声感情データとが示す感情が一致する場合に自我状態ベクトルの候補に対して満点を与え、感情が一致しない場合に得られる自我状態ベクトルの候補に対して同点に配分される数値であり、前記口調自我状態スコアは、前記音声感情データと前記口調データとに矛盾がない場合に自我状態ベクトルの候補に対して満点を与え、矛盾がある場合に自我状態ベクトルの候補に対して同点に配分される数値であり、前記テキスト自我状態スコアは、前記テキストデータに特定の付帯語句が含まれるときに当該付帯語句に対応する自我状態ベクトルの候補に対して尤度の高い順に大きい値が充てられる数値であり、１つの付帯語句に対応する自我状態ベクトルの候補に充てたテキスト自我状態スコアの合計が満点になることを特徴とする請求項２記載の対話エージェント。
4. 前記統合スコアを求める重み係数は、感情自我状態スコアに対する重み係数と口調自我状態スコアに対する重み係数との和がテキスト自我状態スコアに対する重み係数よりも大きく、かつテキスト自我状態スコアに対する重み係数は利用者の自我状態に対する重み係数よりも刺激された自我状態に対する重み係数のほうが大きいことを特徴とする請求項２または請求項３記載の対話エージェント。
5. 前記対話制御部は、決定した応答用の自我状態ベクトルと決定した応答用のテキストとから音声の韻律パラメータを生成する機能を有し、前記テキスト出力手段は、対話制御部で決定した応答用のテキストに韻律パラメータを適用した合成音声を生成する音声合成処理部と、音声合成処理部で生成された合成音声を出力する音声出力手段とを備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載の対話エージェント。
6. 前記表情推定部は、「無表情」、「驚き」、「恐怖」、「嫌悪」、「怒り」、「幸福」、「悲しみ」の７種類の表情を分類することを特徴とする請求項１ないし請求項５記載の対話エージェント。
7. 利用者の音声の特徴および利用者の顔の特徴を利用者に対応付けて登録したユーザデータベースを有し、前記音声入力手段から入力される利用者の音声の特徴と前記画像入力手段により撮像される利用者の顔の画像の特徴とをユーザデータベースに照合して利用者を特定するユーザ認識部を備え、前記対話制御部は、ユーザ認識部で特定される利用者の属性があらかじめ登録されており、利用者に応答する際の自我状態ベクトルおよびテキストを決定する際に前記自我状態推定部で推定された自我状態ベクトルと前記テキストデータとのほかに、利用者の属性も用いることを特徴とする請求項１ないし請求項６のいずれか１項に記載の対話エージェント。
8. 前記自我状態推定部が推定した自我状態ベクトルを前記ユーザ認識部により特定された利用者に対応付けて蓄積記憶する自我状態履歴記憶部と、自我状態履歴記憶部に蓄積された利用者の自我状態ベクトルの出現頻度の分布パターンにより利用者の性格を推定する自我状態特徴抽出部と、自我状態特徴抽出部により推定された性格を利用者に対応付けて記憶する自我状態特徴記憶部とが付加され、前記対話制御部は自我状態特徴記憶部に格納された利用者の性格を用いて利用者に応答する際の自我状態ベクトルおよびテキストを決定することを特徴とする請求項７記載の対話エージェント。
9. 前記対話制御部の対応ルールでは、利用者の発話によって刺激される自我状態を応答時の自我状態とし、応答時に刺激する利用者の自我状態を利用者の先の発話時の自我状態とすることを特徴とする請求項１ないし請求項８のいずれか１項に記載の対話エージェント。
10. 身体動作を伴う表現を行う身体モデル表現部と、前記対話制御部で決定された自我状態ベクトルおよびテキストを身体モデル表現部の身体動作に変換する身体表現制御部とが付加されていることを特徴とする請求項１ないし請求項９のいずれか１項に記載の対話エージェント。
11. 前記自我状態は、交流分析に基づく心のモデルである「批判的な親」、「保護的な親」、「大人」、「自由な子供」、「順応する子供」の５種類に分類されることを特徴とする請求項１ないし請求項１０のいずれか１項に記載の対話エージェント。

Images