JP2004234631A - ユーザと対話型実体エージェントとの間の対話を管理するシステムおよび対話型実体エージェントによるユーザとの対話を管理する方法 - Google Patents

Abstract

【課題】システムおよび方法は、ユーザと対話型実体エージェントとの間の対話を管理する。
【解決手段】関与管理状態機械は、アイドル、開始、維持、および終了の各状態を含む。会話マネージャは、これらの状態のそれぞれと対話する。エージェントコントローラは会話マネージャと対話し、対話型実体エージェントはエージェントコントローラと対話する。シーン内で検出された対話データに基づいて、対話型実体エージェントはアイドル状態から開始状態に移行する。このエージェントは、開始状態への移行の表示を出力し、この表示に応答して対話の証拠を検知する。証拠を検知すると、エージェントは開始状態から維持状態に移行する。対話の証拠はアジェンダに従って検証される。その後、エージェントは維持状態から終了状態に移行することもあるし、対話の証拠がアジェンダに従っていない場合にはアイドル状態に移行することもある。
【選択図】図１

Description

この発明は、包括的には、マンマシンインタフェースに関し、詳細には、ユーザと対話型実体エージェントとの間の対話を管理するアーキテクチャ、コンポーネント、および通信に関する。

従来技術では、エージェントという用語は、一般に、ユーザに代わって自律的なタスクを行うソフトウェアプロセスに対して使用されてきた。実体エージェントは、例えば２Ｄアバタ（avatar）および２Ｄアニメキャラクタならびに３Ｄ物理ロボットといった人間的な特徴を有するエージェントのことをいう。

製造および遠隔制御に使用されるようなロボットは、ほとんど、環境を検知して反応しながら、自律的に動作するか、または、予めプログラムされた方法で動作する。例えば、ほとんどのロボットは、環境において好ましくない状況を検知すると、通常動作を中止し、予防する動作を取る。これは、一般的には、ロボット工学の第３法則として知られている。これについては、Asimov著の「Foundation Trilogy」,1952を参照されたい。

対話型実体エージェントは、本発明で特に重要である。例えば、生物のように見て、話して、かつ行動するロボットである。対話型２Ｄエージェントおよび対話型３Ｄエージェントは、言語行為と、体のジェスチャ、顔の表情、および注視制御などの非言語行為とを通してユーザと通信を行う。「アイコンタクト」が、人間の効率的な対話を「管理する」上で極めて重要であることは周知であることから、注視を理解することは、特に重要である。対話型エージェントは、ユーザコマンドに従った行為における説明、訓練、案内、応答、および関与を行うために使用することができ、場合によっては、ユーザに行為を思い出させるために使用することができる。

対話型エージェントに関する１つの問題は、対話を「管理する」ことである。これについては、例えば、Tojo等著の「A Conversational Robot Utilizing Facial and Body Expression」IEEE International Conference on Systems, Man and Cybernetics, pp. 858-863, 2000を参照されたい。管理は、エージェントが発話し、かつ指摘することにより行われ得る。例えば、米国特許第６，３８４，８２９号において、Provost等は、システムが見たり聞いたりしたものに直接応答して「感情表現する」アニメ化されたグラフィックキャラクタについて記載している。

別の実体エージェントは、Traum等によって、「Embodied Agents for Multi-party Dialogue in Immersive Virtual Worlds, Proceedings of Autonomous Agents and Multi-Agent Systems」ACM Press, pp. 766-773, 2002に記載されている。そのシステムは、２Ｄエージェントの注意のモデル化を試みている。そのシステムは、注意を考慮するが、２人または３人以上の対話の参加者が、対話からの脱線をどのように認識するか、および、それについてどうするかといった、参加者の知覚されたつながりを確立し、維持し、終了する関与プロセスの長期間の変遷パターンまでは管理していない。また、彼らは、ユーザとの対話しか検討していない。

残念なことに、ほとんどの従来技術のシステムは、関与のモデルを欠いている。それらのシステムは、実際の人間の対話と必ずしも一貫性があるとは限らない場当たり的な方法で、会話および注視を行う傾向がある。したがって、それらのシステムは、非現実的であると受け取られる。その上、従来技術のシステムは、一般に、ジェスチャおよび発言を取り込んで追跡する短期間の手段しか持たない。それらのシステムは、話およびジェスチャのプロセスが、対話の参加者全員の間の知覚されたつながりによって決定されることを認識していない。これらの状況のすべてが、非現実的な注意の行動を招く。

したがって、関与プロセスを対話における最も重要なプロセスとすることによって、長期間のユーザ／エージェントの対話を現実的な方法で管理する２Ｄシステムおよびロボットシステムの方法が必要となる。

本発明は、ユーザと対話型実体エージェントとの間の対話を管理するシステムおよび方法を提供する。関与管理状態機械は、アイドル状態、開始状態、維持状態、および終了状態を含む。会話マネージャは、これらの状態のそれぞれと対話するように構成される。エージェントコントローラは、会話マネージャと対話し、対話型実体エージェントは、エージェントコントローラと対話する。

序論
図１は、我々の発明によるユーザと対話型実体エージェントとの間の関与プロセスを管理するシステムおよび方法を示している。システム１００は、部分的には、４つの関与状態１０１〜１０４と会話マネージャ１０５とを有する状態機械とみなすことができる。関与状態には、アイドル１０１、関与の開始１０２、関与の保持１０３、および関与の終了１０４が含まれる。各状態には、プロセスおよびデータが関連付けられている。プロセスのあるものは、コンピュータシステム内のソフトウェアとして実行され、他のものは、電子機械プロセスである。このシステムが、言語によるまたは言語によらないで対話を行う複数のユーザを同時に含むことができることは理解されるべきである。さらに、他の近くの無生物オブジェクトが、関与の一部となり得ることも理解されるべきである。

関与プロセスの状態１０１〜１０４は、ユーザまたはエージェントが対話において交代を行っているかどうかを判断する「順番」パラメータを保持する。これは、会話における順番と呼ばれる。このパラメータは、エージェントが会話において交代を行うたびに変更される。このパラメータは、会話マネージャ１０５の会話モデラ（ＤＭ（discourse modeler））３００の対話制御によって決定される。

エージェント
エージェントは、２Ｄアバタであってもよいし、３Ｄロボットであってもよいが、ロボットの方が好ましい。どの実施の形態でも、エージェントは、見るための１つまたは２つ以上のカメラ、聞くための１つまたは２つ以上のマイクロホン、話すための１つまたは２つ以上のスピーカ、およびジェスチャを示すための１つまたは２つ以上の可動部を含むことができる。アプリケーションによっては、ロボットが、移動可能であり、人間や動物の特徴を有することが有利な場合がある。しかしながら、これは、必要条件ではない。我々のロボットＭｅｌは、ペンギン１０７のように見える。

会話マネージャ
会話マネージャ１０５は、会話モデラ（ＤＭ）３００の会話状態を保持する。会話モデラは、Rich等によって、米国特許第５，８１９，２４３号の「System with collaborative interface agent」に記載されたアーキテクチャに基づいている。この米国特許は、参照によりその全体が本明細書に援用される。

会話マネージャ１０５は、会話モデラ３００の会話状態データ３２０を保持する。このデータは、会話の状態のモデル化を援助する。会話の力を借りて、我々は、対話のあらゆる参加者によって行われた言語行為および非言語行為の双方のすべての行為を表す。また、会話マネージャは、エージェントコントローラ１０６からのデータ、例えばカメラおよびマイクロホンを介した環境およびユーザからの入力データも使用する。これについては、図２を参照されたい。これらのデータには、参加者を含むシーンの画像と、音響信号とが含まれる。

会話マネージャ１０５は、言語行為および非言語行為のアジェンダ（Ａ）３４０ならびにセグメント化された履歴３５０も含む。履歴３５０については、図３を参照されたい。セグメント化は、会話状態によって決定される対話の目的に基づいている。この履歴は、ほとんどの従来技術とは大きく異なり、関与が行われる全体的な状況を提供する。

全体的にすることによって、我々は、対話の空間的特性および時間的特性を表し、対話において接近した時間に起こるジェスチャおよび発言からの空間的特性および時間的特性、ならびに、対話において関連はしているが、より時間的に隔たったジェスチャおよび発言からの空間的特性および時間的特性の双方を表す。例えば、関与が失われる可能性を示唆するジェスチャまたは発言は、たとえ修復されても、後のおぼつかない関与が、関与プロセスの失敗によって起こり得るという証拠を提供する。会話マネージャ１０５は、ロボットによって行われる例えばジェスチャコマンド、注視コマンド、およびポーズコマンドといったデータをエージェントコントローラ１０６に提供する。

システム状態
アイドル
アイドル関与状態１０１は、Ｍｅｌ１０７がどのユーザも見えず、どのユーザの声も聞こえないことをエージェントコントローラ１０６が報告した場合の初期状態である。これは、例えば画像処理および音響処理といった既知の技術によって行うことができる。画像処理は、顔の検出、顔の認識、性別の認識、オブジェクトの認識、オブジェクトの定位、オブジェクトの追跡などを含むことができる。これらの技法はすべて、周知である。音源の検出、認識、および定位についての類似技術も、同様に利用可能である。

１つまたは２つ以上の顔がシーンに存在することを示すデータであり、そのユーザが対話に関与したいことを示す発言または挨拶とその顔が関連付けられていることを示すデータを受信すると、アイドル状態１０１は、完了し、開始状態１０２に移行する。

開始
開始状態１０２は、ユーザとの対話がこれから開始することを決定する。エージェントは、「順番」を有し、この順番の間に、Ｍｅｌ１０７は、自身の体をユーザに向け、自身の頭を傾け、自身の目の焦点をユーザの顔に合わせ、自身が聞いたことに対する挨拶または応答を発し、これによって、Ｍｅｌ１０７も、ユーザとの対話に興味があることを示す。

エージェントコントローラ１０６からの次の状態情報は、ユーザが、ジェスチャおよび発言によって対話を継続しているという証拠を提供する。証拠には、ユーザの顔がＭｅｌを注視しているという継続しているプレゼンス、および、ユーザが会話において交代を行っているという継続しているプレゼンスが含まれる。このような証拠が与えられると、プロセスは、関与維持状態１０３に移行する。ユーザの顔が存在しない場合には、システムは、アイドル状態１０１に戻る。

ユーザがまだ存在するが、Ｍｅｌ１０７を見ていないことをシステムが検出すると、関与開始プロセスは、会話におけるエージェントの次の順番の間、関与を修復するように試みる。修復に成功すると、システムは、維持状態１０３に移行し、修復に失敗すると、アイドル状態１０１に移行する。

維持
関与維持状態１０３は、ユーザが、対話を継続する意志があることを確認する。この状態は、ユーザの意志にどのように応答するか、および会話におけるロボット１０７の順番の間、ロボット１０７がどの行為が適切であるかを決定する。

基本的な維持の決定は、ユーザ以外には、視覚的に存在するどのオブジェクトも話題になっていない時に行われる。基本的な維持では、各順番において、維持プロセスは、ユーザがＭｅｌを注視しているということが継続しているプレゼンス、および会話が続いているという継続しているプレゼンスを証拠に使用して、ユーザがＭｅｌに注意を払っているかどうかを判断する。

ユーザが、関与を続けている場合には、維持プロセスは、アジェンダ３４０と、現在のユーザと、おそらく他のユーザとに従って、ロボットが行うべき行為を決定する。この行為は、ユーザ、およびおそらく検出された他のユーザに向けられた会話による行為、注視による行為、および体による行為である。

注視による行為は、会話による行為の長さおよび関与の長期間の履歴の理解に基づいて選択される。通常の注視による行為は、Ｍｅｌがユーザに向いていること、および、Ｍｅｌの順番の間に十分な時間がある場合には、おそらく断続的に他のユーザに向いていることによって開始する。これらの行為は、会話モデラの会話状態に記憶され、エージェントコントローラ１０６へ送信される。

ユーザが、ある一定の長さの時間の間、注視をそらすか、または交代を行うのに失敗することにより、関与を断つと、維持プロセスは、関与検証手順（ＶＥＰ：Verify Engagement Procedure）１３１を実行する。この検証プロセスは、ロボットによるユーザの意志を判断するための言葉による行為および体による行為を用いた順番を含む。ロボットの言語行為は、これまでの対話において、別の検証プロセスが行われていたかどうかに応じて変化する。

ユーザが、関与を継続する意志を伝えた場合には、検証プロセスの結果は成功したことになる。このプロセスが成功すると、アジェンダ３４０は、関与が継続していることを記録するように更新される。ユーザによる肯定的な応答がないことは、失敗を示し、維持プロセスは、関与が時期尚早に断たれたことを示すパラメータと共に、関与終了状態１０４に移行する。

オブジェクト
シーン内のオブジェクト、すなわち「プロップ（prop）」が、関与の維持中に議論されている時、維持プロセスは、Ｍｅｌが、ユーザではなくそのオブジェクトを指差しすべきかどうか、または、注視するべきかどうかを判断する。指差しすることは、注視することを必要とするが、Ｍｅｌが指差ししていない時は、Ｍｅｌの注視は、アジェンダに表現された目的により決まる。

Ｍｅｌが順番中にオブジェクトを指差ししている時、さらなる行為で、ロボットコントローラに、ユーザの注視もそのオブジェクトに向けられているかどうかに関する情報を提供するように指示する。

ユーザがそのオブジェクトに注視を向けていない場合には、関与維持プロセスは、ロボットの次の順番を使用して、ユーザをオブジェクトに再度向ける。ユーザの注視をオブジェクトに向けさせることに継続して失敗すると、その結果、次の順番では、関与の検証が行われる。

ロボットがオブジェクトを指差ししていない場合には、ロボットの次の順番中に、議論されているオブジェクトへロボットの注視を向けることについての決定は、次のいずれをも含むことができる。関与維持プロセスは、オブジェクト、ユーザ、または他のユーザが存在する場合にはそれら他のユーザに注視を向けるかどうかを決定する。これらのシナリオのいずれも、関与の履歴の全体的な理解を必要とする。

特に、ロボットが、ロボットによってなされた提案の肯定応答を求めている場合には、ロボットの注視は、ユーザに向けられる。ユーザは、ロボットの順番中、または、その後すぐに、同種の注視を返し、肯定応答を発言する。この肯定応答は、２人の人間の対話者の間で行われるのと同様に、対話継続の証拠として用いられる。

ユーザの肯定応答がない場合には、関与維持プロセスは、肯定応答を再度聞き出すように試みるか、または、次の対話による行為に移るように試みる。

おそらく、ユーザが注視を向けないことによって、結局、ユーザの肯定応答が継続して得られない場合には、この事態は、上述したような関与の検証に着手する証拠となる。

肯定応答が必要とされない場合には、維持プロセスは、オブジェクトまたは順番中のユーザのいずれかに注視を向ける。オブジェクトの具体的な特徴が議論されている場合には、アジェンダによって決定されるように、オブジェクトを注視することが好ましい。

ロボットが、オブジェクトを指差ししておらず、ユーザを注視していない場合には、関与プロセスは、関与が継続していることの証拠として、ユーザの会話の証拠、または、オブジェクトもしくはロボットへの注視の証拠を受け取る。

ユーザが交代を行うと、ロボットは、その順番の間に、関与を継続するロボットの意志を示さなければならない。したがって、ロボットがたとえ話をしていない場合であっても、ロボットは、ロボットがユーザとロボットとの対話においてユーザにつながりを持っていることを、ユーザに明らかにしなければならない。維持プロセスは、（１）現在のユーザの注視の方向、および、（２）議論されているオブジェクトが、ユーザによって所有されているかどうか、に基づいてロボットの意志を伝える方法を決定する。好ましいプロセスは、ユーザがオブジェクトを注視すると、Ｍｅｌにそのオブジェクトを注視させ、ユーザがＭｅｌを注視すると、Ｍｅｌにユーザを注視させることである。

関与終了状態１０４への通常の移行は、アジェンダが完了した場合、またはユーザが対話を終了する意志を伝えた場合に起こる。

終了
関与終了状態１０４は、関与をクローズさせる。ロボットの発話順番中に、Ｍｅｌは、クローズ直前の発言を行い、さようならを言う。クローズ直前の発言中、ロボットの注視は、ユーザに向けられ、おそらく他の存在するユーザにも向けられる。

さようならを言っている間、Ｍｅｌ１０７は、人間のさようならと同じようにして、彼の水かき１０８を振る。さようならに続いて、Ｍｅｌは、しぶしぶ彼の体を回転させて、ユーザから注視をそらし、足を引きずって歩き、アイドル状態１０１に入る。

システムアーキテクチャ
図２は、我々の発明による会話モデラ（ＤＭ）３００とエージェントコントローラ１０６との関係を示している。また、この図は、３Ｄの物理的な実施の形態のさまざまなコンポーネントも示している。２Ｄアバタまたはアニメキャラクタも、エージェント１０７として使用できることが理解されるべきである。

エージェントコントローラ１０６は、ロボットの状態、ユーザの状態、環境の状態、および他のユーザの状態を含む状態を保持する。このコントローラは、この状態を会話モデラ３００に提供する。その後、会話モデラ３００は、その状態を使用して、会話状態３２０を更新する。このロボットコントローラは、マイクロホン２０３に結合された音響解析用のコンポーネント２０１およびカメラ２０４に結合された映像（画像）解析用のコンポーネント２０２も含む。音響解析２０１は、ユーザの位置、発話の検出、およびおそらくユーザの識別を行う。

画像解析２０２は、カメラ２０４を使用して、顔の個数、顔の位置、注視の追跡、ならびに体およびオブジェクトの検出および位置を提供する。

また、コントローラ１０６は、未処理のデータ源、例えば音響源および映像源からの入力を取り込み、そのデータを解釈して、第１のユーザおよび第２のユーザ、ユーザの注視、ユーザが見ているオブジェクト、ユーザが見ているオブジェクトとロボットが見ているオブジェクトとが異なる場合には当該ロボットが見ているオブジェクト、ならびに見えているオブジェクトの現在の所有者を判定することにより、ロボットのモータ２１０も操作する。

ロボットコントローラは、すべての関与情報を会話マネージャに預ける。プロセス状態１０１〜１０４は、ロボットコントローラ１０６が着手すべき行為を提案することができる。

会話モデラ３００は、ユーザの発言において認識された語の形で、発話認識エンジン２３０からの入力を受信し、スピーカ２４１を用いる発話合成エンジン２４０を使用して発話を出力する。

また、会話モデラは、コマンド、例えば、注視方向およびさまざまなジェスチャ、ならびに会話状態も、ロボットコントローラに提供する。

会話モデラ
図３は、会話モデラ３００の構造を示している。会話モデラ３００は、ロボットの行為３０１と、発話認識装置から導き出されたテキストフレーズ３０２と、発言インタプリタ３１０と、レシピライブラリ３０３と、会話インタプリタ３６０と、会話状態３２０と、会話生成器３３０と、アジェンダ３４０と、セグメント化された履歴３５０と、関与管理プロセスとを含む。関与管理プロセスは、上述したものであり、図１に示されている。

我々の構造は、Rich等によって記載されたような協調エージェントアーキテクチャの設計に基づいている。Rich等については上記を参照されたい。しかしながら、Rich等は、はるかに複雑な対話における実体エージェントの使用を検討していないことが理解されるべきである。その点で、行為は、協調解釈モジュールに入力される。ここで、ロボットの行為は、会話による行為の付加的なタイプである。また、我々の関与マネージャ１００は、ユーザおよびロボットについて、注視、体の姿勢、領域内のオブジェクトだけでなく、所有されたオブジェクトに関する直接情報を受信する。この種の情報は、Rich等によって考慮もされていなかったし、また、利用可能でもなかった。

本発明について、好ましい実施の形態を例にして記述してきたが、本発明の精神および範囲内において、他のさまざまな適応および変更を行い得ることが理解されるべきである。したがって、添付した特許請求の範囲の目的は、本発明の真の精神および範囲内に入るようなすべての変形および変更を網羅することである。

本発明による関与を管理する方法およびシステムの最上位レベルのブロック図である。 ユーザとの対話用のロボットアーキテクチャの関係のブロック図である。 本発明により使用される会話モデラのブロック図である。

Claims (3)

1. ユーザと対話型実体エージェントとの間の対話を管理するシステムであって、
   アイドル状態、開始状態、維持状態、および終了状態を含む関与管理状態機械と、
   前記状態のそれぞれと対話するように構成された会話マネージャと、
   前記会話マネージャと対話するエージェントコントローラと、
   前記エージェントコントローラと対話する対話型実体エージェントと
   を備える対話を管理するシステム。
2. 対話型実体エージェントによるユーザとの対話を管理する方法であって、
   シーン内の対話データを検出することと、
   前記データに基づいて、アイドル状態から開始状態に移行することと、
   前記開始状態への移行の表示を出力することと、
   前記表示に応答して対話の証拠を検知することと、
   前記対話の証拠に基づいて、前記開始状態から維持状態に移行することと、
   アジェンダに従って、前記対話の証拠を検証することと、
   前記対話の証拠が前記アジェンダに従っていない場合には、前記維持状態から前記アイドル状態に移行することと
   を含む対話を管理する方法。
3. 前記対話データが、前記アジェンダを支持する場合には、前記維持状態を継続することをさらに含む請求項２に記載の対話を管理する方法。

Images