JP2020060623A - エージェントシステム、エージェント方法、およびプログラム - Google Patents

Abstract

【課題】適切な被回答者と対話することができるエージェントシステム、エージェント方法、およびプログラムを提供すること。【解決手段】エージェントシステムは、車両の車室内の音声を収集するマイク（３０）と、前記車室内に音声を出力するスピーカ（５０）と、前記マイクによって収集された音声を取得し、取得した前記音声に含まれる乗員の発話の内容を解釈する解釈部（２１０）と、前記解釈部によって解釈された前記発話の内容に応じて、前記スピーカに前記乗員に話しかける音声を出力させるエージェント制御部であって、前記解釈部によって解釈された前記発話の内容に基づいて、複数の乗員の中から、自装置の回答を受ける被回答者を推定するエージェント制御部（２２０）と、を備える。【選択図】図１

Description

本発明は、エージェントシステム、エージェント方法、およびプログラムに関する。

近年、種々の機器のインターフェースとして、エージェントシステムが提供する対話を用いる技術が知られている（例えば、特許文献１参照）。

特開２０１０−２１２７７５号公報

ここで、エージェントシステムが車両において用いられる場合、エージェントシステムは、運転者以外の乗員とエージェントシステムとの対話が、運転者の運転の妨げにならなように、又は運転者とエージェントシステムとの対話が、他の乗員の快適性を損なわないように、エージェント装置の被回答者を推定し、推定した被回答者と対話することが求められる。しかしながら、従来の技術では、発話の有無を検出することができても、被回答者を推定することまでは困難である場合があった。

本発明の態様は、このような事情を考慮してなされたものであり、適切な被回答者と対話することができるエージェントシステム、エージェント方法、およびプログラムを提供することを目的の一つとする。

この発明に係るエージェントシステム、エージェント方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係るエージェントシステムは、車両の車室内の音声を収集するマイクと、前記車室内に音声を出力するスピーカと、前記マイクによって収集された音声を取得し、取得した前記音声に含まれる乗員の発話の内容を解釈する解釈部と、前記解釈部によって解釈された前記発話の内容に応じて、前記スピーカに前記乗員に話しかける音声を出力させるエージェント制御部であって、前記解釈部によって解釈された前記発話の内容に基づいて、複数の乗員の中から、自装置の回答を受ける被回答者を推定するエージェント制御部と、を備える。

（２）：上記（１）の態様において、エージェントシステムは、画像を表示する表示部をさらに備え、前記エージェント制御部は、前記解釈部によって解釈された前記発話の内容に応じて、前記表示部に前記乗員に提示する画像を出力させる、ものである。

（３）：上記（１）〜（２）の態様において、前記エージェント制御部は、前記解釈部によって解釈された前記発話の内容に含まれる、前記被回答者を特定するキーワードに基づいて、前記被回答者を特定するものである。

（４）：上記（３）の態様において、前記エージェント制御部は、前記解釈部によって解釈された前記発話の内容に前記キーワードが含まれていない場合、前記車室内が撮像された撮像画像と、乗員の質量を乗員毎に検出した検出結果と、乗員の音声を乗員毎に取得した取得結果とのうち、少なくともいずれか１つに基づいて、前記被回答者を推定するものである。

（５）：上記（１）〜（４）の態様において、前記エージェント制御部は、特定の前記被回答者がいない場合、前記車両の乗員の全てが前記被回答者であると推定するものである。

（６）：上記（５）の態様において、前記エージェント制御部は、前記車両の乗員の全てが前記被回答者であると推定した場合、前記スピーカに大きい音量、又は低い周波数の音によって前記回答を出力させるものである。

（７）：この発明の一態様に係るエージェント方法は、車両の車室内の音声を収集するマイクと、前記車室内に音声を出力するスピーカと、を備える車両に搭載されたコンピュータに、前記マイクによって収集された音声を取得し、取得した前記音声に含まれる乗員の発話の内容を解釈させ、解釈された前記発話の内容に応じて、前記スピーカに前記乗員に話しかける音声を出力させ、前記解釈部によって解釈された前記発話の内容に基づいて、複数の乗員の中から、自装置の回答を受ける被回答者を推定させる。

（８）：この発明の一態様に係るプログラムは、車両の車室内の音声を収集するマイクと、前記車室内に音声を出力するスピーカと、を備える車両に搭載されたコンピュータが、前記マイクによって収集された音声を取得し、取得した前記音声に含まれる乗員の発話の内容を解釈し、解釈された前記発話の内容に応じて、前記スピーカに前記乗員に話しかける音声を出力し、前記解釈部によって解釈された前記発話の内容に基づいて、複数の乗員の中から、自装置の回答を受ける被回答者を推定する。

（１）〜（８）によれば、適切な被回答者と対話することができる。

（３）〜（５）によれば、より適切に被回答者と対話することができる。

（６）によれば、より被回答者がわかりやすい形態によって対話することができる。

第１実施形態に係るエージェント装置１の構成図である。 車両Ｍに設置される表示部およびスピーカを模式的に示す図である。 車両Ｍの後部座席に設置される表示部を模式的に示す図である。 後部座席付近のスピーカの位置を説明するための図である。 第１実施形態に係るエージェント制御装置１００の処理の一連の流れを示すフローチャートである。 変形例に係る操作機器情報１９６の内容の一例を示す図である。 変形例に係るエージェント制御装置１００の処理の一連の流れを示すフローチャートである。 第２実施形態に係るエージェント装置２の構成図である。 家族構成情報１９８の内容の一例を示す図である。 第２実施形態に係るエージェント制御装置１００ａの処理の一連の流れを示すフローチャートである。

以下、図面を参照し、本発明のエージェントシステム、エージェント方法、およびプログラムの実施形態について説明する。また、以下では、車両に搭載され、対話型エージェント機能を備えたエージェント装置によって、エージェントシステムが構成される場合について説明する。エージェント装置とは、例えば、車両の乗員と対話をしながら、乗員の要求に基づく各種の情報提供や車両内の機器の制御を行うものである。また、エージェント装置は、乗員の表情や声の調子から乗員の状態を判断して運転支援を行ったり、乗員のライフスタイルや嗜好を学習して、状況に応じた選択肢の提案を行うこともできる。エージェント装置は、乗員に対話者を視認させるため、擬人化された動物やキャラクタ等の画像（以下、エージェント画像と称する）を表示部に表示させる。エージェント装置は、例えば、乗員の音声を認識する音声認識処理（音声をテキスト化する処理）に加え、自然言語機能（テキストの構造や意味を理解する処理）、対話制御処理、検索処理等を統合的に利用して実現される。また、これらの処理の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現される。また、これらの処理を行う構成の一部または全部は、車両と通信可能なサーバ装置等に設けられる。以降の説明では、これらの処理を行う構成のすべてを、車両に搭載されるエージェント装置が備える場合について説明する。

［全体構成］
図１は、第１実施形態に係るエージェント装置１の構成図である。エージェント装置１は、車両Ｍの乗員と対話を行い、乗員からの音声等による問い合わせに対して、問い合わせに対する回答を、所定の出力態様で乗員に提示する。以下の説明において、乗員とは、例えば、運転席に着座する乗員（以下、運転者）であるが、これに加えて助手席や後部座席に着座する乗員（同乗者）でもよい。エージェント装置１は、エージェントシステムの一例である。

エージェント装置１は、通信装置１０と、車室内カメラ２０と、マイク３０と、表示部４０と、スピーカ５０と、着座センサ６０と、操作部７０と、ナビゲーション装置８０と、エージェント制御装置１００とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

通信装置１０は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等を利用して、ネットワークＮＷを介して他車両やサーバ装置等の他の装置（不図示）と通信する。

車室内カメラ２０は、例えば、車両Ｍの車室内に設置されたシートに着座する乗員の顔を含む画像を撮像する。車室内カメラ２０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。車室内カメラ２０は、例えば、所定のタイミングで乗員を撮像する。車室内カメラ２０の撮像画像は、エージェント制御装置１００に出力される。

マイク３０は、車室内の音声を集音する音声入力装置である。例えば、マイク３０は、ステアリングホイールに設置される。また、マイク３０は、乗員が車室内のシートに着座したときの前方付近に設置される。例えば、マイク３０は、ステアリングホイール、インストルメントパネル、またはシートに設置される。

表示部４０は、車室内のシートに着座する乗員の前方付近に設置される。また、スピーカ５０は、車室内のシート付近または表示部４０付近に設置される。表示部４０およびスピーカ５０は、車室内に複数設置されてよい。また、着座センサ６０は、車室内のシートにそれぞれ設けられる。

図２は、車両Ｍに設置される表示部およびスピーカを模式的に示す図である。図２の車室内には、表示部４０Ａ〜４０Ｄと、スピーカ５０Ａ〜５０Ｆとが設置されている。表示部４０Ａは、例えば、ＨＵＤ（Head-Up Display）装置である。ＨＵＤ装置は、風景に重畳させて画像を視認させる装置であり、一例として、車両Ｍのフロントウインドシールドやコンバイナーに画像を含む光を投光することで、乗員に虚像を視認させる装置である。乗員は、主に運転者であるが、運転者以外の乗員であってもよい。表示部４０Ａは、ナビゲーション装置８０により実行されるナビゲーション処理に対応する画像、その他の画像等を表示する。

表示部４０Ｂ〜４０Ｄは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）表示装置等である。表示部４０Ｂは、インストルメントパネルＩＰにおける運転席（例えばステアリングホイールに最も近い座席）の正面付近に設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置され、車両Ｍの乗員の中で、特に運転席ＳＴ１に着座する運転手が視認すべき情報を提示する。表示部４０Ｂは、例えば、車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報の画像を表示する。

表示部４０Ｃは、インストルメントパネルＩＰの中央付近に設けられ、車両Ｍの乗員の中で、特に運転手と助手席（運転席の隣の座席）ＳＴ２に着座する乗員とが視認すべき情報を提示する。表示部４０Ｃは、例えば、ナビゲーション装置８０により実行されるナビゲーション処理に対応する画像、その他の画像等を表示する。また、表示部４０Ｃは、テレビ番組を表示したり、ＤＶＤを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。

表示部４０Ｄは、インストルメントパネルＩＰにおける助手席ＳＴ２の正面付近に設けられ、車両Ｍの乗員の中で、特に助手席ＳＴ２に着座する乗員が視認すべき情報を提示する。表示部４０Ｄは、例えば、表示部４０Ｃと同様に、ナビゲーション装置８０により実行されるナビゲーション処理に対応する画像、テレビ番組、ＤＶＤを再生した動画、ダウンロードされた映画等のコンテンツを表示する。

スピーカ５０Ａおよびスピーカ５０Ｂは、例えば、車両Ｍの左右の前方の窓柱（いわゆるＡピラー）に設置される。また、スピーカ５０Ｃは、運転席側のドアの下部に設置され、スピーカ５０Ｄは、助手席側のドアの下部に設置される。スピーカ５０Ｅは、表示部４０Ｃ付近、つまり、インストルメントパネルＩＰの中央付近に設置される。スピーカ５０Ｆは、車室内の天井の中央部付近に設置される。スピーカ５０Ａ、および５０Ｃは、例えば、運転者が傾聴すべき情報（例えば、表示部４０Ａ〜４０Ｃに表示される画像に応じた音声）を出力する。また、スピーカ５０Ｂ、および５０Ｄは、例えば、助手席ＳＴ２に着座する乗員が傾聴すべき情報（例えば、表示部４０Ｃ〜４０Ｄに表示される画像に応じた音声）を出力する。

図３は、車両Ｍの後部座席に設置される表示部を模式的に示す図である。図３の車室内には、表示部４０Ｅ〜４０Ｆが設置されている。表示部４０Ｅ〜４０Ｆは、例えば、ＬＣＤや有機ＥＬ表示装置等である。表示部４０Ｅは、例えば、運転席ＳＴ１のヘッドレストの後ろに設けられ、車両Ｍの乗員の中で、特に運転席ＳＴ１の後ろの座席（以下、後部座席ＳＴ３）に着座する乗員が視聴すべき情報を提示する。表示部４０Ｅは、例えば、表示部４０Ｃ〜４０Ｄと同様に、ナビゲーション装置８０により実行されるナビゲーション処理に対応する画像、テレビ番組、ＤＶＤを再生した動画、ダウンロードされた映画等のコンテンツを表示する。

表示部４０Ｆは、例えば、助手席ＳＴ２のヘッドレストの後ろに設けられ、車両Ｍの乗員の中で、特に助手席ＳＴ２の後ろの座席（以下、後部座席ＳＴ４）に着座する乗員が視聴するべき情報を提示する。表示部４０Ｅは、例えば、表示部４０Ｃ〜４０Ｆと同様に、ナビゲーション装置８０により実行されるナビゲーション処理に対応する画像、テレビ番組、ＤＶＤを再生した動画、ダウンロードされた映画等のコンテンツを表示する。以降の説明において、運転席ＳＴ１、助手席ＳＴ２、後部座席ＳＴ３、および後部座席ＳＴ４を互いに区別しない場合には、単にシートＳＴと記載する。

なお、上述した表示部４０Ａ〜４０Ｆの設置位置は、一例であり、これに限られない。また、車室内には、乗員が車両Ｍのサイドミラーによって視認可能な情報を車外カメラによって取得し、取得した情報を表示する表示部が設置されていてもよい。

また、車両Ｍには、後部座席付近にスピーカが設けられる。図４は、後部座席付近のスピーカの位置を説明するための図である。図４の例では、図２に示すスピーカ５０Ａ〜５０Ｆの他に、運転席ＳＴ１と助手席ＳＴ２の後方に設置された後部座席ＳＴ３付近にスピーカ５０Ｇおよび５０Ｈが設けられている。具体的には、スピーカ５０Ｇおよび５０Ｈは、左右の方向ドアの下部に設けられる。また、スピーカ５０は、車両Ｍの前方ドアと後方ドアとの間に設けられる窓柱（いわゆるＢピラー）に設けられてもよく、後部座席の方向に設けられてもよい。スピーカ５０Ｇは、例えば、後部座席ＳＴ３に着座する乗員が傾聴すべき情報（例えば、表示部４０Ｅに表示される画像に応じた音声）を出力する。また、スピーカ５０Ｈは、例えば、後部座席ＳＴ４に着座する乗員が傾聴すべき情報（例えば、表示部４０Ｆに表示される画像に応じた音声）を出力する。

また、車両Ｍには、運転席ＳＴ１、助手席ＳＴ２、後部座席ＳＴ３、および後部座席ＳＴ４のそれぞれに着座センサ６０（図示する着座センサ６０Ａ〜６０Ｄ）が設けられる。着座センサ６０は、例えば、圧力センサによって実現され、シートＳＴに乗員が着座していることを示す信号をエージェント制御装置１００に出力する。

図１に戻り、操作部７０は、乗員からの手動による操作を受け付ける。操作部７０は、例えば、スイッチやボタン、キー等を備える。操作部７０は、例えば、ステアリングホイールやインストルメントパネルに設けられる。また、操作部７０は、タッチパネルとして、表示部４０と一体に構成されてもよい。

ナビゲーション装置８０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星から受信した信号に基づいて、車両Ｍの位置を特定する。また、ナビゲーション装置８０は、特定された車両Ｍの位置（或いは入力された任意の位置）から、操作部７０や表示部４０を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、地図情報８２を参照して決定する。地図情報８２は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。地図情報８２は、道路の曲率やＰＯＩ（Point Of Interest）情報等を含んでもよい。

ナビゲーション装置８０は、地図上経路に基づいて、表示部４０を用いた経路案内を行ってもよい。ナビゲーション装置８０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置８０は、通信装置１０を介してナビゲーションサーバ（不図示）に現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ナビゲーション装置８０は、地図上経路に基づいて、表示部４０による地図画像表示やスピーカによる音声出力によって、経路案内を行ってもよい。なお、ナビゲーション装置８０は、エージェント制御装置１００の機能の一つとしてエージェント制御装置１００に備えられてもよい。

［エージェント制御装置１００］
エージェント制御装置１００は、例えば、音声入力部１１０と、乗員状態解析部１２０と、提示制御部１３０と、画像生成部１４０と、音声生成部１５０と、アプリ呼出部１６０と、第１記憶部１８０と、第２記憶部１９０と、制御部２００とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）等のコンピュータプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め第１記憶部１８０に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで第１記憶部１８０、または第２記憶部１９０にインストールされてもよい。

第１記憶部１８０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。第１記憶部１８０は、例えば、電話アプリ１８２、ラジオアプリ１８４等のプロセッサによって読み出されて実行されるプログラム、その他の情報等が格納される。電話アプリ１８２と、ラジオアプリ１８４の詳細については、後述する。

第２記憶部１９０は、例えば、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。第２記憶部１９０は、例えば、回答情報１９２、パーソナルプロファイル１９４等の情報が格納される。回答情報１９２には、文字情報や画像、音声等が含まれ、これらはエージェント装置１の対話に際に用いられる。パーソナルプロファイル１９４には、発話者の音声の特徴情報や、発話者に関する情報（例えば、性別や年齢、好きなジャンル）等が含まれる。パーソナルプロファイル１９４は、車両Ｍの購入時等において、車両Ｍの所有者によって操作部７０から入力された情報に基づいて生成され、第２記憶部１９０に記憶されてもよく、車両Ｍにおける乗員の発話の蓄積によって生成（学習）されてもよい。

音声入力部１１０は、マイク３０による音声の入力を受け付ける。音声入力部１１０は、受け付けられた音声（音声ストリーム）を、制御部２００に供給する。

乗員状態解析部１２０は、車室内カメラ２０により撮像された画像に対する解析処理を行い、人物形状や顔形状等の特徴情報を抽出することで車室内のシートに着座する乗員の位置や、乗員の挙動、視線に関する情報を取得する。乗員の挙動には、例えば、乗員の顔の向きや体の姿勢が含まれる。また、乗員状態解析部１２０は、シートに設けられた圧力センサやその他の検知センサにより、シートに着座する乗員の位置を検知してもよい。

また、乗員状態解析部１２０は、マイク３０により収音された音声を解析し、解析した声の調子から乗員の特徴を解析してもよい。

提示制御部１３０は、音声入力部１１０から取得した音声に対する回答情報１９２に基づいて、乗員に提示する内容を制御する。音声を乗員に提示する内容には、例えば、表示部４０により画面に表示させる内容と、スピーカ５０により出力させる内容と、車両内の各機能を実現するアプリケーション（以下、アプリと称する）を実行する内容とが含まれる。

また、提示制御部１３０は、乗員状態解析部１２０により解析された乗員の状態に基づいて、乗員に提示する内容を制御してもよい。また、提示制御部１３０は、乗員からの入力情報や乗員に提示した内容の履歴情報を第１記憶部１８０に記憶しておき、記憶した履歴情報から乗員のライフスタイルや嗜好を学習して、状況に応じた提示内容の制御を行ってもよい。

画像生成部１４０は、エージェント画像を生成するとともに、生成したエージェント画像を表示する表示部４０および画面上における表示位置を設定し、設定した表示部４０の表示位置にエージェント画像を表示させる。エージェント画像は、例えば、少なくとも観者によって表情や顔向きが認識される程度の顔画像を含む。例えば、エージェント画像は、顔領域の中に目や鼻に擬したパーツが表されており、顔領域の中のパーツの位置に基づいて顔向きが認識されるものである。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことで、顔向きが認識されるものであってもよい。

例えば、画像生成部１４０は、音声の内容や回答情報の内容に基づいて、エージェントの表情を変化させたエージェント画像を生成してもよい。例えば、画像生成部１４０は、乗員からのリクエストに対して適切な回答が得られていない場合には、悲しそうな表情のエージェントの画像を生成し、「ありがとう」等の音声が入力された場合には、うれしそうな表情のエージェントの画像を生成する。また、画像生成部１４０は、回答情報を表示部４０に表示するための画像（以下、回答画像と称する）を生成し、生成した回答画像を表示部４０に表示させる。

音声生成部１５０は、乗員に出力する対話用の音声を生成する。例えば、音声生成部１５０は、一以上のスピーカ５０を用いて、エージェント画像の表示位置に対応する位置に音像を定位させるための音声を生成する。音像が定位するとは、例えば、スピーカ５０から出力されて乗員の左右の耳に伝達される音の大きさを調節することにより、乗員が感じる音源の空間的な位置を定めることである。音像は、例えば、音源が元々保有している音特性や、車室内環境の情報、頭部伝達関数（HRTF；Head-related transfer function）に基づいて定まる。音声生成部１５０は、このような原理を利用して、音像を所定の位置に定位させることができる。

アプリ呼出部１６０は、提示制御部１３０により選択されたアプリを第１記憶部１８０により呼び出し、呼び出したアプリを制御部２００で実行することで、そのアプリの機能を実現させる。例えば、制御部２００により電話アプリ１８２が実行された場合には、通信装置１０を介して外部の通話機能を備えた端末と通信を行い、マイク３０やスピーカ５０を用いて、端末所持者との通話が実現される。また、制御部２００によりラジオアプリ１８４が実行された場合には、通信装置１０を介してラジオ局から乗員が指定した周波数で発信された音声情報を取得し、取得した音声情報をスピーカ５０から出力する機能が実現される。また、制御部２００によりナビアプリ１７６が実行された場合には、ナビゲーション装置８０と連携した経路案内機能等が実現される。

［エージェント装置１が応対する乗員について］
制御部２００の説明に先立って、エージェント装置１が応対する乗員について説明する。上述したように、車両Ｍの乗員は、エージェント装置１に対して質問や指示等を発話し、エージェント装置１は、乗員が発話した内容に応じた回答を出力する。この場合、エージェント画像は、質問や指示等を発話した乗員が視認し易い表示部４０に表示され、且つ回答を示す音声は、質問や指示等を発話した乗員が傾聴し易いスピーカ５０から出力されることが好ましい。本実施形態のエージェント装置１は、発話した乗員を推定し、推定した乗員に対して応対を行う。以下、制御部２００の処理の内容について説明する。

［制御部２００］
制御部２００は、例えば、エージェント制御装置１００の各機能部に実行および停止を制御する。制御部２００は、例えば、各機能部からの要求をＡＰＩ（Application Programming Interface）によって受け付け、受け付けた要求に基づく処理を実行する機能部を選択し、選択した機能部に、ＡＰＩを介して処理を実行させる。制御部２００は、受け付けた要求に基づく処理を実行する機能部として、解釈部２１０と、第１推定部２２０と、対話生成部２３０とを備える。

解釈部２１０には、例えば、音声区間検出部２１２と、音声認識部２１４と、自然言語処理部２１６とが含まれる。音声区間検出部２１２は、音声ストリームから音声区間を検出する。例えば、音声区間検出部２１２は、例えば、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。また、音声区間検出部２１２は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model) に基づくフレーム単位の音声・非音声識別に基づく区間検出を行ってもよく、予め第２記憶部１９０等に記憶された音声区間を検出するためのデータベースとのマッチング処理により区間検出を行ってもよい。

音声認識部２１４は、音声区間検出部２１２による音声区間における音声を認識し、音声を文字情報としてテキスト化する。また、音声認識部２１４は、音声から発話者の特徴を特定してもよい。発話者の特徴には、例えば、性別や年齢、運転者であるか、同乗者であるかの情報が含まれる。また、音声認識部２１４は、第２記憶部１９０に記憶されたパーソナルプロファイル１９４に記憶された個人の音声の特徴情報と照合して、個人を特定してもよい。

自然言語処理部２１６は、音声認識部２１４によりテキスト化された文字情報に対する自然言語処理を実行し、文字情報の意味を解釈する。自然言語処理には、形態素解析、構文解析、意味解析、文脈解析等が含まれる。形態素解析は、例えば、文字情報を、意味を持つ最小の表現要素の単位に分割し、分割した単位（形態素）ごとの品詞等を解析する。構文解析は、例えば、形態素解析により得られた形態素をもとに、文の構造を解析する。意味解析は、例えば、構文解析により得られた構文をもとに、意味を持つまとまりを判別する。文脈解析は、例えば、文単位や文脈単位で意味を解釈する。

また、自然言語処理部２１６は、解釈した意味に対応するコマンドを生成する。例えば、解釈結果として、「東京駅まで何キロ？」、「東京駅までどのくらい走る？」等の意味が解釈された場合、自然言語処理部２１６は、標準文字情報「東京駅までの距離は？」に置き換えたコマンドを生成する。これにより、文字揺らぎがあった場合にも回答情報を取得しやすくすることができる。

また、自然言語処理部２１６は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を解釈し、解釈結果に基づくコマンドを生成してもよい。自然言語処理部２１６は、生成されたコマンドを用いて第２記憶部１９０に記憶された回答情報１９２のコマンドを参照し、合致するコマンドに対応する回答情報１９２を取得する。自然言語処理部２１６は、音声認識部２１４によりテキスト化された文字情報の構造や意味を理解し、理解した意味に基づいて、第２記憶部１９０に記憶された回答情報１９２を検索し、対応する文字情報や画像、音声等を取得する。

次に、第１推定部２２０について説明する。第１推定部２２０は、エージェント装置１に対して発話した乗員（つまり、発話者）を推定する機能部である。第１推定部２２０には、例えば、発話者推定部２２２と、操作判定部２２４と、指示対象判定部２２６とが含まれる。

発話者推定部２２２は、エージェント装置１に対して行われた発話の内容に基づいて、発話者を推定する。以下、発話者推定部２２２が、発話者が車両Ｍの運転者であると推定する場合について説明し、次に、発話者が車両Ｍの運転者以外であると推定する場合について説明する。

［発話者が運転者；発話の内容が車両Ｍの運行に係る内容である場合］
発話者推定部２２２は、発話の内容が、車両Ｍの運行に係る内容であるか否かを判定する。発話者推定部２２２は、発話の内容が車両Ｍの運行に係る内容であると判定した場合、発話者が車両Ｍの運転者であると推定する。車両Ｍの運行に係る内容とは、例えば、車両Ｍが走行する車線の制限速度を確認する内容（例えば、「この道路の制限速度は何ｋｍか？」）や、周辺に存在する一方通行の位置を確認する内容（例えば、「この辺りに一方通行あるか？」）等である。発話の内容がこのような内容と合致する場合、発話者推定部２２２は、発話者が運転者であると推定する。

［発話者が運転者；発話の内容が車両Ｍの操作に係る内容である場合］
発話者推定部２２２は、発話の内容が、運転席ＳＴ１から実行可能な車両Ｍの操作に係る内容であるか否かを判定する。発話者推定部２２２は、発話の内容が、運転席ＳＴ１から実行可能な車両Ｍの操作に係る内容であると判定した場合、発話者が車両Ｍの運転者であると推定する。運転席ＳＴ１から実行可能な車両Ｍの操作は、例えば、運転席ＳＴ１の近傍に設けられる運転操作子の操作である。運転操作子は、例えば、ステアリングホイールや、アクセルペダル、ブレーキペダル、シフトレバー、ウインカレバーなどの各種操作子である。運転席ＳＴ１から実行可能な車両Ｍの操作に係る内容とは、例えば、運転操作子の操作方法や場所を確認する内容（例えば、「ウインカレバーは左右どっち？」、「ハザードランプの場所はどこ？」）等である。発話の内容がこのような内容と合致する場合、発話者推定部２２２は、発話者が運転者であると推定する。

［発話者が運転者以外；発話の内容が車両Ｍの運行や操作に係る内容ではない場合］
発話者推定部２２２は、発話の内容が、車両Ｍの運行や、運転席ＳＴ１から実行可能な操作に係る内容ではないと判定した場合、発話者が車両Ｍの運転者以外の乗員であると推定する。車両Ｍの運行や、運転席ＳＴ１から実行可能な操作ではない内容とは、例えば、（例えば、「明日のスーパーのセールの目玉は何？」や、「昨日のワールドカップのハイライト見せて」）等である。

対話生成部２３０は、発話者推定部２２２によって推定された発話者と、自然言語処理部２１６によって解釈された発話の内容を示す文字情報に基づいて、乗員と対話を行うための文章、或いは文節（以下、単に文章）を生成する。

画像生成部１４０は、対話生成部２３０によって生成された文章に基づいて、エージェント画像を生成する。提示制御部１３０は、画像生成部１４０によって生成されたエージェント画像を表示する表示部４０および画面上における表示位置を設定し、設定した表示部４０の表示位置にエージェント画像を表示させる画像生成部１４０は、例えば、対話生成部２３０によって生成された文章が疑問文である場合には、質問しているような表情のエージェント画像を生成し、文章が否定形である場合には、悲しそうな表情のエージェント画像を生成する。否定形である文章とは、例えば、対話によってリクエストされた処理を実行不能であることを伝える文章である。提示制御部１３０は、例えば、画像生成部１４０によって生成されたエージェント画像を、発話者推定部２２２によって推定された発話者が視認し易い表示部４０（発話者が運転者であれば表示部４０Ａ〜４０Ｃの少なくともいずれか）にエージェント画像を表示させる。

音声生成部１５０は、対話生成部２３０によって生成された文節に基づいて、乗員に出力する対話用の音声を生成する。提示制御部１３０は、例えば、発話者推定部２２２によって推定された発話者が傾聴し易いスピーカ５０（発話者が運転者であれば、スピーカ５０Ａ、および５０Ｃ）に生成した音声を出力させる。

［処理フロー］
図５は、第１実施形態に係るエージェント制御装置１００の処理の一連の流れを示すフローチャートである。まず、解釈部２１０は、車両Ｍの乗員が発話したか否かを判定する（ステップＳ１００）。解釈部２１０は、例えば、エージェント装置１に対する対話を開始する際に用いられるウェイクワードが、車両Ｍの乗員によって発話された場合、車両Ｍの乗員が発話したと判定する。なお、解釈部２１０は、車両Ｍの乗員の発話が疑問形である（例えば、末尾の抑揚が上がっている）場合、車両Ｍの乗員が発話したと判定してもよい。解釈部２１０は、車両Ｍの乗員によって発話されるまでの間、待機する。

解釈部２１０は、車両Ｍの乗員が発話したと判定した場合、音声区間検出部２１２、音声認識部２１４、および自然言語処理部２１６の処理によって、発話の内容の意味を解釈（理解）する（ステップＳ１０２）。次に、発話者推定部２２２は、解釈部２１０によって理解された発話の内容が車両Ｍの運行に係る内容であるか否かを判定する（ステップＳ１０４）。発話者推定部２２２は、発話の内容が車両Ｍの運行に係る内容であると判定した場合、発話者が運転者であると推定する（ステップＳ１０６）。対話生成部２３０は、発話者推定部２２２によって発話者が運転者であると推定された場合、運転者と対話を行うための文章を生成する（ステップＳ１０８）。発話者推定部２２２は、発話の内容が車両Ｍの運行に係る内容ではないと判定した場合、発話者が運転者以外の乗員であると推定する（ステップＳ１１０）。対話生成部２３０は、発話者推定部２２２によって発話者推定部２２２によって発話者が運転者以外の乗員であると推定された場合、当該乗員と対話を行うための文章を生成する（ステップＳ１０８）。

提示制御部１３０は、対話生成部２３０によって生成された文章に基づいて画像生成部１４０が生成したエージェント画像を表示部４０に表示させ、当該文章に基づいて音声生成部１５０が生成した音声をスピーカ５０に出力させる（ステップＳ１１４）。提示制御部１３０は、例えば、発話者が運転者である場合、運転者が視認しやすい表示部４０にエージェント画像を表示させ、且つ運転者が傾聴し易いスピーカ５０に音声を出力させる。また、提示制御部１３０は、発話者が運転者以外の乗員である場合、当該乗員が視認しやすい表示部４０にエージェント画像を表示させ、且つ当該乗員が傾聴し易いスピーカ５０に音声を出力させる。提示制御部１３０は、車両Ｍに運転者以外の乗員が複数存在する場合、着座センサ６０によって着座が検出されている乗員と対話を行うための音声を生成する。

なお、対話生成部２３０は、運転者以外の乗員が複数存在する場合、運転者以外の乗員全員と対話を行うための音声を生成してもよい。また、対話生成部２３０は、車室内カメラ２０によって発話が検出されたタイミングに口の動き（つまり、発話）が撮像されている特定の乗員と対話を行うための音声を生成してもよい。

また、発話者推定部２２２は、発話の内容に、乗員の体調の変化や疲労に係る内容が含まれる場合には、発話者が運転者であると推定してもよい。乗員の体調の変化や疲労に係る内容は、例えば、「そろそろ眠い」、「疲れた」等である。

［第１実施形態のまとめ］
以上説明したように、本実施形態のエージェント装置１は、車両Ｍの車室内の音声を収集するマイク３０と、車室内に音声を出力するスピーカ５０と、マイク３０によって収集された音声を取得し、取得した前記音声に含まれる乗員の発話の内容を解釈する解釈部２１０と、解釈部２１０によって解釈された発話の内容に応じて、スピーカ５０に乗員に話しかける音声を出力させるエージェント装置１であって、解釈部２１０により解釈された発話の内容がエージェント装置１への話しかけを意味する場合、発話の内容に基づいて、複数の乗員の中から、発話を行った発話者を推定する第１推定部２２０とを備えることにより、適切な発話者と対話することができる。

＜変形例＞
以下、第１実施形態に係る変形例について説明する。第１実施形態では、発話の内容が、車両の運行に係る内容である場合において、発話者を推定する場合について説明した。変形例では、発話の内容が車両の操作に係る内容である場合において、発話者を推定する場合について説明する。なお、上述した実施形態と同様の構成については、同一の符号を付して説明を省略する。

図６は、変形例に係る操作機器情報１９６の内容の一例を示す図である。変形例のエージェント装置１おいて、第２記憶部１９０には、操作機器情報１９６が記憶される。図６に示される通り、操作機器情報１９６は、例えば、車両Ｍが備える機器であり、車両Ｍの乗員が操作可能な機器（図示する操作対象機器）を示す情報と、当該操作対象機器を操作可能な乗員が着座するシートＳＴを示す情報とが互いに対応付けられた情報である。

変形例の発話者推定部２２２は、発話の内容が車両Ｍの操作に係る内容であり、且つ発話の内容に含まれる操作の操作対象機器が操作中であるか否かを判定する。車両Ｍの操作に係る内容とは、例えば、操作対象機器の操作方法を質問する内容（「これの使い方教えて？」、「これの動かし方教えて？」）等である。発話者推定部２２２は、発話の内容が車両Ｍの操作に係る内容であり、且つ発話の内容に含まれる操作の操作対象機器が操作中であると判定した場合、当該操作対象機器を操作可能な乗員が発話者であると推定する。発話者推定部２２２は、操作機器情報１９６を参照し、当該操作対象機器に対応付けられたシートＳＴに着座する乗員を発話者と推定する。

ここで、乗員は、操作方法を知りたい操作対象機器を操作しつつ、エージェント装置１に対して操作対象機器の操作方法を質問する内容の発話をする場合がある。このような状況において、変形例のエージェント装置１は、適切な乗員（この場合、操作方法を知りたい乗員）と対話することができる。

また、変形例の発話者推定部２２２は、発話の内容が車両Ｍの操作に係る内容であり、且つ発話の内容に含まれる操作の操作対象機器が操作中ではないか否かを判定する。発話者推定部２２２は、発話の内容が車両Ｍの操作に係る内容であり、且つ発話の内容に含まれる操作の操作対象機器が操作中ではないと判定した場合、当該操作対象機器から物理的に遠い乗員が発話者であると推定する。発話者推定部２２２は、操作機器情報１９６を参照し、当該操作対象機器に対応付けられたシートＳＴとは異なるシートＳＴに着座する乗員を発話者と推定する。

ここで、乗員は、物理的に遠い位置（つまり、自身で操作することができない）の操作対象機器の操作をエージェント装置１に依頼する場合がある。例えば、助手席ＳＴ２の乗員が、「後部座席のテレビを消して？」と発話する場合がある。このような状況において、変形例のエージェント装置１によれば、適切な乗員（この場合、操作対象機器から物理的に遠い位置に着座する乗員）と対話することができる。

［処理フロー］
図７は、変形例に係るエージェント制御装置１００の処理の一連の流れを示すフローチャートである。まず、解釈部２１０は、車両Ｍの乗員が発話したか否かを判定する（ステップＳ２００）。解釈部２１０は、車両Ｍの乗員によって発話されるまでの間、待機する。解釈部２１０は、車両Ｍの乗員が発話したと判定した場合、音声区間検出部２１２、音声認識部２１４、および自然言語処理部２１６の処理によって、発話の内容の意味を解釈（理解）する（ステップＳ２０２）。次に、発話者推定部２２２は、解釈部２１０によって理解された発話の内容が車両Ｍの操作に係る内容であるか否かを判定する（ステップＳ２０４）。発話者推定部２２２は、解釈部２１０によって理解された発話の内容が車両Ｍの操作に係る内容ではないと判定した場合、図７に示されるフローチャートの処理では発話者を特定することができないものとみなし、処理を終了する。

発話者推定部２２２は、解釈部２１０によって理解された発話の内容が車両Ｍの操作に係る内容である場合、発話の内容に含まれる操作の操作対象機器が操作中であるか否かを判定する（ステップＳ２０６）。発話者推定部２２２は、発話の内容に含まれる操作の操作対象機器が操作中であると判定した場合、当該操作対象機器を操作可能な乗員が発話者であると推定する（ステップＳ２０８）。対話生成部２３０は、発話者推定部２２２によって発話者と推定された操作対象機器を操作可能な乗員と対話を行うための文章を生成する（ステップＳ２１０）。発話者推定部２２２は、発話の内容に含まれる操作の操作対象機器が操作中ではないと判定した場合、当該操作対象機器から物理的に遠い位置に着座する乗員が発話者であると推定する（ステップＳ２１２）。対話生成部２３０は、発話者と推定された操作対象機器から物理的に遠い位置の乗員と対話を行うための文章を生成する（ステップＳ２１４）。提示制御部１３０は、対話生成部２３０によって生成された文章に基づいて画像生成部１４０が生成したエージェント画像を表示部４０に表示させ、当該文章に基づいて音声生成部１５０が生成した音声をスピーカ５０に出力させる（ステップＳ２１６）。

なお、対話生成部２３０は、操作対象機器を操作可能な乗員、或いは操作対象機器から物理的に遠い位置の乗員が複数該当する場合、操作対象機器を操作可能な乗員全員、或いは操作対象機器から物理的に遠い位置の乗員全員と対話を行うための音声を生成してもよい。また、対話生成部２３０は、操作対象機器を操作可能な複数の乗員の中で、車室内カメラ２０によって発話が検出されたタイミングに発話が撮像されている特定の乗員、或いは、操作対象機器から物理的に遠い位置の複数の乗員の中で、車室内カメラ２０によって発話が検出されたタイミングに発話が撮像されている特定の乗員と対話を行うための音声を生成してもよい。

＜第２実施形態＞
以下、第２実施形態について説明する。第１実施形態では、エージェント装置１が発話者と対話する場合について説明した。第２実施形態では、エージェント装置２が発話者の発話の内容に適した乗員と対話する場合について説明する。なお、上述した実施形態と同様の構成については、同一の符号を付して説明を省略する。

［全体構成］
図８は、第２実施形態に係るエージェント装置２の構成図である。エージェント装置２は、エージェント装置１が備えるエージェント制御装置１００に代えて（或いは、加えて）、エージェント制御装置１００ａを備える。エージェント制御装置１００ａは、例えば、音声入力部１１０と、乗員状態解析部１２０と、提示制御部１３０と、画像生成部１４０と、音声生成部１５０と、アプリ呼出部１６０と、第１記憶部１８０と、第２記憶部１９０ａと、制御部２００ａを備える。なお、本実施形態において、エージェント装置２が備える着座センサ６０は、シートＳＴに乗員が着座していることを示す信号に代えて（或いは、加えて）圧力値を示す信号をエージェント制御装置１００ａに供給する。

第２記憶部１９０ａには、第２記憶部１９０に記憶される情報に代えて（或いは、加えて）回答情報１９２と、パーソナルプロファイル１９４と、操作機器情報１９６と、家族構成情報１９８とが記憶される。

図９は、家族構成情報１９８の内容の一例を示す図である。家族構成情報１９８は、例えば、エージェント装置２が発話に対して回答すべき被回答者を推定する際に用いられ、車両Ｍに乗車する頻度の高い乗員に係る情報である。車両Ｍに乗車する頻度の高い乗員は、例えば、車両Ｍの所有者の家族や親族である。以降の説明では、家族構成情報１９８が、車両Ｍの所有者の家族に係る情報である場合について説明する。図９に示される一例において、家族構成情報１９８は、車両Ｍの乗員の氏名と、年齢と、親族呼称（または、通称）と、体重とを示す情報が互いに対応付けられた乗員毎のレコードを複数含む情報である。親族呼称は、例えば、「パパ」、「ママ」、「お兄ちゃん」、「おじいちゃん」、「おばあちゃん」、或いはそれらを推定可能な類義語（「お父さん」、「お母さん」等）である。家族構成情報１９８は、例えば、車両Ｍの購入時等において、車両Ｍの所有者によって操作部７０から入力された情報に基づいて生成され、第２記憶部１９０ａに記憶される。

［エージェント装置２が応対する乗員について］
図８に戻り、制御部２００ａの説明に先立って、エージェント装置２が応対する乗員について説明する。上述したように、車両Ｍの乗員は、エージェント装置２に対して質問や指示等を発話し、エージェント装置２は、乗員が発話した内容に応じた回答を出力する。ここで、発話の内容には、回答を出力すべき乗員（以下、被回答者）を指示、或いは示唆する内容が含まれる場合がある。被回答者を指示、或いは示唆する発話の内容は、例えば、「助手席の人にカーマニュアルを見せて」、「今どのあたりにいるか後ろの人に教えてあげて」等である。この場合、エージェント画像は、被回答者が視認し易い表示部４０に表示され、且つ回答を示す音声は、被回答者が傾聴し易いスピーカ５０から出力されることが好ましい。本実施形態のエージェント装置２は、発話した乗員の発話内容に基づいて応対する被回答者を推定し、推定した被回答者に対して応対を行う。以下、制御部２００ａの処理の内容について説明する。

制御部２００ａは、制御部２００が備える構成に代えて（或いは、加えて）、解釈部２１０と、第１推定部２２０と、対話生成部２３０と、第２推定部２４０とを備える。第２推定部２４０は、エージェント装置２に対して発話者が発話した発話の内容に基づいて、被回答者を推定する機能部である。第２推定部２４０には、被回答者推定部２４２と、乗員位置推定部２４４とが含まれる。

被回答者推定部２４２は、エージェント装置２に対して行われた発話の内容に基づいて、被回答者を推定する。以下、被回答者推定部２４２が、被回答者を推定する処理の内容について説明する。

［発話の内容に被回答者を示すキーワードが含まれる場合］
被回答者推定部２４２は、発話の内容に被回答者を特定するキーワードが含まれるか否かを判定する。被回答者を特定するキーワードは、例えば、「運転者」、「助手席の人」、「後部座席の人」、或いはそれらを推定可能な類義語（例えば、「前の人」「後ろの人」、「右の人」、「左の人」）等の、被回答者（の着座位置）を即座に特定可能なキーワードである。被回答者推定部２４２は、発話の内容に被回答者を特定するキーワードが含まれている場合、当該キーワードが示す乗員を被回答者として推定する。

［発話の内容に被回答者を示すキーワードが含まれない場合］
また、被回答者推定部２４２は、発話の内容に被回答者を特定するキーワードが含まれていない場合、発話の内容と、家族構成情報１９８とに基づいて、被回答者を推定する。ここで、発話の内容には、被回答者を即座に特定可能ではなくとも、被回答者を推定可能なキーワードが含まれる場合がある。被回答者を推定可能なキーワードは、例えば、親族呼称や通称であり、この場合の発話の内容は、例えば、「パパに今聞いていた曲を聞かせてあげて」等である。被回答者推定部２４２は、発話の内容に被回答者を推定可能なキーワードを検索キーとして家族構成情報１９８を検索し、当該キーワードの親族呼称や通称によって呼ばれる乗員のレコードを取得する。被回答者推定部２４２は、取得したレコードと、乗員の体重、乗員の音声、または乗員が撮像された画像とに基づいて、被回答者を推定する。

乗員の体重に基づいて被回答者を推定する場合、被回答者推定部２４２は、各シートＳＴに設けられる各着座センサ６０から圧電センサの圧力値を示す情報を取得する。被回答者推定部２４２は、取得したレコードに示される体重と、着座センサ６０から取得した圧力値によって換算される体重とが合致する乗員を特定し、特定した乗員を被回答者として推定する。

乗員の音声に基づいて被回答者を推定する場合、被回答者推定部２４２は、マイク３０によって取得された各乗員の音声を示す情報を取得する。被回答者推定部２４２は、取得した音声に基づいて、乗員の年齢を解析する。被回答者推定部２４２は、例えば、音声の音の高低や、周波数、声の特徴等に基づいて、乗員の年齢を解析する。被回答者推定部２４２は、取得したレコードに示される年齢と、解析した年齢とが合致する乗員を特定し、特定した乗員を被回答者として推定する。

なお、家族構成情報１９８のレコードには、乗員の音声のサンプルデータが含まれていてもよい。この場合、被回答者推定部２４２は、マイク３０によって取得された各乗員の音声の中で、取得したレコードに含まれる音声のサンプルデータと一致度が高い音声の乗員を特定し、特定した乗員を被回答者として推定する。

乗員が撮像された画像に基づいて被回答者を推定する場合、被回答者推定部２４２は、車室内カメラ２０によって各乗員（特に顔部）が撮像された画像を示す情報を取得する。被回答者推定部２４２は、取得した撮像された画像に基づいて、乗員の年齢を解析する。被回答者推定部２４２は、例えば、撮像された乗員の顔の特徴に基づいて、乗員の年齢を解析する。被回答者推定部２４２は、取得したレコードに示される年齢と、解析した年齢とが合致する乗員を特定し、特定した乗員を被回答者として推定する。

なお、家族構成情報１９８のレコードには、乗員が撮像された画像のサンプルデータが含まれていてもよい。この場合、被回答者推定部２４２は、車室内カメラ２０によって各乗員が撮像された画像の中で、取得したレコードに含まれる画像に示される乗員と一致度が高い撮像された画像の乗員を特定し、特定した乗員を被回答者として推定する。

乗員位置推定部２４４は、被回答者推定部２４２によって被回答者として推定された乗員の位置（例えば、どのシートＳＴに着座しているか）を推定する。乗員位置推定部２４４は、被回答者推定部２４２が被回答者の着座位置を即座に特定可能なキーワードによって被回答者を推定した場合、当該着座位置を被回答者の位置として推定する。また、乗員位置推定部２４４は、被回答者推定部２４２が体重によって被回答者を推定した場合、取得したレコードに示される体重と、合致する体重を検出した着座センサ６０が設けられているシートＳＴの位置を、被回答者の位置として推定する。また、乗員位置推定部２４４は、被回答者推定部２４２が音声によって被回答者を推定した場合、取得したレコードに示される年齢と、合致する年齢の音声であると解析された音声による発話が検出されたタイミングに口の動き（つまり、発話）が撮像された乗員のシートＳＴの位置を、被回答者の位置として推定する。また、乗員位置推定部２４４は、被回答者推定部２４２が画像によって被回答者を推定した場合、取得したレコードに示される年齢と、合致する年齢であると解析された乗員が撮像された画像において、当該乗員が着座しているシートＳＴの位置を、被回答者の位置として推定する。

対話生成部２３０は、被回答者推定部２４２によって推定された被回答者と、自然言語処理部２１６によって解釈された発話の内容を示す文字情報に基づいて、乗員と対話を行うための文章を生成する。

画像生成部１４０がエージェント画像を生成する処理、音声生成部１５０が音声を生成する処理、および提示制御部１３０がエージェント画像や音声を表示部４０やスピーカ５０に出力させる処理は、上述した処理と同様であるため、説明を省略する。

［処理フロー］
図１０は、第２実施形態に係るエージェント制御装置１００ａの処理の一連の流れを示すフローチャートである。まず、解釈部２１０は、車両Ｍの乗員が発話したか否かを判定する（ステップＳ３００）。解釈部２１０は、車両Ｍの乗員によって発話されるまでの間、待機する。解釈部２１０は、車両Ｍの乗員が発話したと判定した場合、音声区間検出部２１２、音声認識部２１４、および自然言語処理部２１６の処理によって、発話の内容の意味を解釈（理解）する（ステップＳ３０２）。

次に、被回答者推定部２４２は、解釈部２１０によって理解された発話の内容に被回答者を特定するキーワードが含まれるか否かを判定する（ステップＳ３０４）。被回答者推定部２４２は、発話の内容に被回答者を特定するキーワード（例えば、「運転者」、「助手席の人」、「後部座席の人」）が含まれていると判定した場合、当該キーワードが示す乗員を被回答者として推定する（ステップＳ３０６）。

被回答者推定部２４２は、解釈部２１０によって理解された発話の内容に被回答者を特定するキーワードが含まれていないと判定した場合、発話の内容に被回答者を推定可能なキーワードが含まれているか否かを判定する（ステップＳ３０８）。被回答者推定部２４２は、発話の内容に被回答者を特定するキーワードが含まれておらず、且つ被回答者を推定可能なキーワードも含まれていないと判定した場合、図１０に示されるフローチャートの処理では、被回答者を推定することができないものとみなし、処理を終了する。

被回答者推定部２４２は、発話の内容に被回答者を推定可能なキーワード（例えば、「パパ」、「ママ」、「お兄ちゃん」、「おじいちゃん」、「おばあちゃん」等）が含まれていると判定した場合、家族構成情報１９８に含まれる当該キーワードが示す乗員のレコードと、各種情報（例えば、体重、音声、乗員が撮像された画像）とに基づいて、被回答者を推定する（ステップＳ３１０）。被回答者推定部２４２は、ステップＳ３１０の処理において、特定の被回答者が推定されたか否かを判定する（ステップＳ３１２）。被回答者推定部２４２は、特定の被回答者を推定した場合、処理をステップＳ３１８に進める。

被回答者推定部２４２は、特定の被回答者を推定していない場合、発話の内容に車両Ｍの乗員のすべてを示すキーワードが含まれるか否かを判定する（ステップＳ３１４）。車両Ｍの乗員のすべてを示すキーワードは、例えば、「みんな」、「全員」、「すべての乗員」等である。被回答者推定部２４２は、発話の内容に車両Ｍの乗員のすべてを示すキーワードが含まれないと判定した場合、図１０に示されるフローチャートの処理では、被回答者を推定することができないものとみなし、処理を終了する。被回答者推定部２４２は、発話の内容に車両Ｍの乗員のすべてを示すキーワードが含まれると判定した場合、車両Ｍの乗員全員を被回答者と推定する（ステップＳ３１６）。

対話生成部２３０は、被回答者推定部２４２によって推定された被回答者と対話を行うための文章を生成する（ステップＳ３１８）。提示制御部１３０は、対話生成部２３０によって生成された文章に基づいて画像生成部１４０が生成したエージェント画像を表示部４０に表示させ、当該文章に基づいて音声生成部１５０が生成した音声をスピーカ５０に出力させる（ステップＳ３２０）。ここで、提示制御部１３０は、乗員位置推定部２４４によって推定された被回答者が視認しやすい表示部４０、および傾聴し易いスピーカ５０に各種情報を出力する。

なお、被回答者推定部２４２がステップＳ３０８において被回答者を推定可能なキーワードが含まれていないと判定した場合、被回答者推定部２４２は、車両Ｍの乗員全員を被回答者として推定してもよい。また、被回答者推定部２４２がステップＳ３１２において特定の被回答者を推定していないと判定した場合、車両Ｍの乗員全員を被回答者として推定してもよい。

［第２実施形態のまとめ］
以上説明したように、本実施形態のエージェント装置２は、車両Ｍの車室内の音声を収集するマイク３０と、車室内に音声を出力するスピーカ５０と、マイク３０によって収集された音声を取得し、取得した前記音声に含まれる乗員の発話の内容を解釈する解釈部２１０と、解釈部２１０によって解釈された発話の内容に応じて、スピーカ５０に乗員に話しかける音声を出力させるエージェント装置２であって、解釈部２１０により解釈された発話の内容がエージェント装置２への話しかけを意味する場合、発話の内容に基づいて、複数の乗員の中から、エージェント装置２の回答を受ける被回答者を推定する第２推定部２４０とを備えることにより、適切な被回答者と対話することができる。

なお、被回答者推定部２４２は、発話の内容に車両Ｍの乗員全員に係る内容が含まれると判定した場合、車両Ｍの乗員全員を被回答者として推定してもよい。車両Ｍの乗員全員に係る内容は、例えば、「この先一本道？」等の車両Ｍの周囲環境に係る内容、車両Ｍの行先に係る内容、車両Ｍの現在位置に係る内容、車両Ｍの進行方向に存在する施設に係る内容等である。この結果、エージェント装置２は、車両Ｍの乗員全員に係る内容を、適切に全員に提示することができる。

また、被回答者推定部２４２が車両Ｍの乗員全員を被回答者として推定する場合や、高齢の乗員を被回答者として推定する場合、提示制御部１３０は、スピーカ５０から出力させる対話を、通常の音声よりも低い周波数、及び大きい音量によって出力させてもよい。これにより、エージェント装置２は、より被回答者にわかりやすい形態によって対話することができる。

また、被回答者推定部２４２は、発話の内容に、乗員の興味関心がある内容が含まれる場合には、当該興味関心がある乗員を被回答者として推定してもよい。乗員の興味関心がある内容とは、例えば、「ワールドカップ、私の好きなベルギー代表の結果教えて」等である。この場合、家族構成情報１９８のレコードには、乗員の興味関心に関する情報（この場合、応援するサッカーチームの情報）が含まれる。また、この場合、発話者推定部２２２は、発話の内容に、乗員の興味関心がある内容が含まれる場合には、家族構成情報１９８を参照し、当該内容に興味関心がある乗員を発話者として推定してもよい。

［エージェント装置の他の構成例］
なお、エージェント装置１、およびエージェント装置２（以下、単にエージェント装置）は、その機能の一部がサーバ装置に設けられていてもよい。この場合、エージェント装置が備える構成のうち、例えば、解釈部２１０、および第２記憶部１９０がサーバ装置に備えられていてもよい。この場合、エージェント装置とサーバ装置とは、例えば、インターネットやＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等のネットワークＮＷによりデータの送受信が可能な状態で接続されている。サーバ装置は、複数のエージェント装置との通信が可能であってもよい。サーバ装置が備える通信部は、例えば、セルラー網やＷｉ−Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ、ＤＳＲＣ等を利用して、ネットワークＮＷを介してエージェント装置と通信する。この通信部は、エージェント装置から送信された音声ストリームを受信する。また、通信部は、対話生成部２３０により生成された音声や文字情報、画像等の回答情報をエージェント装置に送信する。この場合、エージェント装置とサーバー装置とは、エージェントシステムの一例である。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１、２…エージェント装置、１０…通信装置、２０…車室内カメラ、３０…マイク、４０、４０Ａ、４０Ｂ、４０Ｃ、４０Ｄ、４０Ｅ、４０Ｆ…表示部、５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆ、５０Ｇ、５０Ｈ…スピーカ、６０、６０Ａ、６０Ｂ、６０Ｃ、６０Ｄ…着座センサ、７０…操作部、８０…ナビゲーション装置、８２…地図情報、１００、１００ａ…エージェント制御装置、１１０…音声入力部、１２０…乗員状態解析部、１３０…提示制御部、１４０…画像生成部、１５０…音声生成部、１６０…アプリ呼出部、１７６…ナビアプリ、１８０…第１記憶部、１８２…電話アプリ、１８４…ラジオアプリ、１９０、１９０ａ…第２記憶部、１９２…回答情報、１９４…パーソナルプロファイル、１９６…操作機器情報、１９８…家族構成情報、２００、２００ａ…制御部、２１０…解釈部、２１２…音声区間検出部、２１４…音声認識部、２１６…自然言語処理部、２２０…第１推定部、２２２…発話者推定部、２２４…操作判定部、２２６…指示対象判定部、２３０…対話生成部、２４０…第２推定部、２４２…被回答者推定部、２４４…乗員位置推定部、ＳＴ…シート、ＳＴ１…運転席、ＳＴ２…助手席、ＳＴ３、ＳＴ４…後部座席

Claims (8)

1. 車両の車室内の音声を収集するマイクと、
   前記車室内に音声を出力するスピーカと、
   前記マイクによって収集された音声を取得し、取得した前記音声に含まれる乗員の発話の内容を解釈する解釈部と、
   前記解釈部によって解釈された前記発話の内容に応じて、前記スピーカに前記乗員に話しかける音声を出力させるエージェント制御部であって、前記解釈部によって解釈された前記発話の内容に基づいて、複数の乗員の中から、自装置の回答を受ける被回答者を推定するエージェント制御部と、
   を備えるエージェントシステム。
2. 画像を表示する表示部をさらに備え、
   前記エージェント制御部は、前記解釈部によって解釈された前記発話の内容に応じて、前記表示部に前記乗員に提示する画像を出力させる、
   請求項１に記載のエージェントシステム。
3. 前記エージェント制御部は、前記解釈部によって解釈された前記発話の内容に含まれる、前記被回答者を特定するキーワードに基づいて、前記被回答者を特定する、
   請求項１に記載のエージェントシステム。
4. 前記エージェント制御部は、前記解釈部によって解釈された前記発話の内容に前記キーワードが含まれていない場合、前記車室内が撮像された撮像画像と、乗員の質量を乗員毎に検出した検出結果と、乗員の音声を乗員毎に取得した取得結果とのうち、少なくともいずれか１つに基づいて、前記被回答者を推定する、
   請求項３に記載のエージェントシステム。
5. 前記エージェント制御部は、特定の前記被回答者がいない場合、前記車両の乗員の全てが前記被回答者であると推定する、
   請求項１から請求項４のうちずれか一項に記載のエージェントシステム。
6. 前記エージェント制御部は、前記車両の乗員の全てが前記被回答者であると推定した場合、前記スピーカに大きい音量、又は低い周波数の音によって前記回答を出力させる、
   請求項５に記載のエージェントシステム。
7. 車両の車室内の音声を収集するマイクと、前記車室内に音声を出力するスピーカと、を備える車両に搭載されたコンピュータに、
   前記マイクによって収集された音声を取得し、取得した前記音声に含まれる乗員の発話の内容を解釈させ、
   解釈された前記発話の内容に応じて、前記スピーカに前記乗員に話しかける音声を出力させ、
   前記解釈部によって解釈された前記発話の内容に基づいて、複数の乗員の中から、自装置の回答を受ける被回答者を推定させる、
   エージェント方法。
8. 車両の車室内の音声を収集するマイクと、前記車室内に音声を出力するスピーカと、を備える車両に搭載されたコンピュータが、
   前記マイクによって収集された音声を取得し、取得した前記音声に含まれる乗員の発話の内容を解釈し、
   解釈された前記発話の内容に応じて、前記スピーカに前記乗員に話しかける音声を出力し、
   前記解釈部によって解釈された前記発話の内容に基づいて、複数の乗員の中から、自装置の回答を受ける被回答者を推定する、
   プログラム。

Images