JP2020144274A - エージェント装置、エージェント装置の制御方法、およびプログラム - Google Patents

Abstract

【課題】より適切な応答結果を提供することができるエージェント装置、エージェント装置の制御方法、およびプログラムを提供すること。【解決手段】実施形態のエージェント装置は、車両の乗員の発話に応じて、応答を含むサービスを提供する複数のエージェント機能部と、前記乗員の発話に含まれる要求を認識する認識部と、前記認識部により認識された要求を、前記複数のエージェント機能部に出力し、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記複数のエージェント機能部のうち、前記乗員の発話に対する応答を行うエージェント機能部を選択するエージェント選択部と、を備える。【選択図】図２

Description

本発明は、エージェント装置、エージェント装置の制御方法、およびプログラムに関する。

従来、車両の乗員と対話を行いながら、乗員の要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等を提供するエージェント機能に関する技術が開示されている（例えば、特許文献１参照）。

特開２００６−３３５２３１号公報

近年では、複数のエージェントを車両に搭載することについて実用化が進められているが、一つの車両に複数のエージェントが搭載された場合であっても、乗員が一つのエージェントを呼び出して要求を伝える必要がある。そのため、乗員は、エージェントごとの特徴を把握していないと、要求に対する処理を実行させるのに最適なエージェントを呼び出すことができず、適切な結果が得られない場合があった。

本発明は、このような事情を考慮してなされたものであり、より適切な応答結果を提供することができるエージェント装置、エージェント装置の制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係るエージェント装置、エージェント装置の制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係るエージェント装置は、車両の乗員の発話に応じて、応答を含むサービスを提供する複数のエージェント機能部と、前記乗員の発話に含まれる要求を認識する認識部と、前記認識部により認識された要求を、前記複数のエージェント機能部に出力し、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記複数のエージェント機能部のうち、前記乗員の発話に対する応答を行うエージェント機能部を選択するエージェント選択部と、を備える、エージェント装置である。

（２）：上記（１）の態様において、それぞれが車両の乗員の発話に含まれる要求を認識する音声認識部を備え、前記発話に応じて、応答を含むサービスを提供する複数のエージェント機能部と、前記車両の乗員の発話に対して、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記乗員の発話に対する応答を行うエージェント機能部を選択するエージェント選択部と、エージェント装置である。

（３）：上記（２）の態様において、前記複数のエージェント機能部のそれぞれは、前記乗員の発話の音声を受け付ける音声受付部と、前記音声受付部により受け付けられた音声に対する処理を行う処理部と、を備えるものである。

（４）：上記（１）〜（３）のうち何れか１つの態様において、前記複数のエージェント機能部によってなされた結果を表示部に表示させる表示制御部を、更に備えるものである。

（５）：上記（１）〜（４）のうち何れか１つの態様において、前記エージェント選択部は、前記複数のエージェント機能部のうち、前記乗員の発話からの応答時間が短いエージェント機能部を優先的に選択するものである。

（６）：上記（１）〜（５）のうち何れか１つの態様において、前記エージェント選択部は、前記複数のエージェント機能部のうち、前記乗員の発話に対する応答の確信度が高いエージェント機能部を優先的に選択するものである。

（７）：上記（６）の態様において、前記エージェント選択部は、前記確信度を正規化し、正規化した結果に基づいて前記エージェント機能部を選択するものである。

（８）：上記（４）の態様において、前記エージェント選択部は、前記表示部により表示された前記複数のエージェント機能部のそれぞれの応答結果のうち、前記乗員により選択された応答結果を取得したエージェント機能部を優先的に選択するものである。

（９）：本発明の他の態様に係るエージェント装置の制御方法は、コンピュータが、複数のエージェント機能部を起動させ、前記起動したエージェント機能部の機能として、車両の乗員の発話に応じて、応答を含むサービスを提供し、前記乗員の発話に含まれる要求を認識し、認識された前記要求を、前記複数のエージェント機能部に出力し、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記複数のエージェント機能部のうち、前記乗員の発話に対する応答を行うエージェント機能部を選択する、エージェント装置の制御方法である。

（１０）：本発明の他の態様に係るエージェント装置の制御方法は、コンピュータが、それぞれが車両の乗員の発話に含まれる要求を認識する音声認識部を備えた複数のエージェント機能部を起動させ、前記起動したエージェント機能部の機能として、前記乗員の発話に応じて、応答を含むサービスを提供し、前記車両の乗員の発話に対して、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記乗員の発話に対する応答を行うエージェント機能部を選択するエージェント装置の制御方法である。

（１１）：本発明の他の態様に係るプログラムは、コンピュータに、複数のエージェント機能部を起動させ、前記起動したエージェント機能部の機能として、車両の乗員の発話に応じて、応答を含むサービスを提供させ、前記乗員の発話に含まれる要求を認識させ、認識された前記要求を、前記複数のエージェント機能部に出力し、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記複数のエージェント機能部のうち、前記乗員の発話に対する応答を行うエージェント機能部を選択させる、プログラムである。

（１２）：本発明の他の態様に係るプログラムは、コンピュータに、それぞれが車両の乗員の発話に含まれる要求を認識する音声認識部を備えた複数のエージェント機能部を起動させ、前記起動したエージェント機能部の機能として、前記乗員の発話に応じて、応答を含むサービスを提供し、前記車両の乗員の発話に対して、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記乗員の発話に対する応答を行うエージェント機能部を選択させる、プログラムである。

上記（１）〜（１２）の態様によれば、より適切な応答結果を提供することができる。

エージェント装置１００を含むエージェントシステム１の構成図である。 第１実施形態に係るエージェント装置１００の構成と、車両Ｍに搭載された機器とを示す図である。 表示・操作装置２０およびスピーカユニット３０の配置例を示す図である。 エージェントサーバ２００の構成と、エージェント装置１００の構成の一部とを示す図である。 エージェント選択部１１８の処理について説明するための図である。 応答結果の確信度に基づいてエージェント機能部を選択することについて説明するための図である。 エージェント選択画面として第１ディスプレイ２２に表示される画像ＩＭ１の一例を示す図である。 乗員が発話する前の場面において、表示制御部１２０により表示される画像ＩＭ２の一例を示す図である。 乗員がコマンドを含む発話を行った場面において、表示制御部１２０により表示される画像ＩＭ３の一例を示す図である。 エージェントを選択する場面において、表示制御部１２０により表示される画像ＩＭ４の一例を示す図である。 エージェント画像ＥＩ１が選択された場面において、表示制御部１２０により表示される画像ＩＭ５の一例を示す図である。 第１実施形態のエージェント装置１００により実行される処理の流れの一例を示すフローチャートである。 第２実施形態に係るエージェント装置１００Ａの構成と、車両Ｍに搭載された機器とを示す図である。 第２実施形態に係るエージェントサーバ２００Ａの構成と、エージェント装置１００Ａの構成の一部とを示す図である。 第２実施形態のエージェント装置１００Ａにより実行される処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明のエージェント装置、エージェント装置の制御方法、およびプログラムの実施形態について説明する。エージェント装置は、エージェントシステムの一部または全部を実現する装置である。以下では、エージェント装置の一例として、車両（以下、車両Ｍ）に搭載され、複数種類のエージェント機能を備えたエージェント装置について説明する。エージェント機能とは、例えば、車両Ｍの乗員と対話をしながら、乗員の発話の中に含まれる要求（コマンド）に基づく各種の情報提供を行ったり、ネットワークサービスを仲介したりする機能である。また、エージェント機能の中には、車両内の機器（例えば運転制御や車体制御に関わる機器）の制御等を行う機能を有するものがあってよい。

エージェント機能は、例えば、乗員の音声を認識する音声認識機能（音声をテキスト化する機能）に加え、自然言語処理機能（テキストの構造や意味を理解する機能）、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現されてよい。また、これらの機能を行うための構成の一部（特に、音声認識機能や自然言語処理解釈機能）は、車両Ｍの車載通信装置または車両Ｍに持ち込まれた汎用通信装置と通信可能なエージェントサーバ（外部装置）に搭載されてもよい。以下の説明では、構成の一部がエージェントサーバに搭載されており、エージェント装置とエージェントサーバが協働してエージェントシステムを実現することを前提とする。また、エージェント装置とエージェントサーバが協働して仮想的に出現させるサービス提供主体（サービス・エンティティ）をエージェントと称する。

＜全体構成＞
図１は、エージェント装置１００を含むエージェントシステム１の構成図である。エージェントシステム１は、例えば、エージェント装置１００と、複数のエージェントサーバ２００−１、２００−２、２００−３、…とを備える。符号の末尾のハイフン以下数字は、エージェントを区別するための識別子であるものとする。何れのエージェントサーバであるかを区別しない場合、単にエージェントサーバ２００と称する場合がある。図１では３つのエージェントサーバ２００を示しているが、エージェントサーバ２００の数は２つであってもよいし、４つ以上であってもよい。それぞれのエージェントサーバ２００は、例えば、互いに異なるエージェントシステムの提供者が運営するものである。したがって、本実施形態におけるエージェントは、互いに異なる提供者により実現されるエージェントである。提供者としては、例えば、自動車メーカー、ネットワークサービス事業者、電子商取引事業者、携帯端末の販売者等が挙げられ、任意の主体（法人、団体、個人等）がエージェントシステムの提供者となり得る。

エージェント装置１００は、ネットワークＮＷを介してエージェントサーバ２００と通信する。ネットワークＮＷは、例えば、インターネット、セルラー網、Ｗｉ−Ｆｉ網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆回線、電話回線、無線基地局等のうち一部または全部を含む。ネットワークＮＷには、各種ウェブサーバ３００が接続されており、エージェントサーバ２００またはエージェント装置１００は、ネットワークＮＷを介して各種ウェブサーバ３００からウェブページを取得することができる。

エージェント装置１００は、車両Ｍの乗員と対話を行い、乗員からの音声をエージェントサーバ２００に送信し、エージェントサーバ２００から得られた回答を、音声出力や画像表示の形で乗員に提示する。

＜第１実施形態＞
［車両］
図２は、第１実施形態に係るエージェント装置１００の構成と、車両Ｍに搭載された機器とを示す図である。車両Ｍには、例えば、一以上のマイク１０と、表示・操作装置２０と、スピーカユニット３０と、ナビゲーション装置４０と、車両機器５０と、車載通信装置６０と、乗員認識装置８０と、エージェント装置１００とが搭載される。また、スマートフォン等の汎用通信装置７０が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図２に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

マイク１０は、車室内で発せられた音を収集する収音部である。表示・操作装置２０は、画像を表示すると共に、入力操作を受付可能な装置（或いは装置群）である。表示・操作装置２０は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置２０は、更に、ＨＵＤ（Head Up Display）や機械式の入力装置を含んでもよい。スピーカユニット３０は、例えば、車室内の互いに異なる位置に配設された複数のスピーカ（音出力部）を含む。表示・操作装置２０は、エージェント装置１００とナビゲーション装置４０とで共用されてもよい。これらの詳細については後述する。

ナビゲーション装置４０は、ナビＨＭＩ（Human Machine Interface）と、ＧＰＳ（Global Positioning System）等の位置測位装置と、地図情報を記憶した記憶装置と、経路探索等を行う制御装置（ナビゲーションコントローラ）とを備える。マイク１０、表示・操作装置２０、およびスピーカユニット３０のうち一部または全部がナビＨＭＩとして用いられてもよい。ナビゲーション装置４０は、位置測位装置によって特定された車両Ｍの位置から、乗員によって入力された目的地まで移動するための経路（ナビ経路）を探索し、経路に沿って車両Ｍが走行できるように、ナビＨＭＩを用いて案内情報を出力する。経路探索機能は、ネットワークＮＷを介してアクセス可能なナビゲーションサーバにあってもよい。この場合、ナビゲーション装置４０は、ナビゲーションサーバから経路を取得して案内情報を出力する。なお、エージェント装置１００は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラとエージェント装置１００は、ハードウェア上は一体に構成される。

車両機器５０は、例えば、エンジンや走行用モータ等の駆動力出力装置、エンジンの始動モータ、ドアロック装置、ドア開閉装置、空調装置等を含む。

車載通信装置６０は、例えば、セルラー網やＷｉ−Ｆｉ網を利用してネットワークＮＷにアクセス可能な無線通信装置である。

乗員認識装置８０は、例えば、着座センサ、車室内カメラ、画像認識装置等を含む。着座センサは座席の下部に設けられた圧力センサ、シートベルトに取り付けられた張力センサ等を含む。車室内カメラは、車室内に設けられたＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとの乗員の有無、顔向き等を認識する。

図３は、表示・操作装置２０およびスピーカユニット３０の配置例を示す図である。表示・操作装置２０は、例えば、第１ディスプレイ２２と、第２ディスプレイ２４と、操作スイッチＡＳＳＹ２６とを含む。表示・操作装置２０は、更に、ＨＵＤ２８を含んでもよい。また、表示・操作装置２０は、更に、インストルメントパネルのうち運転席ＤＳに対面する部分に設けられるメーターディスプレイ２９を含んでもよい。第１ディスプレイ２２と、第２ディスプレイ２４と、ＨＵＤ２８と、メーターディスプレイ２９とを合わせたものが「表示部」の一例である。

車両Ｍには、例えば、ステアリングホイールＳＷが設けられた運転席ＤＳと、運転席ＤＳに対して車幅方向（図中Ｙ方向）に設けられた助手席ＡＳとが存在する。第１ディスプレイ２２は、インストルメントパネルにおける運転席ＤＳと助手席ＡＳとの中間辺りから、助手席ＡＳの左端部に対向する位置まで延在する横長形状のディスプレイ装置である。第２ディスプレイ２４は、運転席ＤＳと助手席ＡＳとの車幅方向に関する中間あたり、且つ第１ディスプレイの下方に設置されている。例えば、第１ディスプレイ２２と第２ディスプレイ２４は、共にタッチパネルとして構成され、表示部としてＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）、プラズマディスプレイ等を備えるものである。操作スイッチＡＳＳＹ２６は、ダイヤルスイッチやボタン式スイッチ等が集積されたものである。表示・操作装置２０は、乗員によってなされた操作の内容をエージェント装置１００に出力する。第１ディスプレイ２２または第２ディスプレイ２４が表示する内容は、エージェント装置１００によって決定されてよい。

スピーカユニット３０は、例えば、スピーカ３０Ａ〜３０Ｆを含む。スピーカ３０Ａは、運転席ＤＳ側の窓柱（いわゆるＡピラー）に設置されている。スピーカ３０Ｂは、運転席ＤＳに近いドアの下部に設置されている。スピーカ３０Ｃは、助手席ＡＳ側の窓柱に設置されている。スピーカ３０Ｄは、助手席ＡＳに近いドアの下部に設置されている。スピーカ３０Ｅは、第２ディスプレイ２４の近傍に設置されている。スピーカ３０Ｆは、車室の天井（ルーフ）に設置されている。また、スピーカユニット３０は、右側後部座席や左側後部座席に近いドアの下部に設置されてもよい。

係る配置において、例えば、専らスピーカ３０Ａおよび３０Ｂに音を出力させた場合、音像は運転席ＤＳ付近に定位することになる。「音像が定位する」とは、例えば、乗員の左右の耳に伝達される音の大きさを調節することにより、乗員が感じる音源の空間的な位置を定めることである。また、専らスピーカ３０Ｃおよび３０Ｄに音を出力させた場合、音像は助手席ＡＳ付近に定位することになる。また、専らスピーカ３０Ｅに音を出力させた場合、音像は車室の前方付近に定位することになり、専らスピーカ３０Ｆに音を出力させた場合、音像は車室の上方付近に定位することになる。これに限らず、スピーカユニット３０は、ミキサーやアンプを用いて各スピーカの出力する音の配分を調整することで、車室内の任意の位置に音像を定位させることができる。

［エージェント装置］
図２に戻り、エージェント装置１００は、管理部１１０と、エージェント機能部１５０−１、１５０−２、１５０−３と、ペアリングアプリ実行部１５２とを備える。管理部１１０は、例えば、音響処理部１１２と、音声認識部１１４と、自然言語処理部１１６と、エージェント選択部１１８と、表示制御部１２０と、音声制御部１２２とを備える。何れのエージェント機能部であるか区別しない場合、単にエージェント機能部１５０と称する。３つのエージェント機能部１５０を示しているのは、図１におけるエージェントサーバ２００の数に対応させた一例に過ぎず、エージェント機能部１５０の数は、２つであってもよいし、４つ以上であってもよい。図２に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部１５０と車載通信装置６０の間に管理部１１０が介在してもよいように、任意に改変することができる。

エージェント装置１００の各構成要素は、例えば、ＣＰＵ（Central Processing Unit）等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。音響処理部１１２は、「音声受付部」の一例である。また、音声認識部１１４と、自然言語処理部１１６とを合わせたものが「認識部」の一例である。

エージェント装置１００は、記憶部１６０を備える。記憶部１６０は、上記の各種記憶装置により実現される。記憶部１６０には、例えば、辞書ＤＢ（データベース）１６２等のデータやプログラムが格納される。

管理部１１０は、ＯＳ（Operating System）やミドルウェア等のプログラムが実行されることで機能する。

管理部１１０の音響処理部１１２は、マイク１０から収集される音を受け付け、受け付けた音に対して、音声認識部１１４で音の認識をするのに適した状態となるように音響処理を行う。音響処理とは、例えば、バンドパスフィルタ等のフィルタリングによるノイズ除去や音の増幅等である。

音声認識部１１４は、音響処理が行われた音声（音声ストリーム）から音声の意味を認識する。まず、音声認識部１１４は、音声ストリームにおける音声波形の振幅と零交差に基づいて音声区間を検出する。また、音声認識部１１４は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model) に基づくフレーム単位の音声識別および非音声識別に基づく区間検出を行ってもよい。次に、音声認識部１１４は、検出した音声区間における音声をテキスト化し、テキスト化された文字情報を自然言語処理部１１６に出力する。

自然言語処理部１１６は、音声認識部１１４から入力された文字情報に対して辞書ＤＢ１６２を参照しながら意味解釈を行う。辞書ＤＢ１６２は、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書ＤＢ１６２は、同義語や類義語の一覧情報を含んでもよい。音声認識部１１４の処理と、自然言語処理部１１６の処理とは、段階が明確に分かれるものではなく、自然言語処理部１１６の処理結果を受けて音声認識部１１４が認識結果を修正する等、相互に影響し合って行われてよい。

自然言語処理部１１６は、例えば、認識結果として、「今日の天気は」、「天気はどうですか」等の意味（要求）が認識された場合、標準文字情報「今日の天気」に置き換えたコマンドを生成してもよい。コマンドとは、例えば、エージェント機能部１５０−１〜１５０−３のそれぞれが備える機能を実行させるための命令である。これにより、リクエストの音声に文字揺らぎがあった場合にも要求にあった対話をし易くすることができる。また、自然言語処理部１１６は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成してもよい。また、それぞれのエージェント機能部１５０で機能を実行させるためのコマンドのフォーマットやパラメータが異なる場合、自然言語処理部１１６は、エージェント機能部１５０ごとに認識可能なコマンドを生成してもよい。

自然言語処理部１１６は、生成したコマンドを、エージェント機能部１５０−１〜１５０−３に出力する。また、音声認識部１１４は、エージェント機能部１５０−１〜１５０−３のうち、音声ストリームの入力が必要であるエージェント機能部については、音声コマンドに加えて音声ストリームを出力してもよい。

エージェント機能部１５０は、対応するエージェントサーバ２００と協働してエージェントを制御して、車両の乗員の発話に応じて、音声による応答を含むサービスを提供する。エージェント機能部１５０には、車両機器５０を制御する権限が付与されたものが含まれてよい。また、エージェント機能部１５０には、ペアリングアプリ実行部１５２を介して汎用通信装置７０と連携し、エージェントサーバ２００と通信するものがあってよい。例えば、エージェント機能部１５０−１には、車両機器５０を制御する権限が付与されている。エージェント機能部１５０−１は、車載通信装置６０を介してエージェントサーバ２００−１と通信する。エージェント機能部１５０−２は、車載通信装置６０を介してエージェントサーバ２００−２と通信する。エージェント機能部１５０−３は、ペアリングアプリ実行部１５２を介して汎用通信装置７０と連携し、エージェントサーバ２００−３と通信する。

ペアリングアプリ実行部１５２は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）によって汎用通信装置７０とペアリングを行い、エージェント機能部１５０−３と汎用通信装置７０とを接続させる。なお、エージェント機能部１５０−３は、ＵＳＢ（Universal Serial Bus）等を利用した有線通信によって汎用通信装置７０に接続されるようにしてもよい。以下、エージェント機能部１５０−１とエージェントサーバ２００−１が協働して出現させるエージェントをエージェント１、エージェント機能部１５０−２とエージェントサーバ２００−２が協働して出現させるエージェントをエージェント２、エージェント機能部１５０−３とエージェントサーバ２００−３が協働して出現させるエージェントをエージェント３と称する場合がある。エージェント機能部１５０−１〜１５０−３のそれぞれは、管理部１１０から入力された音声コマンドに基づく処理を実行し、実行結果を管理部１１０に出力する。

エージェント選択部１１８は、コマンドに対して複数のエージェント機能部１５０−１〜１５０−３のそれぞれによってなされた応答結果に基づいて、複数のエージェント機能部１５０−１〜１５０−３のうち、乗員の発話に対する応答を行うエージェント機能を選択する。エージェント選択部１１８の機能の詳細については、後述する。

表示制御部１２０は、エージェント選択部１１８またはエージェント機能部１５０からの指示に応じて表示部の少なくとも一部の領域に画像を表示させる。以下では、エージェントに関する画像を第１ディスプレイ２２に表示させるものとして説明する。表示制御部１２０は、エージェント選択部１１８またはエージェント機能部１５０の制御により、例えば、車室内で乗員とのコミュニケーションを行う擬人化されたエージェントの画像（以下、エージェント画像と称する）を生成し、生成したエージェント画像を第１ディスプレイ２２に表示させる。エージェント画像は、例えば、乗員に対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者（乗員）によって表情や顔向きが認識される程度の顔画像を含んでよい。例えば、エージェント画像は、顔領域の中に目や鼻に擬したパーツが表されており、顔領域の中のパーツの位置に基づいて表情や顔向きが認識されるものであってよい。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことでエージェントの顔向きが認識されたり、本体（胴体や手足）の画像を含むことで、エージェントの動作や振る舞い、姿勢等が認識されるものであってもよい。また、エージェント画像は、アニメーション画像であってもよい。例えば、表示制御部１２０は、乗員認識装置８０により認識された乗員の位置に近い表示領域にエージェント画像を表示させたり、乗員の位置に顔を向けたエージェント画像を生成して表示させてもよい。

音声制御部１２２は、エージェント選択部１１８またはエージェント機能部１５０からの指示に応じて、スピーカユニット３０に含まれるスピーカのうち一部または全部に音声を出力させる。音声制御部１２２は、複数のスピーカユニット３０を用いて、エージェント画像の表示位置に対応する位置にエージェント音声の音像を定位させる制御を行ってもよい。エージェント画像の表示位置に対応する位置とは、例えば、エージェント画像がエージェント音声を喋っていると乗員が感じると予測される位置であり、具体的には、エージェント画像の表示位置付近（例えば、２〜３［ｃｍ］以内）の位置である。

［エージェントサーバ］
図４は、エージェントサーバ２００の構成と、エージェント装置１００の構成の一部とを示す図である。以下、エージェントサーバ２００の構成と共にエージェント機能部１５０等の動作について説明する。ここでは、エージェント装置１００からネットワークＮＷまでの物理的な通信についての説明を省略する。また、以下では、主にエージェント機能部１５０−１およびエージェントサーバ２００−１を中心として説明するが、他のエージェント機能部やエージェントサーバの組についても、それぞれの詳細な機能が異なる場合はあるものの、ほぼ同様の動作を行う。

エージェントサーバ２００−１は、通信部２１０を備える。通信部２１０は、例えば、ＮＩＣ（Network Interface Card）等のネットワークインターフェースである。更に、エージェントサーバ２００−１は、例えば、対話管理部２２０と、ネットワーク検索部２２２と、応答文生成部２２４とを備える。これらの構成要素は、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

エージェントサーバ２００は、記憶部２５０を備える。記憶部２５０は、上記の各種記憶装置により実現される。記憶部２５０には、例えば、パーソナルプロファイル２５２、知識ベースＤＢ２５４、応答規則ＤＢ２５６等のデータやプログラムが格納される。

エージェント装置１００において、エージェント機能部１５０−１は、コマンド（或いは圧縮や符号化等の処理を行ったコマンド）を、エージェントサーバ２００−１に送信する。エージェント機能部１５０−１は、ローカル処理（エージェントサーバ２００−１を介さない処理）が可能なコマンドを認識した場合は、コマンドで要求された処理を実行してもよい。ローカル処理が可能なコマンドとは、例えば、エージェント装置１００が備える記憶部１６０を参照することで回答可能なコマンドである。より具体的には、ローカル処理が可能なコマンドとは、例えば、電話帳から特定者の名前を検索し、合致した名前に対応付けられた電話番号に電話をかける（相手を呼び出す）コマンドである。したがって、エージェント機能部１５０−１は、エージェントサーバ２００−１が備える機能の一部を有してもよい。

対話管理部２２０は、入力されたコマンドに基づいて、パーソナルプロファイル２５２や知識ベースＤＢ２５４、応答規則ＤＢ２５６を参照しながら車両Ｍの乗員に対する応答内容（例えば、乗員への発話内容や出力する画像）を決定する。パーソナルプロファイル２５２は、乗員ごとに保存されている乗員の個人情報、趣味嗜好、過去の対話の履歴等を含む。知識ベースＤＢ２５４は、物事の関係性を規定した情報である。応答規則ＤＢ２５６は、コマンドに対してエージェントが行うべき動作（回答や機器制御の内容等）を規定した情報である。

また、対話管理部２２０は、音声ストリームから得られる特徴情報を用いて、パーソナルプロファイル２５２と照合を行うことで、乗員を特定してもよい。この場合、パーソナルプロファイル２５２には、例えば、音声の特徴情報に、個人情報が対応付けられている。音声の特徴情報とは、例えば、声の高さ、イントネーション、リズム（音の高低のパターン）等の喋り方の特徴や、メル周波数ケプストラム係数（Mel Frequency Cepstrum Coefficients）等による特徴量に関する情報である。音声の特徴情報は、例えば、乗員の初期登録時に所定の単語や文章等を乗員に発声させ、発声させた音声を認識することで得られる情報である。

対話管理部２２０は、コマンドが、ネットワークＮＷを介して検索可能な情報を要求するものである場合、ネットワーク検索部２２２に検索を行わせる。ネットワーク検索部２２２は、ネットワークＮＷを介して各種ウェブサーバ３００にアクセスし、所望の情報を取得する。「ネットワークＮＷを介して検索可能な情報」とは、例えば、車両Ｍの周辺にあるレストランの一般ユーザによる評価結果であったり、その日の車両Ｍの位置に応じた天気予報であったりする。

応答文生成部２２４は、対話管理部２２０により決定された発話の内容が車両Ｍの乗員に伝わるように、応答文を生成し、エージェント装置１００に送信する。また、応答文生成部２２４は、乗員認識装置８０による認識結果をエージェント装置１００から取得し、取得した認識結果によりコマンドを含む発話を行った乗員がパーソナルプロファイル２５２に登録された乗員であることが特定されている場合に、乗員の名前を呼んだり、乗員の話し方に似せた話し方にした応答文を生成してもよい。

エージェント機能部１５０は、応答文を取得すると、音声合成を行って音声を出力するように音声制御部１２２に指示する。また、エージェント機能部１５０は、音声出力に合わせてエージェント画像を表示するように表示制御部１２０に指示する。このようにして、仮想的に出現したエージェントが車両Ｍの乗員に応答するエージェント機能が実現される。

［エージェント選択部］
以下、エージェント選択部１１８の機能の詳細について説明する。エージェント選択部１１８は、コマンドに対して複数のエージェント機能部１５０−１〜１５０−３のそれぞれによってなされた応答結果に対し、所定の条件に基づいて、乗員の発話に対する応答を行うエージェント機能部を選択する。以下では、複数のエージェント機能部１５０−１〜１５０−３の全てから応答結果が得られたものとして説明する。なお、エージェント選択部１１８は、応答結果が得られなかったエージェント機能部やコマンドに対する機能そのものがないエージェント機能部が存在する場合、そのエージェント機能部を選択対象から除外してもよい。

例えば、エージェント選択部１１８は、複数のエージェント機能部１５０−１〜１５０−３における応答の速さに基づいて、複数のエージェント機能部１５０−１〜１５０−３のうち、乗員の発話に対する応答を行うエージェント機能部を選択する。図５は、エージェント選択部１１８の処理について説明するための図である。エージェント選択部１１８は、エージェント機能部１５０−１〜１５０−３のそれぞれに対し、自然言語処理部１１６によりコマンドが出力されてから応答結果を取得するまでの時間（以下、応答時間と称する）をカウントする。そして、エージェント選択部１１８は、それぞれの応答時間のうち、最も時間が短いエージェント機能部を、乗員の発話に対して応答を行うエージェント機能部として選択する。また、エージェント選択部１１８は、応答時間が所定時間より短い複数のエージェント機能部を、応答を行うエージェント機能部として選択してもよい。

図５の例において、エージェント機能部１５０−１〜１５０−３がコマンドに対する応答結果Ａ〜Ｃをエージェント選択部１１８に出力した場合に、それぞれの応答時間が２．０［秒］、５．５［秒］、３．８［秒］であったとする。この場合、エージェント選択部１１８は、最も応答時間が短いエージェント機能部１５０−１（エージェント１）を乗員の発話に応答するエージェントとして優先的に選択する。優先的に選択するとは、例えば、そのエージェント機能部の応答結果（図５の例では、応答結果Ａ）のみが選択されたり、複数の応答結果Ａ〜Ｃを出力する場合に、応答結果Ａの内容を他の応答結果よりも強調して出力させることである。強調して出力するとは、例えば、応答結果の文字を大きく表示させる、色を変える、音量を大きくする、表示順序や出力順序を先頭にする等である。このように、応答の速さ（つまりは、応答時間の短さ）に基づいて、エージェントを選択することで、発話に対する応答を短時間で乗員に提供することができる。

また、エージェント選択部１１８は、上述した応答時間に代えて（または加えて）、応答結果Ａ〜Ｃの確信度に基づいて、乗員の発話に対する応答を行うエージェント機能部を選択してもよい。図６は、応答結果の確信度に基づいてエージェント機能部を選択することについて説明するための図である。確信度とは、例えば、コマンドに対する応答結果が、正しい答えであると推定される度合（指標値）である。また、確信度とは、乗員の発話に対する応答が、乗員の要求に合致している、または乗員が期待していた答えであると推定される度合である。複数のエージェント機能部１５０−１〜１５０−３のそれぞれは、例えば、個々の記憶部２５０に設けられたパーソナルプロファイル２５２や知識ベースＤＢ２５４、応答規則ＤＢ２５６に基づいて応答内容を決定すると共に、応答内容に対する確信度を決定する。

例えば、対話管理部２２０は、乗員から「最近流行っているお店は？」というコマンドを受け付けた場合、ネットワーク検索部２２２によりコマンドに対応する情報として各種ウェブサーバ３００から「洋服のお店」、「靴のお店」、「イタリアンレストランのお店」の情報を取得したとする。ここで、対話管理部２２０は、パーソナルプロファイル２５２を参照し、乗員の趣味との合致度が高い応答結果の確信度を高く設定する。例えば、乗員の趣味が「食事」である場合、対話管理部２２０は、「イタリアンレストランのお店」の確信度を他の情報よりも高く設定する。また、対話管理部２２０は、各種ウェブサーバ３００から取得したそれぞれの店に対する一般ユーザの評価結果（お勧め度合）が高いほど確信度を高く設定してもよい。

また、対話管理部２２０は、コマンドに対する検索結果として得られた応答候補の数に基づいて確信度を決定してもよい。例えば、対話管理部２２０は、応答候補の数が１つである場合、他の候補が存在しないため、確信度を最も高く設定する。また、対話管理部２２０は、応答候補の数が多くなるほど、それぞれの確信度を低くなるように設定する。

また、対話管理部２２０は、コマンドに対する検索結果として得られた応答内容の充実度に基づいて確信度を決定してもよい。例えば、対話管理部２２０は、検索結果として文字情報だけでなく画像情報も取得できた場合には、画像が取得できていない場合よりも充実度が高いため確信度を高く設定する。

また、対話管理部２２０は、コマンドと応答内容の情報を用いて知識ベースＤＢ２５４を参照し、両者の関係性に基づいて確信度を設定してもよい。また、対話管理部２２０は、パーソナルプロファイル２５２を参照し、最近（例えば、１か月以内）の対話の履歴で同様の質問があったか否かを参照し、同様の質問があった場合に、その回答と同様の応答内容の確信度を高く設定してもよい。対話の履歴は、発話した乗員との対話の履歴でもよく、乗員以外のパーソナルプロファイル２５２に含まれる対話の履歴でもよい。また、対話管理部２２０は、上述した複数の確信度の設定条件のそれぞれを組み合わせて確信度を設定してもよい。

また、対話管理部２２０は、確信度に対する正規化を行ってもよい。例えば、対話管理部２２０は、上述したそれぞれの設定条件ごとに確信度が０〜１の範囲となる正規化を行う。これにより、複数の設定条件によって設定された確信度で比較を行う場合であっても均一に定量化されるため、何れかの設定条件の確信度だけが大きくなることがない。その結果、確信度に基づいて、より適切な応答結果を選択することができる。

図６の例において、応答結果Ａの確信度が０．２、応答結果Ｂの確信度が０．８、応答結果Ｃの確信度が０．５である場合、エージェント選択部１１８は、確信度が最も高い応答結果Ｂを出力したエージェント機能部１５０−２に対応するエージェント２を乗員の発話に応答するエージェントとして選択する。また、エージェント選択部１１８は、確信度が閾値以上の応答結果を出力した複数のエージェントを、発話に応答するエージェントとして選択してもよい。これにより、乗員の要求に適したエージェントに応答させることができる。

また、エージェント選択部１１８は、エージェント機能部１５０−１〜１５０−３のそれぞれの応答結果Ａ〜Ｃを比較し、同様の応答内容が多いものを出力したエージェント機能部１５０を、乗員の発話に対する応答を行うエージェント機能部（エージェント）として選択してもよい。なお、エージェント選択部１１８は、同様の応答内容を出力した複数のエージェント機能部のうち、予め設定された特定のエージェント機能部を選択してもよく、応答時間が最も早いエージェント機能部を選択してもよい。これにより、複数の応答結果から多数決で得られた応答を乗員に出力することができると共に、応答結果の信頼性を向上させることができる。

また、エージェント選択部１１８は、上述したエージェントの選択方法に加えて、コマンドに対する応答結果があった複数のエージェントに関する情報を第１ディスプレイ２２に表示させ、乗員からの指示に基づいて、応答を行うエージェントを選択してもよい。乗員にエージェントを選択させる場面としては、例えば、応答時間や確信度が同じ値であるエージェントが複数存在する場合や、予め乗員の指示によりエージェントを選択する旨の設定がなされている場合である。

図７は、エージェント選択画面として第１ディスプレイ２２に表示される画像ＩＭ１の一例を示す図である。なお、画像ＩＭ１に表示される内容やレイアウト等については、これに限定されるものではない。また、画像ＩＭ１は、エージェント選択部１１８からの情報に基づいて、表示制御部１２０により生成されるものである。上述の内容は、以降の画像の説明についても同様とする。

画像ＩＭ１には、例えば、文字情報表示領域Ａ１１と、選択項目表示領域Ａ１２とが含まれる。文字情報表示領域Ａ１１には、例えば、乗員Ｐの発話に対する応答結果が存在するエージェントの数および乗員Ｐにエージェントの選択を促す情報が表示される。例えば、乗員Ｐが「最近流行っているお店はどこかな？」と発話した場合、エージェント機能部１５０−１〜１５０−３は、発話から得られたコマンドに対する応答結果を取得してエージェント選択部１１８に出力する。表示制御部１２０は、エージェント選択部１１８からエージェント選択画面を表示させる指示を受けて、画像ＩＭ１を生成し、生成した画像を第１ディスプレイ２２に画像ＩＭ１を表示させる。図７の例において、文字情報表示領域Ａ１１には、「３つのエージェントから応答がありました。どのエージェントにしますか？」という文字情報が表示されている。

選択項目表示領域Ａ１２には、例えば、エージェントを選択するためのアイコンＩＣが表示される。また、選択項目領域Ａ１２には、それぞれのエージェントの応答結果の少なくとも一部が表示されてもよい。また、選択項目表示領域Ａ１２には、上述した応答時間や確信度に関する情報を表示してもよい。

図７の例において、選択項目表示領域Ａ１２には、エージェント機能部１５０−１〜１５０−３のそれぞれに対応するＧＵＩ（Graphical User Interface）スイッチＩＣ１〜ＩＣ３と、応答結果の概略説明（例えば、お店のジャンル）が表示されている。なお、表示制御部１２０は、エージェント選択部１１８からの指示に基づいてＧＵＩスイッチＩＣ１〜ＩＣ３を表示する場合に、各エージェントの応答時間の短い順（応答速度の速い順）に並べて表示させてもよく、応答結果の確信度順に並べて表示させてもよい。

エージェント選択部１１８は、第１ディスプレイ２２への乗員Ｐの操作によりＧＵＩスイッチＩＣ１〜ＩＣ３のうち、何れかのＧＵＩスイッチの選択を受け付けた場合に、選択されたＧＵＩスイッチＩＣに対応付けられたエージェントを、乗員の発話に応答するエージェントとして選択し、そのエージェントに応答を実行させる。これにより、乗員が指定したエージェントにより応答を行うことができる。

ここで、表示制御部１２０は、上述したＧＵＩスイッチＩＣ１〜ＩＣ３を表示させることに代えて、エージェント１〜３に対応するエージェント画像ＥＩ１〜ＥＩ３を表示させてもよい。以下、第１ディスプレイ２２に表示されるエージェント画像を、場面ごとに分けて説明する。

図８は、乗員が発話する前の場面において、表示制御部１２０により表示される画像ＩＭ２の一例を示す図である。画像ＩＭ２には、例えば、文字情報表示領域Ａ２１と、エージェント表示領域Ａ２２とが含まれる。文字情報表示領域Ａ２１には、例えば、使用可能なエージェントの数や種類に関する情報が表示される。使用可能なエージェントとは、例えば乗員の発話に対して応答が可能なエージェントである。使用可能なエージェントは、例えば、車両Ｍが走行している地域、時間帯、エージェントの状況、乗員認識装置８０により認識される乗員Ｐに基づいて設定される。エージェントの状況には、例えば、車両Ｍが地下やトンネル内に存在するためにエージェントサーバ２００と通信できない状況、または、既に他のコマンドによる処理が実行中であり、次のコマンドに対する処理が実行できない状況が含まれる。図８の例において、文字情報表示領域Ａ２１には、「３つのエージェントが使用可能です」という文字情報が表示されている。

エージェント表示領域Ａ２２には、使用可能なエージェントに対応付けられたエージェント画像が表示される。図８の例において、エージェント表示領域Ａ２２には、エージェント１〜３に対応付けられたエージェント画像ＥＩ１〜ＥＩ３が表示されている。これにより、乗員は、使用可能なエージェントの数を直感的に把握することができる。

図９は、乗員がコマンドを含む発話を行った場面において、表示制御部１２０により表示される画像ＩＭ３の一例を示す図である。図９では、乗員Ｐが「最近流行っているお店はどこかな？」という発話を行った例を示している。画像ＩＭ３には、例えば、文字情報表示領域Ａ３１と、エージェント表示領域Ａ３２とが含まれる。文字情報表示領域Ａ３１には、例えば、エージェントの状況を示す情報が表示される。図９の例において、文字情報表示領域Ａ２１には、エージェントが処理を実行中であることを示す「考え中！」という文字情報が表示されている。

また、エージェント１〜３のそれぞれが発話内容に対する処理を開始してから、発話に対する応答結果が得られるまでの間、表示制御部１２０は、エージェント表示領域Ａ２２からエージェント画像ＥＩ１〜ＥＩ３を消去する制御を行う。これにより、エージェントが処理中であることを直感的に乗員に認識させることができる。また、表示制御部１２０は、エージェント画像ＥＩ１〜ＥＩ３を消去することに代えて、エージェント画像ＥＩ１〜ＥＩ３の表示態様を、乗員Ｐが発話する前の表示態様と異ならせてもよい。この場合、表示制御部１２０は、例えば、エージェント画像ＥＩ１〜ＥＩ３の表情を「考えている表情」や「悩んでいる表情」にしたり、処理が実行中であることを示す動作（例えば、辞書を開いてページをめくっているような動作や端末装置を用いて検索している動作）を行うエージェント画像を表示する。

図１０は、エージェントを選択する場面において、表示制御部１２０により表示される画像ＩＭ４の一例を示す図である。画像ＩＭ４には、例えば、文字情報表示領域Ａ４１と、エージェント選択領域Ａ４２とが含まれる。文字情報表示領域Ａ４１には、例えば、乗員Ｐの発話に対する応答結果が存在するエージェントの数および乗員Ｐにエージェントの選択を促す情報、およびエージェントの選択方法が表示される。図１０の例において、文字情報表示領域Ａ４１には、「３つのエージェントから応答がありました。どのエージェントにしますか？」、および「エージェントにタッチしてください。」という文字情報が表示されている。

エージェント選択領域Ａ４２には、例えば、乗員Ｐの発話に対する応答結果があったエージェント１〜３に対応するエージェント画像ＥＩ１〜ＥＩ３が表示される。エージェント画像ＥＩ１〜ＥＩ３を表示する場合、表示制御部１２０は、上述した応答時間や応答結果の確信度に基づいて、エージェント画像ＥＩの表示態様を変更してもよい。この場面におけるエージェント画像の表示態様とは、例えば、エージェント画像の表情や大きさ、色等である。例えば、表示制御部１２０は、応答結果の確信度が閾値以上である場合に、笑顔のエージェント画像を生成し、確信度が閾値未満である場合に、困った表情や悲しい表情のエージェント画像を生成する。また、表示制御部１２０は、確信度が大きいほどエージェント画像が大きくなるように、表示態様を制御してもよい。このように、応答結果に応じてエージェント画像の表示態様を異ならせることで、乗員Ｐは、エージェントごとの応答結果の自信度等を直感的に把握することができ、エージェントを選択するための一つの指標とすることができる。

エージェント選択部１１８は、第１ディスプレイ２２への乗員Ｐの操作によりエージェント画像ＥＩ１〜ＥＩ３のうち、何れかのエージェント画像の選択を受け付けた場合に、選択されたエージェント画像ＥＩに対応付けられたエージェントを、乗員の発話に応答するエージェントとして選択し、そのエージェントの応答を実行させる。

図１１は、エージェント画像ＥＩ１が選択された後の場面において、表示制御部１２０により表示される画像ＩＭ５の一例を示す図である。画像ＩＭ５には、例えば、文字情報表示領域Ａ５１と、エージェント表示領域Ａ５２とが含まれる。文字情報表示領域Ａ５１には、応答したエージェント１に関する情報が表示される。図１１の例において、文字情報表示領域Ａ５１には、「エージェント１が応答中」という文字情報が表示されている。なお、エージェント画像ＥＩ１が選択された場面において、表示制御部１２０は、文字情報表示領域Ａ５１に文字情報を表示させない制御を行ってもよい。

エージェント表示領域Ａ５２には、選択されたエージェント画像やエージェント１の応答結果が表示される。図１１の例において、エージェント表示領域Ａ５２には、エージェント画像ＥＩ１およびエージェント結果「イタリアンレストラン「ＡＡＡ」です。」が表示されている。この場面において、音声制御部１２２は、エージェント機能部１５０−１によってなされた応答結果の音声をエージェント画像ＥＩ１の表示位置付近に定位させる音像定位処理を行う。図１１の例において、音声制御部１２２は、「私がお勧めするのはイタリアンレストラン「ＡＡＡ」です。」および「ここからの経路を表示しますか？」という音声を出力する。また、表示制御部１２０は、音声出力に合わせてエージェント画像ＥＩ１が喋っているように乗員Ｐに視認させるアニメーション画像等を生成して表示させてもよい。

エージェント選択部１１８は、上述した図７〜図１１の表示領域に表示される情報と同様の音声を、音声制御部１２２に生成させ、生成させた音声をスピーカユニット３０から出力させてもよい。また、エージェント選択部１１８は、マイク１０から乗員Ｐによりエージェントを指定する音声を受け付けた場合に、受け付けられたエージェントに対応付けられたエージェント機能部１５０を乗員Ｐの発話に応答するエージェント機能部として選択する。これにより、乗員Ｐが運転中等の理由により第１ディスプレイ２２を見ることができない状況下であっても、音声によりエージェントを特定することができる。

エージェント選択部１１８により選択されたエージェントは、一連の対話が終了するまで、乗員Ｐの発話に対する応答を行う。一連の対話が終了する場合には、例えば、応答結果を出力してから所定時間が経過しても乗員Ｐからの応答（例えば、発話）がない場合や、応答結果に関する情報とは異なる発話が入力された場合、または乗員Ｐの操作によりエージェント機能を終了させた場合が含まれる。つまり、出力された応答結果に関する発話がなされた場合には、エージェント選択部１１８により選択されたエージェントが、継続して応答を行う。図１１の例において、「ここからの経路を表示しますか？」という音声を出力した後に、乗員Ｐから「経路を表示して」という発話がなされた場合、エージェント１が、表示制御部１２０により経路に関する情報を表示させる。

[処理フロー]
図１２は、第１実施形態のエージェント装置１００により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定周期或いは所定のタイミングで繰り返し実行されてよい。

まず、音響処理部１１２は、マイク１０から乗員の発話の入力を受け付けたか否かを判定する（ステップＳ１００）。乗員の発話の入力を受け付けたと判定された場合、音響処理部１１２は、乗員の発話の音声に対する音響処理を行う（ステップＳ１０２）。次に、音声認識部１１４は、音響処理が行われた音声（音声ストリーム）の認識を行い、音声をテキスト化する（ステップＳ１０４）。次に、自然言語処理部１１６は、テキスト化された文字情報に対する自然言語処理を実行し、文字情報の意味解析を行う（ステップＳ１０６）。

次に、自然言語処理部１１６は、意味解析によって得らえた乗員の発話内容にコマンドが含まれるか否かを判定する（ステップＳ１０８）。コマンドが含まれる場合、自然言語処理部１１６は、コマンドを、複数のエージェント機能部１５０に出力する（ステップＳ１１０）。次に、複数のエージェント機能部は、エージェント機能部ごとにコマンドに対する処理を実行する（ステップＳ１１２）。

次に、エージェント選択部１１８は、複数のエージェント機能部のそれぞれによってなされた応答結果を取得し（ステップＳ１１４）、取得した応答結果に基づいて、エージェント機能部を選択する（ステップＳ１１６）。次に、エージェント選択部１１８は、選択したエージェント機能部に乗員の発話に対する応答を実行させる（ステップＳ１１８）。これにより、本フローチャートの処理は、終了する。また、ステップＳ１００の処理において、乗員の発話の入力を受け付けていない場合、または、ステップＳ１０８の処理において、発話内容にコマンドが含まれていない場合、本フローチャートの処理は、終了する。

上述した第１実施形態のエージェント装置１００によれば、車両Ｍの乗員の発話に応じて、音声による応答を含むサービスを提供する複数のエージェント機能部１５０と、乗員の発話に含まれる音声コマンドを認識する認識部（音声認識部１１４、自然言語処理部１１６）と、認識部により認識された音声コマンドを、複数のエージェント機能部１５０に出力し、複数のエージェント機能部１５０のそれぞれによってなされた結果に基づいて、複数のエージェント機能部１５０のうち、乗員の発話に対する応答を行うエージェント機能部を選択するエージェント選択部１１８と、を備えることにより、より適切な応答結果を提供することができる。

また、第１実施形態に係るエージェント装置１００によれば、乗員がエージェントの起動方法（例えば、後述するウエイクアップワード）を忘れてしまった場合や、エージェントごとの特徴を把握していない場合、エージェントを特定できないような要求を行う場合であっても、複数のエージェントに発話に対する処理を実行させて、より適切な応答結果を持つエージェントに乗員の応答を行わせることができる。

[変形例]
上述した第１実施形態において、音声認識部１１４は、上述した処理に加えて、音響処理された音声に含まれるウエイクアップワードを認識してもよい。ウエイクアップワードとは、例えば、エージェントを呼び出す（起動させる）ために割り当てられたワードである。ウエイクアップワードは、エージェントごとに異なるワードが設定される。音声認識部１１４により個々のエージェントを特定するウエイクアップワードが認識された場合、エージェント選択部１１８は、複数のエージェント機能部１５０−１〜１５０−３のうち、ウエイクアップワードに割り当てられたエージェントに応答させる。これにより、ウエイクアップワードを認識した場合には、即座にエージェント機能部の選択を行うことができ、乗員が指定したエージェントによる応答結果を乗員に提供することができる。

また、音声認識部１１４は、予め複数のエージェントを呼び出すウエイクアップワード（グループウエイクアップワード）が認識された場合には、グループウエイクアップワードに対応付けられた複数のエージェントを起動させて、上述した複数のエージェントによる処理を実行させてもよい。

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態のエージェント装置は、管理部１１０が統合して行っていた音声認識に関する機能をそれぞれのエージェント機能部またはエージェントサーバに持たせた点で第１実施形態のエージェント装置と相違する。したがって、以下では、主に上述した相違点を中心に説明するものとする。また、後述する説明において、上述した第１実施形態と同様の構成については、同様の名称または符号を付するものとし、ここでの具体的な説明は省略する。

図１３は、第２実施形態に係るエージェント装置１００Ａの構成と、車両Ｍに搭載された機器とを示す図である。車両Ｍには、例えば、一以上のマイク１０と、表示・操作装置２０と、スピーカユニット３０と、ナビゲーション装置４０と、車両機器５０と、車載通信装置６０と、乗員認識装置８０と、エージェント装置１００Ａとが搭載される。また、汎用通信装置７０が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、ＣＡＮ通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。

また、エージェント装置１００Ａは、管理部１１０Ａと、エージェント機能部１５０Ａ、１５０Ａ−２、１５０Ａ−３と、ペアリングアプリ実行部１５２と、を備える。管理部１１０Ａは、例えば、エージェント選択部１１８と、表示制御部１２０と、音声制御部１２２とを備える。エージェント装置１００Ａの各構成要素は、例えば、ＣＰＵ等のハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリ等の記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。第２実施形態における音響処理部１５１は、「音声受付部」の一例である。

エージェント装置１００Ａは、記憶部１６０Ａを備える。記憶部１６０Ａは、上記の各種記憶装置により実現される。記憶部１６０Ａには、例えば、各種データやプログラムが格納される。

エージェント装置１００Ａは、例えば、マルチコアプロセッサを備え、１つのコアプロセッサ（処理部の一例）が１つのエージェント機能部を実現する。また、エージェント機能部１５０Ａ−１〜１５０Ａ−３のそれぞれは、コアプロセッサ等によりＯＳやミドルウェア等のプログラムが実行されることで機能する。また、第２実施形態において、複数のマイク１０のそれぞれは、エージェント機能部１５０Ａ−１〜エージェント機能部１５０Ａ−３の何れかに割り当てられている。この場合、それぞれのマイク１０は、エージェント機能部１５０Ａ内に組み込まれていてもよい。

また、エージェント機能部１５０Ａ−１〜１５０Ａ−３のそれぞれは、音響処理部１５１−１〜１５１−３を備える。音響処理部１５１−１〜１５１−３は、それぞれに割り当てられたマイク１０から入力された音声に対する音響処理を行う。音響処理部１５１−１〜１５１−３は、エージェント機能部１５０Ａ−１〜１５０Ａ−３に対応付けられたそれぞれの音響処理を実行する。また、音響処理部１５１−１〜１５１−３のそれぞれは、音響処理後の音声（音声ストリーム）を、エージェント機能部ごとに対応付けられたエージェントサーバ２００Ａ−１〜２００Ａ−３に出力する。

図１４は、第２実施形態に係るエージェントサーバ２００Ａの構成と、エージェント装置１００Ａの構成の一部とを示す図である。以下、エージェントサーバ２００Ａの構成と共にエージェント機能部１５０Ａ等の動作について説明する。また、以下では、主にエージェント機能部１５０Ａ−１およびエージェントサーバ２００Ａ−１を中心として説明するものとする。

エージェントサーバ２００Ａ−１は、第１実施形態のエージェントサーバ２００−１と比較して、音声認識部２２６および自然言語処理部２２８が追加されている点、および記憶部２５０Ａに辞書ＤＢ２５８が追加されている点で相違する。したがって、以下では、主に音声認識部２２６および自然言語処理部２２８を中心として説明する。音声認識部２２６と、自然言語処理部２２８とを合わせたものが、「認識部」の一例である。

エージェント機能部１５０Ａ−１は、個々に割り当てられたマイク１０により収集した音声の音響処理を行い、音響処理された音声ストリームを対応するエージェントサーバ２００Ａ−１に送信する。エージェントサーバ２００Ａ−１の音声認識部２２６は、音声ストリームを取得すると、音声認識部２２６が音声認識を行ってテキスト化された文字情報を出力し、自然言語処理部２２８が文字情報に対して辞書ＤＢ２５８を参照しながら意味解釈を行う。辞書ＤＢ２５８は、文字情報に対して抽象化された意味情報が対応付けられたものであり、同義語や類義語の一覧情報を含んでもよい。また、辞書ＤＢ２５８は、エージェントサーバ２００ごとに異なるデータであってもよい。音声認識部２２６の処理と、自然言語処理部２２８の処理は、段階が明確に分かれるものではなく、自然言語処理部２２８の処理結果を受けて音声認識部２２６が認識結果を修正する等、相互に影響し合って行われてよい。また、自然言語処理部２２８は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成してもよい。

対話管理部２２０は、自然言語処理部２２８の処理結果（コマンド）に基づいて、パーソナルプロファイル２５２や知識ベースＤＢ２５４、応答規則ＤＢ２５６を参照しながら車両Ｍの乗員に対する発話の内容を決定する。

[処理フロー]
図１５は、第２実施形態のエージェント装置１００Ａにより実行される処理の流れの一例を示すフローチャートである。図１５に示すフローチャートは、上述した図１２の第１実施形態におけるフローチャートと比較して、ステップＳ１０２〜Ｓ１１２の処理に代えて、ステップＳ２００〜Ｓ２０２の処理を備える点で相違する。したがって、以下では、主にステップＳ２００〜Ｓ２０２の処理を中心として説明する。

ステップＳ１００の処理において、乗員の発話の入力を受け付けたと判定された場合、管理部１１０Ａは、発話の音声を複数のエージェント機能部１５０Ａ−１〜１５０Ａ−３に出力する（ステップＳ２００）。複数のエージェント機能部１５０Ａ−１〜１５０Ａ−３のそれぞれは、音声に対する処理を実行する（ステップＳ２０２）。ステップＳ２０２の処理には、例えば、音響処理、音声認識処理、自然言語処理、対話管理処理、ネットワーク検索処理、応答文生成処理等が含まれる。次に、エージェント選択部１１８は、複数のエージェント機能部のそれぞれによってなされた応答結果を取得する（ステップＳ１１４）。

上述した第２実施形態のエージェント装置１００Ａによれば、第１実施形態のエージェント装置１００と同様の効果を奏する他、エージェント機能部ごとに並列して音声認識を行わせることができる。また、第２実施形態によれば、エージェント機能部ごとにマイクを割り当て、マイクからの音声に対する音声認識を実行させることで、エージェントごとに、音声の入力条件が異なる場合や特有の音声認識手法を用いるであっても、適切な音声認識を行うことができる。

上述した第１実施形態および第２実施形態のそれぞれは、他の実施形態の一部または全部を組み合わせてもよい。また、エージェント装置１００（１００Ａ）の機能のうち一部または全部は、エージェントサーバ２００（２００Ａ）に含まれていてもよい。また、エージェントサーバ２００（２００Ａ）の機能のうち一部または全部は、エージェント装置１００（１００Ａ）に含まれていてもよい。つまり、エージェント装置１００（１００Ａ）およびエージェントサーバ２００（２００Ａ）における機能の切り分けは、各装置の構成要素、エージェントサーバ２００（２００Ａ）やエージェントシステム１の規模等によって適宜変更されてよい。また、エージェント装置１００（１００Ａ）およびエージェントサーバ２００（２００Ａ）における機能の切り分けは、車両Ｍごとに設定されてもよい。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…エージェントシステム、１０…マイク、２０…表示・操作装置、３０…スピーカユニット、４０…ナビゲーション装置、５０…車両機器、６０…車載通信装置、７０…汎用通信装置、８０…乗員認識装置、１００、１００Ａ…エージェント装置、１１０、１１０Ａ…管理部、１１２、１５１…音響処理部、１１４、２２６…音声認識部、１１６、２２８…自然言語処理部、１１８…エージェント選択部、１２０…表示制御部、１２２…音声制御部、１５０，１５０Ａ…エージェント機能部、１５２…ペアリングアプリ実行部、１６０、１６０Ａ、２５０、２５０Ａ…記憶部、２００、２００Ａ…エージェントサーバ、２１０…通信部、２２０…対話管理部、２２２…ネットワーク検索部、２２４…応答文生成部、３００…各種ウェブサーバ、Ｍ…車両

Claims (12)

1. 車両の乗員の発話に応じて、応答を含むサービスを提供する複数のエージェント機能部と、
   前記乗員の発話に含まれる要求を認識する認識部と、
   前記認識部により認識された要求を、前記複数のエージェント機能部に出力し、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記複数のエージェント機能部のうち、前記乗員の発話に対する応答を行うエージェント機能部を選択するエージェント選択部と、
   を備える、エージェント装置。
2. それぞれが車両の乗員の発話に含まれる要求を認識する音声認識部を備え、前記乗員の発話に応じて、応答を含むサービスを提供する複数のエージェント機能部と、
   前記車両の乗員の発話に対して、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記乗員の発話に対する応答を行うエージェント機能部を選択するエージェント選択部と、
   エージェント装置。
3. 前記複数のエージェント機能部のそれぞれは、前記乗員の発話の音声を受け付ける音声受付部と、前記音声受付部により受け付けられた音声に対する処理を行う処理部と、を備える、
   請求項２に記載のエージェント装置。
4. 前記複数のエージェント機能部によってなされた応答結果を表示部に表示させる表示制御部を、更に備える、
   請求項１から３のうち何れか１項に記載のエージェント装置。
5. 前記エージェント選択部は、前記複数のエージェント機能部のうち、前記乗員の発話からの応答時間が短いエージェント機能部を優先的に選択する、
   請求項１から４のうち何れか１項に記載のエージェント装置。
6. 前記エージェント選択部は、前記複数のエージェント機能部のうち、前記乗員の発話に対する応答の確信度が高いエージェント機能部を優先的に選択する、
   請求項１から５のうち何れか１項に記載のエージェント装置。
7. 前記エージェント選択部は、前記確信度を正規化し、正規化した結果に基づいて前記エージェント機能部を選択する、
   請求項６に記載のエージェント装置。
8. 前記エージェント選択部は、前記表示部により表示された前記複数のエージェント機能部のそれぞれの応答結果のうち、前記乗員により選択された応答結果を取得したエージェント機能部を優先的に選択する、
   請求項４に記載のエージェント装置。
9. コンピュータが、
   複数のエージェント機能部を起動させ、
   前記起動したエージェント機能部の機能として、車両の乗員の発話に応じて、応答を含むサービスを提供し、
   前記乗員の発話に含まれる要求を認識し、
   認識された前記要求を、前記複数のエージェント機能部に出力し、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記複数のエージェント機能部のうち、前記乗員の発話に対する応答を行うエージェント機能部を選択する、
   エージェント装置の制御方法。
10. コンピュータが、
    それぞれが車両の乗員の発話に含まれる要求を認識する音声認識部を備えた複数のエージェント機能部を起動させ、
    前記起動したエージェント機能部の機能として、前記乗員の発話に応じて、応答を含むサービスを提供し、
    前記車両の乗員の発話に対して、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記乗員の発話に対する応答を行うエージェント機能部を選択する、
    エージェント装置の制御方法。
11. コンピュータに、
    複数のエージェント機能部を起動させ、
    前記起動したエージェント機能部の機能として、車両の乗員の発話に応じて、応答を含むサービスを提供させ、
    前記乗員の発話に含まれる要求を認識させ、
    認識された前記要求を、前記複数のエージェント機能部に出力し、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記複数のエージェント機能部のうち、前記乗員の発話に対する応答を行うエージェント機能部を選択させる、
    プログラム。
12. コンピュータに、
    それぞれが車両の乗員の発話に含まれる要求を認識する音声認識部を備えた複数のエージェント機能部を起動させ、
    前記起動したエージェント機能部の機能として、前記乗員の発話に応じて、応答を含むサービスを提供し、
    前記車両の乗員の発話に対して、前記複数のエージェント機能部のそれぞれによってなされた結果に基づいて、前記乗員の発話に対する応答を行うエージェント機能部を選択させる、
    プログラム。

Images