JP2021149619A - 表示制御装置、表示制御方法、およびプログラム - Google Patents

Abstract

【課題】ユーザに、より適切な出力態様で情報を提供することができる表示制御装置、表示制御方法、およびプログラムを提供すること。【解決手段】出力装置にキャラクタの画像を表示させる表示制御装置であって、前記出力装置に、前記キャラクタに関連付けた付随画像を前記キャラクタの画像とともに表示させる設定を受け付ける画像設定部と、前記出力装置に前記キャラクタの画像が前記付随画像がとともに表示される場合における前記キャラクタの動作の設定を受け付ける情報設定部と、を備える。【選択図】図２

Description

本発明は、表示制御装置、表示制御方法、およびプログラムに関する。

従来、車両の表示装置にキャラクタを表示させ、ユーザと対話を行いながらユーザの要求に応じた運転支援に関する情報や車両の制御、その他のアプリケーション等のサービスを提供する技術が開示されている（例えば、特許文献１参照）。

特開２００６−３３５２３１号公報

近年では、カーシェアリングサービスの拡大により、様々なユーザが車両を利用する場合があるが、対話を行うキャラクタをユーザに合わせて、より適切な出力態様で表示したり、各種の情報を提供することについては考慮されていなかった。

本発明は、このような事情を考慮してなされたものであり、より適切な出力態様で情報を提供することができる表示制御装置、表示制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る表示制御装置、表示制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る表示制御装置は、出力装置にキャラクタの画像を表示させる表示制御装置であって、前記出力装置に、前記キャラクタに関連付けた付随画像を前記キャラクタの画像とともに表示させる設定を受け付ける画像設定部と、前記出力装置に前記キャラクタの画像が前記付随画像がとともに表示される場合における前記キャラクタの動作の設定を受け付ける情報設定部と、を備える、表示制御装置である。

（２）：上記（１）の態様において、前記情報設定部は、ユーザごとに前記キャラクタの動作の設定を可能とするものである。

（３）：上記（１）または（２）の態様において、前記付随画像は、前記キャラクタが装備する装飾品の画像または前記キャラクタとは異なる他のキャラクタの画像のうち一方または双方を含むものである。

（４）：上記（１）〜（３）のうち何れか一つの態様において、前記出力装置を使用するユーザを認識する認識部をさらに備え、前記情報設定部は、前記認識部により認識されたユーザが、前記付随画像を表示させる権限を有する場合に、前記出力装置に前記キャラクタの画像が前記付随画像がとともに表示される場合における前記キャラクタの動作の設定を受け付けるものである。

（５）：上記（４）の態様において、前記認識部により認識されたユーザが、前記付随画像を表示させる権限を有する場合に、前記キャラクタの動作パターンの設定に関する情報を前記出力装置に出力させる出力制御部を、さらに備えるものである。

（６）：上記（１）〜（５）のうち何れか一つの態様において、前記出力装置は、車両に搭載可能な装置であり、前記情報設定部は、前記キャラクタの動作を、前記車両の状態に対応付けて設定可能とするものである。

（７）：上記（５）の態様において、前記出力制御部は、前記出力装置に複数のキャラクタの画像を表示させる場合に、それぞれのキャラクタの動作を同期または連携させて前記出力装置に表示させるものである。

（８）：本発明の他の態様に係る表示制御方法は、出力装置にキャラクタの画像を表示させる表示制御装置が、前記出力装置に、前記キャラクタに関連付けた付随画像を前記キャラクタの画像とともに表示させる設定を受け付け、前記出力装置に前記キャラクタの画像が前記付随画像がとともに表示される場合における前記キャラクタの動作の設定を受け付ける、表示制御方法である。

（９）：本発明の他の態様に係るプログラムは、出力装置にキャラクタの画像を表示させる表示制御装置に、前記出力装置に、前記キャラクタに関連付けた付随画像を前記キャラクタの画像とともに表示させる設定を受け付けさせ、前記出力装置に前記キャラクタの画像が前記付随画像がとともに表示される場合における前記キャラクタの動作の設定を受け付けさせる、プログラムである。

（１）〜（９）の態様によれば、ユーザに、より適切な出力態様で情報を提供することができる。

エージェント装置１００を含むエージェントシステム１の構成図である。 第１実施形態に係るエージェント装置１００の構成と、車両Ｍに搭載された機器とを示す図である。 表示・操作装置２０の配置例を示す図である。 エージェントサーバ２００の構成と、エージェント装置１００の構成の一部とを示す図である。 エージェント機能部１５０の構成例を示す図である。 ユーザ設定情報１６２の内容の一例を示す図である。 付随画像設定情報１６４の内容の一例を示す図である。 付随情報関連ＤＢ２５５の内容の一例を示す図である。 エージェント画像に所定の装飾品を着用した態様で表示させる手順を説明するための図である。 第１場面における出力態様の様子を説明するための図である。 第２場面における出力態様の様子を説明するための図である。 第３場面における出力態様の様子を説明するための図である。 第４場面における出力態様の様子を説明するための図である。 第５場面における出力態様の様子を説明するための図である。 第６場面における出力態様の様子を説明するための図である。 第７場面における出力態様の様子を説明するための図である。 第８場面における出力態様の様子を説明するための図である。 画像制御部１５２および出力制御部１５８によるエージェントの出力例を一覧形式で示す図である。 エージェント装置１００による処理の流れの一例を示すフローチャートである。 エージェント装置１００による処理の流れの一例を示すフローチャートである。

以下、図面を参照し、本発明の表示制御装置、表示制御方法、およびプログラムの実施形態について説明する。表示制御装置の一態様であるエージェント装置は、エージェントシステムの一部または全部を実現する装置である。以下では、エージェント装置の一例として、車両（以下、車両Ｍ）に搭載され、１種類以上のエージェント機能を備えたエージェント装置について説明する。エージェント機能とは、例えば、車両Ｍを利用するユーザと対話をしながら、ユーザの発話の中に含まれる要求（コマンド）に基づく各種の情報提供を行ったり、ネットワークサービスを仲介したりする機能である。複数種類のエージェントが実現される場合、複数種類のエージェントはそれぞれに果たす機能、処理手順、制御、出力態様、内容が異なってもよい。また、エージェント機能の中には、車両内の機器（例えば運転制御や車体制御に関わる機器）の制御等を行う機能を有するものがあってよい。

エージェント機能は、例えば、ユーザの音声を認識する音声認識機能（音声をテキスト化する機能）に加え、自然言語処理機能（テキストの構造や意味を理解する機能）、対話管理機能、ネットワークを介して他装置を検索し、或いは自装置が保有する所定のデータベースを検索するネットワーク検索機能等を統合的に利用して実現される。これらの機能の一部または全部は、ＡＩ（Artificial Intelligence）技術によって実現されてよい。また、これらの機能を行うための構成の一部（特に、音声認識機能や自然言語処理解釈機能）は、車両Ｍの車載通信装置または車両Ｍに持ち込まれた汎用通信装置と通信可能なエージェントサーバ（外部装置の一例）に搭載されてもよい。以下の説明では、構成の一部がエージェントサーバに搭載されており、エージェント装置とエージェントサーバが協働してエージェントシステムを実現することを前提とする。また、エージェント装置とエージェントサーバが協働して仮想的に出現させるサービス提供主体（サービス・エンティティ）をエージェントと称する。エージェント装置１００は、出力装置（ディスプレイなど）にエージェントに関連するキャラクタの画像を表示させる。

＜全体構成＞
図１は、エージェント装置１００を含むエージェントシステム１の構成図である。エージェントシステム１は、例えば、エージェント装置１００と、エージェントサーバ２００とを備える。本発明におけるエージェントは、サービス提供者により実現されるエージェントである。サービス提供者としては、例えば、自動車メーカー、ネットワークサービス事業者、電子商取引事業者、携帯端末の販売者や製造者などが挙げられ、任意の主体（法人、団体、個人等）がエージェントシステム１のサービス提供者となり得る。

エージェント装置１００は、ネットワークＮＷを介してエージェントサーバ２００と通信する。ネットワークＮＷは、例えば、インターネット、セルラー網、Ｗｉ−Ｆｉ網、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、公衆回線、電話回線、無線基地局などのうち一部または全部を含む。ネットワークＮＷには、各種ウェブサーバ３００が接続されており、エージェントサーバ２００またはエージェント装置１００は、ネットワークＮＷを介して各種ウェブサーバ３００からウェブページを取得することができる。

エージェント装置１００は、例えば、車両Ｍに搭載可能な装置である。エージェント装置１００は、仮想的な主体であるエージェントが、スピーカを用いた音声案内または表示装置を用いた画像表示によって情報提供するサービスをユーザに提供する。エージェント装置１００は、例えば、車両Ｍのユーザと対話を行い、ユーザからの音声をエージェントサーバ２００に送信し、エージェントサーバ２００から得られた回答を、音声出力や画像表示の形でユーザに提示する。

［車両］
図２は、実施形態に係るエージェント装置１００の構成と、車両Ｍに搭載された機器とを示す図である。車両Ｍには、例えば、一以上のマイク１０と、表示・操作装置２０と、スピーカユニット３０と、ナビゲーション装置４０と、車両機器５０と、車載通信装置６０と、乗員認識装置８０と、エージェント装置１００とが搭載される。また、スマートフォンなどの汎用通信装置７０が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図２に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。表示・操作装置２０は、「表示装置」の一例である。また、表示・操作装置２０とスピーカユニット３０とを組み合わせたものが「出力装置」の一例である。

マイク１０は、車室内で発せられた音声を収集する収音部である。表示・操作装置２０は、画像を表示すると共に、入力操作を受付可能な装置（或いは装置群）である。表示・操作装置２０は、例えば、タッチパネルとして構成されたディスプレイ装置を含む。表示・操作装置２０は、更に、ＨＵＤ（Head Up Display）や機械式の入力装置を含んでもよい。スピーカユニット３０は、例えば、車室内の互いに異なる位置に配設された複数のスピーカ（音出力部）を含む。表示・操作装置２０は、エージェント装置１００とナビゲーション装置４０とで共用されてもよい。これらの詳細については後述する。

ナビゲーション装置４０は、ナビＨＭＩ（Human machine Interface）と、ＧＰＳ（Global Positioning System）などの位置測位装置と、地図情報を記憶した記憶装置と、経路探索などを行う制御装置（ナビゲーションコントローラ）とを備える。マイク１０、表示・操作装置２０、およびスピーカユニット３０のうち一部または全部がナビＨＭＩとして用いられてもよい。ナビゲーション装置４０は、位置測位装置によって特定された車両Ｍの位置から、ユーザによって入力された目的地まで移動するための経路（ナビ経路）を探索し、経路に沿って車両Ｍが走行できるように、ナビＨＭＩを用いて案内情報を出力する。経路探索機能は、ネットワークＮＷを介してアクセス可能なナビゲーションサーバにあってもよい。この場合、ナビゲーション装置４０は、ナビゲーションサーバから経路を取得して案内情報を出力する。なお、エージェント装置１００は、ナビゲーションコントローラを基盤として構築されてもよく、その場合、ナビゲーションコントローラとエージェント装置１００は、ハードウェア上は一体に構成される。

車両機器５０は、例えば、エンジンや走行用モータなどの駆動力出力装置、エンジンの始動モータ、ドアロック装置、ドア開閉装置、窓、窓の開閉装置及び窓の開閉制御装置、シート、シート位置の制御装置、ルームミラー及びその角度位置制御装置、車両内外の照明装置及びその制御装置、ワイパーやデフォッガー及びそれぞれの制御装置、方向指示灯及びその制御装置、空調装置、走行距離やタイヤの空気圧の情報や燃料の残量情報などの車両情報装置などを含む。

車載通信装置６０は、例えば、セルラー網やＷｉ−Ｆｉ網を利用してネットワークＮＷにアクセス可能な無線通信装置である。

乗員認識装置８０は、例えば、着座センサ、車室内カメラ、画像認識装置などを含む。着座センサは座席の下部に設けられた圧力センサ、シートベルトに取り付けられた張力センサなどを含む。車室内カメラは、車室内に設けられたＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラである。画像認識装置は、車室内カメラの画像を解析し、座席ごとのユーザの有無、ユーザの顔などを認識して、ユーザの着座位置を認識する。また、乗員認識装置８０は、予め登録された顔画像とのマッチング処理を行うことで、画像に含まれる運転席や助手席等に着座するユーザを特定してもよい。

図３は、表示・操作装置２０の配置例を示す図である。表示・操作装置２０は、例えば、第１ディスプレイ２２と、第２ディスプレイ２４と、操作スイッチＡＳＳＹ２６とを含む。表示・操作装置２０は、更に、ＨＵＤ２８を含んでもよい。

車両Ｍには、例えば、ステアリングホイールＳＷが設けられた運転席ＤＳと、運転席ＤＳに対して車幅方向（図中−Ｙ方向）に設けられた助手席ＡＳとが存在する。第１ディスプレイ２２は、インストルメントパネルにおける運転席ＤＳと助手席ＡＳとの中間辺りから、助手席ＡＳの左端部に対向する位置まで延在する横長形状のディスプレイ装置である。第２ディスプレイ２４は、運転席ＤＳと助手席ＡＳとの車幅方向に関する中間あたり、且つ第１ディスプレイの下方に設置されている。例えば、第１ディスプレイ２２と第２ディスプレイ２４は、共にタッチパネルとして構成され、表示部としてＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）、プラズマディスプレイなどを備えるものである。操作スイッチＡＳＳＹ２６は、ダイヤルスイッチやボタン式スイッチなどが集積されたものである。表示・操作装置２０は、ユーザによってなされた操作の内容をエージェント装置１００に出力する。第１ディスプレイ２２または第２ディスプレイ２４が表示する内容は、エージェント装置１００によって決定されてよい。

［エージェント装置］
図２に戻り、エージェント装置１００は、例えば、管理部１１０と、エージェント機能部１５０とを備える。管理部１１０は、例えば、音響処理部１１２と、設定部１１６と、音声制御部１１８とを備える。設定部１１６は、例えば、画像設定部１１６Ａと、情報設定部１１６Ｂとを備える。図２に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部１５０と車載通信装置６０の間に管理部１１０が介在してもよいように、任意に改変することができる。

エージェント装置１００の各構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

管理部１１０は、ＯＳ（Operating System）やミドルウェアなどのプログラムが実行されることで機能する。

音響処理部１１２は、エージェントを起動させるために、エージェントごとに予め設定されているウエイクアップワードを認識するのに適した状態になるように、入力された音に対して音響処理を行う。

画像設定部１１６Ａは、表示・操作装置２０等の出力装置にキャラクタに関連付けた付随画像をキャラクタの画像とともに表示させる設定を受け付ける。具体的には、画像設定部１１６Ａは、エージェント機能部１５０からの指示に応じて一部のエージェント機能部１５０の制御により、例えば、車室内でユーザとのコミュニケーションを行う擬人化されたキャラクタの画像（以下、エージェント画像と称する）の設定を受け付け、受け付けたエージェント画像を第１ディスプレイ２２等に表示させる。エージェント画像は、例えば、ユーザに対して話しかける態様の画像である。エージェント画像は、例えば、少なくとも観者（ユーザ）によって表情や顔向きが認識される程度の顔画像を含んでよい。例えば、エージェント画像は、顔領域の中に目や鼻に擬したパーツが表されており、顔領域の中のパーツの位置に基づいて表情や顔向きが認識されるものであってよい。また、エージェント画像は、立体的に感じられ、観者によって三次元空間における頭部画像を含むことでエージェントの顔向きが認識されたり、本体（胴体や手足）の画像を含んだりすることで、キャラクタの動作（振る舞い、姿勢、表情等も含む）等が認識されるものであってもよい。また、エージェント画像は、アニメーション画像であってもよい。また、エージェント画像は、動物や植物、昆虫、アニメキャラクター、ゲームキャラクター等の擬人化が可能な各種の物であってもよい。

また、エージェント画像は、キャラクタに関連付けられた付随画像と共に表示されてもよい。付随画像には、例えば、装飾品または他のキャラクタ画像のうち一方または双方が含まれる。装飾品には、例えば、お守りやお札、護符、経文、数珠、鈴、メダイ、ロザリオ、ボンフィン、プラクルワン、像などの宗教用具や、宗教的な模様や絵柄各種装飾品（ネックレス、ペンダント、ブレスレット、指輪、ブローチ、メガネ、サングラス、ピアス、イヤリング、髪飾り、帽子、手袋、ネクタイ、スカーフ、マフラー、かばん、傘、キーホルダなど）が含まれる。また、装飾品には、例えば、キャラクタが着用する洋服（例えば、スーツ、ドレス、水着やスキーウェア）や、武器や防具等が含まれてよい。他のキャラクタ画像には、例えば、車両の同乗者（例えば、運転者以外の乗員）に対応付けられたキャラクタの画像や、子供、友人、恋人、家族等をモチーフにしたキャラクタの画像等が含まれる。画像設定部１１６Ａは、例えば、ユーザごとに付随画像の設定を可能とする。また、付随画像は、エージェントサーバ２００や各種ウェブサーバ３００によって設定されてもよい。

情報設定部１１６Ｂは、表示・操作装置２０等の出力装置に、付随画像がキャラクタの画像とともに表示されることに対応付けて出力させる付随時情報の設定を受け付ける。付随時情報は、例えば、付随画像に関連付けられた出力情報（例えば、画像や音声）や出力態様に関する情報である。また、付随時情報には、付随画像が表示される場合のキャラクタの動作に関する情報が含まれてもよい。出力情報には、例えば、ユーザに対してレコメンドするレコメンド情報が含まれる。例えば、情報設定部１１６Ｂは、ユーザによる、第１ディスプレイ２２にエージェント画像が所定の付随画像とともに表示されることに対応付けて、第１ディスプレイ２２、第２ディスプレイ２４、スピーカユニット３０に含まれるスピーカのうち一部または全部から出力させる付随時情報の設定をマイク１０や表示・操作装置２０等により受け付ける。また、情報設定部１１６Ｂは、付随時情報の設定として、ユーザが付随画像を表示させたり、キャラクタの動作等の出力態様を設定する権限を有するか否かに関する情報を受け付けてもよい。情報設定部１１６Ｂは、エージェント装置１００を使用するユーザごとに付随時情報（例えば、キャラクタの動作等）の設定を可能とする。また、情報設定部１１６Ｂは、例えば、キャラクタの動作等の付随時情報を、車両の状態に対応付けて設定可能としてもよい。これにより、車両の状態が、情報設定部１１６Ｂでの設定時に対応付けた状態にある場合に、出力装置から付随時情報を出力させることができる。車両の状態には、例えば、車両Ｍのユーザ（乗員）の数や、運転席に着座するユーザが誰であるかなどの車室内の状態、車両が停止中、車両が所定時間以上停止中、走行中、所定速度以上で走行中などの車両の走行状態、車両が手動運転で作動中、車両が自動運転で作動中などの車両の作動モードが含まれる。

音声制御部１１８は、エージェント機能部１５０からの指示に応じて、スピーカユニット３０に含まれるスピーカのうち一部または全部に音声を出力させる。音声制御部１１８は、複数のスピーカユニット３０を用いて、エージェント画像の表示位置に対応する位置にエージェント音声の音像を定位させる制御を行ってもよい。エージェント画像の表示位置に対応する位置とは、例えば、エージェント画像がエージェント音声を喋っているとユーザが感じると予測される位置であり、具体的には、エージェント画像の表示位置付近（例えば、２〜３［ｃｍ］以内）の位置である。また、音像が定位するとは、例えば、ユーザの左右の耳に伝達される音の大きさを調節することにより、ユーザが感じる音源の空間的な位置を定めることである。

エージェント機能部１５０は、管理部１１０により取得される各種情報に基づいて、エージェントサーバ２００と協働してエージェントを出現させ、車両内に存在するユーザの発話に応じて、音声による応答を含むサービスを提供する。例えば、エージェント機能部１５０は、音響処理部１１２により処理された音声にウエイクアップワードが含まれている場合に、ウエイクアップワードに対応付けられたエージェントを起動する。また、エージェント機能部１５０は、サービス提供後にエージェントを終了させる制御等を行う。また、エージェント機能部１５０は、音響処理部１１２により処理された音声ストリームをエージェントサーバ２００に送信したり、エージェントサーバ２００から得られる情報をユーザに提供する。

また、エージェント機能部１５０には、車両機器５０を制御する権限が付与されたものが含まれてよい。また、エージェント機能部１５０は、汎用通信装置７０と連携し、エージェントサーバ２００と通信する機能を備えていてもよい。この場合、エージェント機能部１５０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）によって汎用通信装置７０とペアリングを行い、エージェント機能部１５０と汎用通信装置７０とを接続させる。また、エージェント機能部１５０は、ＵＳＢ（Universal Serial Bus）などを利用した有線通信によって汎用通信装置７０に接続されるようにしてもよい。エージェント機能部１５０の機能の詳細については、後述する。

［エージェントサーバ］
図４は、エージェントサーバ２００の構成と、エージェント装置１００の構成の一部とを示す図である。以下、エージェントサーバ２００の構成とともにエージェント機能部１５０等の動作について説明する。ここでは、エージェント装置１００からネットワークＮＷまでの物理的な通信についての説明を省略する。

エージェントサーバ２００は、通信部２１０を備える。通信部２１０は、例えばＮＩＣ（Network Interface Card）などのネットワークインターフェースである。更に、エージェントサーバ２００は、例えば、音声認識部２２０と、自然言語処理部２２２と、対話管理部２２４と、ネットワーク検索部２２６と、応答文生成部２２８とを備える。これらの構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。

エージェントサーバ２００は、記憶部２５０を備える。記憶部２５０は、上記の各種記憶装置により実現される。記憶部２５０には、例えば、パーソナルプロファイル２５１、辞書ＤＢ（データベース）２５２、知識ベースＤＢ２５３、応答規則ＤＢ２５４、付随情報関連ＤＢ２５５などのデータやプログラムが格納される。

エージェント装置１００において、エージェント機能部１５０は、音声ストリーム、或いは圧縮や符号化などの処理を行った音声ストリームを、エージェントサーバ２００に送信する。また、エージェント機能部１５０は、ローカル処理（エージェントサーバ２００を介さない処理）が可能な音声コマンドを認識した場合は、音声コマンドで要求された処理を行ってよい。ローカル処理が可能な音声コマンドとは、エージェント装置１００が備える記憶部（不図示）を参照することで回答可能な音声コマンドであったり、エージェント機能部１５０の場合は車両機器５０を制御する音声コマンド（例えば、空調装置をオンにするコマンドなど）であったりする。従って、エージェント機能部１５０は、エージェントサーバ２００が備える機能の一部を有してもよい。

音声ストリームを取得すると、音声認識部２２０が音声認識を行ってテキスト化された文字情報を出力し、自然言語処理部２２２が文字情報に対して辞書ＤＢ２５２を参照しながら意味解釈を行う。辞書ＤＢ２５２は、文字情報に対して抽象化された意味情報が対応付けられたものである。辞書ＤＢ２５２は、同義語や類義語の一覧情報を含んでもよい。音声認識部２２０の処理と、自然言語処理部２２２の処理は、段階が明確に分かれるものではなく、自然言語処理部２２２の処理結果を受けて音声認識部２２０が認識結果を修正するなど、相互に影響し合って行われてよい。

自然言語処理部２２２は、例えば、認識結果として、「今日の天気は」、「天気はどうですか」等の意味が認識された場合、標準文字情報「今日の天気」に置き換えたコマンドを生成する。これにより、リクエストの音声に文字揺らぎがあった場合にも要求にあった対話をし易くすることができる。また、自然言語処理部２２２は、例えば、確率を利用した機械学習処理等の人工知能処理を用いて文字情報の意味を認識したり、認識結果に基づくコマンドを生成したりしてもよい。

対話管理部２２４は、自然言語処理部２２２の処理結果（コマンド）に基づいて、パーソナルプロファイル２５１や知識ベースＤＢ２５３、応答規則ＤＢ２５４、付随情報関連ＤＢ２５５を参照しながら車両Ｍのユーザに対する発話の内容を決定する。パーソナルプロファイル２５１は、ユーザごとに保存されているユーザの個人情報、趣味嗜好、過去の対話の履歴などを含む。知識ベースＤＢ２５３は、物事の関係性を規定した情報である。応答規則ＤＢ２５４は、コマンドに対してエージェントが行うべき動作（回答や機器制御の内容など）を規定した情報である。付随情報関連ＤＢ２５５には、エージェント画像を所定の付随画像を関連付けて表示させる場合の出力態様に関する情報が格納される。出力態様に関する情報には、例えば、キャラクタ画像や付随画像の表示内容に加え、エージェント画像のキャラクタ等の動作に関する情報が含まれてよい。付随情報関連ＤＢ２５５の詳細については後述する。

また、対話管理部２２４は、音声ストリームから得られる特徴情報を用いて、パーソナルプロファイル２５１と照合を行うことで、ユーザを特定してもよい。この場合、パーソナルプロファイル２５１には、例えば、音声の特徴情報に、個人情報が対応付けられている。音声の特徴情報とは、例えば、声の高さ、イントネーション、リズム（音の高低のパターン）等の喋り方の特徴や、メル周波数ケプストラム係数（Mel Frequency Cepstrum Coefficients）等による特徴量に関する情報である。音声の特徴情報は、例えば、ユーザの初期登録時に所定の単語や文章等をユーザに発声させ、発声させた音声を認識することで得られる情報である。

対話管理部２２４は、コマンドが、ネットワークＮＷを介して検索可能な情報を要求するものである場合、ネットワーク検索部２２６に検索を行わせる。ネットワーク検索部２２６は、ネットワークＮＷを介して各種ウェブサーバ３００にアクセスし、所望の情報を取得する。「ネットワークＮＷを介して検索可能な情報」とは、例えば、車両Ｍの周辺にあるレストランの一般ユーザによる評価結果であったり、その日の車両Ｍの位置に応じた天気予報であったり、乗車人数に応じたレコメンド情報であったりする。

また、対話管理部２２４は、エージェント画像や付随画像等の出力態様に応じたレコメンド情報を生成してもよい。レコメンド情報には、画像や映像、音声等の各コンテンツが含まれる。この場合、対話管理部２２４は、例えば、車両Ｍからユーザに出力させるエージェント画像の種類や付随画像の種類等に基づいて、付随情報関連ＤＢ２５５を参照し、合致する情報に対応付けられた出力態様情報（例えば、レコメンド情報）を取得してユーザに提供したり、提供する優先順位を他のコンテンツよりも高くしたりする等の制御を行う。レコメンド情報ＤＢ２５６に含まれるレコメンド情報は、予め記憶部２５０に記憶されていてもよく、ネットワークＮＷを介して各種ウェブサーバ３００から取得されてもよい。

応答文生成部２２８は、対話管理部２２４により決定された発話の内容が車両Ｍのユーザに伝わるように、応答文を生成し、エージェント装置１００に送信する。応答文生成部２２８は、ユーザがパーソナルプロファイルに登録されたユーザであることが特定されている場合に、ユーザの名前を呼んだり、ユーザの話し方に似せた話し方にしたりした応答文を生成してもよい。

エージェント機能部１５０は、応答文を取得すると、音声合成を行って音声を出力するように音声制御部１１８に指示する。また、エージェント機能部１５０は、音声出力に合わせてエージェントの画像を生成し、生成した画像を表示するように管理部１１０に指示する。また、エージェント機能部１５０は、エージェントサーバ２００からの指示に従い、スピーカユニット３０から出力される音量の調整や、車両機器５０（例えば、空調機器）に関する機器制御等を行うための機器制御情報を生成し、生成した機器制御情報を車両機器５０等に指示する。このようにして、仮想的に出現させたエージェントが車両Ｍのユーザに応答するエージェント機能および付随画像の表示内容に対応付けられた出力態様によるサービスの提供が実現される。

［エージェント機能部］
次に、エージェント機能部１５０の詳細について説明する。図５は、エージェント機能部１５０の構成例を示す図である。エージェント機能部１５０は、例えば、画像制御部１５２と、ユーザ認識部１５４と、エージェント関連情報設定部１５６と、出力制御部１５８と、記憶部１６０とを備える。記憶部１６０には、例えば、ユーザ設定情報１６２や、付随画像設定情報１６４などのデータやプログラムが格納される。ユーザ認識部１５４は、「認識部」の一例である。

画像制御部１５２は、音声案内を含むサービスを提供するエージェント画像を表示・操作装置２０に表示させる。例えば、画像制御部１５２は、エージェントが所定の装飾品を装備した状態の画像や、エージェントにペットや他のエージェントを含めた画像を表示・操作装置２０に表示させる。

ユーザ認識部１５４は、出力装置を使用するユーザを認識する。例えば、ユーザ認識部１５４は、乗員認識装置８０により認識されたユーザの動作や口元の動き等に基づいて、表示・操作装置２０を操作しているユーザを認識したり、エージェントと対話しているユーザを認識する。また、ユーザ認識部１５４は、乗員認識装置８０により認識されたユーザが、エージェント装置１００を使用するユーザとして予め登録されているか、またはエージェント画像に付随画像の設定があるユーザであるか否かを認識する。また、ユーザ認識部１５４は、出力装置を使用するユーザが、付随画像を表示させたり、キャラクタの動作等の出力態様を設定する権限を有するユーザであるか否かを認識してもよい。

エージェント関連情報設定部１５６は、ユーザ認識部１５４により認識されたユーザが、エージェント画像や付随画像の設定、エージェントの動作等を含めた出力態様の設定を行うことができる権限を有する場合に、設定部１１６と連携してユーザからの各種の設定情報を受け付ける。例えば、エージェント関連情報設定部１５６は、ユーザ認識部１５４により認識されたユーザが、付随画像を表示させる権限を有する場合に、情報設定部１１６Ｂにより設定されたエージェント画像が付随画像がとともに表示される場合におけるエージェント（キャラクタ）の動作の設定を受け付ける。エージェント関連情報設定部１５６は、ユーザから受け付けたキャラクタの種類や付随画像の種類、出力態様等の情報をユーザ設定情報１６２として記憶部１６０に格納する。

図６は、ユーザ設定情報１６２の内容の一例を示す図である。ユーザ設定情報１６２は、ユーザを識別するユーザＩＤに、エージェントに対応付けられたエージェント画像を識別するエージェントＩＤと、付随画像情報と、出力態様情報とが対応付けられた情報である。付随画像情報には、例えば、付随画像を識別する付随画像識別ＩＤと、付随画像の具体的な名称が格納されている。出力態様情報には、付随時情報が含まれる。出力態様情報は、例えば、エージェントＩＤで識別されるエージェント画像の出力態様や、エージェント画像に付随して表示される付随画像の出力態様が格納される。出力態様は、例えば、予め設定またはユーザにより登録された複数の出力パターンの中から何れかを選択することで設定されてもよい。出力パターンには、例えば、エージェント画像のキャラクタの表情や動作（例えば、手を合わせる、手を振る、踊る、歩く）等に関するパターンが含まれる。また、ユーザ設定情報１６２には、付随画像を表示させるか否かについての条件設定が格納されてもよい。条件設定とは、例えば、「装飾品の画像は他者が乗車しているときには表示させない」、「他者の設定している装飾品の画像を見たくない（表示させない）」、「他者が同乗している場合に、設定している装飾品の画像を見せてもよい（表示させる）」などの、表示の許否に関する条件である。

また、エージェント関連情報設定部１５６は、ユーザにより設定された付随画像に関する情報を付随画像設定情報１６４に格納する。図７は、付随画像設定情報１６４の内容の一例を示す図である。付随画像設定情報１６４は、付随画像情報に、画像データと、画像を識別する画像ＩＤとが対応付けられた情報である。画像の種類には、例えば、複数のユーザが車両Ｍに乗車している場合に、所定の装飾品を同時に表示してもよいか否かを識別するための分類情報が含まれてもよい。例えば、同一の団体が提供する装飾品同士は、親和性が高いため、同時に表示されてもよいことから同一の装飾品の種類に設定する。また、装飾品の提供元である宗教団体のそれぞれが本社（本宮、本山）と支社（末社・摂社、末寺）の関係にある場合には、親和性が高いため、同時に表示されてもよいことから同一の装飾品の種類に設定する。また、宗教性のない装飾品は、同時に表示されてもよいことから同一の装飾品の種類に設定する。

なお、単一のユーザが装飾品の種類の異なる複数の装飾品（例えば、神道の装飾品と仏教の装飾品）を同時にエージェント画像に装備した状態の画像を表示させると設定している場合には、装飾品の種類の違いは無視されてよい。

エージェント関連情報設定部１５６は、ユーザがキャラクタ画像や付随画像を取得した場合に、取得したキャラクタ画像や付随画像に関するユーザ設定情報１６２や付随画像設定情報１６４に格納される情報を設定してもよく、画像を取得する前または取得した後に設定してもよい。また、エージェント関連情報設定部１５６は、ユーザの設定により、既に設定された情報を変更してもよい。また、エージェント関連情報設定部１５６は、エージェントサーバ２００から取得した情報に基づいて、ユーザ設定情報１６２や付随画像設定情報１６４を変更してもよい。ユーザ設定情報１６２や付随画像設定情報１６４は、エージェントサーバ２００の記憶部２５０に記憶されていてもよい。

出力制御部１５８は、例えば、ユーザが発生した音声にウエイクアップワードを含む音声が含まれる場合、またはユーザからの問い合わせに対する応答を行う場合に、ユーザ設定情報１６２や付随画像設定情報１６４に基づいて、表示・操作装置２０に表示させるエージェント画像および付随画像を生成する。また、出力制御部１５８は、エージェントサーバ２００から取得した応答結果や出力態様に基づいて、エージェント画像や付随画像を生成したり、エージェントの音声を生成したり、車両機器に関する制御情報を生成する。

ここで、エージェントサーバ２００の対話管理部２２４は、例えば、ユーザに表示しているエージェント画像と共に表示される付随画像に基づいて、付随情報関連ＤＢ２５５を参照し、ユーザにレコメンドする内容を決定して出力制御部１５８に出力する。図８は、付随情報関連ＤＢ２５５の内容の一例を示す図である。付随情報関連ＤＢ２５５は、例えば、付随画像情報に、出力情報と、レコメンド内容とが対応付けられた情報である。出力情報には、例えば、所定の装飾品に対応付けられた安全運転に関する情報や、付随画像の表示制御内容に関する情報が含まれる。例えば、所定の装飾品が交通安全の「お守り」である場合、出力情報には運転アドバイスや、神仏からのお告げ、交通運の占いなどが含まれる。また、所定の装飾品が健康に関連する「お守り」や「アクセサリ」である場合、出力情報には食事に関する専門家のアドバイスや、車内でできるストレッチの情報、目的地周辺のおすすめレストランやスーパーマーケットの案内などが含まれる。また、所定の装飾品が宗教的な意味合いの強い装飾品である場合、出力情報には、装飾品の提供元である宗教に基づいた情報（例えば、その宗教の信仰を促すために、僧侶、神職者、聖職者などの宗教上の指導者の発言）が含まれてもよい。

なお、出力情報は、ユーザにより予め登録された誓い（決意や目標など）の内容が反映されてもよい。誓いは、例えば、ユーザにより所定の装飾品の登録や設定変更が行われる際に、併せて登録されるものであり、ユーザによる他の発話と同様に、エージェントサーバ２００の音声認識部２２０および自然言語処理部２２２により解析される。これにより、応答文生成部２２８は、付随情報関連ＤＢ２５５から誓いに関連する情報を読み出してエージェント装置１００に送信し、エージェントに誓いの内容が反映された出力情報を出力できるようになる。例えば、所定の装飾品が交通安全のお守りであり、ユーザにより誓いとして「無事故無違反」とあらかじめ登録されている場合、出力情報には、車両Ｍが事故多発地点に接近する前に警告することや、法定速度の案内などが含まれる。

また、出力情報に誓いの内容を反映する条件や、誓いの内容を反映させない条件が併せて設定されてもよい。例えば、個人的な誓いを同乗者に知られたくない場合に、ユーザは、装備時情報の出力条件として、「一人で乗車している場合には、誓いの内容が反映された出力情報とするが、他者が乗車している場合には、誓いの内容は出力情報に反映しない」のような設定を行う。

また、付随画像が洋服等のファッションやヘッドホン等の場合、出力情報には、エージェントに着用または装着させるか否かを示す情報（装備情報）や、付随画像に関連付けられたキャラクタの動作がユーザ等により設定されてよい。例えば、付随画像が登山用のファッションである場合に出力情報としてキャラクタが登山用の洋服を着用して歩く動作が設定されたり、付随画像が海向け用のファッションである場合に出力情報としてキャラクタが海用の装備を着用している場合に泳ぐ動作が設定される。また、付随画像が、ペット等の他のキャラクタである場合、出力情報には、表示態様や出力パターンを示す情報（例えば、キャラクタが並んで表示）や、他のキャラクタの動作を示す情報がユーザ等により設定されてもよい。

レコメンド内容は、付随画像や付随画像の出力情報に関連してユーザに提供するレコメンド情報である。レコメンド情報は、付随時情報が含まれてもよい。レコメンド情報には、例えば、運転に関する情報（例えば、走行ルート、運転支援情報）、付随画像で示される商品（物品）の販売元や監修者である施設、関連性のある場所が含まれる。例えば、所定の付随画像が交通安全のお守り（装飾品の一例）の画像である場合には、そのお守りの提供元である寺社、お守りの提供元である寺社と同一の宗派の寺社がレコメンド内容に含まれる。付随情報関連ＤＢ２５５は、エージェント装置１００から得られるユーザの設定情報によって更新されてよい。

図８の例において、ＸＸ神社の交通安全のお守りを付随画像として表示させる場合であって、出力情報として「安全支援に関する情報（パターン１）」が選択された場合、対話管理部２２４は、事故の少ないルートを優先してレコメンドするとともに、提供元である寺社をレコメンドするための応答文を応答文生成部２２８に生成させる。事故が少ないルートは、例えば、ネットワーク検索部２２６がネットワークＮＷを介して交通情報を管理する管理装置等から取得される。また、出力情報として「安全支援に関する情報（パターン２）」が選択された場合、対話管理部２２４は、運転支援に関する情報をレコメンドするための応答文を応答文生成部２２８に生成させる。運転支援に関する情報には、例えば、前方車両との車間距離を調整させる情報や、車線の逸脱を抑制させるための情報、車線変更のタイミングを指示する情報等が含まれる。

また、図８の例において、対話管理部２２４は、付随画像として、海向けのファッション画像をエージェント画像に着用させる場合、対話管理部２２４は、海に関する音楽をレコメンドしたり、海沿いルートをレコメンドしたり、海鮮料理のレストランをレコメンドするための応答文を応答文生成部２２８に生成させる。

また、図８の例において、付随画像として、ヘッドホンをエージェント画像に装着させて表示する出力態様が設定された場合、対話管理部２２４は、音楽に関する情報をレコメンドする。また、対話管理部２２４は、音楽に関する情報をレコメンドするのに代えて（または加えて）、スピーカユニット３０から出力させる音の音量を、エージェント画像がヘッドホンを装着していない場合よりも所定量だけ大きくするといった出力態様に関する情報を、応答文生成部２２８に生成させてもよい。また、付随画像として、耳栓をエージェント画像に装着させて表示する出力態様が設定された場合、対話管理部２２４は、スピーカユニット３０から出力される音声を小さくする（または音を出力しない）といった出力態様に関する情報を、応答文生成部２２８に生成させてもよい。

また、対話管理部２２４は、他のキャラクタが表示されていない場合（自己エージェント画像のみ表示させる場合や、表示させる他のキャラクタの人数や属性（例えば、友人や家族）に応じて、レコメンドする内容を変更してもよい。

出力制御部１５８は、例えば、所定の付随画像に関連するコンテンツ（レコメンド情報等）を他のコンテンツよりも優先的にユーザに提供する。例えば、出力制御部１５８は、エージェント画像とともに、付随画像として他のキャラクタの画像を出力装置に表示させる場合に、表示されるキャラクタの数や種類に応じたコンテンツを、他のコンテンツよりも優先してユーザに提供させる。例えば、出力制御部１５８は、付随画像として、ファミリー（家族）が表示を表示させる場合に、ファミリー向けのレストランや音楽をエージェントサーバ２００から取得して表示・操作装置２０の表示部に表示させる。また、出力制御部１５８は、エージェント画像が、付随画像であるアロハシャツを着ている場合に、ハワイアン領域のレストランのレコメンド情報を、他のレコメンド情報よりも優先して表示・操作装置２０の表示部に表示させる。これにより、エージェント画像や付随画像の数や種類等の内容に応じて、より適切な出力態様でユーザに情報を提供することができる。

また、出力制御部１５８は、ユーザが、付随画像を表示させる権限を有するユーザである場合に、出力態様情報等の付随時情報を表示・操作装置２０等の出力装置に出力させてもよい。例えば、出力制御部１５８は、ユーザが交通安全のお守りの画像を表示させる設定をしている場合に、予め設定された安全運転に関する情報（図８の例において、パターン１、パターン２）を出力態様情報または出力情報の候補としてユーザに提示し、提示した出力パターンの候補の中からユーザによる選択を受け付けてもよい。出力パターンには、例えば、キャラクタの動作パターンが含まれてもよい。これにより、ユーザは、付随時情報を容易に設定することができる。

［付随時情報の出力態様］
次に、本実施形態における付随時情報の出力態様について具体的に説明する。図９は、エージェント画像に所定の装飾品を着用した態様で表示させる手順を説明するための図である。例えば、車両Ｍのユーザは、寺社仏閣で所定の装飾品の現物を購入する。ユーザが購入した装飾品ＡＣには、画像登録用の二次元コードが付随し、ユーザが利用する端末装置Ｔ（例えば、スマートフォンやタブレット）や、車両Ｍの車載カメラを利用して専用のアプリケーションを介して二次元コードを読み取る。その専用のアプリケーションは、二次元コードを読み取ることで取得したＶＲ（Virtual Reality）情報を読み取り、車載に搭載されたエージェント画像Ａ１に仮想的に装飾品画像ＩＭＡを装備させることを実現させる。

なお、専用のアプリケーションが、車載カメラ等を用いて所定の装飾品の現物の外観が分かる画像情報を取得して、エージェント画像Ａ１に仮想的に装備させる装飾品画像ＩＭＡの画像を生成してもよい。また、ユーザは、端末装置Ｔを介して各種ウェブサーバ３００の提供する画像専用のマーケットサイトにアクセスし、エージェント画像Ａ１に仮想的に装備させることができる装飾品画像ＩＭＡの画像の利用権を購入してもよい。以下の説明において、所定の装飾品を表示させる権限を有するユーザとは、上述のように購入や譲渡などにより装飾品画像ＩＭＡの表示が許諾されたユーザであり、エージェント装置１００の利用設定が登録可能な（または予め登録されている）ユーザのことである。

画像制御部１５２は、ユーザ認識部１５４により認識されたエージェント装置１００のユーザが、所定の装飾品を表示させる権限を有する場合に、所定の装飾品を装備したエージェント画像を表示・操作装置２０に表示させる。出力制御部１５８は、画像制御部１５２により所定の装飾品を装備したエージェント画像を表示・操作装置２０に表示させる場合に、付随情報関連ＤＢ２５５を参照し、出力情報をユーザに提供する。「所定の装飾品を装備したエージェント画像を表示・操作装置２０に表示させる場合」には、既に所定の装飾品を装備したエージェント画像を表示・操作装置２０に表示させた状態であることに加え、これから表示を開始しようとしていること（表示・操作装置２０に画像表示を開始すると同時に、または画像表示の直前に）出力情報をユーザに提供することを含む。

出力制御部１５８は、例えば、ユーザが所定の装飾品を表示させる権限を有する場合に、付随時情報をユーザごとに設定の受け付けが可能であり、その設定内容はユーザ設定情報１６２に格納される。また、出力制御部１５８は、車両Ｍの状態（どのユーザが乗車しているか、ユーザが一人か複数人かなど）に対応付けて出力情報を設定することができる。以下、場面ごとの出力態様の様子について具体的に説明する。

［第１場面］
図１０は、第１場面における出力態様の様子を説明するための図である。第１場面は、車両Ｍの運転席ＤＳにユーザＵＡが一人で乗車している場合において、お守りの付随画像をエージェント画像Ａ１と共にユーザＵＡに提供する場面を示している。第１場面において、画像制御部１５２は、ユーザＵＡが予め設定している通りにエージェント画像Ａ１が付随画像ＩＭＡを装備した状態の画像ＩＭ１を生成し、生成した画像ＩＭ１を表示・操作装置２０の表示部に表示させる。また、出力制御部１５８は、第１場面における出力情報（付随時情報）ＯＰ１として、「ＸＸ神社の神様のお告げです。」等の音声をスピーカユニット３０に出力させる。

［第２場面］
図１１は、第２場面における出力態様の様子を説明するための図である。第２場面は、車両Ｍの運転席ＤＳに着座しているユーザＵＡと、助手席ＡＳに着座するユーザＵＢとが乗車していることがユーザ認識部１５４により認識されている場合において、お守りの付随画像を含む出力情報を、ユーザＵＡおよびＵＢに提供する場面を示している。第２場面において、ユーザＵＡおよびＵＢは、同一のエージェント画像Ａ１および同一の種類の付随画像ＩＭＡを同一の出力パターンで出力すると設定しているものとする。この場合、画像制御部１５２は、ユーザＵＡおよびＵＢが予め表示設定している通りに、単一のエージェント画像Ａ１が付随画像ＩＭＡを装備した状態の画像ＩＭ１を生成し、生成した画像ＩＭ１を表示・操作装置２０の表示部に表示させる。また、出力制御部１５８は、第２場面における出力情報ＯＰ１として、第１場面と同様に「ＸＸ神社の神様のお告げです。」等の音声をスピーカユニット３０に出力させる。

なお、第２場面において「付随画像が同一の種類である」とは、例えば、付随画像識別ＩＤが同じであることである。また、「付随画像が同一の種類である」とは、付随画像がお守り等の装飾品の画像である場合に、装飾品の販売元の宗教団体が同一であることや、装飾品の販売元の宗教や宗派が同一であること、装飾品の目的（例えば、「安全」、「健康」など）が同一であること、装飾品の外観が同一であることが含まれてもよい。また、ユーザＵＡおよびＵＢが、それぞれ異なる装飾品を表示すると設定しており、ユーザＵＡおよびＵＢのそれぞれが設定した所定の装飾品のいずれにも宗教性がない場合には、画像制御部１５２は、装飾品の種類が同一であるものとして表示制御を行ってもよい。

なお、ユーザＵＡとＵＢとが、異なるエージェント画像、且つ同一の所定の装飾品を出力すると設定していた場合にも、画像制御部１５２は、第２場面と同様にエージェント画像のそれぞれが所定の装飾品を装備した状態の画像を表示してもよい。また、ユーザＵＡとＵＢとが、同一のエージェント画像、且つ同一の種類の所定の装飾品を表示すると設定しており、且つユーザＵＡとＵＢがそれぞれ異なる誓いを登録している場合、出力制御部１５８は、付随時情報として、ユーザＵＡおよびＵＢのそれぞれの誓いに基づく出力情報を出力してもよいし、ユーザＵＡおよびＵＢのうち、運転席ＤＳに着座するユーザＵＡの誓いに基づく出力情報を出力してもよいし、誓いに基づく出力情報を出力しないようにしてもよい。例えば、ユーザＵＡが交通安全に関する誓いを登録しており、ユーザＵＢが健康に関する誓いを登録している場合に、出力制御部１５８は、付随情報として、交通安全に関連する出力情報と健康に関連する出力情報の両方を出力する。

［第３場面］
図１２は、第３場面における出力態様の様子を説明するための図である。第３場面は、車両Ｍの運転席ＤＳに着座するユーザＵＡと、助手席ＡＳに着座するユーザＵＣとが存在することがユーザ認識部１５４により認識されている場面である。第３場面において、ユーザＵＡとＵＣとは、同一のエージェント画像であって、且つそれぞれが異なるお守り画像を出力すると設定されているものとする。この場合、画像制御部１５２は、エージェント画像Ａ１がお守りの画像を装備していない状態の画像ＩＭ２を生成し、生成した画像を表示・操作装置２０の表示部に表示させる。これは、ユーザＵＡが設定しているお守り画像と、ユーザＵＣの設定しているお守り画像とが付随画像設定情報１６４において異なる装飾品の種類に属するためである。このように、エージェント装置１００は、異なる装飾品の場合に、それぞれの装飾品を表示させないように制御することで、ユーザＵＡおよびＵＣが、自らが想定していない他の宗教の装飾品の画像を目にすることで不快に感じる可能性を低減させることができる。

また、第３場面において、出力制御部１５８は、それぞれの装飾品とは関連しない出力情報ＯＰ２を生成して、スピーカユニット３０に出力させる。図１２の例では、「安全運転を心だけましょう。」という音声が出力されている。これにより、エージェント装置１００は、ユーザＵＡおよびＵＣが、自らが想定していない他の宗教的な発言を耳にすることで不快に感じたり、出力情報ＯＰ２の提供後の車両ＭでのユーザＵＡおよびＵＢのお互いの雰囲気が悪くなる可能性を低減させたりすることができる。

［第４場面］
図１３は、第４場面における出力態様の様子を説明するための図である。第４場面は、車両Ｍの運転席ＤＳに着座するユーザＵＡと、助手席ＡＳに着座するユーザＵＤとが存在することがユーザ認識部１５４により認識されている場面である。第４場面では、ユーザＵＡとＵＤとが、それぞれ異なるエージェント画像Ａ１および画像Ａ２を出力すると設定しており、ユーザＵＡは所定の装飾品を表示する設定をしているが、ユーザＵＤは所定の装飾品を表示する設定をしていない場合、画像制御部１５２は、第４場面において、エージェント画像Ａ１およびエージェント画像Ａ２が所定の装飾品を装備していない状態の画像ＩＭ３を生成し、生成した画像ＩＭ３を表示・操作装置２０の表示部に表示させる。また、出力制御部１５８は、所定の装飾品とは関連しない出力情報ＯＰ２をスピーカユニット３０に出力させる。

これにより、エージェント装置１００は、ユーザＵＡおよびユーザＵＤが、自らが想定していない他の宗教の装飾品を目にすることで不快に感じる可能性を低減させることができる。また、エージェント装置１００は、ユーザＵＡおよびユーザＵＤが、自らが想定していない他の宗教的な発言を耳にすることで不快に感じたり、出力情報ＯＰ２の提供後の車両Ｍでの雰囲気を悪くしたりする可能性を低減させることができる。

なお、ユーザＵＡおよびユーザＵＤが、他のユーザが他の宗教の装飾品を表示してもよいと許可している場合には、画像制御部１５２は、エージェント画像Ａ１およびエージェント画像Ａ２にそれぞれ所定の装飾品を装備させた画像を表示してもよい。

［第５場面］
図１４は、第５場面における出力態様の様子を説明するための図である。第５場面は、エージェント画像が付随画像とともに表示させる場合に、エージェント画像に所定の動作を実行させる場面を示す図である。例えば、車両Ｍの運転席ＤＳに着座するユーザＵＡが存在することがユーザ認識部１５４により認識されている場合、車両Ｍの運転席ＤＳにユーザＵＡが一人で乗車している場合において、お守りの付随画像をエージェント画像Ａ１と共にユーザＵＡに提供する場面を示している。第５場面において、画像制御部１５２は、ユーザＵＡが予め設定している通りに、エージェント画像Ａ１が付随画像ＩＭＡを装備した状態の画像ＩＭ４を生成し、生成した付随画像ＩＭ４を表示・操作装置２０の表示部に表示させる。ここで、ユーザＵＡが付随時情報としてエージェント画像Ａ１のキャラクタが手を合わせる動作を設定していた場合に、画像制御部１５２は、エージェント画像Ａ１のキャラクタが手を合わせる動作を行う画像を生成する。付随画像ＩＭ４は、アニメーション画像でもよい。また、出力制御部１５８は、第１場面における出力情報ＯＰ１として、「ＸＸ神社の神様のお告げです。」等の音声を出力する。これにより、エージェント画像ともに表示される付随画像に応じて、エージェント画像に所定の動作を行わせることができるため、ユーザに、エージェントを親しみ易くさせることができる。

［第６場面］
図１５は、第６場面における出力態様の様子を説明するための図である。第６場面は、上述した第５場面と比較すると、運転席ＤＳに着座するユーザが、ユーザＵＡではなくユーザＵＥである点で相違する。この場合、画像制御部１５２は、ユーザ認識部１５４により認識されているユーザＵＥが認識された場合に、ユーザＵＥが予め設定している通りに、エージェント画像Ａ１が付随画像ＩＭＡを装備した状態の画像ＩＭ５を生成し、生成した画像ＩＭ５を表示・操作装置２０の表示部に表示させる。ここで、ユーザＵＥが付随時情報としてエージェント画像Ａ１のキャラクタにお辞儀をさせる動作を設定していた場合に、画像制御部１５２は、エージェント画像Ａ１のキャラクタがお辞儀を行う画像を生成する。画像ＩＭ５は、エージェント画像Ａ１のキャラクタがお辞儀を行うアニメーション画像でもよい。

第５場面および第６場面に示すように、ユーザごとに設定された付随時情報として動作を設定することで、ユーザごとにエージェントに適切な動作を実行させることができる。

また、出力制御部１５８は、ユーザ認識部１５４により複数のユーザが認識された場合であって、それぞれのユーザが異なる動作を設定している場合に、キャラクタに動作をさせないように制御してもよい。また、出力制御部１５８は、それぞれのユーザが共通または関連性の高い動作を設定している場合に、それぞれのキャラクタの動きを同期または連携させて表示させてもよい。例えば、出力制御部１５８は、複数のキャラクタが一緒に手を振ったり、歩く動作を行わせたり、お互いのキャラクタが握手をしたり、交互にジャンプするといった動作を行わせてもよい。このように、キャラクタ同士が同期または連携して動作させることで、ユーザ同士の親交が深まるように支援することができる。

［第７場面］
図１６は、第７場面における出力態様の様子を説明するための図である。第７場面は、エージェントに関連付けられた付随時情報に応じて、ユーザにレコメンドする場面を示している。第７場面では、車両Ｍの運転席にユーザＵＡが着座しているものとする。画像制御部１５２は、ユーザ認識部１５４により認識されているユーザＵＡが認識された場合に、ユーザＵＡが予め設定している通りに、エージェント画像Ａ１が海向けのファッションを着用した画像ＩＭ６を表示させる。ここで、出力制御部１５８は、エージェントサーバ２００から海に関するレコメンド情報を取得し、取得したレコメンド情報を他のレコメンド情報よりも優先してユーザに出力する。

図１６の例において、ユーザＵＡが目的地までの走行ルートをエージェントに問い合わせた場合に、問い合わせ結果として得られた経路のうち、エージェント画像が海向けのファッションをしているため、海沿いを走行するルートを優先的に表示させる。また、出力制御部１５８は、第７場面における出力情報ＯＰ３として、「海沿いのルートを走行します。」等の音声を出力する。図７場面によれば、ユーザが設定した付随画像に対応付けられたレコメンド情報を他のレコメンド情報よりも優先してユーザに提供することができる。

［第８場面］
図１７は、第８場面における出力態様の様子を説明するための図である。第８場面は、ユーザ認識部１５４により認識されたユーザが複数人である場合にレコメンド情報を出力する場面を示している。図１７の例では、図１３と同様に運転席ＤＳにユーザＵＡが着座し、助手席ＡＳにユーザＵＤが着座しているものとする。この場合、画像制御部１５２は、それぞれのユーザＵＡ、ＵＤに対応するエージェント画像Ａ１、Ａ２を表示させると共に、エージェントが二人表示されている場合のレコメンド情報として、二人で楽しめる観光スポット等をレコメンドする。また、出力制御部１５８は、第８場面における出力情報ＯＰ４として、「二人で楽しめる観光スポットを紹介します。」等の音声を出力する。

これにより、車両Ｍの乗車しているユーザや、表示されているキャラクタ画像に応じて、より適切なレコメンド情報を優先的にユーザに提供することができる。この結果、より適切な情報をユーザに提供することができる。

図１８は、画像制御部１５２および出力制御部１５８によるエージェント画像の出力例を一覧形式で示す図である。図１８に示す情報は、例えば、画像制御部１５２および出力制御部１５８による制御時に用いられる。図１８の例では、エージェントが同一であるか否かを示す情報、装飾品のグループを示す情報、他者の装飾品を表示するか否かを示す情報に、出力イメージが対応付けられている。例えば、ユーザ認識部１５４により認識されたユーザが複数人であって、表示するエージェント画像が同一であり、且つ所定の装飾品の種類が同一である場合（図１８に示すＮｏ．１の場合）、画像制御部１５２は、エージェント画像Ａ１が所定の装飾品画像ＩＭＡを装備した画像を表示・操作装置２０に表示させる。なお、ユーザ認識部１５４により認識されたユーザが一人であって、所定の装飾品を表示すると設定されている場合も同様に、エージェント画像Ａ１が所定の装飾品画像ＩＭＡを装備した画像を生成し、生成した画像を表示・操作装置２０に表示させる。このとき、出力制御部１５８は、装備に関する付随時情報をエージェントに提供させる。

また、ユーザ認識部１５４により認識されたユーザが複数人であって、表示するエージェント画像が同一であり、且つ所定の装飾品の種類が同一でない場合であり、ユーザの少なくとも一人が他者の装飾品画像の表示を不許可とする設定をしている場合（図１８に示すＮｏ．２の場合）、画像制御部１５２は、エージェント画像Ａ１が所定の装飾品画像ＩＭＡを装備していない画像を表示・操作装置２０に表示させる。このとき、出力制御部１５８は、付随時情報をエージェントにサービスとして提供させない。

また、ユーザ認識部１５４により認識されたユーザが複数人であって、表示するエージェント画像が同一であり、且つ所定の装飾品の種類が同一でない場合であり、ユーザの全員が他者の装飾品画像の表示を許可する設定をしている場合（図１８に示すＮｏ．３の場合）、画像制御部１５２は、エージェント画像Ａ１がそれぞれのユーザが設定した所定の装飾品画像ＩＭＡを重ね付けした画像を表示・操作装置２０に表示させる。このとき、出力制御部１５８は、所定の装飾品のそれぞれに関連する出力情報をエージェントにサービスとして提供させてもよいし、いずれかのユーザの設定した装備時情報のみをサービスとして提供させてもよいし、装備時情報を提供させなくてもよい。

一方、ユーザ認識部１５４により認識されたユーザが複数人であって、表示するエージェント画像が異なり、且つ所定の装飾品の種類が同一である場合（図１８に示すＮｏ．４の場合）、画像制御部１５２は、エージェント画像Ａ１とエージェント画像Ａ２のそれぞれが所定の装飾品画像ＩＭＡを装備した画像を表示・操作装置２０に表示させる。このとき、出力制御部１５８は、所定の装飾品のそれぞれに関連する出力情報をエージェントにサービスとして提供させてもよいし、いずれかのユーザの設定した装備時情報のみをサービスとして提供させてもよいし、装備時情報を提供させなくてもよい。

また、ユーザ認識部１５４により認識されたユーザが複数人であって、表示するエージェント画像が異なり、且つ所定の装飾品の種類が同一でない場合であり、ユーザの少なくとも一人が他者の装飾品画像の表示を不許可とする設定をしている場合（図１８に示すＮｏ．５の場合）、画像制御部１５２は、エージェント画像Ａ１およびエージェント画像Ａ２が所定の装飾品画像ＩＭＡを装備していない画像を表示・操作装置２０に表示させる。このとき、出力制御部１５８は、装備時情報をエージェントにサービスとして提供させない。

また、ユーザ認識部１５４により認識されたユーザが複数人であって、表示するエージェント画像が異なり、且つユーザの全員が他者の装飾品画像の表示を許可する設定をしており、一方のエージェントは所定の装飾品を装備する設定であり、他方のエージェントは装飾品を装備しない設定である場合（図１８に示すＮｏ．６の場合）、画像制御部１５２は、エージェント画像Ａ１がユーザにより設定された所定の装飾品画像ＩＭＡを装備し、エージェント画像Ａ２は装飾品を装備していない画像を表示・操作装置２０に表示させる。このとき、出力制御部１５８は、装備時情報をエージェントにサービスとして提供させてもよいし、装備時情報を提供させなくてもよい。

また、ユーザ認識部１５４により認識されたユーザが複数人であって、表示するエージェント画像が異なり、且つユーザの全員が他者の装飾品画像の表示を許可する設定をしており、それぞれのエージェント画像は異なる所定の装飾品を装備する設定である場合（図１８に示すＮｏ．７の場合）、画像制御部１５２は、エージェント画像Ａ１およびエージェント画像Ａ２がユーザにより設定されたそれぞれ異なる所定の装飾品画像ＩＭＡを装備した画像を表示・操作装置２０に表示させる。このとき、出力制御部１５８は、所定の装飾品のそれぞれに関連する出力情報をエージェントにサービスとして提供させてもよいし、いずれかのユーザの設定した装備時情報のみをサービスとして提供させてもよいし、装備時情報を提供させなくてもよい。

なお、出力例の一覧形式には、図１８に示す情報に加えて、装飾品以外の付属画像のグループや表示を許可するか否かの情報に対応付けた出力イメージが含まれていてもよい。また、図１８に示すに示す出力イメージには、エージェントの動作に関する情報（例えば、手を合わせる、お辞儀をする、手を振る、踊る、歩く等）が含まれていてもよい。

［処理フロー］
次に、エージェント装置１００における処理の流れについて説明する。なお、以下では、ユーザによるエージェントや付随画像の設定を受け付ける設定処理と、設定された情報とに基づいて、エージェントの表示制御処理とに分けて説明する。

図１９は、エージェント装置１００による設定処理の流れの一例を示すフローチャートである。図１９に示す処理フローは、例えば、車両Ｍにユーザが乗車する前や、ユーザが所定の装飾品を購入したタイミングなどに行われる。

まず、エージェント装置１００は、ユーザによる表示エージェントの設定を受け付ける
（ステップＳ１００）。次に、エージェント関連情報設定部１５６は、表示・操作装置２０に表示するエージェントの画像と併せて表示する付随情報の登録を受け付ける（ステップＳ１０２）。付随情報には、例えば、購入した装飾品や洋服等の物品の登録や、登録した物品に関する付随画像が含まれる。また、付随情報には、ユーザの誓いに関する情報が併せて登録されてもよい。次に、出力制御部１５８は、付随情報関連ＤＢ２５５を参照して出力情報、出力態様等の付随時情報の候補を提示し（ステップＳ１０４）、ユーザによる付随時情報の選択を受け付け、ユーザ設定情報１６２や付随情報関連ＤＢ２５５に反映する（ステップＳ１０６）。これにより、本フローチャートの処理は、終了する。

図２０は、エージェント装置１００による表示制御処理の流れの一例を示すフローチャートである。図２０に示す処理フローは、例えば、エージェント機能部１５０によりエージェント画像を表示してサービスを提供している最中や、エージェント画像の表示を開始するタイミング、乗員認識装置８０により新たなユーザが認識されたタイミングに行われる。以下では、付随画像の一例として装飾品の画像を用いて説明する。

まず、ユーザ認識部１５４は、乗員認識装置８０により認識されたユーザのユーザ設定情報１６２を呼び出す（ステップＳ２００）。次に、ユーザ認識部１５４は、認識されたユーザが一人か否かを判定する（ステップＳ２０２）。ユーザが一人であると判定された場合、画像制御部１５２は、ユーザ設定情報１６２に格納されたユーザの事前設定に応じて、エージェント画像が所定の装飾品を装備した画像の表示を開始し、出力制御部１５８は、出力情報の設定に基づく情報提供を行う（ステップＳ２０４）。ステップＳ２０４の処理において、出力制御部１５８は、エージェント画像とともに表示される装飾品画像に応じて、エージェントに所定の動作を行わせたり、装飾品画像に応じたレコメンド情報を優先的に出力する制御を行ってもよい。

また、ステップＳ２０２の処理において、認識されたユーザが一人ではない（複数人である）と判定された場合、画像制御部１５２は、認識されたユーザのそれぞれが設定している装飾品の種類が同一であるか否かを判定する（ステップＳ２０６）。なお、ステップＳ２０６の処理において、「装飾品が同一である」とは、装飾品が完全に一致することや、装飾品の種類が同一（または類似）であることが含まれてもよい。また、ステップＳ２０６の処理において、少なくとも一方の装飾品の宗教性がない場合には「装飾品が同一」と判定されてもよい。

ステップＳ２０６の処理において、同一の装飾品であると判定された場合、画像制御部１５２は、装飾品を装備したエージェント画像を表示すると決定する（ステップＳ２０８）。ステップＳ２０６の処理において、同一の種類の装飾品でないと判定された場合、画像制御部１５２は、ユーザ設定情報１６２等を参照し、ユーザが装飾品画像の表示を許容しているか否かを判定する（ステップＳ２１０）。「表示を許容する」とは、ユーザ設定情報１６２の出力態様情報において、何らかの出力パターンで付随画像を表示させると設定されている場合を示す。表示を許容する場合、画像制御部１５２は、ステップＳ２０８に処理を進める。表示を許容しない場合、画像制御部１５２は、装飾品を装備していないエージェント画像を表示すると決定する（ステップＳ２１２）。

ステップＳ２０８またはステップＳ２１２の処理の後、画像制御部１５２は、同一のエージェントを表示するか否かを判定する（ステップＳ２１４）。同一のエージェント画像を表示すると判定した場合、画像制御部１５２は、単一のエージェント画像を表示・操作装置２０に表示すると決定する（ステップＳ２１６）。ステップＳ２１４において異なるエージェント画像を表示すると判定した場合、画像制御部１５２は、複数のエージェント画像を表示・操作装置２０に表示すると決定する（ステップＳ２１８）。ステップＳ２１６またはステップＳ２１８の処理の後、画像制御部１５２は、ステップＳ２０４に処理を進める。以上、本フローチャートの処理の説明を終了する。

上記説明した実施形態のエージェント装置１００によれば、ユーザに、より適切な出力態様で情報を提供することができる。また、本実施形態によれば、エージェント画像に装飾品を付すことでエージェント画像の動作内容を、ユーザが、装飾品ごとに設定することができる。また、エージェント画像が装飾品を装備した状態の画像を表示させることができる。これによりユーザに、仮想的にお守りなどの装飾品を携行させることができる。また、これによりユーザは、装飾品を携行し忘れたり、車両に装飾品を置き忘れたりするといった煩わしさから解放される。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ マイク
２０ 表示・操作装置
３０ スピーカユニット
４０ ナビゲーション装置
５０ 車両機器
６０ 車載通信装置
７０ 汎用通信装置
８０ 乗員認識装置
１００ エージェント装置
１１０ 管理部
１１２ 音響処理部
１１４ 表示制御部
１１６ 設定部
１１６Ａ 画像設定部
１１６Ｂ 情報設定部
１１８ 音声制御部
１５０ エージェント機能部
１５２ 画像制御部
１５４ ユーザ認識部
１５６ エージェント関連情報設定部
１５８ 出力制御部
１６０、２５０ 記憶部
２００ エージェントサーバ
２２０ 音声認識部
２２２ 自然言語処理部
２２４ 対話管理部
２２６ ネットワーク検索部
２２８ 応答文生成部

Claims (9)

1. 出力装置にキャラクタの画像を表示させる表示制御装置であって、
   前記出力装置に、前記キャラクタに関連付けた付随画像を前記キャラクタの画像とともに表示させる設定を受け付ける画像設定部と、
   前記出力装置に前記キャラクタの画像が前記付随画像がとともに表示される場合における前記キャラクタの動作の設定を受け付ける情報設定部と、
   を備える、表示制御装置。
2. 前記情報設定部は、ユーザごとに前記キャラクタの動作の設定を可能とする、
   請求項１に記載の表示制御装置。
3. 前記付随画像は、前記キャラクタが装備する装飾品の画像または前記キャラクタとは異なる他のキャラクタの画像のうち一方または双方を含む、
   請求項１または２に記載の表示制御装置。
4. 前記出力装置を使用するユーザを認識する認識部をさらに備え、
   前記情報設定部は、前記認識部により認識されたユーザが、前記付随画像を表示させる権限を有する場合に、前記出力装置に前記キャラクタの画像が前記付随画像がとともに表示される場合における前記キャラクタの動作の設定を受け付ける、
   請求項１から３のうち何れか１項に記載の表示制御装置。
5. 前記認識部により認識されたユーザが、前記付随画像を表示させる権限を有する場合に、前記キャラクタの動作パターンの設定に関する情報を前記出力装置に出力させる出力制御部を、さらに備える、
   請求項４に記載の表示制御装置。
6. 前記出力装置は、車両に搭載可能な装置であり、
   前記情報設定部は、前記キャラクタの動作を、前記車両の状態に対応付けて設定可能とする、
   請求項１から５のうち何れか１項に記載の表示制御装置。
7. 前記出力制御部は、前記出力装置に複数のキャラクタの画像を表示させる場合に、それぞれのキャラクタの動作を同期または連携させて前記出力装置に表示させる、
   請求項５に記載の表示制御装置。
8. 出力装置にキャラクタの画像を表示させる表示制御装置が、
   前記出力装置に、前記キャラクタに関連付けた付随画像を前記キャラクタの画像とともに表示させる設定を受け付け、
   前記出力装置に前記キャラクタの画像が前記付随画像がとともに表示される場合における前記キャラクタの動作の設定を受け付ける、
   表示制御方法。
9. 出力装置にキャラクタの画像を表示させる表示制御装置に、
   前記出力装置に、前記キャラクタに関連付けた付随画像を前記キャラクタの画像とともに表示させる設定を受け付けさせ、
   前記出力装置に前記キャラクタの画像が前記付随画像がとともに表示される場合における前記キャラクタの動作の設定を受け付けさせる、
   プログラム。

Images