JP2020056607A - 車両用エージェント装置 - Google Patents

Abstract

【課題】擬人化されたキャラクタと乗員とのコミュニケーションが過度になることを防ぎ、乗員に集中して運転させることを可能とする車両用エージェント装置を提供すること。【解決手段】車両用エージェント装置１００は、少なくとも第２表示用パネル４０に表示された擬人化キャラクタ画像Ｉ１、スピーカ１５０、マイク１６０を用いて、ドライバーＨとの対話が可能である。そして、車両用エージェント装置１００は、周辺環境認識部１２０、乗員状態認識部１３０、車両状態認識部１４０の少なくともいずれかから情報を取得し、取得した情報が所定の閾値を超えている場合は、擬人化キャラクタ画像Ｉ１から非擬人化キャラクタ画像Ｉ３に変更する。【選択図】図３

Description

本発明は、乗員と、擬人化されたキャラクタとが、コミュニケーションを図ることが可能な車両用エージェント装置に関する。

自動車などの車両においては、乗員（特にドライバー）の運転環境を整える（例えば、眠気防止を図る）ことで、より安全性を向上させることが継続的な課題であり、このような運転環境を整える手法として、様々な手法が提案されている。
例えば、乗員と、擬人化されたキャラクタ（いわゆるエージェント）とが、コミュニケーションを図ることが可能な車両用エージェント装置も上記手法の１つとして提案されており、このような車両用エージェント装置として、特許文献１では、擬人化されたエージェントを車両内に出現させ、当該エージェントが状況に合わせた行為をすることで、乗員とのコミュニケーションを図ることが提案されている。

特開平１１−３７７６６号公報

上記特許文献１によれば、乗員を飽きさせることなく運転させることができるといった利点は得られるものの、その反面、乗員が擬人化されたエージェントと過度にコミュニケーションを図ってしまい、運転に集中できなくなる、といった問題を抱えていた。

本発明は、このような従来の問題を解決するためになされたもので、擬人化されたキャラクタと乗員とのコミュニケーションが過度になることを防ぎ、乗員に集中して運転させることを可能とする車両用エージェント装置を提供することを目的とする。

本発明に係る車両用エージェント装置は、キャラクタと乗員との双方向のコミュニケーションが可能な車両用エージェント装置であって、前記キャラクタを制御するエージェント制御手段と、車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段と、前記状況取得手段により取得された状況が特定の状況に相当するかを識別する識別手段と、を有し、前記エージェント制御手段は、視覚または聴覚的に擬人化された擬人化キャラクタと乗員との双方向のコミュニケーションの制御を行い、前記識別手段により前記特定の状況に相当すると識別された場合、前記擬人化キャラクタを、視覚または聴覚的に擬人化されたものと乗員が認識できない非擬人化キャラクタに変更させることを特徴とする。

また、前記エージェント制御手段は、前記非擬人化キャラクタを制御しているときは、前記擬人化キャラクタを制御しているときよりも、キャラクタからのコミュニケーションの実行頻度が低下するようにしてもよい。

また、前記エージェント制御手段は、前記擬人化キャラクタから前記非擬人化キャラクタへ変更する過程を報知するようにしてもよい。

さらに、前記エージェント制御手段は、キャラクタと乗員との双方向のコミュニケーションの制御手段として、乗員からの会話の入力があった場合に、入力した会話の内容を乗員に返答する他律型会話制御手段と、乗員からの会話の入力の有無にかかわらず、所定の乗員情報に基づいて、乗員に会話をする自律型会話制御手段と、を有し、前記非擬人化キャラクタを制御しているときは、前記自律型会話制御手段による会話を規制するようにしてもよい。

さらに、前記エージェント制御手段は、前記擬人化キャラクタを前記非擬人化キャラクタに変更させた後、前記識別手段により前記特定の状況に相当すると識別されない場合は、前記擬人化キャラクタに復帰させるようにしてもよい。

本発明によれば、擬人化されたキャラクタと乗員とのコミュニケーションが過度になることを防ぎ、乗員に集中して運転させることを可能とする車両用エージェント装置を提供することができる。

本発明の実施の一形態に係る車両の車室内を示す斜視図である。 第１表示用パネル及び第２表示用パネルを運転席側から視た状態を示す正面図である。 車両用エージェント装置を説明するためのブロック図である。 車両用エージェント装置の制御部によって行われるメインフローチャート図である。 車両用エージェント装置の制御部によって行われる報知制御処理を示すフローチャート図である。 車両用エージェント装置の報知例を示すアニメーション図である。

以下、本発明の実施の形態について、図面を参照して説明する。

以下、本発明の実施形態を、図１は本発明の実施の一形態に係る車両の車室内を示す斜視図、図２は第１表示用パネル３０及び第２表示用パネル４０を運転席側から視た状態を示す正面図、図３は車両用エージェント装置を説明するためのブロック図、図４は車両用エージェント装置の制御部によって行われるメインフローチャート図、図５は車両用エージェント装置の制御部によって行われる報知制御処理を示すフローチャート図、図６は車両用エージェント装置の報知例を示すアニメーション図である。なお、図中ＦＲは車両前方を、ＵＰは車両上方をそれぞれ示している。また、以下の説明における左右方向は、車両に着座した乗員が車両前方を向いた状態での左右方向を意味する。

（車室内における各構成）
図１、図２に示すように、車両１は、運転席２の車両前方側に設けられるインストルメントパネル３と、運転席２とインストルメントパネル３との間に配置されるステアリングホイール４とを有している。ステアリングホイール４は、ステアリングシャフト（図示省略）を介してステアリングコラム（図示省略）に回転自在に取り付けられている。また、ステアリングホイール４の内部には、車両１が衝突等した際に、ドライバーＨに向けて展開するエアバック８が格納されている。

図１に示すように、車両１の車室内には、第１表示用パネル３０と、第２表示用パネル４０と、第３表示用パネル５０との３つの表示パネルが設けられている。これら第１表示用パネル３０と、第２表示用パネル４０とは、運転席２の前方側のインストルメントパネル３にそれぞれ離間して配置され、第３表示用パネル５０は、運転席２の左前方側のインストルメントパネル３に配置されている。

（第１表示用パネル３０）
図１、図２に示すように、第１表示用パネル３０は、アナログ時計のように構成された指針式メータと、液晶パネルとバックライトとが一体的に設けられたいわゆる液晶ディスプレイ装置とを備えて構成されている。ドライバー（運転者）Ｈ（以下、ドライバーＨ）は、第１表示用パネル３０の第１表示領域３０ａに表示される各種情報を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。

図２に示すように、第１表示用パネル３０には、第１表示領域３０ａが設けられており、この第１表示領域３０ａの左右には、車両１の走行速度（スピードメータ）や、エンジンの単位時間当たりの回転数（タコメータ）などの情報を表示する２つの指針式メータと、２つの指針式メータの間であって第１表示用パネル３０の中央部には、一般的な車両情報を示す画像を表示する小型の液晶ディスプレイ装置とが配置される。なお、第１表示用パネル３０は、指針式メータを備えずに、全体を１つの液晶ディスプレイ装置で構成してもよい。

（第２表示用パネル４０）
図１、図２に示すように、第２表示用パネル４０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されており、その下端部の左右方向の両端部には、それぞれ、相反する方向に突出する一対の回動軸４１が取り付けられている。この回動軸４１が支持部材（図示省略）によって軸支されることによって、上方に向けて起立する起立位置と、車両前方へ向けて倒伏する倒伏位置との間で可変自在に取り付けられている。ドライバーＨは、第２表示用パネル４０の第２表示領域４０ａに表示される各種画像を、ステアリングホイール４の上側空間部４ａを介して視ることが可能となっている。なお、第２表示用パネル４０は、起立位置と倒伏位置との間で可変自在に構成したが、支持部材から起立したまま突出する突出位置と支持部材の内部に格納される格納位置との間で上下に可変自在に構成してもよいし、可変不能に固定されていてもよい。

図２に示すように、第２表示用パネル４０には、第２表示領域４０ａが設けられており、この第２表示領域４０ａに、擬人化キャラクタ画像Ｉ１や、擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２（図６参照）が表示される。第２表示領域４０ａは、上述のスピードメータと、タコメータとの間に位置するので、ドライバーＨは、視線を大きく移動させることなく、スピードメータの確認、タコメータの確認、擬人化キャラクタ画像Ｉ１およびセリフ画像Ｉ２、および非擬人化キャラクタ画像Ｉ３の確認ができるようになっている。なお、擬人化キャラクタ画像Ｉ１や非擬人化キャラクタ画像Ｉ３を用いた特徴部については図６で後述する。

（第３表示用パネル５０）
図１に示すように、第３表示用パネル５０は、例えば、液晶パネルとバックライトとが一体的に設けられた、いわゆる液晶ディスプレイ装置で構成されている。なお、第３表示用パネル５０には地図情報等が表示され、いわゆるカーナビゲーションシステムを担っている。

なお、第１表示用パネル３０、第２表示用パネル４０及び第３表示用パネル５０において構成されている液晶ディスプレイ装置を、プラズマディスプレイや有機ＥＬ等の自発光型の表示デバイス、投影型のプロジェクタ等の表示装置で構成してもよい。

（操作ボタン６０）
図２に示すように、操作ボタン６０は、上下左右の４方向のキーが設けられた操作デバイスであって、本発明の車両用エージェント装置の制御部１１０（図３参照）に対して、操作信号を入力可能となっている。これにより、例えば、擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声の音量値の変更や、擬人化キャラクタ画像Ｉ１の表示位置の変更等ができるようになっている。

次に、本発明における車両用エージェント装置１００の構成について、図３のブロック図を参照して説明する。

図３に示すように、車両用エージェント装置１００は、制御部１１０と、周辺環境認識部１２０と、乗員状態認識部１３０と、車両状態認識部１４０と、第２表示用パネル４０と、操作ボタン６０と、スピーカ１５０と、マイク１６０と、記憶部１７０と、送受信機１８０と、で構成されている。

なお、図３に示す車両用エージェント装置１００は一例にすぎず、車両用エージェント装置１００の構成要素は適宜変更ができる。例えば、周辺環境認識部１２０と、乗員状態認識部１３０と、車両状態認識部１４０と、は少なくともいずれか１つを備えていれば、本発明の車両用エージェント装置１００を実現できるし、操作ボタン６０と、記憶部１７０と、送受信機１８０と、は備えなくても、本発明の車両用エージェント装置１００を実現できる。また、少なくともスピーカ１５０と、マイク１６０とを備えていれば、第２表示用パネル４０は備えなくても、本発明の車両用エージェント装置１００を実現できる。

また、本発明における車両用エージェント装置１００は、例えば、マイク１６０を介してドライバーＨから音声入力（例えば、問いかけ）が行われた場合に、それに対する返答をスピーカ１５０や第２表示用パネル４０（擬人化キャラクタ画像Ｉ１）を介して行う、受動的なスタイルでの対話と、例えば、後述のマイク１６０を介してドライバーＨから音声入力が行われていなくても、ドライバーＨの趣味嗜好に併せた話題等をスピーカ１５０や第２表示用パネル４０（擬人化キャラクタ画像Ｉ１）を介して車両用エージェント装置１００側から行う、能動的なスタイルでの対話と、の両方が可能である。特に、能動的なスタイルでの対話を可能とすることで、積極的な語りかけにより、ドライバーＨの眠気防止や運転ストレスの解消に寄与できる。

（制御部１１０）
制御部１１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ（例えば、リングバッファ）、入出力ポート等を備えており、例えば、入力ポートより情報入力が行われると、ＲＯＭから読み出した制御プログラムに基づいて、出力ポートを介して各種デバイス（第２表示用パネル４０やスピーカ１５０）を制御するようになっている。

なお、制御部１１０のＲＯＭには、擬人化キャラクタ画像Ｉ１や、非擬人化キャラクタ画像Ｉ３から発せられるセリフのデータテーブル（図示省略）が記憶されている。制御部１１０のＣＰＵは、後述する各認識部から取得した情報や、マイク１６０から取得した情報に基づいて、擬人化キャラクタ画像Ｉ１や、非擬人化キャラクタ画像Ｉ３から発するセリフをデータテーブルから決定する。例えば、ＢＧＭをかけて欲しいとの情報をマイク１６０から取得したら、データテーブルから「了解しました」といった擬人化キャラクタ画像Ｉ１のセリフを決定する。

（周辺環境認識部１２０）
周辺環境認識部１２０は、車両１（自車両）の周辺環境を認識するために設けられている。また、周辺環境認識部１２０は、車外撮影用カメラ１２０ａと、レーダ１２０ｂとを備えており、これらのデバイスによって車両１の周辺環境を認識することができるようになっている。

（車外撮影用カメラ１２０ａ）
車外撮影用カメラ１２０ａは、例えば、図示しないルームミラーに取り付けられており、車両１の前方、および、車両１の後方を撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の後方の状況をリアルタイムおよび事後的に認識することができる。

（レーダ１２０ｂ）
レーダ１２０ｂは、例えば、電波を飛ばして障害物等を検知するミリ波レーダが用いられており、当該ミリ波レーダが車両１のフロントバンパやリアバンパに取り付けられ、車両１の前方監視、車両１の前側方監視、車両１の後側方監視ができるようになっている。そして、監視情報が制御部１１０に入力されて、制御部１１０がＲＡＭに監視情報を記憶する。これにより、制御部１１０は、車両１の前方、車両１の前側方の状況、車両１の後側方の状況をリアルタイムおよび事後的に認識することができる。なお、本実施形態においてはミリ波レーダを用いているが、他のレーダを用いてもよい。例えば、赤外線レーダでもよい。

以上のようにして、制御部１１０は、車両１の周辺環境をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の周辺環境の認識に基づいて、第２表示用パネル４０の擬人化キャラクタ画像Ｉ１と、スピーカ１５０とを制御して、車両１の周辺環境の情報をドライバーＨに対して報知することができる。例えば、車両１の前方に落下物があれば、「前方に落下物があります」といった画像および音声による報知ができる。これにより、安全性を向上させることができる。

なお、本実施形態においては、周辺環境認識部１２０として、車外撮影用カメラ１２０ａと、レーダ１２０ｂとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。

（乗員状態認識部１３０）
乗員状態認識部１３０は、ドライバーＨの状態を認識するために設けられている。また、乗員状態認識部１３０は、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを備えており、これらのデバイスによってドライバーＨの状態を認識することができるようになっている。

（乗員撮影用カメラ１３０ａ）
乗員撮影用カメラ１３０ａは、例えば、インストルメントパネル３に取り付けられており、ドライバーＨを撮影できるようになっている。そして、撮影した画像情報が制御部１１０に入力されて、制御部１１０がＲＡＭに画像情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。なお、ここでいう、ドライバーＨの状態とは、具体的には、ドライバーＨの目蓋の状態や、瞬きの回数、視線の方向、顔の向きなどが想定される。

（バイタルセンサ１３０ｂ）
バイタルセンサ１３０ｂは、例えば、ステアリングホイール４のドライバーＨにより把持される部位に取り付けられ、ドライバーＨの心拍数や血圧等のバイタル情報を取得できるようになっている。そして、取得したバイタル情報が制御部１１０に入力されて、制御部１１０がＲＡＭにバイタル情報を記憶する。これにより、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。

以上のようにして、制御部１１０は、ドライバーＨの状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、ドライバーＨの状態の認識に基づいて、第２表示用パネル４０の擬人化キャラクタ画像Ｉ１と、スピーカ１５０とを制御して、所定の情報をドライバーＨに対して報知することができる。例えば、「目蓋が下がっておりますが、休憩しませんか？」といった画像および音声による報知や、「いつもより心拍数が速いですが、休憩しませんか？」といった画像および音声による報知ができる。これにより、安全性の向上に繋がる。

乗員状態認識部１３０は、乗員撮影用カメラ１３０ａやバイタルセンサ１３０ｂから取得した情報や、マイク１６０から入力した情報に基づいて、ある程度の範囲でドライバーＨの思考感情を認識することができる。例えば、乗員撮影用カメラ１３０ａよりドライバーＨの顔の表情を取得し、バイタルセンサ１３０ｂよりドライバーＨの心拍数や血圧を取得し、マイク１６０より声量や入力内容を取得し、これらの取得した情報からドライバーＨが通常の思考感情にあるか、通常とは異なる思考感情（例えば、驚いている、怒っているなど）にあるかを認識することができる。

なお、本実施形態においては、乗員状態認識部１３０として、乗員撮影用カメラ１３０ａと、バイタルセンサ１３０ｂとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。

（車両状態認識部１４０）
車両状態認識部１４０は、車両１の状態を認識するために設けられている。また、車両状態認識部１４０は、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅとを備えており、これらのデバイスによって車両１の状態を認識することができるようになっている。

（車速センサ１４０ａ）
車速センサ１４０ａは、車両１の車速を検出するためのセンサであって、検出された車速が車速信号として制御部１１０に入力されて、制御部１１０がＲＡＭに車速情報を記憶する。これにより、制御部１１０は、車両１の車速をリアルタイムおよび事後的に認識することができる。

（ハンドル角センサ１４０ｂ）
ハンドル角センサ１４０ｂは、車両１のハンドル角（ステアリングホイール４の角度）を検出するためのセンサであって、検出されたハンドル角が角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに角度情報を記憶する。これにより、制御部１１０は、車両１のハンドル角（ステアリングホイール４の角度）をリアルタイムおよび事後的に認識することができる。

（アクセルペダルセンサ１４０ｃ）
アクセルペダルセンサ１４０ｃは、図示しないアクセルペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のアクセルペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。

（ブレーキペダルセンサ１４０ｄ）
ブレーキペダルセンサ１４０ｄは、図示しないブレーキペダルの踏み込み量を検出するためのセンサであって、検出された踏み込み量が踏み込み量信号として制御部１１０に入力されて、制御部１１０がＲＡＭに踏み込み量情報を記憶する。これにより、制御部１１０は、車両１のブレーキペダルの踏み込み量をリアルタイムおよび事後的に認識することができる。

（Ｇセンサ１４０ｅ）
Ｇセンサ１４０ｅは、車両１の加速度、減速度及び傾斜を検出するためのセンサであって、加速度が検出された場合は加速度量が、減速度が検出された場合は減速度量が、傾斜が検出された場合は傾斜角度量が、それぞれ加速度量信号、減速度量信号、傾斜角度信号として制御部１１０に入力されて、制御部１１０がＲＡＭに加速度情報、減速度情報及び傾斜情報を記憶する。これにより、制御部１１０は、車両１の加速度、減速度及び傾斜をリアルタイムおよび事後的に認識することができる。

以上のようにして、制御部１１０は、車両１の状態をリアルタイムおよび事後的に認識することができる。これにより、制御部１１０は、車両１の状態の認識に基づいて、第２表示用パネル４０の擬人化キャラクタ画像Ｉ１と、スピーカ１５０とを制御して、車両１の状態の情報をドライバーＨに対して報知することができる。例えば、適切な速度で走行していれば、「適切な速度で走行されていますね」といった画像および音声による報知ができる。これにより、安全性の向上に繋がる。

なお、本実施形態においては、車両状態認識部１４０として、車速センサ１４０ａと、ハンドル角センサ１４０ｂと、アクセルペダルセンサ１４０ｃと、ブレーキペダルセンサ１４０ｄと、Ｇセンサ１４０ｅとを挙げたが、一例にすぎず、他のデバイスを用いても勿論よい。

（スピーカ１５０）
スピーカ１５０は、例えば、インストルメントパネル３に取り付けられており、擬人化キャラクタ画像Ｉ１から発せられるセリフ画像Ｉ２に対応する音声が出力される。なお、スピーカ１５０を設けずに、車両１に内蔵されているオーディオスピーカを用いてもよい。

（マイク１６０）
マイク１６０は、例えば、インストルメントパネル３に取り付けられており、ドライバーＨ、その他乗員から発せられる音声が入力される。

（記憶部１７０）
記憶部１７０は、上述した各認識部から取得した情報や、ドライバーＨと制御部１１０とで行われた対話等を記憶することが可能である。制御部１１０は、これらの情報を記憶部１７０に蓄積していくことで、ドライバーＨの運転傾向（例えば、どのような運転を行うドライバーであるのか）や、ドライバーＨの趣味嗜好（例えば、どのようなＢＧＭが好みであるのか）等を認識することができる。また、これらを認識することで、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。

（送受信機１８０）
送受信機１８０は、例えば、車載用の無線ＬＡＮを用いた情報の取得や、衛星測位システムを用いた位置情報の取得などが可能である。制御部１１０は、これら取得した情報や、上述の記憶部１７０に蓄積した情報に基づいて、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好に併せた対話を車両用エージェント装置１００側（擬人化キャラクタ画像Ｉ１）から能動的に行うこともできる。

次に、上述した受動的なスタイルでの対話、および、能動的なスタイルでの対話や、後述する危険因子の有無に応じたキャラクタ画像の変更等を実現するにあたり、制御部１１０によって行われる制御処理を図４、図５を用いて行う。なお、図４、図５で示す制御フローは制御部１１０のＲＯＭに記憶されており、制御部１１０のＣＰＵがＲＯＭから読み出して各種処理を行う。

はじめに、図４は制御部１１０によって行われるメイン処理である。当該メイン処理は、制御部１１０によって所定の周期毎に定期的に行われる処理である。

（ステップＳ１０）
ステップＳ１０において、制御部１１０のＣＰＵは、車両状態認識処理を行う。具体的には、車両状態認識部１４０から入力した情報に基づいて、車両１における状態を認識する。そして、車両状態認識処理を終えると、ステップＳ２０に処理を移行する。

（ステップＳ２０）
ステップＳ２０において、制御部１１０のＣＰＵは、周辺環境認識処理を行う。具体的には、周辺環境認識部１２０から入力した情報に基づいて、車両１における周辺環境を認識する。そして、周辺環境認識処理を終えると、ステップＳ３０に処理を移行する。

（ステップＳ３０）
ステップＳ３０において、制御部１１０のＣＰＵは、乗員状態認識処理を行う。具体的には、乗員状態認識部１３０から入力した情報に基づいて、ドライバーＨの状態を認識する。そして、乗員状態認識処理を終えると、ステップＳ４０に処理を移行する。

（ステップＳ４０）
ステップＳ４０において、制御部１１０のＣＰＵは、危険因子抽出処理を行う。具体的には、ステップＳ１０〜ステップＳ３０にて各種情報を認識した結果、危険因子が含まれているかを抽出する処理を行う。

ここで、本実施形態における「危険因子」とは、ドライバーＨが車両用エージェント装置と過度にコミュニケーションを図ってしまい、運転に集中していない危険因子を意味し、ドライバーＨのコミュニケーション依存推定値（キャラクタへの視線の保持秒数、キャラクタとの単位時間当たりの会話回数・会話時間、心拍数、血圧等）が挙げられる。

各認識部から取得する各情報には、所定の閾値を設けており、取得した各情報が所定の閾値を超えている場合に、危険因子が含まれていると判断する。乗員状態認識部１３０による認識により、例えば、ドライバーＨの視線が擬人化キャラクタ画像Ｉ１に３秒以上向いていると、所定の閾値を超え、危険因子が含まれていると判断される。そして、危険因子抽出処理を終えると、ステップＳ５０に処理を移行する。

（ステップＳ５０）
ステップＳ５０において、制御部１１０のＣＰＵは、特定の状況であるか、を判定する。なお、特定の状況とは、各認識部から取得した情報が、所定の閾値を超え、危険因子が含まれている状況をいう。すなわち、ステップＳ４０で危険因子抽出処理を行った結果、危険因子が含まれているかを判定する。そして、特定の状況であると判定した場合は、ステップＳ６０に処理を移行し、特定の状況ではないと判定した場合は、ステップＳ７０に処理を移行する。

（ステップＳ６０）
ステップＳ６０において、制御部１１０のＣＰＵは、危険因子のレベルに対応した特定のキャラクタへの変更処理を行う。この特定のキャラクタとは、非擬人化キャラクタ及び非擬人化キャラクタに変更する前の特殊な擬人化キャラクタが意味し、危険因子があり、その危険因子のレベルが低いときには、特殊な擬人化キャラクタ（例えば、図６（ｂ）で示す特殊な擬人化キャラクタ画像Ｉ２）に変更し、危険因子のレベルが高いときには、非擬人化キャラクタ（例えば、図６（ｃ）で示す非擬人化キャラクタ画像Ｉ３）に変更する。

そして、当該処理においては、制御部１１０のＣＰＵがＲＡＭにおいて、擬人化キャラクタに対応する識別フラグ「０」に代えて、非擬人化キャラクタを含む特定のキャラクタに対応する識別フラグ「１」をセットする。そして、危険因子のレベルに対応した特定キャラクタへの変更処理を終えると、ステップＳ７０に処理を移行する。

ここで、擬人化キャラクタとは、視覚上であれば、人間を想起できるキャラクタ画像が想定され、聴覚上であれば、人間の表現力や言語能力を想起できるキャラクタ音声が想定される。一方、非擬人化キャラクタとは、視覚上であれば、人間を想起できないキャラクタ画像が想定され、聴覚上であれば、人間の表現力や言語能力を想起できないキャラクタ音声が想定される。

なお、非擬人化キャラクタは、１種類備えていてもよいし、複数種類備えていてもよい。非擬人化キャラクタを複数種類備える場合には、当該処理において、危険因子のレベルを判断した上で、変更する非擬人化キャラクタを決定してもよい。さらには、危険因子があると判定した場合には、危険因子のレベルによらずに、非擬人化キャラクタに変更させてもよい。すなわち、特殊な擬人化キャラクタに変更しなくてもよい。

（ステップＳ７０）
ステップＳ７０において、制御部１１０のＣＰＵは、特定の状況なしか、を判定する。具体的には、ステップＳ４０で危険因子を抽出した結果、危険因子が抽出されなかったか、すなわち、特定の状況になかったかを判定する。そして、特定の状況になかったと判定した場合は、ステップＳ８０に処理を移行し、特定の状況にあったと判定した場合は、ステップＳ１００に処理を移行する。

（ステップＳ８０）
ステップＳ８０において、制御部１１０のＣＰＵは、非擬人化キャラクタを含む特定のキャラクタをセット中であるか、を判定する。具体的には、ＲＡＭの識別フラグを参照して、「０」がセットされていれば、擬人化キャラクタをセット中であると認識し、「１」がセットされていれば、非擬人化キャラクタを含む特定のキャラクタをセット中であると認識する。すなわち、当該処理においては、ＲＡＭの識別フラグに「１」がセットされているかを判定する。そして、非擬人化キャラクタを含む特定のキャラクタをセット中であると判定した場合は、ステップＳ９０に処理を移行し、非擬人化キャラクタを含む特定のキャラクタをセット中ではないと判定した場合は、ステップＳ１００に処理を移行する。

（ステップＳ９０）
ステップＳ９０において、制御部１１０のＣＰＵは、擬人化されたキャラクタへの変更処理を行う。具体的には、ＲＡＭの識別フラグ「１」に代えて、「０」をセットする。このように、危険因子が抽出されなかった場合は、非擬人化キャラクタを含む特定のキャラクタから通常の擬人化キャラクタに変更する。これにより、車両用エージェント装置１００側からの能動的なスタイルでの対話（後述の自律的対話）が可能となる。そして、擬人化されたキャラクタへの変更処理を終えると、ステップＳ１００に処理を移行する。

（ステップＳ１００）
ステップＳ１００において、制御部１１０のＣＰＵは、報知制御処理を行う。なお、報知制御処理は、後に図５を用いて詳述する。そして、報知制御処理を終えると、メイン処理を終了する。

次に、図５を用いて、制御部１１０のＣＰＵにより行われる報知制御処理について説明を行う。図５は、図４のステップＳ１００のサブルーチンである。

（ステップＳ１０１）
ステップＳ１０１において、制御部１１０のＣＰＵは、非擬人化キャラクタを含む特定のキャラクタをセット中であるか、を判定する。具体的には、ＲＡＭの識別フラグを参照して、「１」がセットされているかを判定する。そして、非擬人化キャラクタを含む特定のキャラクタをセット中であると判定した場合は、ステップＳ１０２に処理を移行し、非擬人化キャラクタを含む特定のキャラクタをセット中ではないと判定した場合は、ステップＳ１０３に処理を移行する。

（ステップＳ１０２）
ステップＳ１０２において、制御部１１０のＣＰＵは、自律型対話規制処理を行う。具体的には、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話を規制するための処理を行う。これにより、車両用エージェント装置１００側からの画像および音声による語りかけは行われなくなり、乗員からの会話入力があった場合にのみ、画像おより音声により応答することになる。そして、自律型対話規制処理を終えると、ステップＳ１０４に処理を移行する。

なお、自律型対話規制処理が行われると、車両用エージェント装置１００側からの画像および音声による語りかけを「０」（全く行われない）にしてもよいし、自律型対話規制処理が行われていない場合よりも語りかけの実行頻度を下げてもよい。いずれにしても、自律型対話規制処理が行われていない場合に比べて、車両用エージェント装置１００側からの画像および音声による語りかけの実行頻度が低下していればよい。これにより、危険因子が抽出された際は、ドライバーＨを運転に集中させることができる。

（ステップＳ１０３）
ステップＳ１０３において、制御部１１０のＣＰＵは、自律型対話制御処理を行う。具体的には、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話を行うための処理を行う。例えば、ドライバーＨが乗車して、直線道路を走行している状態になったときなどにおいて、擬人化キャラクタ画像Ｉ１から「昨日は、○○様が応援している△△チームが負けてしまいました・・・」などといったことが音声および画像で報知（語りかけ）される。なお、当該語りかけにドライバーＨが応答すれば、話題は継続される（後述のステップＳ１０５〜ステップＳ１０７）。例えば、ドライバーＨがマイク１６０を介して、「今日は、□□選手が出るから勝つよ」などと応答すれば、擬人化キャラクタ画像Ｉ１が「そうですね！□□選手は頼もしいですからね！」などといった双方向での対話が可能である。一方、ドライバーＨが応答しなければ、所定時間後に別の話題を持ち出して、再度擬人化キャラクタ画像Ｉ１から報知（語りかけ）が行われる。なお、複数回語りかけを行ったものの、ドライバーＨからの応答がない場合は、ドライバーＨが会話を行いたくない状態にあると認識して、語りかけの実行頻度を下げることもできる。そして、自律型対話制御処理を終えると、ステップＳ１０４に処理を移行する。

（ステップＳ１０４）
ステップＳ１０４において、制御部１１０のＣＰＵは、乗員の会話入力があったかを判定する。具体的には、マイク１６０の入力ポートより音声入力が行われたかを判定する。なお、制御部１１０には、図示しない公知の音声認識部が設けられており、当該音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断するようになっている。また、ここでいう乗員とは、ドライバーＨに限らず、他の乗員であってもよい。また、マイク１６０による音声入力に限らず、操作ボタン６０による操作入力によって会話入力ができてもよい。ただし、安全性を鑑みて、ワンタッチ操作での会話入力ができることが好ましい。また、当該処理における乗員の会話入力は、上述した受動的なスタイルでの対話も含む。そして、乗員の会話入力があったと判定した場合は、ステップＳ１０５に処理を移行し、乗員の会話入力がなかったと判定した場合は、ステップＳ１０６に処理を移行する。

（ステップＳ１０５）
ステップＳ１０５において、制御部１１０のＣＰＵは、対応する会話内容の応答制御処理を行う。具体的には、上述の音声認識部により、入力された音声（会話の内容）がどのような内容であるのかを判断して、応答内容を決定し、セリフの表示データ、およびセリフの音声データを生成する。そして、対応する会話内容の応答制御処理を終えると、ステップＳ１０６に処理を移行する。

なお、対応する会話内容の応答制御処理においては、上述の自律型対話規制処理が行われた場合であっても、対応する会話内容の応答は可能としている。つまり、危険因子が抽出され、非擬人化キャラクタがセットされ、車両用エージェント装置１００の自律型対話が規制された場合であっても、ドライバーＨから音声入力があれば、当該入力内容の応答は行うようになっている。例えば、危険因子が抽出され、非擬人化キャラクタがセットされ、車両用エージェント装置１００の自律型対話が規制された場合、ドライバーＨから「渋滞はどれくらい？」という音声入力があれば、「約２０ｋｍです」といった応答が行われる。これにより、危険因子が抽出された場合であっても、ドライバーＨは、必要情報を車両用エージェント装置１００から取得することができる。

なお、危険因子が抽出され、非擬人化キャラクタがセットされ、車両用エージェント装置１００の自律型対話が規制された場合は、応答も規制してもよい。また、抽出した危険因子や危険因子のレベルに応じて、応答を規制または許容してもよい。

（ステップＳ１０６）
ステップＳ１０６において、制御部１１０のＣＰＵは、画像表示処理を行う。具体的には、ステップＳ１０３において決定されたセリフの表示データや、ステップＳ１０５で生成したセリフの表示データを出力し、第２表示用パネル４０に当該セリフを表示する処理を行う。そして、画像表示処理を終えると、ステップＳ１０７に処理を移行する。

（ステップＳ１０７）
ステップＳ１０７において、制御部１１０のＣＰＵは、音出力処理を行う。具体的には、ステップＳ１０３において決定されたセリフの音声データや、ステップＳ１０５で生成したセリフの音声データを出力し、スピーカ１５０より当該セリフを出力する処理を行う。そして、音出力処理を終えると、メイン処理を終了する。以上のような処理によって、上述した車両用エージェント装置１００側から行う、能動的なスタイルでの対話や、受動的なスタイルでの対話や、危険因子の有無に応じたキャラクタ画像の変更等が実現される。

次に、図６を用いて、上述した制御処理によって行われる報知例を説明する。なお、図６においては、第２表示用パネル４０の表示画面を表しており、スピーカ１５０は図示を省略しているが、セリフに対応した音声はスピーカ１５０より出力されているものとして説明する。

図６（ａ）は、例えば、能動的なスタイルでの対話を示しており、車両用エージェント装置１００側（擬人化キャラクタ画像Ｉ１）から天気の話題に関する語りかけ（セリフ画像Ｉ２）が行われていることを示している。なお、図示では省略するが、図６（ａ）の後、ドライバーＨと車両用エージェント装置１００との対話が数回行われ、ドライバーＨが対話に夢中になるあまり、ドライバーＨの視線が擬人化キャラクタ画像Ｉ１に３秒以上向いた、と仮定している。

この場合、図６（ｂ）に示すように、擬人化キャラクタ画像Ｉ１が段階的に崩れていく表示態様（キャラクタ画像Ｉ１にひびが生じる表示態様）となり、セリフ画像Ｉ２も「・・・」となり、擬人化キャラクタ画像Ｉ１が失われていく表示態様になる。つまり、ドライバーＨが対話に夢中になるあまり、例えば、ドライバーＨの視線が安全性を欠いていると制御部１１０が認識した場合は、図６（ａ）で示す擬人化キャラクタ画像Ｉ１から図６（ｂ）で示す特殊な擬人化キャラクタ画像Ｉ２に変化させる。これにより、キャラクタが変化したこと（過程）をドライバーＨに強く認識させることができる。なお、このときＢＧＭを流している場合は、ＢＧＭを停止することで特殊な擬人化キャラクタ画像Ｉ２に変化したことを報知するようにしてもよい。また、ＢＧＭを流している場合は、ＢＧＭの音量値を低下させることで特殊な擬人化キャラクタ画像Ｉ２に変化したことを報知するようにしてもよい。また、ＢＧＭを流していない場合は、音を出力して特殊な擬人化キャラクタ画像Ｉ２に変化したことを報知するようにしてもよい。

図６（ｃ）は、図６（ｂ）からさらに段階的に変化し、非擬人化キャラクタ画像Ｉ３に変化した様子を示している。すなわち、図６（ｂ）で示す特殊な擬人化キャラクタ画像Ｉ２に変化したにも関わらず、例えば、ドライバーＨの視線がなおも特殊な擬人化キャラクタ画像Ｉ２に所定時間（例えば、２秒）ある場合は、特殊な擬人化キャラクタ画像Ｉ２から非擬人化キャラクタ画像Ｉ３に変化させる。非擬人化キャラクタ画像Ｉ３は、例えば、ロボットを模した画像であり、ドライバーＨは、視覚上、人間を想起できないキャラクタ画像が表示されていると認識する。これにより、キャラクタが変化したこと（過程）をドライバーＨに強く認識させることができる。なお、上述の特殊な擬人化キャラクタ画像Ｉ２へ変化したタイミングでＢＧＭを停止させずに、非擬人化キャラクタ画像Ｉ３へ変化したタイミングでＢＧＭを停止させてもよい。また、特殊な擬人化キャラクタ画像Ｉ２へ変化したタイミングでＢＧＭの音量値を低下させ、非擬人化キャラクタ画像Ｉ３へ変化したタイミングでＢＧＭを停止させてもよい。また、ＢＧＭを流していない場合は、音を出力して非擬人化キャラクタ画像Ｉ３に変化したことを報知するようにしてもよい。

そして、人間を想起できないキャラクタ画像（非擬人化キャラクタ画像Ｉ３）が表示されていると認識したドライバーＨは、車両用エージェント装置１００とこれ以上のコミュニケーションを図ることは困難である、と考えるようになる。これにより、例えば、ドライバーＨの視線を車両１の前方に向けさせて、運転に集中させることができる。

また、図６（ｂ）で示す特殊な擬人化キャラクタ画像Ｉ２に変化させた後、ドライバーＨの視線が車両１の前方にあること（安全性が保たれていること）を制御部１１０が認識した場合は、非擬人化キャラクタ画像Ｉ３に変化させずに、擬人化キャラクタ画像Ｉ１に変化（復帰）させる。このように、擬人化キャラクタ画像Ｉ１から一旦、特殊な擬人化キャラクタ画像Ｉ２に変化させて、その後のドライバーＨの視線によって、擬人化キャラクタ画像Ｉ１に戻したり、非擬人化キャラクタ画像Ｉ３にさらに変化させたりする。これにより、特殊な擬人化キャラクタ画像Ｉ２によって、ドライバーＨに一旦注意を促すことができる。

なお、上記実施形態においては、危険因子があり、その危険因子のレベルが低い期間は、特殊な擬人化キャラクタ画像Ｉ２の表示を保持するように構成したが、特殊な擬人化キャラクタ画像Ｉ２を表示せずに、いきなり非擬人化キャラクタ画像Ｉ３に変更させてもよい。さらには、危険因子があると判定した場合に、通常の擬人化キャラクタ画像Ｉ１から非擬人化キャラクタ画像Ｉ３に変更するときに、非擬人化キャラクタ画像Ｉ３に変更する前のアニメーション（動画）として、特殊な擬人化キャラクタ画像Ｉ２を表示させてもよい。

（変形例）
以下に、想定される変形例を追記する。

上記実施形態においては、第２表示用パネル４０を第１表示用パネル３０と別個に設けて、当該第２表示用パネル４０に擬人化キャラクタ画像Ｉ１等を表示したが、第２表示用パネル４０は設けずに、第１表示用パネル３０に擬人化キャラクタ画像Ｉ１等を表示するようにしてもよい。

また、第２表示用パネル４０は設けずに、第３表示用パネル（カーナビゲーションシステムを担う表示装置）に擬人化キャラクタ画像Ｉ１等を表示するようにしてもよい。

また、第２表示用パネル４０に代えて、例えば、フロントガラスに情報を投影するヘッドアップディスプレイを用いて、フロントガラスに擬人化キャラクタ画像Ｉ１等を表示してもよい。

また、擬人化キャラクタ画像Ｉ１等は表示せずに、スピーカ１５０と、マイク１６０とを用いて、音のみで対話を行うようにしてもよい。この場合、聴覚上、擬人化キャラクタ画像Ｉ１に代えて、人間の表現力や言語能力を想起できるキャラクタ音声を用いればよく、非擬人化キャラクタ画像Ｉ３に代えて、人間の表現力や言語能力を想起できないキャラクタ音声（例えば、機械的な音声）を用いればよい。

また、周辺環境認識部１２０、乗員状態認識部１３０、車両状態認識部１４０を設けて、いずれもの認識部から情報を取得し、認識するようにしたが、いずれか１の認識部のみを設けても本発明を実現できるし、いずれか２の認識部を設けても本発明を実現できる。

例えば、乗員状態認識部１３０のみを設ける場合は、乗員撮影用カメラ１３０ａを用いて、乗員の視線や顔の向き等を測定し、さらに測定した値が所定の閾値を超えたかどうかを判定し、超えた場合には、危険因子に対応した非擬人化キャラクタへの変更処理を行うようにすればよい。

（対応関係について）
本実施形態において、制御部１１０は、本発明の、キャラクタを制御するエージェント制御手段を構成する。

また、本実施形態において、周辺環境認識部１２０、乗員状態認識部１３０、車両状態認識部１４０は、本発明の、車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段を構成する。

また、本実施形態において、制御部１１０は、本発明の、状況取得手段により取得された状況が特定の状況に相当するかを識別する識別手段を構成する。

また、本実施形態において、擬人化キャラクタ画像Ｉ１は、本発明の、視覚または聴覚的に擬人化された擬人化キャラクタを構成する。

また、本実施形態において、非擬人化キャラクタ画像Ｉ３は、本発明の、視覚または聴覚的に擬人化されたものと乗員が認識できない非擬人化キャラクタを構成する。

また、本実施形態において、乗員の会話入力があった場合に対応する会話内容の応答制御処理を行う制御部１１０は、本発明の、キャラクタと乗員との双方向のコミュニケーションの制御手段としての他律型会話制御手段を構成する。

また、本実施形態において、乗員からの会話入力の有無に関わらず、自律的対話制御処理を行う制御部１１０は、本発明の、キャラクタと乗員との双方向のコミュニケーションの制御手段としての自律型会話制御手段を構成する。

また、本実施形態において、ドライバーＨの運転傾向や、ドライバーＨの趣味嗜好は、本発明の、所定の乗員情報を構成する。

１：車両、４０：第２表示用パネル、１１０：制御部、１２０：周辺環境認識部、１３０：乗員状態認識部、１４０：車両状態認識部、１５０：スピーカ、１６０：マイク

Claims (5)

1. キャラクタと乗員との双方向のコミュニケーションが可能な車両用エージェント装置であって、
   前記キャラクタを制御するエージェント制御手段と、
   車両の運転若しくは周辺環境の状況、又は乗員の身体若しくは思考の状況の少なくともいずれかの状況を取得する状況取得手段と、
   前記状況取得手段により取得された状況が特定の状況に相当するかを識別する識別手段と、を有し、
   前記エージェント制御手段は、
   視覚または聴覚的に擬人化された擬人化キャラクタと乗員との双方向のコミュニケーションの制御を行い、
   前記識別手段により前記特定の状況に相当すると識別された場合、前記擬人化キャラクタを、視覚または聴覚的に擬人化されたものと乗員が認識できない非擬人化キャラクタに変更させる、
   ことを特徴とする車両用エージェント装置。
2. 前記エージェント制御手段は、
   前記非擬人化キャラクタを制御しているときは、前記擬人化キャラクタを制御しているときよりも、キャラクタからのコミュニケーションの実行頻度が低下する、
   ことを特徴とする請求項１に記載の車両用エージェント装置。
3. 前記エージェント制御手段は、
   前記擬人化キャラクタから前記非擬人化キャラクタへ変更する過程を報知する、
   ことを特徴とする請求項１または請求項２に記載の車両用エージェント装置。
4. 前記エージェント制御手段は、
   キャラクタと乗員との双方向のコミュニケーションの制御手段として、
   乗員からの会話の入力があった場合に、入力した会話の内容を乗員に返答する他律型会話制御手段と、
   乗員からの会話の入力の有無にかかわらず、所定の乗員情報に基づいて、乗員に会話をする自律型会話制御手段と、を有し、
   前記非擬人化キャラクタを制御しているときは、前記自律型会話制御手段による会話を規制する、
   ことを特徴とする請求項１乃至請求項３のいずれか一項に記載の車両用エージェント装置。
5. 前記エージェント制御手段は、
   前記擬人化キャラクタを前記非擬人化キャラクタに変更させた後、前記識別手段により前記特定の状況に相当すると識別されない場合は、前記擬人化キャラクタに復帰させる、
   ことを特徴とする請求項１乃至請求項４のいずれか一項に記載の車両用エージェント装置。