JP4258607B2 - In-vehicle device - Google Patents
In-vehicle device Download PDFInfo
- Publication number
- JP4258607B2 JP4258607B2 JP2002328802A JP2002328802A JP4258607B2 JP 4258607 B2 JP4258607 B2 JP 4258607B2 JP 2002328802 A JP2002328802 A JP 2002328802A JP 2002328802 A JP2002328802 A JP 2002328802A JP 4258607 B2 JP4258607 B2 JP 4258607B2
- Authority
- JP
- Japan
- Prior art keywords
- scenario
- data
- scene
- agent
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、車載装置に係り、例えば、車両の搭乗者とのコミュニケーションにより会話をしたり機器操作等を自律的に行うエージェント機能を備えた車載装置に関する。
【０００２】
【従来の技術】
例えば、犬などのペット型のロボットや、車室内においてナビゲーション装置等の機器操作の案内をしたり状況に応じた質問や提案等を行うことで搭乗者との対話や対応をするエージェント装置が開発され、車載装置として車両に搭載されている（例えば、特許文献１参照）。そして、装置に対して考えられる種々の状態を想定すると共に、想定した各状態を検出した場合にとるべき対応が、所定のデータやプログラムに従って規定されている。
【０００３】
【特許文献１】
特開平１１−３７７６６号公報
【０００４】
この従来のエージェント装置では、例えば、燃料検出センサ４１５の検出値Ｇ１が、全５回分の給油残量の平均値Ｇ２以下（Ｇ１≦Ｇ２）になった場合に、エージェントＥが表示装置２７に現れて給油を促す行動が表示装置２７に表示され、「おなかが減ったなあ！ガソリンがほしいな！」等の音声が音声出力装置２５から出力される。
【０００５】
【発明が解決しようとする課題】
従来のエージェント装置では、所定の条件を満たす場合に、突然エージェントが一方的に話し始めるので、その内容を伝える上でわかりにくいという問題があった。
すなわち、ユーザは運転を行なっており、エージェントとコミュニケーションをする準備ができていないにも関わらず、エージェントが一方的にコミュニケーションを始めてしまうため、ユーザはエージェントのコメントを聞き落としてしまう可能性があった。
【０００６】
従来ナビゲーション装置等において音声案内を行う場合に予め「ポーン」等の効果音を出力した後に案内音声を出力する場合がある。
しかし効果音の後に案内音が出力されており、運転者が充分聞き取る体制になっているか否かにかかわらず一方的に出力されていた。
このため、ユーザとのコミュニケーションを考えた場合に、親近感を得ることができないという問題もあった。
【０００８】
そこで、上記課題を解決するためになされたもので、予め定められた条件を満たしたことで、キャラクタの表示を含んだ制御内容を実行する場合に、ユーザが制御実行前に準備をすることができる車載装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
請求項１に記載した発明では、予め定められた条件を満たした場合に実行され、キャラクタの動作を表す画像表示を伴う情報提供データが記憶された記憶手段と、前記定められた条件を満たした場合に、実行の確認が必要か否かを判断する要否判断手段と、前記要否判断手段で確認が必要と判断された場合、前記キャラクタの画像の一部又は全部を表示画面の一部に表示して、前記情報提供データに基づく情報提供を待機状態とする実行待機手段と、前記実行待機手段により表示されたキャラクタの画像を指定する指定手段と、前記要否判断手段で確認が必要でないと判断された場合、及び、前記制御内容の待機状態において表示された前記キャラクタが前記指定手段により指定された場合に、前記キャラクタの動作を表す画像表示を伴う情報提供を実行するキャラクタ実行手段と、を備えたことを特徴とする車載装置を提供する。
請求項２記載の発明では、前記要否判断手段は、シフトレバー、サイドブレーキ、エンジンのうち少なくとも１つの状態に基づいて前記確認の要否を判断することを特徴とする請求項１に記載の車載装置を提供する。
請求項３記載の発明では、前記要否判断手段は、前記情報提供内容が注意・警告である場合、確認が必要でないと判断することを特徴とする請求項１記載の車載装置を提供する。
【００１３】
【発明の実施の形態】
以下、本発明の車載装置の好適な実施形態であるエージェント装置、データ作成装置の好適な実施形態であるシナリオ作成装置、及びデータ作成プログラムの好適な実施形態であるシナリオエディタについて、図１から図４４を参照して詳細に説明する。
（１）実施形態の概要
本実施形態のエージェント装置では、所定の容姿からなるエージェント（キャラクタ）の画像（平面的画像、ホログラフィ等の立体的画像等）を車両内に表示する。そして、エージェント装置の機能である、センサ等の検出結果から周囲の状態（人の動きや音声を含む）を認識、判断し、その結果に応じた動作や音声を出力するという機能を、このエージェントの容姿の動きや音声と連動して実行する。例えば、「どのジャンルの食事がすきですか」等の回答（和食、洋食等）を要求する問かけを行い、この問いかけに対するユーザの回答内容を判別（回答音声の認識や、回答選択ボタン５４ａの選択から判別）して、次のシーン（画面要素）に応じた処理を実行する。このように、装置からの回答を要求する問いかけと、その回答に応じて、所定の操作の実行を開始するので、ユーザは、あたかも擬似人格を備えたエージェントが車両内に存在しているような体感をするようになる。以下の説明では、このようなエージェント装置の一連の機能の実行を、エージェントの行為や動作として説明する。
本実施形態のエージェント装置では、このエージェントに運転者との各種コミュニケーションや、操作の代行を行わせる。そしてエージェントが自律的に行う様々な行為（各行為）を複数のシナリオ（画面要素推移体）で構成する。そして、エージェントによる一連の連続した行為の内容を規定した複数のシナリオと、各シナリオの展開を自律的に開始（起動）するための自律起動条件（起動条件）とにより規格化したシナリオデータを保存する。
シナリオは、シーン（画面要素）を最小単位として、１又は連続する複数のシーンで構成される。自律的に行う処理内容とエージェントの画像及び音声の少なくとも１つから構成される場面が１シーンである。
シナリオは、所定のシーンから次のシーンに移行するための１の移行条件（連続条件）又は複数の移行条件（分岐条件（複数の状態が発生する場合の各状態毎へのシーンの移行するための条件））と、各移行条件に対応して移行先のシーンを特定する移行先データとから、各シーンの展開構成が規定されている。
【００１４】
エージェント装置では、自動起動条件を満たしたシナリオ（画面要素推移体）に従ってエージェントを自律的に登場させる場合（シナリオを実行する場合）、表示装置の画面上（例えば、ナビゲーション機能を使用中であれば地図上に）小さいエージェントを登場させ、コミュニケーションスタンバイ状態（待機状態）とする。
このスタンバイ状態は、シナリオ実行の告知と、実行してもよいか否かの確認を行うことで、ユーザがエージェントとのコミュニケーションの準備ができるまでシナリオの実行を待機させる状態である。ユーザは準備ができたら画面に表示されたエージェントをタッチすることでそのコミュニケーション開始のトリガとし、これをもってコミュニケーションを開始する（シナリオの実行を開始する）構成とする。
例えば、地図の右上に小さいエージェントが登場し、「私にタッチしたら、お勧めの食事の場所を御紹介します。」とユーザに話し掛け、スタンバイ状態に入る。ユーザがエージェントにタッチすると、コミュニケーションモードになり、「進行方向の２ｋｍ先に、○○屋があります。味に定評があるとんかつ屋です。ここに寄って行きますか？」と伝えるシナリオが展開される。
【００１５】
このように、自律起動条件を満たしたシナリオを直ちに実行するのではなく、シナリオ実行の告知と実行してもよいか否かの確認を行うスタンバイ状態とすることで、ユーザとのコミュニケーションの前にワンクッション置くことができ、ユーザにとってはエージェントとのコミュニケーションの準備をする時間ができる。これによりユーザはエージェントが話す内容を充分に聞き取ることができるようになり、エージェントとのコミュニケーションを円滑に行うことができる。
【００１６】
なお、シナリオ実行の告知と確認を行うか否かは、車載装置での設定（スタンバイを使用、スタンバイを使用しない、車載装置で自動判断）、及び、シナリオデータでの設定（スタンバイを使用、スタンバイを使用しない、設定条件による）の両者を一方又は双方を基準として判断する。
また、シナリオ毎に設定、又は判断されるプライオリティ（優先度）が所定値より高い場合、すなわち緊急性が高いシナリオについては、スタンバイ状態を実行せずに直ちにシナリオを実行する。この場合、告知をしたのちに確認することなく直ちにシナリオを実行するようにしてもよい。
【００１７】
エージェント装置のユーザ等は、規定された規格に従って、独自のシナリオをシナリオ作成装置を使用して作成する。シナリオ作成装置は、シナリオ編集プログラムやデータをパーソナルコンピュータにインストールすることで構成することができる。
作成したシナリオは、インターネット等のネットワークを介してエージェント装置に送信し、又はダウンロードしてもらうことにより、また、所定の半導体メモリを介してエージェント装置に格納することで、自己（第三者）の希望通りの行為（コミュニケーションや処理）をエージェントに行わせることが可能になる。
作成するシナリオの最初のシーンに、例えば、人間に対する回答を要求する問いかけのシーンのシナリオとすることができる。そして、独自に作成したシナリオデータを、外部から入力装置を介して入力することが可能である。この場合の入力装置は、半導体メモリに追加するシナリオデータが格納されている場合には、半導体メモリの内容を読みとる記憶媒体駆動装置が該当し、インターネット等のネットワークを介して特定のサーバ等からダウンロードする場合には通信制御装置が該当する。この新たに入力したシナリオデータに従って、シナリオを実行する。
【００１８】
エージェント装置は、メール、ブラウザソフトを備えることにより、ブラウザソフト等を使ってシナリオをダウンロードし、そのダウンロードしたファイルがエージェントを機能させるシナリオデータであるか否か判断し、シナリオデータであればエージェントプログラムに組み込んで使用できるようにする。また、メールに添付されている場合も同様に、添付のファイルがシナリオであるか否か判断し、シナリオであればエージェントシステムに組み込んで使用できるようにする。
これにより従来の手法以外にも、既存の通信インフラであるメール、ネットワーク等を使った通信とを使用することにより、また、半導体メモリ等を介することで、パーソナルコンピュータ等を使用して作成した独自のシナリオを追加することができるようになる。
このように、ユーザは自分の思い通りにエージェントを機能させるシナリオを独自にまた、容易に作成することが可能になるので、エージェント装置の自律的な動作に対する抵抗がなくなる。
【００１９】
さらに、エージェント装置では、シナリオ作成装置で作成されたシナリオデータに基づいてエージェントを自律的に起動させる（自動で登場させる）条件を満たしたかを判断する処理を定期的に、もしくは特定の状態を満たしたときに実行し、条件を満たした場合にエージェントを自動で登場させることができるシステムを備えさせる。
これによりシナリオ作成装置では、プログラムの知識の有無に関係無く、シナリオエディタを持つことで特定の条件を満たしたときに自動で登場して対応してくれるエージェントのシナリオデータを作成及び編集することができる。
例えば、オービスの設置してある２ｋｍ手前の地点（東経北緯座標で指定）でかつ、道路種別が高速道路でかつ、車速が１２０ｋｍ／ｈ以上で走行している場合に自動で登場してオービスの警告をしてくれるシナリオの条件の中にある車速の条件を１００ｋｍ／ｈ以上に変更するとか、毎年特定の日（例えばクリスマスイブ）にだけ起動するシナリオを作成することが可能となる。
【００２０】
（２）実施形態の詳細
図１は、エージェント装置とシナリオ作成装置からなる全体のシステム構成を表したものである。
このシステムでは、本実施形態のエージェント装置１と、指定された規格でシナリオデータを作成するユーザ又は第三者であるシナリオデータ作成者のシナリオ作成装置２と、サーバ３等を使用したインターネット等の通信手段から構成されている。
シナリオ作成装置２では、シナリオエディタにより独自のシナリオデータを作成する。そして、独自のシナリオデータを作成したユーザは、ＤＶＤ−ＲＯＭ、ＩＣカード等の半導体記憶装置その他の記憶媒体７にシナリオデータを格納して、エージェント装置１に受け渡すことが可能である。そして、シナリオデータを受け取ったエージェント装置１では、記憶媒体駆動装置により記憶媒体７からシナリオデータを読み込んで、既に記憶しているシナリオデータに組み込むことで、シナリオ作成装置２で作成されたシナリオデータにしたがってエージェント装置１を動作させることが可能になる。なお、シナリオ作成装置２で作成するものは、エージェント装置１のユーザ自身でもよく、また、第三者でもよい。
また、エージェント装置１では、ユーザ自身や第三者が作成したシナリオデータを、インターネット等のネットワークを介して組み込み、また、メールに添付されたシナリオデータを組み込むことができる。
また、エージェント装置１のユーザに対してサービスの提供等を希望する第三者は、所定形式のシナリオデータを、例えば、シナリオエディタを使用してシナリオ作成装置２で作成し、ホームページに掲載してダウンロード可能にし、または電子メールの添付ファイルとしてエージェント装置１に送信する。エージェント装置１は、電子メールに添付されたシナリオデータ５を受信し、または、ユーザがサーバ３等の通信手段を介してシナリオデータファイル４をダウンロードするようになっている。また、エージェント装置１は、受信したシナリオデータの実行に従って取得されるユーザの回答（シナリオデータに対する回答メール）を、電子メール６の本文又は添付ファイルで、シナリオ作成者のシナリオ作成装置２に送信する。
【００２１】
まず、開発者やユーザによって作成されたシナリオに従ってエージェントが自律的に機能するエージェント装置１について、その構成と動作を説明する。
図２は、本実施形態におけるエージェント装置１の構成を表したブロック図である。
本実施形態におけるエージェント装置１は、車両に搭載されおり、車両内のユーザーとの間でコミュニケーションを行う機能や車両に対して所定の処理を行う車両制御機能等のエージェント機能の他、ユーザーに走行経路の案内等を行うナビゲーション機能も備えている。
本実施形態のエージェント装置１では、エージェント機能および、ナビゲーション機能を実現するための中央処理装置（１）、表示装置（２）、音声出力装置（３）、音声入力装置（４）、入力装置（５）、各種状況検出装置（６）、各種車載装置（７）、通信制御装置（８）、通信装置（９）、外部記憶装置（１０）を備えている。
【００２２】
中央処理装置（１）は、種々の演算処理を実行するＣＰＵ（１−１）、外部記憶装置（１０）からプログラムを読み込んで格納するフラッシュメモリ（１−２）、フラッシュメモリ（１−２）のプログラムチェック、更新処理を行なうプログラム（プログラム読み込み手段）を格納したＲＯＭ（１−３）、ＣＰＵ（１−１）がワーキングメモリとして演算処理中のデータを一時的に格納するＲＡＭ（１−４）、時計（１−５）、表示装置（２）への画面表示に使用する画像データが記憶された画像メモリ（１−７）、ＣＰＵ（１−１）からの表示出力制御信号に基づいて画像メモリ（１−７）から画像データを取り出し、画像処理を施して表示装置（２）に出力する画像プロセッサ（１−６）、ＣＰＵ（１−１）からの音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力する処理と、音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なう音声プロセッサ（１−８）、入力装置（５）による入力内容を受け取る入力装置Ｉ／Ｆ部（１−９）、各種状況を検出するための検出器類から情報を受け取るための各種入力Ｉ／Ｆ部（１−１０）、他の装置と情報のやり取りを行なう通信Ｉ／Ｆ部（１−１１）、ＣＤ−ＲＯＭやＩＣカード類、ハードディスク等といった外部記憶媒体（１０−２）からデータ及びプログラムを読み込んだりデータを書き込んだりする外部記憶装置（１０）を制御するための外部記憶装置制御部（１−１２）を備えている。
【００２３】
この中央処理装置（１）は、経路探索処理や、経路案内に必要な表示案内処理や、その他システム全体において必要な処理、本実施形態におけるエージェント処理（エージェントと運転者との各種コミュニケーションや操作代行、状況判断を行ないその結果に応じて自律的に行なう処理）を行うようになっている。
更新処理を行なうプログラム（プログラム読み込み手段）は、ＲＯＭ（１−３）以外にもフラッシュメモリ（１−２）に格納するようにしてもよい。
本実施形態におけるプログラムを含め、ＣＰＵ（１−１）で実行される全てのプログラムは、外部記憶媒体（１０−２）であるＣＤ−ＲＯＭ等に格納されてもよいし、それらプログラムの一部または全てが本体側のＲＯＭ（１−３）またはフラッシュメモリ（１−２）に格納するようにしてもよい。
この外部記憶媒体（１０−２）に記憶されたデータやプログラムが外部信号として中央処理装置（１）に入力されて演算処理されることにより、種々のエージェント機能及びナビゲーション機能が実現されるようになっている。
また、本実施形態の中央処理装置（１）は、起動条件（自律起動条件）を満たしていると判断された場合、画面要素推移体（シナリオ）を実行する、画面要素推移体実行手段を形成している。
【００２４】
表示装置（２）は、中央処理装置（１）の処理による経路案内用の道路地図や各種画像情報が表示されたり、キャラクタの各種行動（動画）及び画面構成のパーツで構成された画面要素推移体（シナリオ）が表示されたりするようになっている。
表示装置（２）には、シナリオのスタンバイ状態の画面が表示されるようになっている。スタンバイ状態の画面は、シナリオに設定されているそのスタンバイシーンの設定に従ってキャラクタの表示と音声出力がされる。
この表示装置（２）には、液晶表示装置、ＣＲＴ等の各種表示装置が使用される。
なお、この表示装置（２）は、例えばタッチパネル等の、入力装置（５）としての機能を兼ね備えたものとすることができる。
【００２５】
音声出力装置（３）は、中央処理装置（１）の処理によって声による経路案内を行なう場合の案内音声や、エージェントによる運転者との通常のコミュニケーション用の会話や運転者情報取得のための質問による音声や音が出力されるようになっている。
音声出力装置（３）は、音声認識処理において、音声認識を開始する際（音声入力装置（４）で入力データの取得を開始する際）に、ユーザに対して音声による入力が可能であることを示す開始音を出力するようになっている（開始音出力手段）。本実施形態では、開始音として「ピー」等の音を出力するようになっているが、ブザー音やチャイム音であってもよい。
音声出力装置（３）は、車内に配置された複数のスピーカで構成されている。これらは、オーディオ用のスピーカと兼用するようにしてもよい。
【００２６】
音声入力装置（４）は、運転者の音声を的確に収集するために指向性のある専用のマイクが使用されたりする。この音声入力装置（４）から入力されたアナログ信号を変換したデジタルの音声入力信号を使ってＣＰＵ（１−１）で音声認識処理が実行されるようになっている。
音声認識の対象となる音声としては、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話（運転者による応答を含む）等があげられ、音声入力装置はこれらの音声を入力する音声入力手段として機能する。
なお、音声認識が必要なシーンか否かについては各シーンデータにおいて、音声認識の指示が設定されている。そして、音声認識の指示が設定されているシーンのシーンデータには、音声認識の対象となる音声を認識するための辞書が指定されている。この音声認識の指示は、音声認識を「自動で開始する」、「自動で開始しない」、「エージェント装置（車載装置）が判断する」、のうちのいずれかが設定されている。音声認識の指示が「エージェント装置が判断する」である場合、エージェント装置は、運転者の負荷を走行中の道路状態（カーブ、交差点、直線等）や、運転動作状態（急加速中、急ブレーキ中、ステアリング操作中等）などから判断し、負荷が高い場合には音声認識を開始せず、負荷が低い場合には、開始音を出力した後に音声の入力を可能にする。
【００２７】
尚、音声出力装置（３）と音声入力装置（４）とでハンズフリーユニットを形成させて、通信制御装置（８）及び通信装置（９）を用いて通話を行なえるようにしてもよい。
また、音声入力装置（４）、音声プロセッサ（１−８）及び音声認識処理とを組み合わせることで、運転者が同乗者と会話中か否かを検出する会話検出手段や、運転者の発する音声を使って運転者の状況を検出する状況検出手段として機能させてもよい。
【００２８】
入力装置（５）は、目的地を設定する際に電話番号や地図上の座標などにて入力したり、目的地までの経路探索や経路案内を要求（リクエスト）するために使用される。また、入力装置（５）は、運転者情報を運転者が入力する場合や、エージェント機能の使用を開始する場合のトリガとしてとして使用される。さらに入力装置（５）は、エージェント機能による、エージェントとのコミュニケーションにおいて、エージェントからの問い合わせ等に対して運転者が応答するための１つの応答手段としても機能するようになっている。
入力装置（５）には、タッチパネル（スイッチとして機能）、キーボード、マウス、ライトペン、ジョイスティックなどの各種の装置が使用可能である。
また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。
リモコンには、画面上に表示されたカーソルの移動操作等を行なうジョイスティックの他、メニュー指定キー（ボタン）、テンキー等の各種キーが配置される。
また、上記の音声入力装置（４）を使った音声認識を入力装置の代わりに使用しても良い。
【００２９】
中央処理装置（１）は、入力装置Ｉ／Ｆ部（１−９）を介して入力装置（５）から受け取った内容を使ってＣＰＵ（１−１）が運転者による入力操作中か否かを検出すること、又は／及び音声認識結果を併用して各種機器の操作状況を検出する機能（機器操作状況検出手段）を備えるようにしてもよい。
【００３０】
図３は、各種状況検出装置（６）の構成を表したブロック図である。
各種状況検出装置（６）は、現在位置検出装置（６−１）と、交通状況情報受信装置（６−２）と、運転操作等の状況を検出するためにブレーキ検出器（６−３）と、サイドブレーキ（パーキングブレーキ）検出器（６−４）と、アクセル開度検出器（６−５）と、Ａ／Ｔのシフト位置検出器（６−６）と、ワイパ検出器（６−７）と、方向指示器検出器（６−８）と、ハザード検出器（６−９）と、イグニッション検出器（６−１０）を備えている。上記構成により、各種状況及び条件を検出することにより、検出手段が形成される。
また、各種状況検出装置（６）は、車両の速度（車速情報）を検出する車速センサ（６−１１）を備えており、該車速センサが検出した車速が０か否によって走行中であるか否かを判断することにより、走行判断手段が形成される。
【００３１】
現在位置検出装置（６−１）は、車両の絶対位置（緯度、経度による）を検出するためのものであり、人工衛星を利用して車両の位置を測定するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信装置（６−１−１）と、ＧＰＳの補正信号を受信するデータ送受信装置（６−１−２）と、方位センサ（６−１−３）と、舵角センサ（６−１−４）と、距離センサ（６−１−５）等が使用される。
ＧＰＳ受信装置（６−１−１）は単独で位置測定が可能であるが、ＧＰＳ受信装置（６−１−１）による受信が不可能な場所では、方位センサ（６−１−３）、舵角センサ（６−１−４）及び距離センサ（６−１−５）の少なくとも１つ用いた推測航法によって現在位置を検出するようになっている。また、データ送受信装置（６−１−２）を用いてＧＰＳの補正信号を受信することでＧＰＳ受信装置（６−１−１）による位置検出の精度を上げることができる。
方位センサ（６−１−３）は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差（移動距離の差）により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ（６−１−４）は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ（６−１−５）は、例えば、車輪の回転数を検出して計数し、または加速度を検出して２回積分するもの等の各種の方法が使用される。
距離センサ（６−１−５）と舵角センサ（６−１−４）は運転操作状況検出手段としても機能する。
【００３２】
交通状況情報受信装置（６−２）は、道路の混雑状況等を検出するためのものである。
交通情報受信装置（６−２）は、路上に配置されたビーコンから情報を受信するビーコン受信装置（６−２−１）と、ＦＭ放送電波を用いて情報を受信する装置（６−２−２）等が使用され、これらを用いて交通情報センターから渋滞情報や、交通規制情報等を受信する。
また、ビーコン受信装置（６−２−１）を現在位置検出手段として、現在位置検出装置（６−１）と併用してもよいものとする。
【００３３】
ブレーキ検出器（６−３）は、フットブレーキが踏み込み状態か否かを検出する。
サイドブレーキ（パーキングブレーキ）検出器（６−４）は、運転者がサイドブレーキを操作中か否か、及びサイドブレーキの状態（ＯＮかＯＦＦか）を検出する。
アクセル開度検出器（６−５）は、運転者がアクセルペダルをどれぐらい踏み込んでいるかを検出する。
シフト位置検出器（６−６）は、運転者がＡ／Ｔのシフトレバーを操作中か否か、及びシフトレバー位置を検出する。
ワイパ検出器（６−７）は、運転者がワイパを使用しているか否かを検出する。
【００３４】
方向指示器検出器（６−８）は、運転者が方向指示器の操作中であるか否か、及び方向指示器が点滅中か否かを検出する。
ハザード検出器（６−９）は、運転者がハザードを使用している状態か否かを検出する。
イグニッション検出器（６−１０）は、イグニッションスイッチがＯＮになっているか否かを検出する。
車速の検出には距離センサ（６−１−５）を使用することもできる。
各種状況検出装置（６）は、機器操作状況検出手段としてこれらの他にも、ヘッドランプやルームランプ等のランプ類の操作状況を検出するライト検出センサ、運転者のシートベルト着脱操作を検出するシートベルト検出センサ、その他のセンサを備えている。
【００３５】
図２に示されるように、ＧＰＳ受信装置（６−１−１）と、データ送受信装置（６−１−２）と、交通情報受信装置（６−２）は通信装置Ｉ／Ｆ部（１−１１）に接続され、他は各種入力Ｉ／Ｆ部（１−１０）に接続されている。
【００３６】
通信装置Ｉ／Ｆ部（１−１１）には、他にも通信制御装置（８）が接続できるようになっている。この通信制御装置（８）には、通信装置（９）（各種無線通信機器からなる携帯電話等）が接続されるようになっている。
これらを使って電話回線による通話の他、例えば車内での通信カラオケのために使用するカラオケデータを提供するような情報提供局との通信を行なったりすることもできるようになっている。
カラオケデータを提供する情報提供局の他にも、交通情報を提供する情報基地局との通信や、エージェント処理に用いるシナリオデータを提供する情報提供局と通信を、通信装置（９）と通信制御装置（８）を介して行うことも可能である。
【００３７】
本実施形態において中央処理装置（１）は、通信制御装置（８）を介してシナリオが添付された電子メールを受信することができるようになっている。
また、中央処理装置（１）には、インターネット上のホームページを表示するブラウザソフトを組み込み、ＣＰＵ（１−１）で処理させることが可能であり、通信制御装置（８）を介してホームページからシナリオを含めたデータをダウンロードすることができるようになっている。
なお、通信制御装置（８）は、通信装置（９）と一体になったものを使用してもよい。
【００３８】
また、中央処理装置（１）は、通信Ｉ／Ｆ部（１−１１）を通して車内通信を行なうことで他の車載装置（７）の操作状況を受け取ったり、また、車載装置に対する各種制御を行うようになっている。
例えば、中央処理装置（１）は、各種車載装置（７）であるエアコン装置から、運転者がエアコンの各種スイッチ等を操作中か否かの情報を受け取ったり、設定温度を上げるや、下げるといったようにエアコン装置を制御を行う。また、オーディオ装置から運転者がラジオ、ＣＤプレーヤ、カセットプレーヤー等のオーディオ機器を操作中か否か、及びオーディオ機器による音声が出力中か否かの情報を受け取ったり、出力音量を上げるや、下げるといったようにオーディオ装置の制御を行うようになっている。
【００３９】
外部記憶装置（１０）は、外部記憶媒体駆動部（１０−１）とその外部記憶媒体（１０−２）を備えている。外部記憶装置（１０）は、ＣＰＵ（１−１）からの指示で外部記憶装置制御部（１−１２）による制御のもとで外部記憶媒体（１０−２）からデータやプログラムの読み込み、及び外部記憶媒体（１０−２）へのデータやプログラムの書き込みを行うようになっている。
外部記憶媒体（１０−２）には、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光ディスク、磁気テープ、ＩＣカード類、光カード等の各種記憶媒体が使用され、使用する媒体ごとにそれぞれの外部記憶媒体駆動装置（１０−１）が使用される。
【００４０】
外部記憶装置（１０）は、システムにおいて複数個所持してもよいものとする。例えば、収集した個人情報である、運転者情報データ（１０−２−３−６）と、学習項目データ及び応答データ（１０−２−３−７）を持ち運びが容易なＩＣカードやフレキシブルディスクで構成し、その他のデータをＤＶＤ−ＲＯＭで構成するといった例が考えられる。こうすることで、他の車両を運転する場合にこれらを記憶させたＩＣカードからデータを読み出させて使用し、自分が過去に応対した状況を学習した状態のエージェントとコミュニケーションすることが可能になる。つまり、車両毎のエージェントではなく、運転者毎に固有な学習内容のエージェントを車両内に出現させることが可能になる。
また、シナリオデータ＋シナリオで使用する画像データ（１０−２−３−４）を一例としてＤＶＤ−ＲＯＭで持つ構成にした場合でも、ＩＣカードを使って追加することも可能になっている。
これにより、ユーザ各自にとって固有のオリジナルシナリオを加えることが可能である。
このように、画面要素推移体（シナリオ）及び画面要素推移体の起動条件を外部から記憶することにより、本願発明の画面要素推移記憶手段、キャラクタ画像を含む画面構成、及び、キャラクタの表示を含んで実行する制御内容を記憶することにより、本願発明の記憶手段が形成される。
【００４１】
ＣＰＵ（１−１）は各種エージェント機能やナビゲーション機能を実現するプログラム（１０−２−１）や、演算処理に使用するエージェントデータ（１０−２−３）とナビゲーションデータ（１０−２−２）を、上記構成例で示すＤＶＤ−ＲＯＭやＩＣカード等から別の外部記憶装置（例えばハードディスク装置等）に格納（インストール）し、この記憶装置から必要なプログラム等をフラッシュメモリ（１−２）に読み込んで（ロードして）実行するようにしてもよいし、演算処理に必要なデータをこの記憶装置からＲＡＭ（１−４）に読み込んで（ロードして）実行するようにしてもよい。
【００４２】
次に、本発明におけるプログラムを含めたＣＰＵ（１−１）で実行されるプログラムの構成について説明する。
図４は、ＣＰＵ（１−１）でプログラムが実行されることにより実現されるエージェント処理部（１０１）と、全体処理部（１０２）との関係を表したものである。
本実施例では、種々のナビゲーション機能を実現する全体処理部（１０２）に、エージェント機能を実現するエージェント処理部（１０１）を加えることでエージェント機能付きナビゲーション装置を実現する構成になっている。
【００４３】
エージェント処理部（１０１）と全体処理部（１０２）は、互いの処理データをやり取りするためのＩ／Ｆ部をそれぞれが持っており、互いの処理データを取得し合えるようになっている。
例えば、エージェント処理部（１０１）は、シナリオデータに従って運転者とのコミュニケーションを実行した結果、運転者が設定したい目的地データを取得した場合に、このデータを全体処理部（１０２）に供給するようになっている。
全体処理部（１０２）では、取得した目的地データにより経路探索をし、作成した走行経路データに基づく経路案内を行なう。この経路案内処理において、画像や音声による進路変更方向等の案内を行なう場合に、案内に必要なデータを全体処理部（１０２）からエージェント処理部（１０１）に供給し、走行経路案内をするシナリオをデータ化したシナリオデータに従ってエージェントが案内することも可能である。
【００４４】
図５は、エージェント処理部（１０１）の構成を表したものである。
エージェント処理部（１０１）は、シナリオ駆動部（１０１−１）と、自律起動判断部（１０１−２）と、学習部（１０１−３）と、キャラクタ心理部（１０１−４）と、描画・音声出力部（１０１−５）と、音声認識部（１０１−７）と、エージェントＯＳ部（１０１−８）と、外部Ｉ／Ｆ部（１０１−９）とを備えている。
シナリオ駆動部（１０１−１）は、シナリオデータ（１０−２−３−４）を読み込み、そのシナリオデータに基づいて各処理部にメッセージ通信等を使って指示（各処理部が提供する機能を使用）する。シナリオ駆動部（１０１−１）は、シナリオの実行を管理し運転者に各種エージェント機能を提供するといったエージェント処理部の中心的な処理を行う。
【００４５】
自律起動判断部（１０１−２）は、シナリオデータ（１０−２−３−４）にある各シナリオの自律起動条件データを保持し、エージェントＯＳ部（１０１−８）からだされる定期的な自律起動判断指示により、時間、位置、状態等の各種条件と各種状況との比較、判断を行なっている。
条件が一致した場合に、自律起動判断部（１０１−２）はシナリオ駆動部（１０１−１）に対し、条件が一致したシナリオの実行要求の指示を出す。
自律起動条件と比較するための各種状況はエージェントＯＳ部（１０１−８）及び学習部（１０１−３）から入手している。
また、定期的な自律起動判断指示以外にも、状況の変化が大きいとされる場合は、エージェントＯＳ部（１０１−８）から自律起動判断指示が出されるので、自律起動判断部（１０１−２）は、自律起動判断処理を行なうようになっている。状況の変化が大きいとされる場合とは、例えば運転者が目的地設定を行なった場合、ナビゲーション機能による走行案内経路をはずれた場合、シナリオデータが追加された場合、シナリオデータが削除された場合等がある。
【００４６】
図５において、学習部（１０１−３）は、エージェントとのコミュニケーションにおいて運転者の選択や応答によって入手した項目（実行結果や実行履歴）を運転者情報データ（１０−２−３−６）や、学習項目データ及び応答データ（１０−２−３−７）として格納する。学習部（１０１−３）は、シナリオが異なるシーンで終了する場合の終了の仕方を示すエンドＩＤも入手して応答データ（１０−２−３−７）として格納する。これら入手した項目は、ＲＡＭ（１−４）上に格納されているが、外部記憶媒体（１０−２）であるＩＣカード等にも出力できるようになっている。
また、学習部（１０１−３）は、エージェントＯＳ部（１０１−８）から状況の変化を入手して運転操作に関する情報を記録する。例えば、運転者による乗車時間帯や、乗車頻度等の各種状況を判断するために、電源ＯＮ（イグニッションＯＮ）の日時を過去１０回分記憶しておいたりもする。格納された情報は、例えばシナリオ駆動部（１０１−１）に提供されシナリオの展開に変化を与えるために使用されたり、自律起動判断の比較に使用されたりする。
なお、また、本実施形態における学習部（１０１−３）は、運転者情報の保持・参照も兼務しているが、運転者情報部として独立させてもよい。
【００４７】
キャラクタ心理部（１０１−４）は、エージェントＯＳ部（１０１−８）が管理している現在状況を入手し、メンタルモデル変更条件データに基づき、キャラクタの心理状態を表す５つのパラメータを自律的に変更する。
キャラクタの心理状態は、元気、友好、従順、自信、モラルの各パラメータで表され、各パラメータは例えば０〜１００の値で表わされるようになっている。各パラメータは、車両状況（車両自体の状況、運転者の応答や反応、同乗者の有無、対向車等を含む車両の状況）の判断と学習をし、各時点での車両状況から、記憶された各パラメータの値を変化させるようになっている。例えば、運転者からのねぎらいの言葉が認識された場合には友好のパラメータの値が１上昇する等、段階的に変化するようになっている。
また、シナリオ駆動部からの指示でもキャラクタの心理状態を表す５つのパラメータを変化させる。
さらに、このキャラクタ心理部（１０１−４）は、５つのパラメータを使用して、キャラクタの心理状態を判断する。判断された心理状態は、例えばシナリオ駆動部（１０１−１）に提供されシナリオの展開に変化を与えるために使用されたり、描画・音声出力部（１０１−５）に提供されキャラクタの各種行動（動作）に変化を与えるために使用されたりする。
【００４８】
描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）からの指示で選択ボタンやタイトル等のパーツから構成される画面を表示するための制御信号を作成する。また、シナリオ駆動部（１０１−１）からの指示で、シーンデータによる表示状態に対応するキャラクタの各種行動（動作）を表示するための制御信号も作成する。
本実施形態では、これらの制御信号は、エージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある画像プロセッサへの指示を行なう処理部を通して画像プロセッサ（１−６）へ伝わり画像処理を施し表示装置（２）に表示されるが、全体処理部（１０２）を通さずにエージェントＯＳ部（１０１−８）において画像プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
【００４９】
描画・音声出力部（１０１−５）は、また、シナリオ駆動部（１０１−１）からの指示でエージェントが運転者とコミュニケーションを行なう際の台詞を出力するための制御信号を作成する。また、シナリオ駆動部（１０１−１）からの指示で各種効果音を出力するための制御信号も作成する。
本実施形態では、これらはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある音声プロセッサへの指示を行なう処理部を通して音声プロセッサ（１−８）へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力されるが、全体処理部（１０２）を通さずにエージェントＯＳ部（１０１−８）において音声プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
【００５０】
なお、本実施形態の描画・音声出力部（１０１−５）は、各シーンにおけるキャラクタの動作描画機能と音声出力機能を備えているが、描画部（描画機能部）と、音声出力部（音声出力機能部）とを別々に構成するようにしてもよい。
【００５１】
音声認識部（１０１−７）は、シナリオ駆動部（１０１−１）からの指示により、全体処理部（１０２）中の音声認識処理部に音声認識辞書を作成させるための制御信号を発する。また、音声認識部（１０１−７）は、シナリオ駆動部（１０１−１）からの指示で音声認識処理を開始させたり停止させたりする制御信号も発する。
本実施形態では、これらはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から、全体処理部（１０２）内にある音声認識処理部に伝えられる。
この音声認識処理部は、音声認識処理を開始する指示及び停止する指示を、音声プロセッサ（１−８）に伝え、音声プロセッサ（１−８）は音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なうことになっている。
音声入力信号が入力されると、音声認識処理部は、前記デジタルの音声入力信号を取得し、それをもとに音声認識処理部は認識処理を行ない、その結果は先ほどの経路と逆の流れで音声認識部（１０１−７）に伝えられる。音声認識部（１０１−７）は、音声認識結果をシナリオ駆動部（１０１−１）に通知する。
以上の構成により、音声を認識する音声認識手段が形成される。
【００５２】
エージェントＯＳ部（１０１−８）は、時間、場所、各種入力等の状況の変化（シナリオの追加も含む）を取得して現在の状況を管理し、状況の変化に対して必要に応じてメッセージ通信にて各処理部に通知する。状況の変化は、外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）から供給されたり、問い合わせたりして入手する。
入手される情報は、各種状況検出装置（６）による検出結果等を、各種入力Ｉ／Ｆ部（１−１０）と、通信Ｉ／Ｆ部（１−１１）より取り込みＲＡＭ（１−４）に書き込まれたものである。入力装置（５）を使って入力された内容も、外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）から供給され、その内容を必要に応じてメッセージ通信にて各処理部に通知する。
また、エージェントＯＳ部（１０１−８）は、他にも各種のライブラリを持っており、各処理部の間でデータのやり取りなどを行なうメッセージ通信の提供、及び現在時刻の提供、メモリの管理を行ない各処理部が処理を行なう際に必要なメモリの提供、外部記憶媒体からのデータ読み込みや書き込み機能の提供などを行なう。
【００５３】
またエージェントＯＳ部（１０１−８）は、時間に関する処理を行ないタイマーの役割をして特定時間の経過通知を行うようになっている。すなわち、エージェントＯＳ部（１０１−８）は、計時手段として機能し、シナリオの各シーンにおいて設定されたタイマー設定時間を計時する。計時開始と計時するタイマー設定時間は、シナリオ駆動部（１０１−１）からの通知され、タイマー設定時間が経過するとエージェントＯＳ部（１０１−８）は、設定時間が経過したことをシナリオ駆動部（１０１−１）に通知する。
【００５４】
エージェントＯＳ部（１０１−８）は、自律起動判断部（１０１−２）に対して、定期的に自律起動判断指示を出すようになっている。この定期的な自律起動判断指示は、所定時間毎に出される。所定時間としては、定期的に出される自律起動判断指示によって定期的に処理される自律起動判断処理が、中央処理装置（１）全体の他の処理に影響しない範囲でできるだけ短い時間であることが望ましく、本実施形態では５秒間隔に設定されている。この所定時間は入力装置（５）からの操作によってユーザーが当該所定時間を任意に変更することができるようにしてもよい。
また、エージェントＯＳ部（１０１−８）は、状況の変化が大きいと判断された場合にも、自律起動判断部（１０１−２）に対して、自律起動判断指示を出すようになっている。状況の変化が大きいとされる場合とは、例えば運転者が目的地設定を行なった場合、案内経路から車両がはずれた場合、シナリオデータが追加された場合、シナリオデータが削除された場合等であり、あらかじめ該当する項目が規定されＲＡＭ（１−４）等に記憶されている。
【００５５】
更に、エージェントＯＳ部（１０１−８）は、状況判断機能により、車速センサ（６−１１）に車両が走行状態か（車速ｖ≠０の場合）、停車状態か（車速ｖ＝０の場合）を定期的（例えば、５秒間隔）確認し、停車状態から走行状態に変化した場合（前回判定時が０ｋｍ／ｈで今回判定時が０ｋｍ／ｈでない場合）に、メッセージにより、シナリオ駆動部（１０１−１）に走行開始を通知する。
【００５６】
外部Ｉ／Ｆ部（１０１−９）は、エージェント処理部（１０１）と全体処理部（１０２）との間のインターフェースになっている（全体処理部（１０２）には受け手であるエージェントＩ／Ｆ部が存在する）。エージェント処理において利用するナビゲーション情報等各種情報の取得と、エージェント処理部から全体処理部に制御信号を伝えてナビゲーションを制御したりする。
この外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）に通知して行なっている、画像プロセッサ（１−６）への描画指示や、音声プロセッサ（１−８）への音声出力指示、入力装置Ｉ／Ｆ部（１−９）からの入力情報の取得等、他プロセッサ及びＩ／Ｆ部への指示を行なう処理部をエージェント処理部に持たせ直接指示をしたり情報を取得したりするようにしてもよい。
【００５７】
図４における全体処理部（１０２）は、図示しないが地図描画部、経路探索部、経路案内部、現在位置計算部、目的地設定操作制御部等からなりナビゲーションの信号出力処理を行なうアプリケーション部、及び地図表示や経路案内に必要な表示出力制御、音声案内に必要な音声出力制御を行なうためのプログラム等のＯＳ部等で構成されている。
また、この全体処理部（１０２）には音声認識を行なう音声認識処理部、テキストデータを音声データに変換する処理部も存在する。ブラウザ機能やメール機能を追加する場合の当該処理部はこの全体処理部（１０２）に追加される。
もしくは、エージェント処理部（１０１）がブラウザ機能やメール機能を持つような構成にしてもよい。
また、本実施形態ではエージェント処理を実行するための拡張機能が全体処理部（１０２）に加えられている。この拡張機能には、例えばナビゲーションデータの中にある道路データと現在位置から、走行中の道路の種別（高速道路、国道、等）を検出する手段や走行中の道路のカーブ状況（カーブ手前、カーブ終了）を検出する手段等が存在する。
【００５８】
次に、外部記憶媒体（１０−２）に格納されているデータ構成（プログラムを含む）について説明する。
図６は、外部記憶媒体（１０−２）に集録されている情報を概念的に表したものである。
外部記憶媒体（１０−２）には本実施形態による各種エージェント機能やナビゲーション機能を実現するプログラム（１０−２−１）、及び必要な各種データとして、エージェントデータ（１０−２−３）とナビゲーションデータ（１０−２−２）が格納されている。
ナビゲーションデータ（１０−２−２）は、地図描画、経路探索、経路案内、目的地設定操作等に必要な各種データで構成されている。例としては、経路案内に必要な地図データ（道路地図、住宅地図、建造物形状地図等）、交差点データ、ノードデータ、道路データ、写真データ、登録地点データ、目的地点データ、案内道路データ、詳細目的地データ、目的地読みデータ、電話番号データ、住所データ、その他のデータのファイルからなりナビゲーション装置に必要なすべてのデータが記憶されている。また、必要に応じて通信地域データ等も記憶される。
【００５９】
描画地図データは、表示装置（２）に描画される描画地図データであり、この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
交差点データは、各交差点を特定する交差点番号、交差点名、交差点の座標（緯度と経度）、その交差点が始点や終点になっている道路の番号、および信号の有無などで構成されている。
ノードデータは、各道路における各地点の座標を指定する緯度、経度などの情報から構成されている。すなわち、このデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼び、複数あるノード列のそれぞれの間をアークで接続することによって道路が表現される。
道路データは、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などで構成されている。
写真データは、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してデジタル、アナログ、またはネガフィルムの形式で存在する。
【００６０】
通信地域データは、通信制御装置（８）に接続され又は無接続で車内において使用される通信装置（９）である携帯電話が、車内から通信できる地域を表示装置（２）に表示したり、その通信できる地域を経路探索の際に使用したりするための通信地域データが、携帯電話のタイプ別に存在する。
エージェントデータ（１０−２−３）は、メンタルモデルデータ（１０−２−３−１）と、お勧め提案データ （１０−２−３−３）と、知識データ（１０−２−３−２）と、シナリオデータ（１０−２−３−４）と、キャラクタデータ（１０−２−３−５）と、運転者情報データ（１０−２−３−６）と、学習項目データ及び応答データ（１０−２−３−７）と、で構成されている。
【００６１】
メンタルモデルデータ（１０−２−３−１）は、キャラクタの心理状態を表す５つのパラメータ（友好度，従順度，自信度，モラル，元気度）及びメンタルモデル変更条件データとで構成されている。メンタルモデル変更条件データは、前記の各パラメータの指数を増減する条件と、変化するパラメータ及びその変化の度合いが記されたものである。このテーブルに従って、各パラメータが増減しキャラクタの心理状態を表している。
お勧め提案データ（１０−２−３−３）は、運転者にお勧め情報としてレストラン等を提案する場合に使用する。このお勧め提案データ（１０−２−３−３）にはレストラン名称、読み上げデータ、レストランのジャンルデータ、雰囲気データ、料金データ、地点データ、…等で構成され運転者情報データ（１０−２−３−６）及び知識データ（１０−２−３−２）を基にして運転者にお勧めのレストランを検索して提案したりする。
レストラン以外にも観光地、休憩場所などが存在する。
知識データ（１０−２−３−２）は、統計データを基に年齢、性別による好みの傾向や、同乗者の有無によるシチュエーションによる選択傾向、場所による名産等を含んだ選択傾向、時期や時間による選択傾向をデータ化したものである。レストランの選択傾向、観光地の選択傾向、休憩場所の選択傾向、…等さまざまな選択傾向が存在する。
【００６２】
シナリオデータ（１０−２−３−４）は、エージェントが運転者とのコミュニケーションを取ったりする時の、状況に応じたエージェントの行為や質問内容、どういった状況において自律的にエージェントから情報提供を行なうのかといった条件、車両の走行に対してそのシナリオの実行をどのように扱うのかについて規定した走行中実行条件等が規定されている。
シナリオデータ（１０−２−３−４）には、キャラクタとは別に表示する画像データ（後述するシーン表示画面５４（図１２参照）に表示する画像データ）も保存される。
【００６３】
図７は、実機形式シナリオデータの構成を表したものである。
シナリオデータ（１０−２−３−４）は、複数のシナリオで構成されており、それらを管理するためのデータと、個々のシナリオの内容を示すデータとで構成されている。
集録シナリオの管理データには、このシナリオデータの有効期限、作成された日や作成者等といった情報と、シナリオデータに収録されている個々のシナリオを全体的に管理するためのデータ（シナリオ番号、シナリオ名称、優先順位（プライオリティ））と、シナリオファイルに収録されているシナリオの自律起動条件データと、シナリオファイルに収録されているシナリオの中で運転者が入力装置（５）等を使って手動起動させることができるシナリオ一覧データが記されている。
【００６４】
個々のシナリオの内容を示すデータには、それぞれのシナリオを管理する管理データと、シナリオを構成する個々のシーンの内容を示すシーンデータとで構成されている。
それぞれのシナリオを管理するデータ（「このシナリオの管理データ」）には、シナリオに関する情報と、このシナリオで使用する音声認識辞書を作成するためのテキスト情報と、シナリオを構成する各シーンデータを全体的に管理するためのデータが記されている。
【００６５】
また、シナリオの管理データには、スタンバイ処理を行うか否かを判断するデータ（第２の判断基準）が格納されている。スタンバイ処理は、自動起動の場合にスタンバイ状態により待機するスタンバイシーンを展開する処理である。
スタンバイ処理の判断データとしては、次の４種類が規定される。
（ａ）エージェント装置で自動判断する。
（ｂ）マニュアル設定（シナリオエディタで設定）した判断条件に従って、スタンバイ処理をするか否かを決定する。
（ｃ）使用する。（この場合、自動起動条件を満たしたシナリオはスタンバイ処理の対象となる。）
（ｄ）使用しない。（この場合、自動起動条件を満たしたシナリオはスタンバイ処理をせずに実行される。）
スタンバイ処理の判断データは、シナリオ作成者によって（ｂ）〜（ｄ）が特に設定されない場合には、デフォルト値として（ａ）が設定されるようになっている。もちろん、シナリオ作成者が（ａ）を選択した場合には（ａ）が設定される。
エージェント装置は、シナリオの管理データに設定されている判断データと、エージェント装置側の設定（自動判断、使用する、使用しない）とによって、シナリオ処理をするか否かを判断するようになっている。
【００６６】
シーンデータは、シーンを管理するデータと、画面構成データと、キャラクタ動作データと、各種処理データと、展開管理データとで構成されている。
シーンを管理するデータには、そのシーンに関する情報とシーンデータに属する各データセクションを管理するデータが記されている。
画面構成データには、このシーンにおいて表示装置（２）に表示する画面構成の各パーツのデータ（大きさや表示位置等）が記されている。
キャラクタ動作データには、このシーンにおいてキャラクタが行なう動作の指示データと、話す内容に関する指示データが記されている。動作の指示データには、シナリオデータで直接各キャラクタの表現手段で指示するものと、キャラクタに表現させたい状態で指示するものの２種類のうちどちらかで指示データが記されている。
【００６７】
各種処理データには、このシーンにおいて外部機器を制御（処理をさせる）する情報や、ナビゲーションを制御する情報や、他のシナリオを実行する指示や、タイマー設定情報や、キャラクタ心理を示すメンタルモデルのパラメータを変化させる情報等が記されている。
タイマー設定情報には、シーンの時間を設定する情報としてタイマー設定時間と、タイマー設定条件が含まれる。タイマー設定条件は、車両の状態によってタイマーを設定するか否かを規定する条件で、本実施形態では、（ａ）走行中も停車中も常に設定する、（ｂ）走行中のみ設定する、（ｃ）停車中のみ設定する、（ｄ）常にタイマー設定をしない（この場合にはタイマー設定時間は規定されない）、の各場合が存在する。
【００６８】
外部機器とは通信Ｉ／Ｆ部（１−１１）に接続されている各機器等があり、例えば通信制御装置がある。制御する内容は、特定の電話番号に電話をかけるや、通話を切断する等がある。
ナビゲーションの制御内容には、例えばこの地点を目的地に設定するといったものが存在する。
メンタルモデルのパラメータを変化させる指示としては、友好度を１減少する等がある。
【００６９】
展開管理データには、このシーンで何かイベントが発生した場合に、シナリオを終了するのか、次に進むシーンが何であるか、もしくは何も展開しないのか、といった情報が記述されている。
ここでいうイベントとは、シーンの展開を次に進めるためのもので規定された何らかのアクションを示している。例えばキャラクタの台詞が終了した、設定しておいた時間が経過した、運転者がこのシーンで質問した内容に対して何らかの回答を選択した（例えば「はい」ｏｒ「いいえ」の質問に「はい」と答えた）、等が存在する。
このイベントに加えて学習した結果によって展開を変えることもできる。
例えば、質問に対し運転者が「はい」を選択した場合で通算使用回数が１０回未満の時といった使い方ができる。
学習した結果のほかに、日時、メンタルモデルを使ったキャラクタの心理状態、運転者情報、等も使用して展開を変えることもできるようになっている。
【００７０】
図８はキャラクタデータの内容を概念的に表したものである。
キャラクタデータ（１０−２−３−５）には、複数のキャラクタのデータが格納されており、運転者の好みによって入力装置（５）等から選択することができるようになっている。
キャラクタデータ（１０−２−３−５）は、各キャラクタＡ、Ｂ、…毎に、キャラクタ画像データ１０２３５１と、キャラクタ音声データ１０２３５２と、キャラクタ画像選択データ１０２３５３とを備えている。
【００７１】
キャラクタ画像データ１０２３５１は、シナリオにより指定された各シーンで表示されるキャラクタの状態を表す静止画像や、動作を表す動画（アニメーション）等が格納されている。例えば、キャラクタがお辞儀をする動画、うなずく動画、右手を挙げる動画等が格納されている。
これらの各静止画像や動画には画像コードが付けられている。
キャラクタ画像データ１０２３５１は、画像記憶手段として機能する。
キャラクタ画像データ１０２３５１として使用するキャラクタ（エージェントの容姿）としては、人間（男性、女性）的な容姿である必要はない。例えば、非人間型のエージェントとして、タコや、ひよこ、犬、猫、カエル、ネズミ等の動物自体の容姿や、人間的に図案化（イラスト化）した動物の容姿であってもよく、更にロボット的な容姿や、フロアスタンドや木などの容姿や、特定のキャラクタの容姿等であってもよい。
またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく（大人の容姿に変化し、更に老人の容姿に変化していく）ようにしてもよい。
【００７２】
キャラクタ音声データ１０２３５２は、選択されたシナリオのシーンに従って、エージェントが運転者と会話等を行うための音声データが格納されている。
エージェントによる会話の音声データは、エージェントが運転者情報を収集するための質問をするための音声データも格納されている。例としては、「こんにちは」、「よろしくね」、「またね」等が格納されている。
これらの各音声には音声コードが付けられている。
【００７３】
キャラクタ画像選択データ１０２３５３は、個々の表示状態に対して各キャラクタの表現方法（動作）を表す画像データを割り当てた変換テーブルである。
シナリオデータ（１０−２−３−４）は、キャラクタの種類によらない共通化した表示状態により各シーンの内容を規定している。
このためキャラクタ画像選択データ１０２３５３は、共通表現されたシーンの表示状態を、ユーザが選択したキャラクタに対する個別の動作内容を表示する画像データに変換するための変換テーブルであり、画像選択手段の一部として機能する。
【００７４】
図９は、キャラクタ画像選択データ１０２３５３の内容を概念的に表したものである。
この図９では、各シーンデータで規定されている状態指示番号と、対応する統一の表示状態と、各キャラクタに対する動作内容が表示されているが、実際のキャラクタ画像選択データ１０２３５３には、状態指示番号と、状態指示番号に対応する動作内容を表示するための画像コードとが、各キャラクタ毎に記憶されている。状態指示番号には、キャラクタ画像データ１０２３５１の各静止画像や動画につけられた画像コードが対応つけられている。
図９に示した、変換テーブルを用いることにより、同じ表現したい状態に対してキャラクタによって異なる動作だったとしても共通の動作指示（表示状態の指定）ができるようになる。
図９に示されるように、例えば、日本人の日向えりの場合、「出会いの挨拶をする」という指示は「お辞儀をする」と規定されており、「話を聞く」という指示は「右手を耳にあてる」と規定されている。
これが欧米人のレディーの場合「出会いの挨拶をする」という指示は「右手を顔の横まで上げる」と規定され、ロボットのｉ−ｂａｌｌの場合「出会いの挨拶をする」という指示は「頭部メイン画面上をレーザースキャンが上下に移動する」と規定されている。
このように、エージェント装置では、同一のシナリオに対して、キャラクタの選択を変更することで、選択したキャラクタに対応した個別の動作をさせることが可能になる。
【００７５】
図１０は、運転者情報データを概念的に示したものである。
運転者情報データ（１０−２−３−６）は、運転者に関する情報で、エージェントのコミュニケーションをより運転者の希望や趣味、嗜好に合ったものとするために利用される。
運転者情報データ（１０−２−３−６）には、運転者毎に情報を格納するための運転者のＩＤ（識別情報）、名前、年齢、性別、結婚（既婚か未婚か）、子供の有無と人数と年齢からなる運転者基礎データや、趣味嗜好データとが格納されるようになっている。
趣味嗜好データとしては、スポーツ、飲食、旅行等の大項目と、これら大項目の概念に含まれる詳細項目とから構成されている。例えば、大項目スポーツには、野球が好きか嫌いか、サッカーが好きか嫌いか、ゴルフが好きか嫌いか等のデータが格納されるようになっている。
本実施形態では、これらの各運転者情報には優先順位が決められており、エージェントは、未だ格納されていない運転者情報のうち優先順位が高い順に運転者に質問をするようになっている。運転者基礎データは、趣味嗜好データよりも優先順位が高くなっている。
【００７６】
運転者情報データ（１０−２−３−６）は、その車両を運転する運転者が複数存在する場合には、運転者毎に作成される。そして、運転者を特定して該当する運転者情報が使用される。
運転者の特定は、例えば、電源オン時に、全運転者に共通するエージェントが登場して運転者の問い合わせをし、その回答から特定する。運転者の問い合わせは、入力済み運転者の氏名とその他を選択するボタンを表示装置に表示し、選択を促す音声を出力する。その他が選択された場合には新規ユーザ登録画面を表示する。
なお、体重、運転席（シート）の固定位置（前後位置、背もたれの角度）、ルームミラーの角度、視線の高さ、顔写真をデジタル化したデータ、音声の特徴パラメータＩＤカード等といった運転者固有の情報を少なくとも１つ運転者情報データ（１０−２−３−６）に格納しておき、これらの情報から運転者を特定するようにしてもよい。
【００７７】
図６における学習項目データ及び応答データ（１０−２−３−７）は、エージェントとのコミュニケーションにおいて運転者の選択や応答によってエージェントが学習した結果を格納するデータである。
従って、学習項目データ及び応答データ（１０−２−３−７）は、運転者毎にそのデータが格納・更新（学習）されるようになっている。
例えば、シナリオの使用状況として前回の選択結果や前回使用した日時、通算の使用回数等が格納される。
この学習内容に従って、例えば、毎回ナビ電源ＯＮ時に挨拶をするシナリオにおいて、前回使用から５分以内の場合に「つい先ほどにもお会いしましたね」と対応したり、逆に１ヶ月以上間があいている場合には「お久しぶりですね」と対応したりする。
【００７８】
また、どの球団のファンであるか質問した結果の回答（無回答という対応も含めて）を格納したりもする。この応答の結果によって無回答の場合はもう一度どの球団のファンか質問したり、特定の球団が記憶されている場合はその球団についての会話を行なったりと対応を変えることができる。
無回答という対応の判定方法のとして、本実施形態では、タイマー設定時間内に回答がなくてタイマー通知（設定時間が経過）となった場合に無回答と判定する。
タイマー設定時間は、シナリオデータのシーンデータとして、タイマー設定情報中に規定されている。
【００７９】
次に、以上のように構成されたエージェント装置による、シナリオの実行動作について説明する。
図１１は、エージェント装置において各種のコミュニケーション設定を行うためのコミュニケーション設定画面を表したものである。コミュニケーション設定画面は表示装置（２）に表示される。
このコミュニケーション設定画面には、例えば、図示されているように、エージェント処理を使用するか否かの設定、スタンバイ処理に関する設定、キャラクタの表示に関する設定、台詞の吹き出し表示に関する設定をするための項目名と設定ボタンが表示されている。なお、図示しないが左側に表示されたスクロールボタンにより、画面をスクロールさせることで、他に、背景の表示に関する設定、音声の変更に関する設定、その他の各種設定画面が表示されるようになっている。
スタンバイ処理の設定としては、図示されるように、自動判定、使用する、使用しない、の３種類から選択して設定することができる。エージェント装置は、運転者によって選択された設定を第１の判断基準としてスタンバイ処理（シナリオの実行告知と実行の可否の確認）を行うようになっている。
【００８０】
スタンバイ処理の設定として、自動判定が選択されると、シナリオデータの設定（第２の判断基準）に従ってスタンバイ処理をおこなうか否かが判定される。
エージェント装置、シナリオデータ共に（第１の判断基準、第２の判断基準共に）自動判定が設定されている場合、エージェント装置は、予め設定されている所定条件（スタンバイ処理の自動判断基準）によってスタンバイ処理を行うか否かの判断をするようになっている。本実施形態の場合、次の（ａ）〜（ｄ）のうちの１つでも満たしている場合に、エージェント装置はスタンバイ処理を行わないように設定されている。
（ａ）シフトレバ位置がパーキングの場合（Ａ／Ｔ車の場合）
（ｂ）サイドブレーキがＯＮの場合
（ｃ）エンジンが動いていない場合
（ｄ）シナリオのジャンルが、スタンバイ無しと設定されているジャンルの場合（例えば、注意・警告に関連するシナリオや、メール着信に関連するシナリオの場合にはスタンバイ無しと設定されている。）
【００８１】
本実施形態では、スタンバイ処理の設定として「使用する」が設定されている場合、シナリオデータの設定内容にかかわらず、スタンバイ処理が実行される。
また、スタンバイ処理の設定として「使用しない」が設定されている場合、シナリオデータの設定内容にかかわらず、スタンバイ処理を実行せずにシーン処理が実行される。
なお、シナリオ処理を「使用する」、「使用しない」の設定として、エージェント装置による設定と、シナリオデータによる設定が存在し、本実施形態の場合にはエージェント装置の設定を優先させるようにしたが、逆にシナリオデータの設定を優先させるようにしてもよい。
【００８２】
また、エージェント装置１は、表示装置（２）に表示されるコミュニケーション設定画面（図１１）からキャラクタを選択することができるようになっている。
図１１において、ユーザによってキャラクタの表示の「する」ボタンが選択されると、キャラクタデータ（１０−２−３−５）に格納されている各キャラクタの名称が選択可能にリスト表示される（キャラクタ選択手段）。ユーザはこのリスト表示の中から、好みのキャラクタを選択する。選択は該当するキャラクタ名称の欄を選択するか、キャラクタ名称を音声入力することで選択する。
キャラクタが選択されると、ユーザが選択したキャラクタを特定するデータが全体処理部（１０２）から外部Ｉ／Ｆ（１０１−９）を介して伝えられて、エージェントＯＳ部（１０１−８）によって管理される。
なお、本実施形態では「日向えり」がデフォルト値として設定されており、ユーザが選択したキャラクタのデータが存在しない場合、デフォルトのキャラクタがエージェントＯＳ部（１０１−８）により管理される（設定手段）。
【００８３】
図１２は、シナリオのシーンデータに基づいて表示装置（２）に表示されるシーン画面の一例を表したものである。
この図１２に示されるシーン画面は、未入力の運転者情報である趣味嗜好（食事）を取得するために運転者から質問をする質問シナリオのシーン画面（シーン番号０ｘ０００１）である。
シーン画面は、図１２に示されるように、エージェントの画像（静止画、動画）が表示されるエージェント表示画面５１、エージェントの音声に対応した文字が表示される吹き出し画面５２、タイトル画面５３、及び、各シーン固有の画像データ（実画像データの画像や回答選択ボタン等）が表示されるシーン表示画面５４から構成されている。
エージェント表示画面５１に表示されるエージェントは、ユーザが選択したキャラクタ、又はデフォルトのキャラクタである。
【００８４】
エージェント処理部（１０１）のシナリオ駆動部（１０１−１）は、趣味嗜好（食事）の質問シナリオを起動すると、最初にシーンヘッダで指定されるシーンの画面構成データをシナリオデータ＋画像（１０−２−３−４）から読み出してシーン画面を表示装置（２）に表示すると共に、質問文に相当する質問音声を音声出力装置（３）から出力するようになっている。
図１２（ａ）の質問シナリオのシーン画面では、吹き出し画面５２に「どのジャンルの食事が好きですか？」と表示される。なお、吹き出し画面５２の表示に対応する音声が音声出力装置（３）から出力されるようになっている。
また、図１２（ａ）のシーン画面におけるシーン表示画面５４には、４つの回答選択ボタン５４ａの「和食」、「洋食」、「中華」、「特に無し」が表示されている。
【００８５】
この運転者に対する質問のシーンには、運転者の回答に応じた複数のシーンが分岐して続くようになっている。各シーンの分岐および続くシーンの特定については、各シーンの展開管理データに従って、運転者の回答に応じて決定される。
すなわち、図１２（ａ）のシーン画面（シーン番号０ｘ０００１）で運転者が回答選択ボタン「和食」を選択すると、シナリオ駆動部（１０１−１）は、回答に応じたシーン画面（ｂ）に分岐して表示される。このシーン画面（ｂ）では、選択された「和食」がタイトル画面５３に表示されると共に、吹き出し画面には「和食がすきなのですね。」と表示され、なお、分岐後の和食のシーン画面では、シナリオデータから読み出された和食の実画像５４ｂがシーン表示画面５４に表示される。そしてシナリオ駆動部（１０１−１）により、運転者の回答、例えば、「和食」が運転者情報として、運転者情報３０７の趣味嗜好データに格納されるようになっている。
このようにして、シナリオに規定された各シーン画像と音声が最後のシーンまで連続的に順次表示、出力されることで、１シナリオにおけるエージェントの行為が完了することになる。
【００８６】
図１３は、旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表したものである。
この案内シナリオは、複数のシーン画面のうち（ａ）〜（ｆ）までのシーン画面で構成されてる。
シーン画面（ｃ）に対するユーザの選択結果によって次のシーン画面が０ｘ０００４と０ｘ０００６に分岐している。また、図１３の例では分岐していないが、シーン画面（ｄ）においても選択した料理の種類に応じた料理をシーン表示画面５４に表示するようにシーン画面を分岐させるようにしてもよい。
また、この案内シナリオには、スタンバイ処理において表示されるスタンバイシーン（ｓ）が設定されている。
【００８７】
以下図１３に従って予約シナリオによるエージェントの各行為について説明する。
以下の各シーン画面に対応して説明するエージェントの動作や画面の表示はいずれも、外部シナリオのシナリオデータに格納されているデータや画像及び指示に従って表示等されるものである。また、エージェントの動作として説明するが、実際にはエージェント処理部（１０１）のシナリオ駆動部（１０１−１）が処理を行う。
【００８８】
後述するシナリオ開始処理においてスタンバイ処理を使用しないと判断されると、予約シナリオが起動され、番号０ｘ０００１のシーンが展開される。
一方、スタンバイ処理を使用すると判断された場合に、図１３のスタンバイシーン（ｓ）が展開される。
図１３に表示した例では、スタンバイ処理を行う直前の画面、すなわち、ナビゲーション機能による経路案内のための地図画面が表示されている。この直前の画面上の右上に小さくエージェントが、画面を押圧することによって所定の操作指令を行うタッチパネル機能を持つ表示画面（２）に表示される。（キャラクタ表示手段）
そして、「私にタッチしたら、『予約された旅館の案内』をします。」というようにシナリオを実行する告知を行うと共に、実行を許可を促す（実行の確認）を求める。なお、シナリオデータでエージェントの音声内容が規定されている場合にはその音声が出力される。
このように、シナリオ（画面要素推移体）の実行の確認を行うことにより、本願発明の実行確認手段が形成される。
【００８９】
そして、実行の許可の催促にしたがって、運転手による、ＯＫの意志表示がイベントとして検出されると、通常のシナリオが一番最初のシーンから順次展開される。タッチパネル機能を持つ画面に表示されたキャラクタがタッチ（押圧）された場合、または肯定を示す音声が認識された場合に（指定手段）、ＯＫの意志表示がされたと判断する。なお、キャラクタ表示部分以外の画面いずれかをタッチした場合にはＮＯの意思表示がされたものと判断する。
一方、スタンバイシーンにおいて、実行の告知と確認の音声を出力した後に、ＯＫの意志表示がないままナビ等の機器操作、及び、一定時間が経過すると、タイマー通知により、シナリオの実行が終了される。
このように、表示されたキャラクタが指定された場合に、記憶された制御内容を実行し、指定されない場合には、制御内容を実行しないことにより、本願発明の実行条件手段が形成される。
【００９０】
スタンバイシーンにおいてＯＫの意志表示がされた場合、又はスタンバイ処理が不使用である場合、予約シナリオが起動される。
すなわち、まず番号０ｘ０００１のシーン画面が表示装置（２）に表示される。このシーンでは、エージェントＯＳ部（１０１−８）で管理しているキャラクタのエージェントが、エージェント表示画面５１に登場し、お辞儀をして音声による挨拶をする。音声による挨拶の内容は、吹き出し画面５２に表示されている文章と同一である。
音声による挨拶は、旅館に代わってエージェントが代行して行うことになるが、旅館の女将の写真画像をシーン表示画面５４に表示することで旅館からの挨拶であることが表現されている。この女将の画像は、外部シナリオの一部として受信し追加した画像で、シナリオデータ（１０−２−３−４）の実画像データとして格納されている。
エージェントの動作に対する指示は、キャラクタ動作指示データに格納されている指示に従う。
エージェントによる挨拶が終了すると、次のシーン０ｘ００２に遷移する。
【００９１】
次のシーン０ｘ０００２では、シーン表示画面５４に露天風呂の画像が表示される。そして、この露天風呂の絵をエージェントが指し示して、旅館の名物（ここが売りだということ）を、エージェントが音声と吹き出し画面５２の表示で説明する。
【００９２】
エージェントの話が終了すると、次のシーン０ｘ０００３に遷移し、本日の食事の画像（懐石料理の画像）をシーン表示画面５４に表示し、エージェントが料理の説明と、この料理で良いか否かを質問する。
そして、シーン０ｘ０００３のシーンデータにタイマー設定時間と、タイマー設定条件「走行中のみ設定する」が規定されているものとする。この場合、走行中であることを条件に、シーン開始時にタイマーによる計時が開始される。走行中か否かは車速センサ（６−１１）又は、距離センサ（６−１−５）において、車速ｖ＝０が検出された場合に停車中と判断され、車速ｖ≠０が検出された場合に走行中と判断される。
【００９３】
そして、表示した料理を変更するか否かの質問に対する回答としてユーザが「はい」を選択した場合にはシーン０ｘ０００４に分岐し、「いいえ」を選択した場合にはシーン０ｘ０００６に分岐する。
一方、タイマー設定時間内に、ユーザが音声による回答も、画面に表示された選択ボタンの選択による回答もせずにタイマー通知（設定時間の経過）した場合、シーン０ｘ０００３のシーンデータで規定されているタイマー通知時の移行条件に従って、そのシナリオを終了させる。
【００９４】
このように、ユーザからの回答がない場合にも、無回答という選択がされたと判断して、無回答を移行条件とする次のシーン（図１３の例では終了）に移行することで、擬人化されたキャラクタとのコミュニケーションをより人間同士のコミュニケーションに近づけることができる。
【００９５】
シーン０ｘ０００４では、懐石料理以外の選択可能なリストをシーン表示画面５４に表示する。エージェントは、シーン表示画面５４のリストを指し示して、どの料理が良いかを質問する。
そして、ユーザがいずれか１つを選択したらシーン０ｘ０００５に遷移する。
【００９６】
シーン０ｘ０００５では、懐石料理から変更すべき人数のリストをシーン表示画面５４に表示し、エージェントはこのリストを指し示して、人数の質問をする。
そしてユーザがいずれか１つを選択したらシーン０ｘ０００６に遷移する。
【００９７】
シーン０ｘ０００６では、シーン表示画面５４に旅館の外観写真画像を表示し、エージェントがお辞儀をして挨拶をする。
そして、エージェントは、ユーザが選択してきた結果、図１３の案内シナリオの場合には食事に関する回答結果を、通信制御部を介して実行中の外部シナリオを送信した第三者（旅館）に送信する。
このように、ユーザについての情報を取得したい場合には、外部シナリオの作成者は、取得したい情報が得られる質問のシーンをシナリオ中に設け、その回答を電子メールで送信するようにシナリオを作成する。なお、回答の送信が必要な場合には、作成者の電子メールアドレスをシナリオデータ中に含める。
最後のシーン（図１３ではシーン０ｘ０００６）でのエージェントの話が終了すると、シナリオを終了させる。
【００９８】
このようにして、シナリオ駆動部（１０１−１）は、シナリオに規定された各シーン画像と音声を最後のシーンまで順次表示、出力する。
起動したシナリオが終了すると、シナリオ駆動部（１０１−１）は、他のシナリオの起動要求が存在するか否かの判断を行う。
【００９９】
次に、このようなシナリオ駆動部（１０１−１）で実行される各種シナリオを自律的に起動するか否かの判断処理について説明する。
図１４は、自律起動判断部によるシナリオの自律起動判断処理について表したものである。
この自律起動判断処理では、自律起動判断部（１０１−２）が装置の負荷を軽減するために、位置と日付に関する情報を受け取り、その受け取った位置と日付に近似する起動条件を、シナリオデータを保持している外部記憶装置（１０）より読み出し（抽出手段）、ＲＡＭ（１−４）に一時的に格納する処理を行う。
すなわち、自律起動判断部（１０１−２）は、今現在置かれている状況情報を取得するため、エージェントＩ／Ｆを介し、エージェントＯＳ部（１０１−８）より現在位置、時間などの状況情報を取得する（ステップ１１）。
そして、自律起動判断部（１０１−２）は、取得した位置、時間などの状況情報が所定単位の変化があるか否かを判断する（ステップ１２）。
判断の結果、所定単位の変化がありと判断された場合（ステップ１２；Ｙ）、自律起動判断部（１０１−２）は、その位置と時間などの条件に近似する条件を備えた自律起動条件を外部記憶装置（１０）より読み出し、ＲＡＭ（１−４）に一時的に格納する（ステップ１３）。ここで、近似する条件とは、位置の場合、地図データの全範囲を所定単位の方形ブロックに区画し、現在の自車位置が存在するブロックと、そのブロックに隣接する８つのブロックに位置情報が含まれる条件をいい、日付の場合、その当日と翌日が該当する。そして、所定単位の変化とは、位置の場合には車両が他のブロックに移動した場合で、日付の場合には日付が変わった場合が該当する。
そして自律起動判断部（１０１−２）は、読み込まれた自律起動条件を、状況情報が満たしているか否かについての条件判断処理を行う（ステップ１４）。
なお、ステップ１２の判断で所定単位の変化なしと判断された場合（；Ｎ）、予め読み出されていた起動条件を変更する必要がないため、ステップ１４の処理に進む。
【０１００】
図１５は、条件判断処理（ステップ１４）の処理内容を表したものである。
自律起動判断部（１０１−２）は、ＲＡＭ（１−４）から、最初の自律起動条件を取得し（ステップ２１）、ステップ１２で入手した各種状況情報による状況が、取得した自律起動条件を満たしているか否かを判断する（ステップ２２）。
自律起動条件を満たしている場合（ステップ２２；Ｙ）、自律起動判断部（１０１−２）は、その自律起動条件に対応するシナリオの実行要求メッセージを、シナリオ駆動部（１０１−１）に対して発行する（ステップ２３）。
【０１０１】
次に自律起動判断部（１０１−２）は、次の自律起動条件がシナリオデータ（１０−２−３−４）にあるか否かを判断し（ステップ２４）、あれば（；Ｙ）、次の自律起動条件を取得し（ステップ２５）、以後ステップ２２〜２５の各処理を全ての自律起動条件に対する判断が終了するまで繰り返す。
ステップ２４において、次の自律起動条件が存在しない場合（；Ｎ）、自律起動判断部（１０１−２）は、自律起動判断処理を終了する。
【０１０２】
次に、シナリオ駆動部（１０１−１）が、自律起動判断部（１０１−２）からシナリオ実行要求を受け取った場合のシナリオ実行処理について説明する。なお、以下に記す自律起動判断部の処理が、条件判断手段を構成する。
図１６は、シナリオ実行処理の流れを表したフローチャートである。なお、図１６では、シナリオを実行する場合の、エージェント処理部（１０１）の各部、及び全体処理部（１０２）による一連の代表的な動作を表したものであり、各部はそれぞれ独立した処理を行うようになっている。すなわち、各部の独立した処理が、連続することで図１６に示した代表的な流れになる。
具体的には、エージェント処理部（１０１）の各部、及び全体処理部（１０２）は、メッセージを受け取ったら、そのメッセージに対する処理を行ない、処理が完了したら次のメッセージを待つようになっている。
【０１０３】
シナリオ駆動部（１０１−１）は、自律起動判断部（１０１−２）からシナリオ実行要求を受け取ると、ワークメモリの確保、初期化によるエージェント開始準備処理を行う（ステップ５０５−１）。
そして、シナリオ駆動部（１０１−１）は、シナリオの実行要求が手動起動か自動起動かを確認する（ステップ５０５−２）。手動起動は、ユーザが表示装置（２）のメニューからシナリオ起動を選択した場合で、自動起動は、シナリオの自律起動条件を満たした場合である。
シナリオの実行要求が手動起動の場合はメニューシナリオの要求処理を行う（ステップ５０５−３）。その後、シナリオデータ読み込み処理（ステップ５０５−４）に移行する。
【０１０４】
一方、自動起動の場合には、自律起動条件を満たすことで実行要求されているシナリオが存在するので、そのままシナリオデータ読み込み処理（ステップ５０５−４）に移行する。
次にシナリオ駆動部（１０１−１）は、実行すべきシナリオデータをＲＡＭ（１−４）に読み込む（ステップ５０５−４）。シナリオデータを読み込む際、実行対象となっているシナリオが複数存在する場合（複数の自律起動条件が満たされた場合、手動起動要求と自動起動が重複した場合等）には、シナリオ駆動部（１０１−１）は、各シナリオに規定されている優先順位を判断し一番優先順位の高いシナリオデータを読み込む。優先順位が同じである場合には、自律起動判断部（１０１−２）から実行要求を受けた順に優先順位が高いものとして決定する。シナリオの優先順位は、シナリオデータ（１０−２−３−４）の収録シナリオの管理データから確認する。
【０１０５】
シナリオデータの読み込みが完了すると、シナリオ駆動部（１０１−１）は、次に、シナリオ開始処理を行う（ステップ５０５−５）。
シナリオ開始処理においてシナリオ駆動部（１０１−１）は、まず、シナリオを開始するための初期化処理を行う。
また、シナリオ駆動部（１０１−１）はシナリオ開始処理において、後述するようにスタンバイ処理を行うか否かの判断を行う。
【０１０６】
シナリオ開始処理（ステップ５０５−５）の後に、シナリオ駆動部（１０１−１）は、シナリオを構成するシーンの内容に応じてキャラクタの描画や音声を処理するシーン処理を実行する（ステップ５０５−６）。シーン処理の詳細は図１９により後述する。
シーン処理が完了すると、シナリオ駆動部（１０１−１）は、シナリオ終了か確認を行なう（ステップ５０５−７）。
シナリオ終了の場合、シナリオ駆動部（１０１−１）は、シナリオ終了処理を行なう（５０５−８）。このシナリオ終了処理において、学習部（１０１−３）が、終了の仕方を示すエンドＩＤを入手して応答データ（１０−２−３−７）に格納する。
シナリオ終了でない場合（シナリオがまだ続く場合）、シナリオの終了位置まで、ステップ（５０５−６）に戻って次のシーン、次のシーン、…とシーン処理を繰り返す。
【０１０７】
シナリオの終了処理の後、シナリオ駆動部（１０１−１）は、他にシナリオの実行要求が有るか否か確認し（ステップ５０５−９）、他のシナリオの実行要求が存在する場合は、シナリオデータの読み込み処理（ステップ５０５−４）に戻って同様に処理が実行される。
一方、他に実行するシナリオが存在しない場合、シナリオ駆動部（１０１−１）は、エージェント終了処理を実行する（５０５−１０）。すなわち、エージェントＯＳ部（１０１−８）に対して、要求された全てのシナリオの実行処理が終了したことを知らせる。
その後、表示装置（２）に表示される画面は通常のナビゲーション画面に戻るが、その後の処理はエージェントＩ／Ｆを介して全体処理部（１０２）に受け渡す。
【０１０８】
図１７はシナリオ開始処理（ステップ５０５−５）の流れを表したフローチャートである。
シナリオ駆動部（１０１−１）は、シナリオの起動が手動起動によるものか自動起動によるものかを判断し（ステップ５０５−５−１）、手動起動によるものであれば、運転者による起動でありコミュニケーションの準備ができているものと判断できるので、スタンバイシーンではなく通常のシーンによるシーン番号１番（最初のシーン）を決定する（ステップ５０５−５−８）。
【０１０９】
シナリオの起動が自動起動条件を満たしたことによる自動起動である場合、シナリオ駆動部（１０１−１）は、シナリオに設定されているシナリオプライオリティ（優先度）の高低から、そのシナリオに緊急性があるか否かを判断する。
すなわち、シナリオ駆動部（１０１−１）は、シナリオデータに格納されているシナリオプライオリティの値と高低との関係は、本実施形態の場合、次の用に決められている。なお、この関係は設定変更できるようにしてもよい。
値が３以下 ：プライオリティが「低い」
値が４〜６ ：プライオリティが「やや低い」
値が７〜９ ：プライオリティが「並」
値が１０〜１２：プライオリティが「やや高い」
値が１３以上 ：プライオリティが「高い」
【０１１０】
そして、緊急性に基づくスタンバイシーンを実行するか否かの判断は次の６段階にわかれており、初期設定としては第２段階が設定されていて、ユーザはこの設定を変更することができるようになっている。
第１段階：全てにおいて緊急性は無い
第２段階：プライオリティが「高い」の場合には緊急性がある
第３段階：プライオリティが「やや高い」より上の場合には緊急性がある
第４段階：プライオリティが「並」より上の場合には緊急性がある
第５段階：プライオリティが「やや低い」より上の場合には緊急性がある
第６段階：プライオリティが「低い」より上の場合には緊急性がある
【０１１１】
シナリオ駆動部（１０１−１）は、どの段階が設定されているか及び、プライオリティから、緊急性を判断する。
例えば、初期設定である第２段階の緊急性が設定されている場合、シナリオエディタでプライオリティが１３以上に設定したシナリオに対して、シナリオ駆動部（１０１−１）は緊急性があると判断し、スタンバイシーンを実行することなく、直ちに最初のシーン番号のシーンから順次展開する（ステップ５０５−５−８）。
これにより、シナリオ作成者は、カーブの警告や速度超過警告などの緊急性が高いと思われるシナリオのプライオリティを高く（上記例の場合には１３以上）に設定しておくことで、スタンバイシーンを介さずに直ちに実行される。
【０１１２】
なお、緊急性が高いと判断された場合には、シナリオ駆動部（１０１−１）は、シナリオ実行の告知を行った後に、運転者の実行確認をすることなく、シーン番号１からの（最初の）シーンから順次展開する（すなわち、シナリオ処理を実行する）ようにしてもよい。これにより、緊急性の高いシナリオに対して、シナリオが実行されることを運転者に確実に認識させた上で、直ちにシナリオを実行することが可能になる。
このように、シナリオ（画面要素推移体）を実行する優先順位（プライオリティ）を判断することをもって、本願発明の優先度判断手段が形成される。
【０１１３】
シナリオ駆動部（１０１−１）は、シナリオプライオリティの値から緊急性がないと判断した場合、コミュニケーション設定画面（図１１参照）で設定された、エージェント装置によるスタンバイ処理の設定を判断する（ステップ５０５−５−３）。
シナリオ駆動部（１０１−１）は、コミュニケーション設定画面でスタンバイを「使用する」が設定されている場合に、スタンバイシーンを決定する（ステップ５０５−１−６）。一方、「使用しない」が設定されている場合、（ステップ５０５−５−８）に移行して最初のシーンからシナリオを実行する。
【０１１４】
コミュニケーション設定画面でスタンバイの「自動判定」が設定されている場合、シナリオ駆動部（１０１−１）は、次に、シナリオデータによる設定を判断する（ステップ５０５−５−４）。
そして、シナリオデータにおいて、スタンバイを「使用する」が設定されている場合に、スタンバイシーンを決定する（ステップ５０５−５−６）。一方、「使用しない」が設定されている場合、（ステップ５０５−５−８）に移行して最初のシーンからシナリオを実行する。
【０１１５】
シナリオデータにおいて「自動判断する」が設定されている場合、シナリオ駆動部（１０１−１）は、エージェント装置で規定されているスタンバイ処理の自動判断基準（第１の判断基準の１部を構成する）から、スタンバイシーンか最初のシナリオかを決定する（ステップ５０５−５−５）。
【０１１６】
本実施形態において、スタンバイ処理の自動判断基準は、次のように規定されている。すなわち、次の（ａ）〜（ｄ）の基準が規定され、そうちの１つでも基準を満たしている場合に、エージェント装置はスタンバイ処理を行わないように設定されている。
（ａ）シフトレバ位置がパーキングの場合（Ａ／Ｔ車の場合）
（ｂ）サイドブレーキがＯＮの場合
（ｃ）エンジンが動いていない場合
（ｄ）シナリオのジャンルが、スタンバイ無しと設定されているジャンルの場合（例えば、注意・警告に関連するシナリオや、メール着信に関連するシナリオの場合にはスタンバイ無しと設定されている。）
なお、上記基準（ａ）〜（ｃ）は、本請求項記載の車両状態に該当し、（ｄ）がナビゲーションの設定に該当する。（ｄ）に関しては、後述の図１８の説明にて詳細に説明する。
【０１１７】
図１８はシナリオのジャンルによるスタンバイシーンを使用するか否かを決定するための設定例を表したものである。
この図１８に示されるように、「スタンバイ無し」の欄に○が記されているジャンルがスタンバイシーンを使用しないとシナリオ駆動部（１０１−１）で判断されるジャンルである。この条件判断も、シナリオデータの「シナリオの管理データ」（図７参照）に記述されるようになっている。
【０１１８】
シナリオ駆動部（１０１−１）は、上記（ａ）〜（ｄ）の全ての自動判断基準を満たしていない場合に、スタンバイシーンを決定し（ステップ５０５−５−６）、いずれか１つでも満たしている場合に最初のシーンを決定する（ステップ５０５−５−８）。
【０１１９】
シナリオデータにおいて「自動判断する」が設定されている場合、シナリオ駆動部（１０１−１）は、マニュアル設定（手動設定）されたスタンバイシーン使用条件（後述する）をシナリオデータから確認し、手動設定された条件からスタンバイが必要か否を判断する（ステップ５０５−５−７）。
そして、シナリオ駆動部（１０１−１）は、手動設定されたスタンバイシーン使用条件を満たす場合には、スタンバイシーンを決定し（ステップ５０５−５−６）、満たしていない場合には最初のシーンを決定する（ステップ５０５−５−８）。上記図１７の処理のように、シナリオ（画面要素推移体）の実行の確認が必要か否か判断することにより、本願発明の要否判断手段が形成される。
【０１２０】
図１９は、シーン処理（ステップ５０５−６）の流れを表したフローチャートである。
シナリオ駆動部（１０１−１）は、シーン処理において、開始するシーンの種類を確認し（ステップ５０５−６−１）、通常のシーン又はスタンバイシーンの場合は、シーンデータの解析処理（ステップ５０５−６−２）に進み、クローンシーンの場合は、各種処理の依頼を行なう処理（ステップ５０５−６−５）に進み、条件追加シーンの場合は、展開判断処理（ステップ５０５−６−１２）に進む。
ここで、クローンシーンは、あるシーンｎの終了の仕方によって、元のシーン（直前に終了したシーン）ｎと同一の画面を表示する場合で、例えば、設定時間内に入力がされなかった場合に、同一の画面のまま入力を促す音声を出力するような場合のシーンである。
また、条件追加シーンは、ある特定のシーンに推移して開始させるために、当該シーンの前に設けられたシーンで、画面表示がされずに画面推移（分岐）のための条件判断を行うシーンである。
【０１２１】
開始するシーンが通常のシーン、もしくはスタンバイシーンの場合、シナリオ駆動部（１０１−１）は、開始するシーンのデータを、ステップ５０４にて読み込まれたシナリオデータがおかれているＲＡＭ（１−４）を参照し、表示する画面構成やキャラクタの動作指示、等を解析する（ステップ５０５−６−２）。
解析した結果、音声認識辞書が存在する場合、シナリオ駆動部（１０１−１）は、シーンデータ中に規定されている音声認識辞書の設定（初期化）依頼を音声認識部（１０１−７）に対して通知する（ステップ５０５−６−３）。
なお、スタンバイシーンの場合には、肯定か否定かの音声認識辞書が設定される。
【０１２２】
次に、シナリオ駆動部（１０１−１）は、描画・音声出力部（１０１−５）に対して画面描画の依頼を行なうための処理として、描画する画面の各パーツを決定する画面構成の画面データ作成処理を行う（５０５−６−４）。
画面構成の画面データ作成処理では、例えば図１２に示されるシーン画面のうち、エージェント表示画面５１や、キャラクタの台詞が表示される吹き出し画面５２等のキャラクタに関連する項目を決定する処理である。
【０１２３】
シナリオ駆動部(１０１−１)は、各種処理の指示を行う(ステップ５０５−６−５)。
各種処理の指示とは、ナビや外部接続機器などへの処理、タイマーが設定されている場合には時間計測の依頼処理、AMMパラメータの変更処理等である。
【０１２４】
次に、シナリオ駆動部（１０１−１）は、シーンのキャラクタ動作や、台詞等の音声を決定し、決定したキャラクタの描画・音声出力の要求を描画・音声出力部に対して行い、該要求にしたがって、描画音声出力部はキャラクタ描画・音声出力処理を行う（ステップ５０５−６−６）。
シナリオ駆動部（１０１−１）によるキャラクタ描画データの作成は、作成するシナリオのパーツが画面構成のパーツかキャラクタに関するパーツかが異なる以外は、図８に示した画面構成の描画データ作成処理と同様に行われる。また、キャラクタ描画データの作成の場合、描画データ作成（ステップ５０５−６−６−４に対応）では、吹き出し画面５２に表示する台詞に対応するキャラクタの音声や、効果音についての音声データの特定も行われる。
シナリオ駆動部（１０１−１）は、キャラクタ描画データ（音声データを含む）を作成すると、作成したキャラクタ描画データによるキャラクタ描画要求を描画・音声出力部（１０１−５）に対して行う。
【０１２５】
描画・音声出力部は（１０１−５）は、シナリオ駆動部（１０１−１）からの描画要求に従って、キャラクタの描画・音声出力の処理を行う。
キャラクタ描画・音声出力処理により、キャラクタがお辞儀をしたり、右方向や左方向を手で指したり、ユーザに話しかけたりするシーンが展開される。このシーンは、シナリオ駆動部（１０１−１）からの、画面構成の描画要求（ステップ５０５−５−４−６）と、キャラクタ描画要求（ステップ５０５−６−５）の両要求内容に応じて、停車中であれば、図１２に例示したようにシーン画面を構成する全項目が表示され、走行中であればシーン画面を構成するうちの一部の項目が制限されて表示される。
また、スタンバイシーンの場合は、図１３（Ｓ）に例示したような、通常（図１３（ａ））よりも小さいキャラクタが表示される。
【０１２６】
図２０は、描画・音声出力部（１０１−５）によるキャラクタ描画・音声出力処理を表したフローチャートである。
描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）からキャラクタの動作指示の依頼又は描画データを受けると、動作指示内容解析処理（ステップ５０５−６−６−１〜５０５−６−６−８）、動作再生処理（ステップ５０５−６−６−９）、要求終了返信（ステップ５０５−６−６−１０）の順に処理を行う。
【０１２７】
動作指示内容解析処理において描画・音声出力部（１０１−５）は、まず、受け取った描画指示内容キャラクタの種類によらない統一の（共通の）動作指示か否かを判断し（ステップ５０５−６−６−１）、描画指示がキャラクタ毎に特定された表現方法で指示（直接指示：図３７（ｂ）参照）されていれば、動作再生処理（ステップ５０５−６−６−９）に移行する。
【０１２８】
描画指示がキャラクタによらない統一の表示形態であれば、描画・音声出力部（１０１−５）は、指示内容の変換を行う。
変換はまず、その時点で設定されているキャラクタの種類をエージェントＯＳ部（１０１−８）から取得する（ステップ５０５−６−６−２）。
次に描画・音声出力部（１０１−５）は、統一の動作指示（表示状態番号）とキャラクタ毎の動作指示内容（画像コード）の対応表が書かれた変換テーブル（キャラクタ画像選択データ）１０２３５３（図９参照）を外部記憶装置（１０）のキャラクタデータ（１０−２−３−５）から取得する。
そして、描画・音声出力部（１０１−５）は、変換テーブルを基に動作させるキャラクタの動作指示内容、すなわち、シーンデータの表示状態番号に対応するキャラクタの画像コードを取得する（ステップ５０５−６−６−４）。
【０１２９】
描画・音声出力部（１０１−５）は、取得した動作指示情報が、キャラクタの動作指示をシステムに自動で選択させる設定になっている場合、（ステップ５０５−６−６−５；Ｙ）、更に以下の処理を行う。
すなわち、描画・音声出力部（１０１−５）は、まず時間、場所、運転者情報、エージェントメンタルモデル等の、動作自動選択条件情報をエージェントＯＳ部等、エージェント処理部に含まれている各情報を管理している処理部（１０１−８）から取得する（ステップ５０５−６−６−６）。
次に時間等の統一の動作指示の選択条件情報と、キャラクタの統一の動作指示とが記述されている、電源ＯＮ時に既にＲＡＭに読み込まれているエージェントデータ（１０−２−３）から自動選択テーブルを取得する（ステップ５０５−６−６−７）。
そして、描画・音声出力部（１０１−５）は、時間等の統一の動作指示の選択条件情報と、動作自動選択テーブルを基に統一の動作指示を取得する。該統一の動作指示を基に、ステップ５０５−６−６−３で取得した変換テーブル１０２３５３を参照して動作指示内容（画像コード）を取得することにより動作指示を確定する（ステップ５０５−６−６−８）。
【０１３０】
次に、描画・音声出力部（１０１−５）は、動作再生処理を行う（ステップ５０５−６−６−９）。
すなわち、描画・音声出力部（１０１−５）は、キャラクタの動作指示内容（画像コード）を基に、キャラクタデータ（１０−２−３−５）の、選択されているキャラクタのキャラクタ画像データ１０２３５１（図８参照）から画像データを取得する。
また当該キャラクタの動作指示依頼が、キャラクタの動作にキャラクタの台詞音声を同期させ出力させる内容であれば、キャラクタデータ（１０−２−３−５）のキャラクタ音声データ１０２３５２から音声データを取得する。
【０１３１】
描画・音声出力部（１０１−５）で取得した画像データはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある描画プロセッサ（１−６）への指示を行う処理部を通して描画プロセッサ（１−６）へ伝わり画像処理を施し表示装置（２）に表示される。
また取得した音声データはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある音声プロセッサ（１−８）への指示を行う処理部を通して音声プロセッサ（１−８）へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力される。
【０１３２】
次に、描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）から要求されたキャラクタの動作処理をすべて行った後、要求されたシーンのキャラクタ描画・音声出力処理終了をシナリオ駆動部（１０１−１）に通知し（ステップ５０５−６−６−１０）、処理を終了する。
また、キャラクタの台詞音声を同期させて出力する要求内容であった場合は、音声の出力が全て終了した時点で、キャラクタ音声出力処理終了をシナリオ駆動部（１０１−１）に通知する。
【０１３３】
描画・音声出力部（１０１−５）からシーンのキャラクタ描画・音声出力処理終了が通知された後に、シナリオ駆動部（１０１−１）は、処理中のシーンデータにおいて音声認識についての指示がされているか否かを確認し（ステップ５０５−６−７：図１９）、指示が無ければ、ステップ５０５−６−９に移行し、指示がある場合には音声認識処理を行う（ステップ５０５−６−８）。
【０１３４】
図２１は、音声認識処理（ステップ５０５−６−８）の処理動作を表したフローチャートである。
キャラクタが話し終わった後（描画・音声出力部（１０１−５）からキャラクタの音声出力終了がシナリオ駆動部（１０１−１）に通知されたとき）に、シナリオ駆動部（１０１−１）は、シナリオデータに設定されている認識開始制御指示（音声認識の指示）を確認する（ステップ５０５−６−８−１）。
音声認識の指示が、「常に自動認識開始しない」（自動で開始しない）、である場合は、認識処理はしないでリターンする（図１９のステップ５０５−６−９に移行する）。
音声認識の指示が、「常に自動で認識する」（自動で開始する）である場合にはステップ（５０５−６−８−３）に移行して音声認識（後述）を行う。
【０１３５】
一方、音声認識の指示が、状況判断結果次第の「おまかせ」（車載装置が開始を判断する）である場合、状況判断処理を行う（ステップ５０５−６−８−２）。
すなわち、シナリオ駆動部（１０１−１）は、各種状況検出装置（６）の検出データを全体処理部（１０２）から受け取り、走行中の道路の状況、車速、車速変化、ステアリング角、アクセルの踏み込み量、ブレーキの踏み込み量等から運転者の運転負荷を判断する（運転負荷判断手段）。
走行中の道路の状況は、全体処理部（１０２）のナビゲーション機能により、検出した車両の現在位置と、走行中の道路幅、走行地位（交差点か否、直線道路、曲線、蛇行道路、急傾斜道路等）等から判断され、シナリオ駆動部（１０１−１）に通知される。
本実施形態では、カーブや交差点を走行中の場合、車速変化が大きい場合、ブレーキの踏み込み量が大きい場合には運転負荷が高いと判断され、それ以外の場合には運転負荷が低いと判断される。
なお、カーブの曲率や、車速、車速変化、道路幅、交差点等に対して運転負荷を決定するための点数化しておき、その合計値が所定値を超えるか否かにより運転負荷を判定するようにしてもよい。すなわち、合計値が所定位置を超える場合には運転負荷が高いと判定し、所定値以下の場合に負荷が低いと判断するようにしてもよい。
なお、シナリオ駆動部は、運転者の負荷の例の他にも、車室内で検出される騒音が大きいと判断される場合は自動で認識開始しない等の判断を行うようにしてもい。
【０１３６】
シナリオ駆動部（１０１−１）は、運転者の負荷が高い場合には音声認識を開始せずにリターンし、運転者の負荷が低い場合にはステップ５０５−６−８−３に移行して音声認識の開始を音声認識部（１０１−７）に指示する。
【０１３７】
なお、シナリオ駆動部（１０１−１）は、図２１に示した音声認識処理と独立した処理として、タイマー通知（設定時間が経過）した処理を行うようになっている。
すなわち、シナリオ駆動部（１０１−１）は、エージェントＯＳ部（１０１−８）から、タイマー設定時間が経過したことを意味するタイマー通知がなされると、展開判断処理（５０５−６−１２）を実行する。
なお、スタンバイシーンの場合、タイマー通知がなされると、運転者によるＯＫ（肯定）の意思表示がないものとして、展開判断処理部（５０５−６−１２）では展開なしと判断される。
【０１３８】
シナリオ駆動部（１０１−１）から音声認識の開始指示がされると、音声認識部１０７は、以下に説明する音声認識を行う（ステップ５０５−６−８−３）。
すなわち、音声認識開始が指示されると、音声認識部（１０１−７）は、音声入力の受付が開始されたことをユーザに示すために、「ピッ」等の開始音を音声出力装置（３）から出力する（開始音出力手段）。
なお、本実施形態では音声認識を開始する前に開始音を出力するようにしているが、開始音を出力しないようにしてもよい。また、開始音の出力と共に、表示装置（２）に音声認識中であることを示す表示、例えば、「音声認識中です」等の表示や、音声認識中を示すアイコンを表示するようにしてもよい。
【０１３９】
その後、音声認識部（１０１−７）は、音声認識の開始をエージェントＯＳ部（１０１−８）を介して外部Ｉ／Ｆ部（１０１−９）から、全体処理部（１０２）内にある音声認識処理部に指示する。全体処理部（１０２）の音声認識処理部は、開始指示を音声プロセッサ（１−８）に伝え、音声プロセッサ（１−８）は音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する。変換された音声入力信号が入力されると、全体処理部（１０２）の音声認識処理部は、デジタルの音声入力信号を取得し、ステップ５０５−６−３（図１９）で設定された音声認識辞書を使用して、取得した音声入力信号の認識を行う（ステップ５０５−６−８−３）。
認識が完了すると全体処理部（１０２）の音声認識処理部は、音声認識の結果を、外部Ｉ／Ｆ部（１０１−９）、エージェントＯＳ部（１０１−８）を介して音声認識部（１０１−７）に通知する。音声認識部（１０１−７）は、音声認識結果をシナリオ駆動部（１０１−１）に通知する。
【０１４０】
なお、本実施形態では、実際の音声認識の処理を全体処理部（１０２）の音声認識処理部で行っているが、音声認識部（１０１−７）で音声認識を行うようにしてもよい。この場合、音声認識部（１０１−７）が音声認識手段として機能する。また、音声認識部（１０１−７）で音声認識を行う場合、全体処理部（１０２）によるナビゲーション処理での音声認識と２カ所で行われることになるので、両者を共通して音声認識部（１０１−７）で行うようにしてもよい。
【０１４１】
次に、シナリオ駆動部（１０１−１）は、全体処理部（１０２）での音声認識の結果を判断する（ステップ５０５−６−８−４）。
シナリオ駆動部（１０１−１）は、認識失敗の場合にはステップ５０５−６−８−１に戻り、認識に成功した場合には以下のコールバック処理を行う。
すなわち、シナリオ駆動部（１０１−１）は、シナリオデータに設定されているコールバック制御指示（コールバックをするかしないかの指示）の内容を確認する（ステップ５０５−６−８−５）。
コールバック制御の指示が「コールバックしない」である場合は、コールバックを行わずにリターンし、「コールバックする」である場合にはコールバックのためのキャラクタ描画・音声出力処理を行う（ステップ５０５−６−８−７）。
【０１４２】
一方、コールバック制御の指示が「おまかせ」の場合（コールバックをするかしないかをエージェント装置が判断する場合）、シナリオ駆動部（１０１−１）は、状況判断処理（５０５−６−８−６）を行う。
【０１４３】
すなわち、シナリオ駆動部（１０１−１）は、本実施形態の場合、以下の判断基準に従って状況を判断し、認識結果をコールバックするか否かを決定する。
以下の条件（ａ）、（ｂ）を両方とも満たしている場合に、シナリオ駆動部（１０１−１）は認識結果をコールバックする。
（ａ）走行中（車速≠０ｋｍ／ｈ）の場合
（ｂ）音声認識辞書に言い換えを除いて３種類以上の単語が存在する場合（例えば、制御の感覚の質問で「強い」か「弱い」か「ちょうど良い」の回答を認識する場合）
一方、次の条件（ｃ）、（ｄ）の少なくとも一方を満たしている場合、シナリオ駆動部（１０１−１）は認識結果をコールバックしない。
（ｃ）停車中（車速＝０ｋｍ／ｈ）の場合
（ｄ）音声認識辞に言い換えを除いて２種類の単語しか存在しない場合（例えば、「はい」か「いいえ」の回答を認識する場合）
なお、上記判断基準は本実施形態におけるものであり、他の基準を採用するようにしてもよい。例えば、認識結果の信頼性（確からしさ）が低い、もしくは、前述の運転負荷判定手段を用いて運転者の負荷が低いと判断される場合はコールバックする等の判断基準を持っても良い。
【０１４４】
コールバック制御の指示が「コールバックする」である場合、及び「おまかせ」で状況からコールバックをすると判断した場合、シナリオ駆動部（１０１−１）は、キャラクタ描画・音声出力処理を行い（ステップ５０５−６−８−７）、リターンする。
キャラクタ描画・音声出力処理では、（ステップ５０５−６−８−７）キャラクタの動作は現在動作のまま（音声認識開始時の動作）とし、シナリオデータの音声認識辞書に各認識結果に対して台詞の指示が記してありそれを使用する。すなわち、認識結果が「ちょうど良い」である場合、コールバック用の音声として、例えば、「ちょうど良い、ですね。」というように「認識結果」の音声に続けてコールバック用の音声「ですね。」を出力する。
このように音声認識の認識結果を確認する（コールバックする）ことにより、認識結果確認手段が形成される。
【０１４５】
なお、このコールバック用の音声は、ステップ５０５−６−６（図１９）のキャラクタ描画・音声出力処理におけるキャラクタの種類による動作選択と同様に、選択される各キャラクタ毎にコールバック用音声を規定しておくようにしてもいい。
また、常に同一のコールバック音声が付加されると不自然な会話になるので、同一のキャラクタであっても、複数のコールバック音声を用意し、順番に出力したり、時間やコールバックの回数に応じて変更するようにしてもよい。
【０１４６】
シナリオ駆動部（１０１−１）は、音声認識の指示が無い場合、及び、音声認識処理（ステップ５０５−６−８）が終了した後、エージェントＯＳ部（１０１−８）からユーザ入力の知らせを受け取ったら、その入力が何であるか確認し（図１９、ステップ５０５−６−９）、入力に対応した処理を行なう。
なお、上述したように、各処理は独立して実行されるため、音声認識処理（ステップ５０５−６−８）中であっても、エージェントＯＳ部（１０１−８）から入力が通知された場合にはその入力に対応した処理が並行して実行される。従って、音声認識処理中に、ユーザが音声認識の選択ボタンを選択しエージェントＯＳ部（１０１−８）から通知されると、音声認識処理による処理段階に関わらず、次の処理（ステップ５０５−６−９）が実行される。
例えば、スタンバイシーンの場合では、運転者によるＯＫ（肯定）の意志表示がされたか否かを表示装置の画面がタッチされたか否かにより判断することも可能であるため、画面がタッチされた場合、音声認識処理による処理段階にかかわらず、次の処理（ステップ５０５−６−９）が実行される。
【０１４７】
シナリオ駆動部（１０１−１）は、エージェントＯＳ部（１０１−８）から、例えば、カーソルの移動に関する入力を受け取った場合、カーソルを移動させて、画面の描画依頼（画面スクロールの依頼）の処理を行う（ステップ５０５−６−１０）。
また、ユーザがシーン表示画面５４（図１２参照）に表示されているいずれかの回答選択ボタン５４ａを選択した場合、どの項目が選択されたか判断し（ステップ５０５−６−１１）、その結果シーンの展開が有るかを判断する（ステップ５０５−６−１２）。
なお、上述したように、図１６〜図２０の処理は、シナリオ処理の１例を示したものであり、実際には各部が独立して個別の処理を行っている。このため、上の図１９には示していないが、音声認識開始もしくは中止が入力された場合、音声認識部に対し音声認識処理の開始もしくは中止の依頼を行なう等、ユーザ入力の確認（ステップ５０５−６−９）を行なった後の処理は他にも存在する。また、描画・音声出力部（１０１−５）からシーンのキャラクタ描画・音声出力処理終了が通知をされる前、つまり、指示したキャラクタの動作が終了する前であっても、ユーザの入力の確認（ステップ５０５−６−９）をすることも可能である。
【０１４８】
次に、シナリオ駆動部（１０１−１）は、展開判断処理（ステップ５０５−６−１２）において、シナリオデータの展開管理データ（図７参照）を参照して次の展開を判断する。次の展開が存在しない場合は何も処理されずにユーザ入力判断に戻り、次の展開が存在する場合は、次の展開に進めるためにシーン終了処理（ステップ５０５−６−１３）に進む。
例えば、スタンバイシーンの場合、肯定の音声認識がされた場合や肯定の画面がタッチされた等のＯＫ（肯定）の意志表示がなされた場合、次の展開に進めるため、シーン終了処理（ステップ５０５−６−１３）に進む。
シーン終了処理（５０５−６−１３）では、シナリオ駆動部（１０１−１）が他の処理部に依頼している処理が有れば、その中止依頼を行ない（例えば音声認識処理の依頼をしていたら認識処理の中止依頼をする）、リターンする。リターンにより、図１６のシナリオ終了判断（ステップ５０５−７）に移行する。
【０１４９】
図２２は、停車状態と走行状態におけるシーン画面の例を比較表示したものである。
図２２（ａ）は停車状態のシーン画面５４として、近くにある喫茶店をお勧めとして紹介するシナリオにおける１シーン画面を例示したものである。
一方、図２２（ｂ）は、（ａ）と同一のシナリオデータに対して、車両が走行中である場合のシーン画面５４を例示したものである。
【０１５０】
以上説明したように、本実施形態のエージェント装置によれば、自動起動条件を満たした場合に、シナリオを実行を待機させ、実行の告知と確認を行うスタンバイ処理を行うようにしたので、エージェントがユーザとコミュニケーションを始める前にユーザは準備をする時間ができ、エージェントのコミュニケーション内容を充分に聞き取ることが可能となる。
また、エージェントの音声によりシナリオ実行の告知を行うので、コミュニケーションの開始を単なる注意音や効果音を出力する場合に比べて、ユーザがキャラクタに対して親近感を得ることが可能となる。
【０１５１】
また、本実施形態のエージェント装置によれば、音声認識の結果が出たときに、シナリオエディタで作成したシナリオデータに示されている音声認識結果のコールバック制御指示に従って、認識結果をコールバックする行為をしたり、しなかったりする機能を備える。
これにより、擬人化されたキャラクタが常に認識結果を聞き返すことがなくなるため、ユーザは煩わしさを感じずにすむ。
また、状況によってコールバックをするか、しないかが制御され、運転中の場合、コールバック音声によって画面を見ずに会話ができるため安全である。逆に停車中の場合や、さらに2択の回答を要求されている場面などはコールバックしないことでスムーズな会話を実現できる。
さらに、コールバックしたりしなかったりすることで、擬人化されたキャラクタとの会話において、人間同士の会話に近づけることができる。
【０１５２】
また説明した実施形態のエージェント装置によれば、シナリオエディタで作成したシナリオデータに示されている音声認識を自動で開始させるか否かの指示に従って、音声認識を開始させる機能を備えている。
このため、エージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。
そして、人間同士の会話においては存在しない音声認識開始ボタン選択を不要としたので、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【０１５３】
また、説明した実施形態のエージェント装置によれば、シナリオの各シーンにおけるキャラクタの動作を指示する表示状態をキャラクタの種類によらずに共通化し、ユーザが選択したキャラクタの変換テーブルを参照することで、シナリオの各シーンで指定された表示状態に対応する各キャラクタの画像データを選択し、その画像データを再生することで各シーンを展開し、シナリオを実行するようにしたので、１のシナリオで、異なる複数のキャラクタに対応することができる。従って、キャラクタ毎のシナリオを記憶する必要がなくなるので、データ量を少なくすることができる。
【０１５４】
また、説明した実施形態によれば、シナリオ作成装置のユーザー（作成ユーザー）が作成したオリジナルのシナリオに組み込まれた自律起動条件を、シナリオの起動条件としてシナリオの実行を開始することができる。
従って、シナリオ作成装置のユーザーに対して、エージェントの登場を含めた各種シナリオを、自分の好みに合わせたタイミングで起動させるようなシナリオを自由に作成する場を提供することができる。
【０１５５】
また、本実施形態では５秒間隔で定期的に自律起動判断処理が実行されるようになっているので、各種状況の変化に対してほぼリアルタイムで、条件を満たしたシナリオを起動することが可能になる。
さらに、あらかじめシナリオの起動条件として選択される可能性が高い状況（状況の変化が大きい場合）も自律起動判断処理が実行されるので、定期的な判断処理が開始される前にも自律起動判断処理が実行され、かつ、この場合に該当する（条件を満たす）シナリオが多い。このため、よりリアルタイムに近い状態でシナリオを実行することができる。
【０１５６】
また、説明した実施形態によれば、エージェントの行為をシナリオデータで規定すると共に、このシナリオデータを複数の連続するシーンからなるシナリオによって規格化されているので、エージェント装置のユーザ及び第三者が自分でシナリオを作成し、組み込むことができる。
このように装置に予め格納されているデフォルトのシナリオに追加できるので、ユーザは自分に合った追加シナリオをインターネット等で探してダウンロードし、また自分でシナリオを作成することでエージェント装置をより快適に使用することができる。
【０１５７】
次に、ユーザや第三者が独自のシナリオを作成するシナリオ作成装置２の構成とその動作について説明する。
図２３は、シナリオ作成装置の構成を表したものである。
シナリオ作成装置は、制御部（２００）と、入力装置（２１０）と、出力装置（２２０）と、通信制御装置（２３０）と、記憶装置（２４０）と、記憶媒体駆動装置（２５０）と、入出力Ｉ／Ｆ（２６０）とを備えている。これら各装置は、データバスや制御バス等のバスラインにより接続されている。
【０１５８】
制御部（２００）は、シナリオ作成装置全体を制御する。
シナリオ作成装置はシナリオ編集プログラムの実行だけでなく、その他プログラム類（例えばワープロや表計算等）を実行することもできる。制御部（２００）は、ＣＰＵ（２００−１）と、メモリ（２００−２）等から構成されている。
ＣＰＵ（２００−１）は、種々の演算処理を実行するプロセッサである。
メモリ（２００−２）は、ＣＰＵ（２００−１）が種々の演算処理を実行する際にワーキングメモリとして使用される。
ＣＰＵ（２００−１）は、メモリ（２００−２）にプログラムやデータなどを書き込んだり消去したりすることができる。
本実施の形態におけるメモリ（２００−２）には、ＣＰＵ（２００−１）がシナリオエディタ（シナリオ編集プログラム）に従ってシナリオデータを作成、編集、記憶等するためのエリアが確保可能になっている。
【０１５９】
入力装置（２１０）は、シナリオ作成装置に対して文字や数字その他の情報を入力するための装置であり、例えばキーボードやマウスなどにより構成されている。
キーボードは、主にカナや英文字などを入力するための入力装置である。
キーボートは、例えばユーザがシナリオ作成装置にログインするためのログインＩＤやパスワードを入力したり、シナリオ作成の際に音声合成や音声認識の対象となる文を入力したりする際などに使用される。
マウスは、ポインティングデバイスである。
ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを用いてシナリオ作成装置を操作する場合、表示装置上に表示されたボタンやアイコンなどをクリックすることにより、所定の情報の入力を行なうこと等に使用される入力装置である。
【０１６０】
出力装置（２２０）は、例えば表示装置や印刷装置などである。
表示装置は、例えばＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイなどが使用される。
表示装置には、シナリオを作成するためのメイン画面や、各シーンにおける画面構成を選択するための画面等の各種画面が表示される。また、各画面において選択された情報や入力された情報が表示されるようになっている。
印刷装置は、例えば、インクジェットプリンタ、レーザプリンタ、熱転写プリンタ、ドットプリンタなどの各種プリンタ装置が使用される。
印刷装置で印刷するものは、例えば、作成したシナリオの全体の流れをチャート形式で表す図や、各シーンの設定状態を示すものがある。
【０１６１】
通信制御装置（２３０）は、外部との間で各種データやプログラムを送受信するための装置であって、モデム、ターミナルアダプタその他の装置が使用される。
通信制御装置（２３０）は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などに接続可能に構成されている。通信制御装置（２３０）は、これらのネットワークに接続した他の端末装置あるいはサーバ装置などと通信によって信号及びデータのやり取りを行なうことで、装置で作成したシナリオデータを送信したり、第３者が作成したシナリオデータを受信（ダウンロード）したり、更に、シナリオデータの作成に必要なデータを取得したりすることができるようになっている。
通信制御装置（２３０）はＣＰＵ（２００−１）によって制御され、例えば、ＴＣＰ／ＩＰなどの所定のプロトコルに従ってこれら端末装置やサーバ装置との信号及びデータの送受信を行う。
【０１６２】
記憶装置（２４０）は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータを読み書きするための駆動装置によって構成されている。
当該記憶媒体として主にハードディスクが使用されるが、その他に、例えば、光磁気ディスク、磁気ディスク、半導体メモリなどの他の読み書き可能な記憶媒体によって構成することも可能である。
記憶装置（２４０）には、シナリオ編集プログラム（２４０−１）、シナリオ編集データ（２４０−２）、及びその他のプログラム・データ（２４０−３）が格納されている。その他のプログラムとして、例えば、通信制御装置（２３０）を制御し、シナリオ作成装置とネットワークでつながれた端末装置やサーバ装置との通信を維持する通信プログラムや、メモリ管理や入出力管理などのシナリオ作成装置を動作させるための基本ソフトウェアであるＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）なども記憶装置（２４０）に格納されている。
【０１６３】
記憶媒体駆動装置（２５０）は、着脱可能な記憶媒体を駆動してデータの読み書きを行うための駆動装置である。着脱可能な記憶媒体としては、例えば、光磁気ディスク、磁気ディスク、磁気テープ、ＩＣカード類、データをパンチした紙テープ、ＣＤ−ＲＯＭなどがある。
本実施形態では、シナリオ作成装置で作成・編集したシナリオデータ（エージェント装置で使用する形態）は、主としてＩＣカード類に書き込まれるようになっている。
シナリオ作成装置は、記憶媒体駆動装置（２５０）によって記憶媒体を駆動することにより、シナリオデータが格納された記憶媒体からシナリオを取得したり、あるいは、作成したシナリオデータを記憶媒体駆動装置から記憶媒体に格納したりすることができる。
【０１６４】
入出力Ｉ／Ｆ（２６０）は、例えば、シリアルインターフェースやその他の規格のインターフェースにより構成されている。
入出力Ｉ／Ｆ（２６０）に当該インターフェースに対応した外部機器を接続することにより、シナリオ作成装置の機能を拡張することができる。このような外部機器として例えば、ハードディスクなどの記憶装置、通信制御装置、スピーカ、マイクロフォンなどがある。
【０１６５】
次に、シナリオ編集プログラム（２４０−１）と、シナリオ編集データ（２４０−２）の構成について説明する。
図２４は、シナリオ編集プログラムとデータの構成を概念的に表したものである。
シナリオ編集プログラム（２４０−１）は、シナリオエディタ（２４０−１−１）と、シナリオコンパイラ（２４０−１−２）と、ＤＢ編集ツール（２４０−１−３）が存在する。
シナリオ編集データ（２４０−２）は、共通定義ＤＢ（２４０−２−１）と、ローカル定義ＤＢ（２４０−２−２）と、シナリオエディタで作成したＳＣＥ形式シナリオデータ（２４０−２−３）と、シナリオコンパイラで変換された実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）が存在する。
シナリオエディタ（２４０−１−１）は、シナリオデータを作成するアプリケーションプログラムである。
【０１６６】
シナリオコンパイラ（２４０−１−２）は、シナリオエディタ（２４０−１−１）で作成されたＳＣＥ形式シナリオデータ（２４０−２−３）を、エージェント装置で使用可能な実機形式シナリオデータ（２４０−２−４）に変換するアプリケーションプログラムで、変換手段として機能する。
図２５は、データ形式の変換を概念的に表したものである。
この図２５に示されるように、シナリオコンパイラ（２４０−１−２）は、１個以上のＳＣＥ形式シナリオデータ（２４０−２−３）を、１個の実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）に変換する。
【０１６７】
ＤＢ編集ツール（２４０−１−３）は、共通定義ＤＢ（２４０−２−１）に格納されているデータを編集・更新するためのアプリケーションプログラムである。
共通定義ＤＢ（２４０−２−１）は、シナリオデータを作成する際の定義データが格納される。共通定義ＤＢ（２４０−２−１）には、後述する自律起動判断データ、シーン展開をするアクション項目及び追加判断項目、キャラクタの表示状態指示テーブル、走行中制限実行テーブル（図３７）等が格納される。この共通定義ＤＢ（２４０−２−１）は、シナリオ作成装置の記憶装置ではなく、ローカルエリアネットワーク（ＬＡＮ）でつながっているサーバ上に存在してもよい。こうすることで、ローカルエリアネットワーク（ＬＡＮ）でつながっている各シナリオ作成装置は共通の共通定義ＤＢ（２４０−２−１）を使ってシナリオデータの作成ができる。
ローカル定義ＤＢ（２４０−２−２）は、シナリオ作成者がシナリオデータを作成中に定義した画面構成が格納される。
【０１６８】
ＳＣＥ形式シナリオデータ（２４０−２−３）は、シナリオエディタ（２４０−１−１）で作成されたデータである。
実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）は、シナリオコンパイラ（２４０−１−３）によってＳＣＥ形式シナリオデータ（２４０−２−３）からエージェント装置で使用するためのデータ形式に変換されたデータである。
【０１６９】
図２６は、自動起動項目として設定可能な項目を例示したものである。
この自動起動項目は、エージェント装置で検出、認識、確認可能な各項目の種類のサンプルを概念的に一覧表示したものである。
この自動起動項目は、共通定義ＤＢ（２４０−２−１）に記述されており、シナリオエディタ（２４０−１−１）でシナリオを作成する際に、自律起動条件を設定するために、自動起動項目が共通定義ＤＢ（２４０−２−１）から読み出され、リスト表示される（提示手段）。作成者は、このリスト表示（一覧表示）された中から自動起動項目を選択する（選択手段）。
それぞれ選択された項目の種類に記されている内容によって数値入力を行なうウインドウが表示されたり、一覧から選択するウインドウが表示されたりして自動起動項目の判断条件を入力する。この操作を１又は複数回繰り返しシナリオを自律的に起動するための判断条件である自律起動条件のデータが作成される。
このように、画面要素推移体（シナリオ）の起動条件を設定することにより、起動条件設定手段が形成される。
【０１７０】
図２７、図２８は、自動起動項目に対して、自律起動条件として選択可能な選択可能項目を例示したものである。
選択可能項目も共通定義ＤＢ（２４０−２−１）に記述されている。図２６に例示した自動起動項目を示したテーブルのうち、種別の欄に一覧から選択と表記された項目について、更に下位の概念として選択可能な項目が、選択可能項目として図２７、図２８に規定されている。選択可能項目に規定されたグループと、自動起動項目の項目とは、一番左側のNｏ．の項目で対応付けられている。
表には示さないが他にもこれと同様に数値入力に関する定義テーブル等が存在し、時刻の入力ウインドウであったり、走行距離の入力ウインドウであったり、と異なった入力をするウインドウを作成することができるようになっている。
選択された自動起動項目と選択された選択可能項目及び入力された数値や時刻、距離等の組み合わせが、各シナリオに対する自律起動条件となる。例えば、ユーザによる選択が、自動起動項目「加速度」、選択可能項目「急減速状態」である場合、自律起動条件は「加速度−急減速」となる。
なお、本サンプルはあくまでもサンプルであり定義を変更してもよい。
例えば車速入力を一覧から選択にし、１０ｋｍ／ｈ毎に区切られた項目の中から選択する形をとってもよい。
また、エージェント装置において新規にセンシングできる項目が増えた場合には、その項目を追加する事ができる。例えばシートベルト検知センサを組み込んだ場合、一覧から選択という入力手段でシートベルト状態という項目に対し、シートベルト未装着、シートベルトを装着しているといった項目が選択できる定義を組み込むことが考えられる。
これらの変更及び追加は、先に示したＤＢ編集ツール（２４０−１−３）を使って行なう。
また、エージェント心理部からキャラクタの心理状態を入手して自律起動判断に加えてもよい。
この場合も、ＤＢ編集ツール（２４０−１−３）を使って定義データを追加する。例えば、一覧から選択という入力手段で自動起動項目としてキャラクタの心理状態、ブルー（落ち込んでいる）、機嫌がよい、等といった項目が選択できる定義を組み込むことが考えられる。
【０１７１】
図２９は、シーンから次のシーンに分岐（シーン展開）をするための分岐項目（移行条件）が格納されたシーン分岐項目テーブルである。シーン分岐項目テーブルは、共通定義ＤＢ（２４０−２−１）に格納されている。
シーン分岐項目の各項目は、各シーンの展開構成を作成する際に読み出され、分岐イベントの選択ウィンドウ（図４１（ｂ））にリスト表示される。
このリスト表示された中から分岐条件項目を選択し、また、テーブルに格納されていない場合には別途分岐条件をＤＢ編集ツール（２４０−１−３）を使って定義データを追加することにより、シーン展開構成が作成される。分岐条件項目の選択を繰り返すことで、複数の推移先を持つ（複数に分岐された）シーンを作成することができる。
【０１７２】
本実施形態では、キャラクタがしたユーザへの質問に対するユーザからの回答の入力を待つ時間としてタイマー設定時間とタイマー設定条件が設定。そして、タイマー設定時間内にユーザの回答が無い場合に、タイマー通知（設定時間の経過）による無回答と判断するようになっている。
図２９に示されるように、本実施形態のシーン分岐項目テーブルには、移行条件としてタイマー通知が規定されている。
【０１７３】
図３０は、更に詳細に分岐条件を設定する場合の追加条件テーブルを表したものである。追加条件テーブルも共通定義ＤＢ（２４０−２−１）に格納されている。
追加条件項目は、前記のシーン展開をするアクション（分岐条件項目）に対してさらに複数の展開を持たせるために使用する項目である。このとき分岐させるためのシーンを作成する。分岐させるためのシーンを作成すると、分岐させるためのシーンからの展開構成を作成する際には、追加判断項目が読み出される。分岐させるためのシーン１個に対し、１分類のみ選択でき、選択された分類の項目が一覧リスト表示されて選択する、もしくは数値入力で範囲指定する。複数の分類を論理積で掛け合わせたい場合は、分岐させるためのシーンを重ねることで容易に作成する事ができるようになっている。
さらにエージェント装置は、学習部（１０１−３：図５参照）により、シナリオが複数のシーンに分岐していて、それぞれ異なるシーンでシナリオが終了する場合の終了の仕方をエンドＩＤとして記録するようになっている。また、学習部（１０１−３）は、シナリオのなかでユーザの応答や、通算使用回数等を学習データといして記録することができるようになっている。
【０１７４】
図３０に示す追加条件テーブルには、これら記録されたシナリオ終了状態（エンドＩＤ）や、シナリオの通算使用回数、ユーザ情報（運転者情報）、メンタルモデル、日時などのその他の分類項目と、各分類における選択できる項目一覧の作成方法が定義されており、これらを追加分岐条件として選択し、１個のシーン展開をするアクションに対して複数の展開を持たせることが可能になっている。シーン展開をするアクション項目及び追加判断項目に関する定義データも自律起動判断データと同様に、変更及び追加がＤＢ編集ツール（２４０−１−３）を使って行なうことができるようになっている。
【０１７５】
図３１、図３２は、共通定義ＤＢ（２４０−２−１）に格納されている、キャラクタによらない統一の動作指示テーブルの内容の一部を概念的に表したものである。以下図３１、図３２の説明より、キャラクタ設定手段を形成する。
このテーブルは、キャラクタの種類によらずに共通した動作の表示状態が規定されており、キャラクタに表現させたい内容毎に分類されている。
キャラクタによらない統一の動作指示テーブルは、複数存在し、本実施形態では、仕事の状態（図３１）、精神状態（図３２）、ＴＰＯ状態、成長状態、スケール状態の各表示状態指示テーブルが存在する。
図３１、図３２に示されるように、各表示状態指示テーブルは、複数のツリー構造になっており、後述するキャラクタ動作の状態指示編集ウィンドウ（図３８（ｃ））に各ツリー構造の形と分類名が表示されるようになっている。
【０１７６】
図３１、図３２に示されるように、表示状態指示テーブルのツリーの末端の項目毎に状態指示番号が付されている。この状態指示番号が、エージェント装置１のキャラクタ画像選択データ（変換テーブル）１０２３５３の状態指示番号（図９参照）に対応している。
【０１７７】
仕事の状態テーブルは、図３１に示されるように、ここでは最大４つまでに分類されており、基本姿勢、出会いの挨拶、別れの挨拶、感謝、謝罪、励ます、誉める、慰める、登場、退場、禁止等の表示状態が規定されている。
このように各分類の名称として、エージェントに表現させたい内容を用いることで、シナリオ作成者がイメージしているシナリオ、及びシーンの内容に対応した表示状態を選択しやすくなっている。
【０１７８】
精神状態テーブルは、図３２に示されるように、５階層に分類されてる。喜怒哀楽の表現として、通常、喜ぶ、怒る、哀しむ、驚く等が規定され、その他としてあきれる、友好、眠気等が規定されている。
【０１７９】
ＴＰＯ状態テーブルは、図示しないが、通常状態、おしゃれ状態等のそれぞれに対して、春夏秋冬の分類と月の分類が規定されており、イベント状態に対して、一般記念日（歳時記、元旦、子供の日、クリスマス等）、ユーザ固有記念日（エージェント装置の使用開始記念日、結婚記念日、誕生日等）等が規定されている。
成長状態テーブルは、長期成長状態１，２，３，…に分類され、その各々にたいして、短期成長状態１，２が規定されている。
スケール状態テーブルは、キャラクタを画面に表示する大きさについて規定されており、画角による分類が規定されている。
【０１８０】
これらのテーブルでは、図３１、図３２でも示されているように、表示状態に対する下層で定義されているレベル（丁寧に行なう、普通に行なう、強、中、弱等）をシステム（エージェント装置）に自動で選択させる項目「自動」を設けている。
この自動を選択したシーンに対して、エージェント装置では、キャラクタ心理状態、日付や時刻、等によってキャラクタのどのレベルの表示状態を使用するかを判断して、いずれかの表示状態を選択し実行することになる。
【０１８１】
共通定義ＤＢ（２４０−２−１）には、その他、音声認識に使用する音声認識用データと、キャラクタの動作指示に使用するデータ（別途台詞の指示データも存在する）と、各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データ及びキャラクタ台詞データ及びキャラクタによらない統一の指示に対する各キャラクタの表現方法への変換テーブルと、表示装置（２）に表示する各パーツデータ及びそれらをどのように配置するかが記された画面構成データと、シーンにおける処理内容として選択可能な項目、例えば、エージェントが処理可能な行為である、オーディオ装置のオン・オフやチャンネル選択、エアコン装置のオン・オフと温度設定、全体処理部（１０２）に供給する目的地の設定等の各種処理内容項目データ等が共通定義ＤＢ（２４０−２−１）に格納されている。
これら全ての定義データも、各定義データと同様に、変更及び追加がＤＢ編集ツール（２４０−１−３）を使って行なうことができるようになっている。
【０１８２】
各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データは、エージェント装置に格納されている各種キャラクタの画像データが格納されている。
また、キャラクタによらない統一の指示に対する各キャラクタの表現方法への変換テーブルは、エージェント装置１のキャラクタデータ（１０−２−３−５）のキャラクタ画像選択データ１０２３５３（図８参照）と同一の変換テーブルが格納されている。
なお、ユーザは、エージェント装置から他のキャラクタについてのキャラクタ画像データと、変換テーブルをＩＣカード７、又は、サーバ３を介してシナリオ作成装置２の共通定義ＤＢに格納することも可能である。
【０１８３】
次に、このように構成されたシナリオ作成装置によるシナリオ作成の各動作について、画面の遷移に従って説明する。
図３３は、シナリオエディタ（２４０−１−１）を起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
この図３３に示されるように、メインウィンドウは、作成中のシーン画面（エージェント装置（１）の表示装置（２）に表示されるシーン画面（図１２参照））が表示されるシーン画面３０１と、各種設定を行う設定項目が表示された設定画面３０３と、シーンの展開構成（分岐の状態）が各シーンを表すシーンアイコン３０７のツリー構造により表示されるシーン展開画面３０５で構成されている。
【０１８４】
シナリオエディタ（２４０−１−１）を起動すると、メインウインドウのシーン展開画面３０５には、スタートポイント３０８が表示される。このスタートポイント３０８を選択するとシナリオプロパティの編集ができる。選択は、例えば、マウスカーソルによるポイント位置をスタートポイント３０８に合わせて、マウスをダブルクリックすることで選択される。
画面構成の変更ボタン３０９は、クリックすると表示したい画面構成の選択ができる。
効果音設定ボタン１１０をクリックすると、後述するように、シナリオの各シーン毎に効果音を設定する画面が表示される。
エージェント表示画面３１１をマウスでダブルクリックすると、エージェント（キャラクタ）の動作の編集画面が表示される。
台詞編集ボタン３１３をクリックするとキャラクタの台詞の指示が編集できる。
ボタンパーツ・バックグラウンド音声認識辞書設定３１５をダブルクリックすると使用する音声認識辞書の編集ができる。シーン画面３０１の回答選択ボタン３１５ａ（５４ａ）のマークで表示されている方を選択すると認識する単語の名称がシーン画面に表示され、バックグラウンドで認識する方３１５ｂを選択すると、音声認識の対象となるが認識する単語の名称は表示されない。
【０１８５】
タイマー設定ボタン３１７は、後述するように、タイマー設定情報を設定、及び変更するためのボタンである。
外部機器等の制御指示編集３１９では、外部機器等（ナビも含む）の制御指示を設定する。
【０１８６】
音声認識開始制御指示３２０ａでは、作成中のシーンにおいて音声認識を行う場合に、音声認識の開始をどのようにするかを規定する音声認識の指示を設定する。音声認識の指示としては、音声認識を「自動で開始する」、「自動で開始しない」、「エージェント装置（車載装置）が判断する（おまかせ）」、のうちのいずれかを選択可能になっている。
【０１８７】
コールバック制御指示３２０ｂでは、音声認識の結果を確認するためのコールバックを行うか否かについての指示を設定する。コールバックの指示としては、「コールバックする」、「コールバックしない」、エージェント装置が状況判断してコールバックをするかしないかを判断する「エージェント装置が判断（おまかせ）」のうちのいずれかを選択可能になっている。
【０１８８】
次のシーン作成ボタン３２１をクリックするとシナリオの流れを編集できる（次のシーンを作成する）。シーン作成ボタン３２１をクリックすると、現在選択しているシーンの次に展開するシーンの作成が可能になる。
シーン作成ボタン３２１でシナリオの流れを分岐させることで、各シーンの展開構成が作成される。例えば、シーンのアイコン１を選択した状態（アクティブ表示されている状態）で、次のシーン作成ボタン３２１をクリックするとシーン１に続くシーンのアイコンが下層側に表示され、複数回クリックすることでシーン１に続いて展開されるシーン２，３，…が分岐して作成される。
【０１８９】
すなわち、シーンｍを選択した状態でシーン作成ボタン３２１をクリックすることで、シーンｍに続く次のシーンｍ１が作成される。そして、再度シーンｍを選択した状態で、シーン作成ボタン３２１をクリックするとシーンｍに続く次のシーンｍ２が、シーンｍ１と並列に分岐して作成される。同様に再度シーンｍを選択した状態でシーン選択ボタン３２１をクリックするとシーンｍ３が作成される。
そして、シーンｍ１に続くシーンを更に展開させたい場合には、シーンｍ１を選択した状態でシーン作成ボタンをクリックすることで、シーンｍ１に続く次のシーンｍ１−１が作成される。
そして、シーンｍ１−１を作成した状態で（シーンｍ１−１が選択されている状態）でシーン作成ボタン３２１をクリックすれば、シーンｍ１−１に続くシーンｍ１−１−１が作成され、シーンｍ１から分岐する別のシーンを作成する場合にはシーンｍ１を再度選択してシーン作成ボタン３２１をクリックすればシーンｍ１に続くシーンｍ１−２が作成される。
【０１９０】
シナリオの終了位置作成ボタン３２３をクリックするとシナリオの終了位置を作成できる。作成した各シナリオの終了位置には、終了番号がエンドＩＤとして割り振られるようになっている。
シナリオコンパイルボタン３２５をクリックすると作成したシナリオをナビゲーションで使うための実機形式（ＮＡＶ形式）のフォーマットにコンパイルできる。
【０１９１】
図３４は、シナリオプロパティを編集する画面操作の流れを表したものである。
図３４の（ａ）に示したメインウインドウにおいて、シーン展開画面３０５に表示されているスタートポイント３０８をダブルクリックすると、図３４（ｂ）に示すシナリオプロパティの編集ウインドウがメインウィンドウ上に重ねて表示される。
【０１９２】
このシナリオプロパティの編集ウィンドウにおいて、シナリオ名称入力，カナ名称入力，アイコン選択，ジャンル選択，プライオリティの設定，有効期限（開始条件を満たしてから実際に開始するまでのタイムラグの上限値）の設定，走行中実行条件の設定，シナリオの起動条件の設定（別ウインドウ），スタンバイ処理使用条件の設定，作成者名称入力，コメント入力が行なえる。この画面で入力されるシナリオ名称入力，カナ名称入力は、実機形式のシナリオデータにおける管理データ等となる。
シナリオプロパティの編集ウィンドウにおいて、決定ボタン４０２をクリックすると編集内容がデータに反映され、メインウインドウに戻る。一方、キャンセルボタン４０３をクリックするとデータに反映されなで、メインウインドウに戻る。
【０１９３】
シナリオプロパティの編集ウィンドウ（図３４（ｂ））において、スタンバイ処理使用条件の設定ボタン４０９をクリックすると、スタンバイ処理の条件画面（図３４（ｃ））が表示される。
このスタンバイ処理の条件画面において、エージェント装置のシナリオ駆動部（１０１−１）でスタンバイ処理の判断（ステップ５０５−５−４）をするための判断基準（画面要素判断基準）が設定される。
スタンバイ処理の条件画面において、いずれかの判断基準が選択されると、選択された判断基準がコンバートされてシナリオデータに記録されることになる。
【０１９４】
スタンバイ処理の条件画面（図３４（ｃ））において、「条件をマニュアル設定する」にチェックがされ、設定変更ボタンが選択されると、図示しない条件設定画面が表示され、ユーザは、自動起動条件設定の操作と同等の操作によりスタンバイシーン使用条件を設定する。
【０１９５】
図３５は、スタンバイシーン使用条件として選択可能な項目を例示したものである。
この選択可能な項目は、条件設定画面に表示される。
ユーザは、スタンバイシーン使用条件として表示された各項目を選択することで、個別にスタンバイシーンの使用条件を設定することができる。
例えば、走行状態の走行中、及び走行状態の停車中、かつエージェント熟練度が低かったらスタンバイを使用するように条件を設定することができる。また、他にも、エージェントの自信度が低い場合にスタンバイを使用する等の設定も可能である。
なお、スタンバイシーン使用条件として、図３５の例示しただけでなく、図３５に記載されていない図３０の各項目も選択可能にしてもよい。
このように、シナリオ（画面要素推移体）の実行の確認（スタンバイシーン）が必要か否かを判断する画面要素判断基準を設定することにより、本願発明の判断基準設定手段、及び処理前設定手段が形成される。
【０１９６】
一方、シナリオプロパティの編集ウィンドウ（図３４（ｂ））において、起動条件の設定ボタン４０１を選択すると、シナリオ開始条件のメイン編集ウィンドウが表示される。
図３６は、シナリオ開始条件のメイン編集ウィンドウから、シナリオ起動条件を編集する画面操作の流れを表したものである。
シナリオ開始条件のメイン編集ウインドウ（図３６（ａ）では、ユーザがシナリオを手動で開始できるように設定できる。この事例ではチェックボックス４０６のチェックを外して手動で起動しないに設定する。
このシナリオ開始条件のメイン編集ウインドウ（ａ）の左側の自動起動条件（自律起動条件）一覧にはシステムがシナリオを自動で開始する条件が表示される。図３６（ａ）の状態では、まだ何も設定されていないので空欄の状態である。
シナリオ開始条件のメイン編集ウインドウ（図３６（ａ））において、新規作成ボタン４０５をクリックすると、自動開始条件選択ウインドウ（図３６（ｂ））が表示され、新しい開始条件の編集ができる。
【０１９７】
自動開始条件選択ウインドウ（図３６（ｂ））において、設定したい判断条件項目（カテゴリ）を選択し、決定をクリックすると自動開始する条件範囲の選択ウインドウ（図３６（ｃ））へ進む。この図３６（ｂ）の例示では、高速道路走行中にシナリオを自動で開始（自律起動）したいので、「道路の状態がどのようなときに起動するか選択」の中の「種類を選択」の項目を選択し、決定をクリックする。
キャンセルをクリックするとシナリオ開始条件のメイン編集ウインドウ（図３６（ａ））に戻る。
【０１９８】
この自動開始条件選択ウインドウ（図３６（ｂ））に表示し、選択できる項目は、図２６に表示した自動起動項目である。図３６（ｂ）において、「いつ起動させるかを選択」のフォルダ内を選択すると図２６のＮｏ．１〜１０の条件項目が１つ下の階層に表示される。
同様に、「どこで起動させるかを選択」のフォルダを選択するとＮｏ．１０〜１６が、「道路の状態がどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．２１〜２３が、「車の状態がどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．１７〜２０が、「ナビの状態がどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．２１〜２８が、「ユーザーがどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．２９〜３０が、それぞれ１つ下の階層に表示される。
【０１９９】
自動開始する条件範囲の選択ウインドウ（図３６（ｃ））では、前のウインドウ（ｂ）で選択した判断条件項目（カテゴリ）によってウインドウの構成が変わる。図示した例では、道路の種類を選択する項目のウィンドウが表示されている。
自動開始する条件範囲の選択ウインドウ（図３６（ｃ））で、選択可能な項目は、自動開始条件選択ウインドウ（図３６（ｂ））で選択した自動起動項目に対応する、選択できる項目（図２７）である。この選択できる項目は、選択項目欄４０８右側のマークをクリックすることで、プルダウンメニュー表示される。
自動で開始しても良い条件範囲を一覧から選択（又は数字で入力）し、追加ボタンをクリックすると選択した項目が設定されて下の欄に表示される。図示した例では、「高速道路」を選択して追加ボタンをクリックした場合が表示されている。
自動開始する条件範囲の選択ウインドウ（図３６（ｃ））で決定ボタンをクリックするとその設定状態に決定し、シナリオ起動条件のメイン編集ウインドウ（図３６（ｄ））に戻る。
キャンセルをクリックすると自動開始条件選択ウインドウ（図３６（ｂ））に戻る。
【０２００】
図３６（ｄ）のシナリオ開始条件のメイン編集ウインドウでは、左側の自動起動条件一覧に、上記操作で設定した自動で開始する条件（道路の種類が高速道路だったら起動する）が表示されている。
また、自動起動の条件一覧画面に表示されている自動で開始する条件を選択して編集ボタンをクリックすると、選択した条件にさらに条件設定を追加するための自動開始条件選択ウインドウ（図３６（ｂ））が表示される。
【０２０１】
次に、自律起動条件以外の、シナリオを作成する各種操作について説明する。
図３７は、エージェント表示画面５１（図１２参照）に表示したい画面構成を選択する画面操作の流れを表したものである。
この図３７（ａ）に示されるメインウィンドウのシーン展開画面３０５に表示されているシーンアイコン３０７を選択してアクティブ状態にすると、選択したシーンアイコンに対応するシーン画面３１０が表示される。そして、設定画面３０３の画面構成の変更ボタン３０９をクリックすると、画面構成の選択ウインドウ（ｂ）が表示される。
この画面構成の選択ウインドウ（ｂ）では、シーン表示画面５４（図１２参照）に表示可能なる画面構成が一覧表示される。何も表示されない基本画面、ボタンによる選択ボタンが２つ表示された２択画面、選択ボタンが複数表示されたボタン選択画面、例えば、都道府県名等の複数の項目がリスト表示されるリスト選択画面、画像データを表示する画像表示画面等の各種選択可能な画面が表示される。
一覧表示された各画面構成の中から１の画面構成を選択し、決定ボタンをクリックすると画面構成を変更する場合は確認ダイアログで確認後変更する場合は、その画面構成に変更してメインウィンドウ（ａ）に戻る。メインウィンドウに戻ると、シーン画面３０１が新たに選択した画面構成に変更されて表示される。
【０２０２】
以下図３８から図４０までが本実施形態におけるキャラクタの表示内容（画像、音声）、処理内容に基づいて画面要素を設定する画面要素設定手段、及び、キャラクタ設定手段を形成する。
図３８は、キャラクタ動作（エージェントの動作）指示を編集する画面操作の流れを表したものである。
シーン画面の編集状態を表しているメインウィンドウ（図３８（ａ））において、エージェント表示画面３１１をマウスでダブルクリックすると、動作指示編集ダイアログ（個別指示）（ｂ）又はキャラクタ動作指示編集ダイアログ（統一指示）（ｃ）が表示される。
いずれのウィンドウが表示されるかは、前回に使用したウィンドウが表示され、前回動作指示をキャラクタごとの直接指示で指示しているときは（ｂ）が表示され、前回キャラクタに表現させたい状態で指示している場合は（ｃ）が表示される。最初に使用する場合には、キャラクタ動作指示編集ダイアログ（統一指示）（ｃ）が表示される。
【０２０３】
図３８（ｂ）のキャラクタ動作指示編集ダイアログ（個別指示）では、モーション（動作），表情（感情表現の要素），髪型（成長表現の要素），服装（ＴＰＯ表現の要素），スケール（キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素），口パクをする範囲（台詞を割り当てる範囲），動作の指示タイミング，及びキャラクタ表示領域の背景を選択する。
図３８（ｂ）のキャラクタ動作指示編集ダイアログ（個別指示）において、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ（ａ）に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウ（ａ）に戻る。
また、表現内容指定ボタンをクリックすると、キャラクタ動作指示編集ダイアログ（統一指示）（ｃ）切り替わる。
【０２０４】
キャラクタ動作指示編集ダイアログ（個別指示）で動作の指示（表示状態）が選択されると、キャラクタ固有の動作としてシーンが定義される。この場合、エージェント装置１では、図２０の描画・音声出力部（１０１−５）によるキャラクタ描画・音声出力処理において、キャラクタによらない統一の動作指示でない（ステップ５０５−６−６−１；Ｎ）、と判断される。
【０２０５】
図３８（ｃ）のキャラクタ動作指示編集ダイアログ（統一指示）では、キャラクタが表現する状態として、共通定義ＤＢ（２４０−２−１）に格納されているキャラクタによらない統一の動作指示テーブル（図３１、図３２参照）に対応して、仕事の要素，精神状態の要素，ＴＰＯ表現の要素，成長表現の要素，スケール要素（キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素），が選択可能に表示される。また、動作の指示タイミング，及びキャラクタ表示領域の背景の選択画面が表示される。
ユーザは、このキャラクタ動作の状態指示編集ウインドウに表示された各表示状態を選択することで、キャラクタによらず各キャラクタに共通した動作として選択した表示状態に対応する表示状態番号が設定中のシーンの内容として設定される。
このウィンドウで、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ（ａ）に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウ（ａ）に戻る。
直接指示指定ボタンをクリックすると、キャラクタ動作指示編集ダイアログ（個別指示）（ｂ）に切り替わる。
【０２０６】
図３９は、キャラクタ（エージェント）の台詞指示を編集する画面操作の流れを表したものである。
シーン画面の編集状態を表しているメインウィンドウ（図３９（ａ））において、設定画面３０３の台詞編集ボタン３１３をクリックすると台詞の編集ウインドウ１（ｂ）が表示される。
この台詞の編集ウインドウ１（ｂ）では、「ＰＣＭ」のタブ画面が表示され、ＰＣＭ（録音されて用意されている肉声データ）の指示ができる。
台詞の編集ウインドウ１（ｂ）で「ＴＴＳ」タブを選択すると、台詞の編集ウインドウ２（ｃ）が表示され、ＴＴＳ（合成音声）の指示ができる。
ＰＣＭの場合台詞を全角ひらがなで入力（上記入力用ボックス）し該当する台詞が有るか検索（検索ボタンをクリックする：前方一致と完全一致の２種類の検索方法を用意）し、検索結果（検索結果一覧表示欄が存在する）から選択しキャラクタに話させる台詞を設定（追加ボタンをクリックすると設定できる）していく。
ＴＴＳの場合は台詞名称（吹き出し表示用データ）とフリガナ（合成音声を作成するためのデータ）を入力しキャラクタに話させる台詞を設定（追加ボタンをクリックすると設定できる）していく。
台詞の編集ウインドウ１（ｂ）、２（ｃ）において、決定ボタンをクリックすると編集内容が吹き出し画面４３０のデータとして反映されてメインウィンドウ（ａ）に戻り、キャンセルボタンをクリックするとデータに反映されなでメインウィンドウ（ａ）に戻る。
【０２０７】
図４０は、音声認識辞書を編集する画面操作の流れを表したものである。
この操作は、エージェント装置側からの回答を要求する問いかけに対して、ユーザから返される音声による回答を認識するための音声辞書を設定するものである。
その一例として、図４０では、車両の走行制御を行うシナリオにおいて、走行制御が終了した後に制御に対する感想を問いかけ、その回答を認識する１シーンでの画面操作を表している。
シーン画面の編集状態を表しているメインウィンドウ（図４０（ａ））において、音声認識開始制御指示３２０ａの右側に表示されている逆三角形のボタンを選択することで、プルダウンメニューが表示される。プルダウンメニューとしては、「自動で開始する」、「自動で開始しない」、「おまかせ」（エージェント装置（車載装置）が判断する場合）、が表示される。ユーザはこの表示の中から１つ音声認識の指示を選択する（音声認識開始設定手段）。なお、既に表示されている音声認識の指示でよい場合には、プルダウンメニューを表示せずにそのままにすることで表示中の指示が選択されたことになる。
上記のように、音声認識を開始するか否かの条件（「自動で開始する」「自動で開始しない」）をユーザが設定しない場合、音声認識の開始を予め定められた条件（「おまかせ」）で判断するように設定することにより、車載判断設定手段が形成される。
ユーザによって選択された音声認識の指示は、選択したシーンのシーンデータとして設定される。
【０２０８】
このように、本実施形態のシナリオ作成装置２によれば、音声認識を自動で開始させるか否かの指示（音声認識の指示）を設定できる機能を備えているので、エージェント装置１に対して音声認識の開始をどうするかをシナリオの作成者が設定することができる。
そして、音声認識を「自動で開始する」を設定することで、ユーザである運転者は音声認識開始のトリガ（認識開始ボタンを押す）を選択しなくても回答する（音声入力する）ことができる。このようにエージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。また、このステップは人間同士の会話においては存在しないため、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【０２０９】
また、本実施形態のシナリオ作成装置２では音声開始の指示として「おまかせ」（エージェント装置が判断）を設定でき、おまかせが設定されたシーンに対してエージェント装置では、運転負荷の高低によって音声認識を開始する、又は開始しないが選択される。
従って、運転者は、交差点の進路変更操作中等の負荷が高い場合には音声認識が開始されず、音声入力（運転者による回答）を要求する開始音が出力されないので、運転者は高負荷である運転操作に専念することができる。
【０２１０】
また、シーン画面の編集状態を表しているメインウィンドウ（図４０（ａ））において、コールバック制御指示３２０ｂの右側に表示されている逆三角形のボタンを選択することで、プルダウンメニューが表示される。プルダウンメニューとしては、「コールバックする」、「コールバックしない」、「おまかせ」（エージェント装置（車載装置）が判断する場合）、が表示される。ユーザはこの表示の中から１つコールバック制御の指示を選択する（音声認識確認設定手段）。なお、既に表示されている音声認識の指示でよい場合には、プルダウンメニューを表示せずにそのままにすることで表示中の指示が選択されたことになる。
ユーザによって選択されたコールバック制御の指示は、選択したシーンにおける音声認識後にコールバックするかしないかを決定するためのシーンデータとして設定される。
このように、音声認識の認識結果を確認するか否かの条件（「コールバックする」「コールバックしない」）をユーザが設定しない場合、音声認識の認識結果確認を予め定められた条件（「おまかせ」）で確認するように設定することにより、車載確認設定手段が形成される。
【０２１１】
このように、本実施形態のシナリオ作成装置２によれば、ユーザの音声による解答を音声認識した場合に、コールバックするか否かの指示（コールバック制御指示）を設定できる機能を備えているので、エージェント装置１に対して音声認識後のコールバックを行うか否かをシナリオ作成者が設定することができる。
そして、本実施形態のシナリオ作成装置２ではコールバック制御の指示として「おまかせ」（エージェント装置が判断）を設定でき、おまかせが設定されたシーンに対してエージェント装置では、認識対象となっている語数（回答用音声認識辞書の語数）と車速から状況判断をし、認識結果をコールバックする行為を行なうか否が決定される。
これにより、エージェント装置のユーザである運転者と、擬人化されたキャラクタとの会話において擬人化されたキャラクタは、常に認識結果を聞き返す（コールバック）ことがなくなるため、ユーザは煩わしさを感じずにすむ。
また、状況によってコールバックをするか、しないかが制御されるため、運転中の場合、コールバック音声によって画面を見ずに会話ができるため安全である。逆に停車中で画面での認識結果の確認ができる場合や、さらに認識率が高い２択の回答を要求されていてる場合にはコールバックしないことでスムーズな会話を実現できる。
人間同士の会話においては、聞き取った内容を聞き返す行為（コールバックする行為）は状況によってされたりされなかったりするので、本実施形態によれば、エージェントとユーザ間で、人間同士の会話に近いコミュニケーションをとることができる。
【０２１２】
シーン画面の編集状態を表しているメインウィンドウ（図４０（ａ））において、選択された画面構成にしたがって表示されるボタンパーツ部３１５ａ（画面構成によっては通常リストボックスパーツ部の場合も有る）をダブルクリックすると音声認識辞書選択ウインドウ（ｂ）が表示される。また、バックグラウンドで認識する辞書の一覧表示部３１５ｂをダブルクリックしても音声認識辞書選択ウインドウ（ｂ）が表示される。
【０２１３】
音声認識辞書選択ウインドウ（図４０（ｂ））において、辞書候補の一覧表示にある辞書名称をダブルクリックするとその音声認識辞書を使うものとして、一般辞書として選択した一覧に表示される。
決定ボタンをクリックすると編集内容がデータに反映されてメインウィンドウ（ａ）に戻り、キャンセルボタンをクリックするとデータに反映されなでメインウィンドウ（ａ）に戻る。
ユーザ定義辞書の編集ボタンをクリックすると、音声認識辞書を新規に作成する音声認識辞書作成ウインドウ（図４０（ｃ））が表示される。
【０２１４】
音声認識辞書作成ウインドウ（図４０（ｃ））では、辞書の名称を入力して辞書追加ボタンをクリックするとその名称で音声認識辞書を新規に作成して音声認識辞書へ単語登録するウインドウ（ｄ）が表示される。
音声認識辞書作成ウインドウ（ｃ）でＯＫボタンをクリックすると音声認識辞書の作成を終了し、音声認識辞書選択ウインドウ（ｂ）にもどる。
【０２１５】
音声認識辞書へ単語登録するウインドウ（図４０（ｄ））では、登録したい単語を半角カナでフリガナ欄に入力し、決定ボタンをクリックする。次に名称（表示させたい名称）を選択もしくは新規入力し、コールバックをする際のＰＣＭ音声を選択（無しを選択すればコールバックする場合はＴＴＳを使用する）する。これら３項目の入力をした後に登録ボタンをクリックするとデータ登録され右側の登録単語一覧に追加される。
登録したい単語の登録を全て終わったら戻るボタンをクリックすると音声認識辞書作成ウインドウ（ｃ）に戻る。
【０２１６】
図４１は、シナリオの流れを編集する画面操作の流れを表したものである。
メインウィンドウにおいて作成中のシーンアイコン３０７（図４１ではアイコン１）を選択してアクティブ状態にする。この状態で、新規シーン作成ボタン３２１をクリックすると、移行の選択ウインドウ（図４１（ｂ））が表示される。この移行の選択ウインドウ（図４１（ｂ））において、新規に作成するシーンへ分岐させる条件を分岐イベント一覧から選択することで次のシーン（新規作成するシーン）への移行条件が選択される。
【０２１７】
分岐イベントの選択ウィンドウ図４１（ｂ）において、次のシーン（新規作成するシーン）への移行条件を選択してＯＫボタンをクリックするとその条件（分岐イベント）に決定してメイン画面（ａ）へ戻る。
戻った後のメイン画面（ｃ）では、シーン展開画面３０５に、新たにシーン（図ではシーンアイコン（４））が作成されている。新規に作成されたシーンアイコンでは、他のシーンアイコンと区別するため、ＮＥＷと表記される。
なお、分岐イベントの選択ウィンドウで選択できる分岐イベントは、図２９に表示されている。
以上の図４１の説明のように、１つの画面要素から次の画面要素に移行するための条件を設定することにより、本願発明における移行条件設定手段及びキャラクタの１つの動作処理から次の動作処理に移行する制限時間を設定する移行制限時間設定手段が形成される。
【０２１８】
図４２は、シナリオの終了位置を編集する画面操作の流れを表したものである。
メインウインドウ（ａ）において、シナリオの終了位置作成ボタン３２３をクリックするとエンドＩＤの指定ウインドウ（ｂ）が表示される。
このエンドＩＤの指定ウインドウ（ｂ）において、終了位置マークの持つＩＤ番号を指定する。通常は自動割付するが、自動で割り付けると書かれたチェックボックスのチェックをはずせばエディタの操作者が自分で割り付けることもできる。ＯＫボタンをクリックするとＩＤ番号を決定し分岐イベント選択ウインドウ（ｃ）が表示される。
【０２１９】
分岐イベント選択ウインドウ（ｃ）では、新規シーン作成時と操作方法は同様にシナリオを終了するための分岐条件を設定する。追加条件設定も同様にできる。このウィンドウで、ＯＫボタンをクリックするとその条件（移行条件）に決定してメインウィンドウ（ｄ）へ戻る（移行条件設定手段）。このときシナリオ図には新たにシナリオ終了位置４３３が作成されている。
以上説明したように、キャラクタ（エージェント）の表示内容、処理内容の少なくとも１つが定義された画面要素を１画面要素（シーン）とし、該画面要素及び画面要素間の移行条件とを組み合わせて画面要素推移体（シナリオ）を作成する画面要素推移体作成手段が形成される。
また、以上説明したように、車両内の表示装置に表示するためのキャラクタの処理内容を設定するキャラクタ表示処理設定手段が形成される。
【０２２０】
図４３は、以上のようにして作成されたシナリオにおけるシーン展開の一例を表したものである。
図４３に示すメイン画面には、作成されたシナリオの構成を示すシーンアイコン３０７が、シーン展開画面３０５に表示されている。なお、図４３では、いずれのシーンアイコンも選択されていないため、右側のシーン表示画面５４と設定画面には何も表示されていない。
【０２２１】
図４３を使用して、運転者情報として野球が好きか否かを確認しユーザ情報を取得するシナリオを例に説明する。この場合の自律起動条件としては、例えば、ユーザ趣味が未取得で、直線道路が続いていて所定車速以下で走行している場合等の運転者の運転負荷が低い場合が設定されている。
このような自律起動条件を満足した場合に、まず最初のシーン１（中に数字１がかかれた四角のシーンアイコン、以下同じ）では、キャラクタが「野球をみることが好きですか？」と質問をする。このシーンでは、ユーザの回答として「好き」と「嫌い」が予定され、対応する表示の回答選択ボタン５４と、音声認識辞書が設定されている。また、タイマー設定時間２０秒と、タイマー設定条件（ａ）走行中も停車中も常に設定するがシーン１のタイマー設定情報として規定されているものとする。
【０２２２】
そして、ユーザの回答が「好き」であった場合を移行条件として分岐（展開）するシーンがシーン２で、「嫌い」であった場合を移行条件として分岐するシーンがシーン３で、ユーザが回答する前にタイマー通知となった場合を移行条件として分岐するシーンがシーン４として規定されているものとする。
この場合、「好き」と回答された場合に分岐するシーン２では、例えば、キャラクタが「だよね！日本人は野球が好きな人って多いよね。」と音声出力した後、シナリオを終了させる（丸形の終了アイコン１；以下同じ）。この場合の終了の仕方が終了アイコン１によって規定され、どのような終了の仕方をしたかが、エージェント装置１の学習項目データ１０−２−３−７に格納されるようになっている。また、運転者情報データ１０−２−３−６の趣味の項目として「野球が好き」というデータが蓄積される。
【０２２３】
一方、「嫌い」と回答された場合に分岐するシーン３では、例えば、キャラクタが「だよね！スポーツの趣味は野球ばかりじゃないよね。」と音声出力した後、シナリオを終了させる（終了アイコン２）。そして、終了アイコン２により終了したことが、エージェント装置１の学習項目データ１０−２−３−７に格納されるようになっている。また、運転者情報データ１０−２−３−６の趣味の項目として「野球が嫌い」というデータが蓄積される。
【０２２４】
更に、ユーザからの回答がなくタイマー通知になった場合に分岐するシーン４では、例えば、キャラクタは「野球に興味ないのかな？」といった質問を再度音声出力すると共に、ユーザの回答として「好き」と「嫌い」が予定され、対応する表示の回答選択ボタン５４と、音声認識辞書が設定される。更に、例えば、タイマー設定時間２０秒と、タイマー設定条件（ａ）走行中も停車中も常に設定するがシーン１のタイマー設定情報として規定される。
【０２２５】
シーン４による再度の質問に対してユーザが「好き」と回答した場合にはシーン２′に分岐する。この場合の分岐先を示すシーン２′のように、ダッシュがついたシーンアイコンは、ダッシュのついていないシーン２に分岐することを表している。従って、シーン４に対する回答が「好き」である場合にはシーン２に分岐して、野球が好きであることを確認する音声を出力した後に終了アイコン１による終了をする。
シーン４による再度の質問に対してユーザが「嫌い」と回答した場合、同様にシーン３′と表示されているので、シーン３に分岐し、シーン３以降の展開がされる。
一方、シーン４の質問に対しても、再度タイマー通知である場合には、終了アイコン３に移行し、終了すると共に、終了アイコン３で終了したことが、学習項目データ１０−２−３−７に格納される。これにより、ユーザは、野球が好きか嫌いかに対する質問事態に関心がないと判断可能であり、同一のシナリオの実行は再度行わないようにすることが可能である。このような対応は、シナリオの自律起動条件として、以前に終了アイコン３で終了していないことという条件を加えることで可能である。
【０２２６】
図４４は、作成したシナリオをエージェント装置で使用可能な実機形式（ＮＡＶ形式）のフォーマットにコンパイルするための画面操作の流れを表したものである。
メインウインドウ（ａ）において、シナリオコンパイルボタン３２５をクリックすると、シナリオコンパイラのウインドウ（ｂ）が表示される。
このシナリオコンパイラのウインドウ（ｂ）において、コンパイルしたデータを出力するファイルの名称を指定し、同時に変換するシナリオを選択（シナリオ一覧リストにチェックしたシナリオを同時に変換する）し、コンパイルボタンをクリックすると、シナリオコンパイラ（２４０−１−２）がデータ変換を開始する。データ変換の状況を結果表示部に表示する。
終了ボタンをクリックするとデータ変換を終了し、メインウィンドウ（ａ）にもどる。
【０２２７】
以上説明したように、本実施形態のシナリオ作成装置によれば、シナリオの各シーンにおけるキャラクタの動作を指示する表示状態をキャラクタの種類によらずに共通化したので、キャラクタにとらわれずに実行できるシナリオを作成することができ、キャラクタ毎に作成していたシナリオを1個にまとめることができるため、シナリオ作成が容易になる。
また、統一のキャラクタ動作指示形態の名称には、キャラクタに表現させたい内容、例えば、出会いのあいさつ、（情報等を）掲示する、喜ぶ、怒る等を用いたので、シナリオ作成装置においてキャラクタ動作の指示を作成する場合に、シナリオ作成者はキャラクタに何をさせたいかを、名称から直接選択するだけでよくなるため、シナリオ作成が容易になる。
【０２２８】
また、本実施形態によれば、シナリオ作成装置で作成されたシナリオデータに基づいてエージェントを自律的に起動させる（自動で登場させる）条件を満たしたかを判断する処理を定期的にもしくは特定の状態を満たしたときに実行し、条件を満たした場合にエージェントを自動で登場させることができる。
一方、本実施形態のシナリオ作成装置及びシナリオエディタによれば、プログラムの知識の有無に関係無く、シナリオエディタを持つことで特定の条件を満たしたときに自動で登場して対応してくれるエージェントのシナリオデータを容易に作成及び編集することができる。また、シナリオ作成装置に、音（効果音）を鳴らすｏｒ鳴らさないの設定及び鳴らす場合はどういった音を鳴らすかの設定ができる（作成した各シーンで設定できる）ので、自動でエージェントが登場したことを運転者が画面を見ることなく通知することができるシナリオを容易に作成することができ、運転操作中でも運転者は安全にエージェントの登場を知ることができる。
【０２２９】
以上、本発明の車載装置、データ作成装置、及びデータ作成プログラムにおける１実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各種の変形を行うことが可能である。
例えば、エージェント装置でスタンバイシーンを使用する場合の判断条件として以下の設定項目としてもよい。
・車両状態（走行中ｏｒ停車中等）
・エージェント熟練度（使用時間、AMMパラメータ等）
・ナビの状態（ルート案内中、エージェント処理中等）
・シナリオ実行状態（自動起動ｏｒ手動起動等）
・その他多数（過去に出願した全ての自動起動条件）
【０２３０】
また、シナリオエディタにより、スタンバイシーンとして設定（編集)できる内容を次のようにしてもよい。
１．画面構成（キャラクタ位置、吹き出し）
２．効果音
３．キャラクタ動作
４．キャラクタの台詞
５．タイマ設定
【０２３１】
また、１つのスタンバイシーンについて説明したが、スタンバイシーンを複数設定するようにしてもよい。
すなわち、スタンバイシーンは1シナリオにつき1スタンバイシーンとは限らず複数設けることが可能である。これにより、状況（判断条件)によってキャラクタ動作、大きさ、及び台詞を変化させることが可能となる。
これにより、スタンバイシーンは、シーンの最初に複数の選択肢により条件Ａを満たす場合にはａのスタンバイシーン、条件Ｂを満たす場合にはｂのスタンバイシーンというように設定することができる。
また、シナリオの最初だけでなく、シナリオの途中においてもスタンバイシーンを展開できるようにしてもよい。
【０２３２】
また、スタンバイシーンで設定する判断条件を分岐シーンで編集できるようにしてもよい。
【０２３３】
また、説明した実施形態のエージェント装置１では、おまかせ（エージェント装置が判断）が設定されていて運転負荷が高負荷である場合に、音声認識を行わないこととした。これに対して、運転者が高負荷である場合、直ちには音声認識を開始しないが、高負荷状態でなくなった時点で音声認識を開始するようにしてもよい。
すなわち、図２１の状況判断（ステップ５０５−６−８−２）において、運転者が高負荷であると判断された場合にリターンする場合について説明したが、リターンせずに（ステップ５０５−６−８−２に戻るようにする。これにより、音声認識部（１０１−７）は運転者の負荷が低負荷に成るまで待ち、低負荷となった時点で音声入力を求める開始音を出力することになる。
【０２３４】
説明した実施形態では、図２６〜図２７に例示した、自律起動条件として選択可能な項目として「ユーザ性別」「ユーザ年齢」について規定したが、運転者に関する他の自動起動項目（図２６参照）を追加するようにしてもよい。例えば、自動起動項目として、「熟練度」や「感情」等の運転者の状態に関する項目を追加する。そして、「熟練度」に対応する選択可能項目（図２７、図２８参照）として「低い」、「普通」、「高い」を追加し、「感情」に対応する選択可能項目として「不安」、「あせり」、「緊張」等を追加する。
【０２３５】
この場合、エージェント装置では、熟練度、感情といった運転者の状態を、運転者情報データ（１０−２−３−６）や、学習項目データ（１０−２−３−７）に格納される運転者の操作履歴等から状況情報として取得し、シナリオの起動条件と比較判断する。
すなわち、エージェント装置では、エージェントＯＳ部（１０１−８）が例えば各種状況検出装置（６）からの情報を外部Ｉ／Ｆ（１０１−９）を通して全体処理部（１０２）から取得し、また、学習部（１０１−３）が格納している運転者情報データ（１０−２−３−６）や学習項目データ（１０−２−３−７）に格納される運転者操作履歴等を基にして、学習部（１０１−３）が現在の運転者の状態を判断する。
判断する運転者状態の例としては、自律起動条件の各項目に対応する、運転者の不安、あせり、緊張感、…等や、エージェント装置に対する熟練度等も判断及び推測する。
例えば、一定時間内にスピード超過状態が長く続き、かつ急な加減速が多く行なわれた場合に時間に対してあせっている（急いでいる）と判断する例が考えられる。
また、エージェントの通算使用回数や、通算使用時間（コミュニケーション時間）、さらには自動起動が発生した回数等を使ってエージェント装置に対する熟練度を低い・普通・高い等３段階で判断したりする。段階の数や判断の条件は一例であり変更しても良いものとする。
【０２３６】
このように、エージェント装置側で検出可能な条件をシナリオ作成装置に登録し、シナリオエディタで使用可能にすることで、運転者状態を画面要素推移体（シナリオ）の起動条件（自律起動条件）として使用することができる。
これにより運転者があせっている場合は、エージェント側から自律的に登場してコミュニケーションを取らない（自律起動条件に「あせっていない場合」という条件を付加する）ことが可能になる。
【０２３７】
なお、本実施形態では、規格化されたシナリオデータに従ってエージェント機能を実現可能とし、シナリオデータで規定された自律起動条件に基づいてシナリオを起動する車両用のエージェント装置を提供することを目的Ａ、エージェント装置においてエージェント機能を実現するための規格化されたシナリオ、及び、シナリオを自律的に起動する自律起動条件を容易に作成することが可能なシナリオデータ作成装置を提供することを目的Ｂとして、以下のように構成することも可能である。
（ａ）車室内や車両の状態を判断し、その判断結果に応じた処理を自律的に行う機能を、エージェントの容姿の動きや音声と連動させて実行するエージェント装置であって、
所定の容姿を有するエージェントの画像を車室内に表示するエージェント表示手段と、
装置が行う処理内容とエージェントの画像及び音声の少なくとも１つから構成される場面を１シーンとし、１又は連続する複数のシーンで構成されたシナリオと、当該シナリオの展開を自律的に起動する自律起動条件とを有するシナリオデータを記憶したシナリオ記憶手段と、車室内や車両の状態を状況情報として取得する状況情報取得手段と、前記取得した状況情報が前記シナリオ記憶手段に記憶された各シナリオの自律起動条件を満たしているか否かを判断する条件判断手段と、前記条件判断手段で満たしていると判断された自律起動条件に対応するシナリオを自律的に起動して各シーンを順次展開するシナリオ実行手段と、を備え、前記条件判断手段は、所定のタイミングで状況情報が自律起動条件を満たしているか否かを判断することを特徴とするエージェント装置。
（ｂ）前記条件判断手段は、所定時間毎の定期的に、及び、前記取得した状況情報から予め設定された特定の状況を満たした場合に判断を行う、ことを特徴とする（ａ）に記載のエージェント装置。
（ｃ）前記シナリオ実行手段は、効果音が設定されたシーンの場合、効果音情報に対応する効果音を当該シーンを展開する際に出力することを特徴とする（ａ）又は（ｂ）に記載のエージェント装置。
（ｄ）車両用のエージェント装置が自律的に行う処理内容とエージェントの画像及び音声の少なくとも１つから構成される場面を１シーンとし、１又は連続する複数のシーンで構成されたシナリオを、当該シナリオの自律起動条件を満足した場合に自律的に起動するエージェント装置用のシナリオデータを作成するシナリオデータ作成装置であって、シーンの構成要素として選択可能なエージェントの処理内容とエージェント画像と音声データの少なくとも１つを選択するシーン要素選択手段と、前記取得したシーン構成要素から、エージェントによる処理内容、エージェントの画像及び、出力音声の少なくとも１で構成される場面を１シーンとして作成するシーン作成手段と、所定のシーンから次のシーンに移行するための１又は複数の移行条件と、各移行条件に対応して移行先のシーンを特定する移行先データとから、各シーンの展開構成を作成するシーン展開構成作成手段と、前記エージェント装置により取得可能な車室内や車両の状態に関する状況情報の各項目を提示する提示手段と、提示した状況情報の各項目から１つ以上の項目を選択する選択手段と、前記選択された１または複数の状況表示の項目からシナリオの自律起動条件を作成する自律起動条件作成手段と、前記作成したシーンと前記作成した各シーンの展開構成と、前記作成したシナリオの自律起動条件とからなるシナリオデータを出力する出力手段と、を具備することを特徴とするシナリオデータ作成装置。
（ｅ）前記シナリオは、エージェントによる提案、質問、挨拶等の能動的動作を内容とするシーンから開始することを特徴とする（ｄ）に記載のシナリオデータ作成装置。
（ｆ）シーンを選択するシーン選択手段と、１または複数の効果音を特定する効果音情報を、一覧表示する効果音表示手段と、前記表示された効果音情報から１の効果音情報を選択する効果音選択手段と、前記選択された効果音情報に対応する効果音を前記選択されたシーンの開始時に出力する効果音として設定する効果音設定手段と、を具備することを特徴とする（ｄ）又は（ｅ）に記載のシナリオデータ作成装置。
（ａ）の実施形態によれば、規格化されたシナリオデータに従ってエージェント機能を実現可能とし、シナリオデータで規定された自律起動条件に基づいてシナリオを起動することが可能になる。
また（ｂ）記載の実施形態によれば、プログラミングの十分な知識がなくても、エージェント装置においてエージェント機能を実現するための規格化されたシナリオ、及び、シナリオを自律的に起動する自律起動条件を容易に作成することができる。
【０２３８】
【発明の効果】
本発明によれば、予め定められた条件を満たしたことで、キャラクタの表示を含んだ制御内容を実行する場合に、ユーザが制御実行前に準備をすることができる車載装置が提供される。
【図面の簡単な説明】
【図１】本発明の一実施形態におけるエージェント装置を使用した、シナリオ追加システムについてのシステム構成図を表したものである。
【図２】本発明の一実施形態におけるエージェント装置の構成を示すブロック図である。
【図３】同上、エージェント装置における各種状況検出装置の構成図である。
【図４】ＣＰＵでプログラムが実行されることにより実現されるエージェント処理部と、全体処理部との関係を表した説明図である。
【図５】エージェント処理部の構成を表した説明図である。
【図６】外部記憶媒体に集録されている情報を概念的に表した説明図である。
【図７】実機形式シナリオデータの構成を表したものである。
【図８】キャラクタデータを概念的に表した説明図である。
【図９】キャラクタ画像選択データ内容を概念的に表した説明図である。
【図１０】運転者情報データを概念的に示した説明図である。
【図１１】エージェント装置において各種のコミュニケーション設定を行うためのコミュニケーション設定画面を表した説明図である。
【図１２】シナリオのシーンデータに基づいて表示装置に表示されるシーン画面の一例を表した説明図である。
【図１３】旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表した画面遷移図である。
【図１４】自律起動判断部によるシナリオの自律起動判断処理について表したフローチャートである。
【図１５】条件判断処理の処理内容を表したフローチャートである。
【図１６】シナリオ実行処理の流れの一例を表したフローチャートである。
【図１７】シナリオ開始処理（ステップ５０５−５）の流れを表したフローチャートである。
【図１８】シナリオのジャンルによるスタンバイシーンを使用するか否かを決定するための設定例を表したものである。
【図１９】シーン処理の流れの一例を表したフローチャートである。
【図２０】描画・音声出力部によるキャラクタ描画・音声出力処理を表したフローチャートである。
【図２１】音声認識処理の処理動作を表したフローチャートである。
【図２２】停車状態と走行状態におけるシーン画面の例を比較表示した説明図である。
【図２３】シナリオ作成装置の構成図である。
【図２４】シナリオ編集プログラムとデータの構成を概念的に表したものである。
【図２５】データ形式の変換を概念的に表したものである。
【図２６】自動起動項目として設定可能な項目を例示したものである。
【図２７】自動起動項目に対して選択可能な項目を例示したものである。
【図２８】自動起動項目に対して選択可能な項目を例示したものである。
【図２９】シーンから次のシーンに分岐（シーン展開）をするための分岐項目（移行条件）が格納されたシーン分岐項目テーブルである。
【図３０】追加条件テーブルを表したものである。
【図３１】共通定義ＤＢに格納されている、キャラクタの表示状態指示テーブルの内容の一部を概念的に表した説明図である。
【図３２】共通定義ＤＢに格納されている、キャラクタの表示状態指示テーブルの内容の他の一部を概念的に表した説明図である。
【図３３】シナリオエディタを起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
【図３４】シナリオプロパティを編集する画面操作の流れを表したものである。
【図３５】スタンバイシーン使用条件として選択可能な項目を例示した説明図である。
【図３６】シナリオ開始条件のメイン編集ウィンドウから、シナリオ起動条件を編集する画面操作の流れを表したものである。
【図３７】エージェント表示画面に表示したい画面構成を選択する画面操作の流れを表したものである。
【図３８】キャラクタ動作（エージェントの動作）指示を編集する画面操作の流れを表したものである。
【図３９】キャラクタ（エージェント）の台詞指示を編集する画面操作の流れを表したものである。
【図４０】音声認識辞書を編集する画面操作の流れを表したものである。
【図４１】シナリオの流れを編集する画面操作の流れを表したものである。
【図４２】シナリオの終了位置を編集する画面操作の流れを表したものである。
【図４３】作成されたシナリオにおけるシーン展開の一例を表したも説明図である。
【図４４】作成したシナリオをナビゲーションで使用可能な実機形式のフォーマットにコンパイルするための画面操作の流れを表したものである。
【符号の説明】
１ エージェント装置装置
２ シナリオ作成装置
３ サーバ
（１） 中央処理装置
（２） 表示装置
（３） 音声出力装置
（４） 音声入力装置
（５） 入力装置
（６） 各種状況検出装置
（７）各種車載装置
（８）通信制御装置
（９）通信装置
（１０）外部記憶装置
（２００） 制御部
（２１０） 入力装置
（２２０） 出力装置
（２３０） 通信制御装置
（２４０） 記憶装置
（２５０） 記憶媒体駆動装置
（２６０） 入出力Ｉ／Ｆ[0001]
BACKGROUND OF THE INVENTION
The present invention In place For example, an in-vehicle device equipped with an agent function for carrying out a conversation or communicating with a vehicle occupant autonomously In place Related.
[0002]
[Prior art]
For example, pet-type robots such as dogs, and agent devices that interact with passengers by providing guidance on device operations such as navigation devices in the passenger compartment and asking questions and suggestions according to the situation have been developed. It is mounted on a vehicle as an in-vehicle device (see, for example, Patent Document 1). In addition, various states that can be considered for the apparatus are assumed, and actions to be taken when each assumed state is detected are defined in accordance with predetermined data and programs.
[0003]
[Patent Document 1]
JP-A-11-37766
[0004]
In this conventional agent device, for example, the agent E appears on the display device 27 when the detection value G1 of the fuel detection sensor 415 is equal to or less than the average value G2 (G1 ≦ G2) of the remaining fuel amount for all five times. The action for prompting refueling is displayed on the display device 27, and a sound such as “I am hungry! I want gasoline!” Is output from the sound output device 25.
[0005]
[Problems to be solved by the invention]
In the conventional agent device, when a predetermined condition is satisfied, the agent suddenly starts to speak unilaterally, and thus there is a problem that it is difficult to understand the content.
In other words, even though the user is driving and is not ready to communicate with the agent, the agent may start unilaterally, and the user may miss the agent's comment. It was.
[0006]
When voice guidance is performed in a conventional navigation apparatus or the like, a guidance voice may be output after outputting a sound effect such as “Pawn” in advance.
However, a guidance sound was output after the sound effect, and it was output unilaterally regardless of whether or not the driver had a sufficient listening system.
For this reason, when considering communication with the user, there is also a problem that a sense of familiarity cannot be obtained.
[0008]
Therefore, in order to solve the above-described problem, when the control content including character display is executed by satisfying a predetermined condition, the user may make preparations before executing the control. To provide a vehicle-mounted device that can Eyes Target.
[0009]
[Means for Solving the Problems]
In the invention described in
In the invention according to
According to a third aspect of the present invention, the necessity determination means includes the Information provision Content Caution / Warning In this case, it is determined that confirmation is not necessary, and the in-vehicle device according to
[0013]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 to FIG. 1 show an agent device that is a preferred embodiment of the in-vehicle device of the present invention, a scenario creation device that is a preferred embodiment of a data creation device, and a scenario editor that is a preferred embodiment of a data creation program. This will be described in detail with reference to FIG.
(1) Outline of the embodiment
In the agent device of the present embodiment, an agent (character) image (planar image, stereoscopic image such as holography) having a predetermined appearance is displayed in the vehicle. The agent device has a function of recognizing and judging the surrounding state (including human movement and voice) from the detection result of the sensor and the like, and outputting the action and voice according to the result. Executes in conjunction with the movement and voice of the appearance. For example, a question requesting an answer (Japanese food, Western food, etc.) such as “Which genre do you like to eat” is performed, and the content of the user's answer to this question is determined (recognition of the answer voice or
In the agent device of the present embodiment, this agent is allowed to perform various communications with the driver and proxy operations. Various actions (each action) autonomously performed by the agent are configured by a plurality of scenarios (screen element transition bodies). Saves scenario data standardized by multiple scenarios that define the contents of a series of consecutive actions by agents and autonomous activation conditions (activation conditions) for autonomously starting (activating) the deployment of each scenario. To do.
A scenario is composed of one or a plurality of continuous scenes with a scene (screen element) as a minimum unit. A scene composed of at least one of autonomously processed content and an image and sound of an agent is one scene.
A scenario is a transition condition (continuous condition) for transitioning from a predetermined scene to the next scene or a plurality of transition conditions (branching conditions (for transition of a scene to each state when multiple states occur) The development configuration of each scene is defined from the above-mentioned conditions)) and the transfer destination data for specifying the transfer destination scene corresponding to each transfer condition.
[0014]
In the agent device, when an agent appears autonomously (when executing a scenario) according to a scenario (screen element transition body) that satisfies the automatic start condition, on the screen of the display device (for example, if the navigation function is in use) Put a small agent (on the map) into the communication standby state (standby state).
This standby state is a state in which execution of the scenario is waited until the user is ready for communication with the agent by notifying the execution of the scenario and confirming whether or not to execute the scenario. When ready, the user touches the agent displayed on the screen to trigger the start of communication, and with this, the communication is started (scenario execution is started).
For example, a small agent appears in the upper right corner of the map, speaks to the user, “If you touch me, I will introduce a recommended meal location,” and enters standby. When the user touches the agent, it enters the communication mode, and a scenario is developed that says, “There is a XX restaurant 2km ahead in the direction of travel. The
[0015]
In this way, instead of immediately executing a scenario that satisfies the autonomous activation condition, it is possible to notify the execution of the scenario and confirm whether it may be executed before entering the standby state. One cushion can be placed, and the user has time to prepare for communication with the agent. As a result, the user can sufficiently listen to the contents spoken by the agent, and can smoothly communicate with the agent.
[0016]
Whether or not to notify and confirm the scenario execution is set on the in-vehicle device (standby is used, standby is not used, in-vehicle device is automatically determined), and scenario data is set (use standby, use standby) Is determined based on one or both of them.
When the priority (priority) set or determined for each scenario is higher than a predetermined value, that is, for a scenario with high urgency, the scenario is immediately executed without executing the standby state. In this case, the scenario may be executed immediately without confirming the notification.
[0017]
The user of the agent device creates a unique scenario using the scenario creation device in accordance with a defined standard. The scenario creation device can be configured by installing a scenario editing program and data in a personal computer.
The created scenario is transmitted to the agent device via a network such as the Internet or downloaded, and stored in the agent device via a predetermined semiconductor memory. It is possible to make the agent perform the desired action (communication and processing).
The first scene of the scenario to be created can be, for example, a scenario of a question scene that requires an answer to a human being. And it is possible to input the scenario data created uniquely through the input device from the outside. In this case, when scenario data to be added is stored in the semiconductor memory, the input device corresponds to a storage medium driving device that reads the contents of the semiconductor memory, and is downloaded from a specific server or the like via a network such as the Internet. In this case, the communication control device is applicable. The scenario is executed according to the newly input scenario data.
[0018]
The agent device is equipped with e-mail and browser software to download a scenario using browser software, etc., and determines whether the downloaded file is scenario data that causes the agent to function. It can be used by incorporating it into Similarly, when it is attached to an email, it is determined whether the attached file is a scenario, and if it is a scenario, it can be incorporated into the agent system and used.
As a result, in addition to the conventional method, the original communication infrastructure was created using a personal computer or the like by using the existing communication infrastructure such as mail or communication using a network, or via a semiconductor memory or the like. You will be able to add scenarios.
In this way, the user can easily and uniquely create a scenario that causes the agent to function as intended, and thus there is no resistance to the autonomous operation of the agent device.
[0019]
In addition, the agent device periodically performs processing to determine whether the conditions for autonomously starting (automatically appearing) the agent based on the scenario data created by the scenario creation device are satisfied, or a specific state is satisfied. The system is installed so that the agent can automatically appear when the conditions are met.
As a result, the scenario creation device can create and edit scenario data for agents that automatically appear and respond when a specific condition is met by having a scenario editor regardless of whether or not the program has knowledge. it can.
For example, if it is a point 2km in front of Orbis (designated by east longitude and north latitude coordinates), the road type is a highway, and the vehicle speed is over 120km / h, it will automatically appear and It is possible to change the vehicle speed condition in the scenario conditions that warn to 100 km / h or more, or to create a scenario that starts only on a specific day (for example, Christmas Eve) every year.
[0020]
(2) Details of the embodiment
FIG. 1 shows an overall system configuration including an agent device and a scenario creation device.
In this system, the
The
Further, the
In addition, a third party who desires to provide a service to the user of the
[0021]
First, the configuration and operation of an
FIG. 2 is a block diagram showing the configuration of the
The
In the
[0022]
The central processing unit (1) includes a CPU (1-1) that executes various arithmetic processes, a flash memory (1-2) that reads and stores a program from the external storage device (10), and a flash memory (1-2). ROM (1-3) storing a program (program reading means) for performing program check and update processing, and RAM (1-4) for temporarily storing data being arithmetically processed as a working memory by the CPU (1-1) ), Clock (1-5), image memory (1-7) storing image data used for screen display on display device (2), and display output control signal from CPU (1-1) An image processor (1-6) that takes out image data from the image memory (1-7), performs image processing and outputs it to the display device (2), and outputs an audio output control signal from the CPU (1-1). An audio processor (1-8) for performing processing of converting the log signal into the audio output device (3) and processing the analog signal input from the audio input device (4) into a digital audio input signal; An input device I / F unit (1-9) for receiving input contents from the input device (5), various input I / F units (1-10) for receiving information from detectors for detecting various situations, Reading and writing data and programs from / to an external storage medium (10-2) such as a communication I / F unit (1-11) for exchanging information with other devices, CD-ROMs, IC cards, hard disks, etc. An external storage device controller (1-12) for controlling the external storage device (10).
[0023]
This central processing unit (1) includes route search processing, display guidance processing necessary for route guidance, other processing necessary for the entire system, agent processing in this embodiment (various communication and operation agency between agents and drivers) The situation determination is performed, and processing autonomously performed according to the result is performed.
The program (program reading means) for performing the update process may be stored in the flash memory (1-2) in addition to the ROM (1-3).
All the programs executed by the CPU (1-1) including the program in the present embodiment may be stored in a CD-ROM or the like that is an external storage medium (10-2), or a part of the programs. Alternatively, all may be stored in the ROM (1-3) or the flash memory (1-2) on the main body side.
The data and programs stored in the external storage medium (10-2) are input as external signals to the central processing unit (1) and processed to realize various agent functions and navigation functions. It has become.
Further, the central processing unit (1) of the present embodiment forms a screen element transition body execution means for executing a screen element transition body (scenario) when it is determined that the start condition (autonomous start condition) is satisfied. is doing.
[0024]
The display device (2) displays a road map for route guidance and various image information by the processing of the central processing device (1), and screen element transitions composed of various character actions (videos) and screen configuration parts. The body (scenario) is displayed.
On the display device (2), a scenario standby screen is displayed. The screen in the standby state displays characters and outputs sound according to the setting of the standby scene set in the scenario.
Various display devices such as a liquid crystal display device and a CRT are used for the display device (2).
The display device (2) may have a function as an input device (5) such as a touch panel.
[0025]
The voice output device (3) provides guidance voice when performing route guidance by voice by the processing of the central processing unit (1), a conversation for normal communication with the driver by the agent, and questions for obtaining driver information. Voice and sound are output.
The voice output device (3) is capable of voice input to the user when voice recognition is started in voice recognition processing (when input data acquisition is started by the voice input device (4)). Is output (starting sound output means). In the present embodiment, a sound such as “beep” is output as the start sound, but a buzzer sound or a chime sound may also be output.
The audio output device (3) is composed of a plurality of speakers arranged in the vehicle. These may also be used as audio speakers.
[0026]
In the voice input device (4), a dedicated microphone having directivity is used in order to accurately collect the voice of the driver. A voice recognition process is executed by the CPU (1-1) using a digital voice input signal obtained by converting an analog signal inputted from the voice input device (4).
Examples of voices that are subject to voice recognition include input voices such as destinations in navigation processing, driver conversations with agents (including responses by drivers), and the voice input device uses these voices. Functions as voice input means for inputting.
As to whether or not a scene requires voice recognition, a voice recognition instruction is set in each scene data. In addition, a dictionary for recognizing a voice that is a target of voice recognition is specified in the scene data of a scene for which a voice recognition instruction is set. As the voice recognition instruction, one of “automatically start”, “not automatically start”, and “judgment by agent device (in-vehicle device)” is set. When the voice recognition instruction is “the agent device determines”, the agent device determines the road condition (curve, intersection, straight line, etc.) while driving the driver's load, and the driving operation condition (during rapid acceleration, sudden braking). When the load is high, voice recognition is not started. When the load is low, voice input is enabled after the start sound is output.
[0027]
Note that a hands-free unit may be formed by the voice output device (3) and the voice input device (4) so that a call can be performed using the communication control device (8) and the communication device (9).
In addition, by combining the voice input device (4), the voice processor (1-8), and voice recognition processing, conversation detection means for detecting whether or not the driver is talking with the passenger, voice generated by the driver May be used as a situation detecting means for detecting the situation of the driver.
[0028]
The input device (5) is used to input a telephone number or coordinates on a map when setting a destination, or to request (request) a route search or route guidance to the destination. The input device (5) is used as a trigger when the driver inputs driver information or when the use of the agent function is started. Furthermore, the input device (5) functions as one response means for the driver to respond to an inquiry from the agent or the like in communication with the agent by the agent function.
As the input device (5), various devices such as a touch panel (functioning as a switch), a keyboard, a mouse, a light pen, and a joystick can be used.
Moreover, you may provide the receiving part which receives the remote control using infrared rays etc., and the various signals transmitted from a remote control.
In addition to a joystick for moving the cursor displayed on the screen, various keys such as menu designation keys (buttons) and numeric keys are arranged on the remote control.
Further, voice recognition using the voice input device (4) may be used instead of the input device.
[0029]
The central processing unit (1) uses the content received from the input device (5) via the input device I / F unit (1-9) to determine whether or not the CPU (1-1) is performing an input operation by the driver. Or / and a function (device operation status detection means) for detecting operation statuses of various devices using voice recognition results.
[0030]
FIG. 3 is a block diagram showing the configuration of various status detection devices (6).
Various situation detection devices (6) include a current position detection device (6-1), a traffic situation information reception device (6-2), and a brake detector (6-3) for detecting the situation such as driving operation. A side brake (parking brake) detector (6-4), an accelerator opening detector (6-5), an A / T shift position detector (6-6), and a wiper detector (6- 7), a direction indicator detector (6-8), a hazard detector (6-9), and an ignition detector (6-10). With the above configuration, detection means is formed by detecting various situations and conditions.
Each situation detection device (6) includes a vehicle speed sensor (6-11) for detecting the speed of the vehicle (vehicle speed information), and whether the vehicle is traveling depending on whether the vehicle speed detected by the vehicle speed sensor is zero or not. By determining whether or not, a travel determination means is formed.
[0031]
The current position detection device (6-1) is for detecting the absolute position (by latitude and longitude) of the vehicle, and is a GPS (Global Positioning System) reception device that measures the position of the vehicle using an artificial satellite. (6-1-1), a data transmission / reception device (6-1-2) that receives a GPS correction signal, an orientation sensor (6-1-3), and a steering angle sensor (6-1-4) A distance sensor (6-1-5) is used.
The GPS receiver (6-1-1) can measure the position alone, but in a place where the GPS receiver (6-1-1) cannot receive, the direction sensor (6-1-3), The current position is detected by dead reckoning navigation using at least one of the steering angle sensor (6-1-4) and the distance sensor (6-1-5). Further, by receiving the GPS correction signal using the data transmitting / receiving device (6-1-2), the accuracy of position detection by the GPS receiving device (6-1-1) can be improved.
The azimuth sensor (6-1-3) is, for example, a geomagnetic sensor that detects the azimuth of the vehicle by detecting geomagnetism, a gas rate gyro or an optical fiber that detects the rotational angular velocity of the vehicle and integrates the angular velocity to determine the azimuth of the vehicle. A gyro such as a gyro, a wheel sensor that arranges left and right wheel sensors, and detects the turning of the vehicle by the output pulse difference (difference in movement distance), etc. are used.
The rudder angle sensor (6-1-4) detects the steering angle α using an optical rotation sensor, a rotation resistance volume, or the like attached to the rotating portion of the steering.
For the distance sensor (6-1-5), for example, various methods such as a method of detecting and counting the number of rotations of a wheel or detecting an acceleration and integrating twice are used.
The distance sensor (6-1-5) and the rudder angle sensor (6-1-4) also function as driving operation state detection means.
[0032]
The traffic condition information receiving device (6-2) is for detecting the congestion condition of the road.
The traffic information receiving device (6-2) includes a beacon receiving device (6-2-1) that receives information from beacons placed on the road and a device (6-2) that receives information using FM broadcast radio waves. 2) etc. are used, and traffic jam information, traffic regulation information, etc. are received from a traffic information center using these.
Further, the beacon receiving device (6-2-1) may be used in combination with the current position detecting device (6-1) as the current position detecting means.
[0033]
The brake detector (6-3) detects whether or not the foot brake is depressed.
The side brake (parking brake) detector (6-4) detects whether or not the driver is operating the side brake and the state of the side brake (ON or OFF).
The accelerator opening detector (6-5) detects how much the driver has depressed the accelerator pedal.
The shift position detector (6-6) detects whether or not the driver is operating the A / T shift lever and the shift lever position.
The wiper detector (6-7) detects whether or not the driver is using the wiper.
[0034]
The direction indicator detector (6-8) detects whether or not the driver is operating the direction indicator and whether or not the direction indicator is blinking.
The hazard detector (6-9) detects whether or not the driver is using the hazard.
The ignition detector (6-10) detects whether or not the ignition switch is ON.
A distance sensor (6-1-5) can also be used to detect the vehicle speed.
In addition to these, the various state detection device (6) detects a light detection sensor for detecting an operation state of lamps such as a headlamp and a room lamp, and a driver's seat belt attaching / detaching operation. A seat belt detection sensor and other sensors are provided.
[0035]
As shown in FIG. 2, the GPS receiver (6-1-1), the data transmitter / receiver (6-1-2), and the traffic information receiver (6-2) are connected to the communication device I / F unit (1 -11) and the others are connected to various input I / F units (1-10).
[0036]
In addition, a communication control device (8) can be connected to the communication device I / F unit (1-11). The communication control device (8) is connected to a communication device (9) (such as a mobile phone made up of various wireless communication devices).
In addition to telephone calls using these, communication with an information providing station that provides karaoke data used for communication karaoke in a car, for example, can be performed.
In addition to the information providing station that provides karaoke data, communication with the information base station that provides traffic information, and communication with the information providing station that provides scenario data used for agent processing, and communication control with the communication device (9) It is also possible to carry out via the device (8).
[0037]
In the present embodiment, the central processing unit (1) can receive an e-mail attached with a scenario via the communication control unit (8).
In addition, the central processing unit (1) can incorporate browser software for displaying a home page on the Internet and can be processed by the CPU (1-1). The scenario can be executed from the home page via the communication control unit (8). You can download the data including.
The communication control device (8) may be integrated with the communication device (9).
[0038]
Further, the central processing unit (1) receives in-vehicle communication through the communication I / F unit (1-11) to receive the operation status of the other in-vehicle device (7) and performs various controls on the in-vehicle device. It is like that.
For example, the central processing unit (1) receives information on whether or not the driver is operating various switches of the air conditioner from the air conditioner which is the various on-vehicle devices (7), and increases or decreases the set temperature. The air conditioner is controlled as follows. In addition, information on whether or not the driver is operating an audio device such as a radio, a CD player, or a cassette player from the audio device and whether or not sound is being output from the audio device is received, and the output volume is increased or decreased. Thus, the audio device is controlled.
[0039]
The external storage device (10) includes an external storage medium drive unit (10-1) and its external storage medium (10-2). The external storage device (10) reads data and programs from the external storage medium (10-2) under the control of the external storage device control unit (1-12) according to an instruction from the CPU (1-1), and Data and programs are written to the external storage medium (10-2).
As the external storage medium (10-2), for example, various storage media such as a flexible disk, a hard disk, a CD-ROM, a DVD-ROM, an optical disk, a magnetic tape, an IC card, and an optical card are used. Each external storage medium driving device (10-1) is used.
[0040]
A plurality of external storage devices (10) may be possessed in the system. For example, the driver information data (10-2-3-6), the learning item data, and the response data (10-2-3-7), which are personal information collected, can be easily carried with an IC card or a flexible disk. An example in which the data is configured and other data is configured by a DVD-ROM is conceivable. In this way, when driving other vehicles, it is possible to read and use the data from the IC card storing these, and to communicate with the agent who has learned the situation that he has responded to in the past Become. That is, it is possible to make an agent having learning content unique to each driver appear in the vehicle instead of the agent for each vehicle.
Further, even when the DVD-ROM is configured to include scenario data + image data (10-2-3-4) used in the scenario as an example, it can be added using an IC card.
Thereby, it is possible to add an original scenario unique to each user.
Thus, by storing the screen element transition body (scenario) and the activation conditions of the screen element transition body from the outside, the screen element transition storage means of the present invention, the screen configuration including the character image, and the display of the character are included. By storing the control content to be executed in step (1), the storage means of the present invention is formed.
[0041]
The CPU (1-1) is a program (10-2-1) for realizing various agent functions and navigation functions, and agent data (10-2-3) and navigation data (10-2-2) used for arithmetic processing. Is stored (installed) in a separate external storage device (for example, a hard disk device) from the DVD-ROM or IC card shown in the above configuration example, and necessary programs and the like are stored in the flash memory (1-2). The data may be read (loaded) and executed, or data necessary for the arithmetic processing may be read (loaded) from the storage device into the RAM (1-4) and executed.
[0042]
Next, the configuration of a program executed by the CPU (1-1) including the program according to the present invention will be described.
FIG. 4 shows the relationship between the agent processing unit (101) realized by executing the program by the CPU (1-1) and the overall processing unit (102).
In this embodiment, an agent function navigation device is realized by adding an agent processing unit (101) for realizing an agent function to an overall processing unit (102) for realizing various navigation functions.
[0043]
The agent processing unit (101) and the overall processing unit (102) each have an I / F unit for exchanging processing data with each other, and can acquire each other's processing data.
For example, when the agent processing unit (101) acquires destination data that the driver wants to set as a result of executing communication with the driver according to the scenario data, the agent processing unit (101) supplies this data to the overall processing unit (102). It has become.
The overall processing unit (102) searches for a route based on the acquired destination data, and performs route guidance based on the created travel route data. In this route guidance process, when guidance such as a course change direction by image or voice is performed, data necessary for guidance is supplied from the overall processing unit (102) to the agent processing unit (101) to guide the traveling route. It is also possible for the agent to guide according to the scenario data converted into data.
[0044]
FIG. 5 shows the configuration of the agent processing unit (101).
The agent processing unit (101) includes a scenario driving unit (101-1), an autonomous activation determination unit (101-2), a learning unit (101-3), a character psychology unit (101-4), a drawing / A voice output unit (101-5), a voice recognition unit (101-7), an agent OS unit (101-8), and an external I / F unit (101-9) are provided.
The scenario driving unit (101-1) reads the scenario data (10-2-3-4) and instructs each processing unit using message communication based on the scenario data (functions provided by each processing unit). use. The scenario driving unit (101-1) performs central processing of the agent processing unit, such as managing scenario execution and providing various agent functions to the driver.
[0045]
The autonomous activation determination unit (101-2) holds autonomous activation condition data of each scenario in the scenario data (10-2-3-4), and is periodically autonomy issued from the agent OS unit (101-8). Various conditions such as time, position, and state are compared with various situations in accordance with an activation determination instruction, and determination is performed.
When the conditions match, the autonomous activation determination unit (101-2) issues an instruction to execute the scenario that matches the conditions to the scenario drive unit (101-1).
Various situations for comparison with the autonomous activation condition are obtained from the agent OS unit (101-8) and the learning unit (101-3).
In addition to the periodic autonomous activation determination instruction, if the change in the situation is considered to be large, the autonomous activation determination instruction is issued from the agent OS unit (101-8). ) Performs an autonomous activation determination process. For example, when the driver makes a destination setting, when the driver leaves the driving guidance route using the navigation function, when scenario data is added, or when scenario data is deleted Etc.
[0046]
In FIG. 5, the learning unit (101-3) displays items (execution results and execution history) obtained by the driver's selection and response in communication with the agent as driver information data (10-2-3-6) and And stored as learning item data and response data (10-2-3-7). The learning unit (101-3) also obtains an end ID indicating how to end when the scenario ends in a different scene, and stores it as response data (10-2-3-7). These acquired items are stored on the RAM (1-4), but can be output to an IC card or the like which is an external storage medium (10-2).
Further, the learning unit (101-3) obtains a change in the situation from the agent OS unit (101-8) and records information related to the driving operation. For example, the date and time of power ON (ignition ON) may be stored for the past 10 times in order to determine various conditions such as the boarding time zone and boarding frequency by the driver. The stored information is provided, for example, to the scenario driving unit (101-1) and used to change the development of the scenario, or used for comparison of autonomous activation determination.
In addition, although the learning part (101-3) in this embodiment serves also as holding | maintenance and reference of driver | operator information, you may make it independent as a driver | operator information part.
[0047]
The character psychology unit (101-4) obtains the current situation managed by the agent OS unit (101-8) and autonomously sets five parameters representing the character's psychological state based on the mental model change condition data. change.
The character's psychological state is represented by parameters of spirit, friendship, obedience, confidence, and morality, and each parameter is represented by a value of 0 to 100, for example. Each parameter is determined and learned from the vehicle status (vehicle status (vehicle status, driver response and reaction, presence / absence of passengers, vehicle status including oncoming vehicles)), and stored from each vehicle status. The value of each parameter is changed. For example, when a word of neglect from the driver is recognized, the value of the friendship parameter increases by one, such as increasing by one.
In addition, five parameters representing the character's psychological state are also changed by an instruction from the scenario driver.
Furthermore, this character psychology part (101-4) judges the psychological state of a character using five parameters. The determined psychological state is, for example, provided to the scenario driving unit (101-1) and used to change the development of the scenario, or provided to the drawing / speech output unit (101-5) and various actions of the character ( Used to change the behavior).
[0048]
The drawing / sound output unit (101-5) creates a control signal for displaying a screen composed of parts such as a selection button and a title in response to an instruction from the scenario driving unit (101-1). In addition, a control signal for displaying various actions (motions) of the character corresponding to the display state based on the scene data is also created in accordance with an instruction from the scenario driving unit (101-1).
In the present embodiment, these control signals are transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and are present in the overall processing unit (102). The image processor (1-6) is transmitted to the image processor (1-6) through the processing unit for giving an instruction to the image processor, and is displayed on the display device (2). In 8), a processing unit for giving an instruction to the image processor may be provided.
[0049]
The drawing / voice output unit (101-5) also creates a control signal for outputting a dialogue when the agent communicates with the driver in response to an instruction from the scenario driving unit (101-1). In addition, a control signal for outputting various sound effects in response to an instruction from the scenario drive unit (101-1) is also created.
In this embodiment, these are transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and sent to the voice processor in the overall processing unit (102). The signal is transmitted to the sound processor (1-8) through the processing unit for giving instructions, and the sound output control signal is converted into an analog signal and output to the sound output device (3), but without passing through the entire processing unit (102). The agent OS unit (101-8) may have a processing unit that gives instructions to the voice processor.
[0050]
The drawing / sound output unit (101-5) of the present embodiment has a character motion drawing function and a sound output function in each scene. However, the drawing unit (drawing function unit) and the sound output unit (sound output) The output function unit) may be configured separately.
[0051]
The voice recognition unit (101-7) issues a control signal for causing the voice recognition processing unit in the overall processing unit (102) to create a voice recognition dictionary in response to an instruction from the scenario driving unit (101-1). The voice recognition unit (101-7) also issues a control signal for starting and stopping the voice recognition process in response to an instruction from the scenario driving unit (101-1).
In the present embodiment, these are transmitted to the agent OS unit (101-8) and from the external I / F unit (101-9) to the voice recognition processing unit in the overall processing unit (102).
The voice recognition processing unit transmits an instruction to start and stop the voice recognition process to the voice processor (1-8), and the voice processor (1-8) receives an analog signal input from the voice input device (4). Is to be converted into a digital audio input signal.
When a voice input signal is input, the voice recognition processing unit acquires the digital voice input signal, and based on that, the voice recognition processing unit performs a recognition process, and the result is the reverse of the previous route. Is transmitted to the voice recognition unit (101-7). The speech recognition unit (101-7) notifies the scenario recognition unit (101-1) of the speech recognition result.
With the above configuration, voice recognition means for recognizing voice is formed.
[0052]
The agent OS unit (101-8) acquires a change in the situation (including addition of a scenario) such as time, place, and various inputs, manages the current situation, and sends a message to the situation change as necessary. Notify each processing unit by communication. The change in the situation is supplied from the overall processing unit (102) through the external I / F unit (101-9) or obtained through an inquiry.
The obtained information is obtained by fetching the detection results and the like by various status detection devices (6) from various input I / F units (1-10) and communication I / F units (1-11), and RAM (1-4). Is written on. Content input using the input device (5) is also supplied from the overall processing unit (102) through the external I / F unit (101-9), and the content is sent to each processing unit by message communication as necessary. Notice.
The agent OS unit (101-8) also has various other libraries, providing message communication for exchanging data among the processing units, providing the current time, and managing the memory. It provides memory necessary for each processing unit to perform processing, and provides data reading and writing functions from an external storage medium.
[0053]
Further, the agent OS unit (101-8) performs processing related to time and serves as a timer to notify the passage of a specific time. That is, the agent OS unit (101-8) functions as a time measuring unit, and measures the timer setting time set in each scene of the scenario. The timer setting time to start timing is notified from the scenario driving unit (101-1), and when the timer setting time elapses, the agent OS unit (101-8) indicates that the setting time has elapsed. 101-1).
[0054]
The agent OS unit (101-8) periodically issues an autonomous activation determination instruction to the autonomous activation determination unit (101-2). This periodic autonomous activation determination instruction is issued every predetermined time. The predetermined time may be as short as possible within a range in which the autonomous activation determination process periodically processed by the autonomous activation determination instruction issued periodically does not affect other processes of the entire central processing unit (1). Desirably, the interval is set to 5 seconds in this embodiment. The predetermined time may be arbitrarily changed by the user by an operation from the input device (5).
Further, the agent OS unit (101-8) issues an autonomous activation determination instruction to the autonomous activation determination unit (101-2) even when it is determined that the change in the situation is large. Cases where the change in the situation is considered to be large include, for example, when the driver has set a destination, the vehicle has been removed from the guide route, scenario data has been added, scenario data has been deleted, etc. Yes, corresponding items are defined in advance and stored in the RAM (1-4) or the like.
[0055]
Further, the agent OS unit (101-8) uses the situation determination function to determine whether the vehicle is running in the vehicle speed sensor (6-11) (when vehicle speed v ≠ 0) or stopped (when vehicle speed v = 0). Is periodically checked (for example, every 5 seconds), the scenario drive unit (when the previous determination time is 0 km / h and the current determination time is not 0 km / h) 101-1) is notified of the start of travel.
[0056]
The external I / F unit (101-9) is an interface between the agent processing unit (101) and the overall processing unit (102) (the overall processing unit (102) is an agent I / F as a receiver). Part exists). Acquisition of various types of information such as navigation information used in agent processing, and transmission of control signals from the agent processing unit to the entire processing unit control navigation.
Drawing instructions to the image processor (1-6) and audio output to the audio processor (1-8), which are performed by notifying the overall processing unit (102) through the external I / F unit (101-9) The agent processing unit has a processing unit that gives instructions to other processors and the I / F unit, such as instructions and acquisition of input information from the input device I / F unit (1-9). You may make it.
[0057]
An overall processing unit (102) in FIG. 4 is an application unit (not shown) that includes a map drawing unit, a route search unit, a route guidance unit, a current position calculation unit, a destination setting operation control unit, etc., and performs navigation signal output processing, In addition, it is configured by an OS unit or the like such as a program for performing display output control necessary for map display and route guidance and voice output control necessary for voice guidance.
The overall processing unit (102) also includes a speech recognition processing unit that performs speech recognition and a processing unit that converts text data into speech data. When the browser function or the mail function is added, the processing unit is added to the overall processing unit (102).
Alternatively, the agent processing unit (101) may have a browser function or a mail function.
In this embodiment, an extended function for executing agent processing is added to the overall processing unit (102). This extended function includes, for example, means for detecting the type of road that is running (highway, national road, etc.) from the road data in the navigation data and the current position, and the curve condition of the road that is running (before the curve, Means for detecting (end of curve) and the like exist.
[0058]
Next, the data configuration (including the program) stored in the external storage medium (10-2) will be described.
FIG. 6 conceptually shows information collected in the external storage medium (10-2).
The external storage medium (10-2) includes a program (10-2-1) for realizing various agent functions and navigation functions according to the present embodiment, and agent data (10-2-3) and navigation as necessary various data. Data (10-2-2) is stored.
The navigation data (10-2-2) is composed of various data necessary for map drawing, route search, route guidance, destination setting operation, and the like. Examples include map data required for route guidance (road map, house map, building shape map, etc.), intersection data, node data, road data, photo data, registration point data, destination point data, guide road data, details The destination data, destination reading data, telephone number data, address data, and other data files are stored and all data necessary for the navigation device is stored. Moreover, communication area data etc. are also memorize | stored as needed.
[0059]
The drawn map data is drawn map data drawn on the display device (2). The drawn map data is a hierarchical map, for example, a map for each layer such as Japan, Kanto region, Tokyo, Kanda from the highest layer. Data is stored. Map data is attached to each level of map data.
The intersection data includes an intersection number that identifies each intersection, an intersection name, intersection coordinates (latitude and longitude), a road number at which the intersection is a starting point or an ending point, and the presence or absence of a signal.
The node data is composed of information such as latitude and longitude specifying the coordinates of each point on each road. In other words, this data is data relating to one point on the road, and what connects nodes is called an arc, and a road is expressed by connecting each of a plurality of node rows with an arc.
Road data includes road numbers that identify each road, intersection numbers that are the start and end points, road numbers that have the same start and end points, road thickness, prohibition information such as entry prohibition, photo numbers of photo data that will be described later, etc. It consists of
In the photo data, a photograph of a characteristic landscape or the like seen at each intersection or straight ahead exists in a digital, analog, or negative film format corresponding to the photograph number.
[0060]
The communication area data is displayed on the display device (2) where the mobile phone, which is the communication device (9) connected to the communication control device (8) or used without being connected, can communicate from within the vehicle, There is communication area data for each type of mobile phone in order to use the area where communication is possible when searching for a route.
Agent data (10-2-3) includes mental model data (10-2-3-1), recommended proposal data (10-2-3-3), and knowledge data (10-2-3-2). ), Scenario data (10-2-3-4), character data (10-2-3-5), driver information data (10-2-3-6), learning item data and response data (10-2-3-7).
[0061]
The mental model data (10-2-3-1) is composed of five parameters (friendship level, obedience level, confidence level, morality, spirit level) representing the character's psychological state and mental model change condition data. . The mental model change condition data describes conditions for increasing / decreasing the index of each parameter, changing parameters, and the degree of change. According to this table, each parameter increases or decreases to indicate the psychological state of the character.
The recommended proposal data (10-2-3-3) is used when a restaurant or the like is proposed as recommended information to the driver. This recommended proposal data (10-2-3-3) is composed of a restaurant name, reading data, restaurant genre data, atmosphere data, fee data, point data, etc., and driver information data (10-2-3). Based on 3-6) and knowledge data (10-2-3-2), a restaurant recommended for the driver is searched and proposed.
In addition to restaurants, there are sightseeing spots and rest areas.
Knowledge data (10-2-3-2) is based on statistical data based on age and gender preference, selection tendency based on the presence or absence of passengers, selection tendency including local specialties, time and time This is a data conversion of the selection tendency. There are various selection trends such as a selection tendency of restaurants, a selection tendency of sightseeing spots, a selection tendency of rest places, and so on.
[0062]
Scenario data (10-2-3-4) is provided by the agent autonomously in any situation when the agent communicates with the driver. And a running execution condition that stipulates how to handle the execution of the scenario with respect to the running of the vehicle.
In the scenario data (10-2-3-4), image data to be displayed separately from the character (image data to be displayed on a scene display screen 54 (see FIG. 12) described later) is also stored.
[0063]
FIG. 7 shows the configuration of actual machine format scenario data.
The scenario data (10-2-3-4) is composed of a plurality of scenarios, and is composed of data for managing them and data indicating the contents of each scenario.
The management data for the acquisition scenario includes information such as the expiry date of this scenario data, date of creation, creator, etc., and data for overall management of each scenario recorded in the scenario data (scenario number, Scenario name, priority (priority)), autonomous activation condition data of the scenario recorded in the scenario file, and the driver manually using the input device (5) in the scenario recorded in the scenario file Lists scenario list data that can be started.
[0064]
The data indicating the contents of each scenario includes management data for managing each scenario and scene data indicating the contents of individual scenes constituting the scenario.
The data for managing each scenario ("Management data for this scenario") includes information on the scenario, text information for creating a speech recognition dictionary used in this scenario, and the scene data that make up the scenario as a whole. The data for management is written.
[0065]
The scenario management data stores data for determining whether or not to perform standby processing (second determination criterion). The standby process is a process for developing a standby scene that stands by in a standby state in the case of automatic activation.
The following four types of standby process determination data are defined.
(A) Automatic determination by the agent device.
(B) Determine whether or not to perform standby processing according to the judgment conditions set manually (set by the scenario editor).
(C) Use. (In this case, the scenario that satisfies the automatic startup condition is the target of standby processing.)
(D) Not used. (In this case, the scenario that satisfies the automatic start condition is executed without performing standby processing.)
The determination data for the standby process is set to (a) as a default value when (b) to (d) are not particularly set by the scenario creator. Of course, when the scenario creator selects (a), (a) is set.
The agent device determines whether or not to perform the scenario processing based on the determination data set in the scenario management data and the settings on the agent device side (automatic determination, use, not use). .
[0066]
The scene data includes data for managing a scene, screen configuration data, character action data, various processing data, and development management data.
In the data for managing a scene, information on the scene and data for managing each data section belonging to the scene data are described.
In the screen configuration data, data (size, display position, etc.) of each part of the screen configuration displayed on the display device (2) in this scene is described.
The character action data includes instruction data for actions performed by the character in this scene and instruction data related to the content to be spoken. In the instruction data of the action, the instruction data is written in one of two types, that is, the scenario data that is directly instructed by the expression means of each character and the instruction that is instructed by the character to be expressed.
[0067]
Various processing data includes information for controlling (processing) external devices in this scene, information for controlling navigation, instructions for executing other scenarios, timer setting information, and mental models that indicate character psychology. Information for changing the parameters is described.
The timer setting information includes a timer setting time and timer setting conditions as information for setting the scene time. The timer setting condition is a condition that defines whether or not to set the timer according to the state of the vehicle. In the present embodiment, (a) the vehicle is always set during traveling and the vehicle is stopped, (b) the vehicle is set only during traveling, ( There are cases of c) setting only when the vehicle is stopped, and (d) not always setting the timer (in this case, the timer setting time is not specified).
[0068]
The external device includes each device connected to the communication I / F unit (1-11), for example, a communication control device. The contents to be controlled include making a call to a specific telephone number and disconnecting the call.
The navigation control content includes, for example, setting this point as a destination.
As an instruction to change the parameters of the mental model, there is one to decrease the friendship degree by one.
[0069]
The development management data describes information such as whether to end the scenario, what is the next scene, or nothing to be developed when an event occurs in this scene.
The event here refers to some action defined for proceeding to the next development of the scene. For example, when the character's dialogue has ended, the set time has elapsed, the driver has selected some answer to the question asked in this scene (for example, “Yes” to the question “Yes” or “No”) ), Etc. exist.
In addition to this event, the development can be changed according to the learning results.
For example, it can be used when the driver selects “Yes” for the question and the total number of uses is less than 10.
In addition to the learning results, the development can also be changed using the date and time, the mental state of the character using the mental model, driver information, and the like.
[0070]
FIG. 8 conceptually shows the contents of character data.
Character data (10-2-3-5) stores data of a plurality of characters, and can be selected from the input device (5) or the like according to the driver's preference.
The character data (10-2-3-5) includes
[0071]
The
An image code is attached to each of these still images and moving images.
The
The character (agent appearance) used as the
In addition, the age of the agent does not need to be constant. The learning function of the agent is that it is initially a child's appearance and grows over time, changing its appearance (changing to the appearance of an adult, You may make it change to the appearance of
[0072]
The
The voice data of the conversation by the agent also stores voice data for the agent to ask questions for collecting driver information. As an example, "Hello", "I Regards", "And I", and the like are stored.
Each of these voices is accompanied by a voice code.
[0073]
The character
The scenario data (10-2-3-4) defines the contents of each scene by a common display state independent of the character type.
For this reason, the character
[0074]
FIG. 9 conceptually shows the contents of the character
In FIG. 9, the state instruction number defined in each scene data, the corresponding unified display state, and the action content for each character are displayed, but the actual character
By using the conversion table shown in FIG. 9, a common motion instruction (designation of display state) can be performed even if the motion is different depending on the character for the state to be expressed.
As shown in FIG. 9, for example, in the case of Japanese sunshine, the instruction to “greet the meeting” is defined as “bow”, and the instruction “listen to the story” It applies to the ear.
If this is a Western lady, the instruction to “greet the encounter” is defined as “raise the right hand to the side of the face”. In the case of the robot i-ball, the instruction “greet the encounter” The laser scan moves up and down on the main screen. "
As described above, the agent device can perform individual actions corresponding to the selected character by changing the character selection for the same scenario.
[0075]
FIG. 10 conceptually shows the driver information data.
Driver information data (10-2-3-6) is information relating to the driver, and is used to make the agent's communication more suited to the driver's wishes, hobbies, and preferences.
The driver information data (10-2-3-6) includes a driver ID (identification information), name, age, sex, marriage (married or unmarried), child, for storing information for each driver. The driver basic data including the presence / absence, the number of persons, and the age, and hobby preference data are stored.
The hobby preference data is composed of major items such as sports, eating and drinking, and travel, and detailed items included in the concepts of these major items. For example, data such as whether or not to like baseball, whether or not to like soccer, whether or not to like golf is stored in the large-scale sports.
In this embodiment, the priority order is determined for each of these driver information, and the agent asks the driver questions in descending order of priority among the driver information not yet stored. . The driver basic data has a higher priority than the hobby preference data.
[0076]
Driver information data (10-2-3-6) is created for each driver when there are a plurality of drivers who drive the vehicle. Then, the corresponding driver information is used by specifying the driver.
For example, when the power is turned on, an agent common to all the drivers appears to inquire the driver and specify the driver from the answer. In response to the driver's inquiry, a button for selecting the name of the driver who has already entered and other buttons are displayed on the display device, and a voice prompting selection is output. When other is selected, a new user registration screen is displayed.
Specific to the driver, such as weight, fixed position of the driver's seat (seat position, front / rear position, backrest angle), angle of the rearview mirror, gaze height, digitized face photo, voice feature parameter ID card, etc. This information may be stored in at least one driver information data (10-2-3-6), and the driver may be specified from these information.
[0077]
The learning item data and response data (10-2-3-7) in FIG. 6 are data for storing results learned by the agent by the driver's selection and response in communication with the agent.
Therefore, the learning item data and the response data (10-2-3-7) are stored / updated (learned) for each driver.
For example, as the usage status of the scenario, the previous selection result, the date and time of last use, the total number of times of use, and the like are stored.
In accordance with this learning content, for example, in a scenario in which greetings are made every time the navigation power is turned on, if it is within 5 minutes from the previous use, “I met you just before”, or conversely, for more than a month When it is open, it responds to “Long time no see”.
[0078]
It also stores the answer (including the answer of no answer) as a result of asking which team the fan is. Depending on the result of the response, the response can be changed such that when no answer is given, the question of which team is a fan again, or when a specific team is stored, a conversation about the team is held.
As a method for determining no response, in this embodiment, it is determined that there is no response when there is no response within the timer set time and a timer notification (set time has elapsed).
The timer setting time is defined in the timer setting information as the scene data of the scenario data.
[0079]
Next, the scenario execution operation by the agent device configured as described above will be described.
FIG. 11 shows a communication setting screen for performing various communication settings in the agent device. The communication setting screen is displayed on the display device (2).
In this communication setting screen, for example, as shown in the figure, item names for setting whether or not to use agent processing, settings related to standby processing, settings related to character display, and settings related to speech balloon display And the setting button is displayed. Although not shown, the screen is scrolled by a scroll button displayed on the left side, and other settings related to background display, settings related to sound change, and other various setting screens are displayed. .
As shown in the figure, the standby process can be set by selecting from three types of automatic determination, use, and non-use. The agent device performs standby processing (scenario execution notification and confirmation of whether execution is possible) using the setting selected by the driver as a first criterion.
[0080]
When automatic determination is selected as the standby process setting, it is determined whether or not the standby process is performed according to the scenario data setting (second determination criterion).
When automatic determination is set for both the agent device and the scenario data (both the first determination criterion and the second determination criterion), the agent device enters standby according to a predetermined condition (automatic determination criterion for standby processing). A determination is made as to whether or not processing is to be performed. In the case of the present embodiment, the agent device is set not to perform standby processing when at least one of the following (a) to (d) is satisfied.
(A) When the shift lever position is parking (A / T car)
(B) When the side brake is ON
(C) When the engine is not running
(D) When the genre of the scenario is a genre set to have no standby (for example, in the case of a scenario related to attention / warning or a scenario related to incoming mail, it is set to no standby)
[0081]
In this embodiment, when “use” is set as the standby process setting, the standby process is executed regardless of the setting contents of the scenario data.
Further, when “not used” is set as the standby process setting, the scene process is executed without executing the standby process regardless of the setting contents of the scenario data.
Note that there are settings by the agent device and settings by scenario data as the settings for “use” and “do not use” scenario processing. In this embodiment, priority is given to the agent device settings. Conversely, the scenario data setting may be prioritized.
[0082]
The
In FIG. 11, when the “YES” button for character display is selected by the user, the names of the characters stored in the character data (10-2-3-5) are displayed in a selectable list (characters). Selection means). The user selects a favorite character from the list display. The selection is made by selecting the corresponding character name column or by inputting the character name by voice.
When a character is selected, data specifying the character selected by the user is transmitted from the overall processing unit (102) via the external I / F (101-9) and managed by the agent OS unit (101-8). Is done.
In the present embodiment, “Eri Hinata” is set as a default value, and when there is no character data selected by the user, the default character is managed by the agent OS unit (101-8) (setting means). ).
[0083]
FIG. 12 shows an example of a scene screen displayed on the display device (2) based on the scenario scene data.
The scene screen shown in FIG. 12 is a scene screen (scene number 0x0001) of a question scenario for asking a question from the driver in order to acquire a hobby preference (meal) that is uninputted driver information.
As shown in FIG. 12, the scene screen includes an
The agent displayed on the
[0084]
When the scenario driving unit (101-1) of the agent processing unit (101) activates the hobby preference (meal) question scenario, it first converts the screen configuration data of the scene specified by the scene header into the scenario data + image (10−). 2-3-4), the scene screen is displayed on the display device (2), and the question voice corresponding to the question sentence is output from the voice output device (3).
In the question scenario scene screen of FIG. 12A, “Which genre do you like?” Is displayed on the
In addition, on the
[0085]
A plurality of scenes corresponding to the driver's answer are branched in the question scene for the driver. The branching of each scene and the identification of the subsequent scene are determined according to the driver's answer according to the development management data of each scene.
That is, when the driver selects the answer selection button “Japanese food” on the scene screen (scene number 0x0001) in FIG. 12A, the scenario drive unit (101-1) branches to the scene screen (b) corresponding to the answer. Is displayed. In this scene screen (b), the selected “Japanese food” is displayed on the
In this way, each scene image and sound specified in the scenario are sequentially displayed and output until the last scene, thereby completing the action of the agent in one scenario.
[0086]
FIG. 13 shows the transition of the scene screen according to the guidance scenario transmitted from the inn to the prospective guest for each scene.
This guidance scenario is composed of scene screens (a) to (f) among a plurality of scene screens.
The next scene screen is branched into 0x0004 and 0x0006 according to the selection result of the user with respect to the scene screen (c). Although not branched in the example of FIG. 13, the scene screen may be branched so that dishes corresponding to the selected dish type are displayed on the
In this guidance scenario, a standby scene (s) displayed in the standby process is set.
[0087]
Hereinafter, each action of the agent according to the reservation scenario will be described with reference to FIG.
The agent operations and screen displays described below corresponding to each scene screen are all displayed according to data, images, and instructions stored in the scenario data of the external scenario. Further, although described as an agent operation, the scenario driving unit (101-1) of the agent processing unit (101) actually performs the processing.
[0088]
If it is determined that the standby process is not used in the scenario start process described later, the reservation scenario is activated and the scene with the number 0x0001 is developed.
On the other hand, when it is determined that the standby process is used, the standby scene (s) in FIG. 13 is developed.
In the example displayed in FIG. 13, a screen immediately before performing the standby process, that is, a map screen for route guidance by the navigation function is displayed. A small agent is displayed on the display screen (2) having a touch panel function for performing a predetermined operation command by pressing the screen in the upper right on the screen immediately before this. (Character display means)
Then, a notification of executing the scenario is made, such as “If you touch me, I will guide you to the reserved inn” and ask for permission to execute (confirmation of execution). If the voice data of the agent is defined in the scenario data, the voice is output.
Thus, by confirming the execution of the scenario (screen element transition body), the execution confirmation means of the present invention is formed.
[0089]
Then, when an OK intention display by the driver is detected as an event according to the prompt for permission to execute, normal scenarios are sequentially developed from the first scene. When a character displayed on a screen having a touch panel function is touched (pressed), or when an affirmative voice is recognized (designating means), it is determined that an OK display has been made. If any screen other than the character display portion is touched, it is determined that the intention display is NO.
On the other hand, in the standby scene, after the execution notification and the confirmation sound are output, when the operation of the device such as the navigation and the fixed time elapses without displaying the OK intention, the execution of the scenario is terminated by the timer notification. .
As described above, when the displayed character is designated, the stored control content is executed. When the displayed character is not designated, the control content is not executed, thereby forming the execution condition means of the present invention.
[0090]
When an OK indication is displayed in the standby scene, or when the standby process is not used, the reservation scenario is activated.
That is, first, the scene screen with the number 0x0001 is displayed on the display device (2). In this scene, the agent of the character managed by the agent OS unit (101-8) appears on the
The greeting by voice is performed on behalf of the inn by the agent, but it is expressed that the inn is a greeting from the inn by displaying a photo image of the general of the inn on the
The instruction for the action of the agent follows the instruction stored in the character action instruction data.
When the greeting by the agent ends, the scene transitions to the next scene 0x002.
[0091]
In the next scene 0x0002, an image of an open-air bath is displayed on the
[0092]
When the agent's story ends, the scene transitions to the next scene 0x0003, and an image of today's meal (an image of kaiseki cuisine) is displayed on the
It is assumed that a timer setting time and a timer setting condition “set only during running” are defined in the scene data of scene 0x0003. In this case, counting by a timer is started at the start of the scene on condition that the vehicle is running. Whether or not the vehicle is traveling is determined to be stopped when the vehicle speed sensor (6-11) or the distance sensor (6-1-5) detects the vehicle speed v = 0, and the vehicle
[0093]
If the user selects “Yes” as an answer to the question as to whether or not to change the displayed dish, the process branches to the scene 0x0004, and if “No” is selected, the process branches to the scene 0x0006.
On the other hand, if the user gives a timer notification (elapsed set time) without answering by voice or answering by selecting a selection button displayed on the screen within the timer set time, it is defined by the scene data of scene 0x0003. The scenario is terminated according to the transition condition at the time of timer notification.
[0094]
In this way, even when there is no answer from the user, it is determined that no answer has been selected, and the process proceeds to the next scene (end in the example of FIG. 13) using no answer as a transition condition. It is possible to make the communication with the character converted closer to the communication between humans.
[0095]
In the scene 0x0004, a selectable list other than kaiseki cuisine is displayed on the
When the user selects any one, the scene transitions to the scene 0x0005.
[0096]
In the scene 0x0005, a list of the number of people to be changed from kaiseki cuisine is displayed on the
When the user selects any one, the scene transitions to the scene 0x0006.
[0097]
In scene 0x0006, the inn appearance photograph image is displayed on the
Then, as a result of the selection made by the user, the agent transmits the response result regarding the meal to the third party (inn) that has transmitted the external scenario being executed via the communication control unit in the case of the guidance scenario of FIG. .
In this way, when it is desired to acquire information about the user, the creator of the external scenario creates a scenario in which a scene of a question from which information to be acquired can be obtained is provided in the scenario and the response is transmitted by e-mail. To do. If it is necessary to send an answer, the e-mail address of the creator is included in the scenario data.
When the agent's story in the last scene (scene 0x0006 in FIG. 13) ends, the scenario ends.
[0098]
In this way, the scenario driving unit (101-1) sequentially displays and outputs each scene image and sound specified in the scenario up to the last scene.
When the activated scenario ends, the scenario driving unit (101-1) determines whether there is a request for activation of another scenario.
[0099]
Next, a description will be given of a process for determining whether or not to autonomously start various scenarios executed by the scenario driving unit (101-1).
FIG. 14 shows a scenario autonomous activation determination process by the autonomous activation determination unit.
In this autonomous activation determination process, the autonomous activation determination unit (101-2) receives information on the position and date in order to reduce the load on the apparatus, and the activation condition approximated to the received position and date is set as the scenario data. A process of reading (extracting means) from the held external storage device (10) and temporarily storing it in the RAM (1-4) is performed.
That is, the autonomous activation determination unit (101-2) acquires the current status information from the agent OS unit (101-8) via the agent I / F so as to acquire the current status information. Is acquired (step 11).
Then, the autonomous activation determination unit (101-2) determines whether or not the acquired status information such as position and time has a predetermined unit change (step 12).
As a result of the determination, when it is determined that there is a change in a predetermined unit (
Then, the autonomous activation determination unit (101-2) performs a condition determination process on whether or not the status information satisfies the read autonomous activation condition (step 14).
If it is determined in
[0100]
FIG. 15 shows the processing contents of the condition determination processing (step 14).
The autonomous activation determination unit (101-2) acquires the first autonomous activation condition from the RAM (1-4) (step 21), and the situation based on the various situation information obtained in
When the autonomous activation condition is satisfied (step 22; Y), the autonomous activation determining unit (101-2) sends a scenario execution request message corresponding to the autonomous activation condition to the scenario driving unit (101-1). (Step 23).
[0101]
Next, the autonomous activation determining unit (101-2) determines whether or not the next autonomous activation condition is in the scenario data (10-2-3-4) (step 24), and if there is (; Y), The next autonomous activation condition is acquired (step 25), and thereafter, the processes in steps 22 to 25 are repeated until the determination for all autonomous activation conditions is completed.
In step 24, when the next autonomous activation condition does not exist (; N), the autonomous activation determining unit (101-2) ends the autonomous activation determining process.
[0102]
Next, scenario execution processing when the scenario drive unit (101-1) receives a scenario execution request from the autonomous activation determination unit (101-2) will be described. In addition, the process of the autonomous starting determination part described below comprises a condition determination means.
FIG. 16 is a flowchart showing the flow of scenario execution processing. FIG. 16 shows a series of typical operations performed by each unit of the agent processing unit (101) and the overall processing unit (102) when executing a scenario. Each unit performs independent processing. To do. That is, the independent process of each part is continued, and the typical flow shown in FIG. 16 is obtained.
Specifically, each unit of the agent processing unit (101) and the entire processing unit (102) process the message when receiving the message, and wait for the next message when the processing is completed.
[0103]
When the scenario drive unit (101-1) receives a scenario execution request from the autonomous activation determination unit (101-2), it performs agent start preparation processing by securing and initializing work memory (step 505-1).
Then, the scenario driving unit (101-1) confirms whether the scenario execution request is a manual activation or an automatic activation (step 505-2). Manual activation is when the user selects scenario activation from the menu of the display device (2), and automatic activation is when the scenario autonomous activation condition is satisfied.
If the scenario execution request is manual activation, menu scenario request processing is performed (step 505-3). Thereafter, the process proceeds to a scenario data reading process (step 505-4).
[0104]
On the other hand, in the case of automatic activation, there is a scenario that is requested to be executed by satisfying the autonomous activation condition, so that the process directly proceeds to the scenario data reading process (step 505-4).
Next, the scenario drive unit (101-1) reads scenario data to be executed into the RAM (1-4) (step 505-4). When reading scenario data, if there are a plurality of scenarios to be executed (when a plurality of autonomous activation conditions are satisfied, a manual activation request and an automatic activation are duplicated, etc.), a scenario driver (101 -1) reads the scenario data having the highest priority by judging the priority order defined for each scenario. If the priorities are the same, it is determined that the priorities are higher in the order in which the execution requests are received from the autonomous activation determination unit (101-2). The priority order of the scenario is confirmed from the management data of the recorded scenario of the scenario data (10-2-3-4).
[0105]
When the reading of the scenario data is completed, the scenario driver (101-1) next performs a scenario start process (step 505-5).
In the scenario start process, the scenario driving unit (101-1) first performs an initialization process for starting a scenario.
In addition, the scenario driving unit (101-1) determines whether or not to perform standby processing as will be described later in the scenario start processing.
[0106]
After the scenario start process (step 505-5), the scenario drive unit (101-1) executes a scene process for processing character drawing and sound according to the contents of the scenes constituting the scenario (step 505-6). ). Details of the scene processing will be described later with reference to FIG.
When the scene processing is completed, the scenario driving unit (101-1) checks whether the scenario is finished (step 505-7).
In the case of scenario end, the scenario drive unit (101-1) performs scenario end processing (505-8). In this scenario end process, the learning unit (101-3) obtains an end ID indicating how to end and stores it in response data (10-2-3-7).
If the scenario is not finished (if the scenario still continues), the process returns to step (505-6) until the end of the scenario, and the next scene, the next scene,... Are repeated.
[0107]
After the scenario ending process, the scenario driving unit (101-1) confirms whether or not there is another scenario execution request (step 505-9). Returning to the data reading process (step 505-4), the same process is executed.
On the other hand, when there is no other scenario to be executed, the scenario driving unit (101-1) executes an agent termination process (505-10). That is, the agent OS unit (101-8) is notified that the execution processing of all requested scenarios has been completed.
Thereafter, the screen displayed on the display device (2) returns to the normal navigation screen, but the subsequent processing is transferred to the overall processing unit (102) via the agent I / F.
[0108]
FIG. 17 is a flowchart showing the flow of the scenario start process (step 505-5).
The scenario driving unit (101-1) determines whether the scenario is activated by manual activation or automatic activation (step 505-5-1). If it is by manual activation, it is activated by the driver. Since it can be determined that the communication is ready, the scene number 1 (first scene) based on the normal scene, not the standby scene, is determined (step 505-5-8).
[0109]
When the scenario activation is an automatic activation due to the automatic activation condition being satisfied, the scenario driving unit (101-1) determines that the scenario has urgency from the scenario priority (priority) set in the scenario. Judge whether there is.
That is, in the scenario driving unit (101-1), the relationship between the scenario priority value stored in the scenario data and the level is determined for the following case in the present embodiment. Note that this relationship may be set and changed.
Value is 3 or less: Priority is “Low”
Value 4-6: Priority is “slightly low”
Value 7-9: Priority is "Normal"
Value 10-12: Priority is “slightly high”
Value is 13 or more: Priority is “high”
[0110]
The determination of whether or not to execute the standby scene based on the urgency is divided into the following six stages. The second stage is set as an initial setting, and the user can change this setting. It has become.
Stage 1: No urgency at all
Stage 2: If the priority is “high”, there is urgency
Stage 3: Urgent when priority is above “slightly high”
Stage 4: Urgent when priority is above “normal”
Stage 5: Urgent when priority is above “slightly lower”
Stage 6: Urgent when priority is above “low”
[0111]
The scenario driving unit (101-1) determines urgency from which stage is set and priority.
For example, when the second level of urgency that is the initial setting is set, the scenario driver (101-1) determines that there is urgency for a scenario whose priority is set to 13 or higher in the scenario editor. Without executing the standby scene, the scenes of the first scene number are immediately and sequentially developed (step 505-5-8).
As a result, the scenario creator sets the standby scene to a high priority (13 or more in the above example) that seems to be highly urgent, such as a warning for a curve or an overspeed warning. It is executed immediately without intervention.
[0112]
When it is determined that the urgency is high, the scenario driving unit (101-1) notifies the execution of the scenario and then confirms the execution from the
Thus, the priority determination means of the present invention is formed by determining the priority order (priority) for executing the scenario (screen element transition body).
[0113]
When the scenario driving unit (101-1) determines that there is no urgency from the scenario priority value, the scenario driving unit (101-1) determines the setting of standby processing by the agent device set on the communication setting screen (see FIG. 11) (step 505). -5-3).
The scenario driving unit (101-1) determines a standby scene when “use” is set for standby on the communication setting screen (step 505-1-6). On the other hand, if “not used” is set, the process proceeds to (step 505-5-8) and the scenario is executed from the first scene.
[0114]
When “automatic determination” of standby is set on the communication setting screen, the scenario driving unit (101-1) next determines the setting based on the scenario data (step 505-5-4).
Then, when “use” is set for standby in the scenario data, a standby scene is determined (step 505-5-6). On the other hand, if “not used” is set, the process proceeds to (step 505-5-8) and the scenario is executed from the first scene.
[0115]
When “automatically judge” is set in the scenario data, the scenario driving unit (101-1) constitutes an automatic judgment standard (part of the first judgment standard) for standby processing defined by the agent device. ) To determine whether it is a standby scene or the first scenario (step 505-5-5).
[0116]
In the present embodiment, the automatic determination criteria for standby processing are defined as follows. That is, the following criteria (a) to (d) are defined, and the agent device is set not to perform the standby process when at least one of the criteria is satisfied.
(A) When the shift lever position is parking (A / T car)
(B) When the side brake is ON
(C) When the engine is not running
(D) When the genre of the scenario is a genre set to have no standby (for example, in the case of a scenario related to attention / warning or a scenario related to incoming mail, it is set to no standby)
In addition, the said reference | standard (a)-(c) corresponds to the vehicle state of a claim, (d) corresponds to the setting of navigation. (D) will be described in detail later with reference to FIG.
[0117]
FIG. 18 shows a setting example for determining whether or not to use a standby scene according to a scenario genre.
As shown in FIG. 18, genres with a circle in the “No standby” column are genres that are determined by the scenario drive unit (101-1) when the standby scene is not used. This condition determination is also described in the scenario data “scenario management data” (see FIG. 7).
[0118]
The scenario driving unit (101-1) determines a standby scene when all of the automatic determination criteria (a) to (d) are not satisfied (step 505-5-6). If it is satisfied, the first scene is determined (step 505-5-8).
[0119]
When “automatically judge” is set in the scenario data, the scenario driving unit (101-1) checks the manually set (manually set) standby scene use conditions (described later) from the scenario data, and manually sets them. It is determined from the determined conditions whether standby is necessary (step 505-5-7).
Then, the scenario driving unit (101-1) determines the standby scene if the manually set standby scene use condition is satisfied (step 505-5-6), and if not satisfied, the first scene is selected. Determine (step 505-5-8). As in the process of FIG. 17 described above, by determining whether it is necessary to confirm the execution of the scenario (screen element transition body), necessity determination means of the present invention is formed.
[0120]
FIG. 19 is a flowchart showing the flow of scene processing (step 505-6).
The scenario driver (101-1) confirms the type of scene to be started in the scene processing (step 505-6-1), and in the case of a normal scene or a standby scene, scene data analysis processing (step 505-). 6-2), in the case of a clone scene, the process proceeds to a process for requesting various processes (step 505-6-5). In the case of a condition addition scene, the process proceeds to a development determination process (step 505-6-12). move on.
Here, the clone scene is a case where the same screen as the original scene (scene that ended immediately before) n is displayed depending on how a certain scene n ends, for example, when input is not performed within a set time. This is a scene in the case where a voice prompting input is output with the same screen.
In addition, a condition addition scene is a scene that is provided in front of the scene in order to make a transition to a specific scene and start, and a screen is not displayed and a condition judgment for screen transition (branch) is performed. It is.
[0121]
When the scene to be started is a normal scene or a standby scene, the scenario driving unit (101-1) stores the data of the scene to be started in the RAM (1-4) in which the scenario data read in step 504 is placed. ), The screen configuration to be displayed, the action instruction of the character, etc. are analyzed (step 505-6-2).
If the speech recognition dictionary exists as a result of the analysis, the scenario driving unit (101-1) requests the speech recognition unit (101-7) to set (initialize) the speech recognition dictionary specified in the scene data. Notification is made (step 505-6-3).
In the case of a standby scene, an affirmative or negative speech recognition dictionary is set.
[0122]
Next, the scenario drive unit (101-1) has a screen configuration that determines each part of the screen to be drawn as a process for requesting the drawing / voice output unit (101-5) to draw the screen. Data creation processing is performed (505-6-4).
In the screen data creation process of the screen configuration, for example, among the scene screens shown in FIG. 12, items related to the character such as the
[0123]
The scenario drive unit (101-1) instructs various processes (step 505-6-5).
The various processing instructions include processing to a navigation system, an externally connected device, and the like, when the timer is set, time measurement request processing, AMM parameter change processing, and the like.
[0124]
Next, the scenario driving unit (101-1) determines the character action of the scene and the speech such as dialogue, and makes a request for drawing / sound output of the determined character to the drawing / sound output unit. Accordingly, the drawing voice output unit performs character drawing / voice output processing (step 505-6-6).
The creation of the character drawing data by the scenario drive unit (101-1) is the same as the drawing data creation processing of the screen configuration shown in FIG. 8 except that the scenario part to be created is different from the screen configuration part or the character-related part. To be done. Further, in the case of creating character drawing data, in drawing data creation (corresponding to steps 505-6-6-4), the voice of the character corresponding to the dialogue displayed on the
When creating the character drawing data (including voice data), the scenario driving unit (101-1) makes a character drawing request based on the created character drawing data to the drawing / voice output unit (101-5).
[0125]
The drawing / sound output unit (101-5) performs character drawing / sound output processing in accordance with a drawing request from the scenario driving unit (101-1).
By the character drawing / speech output process, a scene is developed in which the character bows, points in the right or left direction by hand, or talks to the user. This scene corresponds to the contents of both the screen configuration drawing request (step 505-5-4-6) and the character drawing request (step 505-6-5) from the scenario drive unit (101-1). When the vehicle is stopped, all items constituting the scene screen are displayed as illustrated in FIG. 12, and when traveling, some items constituting the scene screen are limited and displayed.
In the case of a standby scene, a character smaller than normal (FIG. 13A) as illustrated in FIG. 13S is displayed.
[0126]
FIG. 20 is a flowchart showing character drawing / sound output processing by the drawing / sound output unit (101-5).
When the drawing / sound output unit (101-5) receives a request for character movement instructions or drawing data from the scenario driving unit (101-1), the drawing / sound output unit (101-5) performs a movement instruction content analysis process (steps 505-6-6-1 to 505). -6-6-8), operation reproduction processing (step 505-6-6-9), and request end reply (step 505-6-6-10).
[0127]
In the action instruction content analysis process, the drawing / speech output unit (101-5) first determines whether or not it is a unified (common) action instruction regardless of the type of the received drawing instruction content character (step 505-6). -6-1) If the drawing instruction is instructed by the expression method specified for each character (direct instruction: see FIG. 37B), the process proceeds to the action reproduction process (step 505-6-6-9). To do.
[0128]
If the drawing instruction is a unified display form that does not depend on the character, the drawing / audio output unit (101-5) converts the instruction content.
In the conversion, first, the character type set at that time is acquired from the agent OS unit (101-8) (step 505-6-6-2).
Next, the drawing / sound output unit (101-5) displays a conversion table (character image selection data) 102353 in which a correspondence table of unified operation instructions (display state numbers) and operation instruction contents (image codes) for each character is written. (See FIG. 9) is acquired from the character data (10-2-3-5) of the external storage device (10).
Then, the drawing / audio output unit (101-5) acquires the action instruction content of the character to be operated based on the conversion table, that is, the image code of the character corresponding to the display state number of the scene data (step 505-6). -6-4).
[0129]
The drawing / sound output unit (101-5), when the acquired action instruction information is set to automatically select the action instruction of the character (step 505-6-6-5; Y), Further, the following processing is performed.
That is, the drawing / speech output unit (101-5) first sets automatic operation selection condition information such as time, place, driver information, agent mental model, etc., to each piece of information included in the agent processing unit such as the agent OS unit. Is acquired from the processing unit (101-8) that manages (step 505-6-6-6).
Next, automatic selection from agent data (10-2-3) that is already read into the RAM when the power is turned on, including selection condition information for uniform operation instructions such as time and character uniform operation instructions. A table is acquired (step 505-6-6-7).
Then, the drawing / sound output unit (101-5) acquires the unified operation instruction based on the selection condition information of the unified operation instruction such as time and the operation automatic selection table. Based on the unified operation instruction, the operation instruction is determined by referring to the conversion table 102353 acquired in step 505-6-6-3 to acquire the operation instruction content (image code) (step 505-6-6). 6-8).
[0130]
Next, the drawing / audio output unit (101-5) performs an operation reproduction process (step 505-6-6-9).
That is, the drawing / sound output unit (101-5) performs
If the action instruction request for the character is to synchronize and output the character speech to the character action, the voice data is acquired from the
[0131]
The image data acquired by the drawing / sound output unit (101-5) is transmitted to the agent OS unit (101-8), from the external I / F unit (101-9) to the overall processing unit (102), and the entire processing unit ( 102) through the processing unit for instructing the drawing processor (1-6) in the image processing unit (1) to the drawing processor (1-6) for image processing and display on the display device (2).
The acquired voice data is transmitted to the agent OS unit (101-8), from the external I / F unit (101-9) to the overall processing unit (102), and the voice processor (1- 8) is transmitted to the audio processor (1-8) through the processing unit for instructing to 8), and the audio output control signal is converted into an analog signal and output to the audio output device (3).
[0132]
Next, the drawing / sound output unit (101-5) completes the character drawing / sound output processing of the requested scene after performing all the motion processing of the character requested by the scenario driving unit (101-1). The scenario driver (101-1) is notified (step 505-6-6-10), and the process is terminated.
Further, if the content of the request is to synchronize and output the character speech, the scenario driver (101-1) is notified of the completion of the character speech output processing when all the speech output is completed.
[0133]
After the drawing / sound output unit (101-5) notifies the end of the character drawing / sound output processing of the scene, the scenario driving unit (101-1) is instructed to recognize the speech in the scene data being processed. (Step 505-6-7: FIG. 19). If there is no instruction, the process proceeds to Step 505-6-9, and if there is an instruction, voice recognition processing is performed (Step 505-6-6). 8).
[0134]
FIG. 21 is a flowchart showing the processing operation of the voice recognition processing (step 505-6-8).
After the character finishes speaking (when the end of voice output of the character is notified from the drawing / voice output unit (101-5) to the scenario drive unit (101-1)), the scenario drive unit (101-1) The recognition start control instruction (voice recognition instruction) set in the scenario data is confirmed (step 505-6-8-1).
If the voice recognition instruction is “always does not start automatic recognition” (does not start automatically), the process returns without performing the recognition process (shifts to step 505-6-9 in FIG. 19).
If the instruction for voice recognition is “always automatically recognize” (starts automatically), the process proceeds to step (505-6-8-3) to perform voice recognition (described later).
[0135]
On the other hand, when the instruction for voice recognition is “automatic” (depending on the result of the situation determination) (the in-vehicle device determines the start), a situation determination process is performed (step 505-6-8-2).
That is, the scenario drive unit (101-1) receives the detection data of the various situation detection devices (6) from the overall processing unit (102), and the situation of the running road, vehicle speed, vehicle speed change, steering angle, accelerator depression The driving load of the driver is determined from the amount, the brake depression amount, etc. (driving load determination means).
The status of the running road is determined by the navigation function of the overall processing unit (102), the current position of the detected vehicle, the running road width, the running position (whether it is an intersection, straight road, curve, meandering road, steep slope) Road), etc., and notified to the scenario driver (101-1).
In this embodiment, when driving on a curve or an intersection, when the vehicle speed change is large, when the amount of brake depression is large, it is determined that the driving load is high, and in other cases, it is determined that the driving load is low. The
It should be noted that points for determining the driving load for the curvature of the curve, the vehicle speed, the vehicle speed change, the road width, the intersection, etc. are converted into a score, and the driving load is determined based on whether or not the total value exceeds a predetermined value. It may be. That is, when the total value exceeds a predetermined position, it may be determined that the driving load is high, and when the total value is equal to or less than the predetermined value, it may be determined that the load is low.
In addition to the example of the driver's load, the scenario driving unit may make a determination such that the recognition is not automatically started when it is determined that the noise detected in the passenger compartment is large.
[0136]
The scenario driving unit (101-1) returns without starting voice recognition when the driver's load is high, and proceeds to Step 505-6-8-3 when the driver's load is low. The voice recognition unit (101-7) is instructed to start voice recognition.
[0137]
Note that the scenario driving unit (101-1) performs a process notified by a timer (elapsed set time) as a process independent of the voice recognition process shown in FIG.
That is, when the scenario driver (101-1) receives a timer notification indicating that the timer set time has elapsed from the agent OS unit (101-8), the scenario driver (101-1) performs the deployment determination process (505-6-12). Execute.
In the case of a standby scene, when a timer notification is given, it is determined that there is no expansion by the expansion determination processing unit (505-6-12), assuming that the driver does not indicate OK (affirmation).
[0138]
When a voice recognition start instruction is given from the scenario driving unit (101-1), the voice recognition unit 107 performs voice recognition described below (step 505-6-8-3).
That is, when the voice recognition start is instructed, the voice recognition unit (101-7) sends a start sound such as “beep” to the voice output device (3) to indicate to the user that the reception of voice input has started. ) (Start sound output means).
In this embodiment, the start sound is output before the voice recognition is started. However, the start sound may not be output. Further, together with the output of the start sound, a display indicating that voice recognition is in progress, for example, a display of “speech recognition in progress” or an icon indicating that voice recognition is in progress may be displayed on the display device (2). Good.
[0139]
Thereafter, the voice recognition unit (101-7) starts the voice recognition from the external I / F unit (101-9) via the agent OS unit (101-8) and the voice in the overall processing unit (102). Instruct the recognition processing unit. The speech recognition processing unit of the overall processing unit (102) transmits a start instruction to the speech processor (1-8), and the speech processor (1-8) converts the analog signal input from the speech input device (4) into a digital speech. Convert to input signal. When the converted voice input signal is input, the voice recognition processing unit of the overall processing unit (102) acquires the digital voice input signal, and the voice recognition set in step 505-6-3 (FIG. 19). Using the dictionary, the acquired speech input signal is recognized (step 505-6-8-3).
When the recognition is completed, the voice recognition processing unit of the overall processing unit (102) sends the result of the voice recognition to the voice recognition unit (101) via the external I / F unit (101-9) and the agent OS unit (101-8). Notify -7). The speech recognition unit (101-7) notifies the scenario recognition unit (101-1) of the speech recognition result.
[0140]
In this embodiment, actual speech recognition processing is performed by the speech recognition processing unit of the overall processing unit (102). However, speech recognition may be performed by the speech recognition unit (101-7). In this case, the voice recognition unit (101-7) functions as a voice recognition unit. In addition, when speech recognition is performed by the speech recognition unit (101-7), the speech recognition is performed in two places, the speech recognition in the navigation processing by the overall processing unit (102). 101-7).
[0141]
Next, the scenario driving unit (101-1) determines the result of speech recognition in the overall processing unit (102) (step 505-6-8-4).
The scenario driving unit (101-1) returns to step 505-6-8-1 if the recognition is unsuccessful, and performs the following callback process if the recognition is successful.
That is, the scenario driving unit (101-1) confirms the content of the callback control instruction (instruction whether to perform callback) set in the scenario data (step 505-6-8-5).
If the callback control instruction is “do not call back”, the process returns without performing the callback, and if it is “call back”, the character drawing / speech output processing for the callback is performed (steps). 505-6-8-7).
[0142]
On the other hand, when the callback control instruction is “automatic” (when the agent device determines whether or not to perform callback), the scenario driving unit (101-1) performs status determination processing (505-6-8-). 6) is performed.
[0143]
That is, in the case of the present embodiment, the scenario driving unit (101-1) determines the situation according to the following determination criteria, and determines whether to call back the recognition result.
When both of the following conditions (a) and (b) are satisfied, the scenario driving unit (101-1) calls back the recognition result.
(A) When traveling (vehicle speed ≠ 0 km / h)
(B) When three or more types of words exist in the speech recognition dictionary except for paraphrasing (for example, when a “strong”, “weak” or “just right” answer is recognized in a control sense question)
On the other hand, when at least one of the following conditions (c) and (d) is satisfied, the scenario driving unit (101-1) does not call back the recognition result.
(C) When stopped (vehicle speed = 0 km / h)
(D) When only two types of words are present in the speech recognition word except for paraphrasing (for example, when “Yes” or “No” answers are recognized)
Note that the above criteria are those in the present embodiment, and other criteria may be adopted. For example, when the reliability (probability) of the recognition result is low, or when it is determined that the driver's load is low using the above-described driving load determination means, a determination criterion such as a callback may be provided.
[0144]
When the callback control instruction is “call back” and when it is determined to call back from the situation with “Random”, the scenario driving unit (101-1) performs character drawing / audio output processing (step S1). 505-6-8-7), and returns.
In the character drawing / speech output process (step 505-6-8-7), the action of the character remains the current action (the action at the start of voice recognition), and a dialogue is made for each recognition result in the voice recognition dictionary of the scenario data. The instructions are written and used. In other words, if the recognition result is “just right”, the callback sound is “just right,” for example. Is output.
Thus, by confirming (calling back) the recognition result of voice recognition, a recognition result confirmation unit is formed.
[0145]
Note that the callback sound is the same as that for each character selected in the same manner as the action selection according to the character type in the character drawing / speech output process in step 505-6-6 (FIG. 19). You may make it prescribe.
Also, if the same callback voice is always added, it becomes an unnatural conversation, so even for the same character, multiple callback voices are prepared and output in order, or the time and number of callbacks You may make it change according to.
[0146]
The scenario driving unit (101-1) notifies the user input from the agent OS unit (101-8) when there is no voice recognition instruction and after the voice recognition process (step 505-6-8) is completed. When it is received, it is confirmed what the input is (FIG. 19, Step 505-6-9), and processing corresponding to the input is performed.
As described above, since each process is executed independently, when an input is notified from the agent OS unit (101-8) even during the voice recognition process (step 505-6-8). The processing corresponding to the input is executed in parallel. Therefore, when the user selects a voice recognition selection button and is notified from the agent OS unit (101-8) during the voice recognition process, the next process (step 505-6) is performed regardless of the processing stage of the voice recognition process. -9) is executed.
For example, in the case of a standby scene, it is possible to determine whether or not the driver has indicated OK (affirmation) based on whether or not the screen of the display device has been touched. The next process (step 505-6-9) is executed regardless of the processing stage of the voice recognition process.
[0147]
When the scenario driving unit (101-1) receives, for example, an input related to the movement of the cursor from the agent OS unit (101-8), the scenario driving unit (101-1) moves the cursor to process a screen drawing request (screen scroll request). (Step 505-6-10).
Further, when the user selects any
As described above, the processes in FIGS. 16 to 20 show an example of the scenario process, and in practice, each unit independently performs an individual process. For this reason, although not shown in FIG. 19 above, when voice recognition start or stop is input, confirmation of user input such as requesting the voice recognition unit to start or stop the voice recognition processing is performed (step 505). There are other processes after performing -6-9). In addition, even when the drawing / sound output unit (101-5) notifies the end of the character drawing / sound output process of the scene, that is, before the action of the instructed character is finished, the user's input is confirmed. (Step 505-6-9) can also be performed.
[0148]
Next, in the development determination process (step 505-6-12), the scenario driving unit (101-1) determines the next expansion by referring to the scenario data expansion management data (see FIG. 7). If there is no next development, no processing is performed and the process returns to the user input determination. If there is a next development, the process proceeds to a scene end process (step 505-6-13) to proceed to the next development.
For example, in the case of a standby scene, when an affirmative voice recognition is performed or an OK (affirmation) intention display such as a touch on a positive screen is made, a scene end process (step 505) is performed to proceed to the next development. Proceed to -6-13).
In the scene end process (505-6-13), if there is a process requested by the scenario drive unit (101-1) to another processing unit, a request for cancellation is made (for example, a request for a voice recognition process is made). If so, request to stop the recognition process) and return. Upon return, the process proceeds to the scenario end determination (step 505-7) in FIG.
[0149]
FIG. 22 shows a comparative example of scene screens in a stopped state and a traveling state.
FIG. 22A illustrates one scene screen in a scenario in which a nearby coffee shop is recommended as a recommended
On the other hand, FIG. 22B illustrates the
[0150]
As described above, according to the agent device of the present embodiment, when the automatic start condition is satisfied, the scenario is made to wait for execution, and standby processing for performing notification and confirmation of execution is performed. Before starting communication with the user, the user has time to prepare and can fully listen to the communication content of the agent.
Further, since the scenario execution is notified by the voice of the agent, it is possible for the user to get closer to the character compared to the case of outputting a caution sound or a sound effect at the start of communication.
[0151]
Further, according to the agent device of the present embodiment, when a voice recognition result is output, the recognition result is called back in accordance with the voice recognition result callback control instruction shown in the scenario data created by the scenario editor. Has the ability to act or not.
As a result, the anthropomorphic character does not always listen back to the recognition result, so that the user does not feel bothered.
In addition, whether or not to make a callback is controlled depending on the situation, and when driving, it is safe because a conversation can be made without looking at the screen by a callback voice. On the other hand, smooth conversation can be realized by not calling back when the vehicle is stopped or when two alternative answers are required.
Furthermore, by making a callback or not, it is possible to bring a person closer to a human conversation in a conversation with anthropomorphic characters.
[0152]
In addition, the agent device according to the embodiment described above has a function of starting voice recognition in accordance with an instruction to automatically start voice recognition indicated in the scenario data created by the scenario editor.
For this reason, the driver who is the user of the agent device can omit the device operation step of pressing the voice recognition start button when answering the question in the conversation with the personified character.
Further, since it is not necessary to select a voice recognition start button that does not exist in a human-to-human conversation, a conversation with an anthropomorphic character can be brought closer to a human-to-human conversation than before the result of the present invention.
[0153]
Further, according to the agent device of the described embodiment, the display state instructing the action of the character in each scene of the scenario is made common regardless of the character type, and the character conversion table selected by the user is referred to. Since the image data of each character corresponding to the display state specified in each scene of the scenario is selected, each scene is developed by playing back the image data, and the scenario is executed. It can correspond to a plurality of different characters. Therefore, it is not necessary to store a scenario for each character, so that the data amount can be reduced.
[0154]
Further, according to the embodiment described above, it is possible to start execution of a scenario using an autonomous activation condition incorporated in an original scenario created by a user (creating user) of the scenario creation device as a scenario activation condition.
Therefore, it is possible to provide a place for freely creating scenarios that allow the scenario creation user to start various scenarios including the appearance of an agent at a timing that suits his / her preference.
[0155]
In addition, in this embodiment, the autonomous activation determination process is periodically executed at intervals of 5 seconds, so that a scenario that satisfies the condition can be activated in almost real time with respect to changes in various situations. become.
In addition, the autonomous activation determination process is executed even in situations where there is a high possibility that the scenario activation condition will be selected in advance (when the change in the situation is large). There are many scenarios in which processing is executed, and this case meets (satisfys a condition). For this reason, a scenario can be executed in a state closer to real time.
[0156]
Further, according to the embodiment described above, the agent's action is defined by scenario data, and the scenario data is standardized by a scenario composed of a plurality of continuous scenes. You can create and incorporate scenarios yourself.
In this way, it is possible to add to the default scenario stored in advance in the device, so the user can search for and download additional scenarios suitable for him / herself on the Internet etc., and create his own scenario to make the agent device more comfortable Can be used.
[0157]
Next, the configuration and operation of the
FIG. 23 shows the configuration of the scenario creation device.
The scenario creation device includes a control unit (200), an input device (210), an output device (220), a communication control device (230), a storage device (240), a storage medium drive device (250), Input / output I / F (260). These devices are connected by a bus line such as a data bus or a control bus.
[0158]
The control unit (200) controls the entire scenario creation device.
The scenario creation device can execute not only the scenario editing program but also other programs (for example, a word processor and a spreadsheet). The control unit (200) includes a CPU (200-1), a memory (200-2), and the like.
The CPU (200-1) is a processor that executes various arithmetic processes.
The memory (200-2) is used as a working memory when the CPU (200-1) executes various arithmetic processes.
The CPU (200-1) can write and erase programs and data in the memory (200-2).
In the memory (200-2) in the present embodiment, an area for the CPU (200-1) to create, edit, and store scenario data according to the scenario editor (scenario editing program) can be secured.
[0159]
The input device (210) is a device for inputting characters, numbers, and other information to the scenario creation device, and is composed of, for example, a keyboard and a mouse.
The keyboard is an input device for inputting mainly kana and English characters.
The keyboard is used, for example, when a user inputs a login ID or password for logging in to the scenario creation device, or when a sentence to be subjected to speech synthesis or speech recognition is input at the time of scenario creation.
A mouse is a pointing device.
When operating a scenario creation device using a GUI (Graphical User Interface) or the like, an input device used for inputting predetermined information by clicking a button or icon displayed on the display device It is.
[0160]
The output device (220) is, for example, a display device or a printing device.
As the display device, for example, a CRT display, a liquid crystal display, a plasma display or the like is used.
Various screens such as a main screen for creating a scenario and a screen for selecting a screen configuration in each scene are displayed on the display device. In addition, selected information and input information are displayed on each screen.
As the printing apparatus, for example, various printer apparatuses such as an ink jet printer, a laser printer, a thermal transfer printer, and a dot printer are used.
For example, what is printed by the printing apparatus includes a diagram showing the entire flow of the created scenario in a chart format and a setting state of each scene.
[0161]
The communication control device (230) is a device for transmitting and receiving various data and programs to and from the outside, and a modem, a terminal adapter, and other devices are used.
The communication control device (230) is configured to be connectable to, for example, the Internet or a LAN (Local Area Network). The communication control device (230) exchanges signals and data by communication with other terminal devices or server devices connected to these networks, thereby transmitting scenario data created by the device, or by a third party The created scenario data can be received (downloaded), and further, data necessary for creating the scenario data can be acquired.
The communication control device (230) is controlled by the CPU (200-1), and transmits and receives signals and data to and from these terminal devices and server devices according to a predetermined protocol such as TCP / IP.
[0162]
The storage device (240) includes a readable / writable storage medium and a drive device for reading / writing programs and data from / to the storage medium.
A hard disk is mainly used as the storage medium, but it can also be configured by other readable / writable storage media such as a magneto-optical disk, a magnetic disk, and a semiconductor memory.
The storage device (240) stores a scenario editing program (240-1), scenario editing data (240-2), and other program data (240-3). Other programs include, for example, a communication program for controlling the communication control device (230) and maintaining communication with a terminal device or a server device connected to the scenario creation device and the network, and scenario creation such as memory management and input / output management. An OS (Operating System), which is basic software for operating the apparatus, is also stored in the storage device (240).
[0163]
The storage medium driving device (250) is a driving device for reading and writing data by driving a removable storage medium. Examples of the removable storage medium include a magneto-optical disk, a magnetic disk, a magnetic tape, IC cards, a paper tape punched with data, and a CD-ROM.
In the present embodiment, scenario data created and edited by the scenario creation device (a form used by the agent device) is mainly written in IC cards.
The scenario creation device acquires a scenario from a storage medium in which scenario data is stored by driving the storage medium by the storage medium drive device (250), or the created scenario data from the storage medium drive device to the storage medium Can be stored.
[0164]
The input / output I / F (260) is configured by, for example, a serial interface or other standard interface.
The function of the scenario creation device can be expanded by connecting an external device corresponding to the interface to the input / output I / F (260). Examples of such external devices include a storage device such as a hard disk, a communication control device, a speaker, and a microphone.
[0165]
Next, the configuration of the scenario editing program (240-1) and scenario editing data (240-2) will be described.
FIG. 24 conceptually shows the configuration of the scenario editing program and data.
The scenario editing program (240-1) includes a scenario editor (240-1-1), a scenario compiler (240-1-2), and a DB editing tool (240-1-3).
The scenario edit data (240-2) includes a common definition DB (240-2-1), a local definition DB (240-2-2), and SCE format scenario data (240-2-3) created by the scenario editor. And real machine format (NAV format) scenario data (240-2-4) converted by the scenario compiler.
The scenario editor (240-1-1) is an application program that creates scenario data.
[0166]
The scenario compiler (240-1-2) converts the SCE scenario data (240-2-3) created by the scenario editor (240-1-1) into actual machine scenario data (240-) that can be used by the agent device. An application program for converting to 2-4), which functions as a conversion means.
FIG. 25 conceptually shows data format conversion.
As shown in FIG. 25, the scenario compiler (240-1-2) converts one or more SCE format scenario data (240-2-3) into one actual machine format (NAV format) scenario data (240 -2-4).
[0167]
The DB editing tool (240-1-3) is an application program for editing / updating data stored in the common definition DB (240-2-1).
The common definition DB (240-2-1) stores definition data for creating scenario data. The common definition DB (240-2-1) stores autonomous activation determination data, action items for scene development and additional determination items, a character display state instruction table, a running restriction execution table (FIG. 37), and the like. Is done. This common definition DB (240-2-1) may exist not on the storage device of the scenario creation device but on a server connected by a local area network (LAN). By doing so, each scenario creation device connected by a local area network (LAN) can create scenario data using a common common definition DB (240-2-1).
The local definition DB (240-2-2) stores a screen configuration defined by the scenario creator while creating scenario data.
[0168]
The SCE format scenario data (240-2-3) is data created by the scenario editor (240-1-1).
The actual machine format (NAV format) scenario data (240-2-4) is converted from the SCE format scenario data (240-2-3) to the data format for use in the agent device by the scenario compiler (240-1-3). Data.
[0169]
FIG. 26 illustrates items that can be set as automatic start items.
This automatic activation item is a conceptual list of samples of each item type that can be detected, recognized, and confirmed by the agent device.
This automatic start item is described in the common definition DB (240-2-1). When creating a scenario with the scenario editor (240-1-1), an automatic start is performed to set an autonomous start condition. Items are read from the common definition DB (240-2-1) and displayed in a list (presentation means). The creator selects an automatic activation item from the list display (list display) (selection means).
A window for inputting a numerical value or a window for selecting from a list is displayed depending on the contents described in the type of each selected item, and a condition for determining the automatic activation item is input. Autonomous activation condition data, which is a determination condition for autonomously activating a scenario by repeating this operation one or more times, is created.
In this way, the activation condition setting means is formed by setting the activation condition of the screen element transition body (scenario).
[0170]
27 and 28 exemplify selectable items that can be selected as autonomous activation conditions for the automatic activation items.
Selectable items are also described in the common definition DB (240-2-1). In the table showing the automatic activation items illustrated in FIG. 26, items that can be selected as lower concepts for the items indicated as selection from the list in the type column are shown as selectable items in FIGS. 27 and 28. It is prescribed. The group specified in the selectable item and the item of the automatic start item are the No. on the leftmost side. Are associated with each other.
Although not shown in the table, there are other definition tables related to numerical input as well as this, and a window for inputting differently, such as a time input window or a travel distance input window, is created. Be able to.
A combination of the selected automatic activation item, the selected selectable item, and the input numerical value, time, distance, and the like becomes an autonomous activation condition for each scenario. For example, when the selection by the user is the automatic activation item “acceleration” and the selectable item “rapid deceleration state”, the autonomous activation condition is “acceleration-rapid deceleration”.
Note that this sample is just a sample and the definition may be changed.
For example, the vehicle speed input may be selected from a list and selected from items separated every 10 km / h.
Further, when the number of items that can be newly sensed in the agent device increases, the items can be added. For example, when a seat belt detection sensor is incorporated, it is conceivable to incorporate a definition that allows selection of items such as a seat belt not attached or a seat belt attached to an item of a seat belt state with an input means of selecting from a list.
These changes and additions are made using the DB editing tool (240-1-3) shown above.
Further, the psychological state of the character may be obtained from the agent psychology unit and added to the autonomous activation determination.
Also in this case, definition data is added using the DB editing tool (240-1-3). For example, it is conceivable to incorporate a definition that allows selection of items such as a character's psychological state, blue (depressed), good mood, etc. as automatic activation items using an input means of selection from a list.
[0171]
FIG. 29 is a scene branch item table storing branch items (transition conditions) for branching from one scene to the next scene (scene development). The scene branch item table is stored in the common definition DB (240-2-1).
Each item of the scene branch item is read out when the development configuration of each scene is created, and is displayed in a list in the branch event selection window (FIG. 41B).
By selecting a branch condition item from the list displayed, and adding the definition data to the branch condition separately using the DB editing tool (240-1-3) if it is not stored in the table, A scene development configuration is created. By repeatedly selecting the branch condition item, a scene having a plurality of transition destinations (branched into a plurality) can be created.
[0172]
In the present embodiment, a timer setting time and a timer setting condition are set as a time for waiting for an input of an answer from the user to a question to the user made by the character. And when there is no user's answer within the timer set time, it is determined that there is no answer due to timer notification (elapse of set time).
As shown in FIG. 29, a timer notification is defined as a transition condition in the scene branch item table of the present embodiment.
[0173]
FIG. 30 shows an additional condition table when branch conditions are set in more detail. The additional condition table is also stored in the common definition DB (240-2-1).
The additional condition item is an item used for further developing a plurality of developments for the action (branch condition item) for developing the scene. At this time, a scene for branching is created. When a scene for branching is created, an additional determination item is read when creating a development configuration from the scene for branching. Only one category can be selected for one scene to be branched, and the selected category item is displayed in a list and selected, or a range is designated by numerical input. If you want to multiply multiple classifications by logical product, you can easily create them by overlapping scenes for branching.
Further, the agent device records, as an end ID, how to end when the scenario branches into a plurality of scenes by the learning unit (101-3: see FIG. 5) and the scenario ends in different scenes. It has become. In addition, the learning unit (101-3) can record the user's response, the total number of uses, and the like as learning data in the scenario.
[0174]
In the additional condition table shown in FIG. 30, the recorded scenario end state (end ID), the total number of times the scenario is used, user information (driver information), mental model, date and other classification items, A method for creating a list of items that can be selected in the classification is defined, and these can be selected as additional branching conditions so that a plurality of developments can be provided for an action for developing one scene. Definition data related to action items for scene development and additional determination items can be changed and added using the DB editing tool (240-1-3) in the same way as autonomous activation determination data.
[0175]
FIG. 31 and FIG. 32 conceptually represent a part of the contents of the unified action instruction table independent of characters stored in the common definition DB (240-2-1). In the following, character setting means is formed from the description of FIGS.
This table defines a common action display state regardless of the type of character, and is categorized for each content to be expressed by the character.
There are a plurality of unified motion instruction tables that do not depend on characters. In this embodiment, the display state instruction tables for the work state (FIG. 31), mental state (FIG. 32), TPO state, growth state, and scale state are provided. Exists.
As shown in FIGS. 31 and 32, each display state instruction table has a plurality of tree structures. In the character action state instruction editing window (FIG. 38C) described later, the shape of each tree structure is displayed. The classification name is displayed.
[0176]
As shown in FIGS. 31 and 32, a state instruction number is assigned to each item at the end of the tree of the display state instruction table. This state instruction number corresponds to the state instruction number (see FIG. 9) of the character image selection data (conversion table) 102353 of the
[0177]
As shown in Fig. 31, the work status table is classified into a maximum of four here, and the basic attitude, greetings of encounters, farewell greetings, thanks, apologies, encouragement, praise, consolation, appearance, exit Display status such as prohibition is defined.
As described above, by using the content that the agent wants to express as the name of each category, it is easy to select the display state corresponding to the scenario and the content of the scene imagined by the scenario creator.
[0178]
The mental state table is classified into five layers as shown in FIG. Expressions of emotions are usually defined as joy, anger, sadness, surprise, etc., and other expressions such as friendship, sleepiness, etc. are defined.
[0179]
Although not shown in the figure, the TPO state table defines the spring / summer / autumn / winter classification and the month classification for each of the normal state and fashionable state. Children's day, Christmas, etc.), user-specific anniversaries (such as the start date of use of the agent device, wedding anniversaries, birthdays) are defined.
The growth state table is classified into long-term growth states 1, 2, 3,..., And short-term growth states 1 and 2 are defined for each of them.
The scale state table defines the size for displaying characters on the screen, and defines the classification based on the angle of view.
[0180]
In these tables, as shown in FIG. 31 and FIG. 32, the system (agent device) indicates the level defined in the lower layer for the display state (carefully, normally, strong, medium, weak, etc.). The item “automatic” is automatically selected.
For the scene selected as automatic, the agent device determines which level of the display state of the character to use based on the character psychological state, date, time, etc., and selects and executes one of the display states. It will be.
[0181]
In the common definition DB (240-2-1), other data for voice recognition used for voice recognition, data used for character movement instructions (separate line instruction data also exists), and set for each scene Character image data and character dialogue data for previewing and confirming the designated instruction, a conversion table to the expression method of each character for a unified instruction independent of the character, each part data to be displayed on the display device (2), and those Screen configuration data describing how to arrange the items and items that can be selected as processing contents in the scene, for example, an action that can be processed by the agent, on / off of an audio device, channel selection, air conditioner device Various processing content item data such as on / off, temperature setting, destination setting to be supplied to the overall processing unit (102) Data, etc. are stored in the common definition DB (240-2-1).
All of these definition data can be changed and added using the DB editing tool (240-1-3) in the same manner as the definition data.
[0182]
Character image data for previewing and confirming instructions set in each scene stores image data of various characters stored in the agent device.
Further, the conversion table for the expression method of each character in response to the unification instruction independent of the character is the same as the character image selection data 102353 (see FIG. 8) of the character data (10-2-3-5) of the
Note that the user can also store character image data and conversion tables for other characters from the agent device in the common definition DB of the
[0183]
Next, each operation of scenario creation by the scenario creation device configured as described above will be described according to the transition of the screen.
FIG. 33 shows the configuration of the main window displayed on the display device when the scenario editor (240-1-1) is activated.
As shown in FIG. 33, the main window includes a
[0184]
When the scenario editor (240-1-1) is activated, a
A screen
When the sound effect setting button 110 is clicked, a screen for setting sound effects for each scene of the scenario is displayed as will be described later.
When
When the
When the button part / background voice recognition dictionary setting 315 is double-clicked, the voice recognition dictionary to be used can be edited. The name of the word to be recognized is displayed on the scene screen when the one displayed with the mark of the
[0185]
The
In the
[0186]
The voice recognition start
[0187]
In the
[0188]
When the next
By branching the flow of the scenario with the
[0189]
That is, by clicking the
When it is desired to further develop the scene following the scene m1, the next scene m1-1 following the scene m1 is created by clicking the scene creation button with the scene m1 selected.
When the
[0190]
When the scenario end
When the
[0191]
FIG. 34 shows the flow of screen operations for editing scenario properties.
When the
[0192]
In this scenario property edit window, scenario name input, kana name input, icon selection, genre selection, priority setting, expiration date (upper limit of time lag from start condition to actual start) setting, running You can set medium execution conditions, scenario start conditions (in a separate window), standby process usage conditions, creator name input, and comment input. The scenario name input and kana name input entered on this screen are management data in the scenario data in the actual machine format.
When the
[0193]
When the standby process use
In this standby process condition screen, a determination criterion (screen element determination criterion) for determining the standby processing (step 505-5-4) by the scenario drive unit (101-1) of the agent device is set.
When any criterion is selected on the standby processing condition screen, the selected criterion is converted and recorded in the scenario data.
[0194]
In the standby processing condition screen (FIG. 34 (c)), when “Manually set condition” is checked and a setting change button is selected, a condition setting screen (not shown) is displayed, and the user can select an automatic start condition. Set the standby scene usage conditions by an operation equivalent to the setting operation.
[0195]
FIG. 35 illustrates items that can be selected as standby scene usage conditions.
The selectable items are displayed on the condition setting screen.
The user can individually set the standby scene use conditions by selecting each item displayed as the standby scene use conditions.
For example, the condition can be set so that the standby is used when the traveling state is running, when the traveling state is stopped, and the agent skill level is low. In addition, it is possible to set the standby to be used when the agent's confidence level is low.
Note that as the standby scene use condition, not only the example of FIG. 35 but also each item of FIG. 30 not shown in FIG. 35 may be selectable.
In this way, by setting the screen element determination criteria for determining whether or not the execution of the scenario (screen element transition body) confirmation (standby scene) is necessary, the determination criterion setting means and the pre-processing setting means of the present invention are set. Is formed.
[0196]
On the other hand, when the start
FIG. 36 shows a flow of a screen operation for editing the scenario start condition from the main edit window of the scenario start condition.
In the main editing window of the scenario start condition (FIG. 36A), it can be set so that the user can start the scenario manually. In this case, the
Conditions for automatically starting the scenario by the system are displayed in the list of automatic start conditions (autonomous start conditions) on the left side of the main editing window (a) of the scenario start conditions. In the state of FIG. 36 (a), nothing is set yet, so it is a blank state.
When the
[0197]
In the automatic start condition selection window (FIG. 36 (b)), a judgment condition item (category) to be set is selected, and when the decision is clicked, the process proceeds to a condition range selection window (FIG. 36 (c)) for automatic start. In the example of FIG. 36B, since it is desired to automatically start (autonomous activation) a scenario while traveling on a highway, “select type” in “select when to activate the road state” Select the item and click OK.
Clicking Cancel returns to the main editing window (FIG. 36 (a)) of the scenario start condition.
[0198]
Items that can be displayed and selected in this automatic start condition selection window (FIG. 36B) are the automatic start items displayed in FIG. In FIG. 36 (b), when the folder “Select when to start” is selected, No. in FIG. The
Similarly, if the folder “Select where to start” is selected, No. 10 to 16 select the folder “Select when to activate when the road condition is”. 21 to 23 select a folder of “select when to start the car” when selecting a folder. 17 to 20 select a folder of “Select when to start the navigation state” and No. 21 to 28 select the folder “Select when to start when the user”. 29 to 30 are displayed on the next lower layer.
[0199]
In the condition range selection window (FIG. 36C) to be automatically started, the window configuration changes depending on the judgment condition item (category) selected in the previous window (b). In the illustrated example, an item window for selecting a road type is displayed.
Items that can be selected in the automatic start condition range selection window (FIG. 36C) are selectable items (FIG. 36) corresponding to the automatic start items selected in the automatic start condition selection window (FIG. 36B). 27). The items that can be selected are displayed in a pull-down menu by clicking the mark on the right side of the
Select a condition range that may be started automatically from the list (or enter a number), and click the Add button to set the selected item and display it in the lower column. In the illustrated example, the case where “highway” is selected and the add button is clicked is displayed.
When the determination button is clicked in the condition range selection window (FIG. 36C) to be automatically started, the setting state is determined, and the scenario editing condition main editing window (FIG. 36D) returns.
Click Cancel to return to the automatic start condition selection window (FIG. 36B).
[0200]
In the scenario editing condition main editing window of FIG. 36 (d), the automatic start condition list set in the above operation is displayed on the left side of the automatic start condition list (starts when the road type is a highway). .
When an automatic start condition displayed on the automatic start condition list screen is selected and the edit button is clicked, an automatic start condition selection window (FIG. 36 (b) for adding additional condition settings to the selected condition. )) Is displayed.
[0201]
Next, various operations for creating a scenario other than the autonomous activation condition will be described.
FIG. 37 shows a flow of screen operations for selecting a screen configuration to be displayed on the agent display screen 51 (see FIG. 12).
When the
In this screen configuration selection window (b), a list of screen configurations that can be displayed on the scene display screen 54 (see FIG. 12) is displayed. A basic screen with nothing displayed, a 2-choice screen with two selection buttons by buttons, a button-choice screen with multiple selection buttons, for example, a list-selection screen that lists multiple items such as prefecture names Various selectable screens such as an image display screen for displaying image data are displayed.
Select one screen configuration from the listed screen configurations, and click the OK button to change the screen configuration in the confirmation dialog. If you want to change after confirmation, change to that screen configuration and change it to the main window ( Return to a). When returning to the main window, the
[0202]
Hereinafter, FIGS. 38 to 40 form screen element setting means and character setting means for setting screen elements based on the display contents (image, sound) and processing contents of the character in this embodiment.
FIG. 38 shows a flow of a screen operation for editing a character action (agent action) instruction.
When the
Which window is displayed is the window that was used last time, and when the previous action instruction is instructed by direct instruction for each character, (b) is displayed, and the previous character is to be expressed. When instructed, (c) is displayed. When used for the first time, a character action instruction edit dialog (unification instruction) (c) is displayed.
[0203]
In the character action instruction edit dialog (individual instruction) shown in FIG. 38B, motion (motion), facial expression (element of emotion expression), hairstyle (element of growth expression), clothes (element of TPO expression), scale (character display) If the area is a camera frame, the camera angle element), the range where the mouth is packed (the range where the dialogue is assigned), the operation instruction timing, and the background of the character display area are selected.
In the character action instruction edit dialog (individual instruction) in FIG. 38B, when the enter button is clicked, the edited content is reflected in the data and the process returns to the main window (a). Clicking the cancel button returns to the main window (a) without being reflected in the data.
When the expression content designation button is clicked, the character action instruction editing dialog (unification instruction) (c) is switched.
[0204]
When an action instruction (display state) is selected in the character action instruction edit dialog (individual instruction), a scene is defined as a character-specific action. In this case, in the
[0205]
In the character action instruction editing dialog (unified instruction) in FIG. 38C, a unified action instruction table independent of the characters stored in the common definition DB (240-2-1) as a state expressed by the character (FIG. 38). 31 and FIG. 32), the work element, the mental state element, the TPO expression element, the growth expression element, and the scale element (the camera angle element when the character display area is a camera frame) Displayed as selectable. In addition, a screen for selecting the operation instruction timing and the background of the character display area is displayed.
By selecting each display state displayed in the character action state instruction editing window, the user can select a scene in which the display state number corresponding to the display state selected as the action common to each character is set regardless of the character. Is set as the contents of
If the OK button is clicked in this window, the edited contents are reflected in the data and the process returns to the main window (a). Clicking the cancel button returns to the main window (a) without being reflected in the data.
When the direct instruction designation button is clicked, the character action instruction editing dialog (individual instruction) (b) is switched.
[0206]
FIG. 39 shows the flow of the screen operation for editing the line instruction of the character (agent).
When the
In this dialogue editing window 1 (b), a tab screen of "PCM" is displayed, and an instruction of PCM (recorded voice data prepared) can be given.
When the “TTS” tab is selected in the dialogue editing window 1 (b), the dialogue editing window 2 (c) is displayed and TTS (synthetic speech) can be designated.
In the case of PCM, input the dialogue in full-width hiragana (the above input box), search for the corresponding dialogue (click the search button: prepare two types of search methods: forward match and exact match), and search results (search Select a line from the result list display field) and set the dialogue to be spoken to the character (can be set by clicking the add button).
In the case of TTS, a dialogue name (data for balloon display) and a reading (data for creating a synthesized speech) are input and a dialogue is set for the character to speak (can be set by clicking the add button).
In the dialogue editing windows 1 (b) and 2 (c), when the decision button is clicked, the edited content is reflected as data in the
[0207]
FIG. 40 shows the flow of screen operations for editing the speech recognition dictionary.
This operation is to set a voice dictionary for recognizing a voice response returned from the user in response to an inquiry requesting a response from the agent device side.
As an example, FIG. 40 shows a screen operation in one scene in which, in a scenario for running control of a vehicle, an inquiry about the control is asked after the running control is finished, and the answer is recognized.
A pull-down menu is displayed by selecting an inverted triangle button displayed on the right side of the voice recognition start
As described above, when the user does not set the conditions for starting speech recognition (“automatically start” or “not automatically start”), the voice recognition start is determined in advance (“automatic”). The vehicle-mounted determination setting means is formed by setting so as to determine in step (1).
The voice recognition instruction selected by the user is set as scene data of the selected scene.
[0208]
As described above, according to the
Then, by setting “automatically start” voice recognition, the driver who is a user can answer (input voice) without selecting a trigger for starting voice recognition (pressing the recognition start button). it can. Thus, the driver who is the user of the agent device can omit the device operation step of pressing the voice recognition start button when answering the question in the conversation with the personified character. Further, since this step does not exist in the conversation between humans, the conversation with the anthropomorphic character can be brought closer to the conversation between humans than before the result of the present invention.
[0209]
Also, in the
Therefore, the driver does not start voice recognition when the load is high, such as during an intersection course change operation, and does not output a start sound requesting voice input (answer by the driver). You can concentrate on certain driving operations.
[0210]
In addition, a pull-down menu is displayed by selecting an inverted triangle button displayed on the right side of the
The callback control instruction selected by the user is set as scene data for determining whether to call back after voice recognition in the selected scene.
As described above, when the user does not set the condition (“call back” or “do not call back”) as to whether or not to confirm the speech recognition recognition result, the speech recognition recognition result confirmation is determined in advance (“ On-board confirmation setting means is formed by setting to confirm with “Random” ”.
[0211]
As described above, according to the
In the
As a result, the anthropomorphic character in the conversation between the driver who is the user of the agent device and the anthropomorphic character does not always listen back to the recognition result (callback), so the user does not feel bothered. I'm sorry.
In addition, since whether or not to call back is controlled depending on the situation, it is safe because a conversation can be made without looking at the screen by a callback voice when driving. Conversely, when the recognition result can be confirmed on the screen while the vehicle is stopped, or when a two-choice answer with a higher recognition rate is requested, smooth conversation can be realized by not calling back.
In human-to-human conversations, the act of listening back to what is heard (the act of calling back) may or may not be performed depending on the situation. Therefore, according to the present embodiment, communication close to human-to-human conversation between agents and users. Can be taken.
[0212]
In the main window showing the editing state of the scene screen (FIG. 40 (a)), a
[0213]
In the speech recognition dictionary selection window (FIG. 40 (b)), when a dictionary name in the dictionary candidate list display is double-clicked, it is displayed in the list selected as a general dictionary as using the speech recognition dictionary.
If the OK button is clicked, the edited contents are reflected in the data and returned to the main window (a). If the Cancel button is clicked, the edit contents are not reflected in the data and the main window (a) is returned.
When the user-defined dictionary edit button is clicked, a voice recognition dictionary creation window (FIG. 40C) for creating a new voice recognition dictionary is displayed.
[0214]
In the speech recognition dictionary creation window (FIG. 40C), when a dictionary name is input and the dictionary addition button is clicked, a speech recognition dictionary is newly created with that name and a word is registered in the speech recognition dictionary (d). Is displayed.
When the OK button is clicked in the speech recognition dictionary creation window (c), creation of the speech recognition dictionary is terminated and the speech recognition dictionary selection window (b) is returned.
[0215]
In the window for registering words in the speech recognition dictionary (FIG. 40 (d)), the word to be registered is input in the reading field in single-byte kana and the decision button is clicked. Next, a name (name to be displayed) is selected or newly entered, and a PCM voice for callback is selected (if none is selected, TTS is used for callback). After entering these three items, clicking the registration button will register the data and add it to the registered word list on the right.
When all of the words to be registered have been registered, the return button is clicked to return to the voice recognition dictionary creation window (c).
[0216]
FIG. 41 shows the flow of screen operations for editing the scenario flow.
In the main window, the
[0217]
Branch event selection window In FIG. 41 (b), when a transition condition to the next scene (scene to be newly created) is selected and the OK button is clicked, the condition (branch event) is determined and the main screen (a) is displayed. Return.
On the main screen (c) after returning, a scene (scene icon (4) in the figure) is newly created on the
The branch events that can be selected in the branch event selection window are displayed in FIG.
As described above with reference to FIG. 41, by setting a condition for shifting from one screen element to the next screen element, the transition condition setting means and the character's one motion process in the present invention can be changed to the next motion process. Transition time limit setting means for setting a time limit for shifting to is formed.
[0218]
FIG. 42 shows a flow of a screen operation for editing the end position of the scenario.
When the scenario end
In this end ID designation window (b), the ID number of the end position mark is designated. Normally, it is automatically assigned, but the editor operator can also assign it by unchecking the check box written as automatic assignment. When the OK button is clicked, the ID number is determined and the branch event selection window (c) is displayed.
[0219]
In the branch event selection window (c), the branch condition for ending the scenario is set in the same way as when creating a new scene and the operation method. Additional conditions can be set in the same way. If an OK button is clicked in this window, the condition (transition condition) is determined and the process returns to the main window (d) (transition condition setting means). At this time, a
As described above, a screen element in which at least one of display contents and processing contents of a character (agent) is defined is defined as one screen element (scene), and the screen element is combined with the transition condition between the screen elements and the screen element. A screen element transition body creating means for creating a transition body (scenario) is formed.
Further, as described above, the character display processing setting means for setting the processing content of the character to be displayed on the display device in the vehicle is formed.
[0220]
FIG. 43 shows an example of scene development in the scenario created as described above.
On the main screen shown in FIG. 43, a
[0221]
Using FIG. 43, a scenario in which whether or not he likes baseball as driver information is confirmed and user information is acquired will be described as an example. As the autonomous activation conditions in this case, for example, a case where the user's hobby is not acquired, a straight road continues, and the vehicle is traveling at a predetermined vehicle speed or less, the case where the driver's driving load is low is set.
When such an autonomous activation condition is satisfied, in the first scene 1 (a square scene icon with a
[0222]
Then, the scene that branches (expands) when the user's answer is “like” is
In this case, in the
[0223]
On the other hand, in the
[0224]
Furthermore, in
[0225]
If the user answers “like” to the question again from
When the user answers “I don't like” to the question again from the
On the other hand, if it is a timer notification again with respect to the question of the
[0226]
FIG. 44 shows a flow of screen operations for compiling the created scenario into a format of a real machine format (NAV format) that can be used by the agent device.
When the
In this scenario compiler window (b), specify the name of the file that outputs the compiled data, select the scenario to be converted at the same time (convert the scenario checked in the scenario list), and click the compile button. The scenario compiler (240-1-2) starts data conversion. The data conversion status is displayed on the result display section.
When the end button is clicked, the data conversion is finished and the main window (a) is returned.
[0227]
As described above, according to the scenario creation device of the present embodiment, the display state instructing the action of the character in each scene of the scenario is made common regardless of the type of the character, and thus can be executed without being bound by the character. Scenarios can be created, and scenarios created for each character can be combined into one, making scenario creation easier.
In addition, the name of the unified character action instruction form uses the contents that the character wants to express, for example, greeting of encounter, posting (information etc.), joy, anger, etc. When creating an instruction, the scenario creator has only to select directly from the name what he / she wants the character to do, so scenario creation becomes easy.
[0228]
In addition, according to the present embodiment, the process for determining whether the condition for autonomously starting (automatically appearing) the agent based on the scenario data created by the scenario creating device is satisfied periodically or in a specific state It can be executed when the condition is satisfied, and the agent can be made to appear automatically when the condition is satisfied.
On the other hand, according to the scenario creation device and the scenario editor of this embodiment, regardless of whether or not there is knowledge of the program, having a scenario editor makes it possible for agents to automatically appear and respond when a specific condition is met. Scenario data can be easily created and edited. In addition, the scenario creation device can be set to play a sound (sound effect) or not, and when it is played, it can be set what sound is played (can be set in each created scene), so an agent automatically appears It is possible to easily create a scenario in which the driver can notify the driver without looking at the screen, and the driver can safely know the appearance of the agent even during the driving operation.
[0229]
As mentioned above, although 1 embodiment in the vehicle-mounted apparatus of this invention, a data creation apparatus, and a data creation program was described, this invention is not limited to described embodiment, It is possible to perform various deformation | transformation. .
For example, the following setting item may be used as a determination condition when a standby scene is used in the agent device.
・ Vehicle condition (running or stopping)
・ Agent skill level (usage time, AMM parameters, etc.)
-Navigation status (route guidance, agent processing, etc.)
・ Scenario execution status (automatic startup or manual startup, etc.)
・ Others (all automatic start conditions filed in the past)
[0230]
The contents that can be set (edited) as a standby scene by the scenario editor may be as follows.
1. Screen configuration (character position, speech balloon)
2. Sound effect
3. Character movement
4). Character dialogue
5. Timer setting
[0231]
Although one standby scene has been described, a plurality of standby scenes may be set.
That is, the number of standby scenes is not limited to one standby scene per scenario, and a plurality of standby scenes can be provided. This makes it possible to change the character motion, size, and dialogue depending on the situation (judgment condition).
Thus, the standby scene can be set as a standby scene a when the condition A is satisfied by a plurality of options at the beginning of the scene, and a standby scene b when the condition B is satisfied.
Further, the standby scene may be developed not only at the beginning of the scenario but also in the middle of the scenario.
[0232]
Further, the determination condition set in the standby scene may be edited in the branch scene.
[0233]
Further, in the
That is, in the situation determination of FIG. 21 (step 505-6-8-2), the case of returning when the driver is determined to be high-load has been described, but without returning (step 505-6-6). In this way, the voice recognition unit (101-7) waits until the driver's load becomes low, and outputs a start sound for requesting voice input when the load becomes low. become.
[0234]
In the described embodiment, “user gender” and “user age” are defined as items that can be selected as the autonomous activation conditions illustrated in FIGS. 26 to 27, but other automatic activation items related to the driver (see FIG. 26). May be added. For example, items relating to the driver's state such as “skill level” and “emotion” are added as automatic activation items. Then, “low”, “normal”, and “high” are added as selectable items corresponding to “skill level” (see FIGS. 27 and 28), and “anxiety”, “selectable” items corresponding to “emotion”, Add “Asseri”, “Tension”, etc.
[0235]
In this case, in the agent device, the driving state stored in the driver information data (10-2-3-6) or the learning item data (10-2-3-7) is the driver state such as skill level and emotion. It is obtained as status information from the user's operation history, etc., and compared with the scenario start condition.
That is, in the agent device, the agent OS unit (101-8) acquires information from, for example, various status detection devices (6) from the overall processing unit (102) through the external I / F (101-9), and learns. Based on the driver operation history stored in the driver information data (10-2-3-6) and learning item data (10-2-3-7) stored in the section (101-3) The learning unit (101-3) determines the current state of the driver.
As an example of the driver state to be determined, the driver's anxiety, panic, tension, etc. corresponding to each item of the autonomous activation condition, and the skill level of the agent device are also determined and estimated.
For example, there may be an example in which it is determined that time is over (hurry) when the overspeed state continues for a long time within a certain time and a lot of sudden acceleration / deceleration is performed.
Further, the skill level of the agent device is judged in three stages, such as low, normal, and high, using the total number of times the agent is used, the total usage time (communication time), and the number of times the automatic activation has occurred. The number of stages and the conditions for determination are examples and may be changed.
[0236]
In this way, by registering the conditions that can be detected on the agent device side in the scenario creation device and making them available in the scenario editor, the driver state can be used as an activation condition (autonomous activation condition) for the screen element transition body (scenario). Can be used.
This makes it possible for the agent to appear autonomously and not communicate with the driver when the driver is busy (adding a condition of “when not drowning” to the autonomous activation condition).
[0237]
In the present embodiment, the purpose A is to provide an agent device for a vehicle that makes it possible to realize an agent function according to standardized scenario data and activates a scenario based on an autonomous activation condition defined by the scenario data. The purpose B is to provide a scenario data creation device capable of easily creating a standardized scenario for realizing an agent function in an agent device and an autonomous activation condition for autonomously activating the scenario. It is also possible to configure as follows.
(A) An agent device that performs a function of autonomously performing a process according to a determination result of a vehicle interior or a vehicle in accordance with the determination result,
Agent display means for displaying an image of the agent having a predetermined appearance in the passenger compartment;
A scene composed of at least one of the processing contents performed by the device and the image and sound of the agent is regarded as one scene, and a scenario composed of one or a plurality of continuous scenes, and an autonomous system that autonomously activates the deployment of the scenario Scenario storage means for storing scenario data having activation conditions, situation information acquisition means for acquiring vehicle interior and vehicle status as situation information, and for each scenario in which the acquired situation information is stored in the scenario storage means A condition determination means for determining whether or not an autonomous start condition is satisfied, and a scenario for sequentially starting each scenario by autonomously starting a scenario corresponding to the autonomous start condition determined to be satisfied by the condition determination means Execution condition means, and the condition determination means determines whether or not the status information satisfies the autonomous activation condition at a predetermined timing. Agent apparatus according to claim.
(B) The condition judging means makes a judgment periodically every predetermined time and when a specific situation preset from the obtained situation information is satisfied. The agent device described.
(C) In the case of a scene in which sound effects are set, the scenario executing means outputs sound effects corresponding to sound effect information when the scene is developed, according to (a) or (b) The agent device described.
(D) A scenario composed of at least one of processing contents autonomously performed by the agent device for vehicles and an image and sound of the agent is defined as one scene, and a scenario composed of one or a plurality of continuous scenes is A scenario data creation device that creates scenario data for an agent device that autonomously starts when the autonomous activation conditions of the scenario are satisfied, and the agent processing content, agent image, and audio data that can be selected as a constituent element of the scene A scene element selecting means for selecting at least one of the above, and a scene creating means for creating a scene composed of at least one of the processing contents by the agent, the image of the agent, and the output sound as one scene from the acquired scene constituent elements And one or more transitions for transitioning from a predetermined scene to the next scene. A scene development configuration creating means for creating a deployment configuration of each scene from the conditions and migration destination data for specifying a migration destination scene corresponding to each transition condition; and a vehicle interior and a vehicle that can be acquired by the agent device Presenting means for presenting each item of status information relating to the state, selecting means for selecting one or more items from each item of the presented status information, and autonomous scenario from the selected one or more status display items Autonomous activation condition creating means for creating an activation condition, and an output means for outputting scenario data including the created scene, the development configuration of each created scene, and the autonomous activation condition of the created scenario A scenario data creation device characterized by that.
(E) The scenario data creation device according to (d), wherein the scenario starts from a scene having an active action such as a proposal by an agent, a question, or a greeting.
(F) Scene selection means for selecting a scene, sound effect information for specifying one or more sound effects, a sound effect display means for displaying a list, and selecting one sound effect information from the displayed sound effect information And a sound effect setting means for setting a sound effect corresponding to the selected sound effect information as a sound effect to be output at the start of the selected scene. The scenario data creation device according to d) or (e).
According to the embodiment of (a), the agent function can be realized according to the standardized scenario data, and the scenario can be activated based on the autonomous activation condition defined by the scenario data.
In addition, according to the embodiment described in (b), the standardized scenario for realizing the agent function in the agent device and the autonomous activation condition for autonomously activating the scenario without sufficient knowledge of programming Can be easily created.
[0238]
【The invention's effect】
The present invention According to the present invention, when a predetermined condition is satisfied, an in-vehicle device that allows a user to make preparations before executing control when the control content including the character display is executed is provided.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram of a scenario addition system using an agent device according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an agent device according to an embodiment of the present invention.
FIG. 3 is a block diagram of various status detection devices in the agent device.
FIG. 4 is an explanatory diagram showing a relationship between an agent processing unit realized by a program being executed by a CPU and an overall processing unit.
FIG. 5 is an explanatory diagram showing a configuration of an agent processing unit.
FIG. 6 is an explanatory diagram conceptually showing information collected in an external storage medium.
FIG. 7 shows a configuration of actual machine format scenario data.
FIG. 8 is an explanatory diagram conceptually showing character data.
FIG. 9 is an explanatory diagram conceptually showing the contents of character image selection data.
FIG. 10 is an explanatory diagram conceptually showing driver information data.
FIG. 11 is an explanatory diagram showing a communication setting screen for performing various communication settings in the agent device.
FIG. 12 is an explanatory diagram showing an example of a scene screen displayed on a display device based on scenario scene data.
FIG. 13 is a screen transition diagram showing the transition of the scene screen for each scene according to the guidance scenario transmitted by the inn to the prospective guest.
FIG. 14 is a flowchart showing an autonomous activation determination process of a scenario by an autonomous activation determination unit.
FIG. 15 is a flowchart showing the processing content of a condition determination process.
FIG. 16 is a flowchart showing an example of a flow of scenario execution processing.
FIG. 17 is a flowchart showing a flow of scenario start processing (step 505-5).
FIG. 18 illustrates a setting example for determining whether or not to use a standby scene according to a scenario genre.
FIG. 19 is a flowchart showing an example of the flow of scene processing.
FIG. 20 is a flowchart showing character drawing / sound output processing by a drawing / sound output unit;
FIG. 21 is a flowchart showing the processing operation of voice recognition processing.
FIG. 22 is an explanatory diagram comparing and displaying an example of a scene screen in a stopped state and a traveling state.
FIG. 23 is a block diagram of a scenario creation device.
FIG. 24 conceptually shows the configuration of a scenario editing program and data.
FIG. 25 conceptually illustrates data format conversion.
FIG. 26 illustrates items that can be set as automatic start items.
FIG. 27 exemplifies items that can be selected with respect to the automatic activation item.
FIG. 28 exemplifies items that can be selected with respect to the automatic activation item.
FIG. 29 is a scene branch item table storing branch items (transition conditions) for branching from a scene to the next scene (scene development).
FIG. 30 shows an additional condition table.
FIG. 31 is an explanatory diagram conceptually showing a part of the contents of a character display state instruction table stored in a common definition DB.
FIG. 32 is an explanatory diagram conceptually showing another part of the contents of the character display state instruction table stored in the common definition DB.
FIG. 33 shows the configuration of the main window displayed on the display device when the scenario editor is activated.
FIG. 34 shows the flow of screen operations for editing scenario properties.
FIG. 35 is an explanatory diagram illustrating items that can be selected as standby scene use conditions;
FIG. 36 shows a flow of a screen operation for editing a scenario start condition from a scenario start condition main edit window.
FIG. 37 shows a flow of screen operation for selecting a screen configuration to be displayed on the agent display screen.
FIG. 38 shows a flow of a screen operation for editing a character action (agent action) instruction.
FIG. 39 shows a flow of a screen operation for editing a line instruction of a character (agent).
FIG. 40 shows the flow of screen operations for editing a speech recognition dictionary.
FIG. 41 shows a flow of a screen operation for editing a scenario flow.
FIG. 42 shows the flow of a screen operation for editing the end position of a scenario.
FIG. 43 is an explanatory diagram showing an example of scene development in the created scenario.
FIG. 44 shows a flow of screen operations for compiling a created scenario into a format of an actual machine format that can be used for navigation.
[Explanation of symbols]
1 Agent device
2 Scenario creation device
3 servers
(1) Central processing unit
(2) Display device
(3) Audio output device
(4) Voice input device
(5) Input device
(6) Various situation detection devices
(7) Various in-vehicle devices
(8) Communication control device
(9) Communication device
(10) External storage device
(200) Control unit
(210) Input device
(220) Output device
(230) Communication control device
(240) Storage device
(250) Storage medium driving device
(260) Input / output I / F
Claims (3)
前記定められた条件を満たした場合に、実行の確認が必要か否かを判断する要否判断手段と、
前記要否判断手段で確認が必要と判断された場合、前記キャラクタの画像の一部又は全部を表示画面の一部に表示して、前記情報提供データに基づく情報提供を待機状態とする実行待機手段と、
前記実行待機手段により表示されたキャラクタの画像を指定する指定手段と、
前記要否判断手段で確認が必要でないと判断された場合、及び、前記制御内容の待機状態において表示された前記キャラクタが前記指定手段により指定された場合に、前記キャラクタの動作を表す画像表示を伴う情報提供を実行するキャラクタ実行手段と、
を備えたことを特徴とする車載装置。 A storage unit that stores information providing data that is executed when a predetermined condition is satisfied and that includes an image display representing the action of the character ;
Necessity determining means for determining whether or not confirmation of execution is necessary when the predetermined condition is satisfied;
When the necessity determination means determines that confirmation is required, a part or all of the character image is displayed on a part of a display screen , and the standby for execution of information provision based on the information provision data is set. Means,
Designating means for designating an image of the character displayed by the execution waiting means;
When it is determined that the necessity determination means does not require confirmation and when the character displayed in the standby state of the control content is designated by the designation means , an image display representing the action of the character is displayed. Character execution means for executing accompanying information provision ;
A vehicle-mounted device comprising:
ことを特徴とする請求項１に記載の車載装置。The in-vehicle device according to claim 1, wherein the necessity determination unit determines whether the confirmation is necessary based on at least one of a shift lever, a side brake, and an engine .
ことを特徴とする請求項１記載の車載装置。The in-vehicle device according to claim 1, wherein the necessity determination unit determines that confirmation is not necessary when the information provision content is a caution / warning .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002328802A JP4258607B2 (en) | 2002-09-20 | 2002-11-12 | In-vehicle device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002276420 | 2002-09-20 | ||
| JP2002328802A JP4258607B2 (en) | 2002-09-20 | 2002-11-12 | In-vehicle device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004163232A JP2004163232A (en) | 2004-06-10 |
| JP4258607B2 true JP4258607B2 (en) | 2009-04-30 |
Family
ID=32827706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002328802A Expired - Fee Related JP4258607B2 (en) | 2002-09-20 | 2002-11-12 | In-vehicle device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4258607B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11325605B2 (en) * | 2019-03-27 | 2022-05-10 | Honda Motor Co., Ltd. | Information providing device, information providing method, and storage medium |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006281900A (en) * | 2005-03-31 | 2006-10-19 | Xanavi Informatics Corp | On-vehicle information system and application execution method |
| US8583282B2 (en) | 2005-09-30 | 2013-11-12 | Irobot Corporation | Companion robot for personal interaction |
| WO2011036762A1 (en) * | 2009-09-25 | 2011-03-31 | 株式会社東芝 | Speech interaction device and program |
| JP6024696B2 (en) | 2014-03-27 | 2016-11-16 | 株式会社デンソー | Communication device |
| CN113703334A (en) * | 2021-09-22 | 2021-11-26 | 深圳市欧瑞博科技股份有限公司 | Intelligent scene updating method and device |
| WO2023162192A1 (en) * | 2022-02-28 | 2023-08-31 | パイオニア株式会社 | Content output device, content output method, program, and recording medium |
-
2002
- 2002-11-12 JP JP2002328802A patent/JP4258607B2/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11325605B2 (en) * | 2019-03-27 | 2022-05-10 | Honda Motor Co., Ltd. | Information providing device, information providing method, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004163232A (en) | 2004-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5019145B2 (en) | Driver information collection device | |
| EP1462317A1 (en) | Data creation apparatus | |
| JP6670350B2 (en) | System and method for integrating a third party service with a digital assistant | |
| JP4936094B2 (en) | Agent device | |
| JP4259054B2 (en) | In-vehicle device | |
| JP2000266551A (en) | Dfstination setting device and agent device | |
| JP2008290714A (en) | On-vehicle apparatus | |
| JP4258607B2 (en) | In-vehicle device | |
| JP2001235343A (en) | Information output device | |
| JP4253918B2 (en) | Agent device | |
| JP2004037953A (en) | On-vehicle device, and device and program for data creation | |
| JP7274404B2 (en) | INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD AND PROGRAM | |
| JP2004054883A (en) | Onboard agent system and interactive operation control system | |
| JP2003157489A (en) | Operation control device | |
| JP2004053251A (en) | In-vehicle device, data creating device and data creation program | |
| JP2005190192A (en) | Onboard system | |
| JP2004050975A (en) | In-vehicle device, data preparation device, and data preparation program | |
| JP2003106846A (en) | Agent apparatus | |
| JP4356450B2 (en) | In-vehicle device | |
| JP2003281652A (en) | Emergency reporting device | |
| JP4059019B2 (en) | In-vehicle device and data creation device | |
| JP2004301651A (en) | Vehicle-mounted device and data preparation device | |
| JP2004061252A (en) | On-vehicle device, data generation device and data generation program | |
| JP2004051074A (en) | In-vehicle device, data preparation device, and data preparation program | |
| JP4206818B2 (en) | In-vehicle device and data creation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051101 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080502 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080701 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090114 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090127 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4258607 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |