JP2004061252A - On-vehicle device, data generation device and data generation program - Google Patents

On-vehicle device, data generation device and data generation program Download PDF

Info

Publication number
JP2004061252A
JP2004061252A JP2002218971A JP2002218971A JP2004061252A JP 2004061252 A JP2004061252 A JP 2004061252A JP 2002218971 A JP2002218971 A JP 2002218971A JP 2002218971 A JP2002218971 A JP 2002218971A JP 2004061252 A JP2004061252 A JP 2004061252A
Authority
JP
Japan
Prior art keywords
scenario
data
scene
screen
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002218971A
Other languages
Japanese (ja)
Inventor
Tomoki Kubota
窪田　智氣
Kazuhide Adachi
足立　和英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP2002218971A priority Critical patent/JP2004061252A/en
Publication of JP2004061252A publication Critical patent/JP2004061252A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To execute at least a part of a screen element depending on whether a vehicle is running. <P>SOLUTION: A scenario generation device can set how to execute a scenario (interruption or continuation with partial restriction) relative to each scenario depending on whether in the running state or in the stopping state, and an agent device continues execution of the scenario following an execution condition during running set in the scenario. Hereby, excessive communication can be prevented during running according to the content of the scenario, to thereby reduce nuisance to a user. A communication with a personified character is made more similar to a communication between human beings. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、車載装置、データ作成装置、及びデータ作成プログラムに係り、例えば、車両の搭乗者とのコミュニケーションにより会話をしたり機器操作等を自律的に行うエージェント機能を備えた車載装置、及びそのデータ作成装置、及びデータ作成プログラムに関する。
【０００２】
【従来の技術】
例えば、犬などのペット型のロボットや、車室内においてナビゲーション装置等の機器操作の案内をしたり状況に応じた質問や提案等を行うことで搭乗者との対話や対応をするエージェント装置が開発され、車載装置として車両に搭載されている。そして、装置に対して考えられる種々の状態を想定すると共に、想定した各状態を検出した場合にとるべき対応が、所定のデータやプログラムに従って規定されている。
このような従来のエージェント装置では、ユーザに対して質問や指示の要求をして、ユーザからの音声による回答を認識することがある。この場合、ユーザの認識を開始するタイミングをどのようにするか、音声認識を認識に使用する辞書はなにか等については、予めプログラミングされている。
【０００３】
【発明が解決しようとする課題】
このような従来のエージェント装置では、エージェントが自動で登場するための条件設定や、エージェントの動作を規定する表示状態や処理は、プログラムを作成及び修正することでしか実現できなかった。そのため、プログラムの知識が無いと作成や変更することができず、また、開発に費やす時間や費用も多く必要であった。
また、従来のエージェント装置では、エージェントの動作規定する表示状態や処理は車両が走行中か否かによって変更されることなく実行されていた。このため、例えば、停車中にコミュニケーションを開始すると、その途中で走行を開始したとしても、ユーザはそのコミュニケーションが終了するまで対応しつづけなければならず、煩わしさを感じる場合があった。
人間同士の会話においては、コミュニケーション中に走行し始めた場合など状況に応じて運転操作を優先させるために会話を中断したり、身振りや手振りを控えることがよくある。従って、擬人化されたキャラクタとのコミュニケーションにおいて、コミュニケーション中に走行を開始しても走り始めたことに関係なくコミュニケーションを取り続けてしまうことで、不自然なコミュニケーションになってる場合があった。
【０００４】
本発明は上記課題を解決するためになされたもので、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を実行すると共に、走行中か否かによって画面要素の少なくとも一部を実行することが可能な車載装置を提供することを第１の目的とする。
また本発明は、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成されると共に、画面要素の少なくとも一部の実行を制限する走行中実行条件が設定された画面要素推移体を容易に作成することが可能なデータ作成装置を提供することを第２の目的とする。
また本発明は、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成されると共に、画面要素の少なくとも一部の実行を制限する走行中実行条件が設定された画面要素推移体をコンピュータで容易に作成することが可能なデータ作成プログラムを提供することを第３の目的とする。
【０００５】
【課題を解決するための手段】
請求項１に記載の発明では、キャラクタの表示内容、処理内容の少なくとも１つが規定された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体及び該画面要素推移体の起動条件を外部から取得して記憶する画面要素推移記憶手段と、前記起動条件を満たしていると判断された場合、前記起動条件を満たした前記画面要素推移体を構成する各画面要素を逐次その設定にしたがって実行することで当該画面要素推移体を実行する画面要素推移体実行手段と、走行中であるか否かを判断する走行判断手段と、前記走行判断手段により走行中であると判断された場合、前記画面要素推移体実行手段で実行する画面要素の少なくとも一部の実行を、非走行中の画面要素と比較して制限する実行制限手段と、を車載装置に具備させて前記第１の目的を達成する。
請求項２に記載の発明では、キャラクタ画像を含む画面構成、及び、該キャラクタの画像と共に実行される制御内容を記憶するキャラクタ記憶手段と、車両が走行中であるか否かを判断する走行判断手段と、を車載装置に具備させ、該走行判断手段により、車両が走行中と判断された場合、前記キャラクタ記憶手段に記憶された画面構成、及び制御内容に対応して前記画面構成の一部、又はすべての表示を停止する、ことにより前記第１の目的を達成する。
請求項３に記載の発明では、キャラクタの表示内容、処理内容の少なくとも１つに基づいて１つの画面要素を設定する画面要素設定手段と、前記画面要素設定手段で設定された１つの画面要素から次の画面要素に移行するための移行条件を設定する移行条件設定手段と、前記画面要素及び前記移行条件に基づき車両内の表示装置で実行処理するための画面要素推移体を作成する画面要素推移体作成手段と、車両の走行状態に応じて、前記画面要素の少なくとも一部の実行を制限する走行中実行条件を設定する走行中実行条件設定手段と、をデータ作成装置に具備させて前記第２の目的を達成する。
請求項４に記載の発明では、請求項３に記載のデータ作成装置において、前記走行中実行条件設定手段は、前記画面要素を構成する所定の項目毎に制限項目を設定可能である、ことを特徴とする。
請求項５に記載の発明では、キャラクタ画像を含む画面構成、及び、該キャラクタの画像と共に実行される制御内容を設定するキャラクタ設定手段と、走行条件と対応させて、前記画面構成の一部又はすべての表示を停止するか否かの設定を行う表示停止設定手段と、をデータ作成装置に具備させて前記第２の目的を達成する。
請求項６に記載の発明では、キャラクタの表示内容、処理内容のうち少なくとも１つに基づいて１つの画面要素を設定する画面要素設定機能と、前記画面要素設定機能で設定された１つの画面要素から次の画面要素に移行するための１つ以上の移行条件を設定する移行条件設定機能と、前記画面要素及び前記移行条件に基づき車両内の表示装置で実行処理するための画面要素推移体を作成する画面要素推移体設定機能と、車両の走行状態に応じて、前記画面要素の少なくとも一部の実行を制限する走行中実行条件を設定する走行中実行条件設定機能と、をコンピュータに実現させるデータ作成プログラムにより前記第３の目的を達成する。請求項７に記載の発明では、請求項６に記載のデータ作成プログラムにおいて、前記走行中実行条件設定機能は、前記画面要素を構成する所定の項目毎に制限項目を設定可能である、ことを特徴とする。
【０００６】
【発明の実施の形態】
以下、本発明の車載装置の好適な実施形態であるエージェント装置、データ作成装置の好適な実施形態であるシナリオ作成装置、及びデータ作成プログラムの好適な実施形態であるシナリオエディタについて、図１から図４７を参照して詳細に説明する。
（１）実施形態の概要
本実施形態のエージェント装置では、所定の容姿からなるエージェント（キャラクタ）の画像（平面的画像、ホログラフィ等の立体的画像等）を車両内に表示する。そして、エージェント装置の機能である、センサ等の検出結果から周囲の状態（人の動きや音声を含む）を認識、判断し、その結果に応じた動作や音声を出力するという機能を、このエージェントの容姿の動きや音声と連動して実行する。例えば、「どのジャンルの食事がすきですか」等の回答（和食、洋食等）を要求する問かけを行い、この問いかけに対するユーザの回答内容を判別（回答音声の認識や、回答選択ボタン５４ａの選択から判別）して、次のシーン（画面要素）に応じた処理を実行する。このように、装置からの回答を要求する問いかけと、その回答に応じて、所定の操作の実行を開始するので、ユーザは、あたかも擬似人格を備えたエージェントが車両内に存在しているような体感をするようになる。以下の説明では、このようなエージェント装置の一連の機能の実行を、エージェントの行為や動作として説明する。
本実施形態のエージェント装置では、このエージェントに運転者との各種コミュニケーションや、操作の代行を行わせる。そしてエージェントが自律的に行う様々な行為（各行為）を複数のシナリオ（画面要素推移体）で構成する。そして、エージェントによる一連の連続した行為の内容を規定した複数のシナリオと、各シナリオの展開を自律的に開始（起動）するための自律起動条件（起動条件）とにより規格化したシナリオデータを保存する。
シナリオは、シーン（画面要素）を最小単位として、１又は連続する複数のシーンで構成される。自律的に行う処理内容とエージェントの画像及び音声の少なくとも１つから構成される場面が１シーンである。
シナリオは、所定のシーンから次のシーンに移行するための１の移行条件（連続条件）又は複数の移行条件（分岐条件（複数の状態が発生する場合の各状態毎へのシーンの移行するための条件））と、各移行条件に対応して移行先のシーンを特定する移行先データとから、各シーンの展開構成が規定されている。
【０００７】
また、シナリオデータには、走行中実行条件（使用許可設定）が規定されている。
この走行中実行条件は、車両が走行中にはシナリオを実行しない設定（従って、走行中には起動せず、停車中で実行中に走行開始した場合には中断する）と、シーンを構成する所定の項目の表示を制限する設定とがある。
【０００８】
一方、エージェント装置のユーザ等は、規定された規格に従って、独自のシナリオをシナリオ作成装置を使用して作成する。シナリオ作成装置は、シナリオ編集プログラムやデータをパーソナルコンピュータにインストールすることで構成することができる。
作成したシナリオは、インターネット等のネットワークを介してエージェント装置に送信し、又はダウンロードしてもらうことにより、また、所定の半導体メモリを介してエージェント装置に格納することで、自己（第三者）の希望通りの行為（コミュニケーションや処理）をエージェントに行わせることが可能になる。
作成するシナリオの最初のシーンに、例えば、人間に対する回答を要求する問いかけのシーンのシナリオとすることができる。そして、独自に作成したシナリオデータを、外部の装置から入力装置を介して入力することが可能である。この場合の入力装置は、半導体メモリに追加するシナリオデータが格納されている場合には、半導体メモリの内容を読みとる記憶媒体駆動装置が該当し、インターネット等のネットワークを介して特定のサーバ等からダウンロードする場合には通信制御装置が該当する。この新たに入力したシナリオデータに従って、シナリオを実行する。
【０００９】
エージェント装置は、メール、ブラウザソフトを備えることにより、ブラウザソフト等を使ってシナリオをダウンロードし、そのダウンロードしたファイルがエージェントを機能させるシナリオデータであるか否か判断し、シナリオデータであればエージェントプログラムに組み込んで使用できるようにする。また、メールに添付されている場合も同様に、添付のファイルがシナリオであるか否か判断し、シナリオであればエージェントシステムに組み込んで使用できるようにする。
これにより従来の手法以外にも、既存の通信インフラであるメール、ネットワーク等を使った通信とを使用することにより、また、半導体メモリ等を介することで、パーソナルコンピュータ等を使用して作成した独自のシナリオを追加することができるようになる。
このように、ユーザは自分の思い通りにエージェントを機能させるシナリオを独自にまた、容易に作成することが可能になるので、エージェント装置の自律的な動作に対する抵抗がなくなる。
【００１０】
さらに、エージェント装置では、シナリオ作成装置で作成されたシナリオデータに基づいてエージェントを自律的に起動させる（自動で登場させる）条件を満たしたかを判断する処理を定期的に、もしくは特定の状態を満たしたときに実行し、条件を満たした場合にエージェントを自動で登場させることができるシステムを備えさせる。
これによりシナリオ作成装置では、プログラムの知識の有無に関係無く、シナリオエディタを持つことで特定の条件を満たしたときに自動で登場して対応してくれるエージェントのシナリオデータを作成及び編集することができる。
例えば、オービスの設置してある２ｋｍ手前の地点（東経北緯座標で指定）でかつ、道路種別が高速道路でかつ、車速が１２０ｋｍ／ｈ以上で走行している場合に自動で登場してオービスの警告をしてくれるシナリオの条件の中にある車速の条件を１００ｋｍ／ｈ以上に変更するとか、毎年特定の日（例えばクリスマスイブ）にだけ起動するシナリオを作成することが可能となる。
【００１１】
そして、シナリオ作成装置において、音声認識を自動で開始させるか否かの指示を設定できる機能を備えさせる。また、エージェント装置ではシナリオエディタで作成したシナリオデータに示されている音声認識を自動で開始させるか否かの指示に従って、ユーザである運転者が音声認識開始のトリガ（認識開始ボタンを押す）を指示しなくても音声認識を開始させる機能を備えさせる。
これにより、エージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。また、このステップは人間同士の会話においては存在しないため、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【００１２】
更に、シナリオ作成装置において、音声認識結果のコールバックの制御を指示できる機能を備えさせ、エージェント装置の制御データであるシナリオデータに組み入れる。
また、エージェント装置では、音声認識の結果が出たときに、シナリオエディタで作成したシナリオデータに示されている音声認識結果のコールバック制御指示（エージェント装置が判断（おまかせ）／コールバックをする／コールバックをしない）に従って、認識結果をコールバックする行為（聞き取った内容を聞き返す行為）をしたり、しなかったりと制御する機能を備えさせる。
音声認識結果のコールバック制御指示が「おまかせ」に設定されている場合、エージェント装置が、認識対象となっている語数（回答用音声認識辞書の語数）と車載センサから状況判断をし、認識結果をコールバックする行為を行なうか否か決定する。
【００１３】
これにより、エージェント装置のユーザである運転者と、擬人化されたキャラクタとの会話において擬人化されたキャラクタは、常に認識結果を聞き返す（コールバック）事がなくなるため、ユーザは煩わしさを感じずにすむ。
また、状況によってコールバックをするか否かが制御されるため、例えば運転中の場合、コールバック音声によって画面を見ずに会話ができるため安全である。逆に停車中の場合や、さらに２択の回答を要求されている場面などはコールバックしないことでスムーズな会話を実現できる。
人間同士の会話においては、聞き取った内容を聞き返す行為（コールバックする行為）は上記例のように状況によってされたりされなかったりするので、擬人化されたキャラクタとの会話において、人間同士の会話に存在する法則を組み入れた制御を行なうことで、人間同士の会話に近づけることができる。
【００１４】
更に、シナリオ作成装置において、各シーン毎にシーンを開始してから終了するまでの時間を設定できる機能（タイマー設定機能）を備えさせ、シナリオデータに組み入れることで、質問に対するユーザからの回答の許容時間を設定できるようにする。
そして、シーン実行中に設定時間が経過した場合、音声認識等の処理を終了すると共に、設定時間が経過したことを、次のシーン（画面要素）への移行条件として使用可能にする。
また、時間設定を行う場合の条件として、車両状態を併せて設定できるようにする。車両状態としては、本実施形態では走行中か停車中かによる設定が可能になっており、（ａ）走行中も停車中も常に設定する、（ａ）走行中のみ設定する、（ｃ）停車中のみ設定する、のいずれかを条件として設定できる。また、時間設定しない、との設定も可能であり、この場合従来と同様に回答（音声、画面による入力）があるまで継続することになる。
【００１５】
一方、エージェント装置では、シナリオの各シーンで時間が設定されている場合、音声認識を開始する際にタイマー（計時手段）を設定時間に設定し、タイマー通知（設定時間が経過）まで音声認識を行う。そして、タイマー通知を移行条件として規定されたシーンを展開する。
また、シナリオの各シーンにおいて、時間と共に走行中か停車中かによる条件設定がされている場合、エージェント装置では、車速を検出することで走行中か停車中かを判断し、設定された条件に従ってタイマーの時間設定をし、又はしないようにする。
【００１６】
このように、一定時間質問に対する回答が無かった場合は状況によって質問に対して無回答として判断する事ができるようにし、擬人化されたキャラクタとのコミュニケーションをより人間同士のコミュニケーションに近づけることができる。
また、ユーザにとって、常に回答しなければならないという煩わしさを回避することができる。
エージェント装置としては、設定された時間内に回答がない場合に、無回答であることを移行条件として次のシーンに移行できるので、１つのシナリオが長時間実行中の状態になることを回避できる。このため、車両の移動等の状況変化により、新たに起動条件を満たしたシナリオが実行待機状態のままになることを回避することができる。
【００１７】
更に、シナリオ作成装置において、走行中か停車中か等の車両状態に応じて、シナリオの使用を許可するか否か（走行中実行条件）の設定を行う機能を設ける。
例えば、走行中実行条件（使用許可設定）の設定内容として、走行中は実行しない（シナリオの実行中に走行を開始した場合にはシナリオを終了する）設定、停車中はすべての画面要素を実行するが走行中は画面要素を構成する所定の項目が画面表示されないようにする設定等が可能である。
【００１８】
一方、エージェント装置では、シナリオに設定された走行中実行条件に従って、コミュニケーション中（シナリオ実行中）に走行し始めた場合、シナリオを中断したり、吹き出しや選択ボタン等の制限項目の表示を自動的に制限してコミュニケーション（シナリオの実行）を続けたりする。
【００１９】
例えば、ナビゲーション等運転に直接関係がなく、コミュニケーションを目的とした、運転者情報収集のシナリオ（趣味嗜好の質問）等の場合、シナリオ作成装置で、走行中は使用しない走行中実行条件をする。
すると、このシナリオに対してエージェント装置では、車両走行中には実行を開始せずに停車中にのみ実行を開始する。そして、停車中にシナリオの実行を開始し、その後走行し始めた場合、そのシナリオによるコミュニケーションを中断する。
【００２０】
一方、例えば、ナビゲーション等運転に関係する、お勧めのお店を紹介することを目的としたシナリオ等の場合、走行中実行条件としてシーンを構成する所定の項目毎に制限項目をシナリオ作成装置で設定する。
するとこのシナリオに対して、エージェント装置では、車両停車中は各シーンに対して全ての項目を表示するが、走行中は設定された制限項目の表示を自動で制限したうえでシナリオによるコミュニケーションを継続する。
シナリオ作成装置で設定が可能な制限項目としては、例えば、キャラクタが話す台詞を文字で表示する吹き出しや、音声認識できる単語を文字で表示する選択ボタンやリスト等が存在する。
【００２１】
このように、シナリオ作成装置では、走行中か停車中か否かによって、シナリオの実行をどのようにするか（中断、一部制限して継続）を各シナリオ毎に設定でき、エージェント装置では、シナリオに設定された走行中実行条件に従ったシナリオの実行を継続するようになっている。
従って、シナリオの内容に応じて、走行中に過度なコミュニケーションを行なわないようにでき、ユーザーの煩わしさも軽減される。そして、擬人化されたキャラクタとのコミュニケーションを、より人間同士のコミュニケーションに近づけることができる。
【００２２】
（２）実施形態の詳細
図１は、エージェント装置とシナリオ作成装置からなる全体のシステム構成を表したものである。
このシステムでは、本実施形態のエージェント装置１と、指定された規格でシナリオデータを作成するユーザ又は第三者であるシナリオデータ作成者のシナリオ作成装置２と、サーバ３等を使用したインターネット等の通信手段から構成されている。
シナリオ作成装置２では、シナリオエディタにより独自のシナリオデータを作成する。そして、独自のシナリオデータを作成したユーザは、ＤＶＤ−ＲＯＭ、ＩＣカード等の半導体記憶装置その他の記憶媒体７にシナリオデータを格納して、エージェント装置１に受け渡すことが可能である。そして、シナリオデータを受け取ったエージェント装置１では、記憶媒体駆動装置により記憶媒体７からシナリオデータを読み込んで、既に記憶しているシナリオデータに組み込むことで、シナリオ作成装置２で作成されたシナリオデータにしたがってエージェント装置１を動作させることが可能になる。なお、シナリオ作成装置２で作成するものは、エージェント装置１のユーザ自身でもよく、また、第三者でもよい。
また、エージェント装置１では、ユーザ自身や第三者が作成したシナリオデータを、インターネット等のネットワークを介して組み込み、また、メールに添付されたシナリオデータを組み込むことができる。
また、エージェント装置１のユーザに対してサービスの提供等を希望する第三者は、所定形式のシナリオデータを、例えば、シナリオエディタを使用してシナリオ作成装置２で作成し、ホームページに掲載してダウンロード可能にし、または電子メールの添付ファイルとしてエージェント装置１に送信する。エージェント装置１は、電子メールに添付されたシナリオデータ５を受信し、または、ユーザがサーバ３等の通信手段を介してシナリオデータファイル４をダウンロードするようになっている。また、エージェント装置１は、受信したシナリオデータの実行に従って取得されるユーザの回答（シナリオデータに対する回答メール）を、電子メール６の本文又は添付ファイルで、シナリオ作成者のシナリオ作成装置２に送信する。
【００２３】
まず、開発者やユーザによって作成されたシナリオに従ってエージェントが自律的に機能するエージェント装置１について、その構成と動作を説明する。
図２は、本実施形態におけるエージェント装置１の構成を表したブロック図である。
本実施形態におけるエージェント装置１は、車両に搭載されおり、車両内のユーザーとの間でコミュニケーションを行う機能や車両に対して所定の処理を行う車両制御機能等のエージェント機能の他、ユーザーに走行経路の案内等を行うナビゲーション機能も備えている。
本実施形態のエージェント装置１では、エージェント機能および、ナビゲーション機能を実現するための中央処理装置（１）、表示装置（２）、音声出力装置（３）、音声入力装置（４）、入力装置（５）、各種状況検出装置（６）、各種車載装置（７）、通信制御装置（８）、通信装置（９）、外部記憶装置（１０）を備えている。
【００２４】
中央処理装置（１）は、種々の演算処理を実行するＣＰＵ（１−１）、外部記憶装置（１０）からプログラムを読み込んで格納するフラッシュメモリ（１−２）、フラッシュメモリ（１−２）のプログラムチェック、更新処理を行なうプログラム（プログラム読み込み手段）を格納したＲＯＭ（１−３）、ＣＰＵ（１−１）がワーキングメモリとして演算処理中のデータを一時的に格納するＲＡＭ（１−４）、時計（１−５）、表示装置（２）への画面表示に使用する画像データが記憶された画像メモリ（１−７）、ＣＰＵ（１−１）からの表示出力制御信号に基づいて画像メモリ（１−７）から画像データを取り出し、画像処理を施して表示装置（２）に出力する画像プロセッサ（１−６）、ＣＰＵ（１−１）からの音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力する処理と、音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なう音声プロセッサ（１−８）、入力装置（５）による入力内容を受け取る入力装置Ｉ／Ｆ部（１−９）、各種状況を検出するための検出器類から情報を受け取るための各種入力Ｉ／Ｆ部（１−１０）、他の装置と情報のやり取りを行なう通信Ｉ／Ｆ部（１−１１）、ＣＤ−ＲＯＭやＩＣカード類、ハードディスク等といった外部記憶媒体（１０−２）からデータ及びプログラムを読み込んだりデータを書き込んだりする外部記憶装置（１０）を制御するための外部記憶装置制御部（１−１２）を備えている。
【００２５】
この中央処理装置（１）は、経路探索処理や、経路案内に必要な表示案内処理や、その他システム全体において必要な処理、本実施形態におけるエージェント処理（エージェントと運転者との各種コミュニケーションや操作代行、状況判断を行ないその結果に応じて自律的に行なう処理）を行うようになっている。
更新処理を行なうプログラム（プログラム読み込み手段）は、ＲＯＭ（１−３）以外にもフラッシュメモリ（１−２）に格納するようにしてもよい。
本実施形態におけるプログラムを含め、ＣＰＵ（１−１）で実行される全てのプログラムは、外部記憶媒体（１０−２）であるＣＤ−ＲＯＭ等に格納されてもよいし、それらプログラムの一部または全てが本体側のＲＯＭ（１−３）またはフラッシュメモリ（１−２）に格納するようにしてもよい。
この外部記憶媒体（１０−２）に記憶されたデータやプログラムが外部信号として中央処理装置（１）に入力されて演算処理されることにより、種々のエージェント機能及びナビゲーション機能が実現されるようになっている。
また、本実施形態の中央処理装置（１）は、起動条件（自律起動条件）を満たしていると判断された場合、画面要素推移体（シナリオ）を実行する、画面要素推移体実行手段を形成している。
【００２６】
表示装置（２）は、中央処理装置（１）の処理による経路案内用の道路地図や各種画像情報が表示されたり、キャラクタの各種行動（動画）及び画面構成のパーツで構成された画面要素推移体（シナリオ）が表示されたりするようになっている。
この表示装置（２）には、液晶表示装置、ＣＲＴ等の各種表示装置が使用される。
なお、この表示装置（２）は、例えばタッチパネル等の、入力装置（５）としての機能を兼ね備えたものとすることができる。
【００２７】
音声出力装置（３）は、中央処理装置（１）の処理によって声による経路案内を行なう場合の案内音声や、エージェントによる運転者との通常のコミュニケーション用の会話や運転者情報取得のための質問による音声や音が出力されるようになっている。
音声出力装置（３）は、音声認識処理において、音声認識を開始する際（音声入力装置（４）で入力データの取得を開始する際）に、ユーザに対して音声による入力が可能であることを示す開始音を出力するようになっている（開始音出力手段）。本実施形態では、開始音として「ピー」等の音を出力するようになっているが、ブザー音やチャイム音であってもよい。
音声出力装置（３）は、車内に配置された複数のスピーカで構成されている。これらは、オーディオ用のスピーカと兼用するようにしてもよい。
【００２８】
音声入力装置（４）は、運転者の音声を的確に収集するために指向性のある専用のマイクが使用されたりする。この音声入力装置（４）から入力されたアナログ信号を変換したデジタルの音声入力信号を使ってＣＰＵ（１−１）で音声認識処理が実行されるようになっている。
音声認識の対象となる音声としては、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話（運転者による応答を含む）等があげられ、音声入力装置はこれらの音声を入力する音声入力手段として機能する。
なお、音声認識が必要なシーンか否かについては各シーンデータにおいて、音声認識の指示が設定されている。そして、音声認識の指示が設定されているシーンのシーンデータには、音声認識の対象となる音声を認識するための辞書が指定されている。この音声認識の指示は、音声認識を「自動で開始する」、「自動で開始しない」、「エージェント装置（車載装置）が判断する」、のうちのいずれかが設定されている。音声認識の指示が「エージェント装置が判断する」である場合、エージェント装置は、運転者の負荷を走行中の道路状態（カーブ、交差点、直線等）や、運転動作状態（急加速中、急ブレーキ中、ステアリング操作中等）などから判断し、負荷が高い場合には音声認識を開始せず、負荷が低い場合には、開始音を出力した後に音声の入力を可能にする。
【００２９】
尚、音声出力装置（３）と音声入力装置（４）とでハンズフリーユニットを形成させて、通信制御装置（８）及び通信装置（９）を用いて通話を行なえるようにしてもよい。
また、音声入力装置（４）、音声プロセッサ（１−８）及び音声認識処理とを組み合わせることで、運転者が同乗者と会話中か否かを検出する会話検出手段や、運転者の発する音声を使って運転者の状況を検出する状況検出手段として機能させてもよい。
【００３０】
入力装置（５）は、目的地を設定する際に電話番号や地図上の座標などにて入力したり、目的地までの経路探索や経路案内を要求（リクエスト）するために使用される。また、入力装置（５）は、運転者情報を運転者が入力する場合や、エージェント機能の使用を開始する場合のトリガとしてとして使用される。さらに入力装置（５）は、エージェント機能による、エージェントとのコミュニケーションにおいて、エージェントからの問い合わせ等に対して運転者が応答するための１つの応答手段としても機能するようになっている。
入力装置（５）には、タッチパネル（スイッチとして機能）、キーボード、マウス、ライトペン、ジョイスティックなどの各種の装置が使用可能である。
また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。
リモコンには、画面上に表示されたカーソルの移動操作等を行なうジョイスティックの他、メニュー指定キー（ボタン）、テンキー等の各種キーが配置される。
また、上記の音声入力装置（４）を使った音声認識を入力装置の代わりに使用しても良い。
【００３１】
中央処理装置（１）は、入力装置Ｉ／Ｆ部（１−９）を介して入力装置（５）から受け取った内容を使ってＣＰＵ（１−１）が運転者による入力操作中か否かを検出すること、又は／及び音声認識結果を併用して各種機器の操作状況を検出する機能（機器操作状況検出手段）を備えるようにしてもよい。
【００３２】
図３は、各種状況検出装置（６）の構成を表したブロック図である。
各種状況検出装置（６）は、現在位置検出装置（６−１）と、交通状況情報受信装置（６−２）と、運転操作等の状況を検出するためにブレーキ検出器（６−３）と、サイドブレーキ（パーキングブレーキ）検出器（６−４）と、アクセル開度検出器（６−５）と、Ａ／Ｔのシフト位置検出器（６−６）と、ワイパ検出器（６−７）と、方向指示器検出器（６−８）と、ハザード検出器（６−９）と、イグニッション検出器（６−１０）を備えている。上記構成により、各種状況及び条件を検出することにより、検出手段が形成される。
また、各種状況検出装置（６）は、車両の速度（車速情報）を検出する車速センサ（６−１１）を備えており、該車速センサが検出した車速が０か否によって走行中であるか否かを判断することにより、本願発明における走行判断手段が形成される。
【００３３】
現在位置検出装置（６−１）は、車両の絶対位置（緯度、経度による）を検出するためのものであり、人工衛星を利用して車両の位置を測定するＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信装置（６−１−１）と、ＧＰＳの補正信号を受信するデータ送受信装置（６−１−２）と、方位センサ（６−１−３）と、舵角センサ（６−１−４）と、距離センサ（６−１−５）等が使用される。
ＧＰＳ受信装置（６−１−１）は単独で位置測定が可能であるが、ＧＰＳ受信装置（６−１−１）による受信が不可能な場所では、方位センサ（６−１−３）、舵角センサ（６−１−４）及び距離センサ（６−１−５）の少なくとも１つ用いた推測航法によって現在位置を検出するようになっている。また、データ送受信装置（６−１−２）を用いてＧＰＳの補正信号を受信することでＧＰＳ受信装置（６−１−１）による位置検出の精度を上げることができる。
方位センサ（６−１−３）は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差（移動距離の差）により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ（６−１−４）は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ（６−１−５）は、例えば、車輪の回転数を検出して計数し、または加速度を検出して２回積分するもの等の各種の方法が使用される。
距離センサ（６−１−５）と舵角センサ（６−１−４）は運転操作状況検出手段としても機能する。
【００３４】
交通状況情報受信装置（６−２）は、道路の混雑状況等を検出するためのものである。
交通情報受信装置（６−２）は、路上に配置されたビーコンから情報を受信するビーコン受信装置（６−２−１）と、ＦＭ放送電波を用いて情報を受信する装置（６−２−２）等が使用され、これらを用いて交通情報センターから渋滞情報や、交通規制情報等を受信する。
また、ビーコン受信装置（６−２−１）を現在位置検出手段として、現在位置検出装置（６−１）と併用してもよいものとする。
【００３５】
ブレーキ検出器（６−３）は、フットブレーキが踏み込み状態か否かを検出する。
サイドブレーキ（パーキングブレーキ）検出器（６−４）は、運転者がサイドブレーキを操作中か否か、及びサイドブレーキの状態（ＯＮかＯＦＦか）を検出する。
アクセル開度検出器（６−５）は、運転者がアクセルペダルをどれぐらい踏み込んでいるかを検出する。
シフト位置検出器（６−６）は、運転者がＡ／Ｔのシフトレバーを操作中か否か、及びシフトレバー位置を検出する。
ワイパ検出器（６−７）は、運転者がワイパを使用しているか否かを検出する。
【００３６】
方向指示器検出器（６−８）は、運転者が方向指示器の操作中であるか否か、及び方向指示器が点滅中か否かを検出する。
ハザード検出器（６−９）は、運転者がハザードを使用している状態か否かを検出する。
イグニッション検出器（６−１０）は、イグニッションスイッチがＯＮになっているか否かを検出する。
車速の検出には距離センサ（６−１−５）を使用することもできる。
各種状況検出装置（６）は、機器操作状況検出手段としてこれらの他にも、ヘッドランプやルームランプ等のランプ類の操作状況を検出するライト検出センサ、運転者のシートベルト着脱操作を検出するシートベルト検出センサ、その他のセンサを備えている。
【００３７】
図２に示されるように、ＧＰＳ受信装置（６−１−１）と、データ送受信装置（６−１−２）と、交通情報受信装置（６−２）は通信装置Ｉ／Ｆ部（１−１１）に接続され、他は各種入力Ｉ／Ｆ部（１−１０）に接続されている。
【００３８】
通信装置Ｉ／Ｆ部（１−１１）には、他にも通信制御装置（８）が接続できるようになっている。この通信制御装置（８）には、通信装置（９）（各種無線通信機器からなる携帯電話等）が接続されるようになっている。
これらを使って電話回線による通話の他、例えば車内での通信カラオケのために使用するカラオケデータを提供するような情報提供局との通信を行なったりすることもできるようになっている。
カラオケデータを提供する情報提供局の他にも、交通情報を提供する情報基地局との通信や、エージェント処理に用いるシナリオデータを提供する情報提供局と通信を、通信装置（９）と通信制御装置（８）を介して行うことも可能である。
【００３９】
本実施形態において中央処理装置（１）は、通信制御装置（８）を介してシナリオが添付された電子メールを受信することができるようになっている。
また、中央処理装置（１）には、インターネット上のホームページを表示するブラウザソフトを組み込み、ＣＰＵ（１−１）で処理させることが可能であり、通信制御装置（８）を介してホームページからシナリオを含めたデータをダウンロードすることができるようになっている。
なお、通信制御装置（８）は、通信装置（９）と一体になったものを使用してもよい。
【００４０】
また、中央処理装置（１）は、通信Ｉ／Ｆ部（１−１１）を通して車内通信を行なうことで他の車載装置（７）の操作状況を受け取ったり、また、車載装置に対する各種制御を行うようになっている。
例えば、中央処理装置（１）は、各種車載装置（７）であるエアコン装置から、運転者がエアコンの各種スイッチ等を操作中か否かの情報を受け取ったり、設定温度を上げるや、下げるといったようにエアコン装置を制御を行う。また、オーディオ装置から運転者がラジオ、ＣＤプレーヤ、カセットプレーヤー等のオーディオ機器を操作中か否か、及びオーディオ機器による音声が出力中か否かの情報を受け取ったり、出力音量を上げるや、下げるといったようにオーディオ装置の制御を行うようになっている。
【００４１】
外部記憶装置（１０）は、外部記憶媒体駆動部（１０−１）とその外部記憶媒体（１０−２）を備えている。外部記憶装置（１０）は、ＣＰＵ（１−１）からの指示で外部記憶装置制御部（１−１２）による制御のもとで外部記憶媒体（１０−２）からデータやプログラムの読み込み、及び外部記憶媒体（１０−２）へのデータやプログラムの書き込みを行うようになっている。
外部記憶媒体（１０−２）には、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光ディスク、磁気テープ、ＩＣカード類、光カード等の各種記憶媒体が使用され、使用する媒体ごとにそれぞれの外部記憶媒体駆動装置（１０−１）が使用される。
【００４２】
外部記憶装置（１０）は、システムにおいて複数個所持してもよいものとする。例えば、収集した個人情報である、運転者情報データ（１０−２−３−６）と、学習項目データ及び応答データ（１０−２−３−７）を持ち運びが容易なＩＣカードやフレキシブルディスクで構成し、その他のデータをＤＶＤ−ＲＯＭで構成するといった例が考えられる。こうすることで、他の車両を運転する場合にこれらを記憶させたＩＣカードからデータを読み出させて使用し、自分が過去に応対した状況を学習した状態のエージェントとコミュニケーションすることが可能になる。つまり、車両毎のエージェントではなく、運転者毎に固有な学習内容のエージェントを車両内に出現させることが可能になる。
また、シナリオデータ＋シナリオで使用する画像データ（１０−２−３−４）を一例としてＤＶＤ−ＲＯＭで持つ構成にした場合でも、ＩＣカードを使って追加することも可能になっている。
これにより、ユーザ各自にとって固有のオリジナルシナリオを加えることが可能である。
このように、画面要素推移体（シナリオ）及び画面要素推移体の起動条件を外部から記憶することにより、本願発明の画面要素推移記憶手段及びキャラクタ画像を含む画面構成、及び、キャラクタの画像と共に実行される制御内容を記憶することにより、本願発明のキャラクタ記憶手段が形成される。
【００４３】
ＣＰＵ（１−１）は各種エージェント機能やナビゲーション機能を実現するプログラム（１０−２−１）や、演算処理に使用するエージェントデータ（１０−２−３）とナビゲーションデータ（１０−２−２）を、上記構成例で示すＤＶＤ−ＲＯＭやＩＣカード等から別の外部記憶装置（例えばハードディスク装置等）に格納（インストール）し、この記憶装置から必要なプログラム等をフラッシュメモリ（１−２）に読み込んで（ロードして）実行するようにしてもよいし、演算処理に必要なデータをこの記憶装置からＲＡＭ（１−４）に読み込んで（ロードして）実行するようにしてもよい。
【００４４】
次に、本発明におけるプログラムを含めたＣＰＵ（１−１）で実行されるプログラムの構成について説明する。
図４は、ＣＰＵ（１−１）でプログラムが実行されることにより実現されるエージェント処理部（１０１）と、全体処理部（１０２）との関係を表したものである。
本実施例では、種々のナビゲーション機能を実現する全体処理部（１０２）に、エージェント機能を実現するエージェント処理部（１０１）を加えることでエージェント機能付きナビゲーション装置を実現する構成になっている。
【００４５】
エージェント処理部（１０１）と全体処理部（１０２）は、互いの処理データをやり取りするためのＩ／Ｆ部をそれぞれが持っており、互いの処理データを取得し合えるようになっている。
例えば、エージェント処理部（１０１）は、シナリオデータに従って運転者とのコミュニケーションを実行した結果、運転者が設定したい目的地データを取得した場合に、このデータを全体処理部（１０２）に供給するようになっている。全体処理部（１０２）では、取得した目的地データにより経路探索をし、作成した走行経路データに基づく経路案内を行なう。この経路案内処理において、画像や音声による進路変更方向等の案内を行なう場合に、案内に必要なデータを全体処理部（１０２）からエージェント処理部（１０１）に供給し、走行経路案内をするシナリオをデータ化したシナリオデータに従ってエージェントが案内することも可能である。
【００４６】
図５は、エージェント処理部（１０１）の構成を表したものである。
エージェント処理部（１０１）は、シナリオ駆動部（１０１−１）と、自律起動判断部（１０１−２）と、学習部（１０１−３）と、キャラクタ心理部（１０１−４）と、描画・音声出力部（１０１−５）と、音声認識部（１０１−７）と、エージェントＯＳ部（１０１−８）と、外部Ｉ／Ｆ部（１０１−９）とを備えている。
シナリオ駆動部（１０１−１）は、シナリオデータ（１０−２−３−４）を読み込み、そのシナリオデータに基づいて各処理部にメッセージ通信等を使って指示（各処理部が提供する機能を使用）する。シナリオ駆動部（１０１−１）は、シナリオの実行を管理し運転者に各種エージェント機能を提供するといったエージェント処理部の中心的な処理を行う。
【００４７】
自律起動判断部（１０１−２）は、シナリオデータ（１０−２−３−４）にある各シナリオの自律起動条件データを保持し、エージェントＯＳ部（１０１−８）からだされる定期的な自律起動判断指示により、時間、位置、状態等の各種条件と各種状況との比較、判断を行なっている。
条件が一致した場合に、自律起動判断部（１０１−２）はシナリオ駆動部（１０１−１）に対し、条件が一致したシナリオの実行要求の指示を出す。
自律起動条件と比較するための各種状況はエージェントＯＳ部（１０１−８）及び学習部（１０１−３）から入手している。
また、定期的な自律起動判断指示以外にも、状況の変化が大きいとされる場合は、エージェントＯＳ部（１０１−８）から自律起動判断指示が出されるので、自律起動判断部（１０１−２）は、自律起動判断処理を行なうようになっている。状況の変化が大きいとされる場合とは、例えば運転者が目的地設定を行なった場合、ナビゲーション機能による走行案内経路をはずれた場合、シナリオデータが追加された場合、シナリオデータが削除された場合等がある。
【００４８】
図５において、学習部（１０１−３）は、エージェントとのコミュニケーションにおいて運転者の選択や応答によって入手した項目（実行結果や実行履歴）を運転者情報データ（１０−２−３−６）や、学習項目データ及び応答データ（１０−２−３−７）として格納する。学習部（１０１−３）は、シナリオが異なるシーンで終了する場合の終了の仕方を示すエンドＩＤも入手して応答データ（１０−２−３−７）として格納する。これら入手した項目は、ＲＡＭ（１−４）上に格納されているが、外部記憶媒体（１０−２）であるＩＣカード等にも出力できるようになっている。
また、学習部（１０１−３）は、エージェントＯＳ部（１０１−８）から状況の変化を入手して運転操作に関する情報を記録する。例えば、運転者による乗車時間帯や、乗車頻度等の各種状況を判断するために、電源ＯＮ（イグニッションＯＮ）の日時を過去１０回分記憶しておいたりもする。格納された情報は、例えばシナリオ駆動部（１０１−１）に提供されシナリオの展開に変化を与えるために使用されたり、自律起動判断の比較に使用されたりする。
なお、また、本実施形態における学習部（１０１−３）は、運転者情報の保持・参照も兼務しているが、運転者情報部として独立させてもよい。
【００４９】
キャラクタ心理部（１０１−４）は、エージェントＯＳ部（１０１−８）が管理している現在状況を入手し、メンタルモデル変更条件データに基づき、キャラクタの心理状態を表す５つのパラメータを自律的に変更する。
キャラクタの心理状態は、元気、友好、従順、自信、モラルの各パラメータで表され、各パラメータは例えば０〜１００の値で表わされるようになっている。各パラメータは、車両状況（車両自体の状況、運転者の応答や反応、同乗者の有無、対向車等を含む車両の状況）の判断と学習をし、各時点での車両状況から、記憶された各パラメータの値を変化させるようになっている。例えば、運転者からのねぎらいの言葉が認識された場合には友好のパラメータの値が１上昇する等、段階的に変化するようになっている。
また、シナリオ駆動部からの指示でもキャラクタの心理状態を表す５つのパラメータを変化させる。
さらに、このキャラクタ心理部（１０１−４）は、５つのパラメータを使用して、キャラクタの心理状態を判断する。判断された心理状態は、例えばシナリオ駆動部（１０１−１）に提供されシナリオの展開に変化を与えるために使用されたり、描画・音声出力部（１０１−５）に提供されキャラクタの各種行動（動作）に変化を与えるために使用されたりする。
【００５０】
描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）からの指示で選択ボタンやタイトル等のパーツから構成される画面を表示するための制御信号を作成する。また、シナリオ駆動部（１０１−１）からの指示で、シーンデータによる表示状態に対応するキャラクタの各種行動（動作）を表示するための制御信号も作成する。
本実施形態では、これらの制御信号は、エージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある画像プロセッサへの指示を行なう処理部を通して画像プロセッサ（１−６）へ伝わり画像処理を施し表示装置（２）に表示されるが、全体処理部（１０２）を通さずにエージェントＯＳ部（１０１−８）において画像プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
【００５１】
描画・音声出力部（１０１−５）は、また、シナリオ駆動部（１０１−１）からの指示でエージェントが運転者とコミュニケーションを行なう際の台詞を出力するための制御信号を作成する。また、シナリオ駆動部（１０１−１）からの指示で各種効果音を出力するための制御信号も作成する。
本実施形態では、これらはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある音声プロセッサへの指示を行なう処理部を通して音声プロセッサ（１−８）へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力されるが、全体処理部（１０２）を通さずにエージェントＯＳ部（１０１−８）において音声プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
【００５２】
なお、本実施形態の描画・音声出力部（１０１−５）は、各シーンにおけるキャラクタの動作描画機能と音声出力機能を備えているが、描画部（描画機能部）と、音声出力部（音声出力機能部）とを別々に構成するようにしてもよい。
【００５３】
音声認識部（１０１−７）は、シナリオ駆動部（１０１−１）からの指示により、全体処理部（１０２）中の音声認識処理部に音声認識辞書を作成させるための制御信号を発する。また、音声認識部（１０１−７）は、シナリオ駆動部（１０１−１）からの指示で音声認識処理を開始させたり停止させたりする制御信号も発する。
本実施形態では、これらはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から、全体処理部（１０２）内にある音声認識処理部に伝えられる。
この音声認識処理部は、音声認識処理を開始する指示及び停止する指示を、音声プロセッサ（１−８）に伝え、音声プロセッサ（１−８）は音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なうことになっている。
音声入力信号が入力されると、音声認識処理部は、前記デジタルの音声入力信号を取得し、それをもとに音声認識処理部は認識処理を行ない、その結果は先ほどの経路と逆の流れで音声認識部（１０１−７）に伝えられる。音声認識部（１０１−７）は、音声認識結果をシナリオ駆動部（１０１−１）に通知する。
以上の構成により、音声を認識する音声認識手段が形成される。
【００５４】
エージェントＯＳ部（１０１−８）は、時間、場所、各種入力等の状況の変化（シナリオの追加も含む）を取得して現在の状況を管理し、状況の変化に対して必要に応じてメッセージ通信にて各処理部に通知する。状況の変化は、外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）から供給されたり、問い合わせたりして入手する。
入手される情報は、各種状況検出装置（６）による検出結果等を、各種入力Ｉ／Ｆ部（１−１０）と、通信Ｉ／Ｆ部（１−１１）より取り込みＲＡＭ（１−４）に書き込まれたものである。入力装置（５）を使って入力された内容も、外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）から供給され、その内容を必要に応じてメッセージ通信にて各処理部に通知する。
また、エージェントＯＳ部（１０１−８）は、他にも各種のライブラリを持っており、各処理部の間でデータのやり取りなどを行なうメッセージ通信の提供、及び現在時刻の提供、メモリの管理を行ない各処理部が処理を行なう際に必要なメモリの提供、外部記憶媒体からのデータ読み込みや書き込み機能の提供などを行なう。
【００５５】
またエージェントＯＳ部（１０１−８）は、時間に関する処理を行ないタイマーの役割をして特定時間の経過通知を行うようになっている。すなわち、エージェントＯＳ部（１０１−８）は、計時手段として機能し、シナリオの各シーンにおいて設定されたタイマー設定時間を計時する。計時開始と計時するタイマー設定時間は、シナリオ駆動部（１０１−１）からの通知され、タイマー設定時間が経過するとエージェントＯＳ部（１０１−８）は、設定時間が経過したことをシナリオ駆動部（１０１−１）に通知する。
【００５６】
エージェントＯＳ部（１０１−８）は、自律起動判断部（１０１−２）に対して、定期的に自律起動判断指示を出すようになっている。この定期的な自律起動判断指示は、所定時間毎に出される。所定時間としては、定期的に出される自律起動判断指示によって定期的に処理される自律起動判断処理が、中央処理装置（１）全体の他の処理に影響しない範囲でできるだけ短い時間であることが望ましく、本実施形態では５秒間隔に設定されている。この所定時間は入力装置（５）からの操作によってユーザーが当該所定時間を任意に変更することができるようにしてもよい。
また、エージェントＯＳ部（１０１−８）は、状況の変化が大きいと判断された場合にも、自律起動判断部（１０１−２）に対して、定期的に自律起動判断指示を出すようになっている。状況の変化が大きいとされる場合とは、例えば運転者が目的地設定を行なった場合、案内経路から車両がはずれた場合、シナリオデータが追加された場合、シナリオデータが削除された場合等であり、あらかじめ該当する項目が規定されＲＡＭ（１−４）等に記憶されている。
【００５７】
更に、エージェントＯＳ部（１０１−８）は、状況判断機能により、車速センサ（６−１１）に車両が走行状態か（車速ｖ≠０の場合）、停車状態か（車速ｖ＝０の場合）を定期的（例えば、５秒間隔）確認し、停車状態から走行状態に変化した場合（前回判定時が０ｋｍ／ｈで今回判定時が０ｋｍ／ｈでない場合）に、メッセージにより、シナリオ駆動部（１０１−１）に走行開始を通知する。
【００５８】
外部Ｉ／Ｆ部（１０１−９）は、エージェント処理部（１０１）と全体処理部（１０２）との間のインターフェースになっている（全体処理部（１０２）には受け手であるエージェントＩ／Ｆ部が存在する）。エージェント処理において利用するナビゲーション情報等各種情報の取得と、エージェント処理部から全体処理部に制御信号を伝えてナビゲーションを制御したりする。
この外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）に通知して行なっている、画像プロセッサ（１−６）への描画指示や、音声プロセッサ（１−８）への音声出力指示、入力装置Ｉ／Ｆ部（１−９）からの入力情報の取得等、他プロセッサ及びＩ／Ｆ部への指示を行なう処理部をエージェント処理部に持たせ直接指示をしたり情報を取得したりするようにしてもよい。
【００５９】
図４における全体処理部（１０２）は、図示しないが地図描画部、経路探索部、経路案内部、現在位置計算部、目的地設定操作制御部等からなりナビゲーションの信号出力処理を行なうアプリケーション部、及び地図表示や経路案内に必要な表示出力制御、音声案内に必要な音声出力制御を行なうためのプログラム等のＯＳ部等で構成されている。
また、この全体処理部（１０２）には音声認識を行なう音声認識処理部、テキストデータを音声データに変換する処理部も存在する。ブラウザ機能やメール機能を追加する場合の当該処理部はこの全体処理部（１０２）に追加される。
もしくは、エージェント処理部（１０１）がブラウザ機能やメール機能を持つような構成にしてもよい。
また、本実施形態ではエージェント処理を実行するための拡張機能が全体処理部（１０２）に加えられている。この拡張機能には、例えばナビゲーションデータの中にある道路データと現在位置から、走行中の道路の種別（高速道路、国道、等）を検出する手段や走行中の道路のカーブ状況（カーブ手前、カーブ終了）を検出する手段等が存在する。
【００６０】
次に、外部記憶媒体（１０−２）に格納されているデータ構成（プログラムを含む）について説明する。
図６は、外部記憶媒体（１０−２）に集録されている情報を概念的に表したものである。
外部記憶媒体（１０−２）には本実施形態による各種エージェント機能やナビゲーション機能を実現するプログラム（１０−２−１）、及び必要な各種データとして、エージェントデータ（１０−２−３）とナビゲーションデータ（１０−２−２）が格納されている。
ナビゲーションデータ（１０−２−２）は、地図描画、経路探索、経路案内、目的地設定操作等に必要な各種データで構成されている。例としては、経路案内に必要な地図データ（道路地図、住宅地図、建造物形状地図等）、交差点データ、ノードデータ、道路データ、写真データ、登録地点データ、目的地点データ、案内道路データ、詳細目的地データ、目的地読みデータ、電話番号データ、住所データ、その他のデータのファイルからなりナビゲーション装置に必要なすべてのデータが記憶されている。また、必要に応じて通信地域データ等も記憶される。
【００６１】
描画地図データは、表示装置（２）に描画される描画地図データであり、この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
交差点データは、各交差点を特定する交差点番号、交差点名、交差点の座標（緯度と経度）、その交差点が始点や終点になっている道路の番号、および信号の有無などで構成されている。
ノードデータは、各道路における各地点の座標を指定する緯度、経度などの情報から構成されている。すなわち、このデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼び、複数あるノード列のそれぞれの間をアークで接続することによって道路が表現される。
道路データは、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などで構成されている。
写真データは、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してデジタル、アナログ、またはネガフィルムの形式で存在する。
【００６２】
通信地域データは、通信制御装置（８）に接続され又は無接続で車内において使用される通信装置（９）である携帯電話が、車内から通信できる地域を表示装置（２）に表示したり、その通信できる地域を経路探索の際に使用したりするための通信地域データが、携帯電話のタイプ別に存在する。
エージェントデータ（１０−２−３）は、メンタルモデルデータ（１０−２−３−１）と、お勧め提案データ　（１０−２−３−３）と、知識データ（１０−２−３−２）と、シナリオデータ（１０−２−３−４）と、キャラクタデータ（１０−２−３−５）と、運転者情報データ（１０−２−３−６）と、学習項目データ及び応答データ（１０−２−３−７）と、で構成されている。
【００６３】
メンタルモデルデータ（１０−２−３−１）は、キャラクタの心理状態を表す５つのパラメータ（友好度，従順度，自信度，モラル，元気度）及びメンタルモデル変更条件データとで構成されている。メンタルモデル変更条件データは、前記の各パラメータの指数を増減する条件と、変化するパラメータ及びその変化の度合いが記されたものである。このテーブルに従って、各パラメータが増減しキャラクタの心理状態を表している。
お勧め提案データ（１０−２−３−３）は、運転者にお勧め情報としてレストラン等を提案する場合に使用する。このお勧め提案データ（１０−２−３−３）にはレストラン名称、読み上げデータ、レストランのジャンルデータ、雰囲気データ、料金データ、地点データ、…等で構成され運転者情報データ（１０−２−３−６）及び知識データ（１０−２−３−２）を基にして運転者にお勧めのレストランを検索して提案したりする。
レストラン以外にも観光地、休憩場所などが存在する。
知識データ（１０−２−３−２）は、統計データを基に年齢、性別による好みの傾向や、同乗者の有無によるシチュエーションによる選択傾向、場所による名産等を含んだ選択傾向、時期や時間による選択傾向をデータ化したものである。レストランの選択傾向、観光地の選択傾向、休憩場所の選択傾向、…等さまざまな選択傾向が存在する。
【００６４】
シナリオデータ（１０−２−３−４）は、エージェントが運転者とのコミュニケーションを取ったりする時の、状況に応じたエージェントの行為や質問内容、どういった状況において自律的にエージェントから情報提供を行なうのかといった条件、車両の走行に対してそのシナリオの実行をどのように扱うのかについて規定した走行中実行条件等が規定されている。
シナリオデータ（１０−２−３−４）には、キャラクタとは別に表示する画像データ（後述するシーン表示画面５４（図１２参照）に表示する画像データ）も保存される。
【００６５】
図７は、実機形式シナリオデータの構成を表したものである。
シナリオデータ（１０−２−３−４）は、複数のシナリオで構成されており、それらを管理するためのデータと、個々のシナリオの内容を示すデータとで構成されている。
集録シナリオの管理データには、このシナリオデータの有効期限、作成された日や作成者等といった情報と、シナリオデータに収録されている個々のシナリオを全体的に管理するためのデータ（シナリオ番号、シナリオ名称、優先順位（プライオリティ））と、シナリオファイルに収録されているシナリオの自律起動条件データと、シナリオファイルに収録されているシナリオの中で運転者が入力装置（５）等を使って手動起動させることができるシナリオ一覧データが記されている。
【００６６】
個々のシナリオの内容を示すデータには、それぞれのシナリオを管理する管理データと、シナリオを構成する個々のシーンの内容を示すシーンデータとで構成されている。
それぞれのシナリオを管理するデータには、シナリオに関する情報と、このシナリオで使用する音声認識辞書を作成するためのテキスト情報と、シナリオを構成する各シーンデータを全体的に管理するためのデータが記されている。
【００６７】
また、各シナリオを管理するデータには、走行中実行条件（使用許可設定）が規定されている。走行中実行条件としては、走行中不実行、と走行中制限実行のいずれか一方が規定されている。
走行中不実行が設定されたシナリオは、車両停車中にだけ実行が可能で、走行中は実行しないシナリオである。従って、このシナリオによるコミュニケーションの実行途中（車両停車中）に車両の走行を開始すると、実行中のシナリオは中断されることになる。
【００６８】
一方、走行中制限実行が設定されたシナリオは、車両の走行中であっても実行を開始し、また、途中で車両が走行開始しても中断されることなく継続する。
しかし、走行中は、停車中では表示されるシーンの各項目のうち、走行中制限実行の制限項目として設定されている項目（シーンの一部を構成する項目）の画面表示が制限される（表示されない）。
走行中にシーン画面への表示が制限される制限項目としては、走行中は常に表示されない走行中常時非表示項目と、走行中非表示選択項目とがある。走行中常時非表示項目はユーザーが表示、非表示を選択できない項目で、走行中非表示選択項目は表示許可の選択とすることもできるがユーザーが非表示を選択した項目である。ただし、シナリオデータ上ではいずれも制限項目として区別はない。
走行中常時非表示項目としては、例えば、ボタン付きリストボックス、スライダーバー等のように、運転者が画面から詳細な操作を必要とする詳細操作項目が該当する。また、走行中非表示選択項目としては、タイトル、選択ボタン、キャラクタ台詞の吹き出し等の運転者が画面確認を必要とする画面確認項目や画面上で簡単な操作を行う簡易操作項目等が該当する。
なお、画面上で操作を必要とする項目（簡易操作項目と詳細操作項目）は全て常時非表示項目としてもよい。このように、走行中であると判断された場合、画面要素の少なくとも一部の実行を、走行中でない（停車中の）画面要素と比較して制限する（表示しない）ことにより、本願発明における実行制限手段が形成される。
【００６９】
シーンデータは、シーンを管理するデータと、画面構成データと、キャラクタ動作データと、各種処理データと、展開管理データとで構成されている。
シーンを管理するデータには、そのシーンに関する情報とシーンデータに属する各データセクションを管理するデータが記されている。
画面構成データには、このシーンにおいて表示装置（２）に表示する画面構成の各パーツのデータ（大きさや表示位置等）が記されている。
キャラクタ動作データには、このシーンにおいてキャラクタが行なう動作の指示データと、話す内容に関する指示データが記されている。動作の指示データには、シナリオデータで直接各キャラクタの表現手段で指示するものと、キャラクタに表現させたい状態で指示するものの２種類のうちどちらかで指示データが記されている。
【００７０】
各種処理データには、このシーンにおいて外部機器を制御（処理をさせる）する情報や、ナビゲーションを制御する情報や、他のシナリオを実行する指示や、タイマー設定情報や、キャラクタ心理を示すメンタルモデルのパラメータを変化させる情報等が記されている。
タイマー設定情報には、シーンの時間を設定する情報としてタイマー設定時間と、タイマー設定条件が含まれる。タイマー設定条件は、車両の状態によってタイマーを設定するか否かを規定する条件で、本実施形態では、（ａ）走行中も停車中も常に設定する、（ｂ）走行中のみ設定する、（ｃ）停車中のみ設定する、（ｄ）常にタイマー設定をしない（この場合にはタイマー設定時間は規定されない）、の各場合が存在する。
【００７１】
外部機器とは通信Ｉ／Ｆ部（１−１１）に接続されている各機器等があり、例えば通信制御装置がある。制御する内容は、特定の電話番号に電話をかけるや、通話を切断する等がある。
ナビゲーションの制御内容には、例えばこの地点を目的地に設定するといったものが存在する。
メンタルモデルのパラメータを変化させる指示としては、友好度を１減少する等がある。
【００７２】
展開管理データには、このシーンで何かイベントが発生した場合に、シナリオを終了するのか、次に進むシーンが何であるか、もしくは何も展開しないのか、といった情報が記述されている。
ここでいうイベントとは、シーンの展開を次に進めるためのもので規定された何らかのアクションを示している。例えばキャラクタの台詞が終了した、設定しておいた時間が経過した、運転者がこのシーンで質問した内容に対して何らかの回答を選択した（例えば「はい」ｏｒ「いいえ」の質問に「はい」と答えた）、等が存在する。
このイベントに加えて学習した結果によって展開を変えることもできる。
例えば、質問に対し運転者が「はい」を選択した場合で通算使用回数が１０回未満の時といった使い方ができる。
学習した結果のほかに、日時、メンタルモデルを使ったキャラクタの心理状態、運転者情報、等も使用して展開を変えることもできるようになっている。
【００７３】
図８はキャラクタデータの内容を概念的に表したものである。
キャラクタデータ（１０−２−３−５）には、複数のキャラクタのデータが格納されており、運転者の好みによって入力装置（５）等から選択することができるようになっている。
キャラクタデータ（１０−２−３−５）は、各キャラクタＡ、Ｂ、…毎に、キャラクタ画像データ１０２３５１と、キャラクタ音声データ１０２３５２と、キャラクタ画像選択データ１０２３５３とを備えている。
【００７４】
キャラクタ画像データ１０２３５１は、シナリオにより指定された各シーンで表示されるキャラクタの状態を表す静止画像や、動作を表す動画（アニメーション）等が格納されている。例えば、キャラクタがお辞儀をする動画、うなずく動画、右手を挙げる動画等が格納されている。
これらの各静止画像や動画には画像コードが付けられている。
キャラクタ画像データ１０２３５１は、画像記憶手段として機能する。
キャラクタ画像データ１０２３５１として使用するキャラクタ（エージェントの容姿）としては、人間（男性、女性）的な容姿である必要はない。例えば、非人間型のエージェントとして、タコや、ひよこ、犬、猫、カエル、ネズミ等の動物自体の容姿や、人間的に図案化（イラスト化）した動物の容姿であってもよく、更にロボット的な容姿や、フロアスタンドや木などの容姿や、特定のキャラクタの容姿等であってもよい。
またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく（大人の容姿に変化し、更に老人の容姿に変化していく）ようにしてもよい。
【００７５】
キャラクタ音声データ１０２３５２は、選択されたシナリオのシーンに従って、エージェントが運転者と会話等を行うための音声データが格納されている。
エージェントによる会話の音声データは、エージェントが運転者情報を収集するための質問をするための音声データも格納されている。例としては、「こんにちは」、「よろしくね」、「またね」等が格納されている。
これらの各音声には音声コードが付けられている。
【００７６】
キャラクタ画像選択データ１０２３５３は、個々の表示状態に対して各キャラクタの表現方法（動作）を表す画像データを割り当てた変換テーブルである。
シナリオデータ（１０−２−３−４）は、キャラクタの種類によらない共通化した表示状態により各シーンの内容を規定している。
このためキャラクタ画像選択データ１０２３５３は、共通表現されたシーンの表示状態を、ユーザが選択したキャラクタに対する個別の動作内容を表示する画像データに変換するための変換テーブルであり、画像選択手段の一部として機能する。
【００７７】
図９は、キャラクタ画像選択データ１０２３５３の内容を概念的に表したものである。
この図９では、各シーンデータで規定されている状態指示番号と、対応する統一の表示状態と、各キャラクタに対する動作内容が表示されているが、実際のキャラクタ画像選択データ１０２３５３には、状態指示番号と、状態指示番号に対応する動作内容を表示するための画像コードとが、各キャラクタ毎に記憶されている。状態指示番号には、キャラクタ画像データ１０２３５１の各静止画像や動画につけられた画像コードが対応つけられている。
図９に示した、変換テーブルを用いることにより、同じ表現したい状態に対してキャラクタによって異なる動作だったとしても共通の動作指示（表示状態の指定）ができるようになる。
図９に示されるように、例えば、日本人の日向えりの場合、「出会いの挨拶をする」という指示は「お辞儀をする」と規定されており、「話を聞く」という指示は「右手を耳にあてる」と規定されている。
これが欧米人のレディーの場合「出会いの挨拶をする」という指示は「右手を顔の横まで上げる」と規定され、ロボットのｉ−ｂａｌｌの場合「出会いの挨拶をする」という指示は「頭部メイン画面上をレーザースキャンが上下に移動する」と規定されている。
このように、エージェント装置では、同一のシナリオに対して、キャラクタの選択を変更することで、選択したキャラクタに対応した個別の動作をさせることが可能になる。
【００７８】
図１０は、運転者情報データを概念的に示したものである。
運転者情報データ（１０−２−３−６）は、運転者に関する情報で、エージェントのコミュニケーションをより運転者の希望や趣味、嗜好に合ったものとするために利用される。
運転者情報データ（１０−２−３−６）には、運転者毎に情報を格納するための運転者のＩＤ（識別情報）、名前、年齢、性別、結婚（既婚か未婚か）、子供の有無と人数と年齢からなる運転者基礎データや、趣味嗜好データとが格納されるようになっている。
趣味嗜好データとしては、スポーツ、飲食、旅行等の大項目と、これら大項目の概念に含まれる詳細項目とから構成されている。例えば、大項目スポーツには、野球が好きか嫌いか、サッカーが好きか嫌いか、ゴルフが好きか嫌いか等のデータが格納されるようになっている。
本実施形態では、これらの各運転者情報には優先順位が決められており、エージェントは、未だ格納されていない運転者情報のうち優先順位が高い順に運転者に質問をするようになっている。運転者基礎データは、趣味嗜好データよりも優先順位が高くなっている。
【００７９】
運転者情報データ（１０−２−３−６）は、その車両を運転する運転者が複数存在する場合には、運転者毎に作成される。そして、運転者を特定して該当する運転者情報が使用される。
運転者の特定は、例えば、電源オン時に、全運転者に共通するエージェントが登場して運転者の問い合わせをし、その回答から特定する。運転者の問い合わせは、入力済み運転者の氏名とその他を選択するボタンを表示装置に表示し、選択を促す音声を出力する。その他が選択された場合には新規ユーザ登録画面を表示する。
なお、体重、運転席（シート）の固定位置（前後位置、背もたれの角度）、ルームミラーの角度、視線の高さ、顔写真をデジタル化したデータ、音声の特徴パラメータＩＤカード等といった運転者固有の情報を少なくとも１つ運転者情報データ（１０−２−３−６）に格納しておき、これらの情報から運転者を特定するようにしてもよい。
【００８０】
図６における学習項目データ及び応答データ（１０−２−３−７）は、エージェントとのコミュニケーションにおいて運転者の選択や応答によってエージェントが学習した結果を格納するデータである。
従って、学習項目データ及び応答データ（１０−２−３−７）は、運転者毎にそのデータが格納・更新（学習）されるようになっている。
例えば、シナリオの使用状況として前回の選択結果や前回使用した日時、通算の使用回数等が格納される。
この学習内容に従って、例えば、毎回ナビ電源ＯＮ時に挨拶をするシナリオにおいて、前回使用から５分以内の場合に「つい先ほどにもお会いしましたね」と対応したり、逆に１ヶ月以上間があいている場合には「お久しぶりですね」と対応したりする。
【００８１】
また、どの球団のファンであるか質問した結果の回答（無回答という対応も含めて）を格納したりもする。この応答の結果によって無回答の場合はもう一度どの球団のファンか質問したり、特定の球団が記憶されている場合はその球団についての会話を行なったりと対応を変えることができる。
無回答という対応の判定方法のとして、本実施形態では、タイマー設定時間内に回答がなくてタイマー通知（設定時間が経過）となった場合に無回答と判定する。
タイマー設定時間は、シナリオデータのシーンデータとして、タイマー設定情報中に規定されている。
【００８２】
次に、以上のように構成されたエージェント装置による、シナリオの実行動作について説明する。
図１１は、エージェント装置により車室内に登場させるエージェントのキャラクタを選択する場合の選択画面を表したものである。
エージェント装置１は、表示装置（２）に表示されるコミュニケーション設定画面（図１１（ａ））からキャラクタを選択することができるようになっている。
図１１（ａ）において、ユーザによってキャラクタの表示の「する」ボタンが選択されると、図１１（ｂ）に示すように、キャラクタデータ（１０−２−３−５）に格納されている各キャラクタの名称が選択可能にリスト表示される（キャラクタ選択手段）。ユーザはこのリスト表示の中から、好みのキャラクタを選択する。選択は該当するキャラクタ名称の欄を選択するか、キャラクタ名称を音声入力することで選択する。
キャラクタが選択されると、ユーザが選択したキャラクタを特定するデータが全体処理部（１０２）から外部Ｉ／Ｆ（１０１−９）を介して伝えられて、エージェントＯＳ部（１０１−８）によって管理される。
なお、ユーザが選択したキャラクタのデータが存在しない場合、いずれか１のキャラクタ、本実施形態では「日向えり」がデフォルト値として設定されており、デフォルトのキャラクタがエージェントＯＳ部（１０１−８）により管理される（設定手段）。
【００８３】
図１２は、シナリオのシーンデータに基づいて表示装置（２）に表示されるシーン画面の一例を表したものである。
この図１２に示されるシーン画面は、未入力の運転者情報である趣味嗜好（食事）を取得するために運転者から質問をする質問シナリオのシーン画面（シーン番号０ｘ０００１）である。
シーン画面は、図１２に示されるように、エージェントの画像（静止画、動画）が表示されるエージェント表示画面５１、エージェントの音声に対応した文字が表示される吹き出し画面５２、タイトル画面５３、及び、各シーン固有の画像データ（実画像データの画像や回答選択ボタン等）が表示されるシーン表示画面５４から構成されている。
エージェント表示画面５１に表示されるエージェントは、ユーザが選択したキャラクタ、又はデフォルトのキャラクタである。
【００８４】
エージェント処理部（１０１）のシナリオ駆動部（１０１−１）は、趣味嗜好（食事）の質問シナリオを起動すると、最初にシーンヘッダで指定されるシーンの画面構成データをシナリオデータ＋画像（１０−２−３−４）から読み出してシーン画面を表示装置（２）に表示すると共に、質問文に相当する質問音声を音声出力装置（３）から出力するようになっている。
図１２（ａ）の質問シナリオのシーン画面では、吹き出し画面５２に「どのジャンルの食事が好きですか？」と表示される。なお、吹き出し画面５２の表示に対応する音声が音声出力装置（３）から出力されるようになっている。
また、図１２（ａ）のシーン画面におけるシーン表示画面５４には、４つの回答選択ボタン５４ａの「和食」、「洋食」、「中華」、「特に無し」が表示されている。
【００８５】
この運転者に対する質問のシーンには、運転者の回答に応じた複数のシーンが分岐して続くようになっている。各シーンの分岐および続くシーンの特定については、各シーンの展開管理データに従って、運転者の回答に応じて決定される。すなわち、図１２（ａ）のシーン画面（シーン番号０ｘ０００１）で運転者が回答選択ボタン「和食」を選択すると、シナリオ駆動部（１０１−１）は、回答に応じたシーン画面（ｂ）に分岐して表示される。このシーン画面（ｂ）では、選択された「和食」がタイトル画面５３に表示されると共に、吹き出し画面には「和食がすきなのですね。」と表示され、なお、分岐後の和食のシーン画面では、シナリオデータから読み出された和食の実画像５４ｂがシーン表示画面５４に表示される。そしてシナリオ駆動部（１０１−１）により、運転者の回答、例えば、「和食」が運転者情報として、運転者情報３０７の趣味嗜好データに格納されるようになっている。
このようにして、シナリオに規定された各シーン画像と音声が最後のシーンまで連続的に順次表示、出力されることで、１シナリオにおけるエージェントの行為が完了することになる。
【００８６】
図１３は、旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表したものである。
この案内シナリオは、複数のシーン画面のうち（ａ）〜（ｆ）までのシーン画面が表示されており、シーン画面（ｃ）に対するユーザの選択結果によって次のシーン画面が０ｘ０００４と０ｘ０００６に分岐している。また、図１３の例では分岐していないが、シーン画面（ｄ）においても選択した料理の種類に応じた料理をシーン表示画面５４に表示するようにシーン画面を分岐させるようにしてもよい。
【００８７】
以下図１３に従って予約シナリオによるエージェントの各行為について説明する。
以下の各シーン画面に対応して説明するエージェントの動作や画面の表示はいずれも、外部シナリオのシナリオデータに格納されているデータや画像及び指示に従って表示等されるものである。また、エージェントの動作として説明するが、実際にはエージェント処理部（１０１）のシナリオ駆動部（１０１−１）が処理を行う。
【００８８】
予約シナリオが起動されると、まず番号０ｘ０００１のシーン画面が表示装置（２）に表示される。このシーンでは、エージェントＯＳ部（１０１−８）で管理しているキャラクタのエージェントが、エージェント表示画面５１に登場し、お辞儀をして音声による挨拶をする。音声による挨拶の内容は、吹き出し画面５２に表示されている文章と同一である。
音声による挨拶は、旅館に代わってエージェントが代行して行うことになるが、旅館の女将の写真画像をシーン表示画面５４に表示することで旅館からの挨拶であることが表現されている。この女将の画像は、外部シナリオの一部として受信し追加した画像で、シナリオデータ（１０−２−３−４）の実画像データとして格納されている。
エージェントの動作に対する指示は、キャラクタ動作指示データに格納されている指示に従う。
エージェントによる挨拶が終了すると、次のシーン０ｘ００２に遷移する。
【００８９】
次のシーン０ｘ０００２では、シーン表示画面５４に露天風呂の画像が表示される。そして、この露天風呂の絵をエージェントが指し示して、旅館の名物（ここが売りだということ）を、エージェントが音声と吹き出し画面５２の表示で説明する。
【００９０】
エージェントの話が終了すると、次のシーン０ｘ０００３に遷移し、本日の食事の画像（懐石料理の画像）をシーン表示画面５４に表示し、エージェントが料理の説明と、この料理で良いか否かを質問する。
そして、シーン０ｘ０００３のシーンデータにタイマー設定時間と、タイマー設定条件「走行中のみ設定する」が規定されているものとする。この場合、走行中であることを条件に、シーン開始時にタイマーによる計時が開始される。走行中か否かは車速センサ（６−１１）又は、距離センサ（６−１−５）において、車速ｖ＝０が検出された場合に停車中と判断され、車速ｖ≠０が検出された場合に走行中と判断される。
【００９１】
そして、表示した料理でよいか否かの質問に対する回答としてユーザが「はい」を選択した場合にはシーン０ｘ０００４に分岐し、「いいえ」を選択した場合にはシーン０ｘ０００６に分岐する。
一方、タイマー設定時間内に、ユーザが音声による回答も、画面に表示された選択ボタンの選択による回答もせずにタイマー通知（設定時間の経過）した場合、シーン０ｘ０００３のシーンデータで規定されているタイマー通知時の移行条件に従って、そのシナリオを終了させる。
【００９２】
このように、ユーザからの回答がない場合にも、無回答という選択がされたと判断して、無回答を移行条件とする次のシーン（図１３の例では終了）に移行することで、擬人化されたキャラクタとのコミュニケーションをより人間同士のコミュニケーションに近づけることができる。
【００９３】
シーン０ｘ０００４では、懐石料理以外の選択可能なリストをシーン表示画面５４に表示する。エージェントは、シーン表示画面５４のリストを指し示して、どの料理が良いかを質問する。
そして、ユーザがいずれか１つを選択したらシーン０ｘ０００５に遷移する。
【００９４】
シーン０ｘ０００５では、懐石料理から変更すべき人数のリストをシーン表示画面５４に表示し、エージェントはこのリストを指し示して、人数の質問をする。
そしてユーザがいずれか１つを選択したらシーン０ｘ０００６に遷移する。
【００９５】
シーン０ｘ０００６では、シーン表示画面５４に旅館の外観写真画像を表示し、エージェントがお辞儀をして挨拶をする。
そして、エージェントは、ユーザが選択してきた結果、図１３の案内シナリオの場合には食事に関する回答結果を、通信制御部２４を介して実行中の外部シナリオを送信した第三者（旅館）に送信する。
このように、ユーザについての情報を取得したい場合には、外部シナリオの作成者は、取得したい情報が得られる質問のシーンをシナリオ中に設け、その回答を電子メールで送信するようにシナリオを作成する。なお、回答の送信が必要な場合には、作成者の電子メールアドレスをシナリオデータ中に含める。
最後のシーン（図１３ではシーン０ｘ０００６）でのエージェントの話が終了すると、シナリオを終了させる。
【００９６】
このようにして、シナリオ駆動部（１０１−１）は、シナリオに規定された各シーン画像と音声を最後のシーンまで順次表示、出力する。
起動したシナリオが終了すると、シナリオ駆動部（１０１−１）は、他のシナリオの実行についての起動条件の判断を行う。
【００９７】
次に、このようなシナリオ駆動部（１０１−１）で実行される各種シナリオを自律的に起動するか否かの判断処理について説明する。
図１４は、自律起動判断部によるシナリオの自律起動判断処理について表したものである。
この自律起動判断処理では、自律起動判断部（１０１−２）が装置の負荷を軽減するために、位置と日付に関する情報を受け取り、その受け取った位置と日付に近似する起動条件を、シナリオデータを保持している外部記憶装置（１０）より読み出し（抽出手段）、ＲＡＭ（１−４）に一時的に格納する処理を行う。
すなわち、自律起動判断部（１０１−２）は、今現在置かれている状況情報を取得するため、エージェントＩ／Ｆを介し、エージェントＯＳ部（１０１−８）より現在位置、時間などの状況情報を取得する（ステップ１１）。
そして、自律起動判断部（１０１−２）は、取得した位置、時間などの状況情報が所定単位の変化があるか否かを判断する（ステップ１２）。
判断の結果、所定単位の変化がありと判断された場合（ステップ１２；Ｙ）、自律起動判断部（１０１−２）は、その位置と時間などの条件に近似する条件を備えた自律起動条件を外部記憶装置（１０）より読み出し、ＲＡＭ（１−４）に一時的に格納する（ステップ１３）。ここで、近似する条件とは、位置の場合、地図データの全範囲を所定単位の方形ブロックに区画し、自律起動条件に規定されている位置が存在するブロックと、そのブロックに隣接する７つのブロックに位置情報が含まれる条件をいい、日付の場合、その当日と翌日が該当する。そして、所定単位の変化とは、位置の場合には車両が他のブロックに移動した場合で、日付の場合には日付が変わった場合が該当する。
そして自律起動判断部（１０１−２）は、読み込まれた自律起動条件を、状況情報が満たしているか否かについての条件判断処理を行う（ステップ１４）。
なお、ステップ１２の判断で所定単位の変化なしと判断された場合（；Ｎ）、予め読み出されていた起動条件を変更する必要がないため、ステップ１４の処理に進む。
【００９８】
図１５は、条件判断処理（ステップ１４）の処理内容を表したものである。
自律起動判断部（１０１−２）は、ＲＡＭ（１−４）から、最初の自律起動条件を取得し（ステップ２１）、ステップ１２で入手した各種状況情報による状況が、取得した自律起動条件を満たしているか否かを判断する（ステップ２２）。自律起動条件を満たしている場合（ステップ２２；Ｙ）、自律起動判断部（１０１−２）は、その自律起動条件に対応するシナリオの実行要求メッセージを、シナリオ駆動部（１０１−１）に対して発行する（ステップ２３）。
【００９９】
次に自律起動判断部（１０１−２）は、次の自律起動条件がシナリオデータ（１０−２−３−４）にあるか否かを判断し（ステップ２４）、あれば（；Ｙ）、次の自律起動条件を取得し（ステップ２５）、以後ステップ２２〜２５の各処理を全ての自律起動条件に対する判断が終了するまで繰り返す。
ステップ２４において、次の自律起動条件が存在しない場合（；Ｎ）、自律起動判断部（１０１−２）は、自律起動判断処理を終了する。
【０１００】
次に、シナリオ駆動部（１０１−１）が、自律起動判断部（１０１−２）からシナリオ実行要求を受け取った場合のシナリオ実行処理について説明する。なお、以下に記す自律起動判断部の処理が、本願発明の条件判断手段を構成する。
図１６は、シナリオ実行処理の流れを表したフローチャートである。なお、図１６では、シナリオを実行する場合の、エージェント処理部（１０１）の各部、及び全体処理部（１０２）による一連の代表的な動作を表したものであり、各部はそれぞれ独立した処理を行うようになっている。すなわち、各部の独立した処理が、連続することで図１６に示した代表的な流れになる。
具体的には、エージェント処理部（１０１）の各部、及び全体処理部（１０２）は、メッセージを受け取ったら、そのメッセージに対する処理を行ない、処理が完了したら次のメッセージを待つようになっている。
【０１０１】
シナリオ駆動部（１０１−１）は、自律起動判断部（１０１−２）からシナリオ実行要求を受け取ると、ワークメモリの確保、初期化によるエージェント開始準備処理を行う（ステップ５０５−１）。
そして、シナリオ駆動部（１０１−１）は、シナリオの実行要求が手動起動か自動起動かを確認する（ステップ５０５−２）。手動起動は、ユーザが表示装置（２）のメニューからシナリオ起動を選択した場合で、自動起動は、シナリオの自律起動条件を満たした場合である。
シナリオの実行要求が手動起動の場合はメニューシナリオの要求処理を行う（ステップ５０５−３）。その後、シナリオデータ読み込み処理（ステップ５０５−４）に移行する。
【０１０２】
一方、自動起動の場合には、自律起動条件を満たすことで実行要求されているシナリオが存在するので、そのままシナリオデータ読み込み処理（ステップ５０５−４）に移行する。
次にシナリオ駆動部（１０１−１）は、実行すべきシナリオデータをＲＡＭ（１−４）に読み込む（ステップ５０５−４）。シナリオデータを読み込む際、実行対象となっているシナリオが複数存在する場合（複数の自律起動条件が満たされた場合、手動起動要求と自動起動が重複した場合等）には、シナリオ駆動部（１０１−１）は、各シナリオに規定されている優先順位を判断し一番優先順位の高いシナリオデータを読み込む。優先順位が同じである場合には、自律起動判断部（１０１−２）から実行要求を受けた順に優先順位が高いものとして決定する。シナリオの優先順位は、シナリオデータ（１０−２−３−４）の収録シナリオの管理データから確認する。
【０１０３】
シナリオデータの読み込みが完了すると、シナリオ駆動部（１０１−１）は、次に、シナリオ開始処理を行う（ステップ５０５−５）。
シナリオ開始処理においてシナリオ駆動部（１０１−１）は、まず、シナリオを開始するための初期化処理を行う。
【０１０４】
また、シナリオ駆動部（１０１−１）は、シナリオ実行判断処理を行う。
すなわち、シナリオ駆動部（１０１−１）は、まず、車両の走行状態をエージェントＯＳ部（１０１−８）に問い合わせて取得する。
エージェントＯＳ部（１０１−８）は、問い合わせがあると、車速センサ（６−１１）に車両が走行中か停車中かを確認し、シナリオ駆動部１０１−１に通知する。車速センサ（６−１１）は、検出した車速情報をエージェントＯＳ（１０１−８）に受け渡す。エージェントＯＳ（１０１−８）は受け取った車速情報を元に、車速ｖ＝０の場合に停車中と判断し、車速ｖ≠０の場合に走行中と判断し、その判断結果をシナリオ駆動部（１０１−１）に通知する。
シナリオ駆動部（１０１−１）は、エージェントＯＳ部（１０１−８）から通知された車両の走行状態が走行中である場合、ステップ５０５−４で読み込んだシナリオの管理データから走行中実行条件が、走行中不実行に設定されているか否かを確認する。
【０１０５】
車両が走行中で、走行中不実行に設定されている場合、シナリオ駆動部（１０１−１）は、シナリオを開始することなくシナリオ終了処理（ステップ５０５−８）に移行する。
一方、シナリオ駆動部（１０１−１）は、車両が停車中である場合、及び、車両が走行中で走行中実行条件に走行中制限実行が設定されている場合、シナリオの開始時刻の記録や使用回数の加算等の処理を学習部（１０１−３）に指示する。これにより、学習部（１０１−３）が、学習項目データ（１０−２−３−７）への記録、加算を行う。
【０１０６】
学習部（１０１−３）に対する開始学習指示処理の後に、シナリオ駆動部（１０１−１）は、シナリオを構成するシーンの内容に応じてキャラクタの描画や音声を処理するシーン処理を実行する（ステップ５０５−６）。シーン処理の詳細は図１７により後述する。
シーン処理が完了すると、シナリオ駆動部（１０１−１）は、シナリオ終了か確認を行なう（ステップ５０５−７）。
シナリオ終了の場合、シナリオ駆動部（１０１−１）は、シナリオ終了処理を行なう（５０５−８）。このシナリオ終了処理において、学習部（１０１−３）が、終了の仕方を示すエンドＩＤを入手して応答データ（１０−２−３−７）に格納する。
シナリオ終了でない場合（シナリオがまだ続く場合）、シナリオの終了位置まで、ステップ（５０５−６）に戻って次のシーン、次のシーン、…とシーン処理を繰り返す。
【０１０７】
シナリオの終了処理の後、シナリオ駆動部（１０１−１）は、他にシナリオの実行要求が有るか否か確認し（ステップ５０５−９）、他のシナリオの実行要求が存在する場合は、シナリオデータの読み込み処理（ステップ５０５−４）に戻って同様に処理が実行される。
一方、他に実行するシナリオが存在しない場合、シナリオ駆動部（１０１−１）は、エージェント終了処理を実行する（５０５−１０）。すなわち、エージェントＯＳ部（１０１−８）にシナリオの実行を要求する処理は終了したことを知らせる。
その後、表示装置（２）に表示される画面は通常のナビゲーション画面に戻るが、その後の処理はエージェントＩ／Ｆを介して全体処理部（１０２）に受け渡す。
【０１０８】
なお、上述したように、各部は独立して処理されるため、図１６のフローチャートには示されていないが、シナリオの実行中は、シナリオから別のシナリオを実行させるためのシナリオ実行要求はいつでも受付可能な構成になっている。
例えば、図２６で後述するように、走行中実行条件として走行中不実行が設定されているシナリオの実行中に車両状態が停車中から走行中に変化した場合に、実行中のシナリオは終了処理の後、強制的に中断される。
【０１０９】
図１７は、シーン処理（ステップ５０５−６）の流れを表したフローチャートである。
シナリオ駆動部（１０１−１）は、シーン処理において、開始するシーンの種類を確認し（ステップ５０５−６−１）、通常のシーンの場合は、シーンデータの解析処理（ステップ５０５−６−２）に進み、クローンシーンの場合は、各種処理の依頼を行なう処理（ステップ５０５−６−５）に進み、条件追加シーンの場合は、展開判断処理（ステップ５０５−６−１２）に進む。
ここで、クローンシーンは、あるシーンｎの終了の仕方によって、元のシーン（直前に終了したシーン）ｎと同一の画面を表示する場合で、例えば、設定時間内に入力がされなかった場合に、同一の画面のまま入力を促す音声を出力するような場合のシーンである。
また、条件追加シーンは、ある特定のシーンに推移して開始させるために、当該シーンの前に設けられたシーンで、画面表示がされずに画面推移（分岐）のための条件判断を行うシーンである。
【０１１０】
開始するシーンが通常のシーンの場合、シナリオ駆動部（１０１−１）は、開始するシーンのデータを、ステップ５０４にて読み込まれたシナリオデータがおかれているＲＡＭ（１−４）を参照し、表示する画面構成やキャラクタの動作指示、等を解析する（ステップ５０５−６−２）。
解析した結果、音声認識辞書が存在する場合、シナリオ駆動部（１０１−１）は、シーンデータ中に規定されている音声認識辞書の設定（初期化）依頼を音声認識部（１０１−７）に対して通知する（ステップ５０５−６−３）。
【０１１１】
次に、シナリオ駆動部（１０１−１）は、描画・音声出力部（１０１−５）に対して画面描画の依頼を行なうための処理として、描画する画面の各パーツを決定する画面構成の画面データ作成処理を行う（５０５−６−４）。
画面構成の画面データ作成処理では、例えば図１２に示されるシーン画面のうち、エージェント表示画面５１や、キャラクタの台詞が表示される吹き出し画面５２等のキャラクタに関連する項目を除いた画面構成の各パーツを該当箇所に表示するか否かを走行中実行条件から決定する処理である。
【０１１２】
図１８は、画面構成の画面データ作成処理の処理動作を表したものである。
シナリオ駆動部（１０１−１）は、走行状態ステータスをエージェントＯＳ部（１０１−８）から取得する（ステップ５０５−６−４−１）。すなわち、シナリオ駆動部（１０１−１）は、走行状態をエージェントＯＳ部（１０１−８）に問い合わせる。この問い合わせがあるとエージェントＯＳ部（１０１−８）は、車速センサ（６−１１）からの車速情報を元に車両が走行中か（車速ｖ≠０の場合）、停車中か（車速ｖ＝０の場合）を確認し、シナリオ駆動部１０１−１に通知する。
【０１１３】
ついでシナリオ駆動部（１０１−１）は、ステップ５０５−４で読み込んだシナリオの管理データから、現在処理中のシーンを構成する各パーツ（項目）のうちの画面構成の各パーツ（キャラクタに関連する項目を除いたパーツ）に対して、走行中に表示可能なパーツからなる画面構成の描画データを作成する（ステップ５０５−６−４−２〜ステップ５０５−６−４−４）。
すなわち、シナリオ駆動部（１０１−１）は、シーン画面を構成する各画面構成のパーツ（項目）について、そのパーツが走行中非表示選択項目か否かを、シナリオデータの管理データから判断する（ステップ５０５−６−４−２）。
画面構成のパーツが走行中非表示選択項目である（走行中の表示が許可されていないパーツである）場合（ステップ５０５−６−４−２；Ｙ）、シナリオ駆動部（１０１−１）は、取得した走行状態ステータスから走行中か否かを判断する（ステップ５０５−６−４−３）。
【０１１４】
そして、シナリオ駆動部（１０１−１）は、走行中である場合には、走行中非表示選択項目に該当するその画面構成のパーツに対する描画データを作成することなく、まだ判断していない他の画面構成のパーツが存在するか否かを判断する（ステップ５０５−６−４−５）。
一方、シナリオ駆動部（１０１−１）は、画面構成のパーツが走行中非表示選択項目でない場合、及び、走行中非表示選択項目であるが停車中である場合、その画面構成のパーツによる描画データを作成し（ステップ５０５−６−４−４）、まだ判断していない他の画面構成のパーツが存在するか否かを判断する（ステップ５０５−６−４−５）。
【０１１５】
シナリオ駆動部（１０１−１）は、判断していない画面構成のパーツが他に存在する場合（ステップ５０５−６−４−５；Ｎ）、全画面構成のパーツの準備が完了していないのでステップ５０５−６−４−２に戻り、次の画面構成のパーツについての判断を行う。
一方、シナリオ駆動部（１０１−１）は、他の画面構成のパーツが存在しない場合、全画面構成のパーツの準備が完了したので（ステップ５０５−６−４−５；Ｙ）、描画・音声処理部（１０１−５）に対して、作成したシーンの画面構成の描画データを通知すると共に描画要求をして（ステップ５０５−６−４−６）、図１７のシーン処理にリターンする。
描画音声出力処理部は、シナリオ駆動部からの画面構成の描画要求を受け取った後、画面構成についての描画処理を行い、画面構成の描画処理が終了すると、その旨をシナリオ駆動部（１０１−１）に通知する。
【０１１６】
次にシナリオ駆動部（１０１−１）は、各種処理（ナビや外部接続機器等への処理、ユーザからの回答が必要なシーン等でタイマー設定情報がシーンデータに規定されている場合には、時間計測（計時）の依頼処理等）の依頼、及び、キャラクタに関する画面構成以外の描画データの作成とその出力要求、を行なう処理を行う（図１７、ステップ５０５−６−５）。
【０１１７】
図１９は、各種処理の指示（ステップ５０５−６−５）で行われる処理を例示したフローチャートである。
この図１９に示されるように、各種処理の指示（ステップ５０５−６−５）は、ナビゲーション機能（ナビ機能）や外部接続機器への処理の依頼（ステップ５０５−６−５−１）、タイマー設定依頼処理（ステップ５０５−６−５−２）、ＡＭＭパラメータの変更依頼（ステップ５０５−６−５−３１）の、３項目の処理を順に行っている。
【０１１８】
上記した３項目の各種処理の実行は、各種処理の実行要求通知のメッセージを受け取った時に行なう。各種処理の実行要求通知のメッセージとは、例えば画面の描画が完了した時や、クローンシーンが実行された場合に発行される（本実施例の場合）。
ナビや外部機器への処理依頼（ステップ５０５−６−５−１）は、指定した地点を目的地に設定するなどの全体処理部（１０２）へのナビゲーション処理の依頼や、オーディオの音量を上げ下げの依頼等の外部接続した機器への処理の依頼等が存在する。
【０１１９】
タイマー設定依頼（ステップ５０５−６−５−２）は、エージェントＯＳ部（１０１−８）に対してタイマー設定依頼を行なうものであるが、詳細は後述する。
最後のＡＭＭパラメータ変更依頼（ステップ５０５−６−５−３）は、ＡＭＭパラメータを変更する依頼で、パラメータの１つである友好度を１上げる等の依頼が存在する。
【０１２０】
なお、図１９の説明では上記３項目を順次処理している場合について説明したが、それぞれの項目を分割して、それぞれのトリガにして（別々のメッセージを受け取ったとき）、処理を行なうようにしても良い。
すなわち、上述したようにシナリオを実行する場合のエージェント処理部（１０１）の各部や全体処理部（１０２）は、それぞれ独立した処理を行うようになっている。従って、３項目の各処理をそれぞれ個別に独立して行うようにしてもよい。
例えば、ＡＭＭのパラメータ変更はシーンの終了を示す通知を受け取ったときに実行するようにしてもよい。また、描画・音声出力部（１０１−５）から音声出力終了通知（画像描画と音声出力の両者の終了を示す通知の場合には該終了通知）をシナリオ駆動部（１０１−１）が受信した際に、タイマー設定を行うようにしてもよい。
【０１２１】
図２０は、タイマー設定依頼処理の動作を表したフローチャートの一例である。
シナリオ駆動部（１０１−１）は、まず、車両の走行状態をエージェントＯＳ部（１０１−８）に問い合わせて取得する（ステップ５０５−６−５−２−１）。
エージェントＯＳ部（１０１−８）は、問い合わせがあると、車速センサ（６−１１）に車両が走行中か停車中かを確認し、シナリオ駆動部（１０１−１）に通知する。車速センサ（６−１１）は、車速を検出し、エージェントＯＳが受け取った車速情報を元に車速ｖ＝０の場合に停車中と判断し、車速ｖ≠０の場合に走行中と判断する。
【０１２２】
次にシナリオ駆動部（１０１−１）は、ステップ５０５−４でＲＡＭ（１−４）に読み込んだシナリオにおける実行中のシーンデータから、タイマー設定条件を取得し、タイマー設定条件と車両の走行状態とから、タイマー設定が必要か否かを判断する（ステップ５０５−６−５−２−２）。
シナリオ駆動部（１０１−１）は、（ａ）走行中も停車中も常に設定する、（ｂ）走行中のみ設定する、（ｃ）停車中のみ設定する、（ｄ）常にタイマー設定をしない、のうちシーンデータに設定されているタイマー設定条件と、走行状態（走行中又は停車中）とから、タイマー設定を行うか否か判断する。
【０１２３】
すなわち、シナリオ駆動部（１０１−１）は、タイマー設定条件が（ｂ）で停車中の場合、（ｃ）で走行中の場合、及び（ｄ）の場合には、タイマー設定を使用しないと判断して、リターンする。
一方、シナリオ駆動部（１０１−１）は、タイマー設定条件が（ａ）の場合、（ｂ）で走行中の場合、及び（ｃ）で停車中の場合には、タイマーを設定を使用すると判断する。
この場合、シナリオ駆動部（１０１−１）は、エージェントＯＳ部（１０１−８）に対して、タイマー設定時間を通知することでタイマー設定依頼を行ない（ステップ５０５−６−５−２−３）、リターンする。
【０１２４】
エージェントＯＳ部（１０１−８）は、シナリオ駆動部（１０１−１）からタイマー設定依頼があると、通知されるタイマー設定時間の計測を開始する。
そして、エージェントＯＳ部（１０１−８）は、シナリオ駆動部（１０１−１）から中止要求がされる前に、タイマー設定時間が経過した場合、その旨をシナリオ駆動部（１０１−１）に通知する。
一方、タイマー通知（設定時間の経過）前にシナリオ駆動部（１０１−１）から中止要求がされた場合、エージェントＯＳ部（１０１−８）は、時間の計測を終了する。
【０１２５】
なお、本実施形態では、シナリオ駆動部（１０１−１）からタイマー設定依頼があると、直ちにタイマー設定時間の計測を開始する場合について説明したが、エージェントＯＳ部（１０１−８）は、タイマー設定時間のタイマーの設定準備のみ行い、シナリオ駆動部（１０１−１）から計時開始通知を受けた場合に開始するようにしてもよい。
この場合、シナリオ駆動部（１０１−１）は、描画・音声出力部（１０１−５）からキャラクタ描画・音声出力処理終了の通知（又は、変形として後述する、音声出力終了通知）を受けた場合に、計時開始通知をエージェントＯＳ部（１０１−８）に通知する。
このように、質問の音声出力が終了した後にタイマーの計時を開始することで、質問音声の出力が長い場合に、ユーザの回答時間が短くなってしまうことが防止される。
【０１２６】
また、シナリオ駆動部（１０１−１）は、本実施形態で説明したタイマー設定処理を、キャラクタ描画・音声出力処理（ステップ５０５−６−６）の後でステップ５０５−６−７の前に行うようにしてもよい。
【０１２７】
シナリオ駆動部（１０１−１）は、各種処理の指示（図１７、ステップ５０５−６−５）において、更に、画面構成の描画データ以外のキャラクタに関する描画データ（キャラクタ描画データ）を作成しする。
シナリオ駆動部（１０１−１）によるキャラクタ描画データの作成は、作成するシナリオのパーツが画面構成のパーツかキャラクタに関するパーツかが異なる以外は、図８に示した画面構成の描画データ作成処理と同様に行われる。また、キャラクタ描画データの作成の場合、描画データ作成（ステップ５０５−６−６−４に対応）では、吹き出し画面５２に表示する台詞に対応するキャラクタの音声や、効果音についての音声データの特定も行われる。
シナリオ駆動部（１０１−１）は、キャラクタ描画データを作成すると、作成したキャラクタ描画データによるキャラクタ描画要求を描画・音声出力部（１０１−５）に対して行う。
【０１２８】
描画・音声出力部（１０１−５）は、シーンデータに従って、キャラクタ描画・音声出力処理を行う（ステップ５０５−６−６；図１７）。
キャラクタ描画・音声出力処理により、キャラクタがお辞儀をしたり、右方向や左方向を手で指したり、ユーザに話しかけたりするシーンが展開される。このシーンは、シナリオ駆動部（１０１−１）からの、画面構成の描画要求（ステップ５０５−５−４−６）と、キャラクタ描画要求（ステップ５０５−６−５）の両要求内容に応じて、停車中であれば、図１２に例示したようにシーン画面を構成する全項目が表示され、走行中であればシーン画面を構成するうちの一部の項目が制限されて表示される。
【０１２９】
図２１は、描画・音声出力部（１０１−５）によるキャラクタ描画・音声出力処理を表したフローチャートである。
描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）からキャラクタの動作指示の依頼と描画データを受けると、動作指示内容解析処理（ステップ５０５−６−６−１〜５０５−６−６−８）、動作再生処理（ステップ５０５−６−６−９）、要求終了返信（ステップ５０５−６−６−１０）の順に処理を行う。
【０１３０】
動作指示内容解析処理において描画・音声出力部（１０１−５）は、まず、受け取った描画指示内容キャラクタの種類によらない統一の（共通の）動作指示か否かを判断し（ステップ５０５−６−６−１）、描画指示がキャラクタ毎に特定された表現方法で指示（直接指示：図３９（ｂ）参照）されていれば、動作再生処理（ステップ５０５−６−６−９）に移行する。
【０１３１】
描画指示がキャラクタによらない統一の表示形態であれば、描画・音声出力部（１０１−５）は、指示内容の変換を行う。
変換はまず、その時点で設定されているキャラクタの種類をエージェントＯＳ部（１０１−８）から取得する（ステップ５０５−６−６−２）。
次に描画・音声出力部（１０１−５）は、統一の動作指示（表示状態番号）とキャラクタ毎の動作指示内容（画像コード）の対応表が書かれた変換テーブル（キャラクタ画像選択データ）１０２３５３（図９参照）を外部記憶装置（１０）のキャラクタデータ（１０−２−３−５）から取得する。
そして、描画・音声出力部（１０１−５）は、変換テーブルを基に動作させるキャラクタの動作指示内容、すなわち、シーンデータの表示状態番号に対応するキャラクタの画像コードを取得する（ステップ５０５−６−６−４）。
【０１３２】
描画・音声出力部（１０１−５）は、取得した動作指示情報が、キャラクタの動作指示をシステムに自動で選択させる設定になっている場合、（ステップ５０５−６−６−５；Ｙ）、更に以下の処理を行う。
すなわち、描画・音声出力部（１０１−５）は、まず時間、場所、運転者情報、エージェントメンタルモデル等の、動作自動選択条件情報をエージェントＯＳ部（１０１−８）から取得する（ステップ５０５−６−６−６）。
次に時間等の統一の動作指示の選択条件情報と、キャラクタの統一の動作指示とが記述されている自動選択テーブルを外部記憶媒体（１０−２）のエージェントデータ（１０−２−３）から取得する（ステップ５０５−６−６−７）。
そして、描画・音声出力部（１０１−５）は、時間等の統一の動作指示の選択条件情報と、動作自動選択テーブルを基に統一の動作指示を取得する。該統一の動作指示を基に、ステップ５０５−６−６−３で取得した変換テーブル１０２３５３を参照して動作指示内容（画像コード）を取得することにより動作指示を確定する（ステップ５０５−６−６−８）。
【０１３３】
次に、描画・音声出力部（１０１−５）は、動作再生処理を行う（ステップ５０５−６−６−９）。
すなわち、描画・音声出力部（１０１−５）は、キャラクタの動作指示内容（画像コード）を基に、キャラクタデータ（１０−２−３−５）の、選択されているキャラクタのキャラクタ画像データ１０２３５１（図８参照）から画像データを取得する。
また当該キャラクタの動作指示依頼が、キャラクタの動作にキャラクタのセリフ音声を同期させ出力させる内容であれば、キャラクタデータ（１０−２−３−５）のキャラクタ音声データ１０２３５２から音声データを取得する。
【０１３４】
描画・音声出力部（１０１−５）で取得した画像データはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある描画プロセッサ（１−６）への指示を行う処理部を通して描画プロセッサ（１−６）へ伝わり画像処理を施し表示装置（２）に表示される。
また取得した音声データはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある音声プロセッサ（１−８）への指示を行う処理部を通して音声プロセッサ（１−８）へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力される。
【０１３５】
次に、描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）から要求されたキャラクタの動作処理をすべて行った後、要求されたシーンのキャラクタ描画・音声出力処理終了をシナリオ駆動部（１０１−１）に通知し（ステップ５０５−６−６−１０）、処理を終了する。
また、キャラクタの台詞音声を同期させて出力する要求内容であった場合は、音声の出力が全て終了した時点で、キャラクタ音声出力処理終了をシナリオ駆動部（１０１−１）に通知する。
【０１３６】
なお、描画・音声出力部（１０１ー５）は、キャラクタ動作の描画の終了を通知する描画終了通知と、音声出力の終了を通知する音声出力終了通知とを、それぞれの処理が終了した時点で別々に通知するようにしてもよい。
【０１３７】
描画・音声出力部（１０１−５）からシーンのキャラクタ描画・音声出力処理終了が通知された後に、シナリオ駆動部（１０１−１）は、処理中のシーンデータにおいて音声認識についての指示がされているか否かを確認し（ステップ５０５−６−７：図１７）、指示が無ければ、ステップ５０５−６−９に移行し、指示がある場合には音声認識処理を行う（ステップ５０５−６−８）。
【０１３８】
図２２は、音声認識処理（ステップ５０５−６−８）の処理動作を表したフローチャートである。
キャラクタが話し終わった後（描画・音声出力部（１０１−５）からキャラクタの音声出力終了がシナリオ駆動部（１０１−１）に通知されたとき）に、シナリオ駆動部（１０１−１）は、シナリオデータに設定されている認識開始制御指示（音声認識の指示）を確認する（ステップ５０５−６−８−１）。
音声認識の指示が、「常に自動認識開始しない」（自動で開始しない）、である場合は、認識処理はしないでリターンする（図１７のステップ５０５−６−９に移行する）。
音声認識の指示が、「常に自動で認識する」（自動で開始する）である場合にはステップ（５０５−６−８−３）に移行して音声認識（後述）を行う。
【０１３９】
一方、音声認識の指示が、状況判断結果次第の「おまかせ」（車載装置が開始を判断する）である場合、状況判断処理を行う（ステップ５０５−６−８−２）。
すなわち、シナリオ駆動部（１０１−１）は、各種状況検出装置（６）の検出データを全体処理部（１０２）から受け取り、走行中の道路の状況、車速、車速変化、ステアリング角、アクセルの踏み込み量、ブレーキの踏み込み量等から運転者の運転負荷を判断する（運転負荷判断手段）。
走行中の道路の状況は、全体処理部（１０２）のナビゲーション機能により、検出した車両の現在位置と、走行中の道路幅、走行地位（交差点か否、直線道路、曲線、蛇行道路、急傾斜道路等）等から判断され、シナリオ駆動部（１０１−１）に通知される。
本実施形態では、カーブや交差点を走行中の場合、車速変化が大きい場合、ブレーキの踏み込み量が大きい場合には運転負荷が高いと判断され、それ以外の場合には運転負荷が低いと判断される。
なお、カーブの曲率や、車速、車速変化、道路幅、交差点等に対して運転負荷を決定するための点数化しておき、その合計値が所定値を超えるか否かにより運転負荷を判定するようにしてもよい。すなわち、合計値が所定位置を超える場合には運転負荷が高いと判定し、所定値以下の場合に負荷が低いと判断するようにしてもよい。
なお、シナリオ駆動部は、運転者の負荷の例の他にも、車室内で検出される騒音が大きいと判断される場合は自動で認識開始しない等の判断を行うようにしてもい。
【０１４０】
シナリオ駆動部（１０１−１）は、運転者の負荷が高い場合には音声認識を開始せずにリターンし、運転者の負荷が低い場合にはステップ５０５−６−８−３に移行して音声認識の開始を音声認識部（１０１−７）に指示する。
【０１４１】
なお、シナリオ駆動部（１０１−１）は、図２２に示した音声認識処理と独立した処理として、タイマー通知（設定時間が経過）した処理を行うようになっている。
すなわち、シナリオ駆動部（１０１−１）は、エージェントＯＳ部（１０１−８）から、タイマー設定時間が経過したことを意味するタイマー通知がなされると、展開判断処理（５０５−６−１２）を実行する。
【０１４２】
シナリオ駆動部（１０１−１）から音声認識の開始指示がされると、音声認識部１０７は、以下に説明する音声認識を行う（ステップ５０５−６−８−３）。すなわち、音声認識開始が指示されると、音声認識部（１０１−７）は、音声入力の受付が開始されたことをユーザに示すために、「ピッ」等の開始音を音声出力装置（３）から出力する（開始音出力手段）。
なお、本実施形態では音声認識を開始する前に開始音を出力するようにしているが、開始音を出力しないようにしてもよい。また、開始音の出力と共に、表示装置（２）に音声認識中であることを示す表示、例えば、「音声認識中です」等の表示や、音声認識中を示すアイコンを表示するようにしてもよい。
【０１４３】
その後、音声認識部（１０１−７）は、音声認識の開始をエージェントＯＳ部（１０１−８）を介して外部Ｉ／Ｆ部（１０１−９）から、全体処理部（１０２）内にある音声認識処理部に指示する。全体処理部（１０２）の音声認識処理部は、開始指示を音声プロセッサ（１−８）に伝え、音声プロセッサ（１−８）は音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する。変換された音声入力信号が入力されると、全体処理部（１０２）の音声認識処理部は、デジタルの音声入力信号を取得し、ステップ５０５−６−３（図１７）で設定された音声認識辞書を使用して、取得した音声入力信号の認識を行う（ステップ５０５−６−８−３）。
認識が完了すると全体処理部（１０２）の音声認識処理部は、音声認識の結果を、外部Ｉ／Ｆ部（１０１−９）、エージェントＯＳ部（１０１−８）を介して音声認識部（１０１−７）に通知する。音声認識部（１０１−７）は、音声認識結果をシナリオ駆動部（１０１−１）に通知する。
【０１４４】
なお、本実施形態では、実際の音声認識の処理を全体処理部（１０２）の音声認識処理部で行っているが、音声認識部（１０１−７）で音声認識を行うようにしてもよい。この場合、音声認識部（１０１−７）が音声認識手段として機能する。また、音声認識部（１０１−７）で音声認識を行う場合、全体処理部（１０２）によるナビゲーション処理での音声認識と２カ所で行われることになるので、両者を共通して音声認識部（１０１−７）で行うようにしてもよい。
【０１４５】
次に、シナリオ駆動部（１０１−１）は、全体処理部（１０２）での音声認識の結果を判断する（ステップ５０５−６−８−４）。
シナリオ駆動部（１０１−１）は、認識失敗の場合にはステップ５０５−６−８−１に戻り、認識に成功した場合には以下のコールバック処理を行う。
すなわち、シナリオ駆動部（１０１−１）は、シナリオデータに設定されているコールバック制御指示（コールバックをするかしないかの指示）の内容を確認する（ステップ５０５−６−８−５）。
コールバック制御の指示が「コールバックしない」である場合は、コールバックを行わずにリターンし、「コールバックする」である場合にはコールバックのためのキャラクタ描画・音声出力処理を行う（ステップ５０５−６−８−７）。
【０１４６】
一方、コールバック制御の指示が「おまかせ」の場合（コールバックをするかしないかをエージェント装置が判断する場合）、シナリオ駆動部（１０１−１）は、状況判断処理（５０５−６−８−６）を行う。
【０１４７】
すなわち、シナリオ駆動部（１０１−１）は、本実施形態の場合、以下の判断基準に従って状況を判断し、認識結果をコールバックするか否かを決定する。
以下の条件（ａ）、（ｂ）を両方とも満たしている場合に、シナリオ駆動部（１０１−１）は認識結果をコールバックする。
（ａ）走行中（車速≠０ｋｍ／ｈ）の場合
（ｂ）音声認識辞書に言い換えを除いて３種類以上の単語が存在する場合（例えば、制御の感覚の質問で「強い」か「弱い」か「ちょうど良い」の回答を認識する場合）
一方、次の条件（ｃ）、（ｄ）の少なくとも一方を満たしている場合、シナリオ駆動部（１０１−１）は認識結果をコールバックしない。
（ｃ）停車中（車速＝０ｋｍ／ｈ）の場合
（ｄ）音声認識辞に言い換えを除いて２種類の単語しか存在しない場合（例えば、「はい」か「いいえ」の回答を認識する場合）
なお、上記判断基準は本実施形態におけるものであり、他の基準を採用するようにしてもよい。例えば、認識結果の信頼性（確からしさ）が低い、もしくは、前述の運転負荷判定手段を用いて運転者の負荷が低いと判断される場合はコールバックする等の判断基準を持っても良い。
【０１４８】
コールバック制御の指示が「コールバックする」である場合、及び「おまかせ」で状況からコールバックをすると判断した場合、シナリオ駆動部（１０１−１）は、キャラクタ描画・音声出力処理を行い（ステップ５０５−６−８−７）、リターンする。
キャラクタ描画・音声出力処理では、（ステップ５０５−６−８−７）キャラクタの動作は現在動作のまま（音声認識開始時の動作）とし、シナリオデータの音声認識辞書に各認識結果に対して台詞の指示が記してありそれを使用する。すなわち、認識結果が「ちょうど良い」である場合、コールバック用の音声として、例えば、「ちょうど良い、ですね。」というように「認識結果」の音声に続けてコールバック用の音声「ですね。」を出力する。
このように音声認識の認識結果を確認する（コールバックする）ことにより、本願発明における認識結果確認手段が形成される。
【０１４９】
なお、このコールバック用の音声は、ステップ５０５−６−６（図１７）のキャラクタ描画・音声出力処理におけるキャラクタの種類による動作選択と同様に、選択される各キャラクタ毎にコールバック用音声を規定しておくようにしてもいい。
また、常に同一のコールバック音声が付加されると不自然な会話になるので、同一のキャラクタであっても、複数のコールバック音声を用意し、順番に出力したり、時間やコールバックの回数に応じて変更するようにしてもよい。
【０１５０】
シナリオ駆動部（１０１−１）は、音声認識の指示が無い場合、及び、音声認識処理（ステップ５０５−６−８）が終了した後、エージェントＯＳ部（１０１−８）からユーザ入力の知らせを受け取ったら、その入力が何であるか確認し（図１７、ステップ５０５−６−９）、入力に対応した処理を行なう。
なお、上述したように、各処理は独立して実行されるため、音声認識処理（ステップ５０５−６−８）中であっても、エージェントＯＳ部（１０１−８）から入力が通知された場合にはその入力に対応した処理が並行して実行される。従って、音声認識処理中に、ユーザが音声認識の選択ボタンを選択しエージェントＯＳ部（１０１−８）から通知されると、音声認識処理による処理段階に関わらず、次の処理（ステップ５０５−６−９）が実行される。
【０１５１】
シナリオ駆動部（１０１−１）は、エージェントＯＳ部（１０１−８）から、例えば、カーソルの移動に関する入力を受け取った場合、カーソルを移動させて、画面の描画依頼（画面スクロールの依頼）の処理を行う（ステップ５０５−６−１０）。
また、ユーザがシーン表示画面５４（図１２参照）に表示されているいずれかの回答選択ボタン５４ａを選択した場合、どの項目が選択されたか判断し（ステップ５０５−６−１１）、その結果シーンの展開が有るかを判断する（ステップ５０５−６−１２）。
なお、上述したように、図１６〜図２１の処理は、シナリオ処理の１例を示したものであり、実際には各部が独立して個別の処理を行っている。このため、上の図１７には示していないが、音声認識開始もしくは中止が入力された場合、音声認識部に対し音声認識処理の開始もしくは中止の依頼を行なう等、ユーザ入力の確認（ステップ５０５−６−９）を行なった後の処理は他にも存在する。また、描画・音声出力部（１０１−５）からシーンのキャラクタ描画・音声出力処理終了が通知をされる前、つまり、指示したキャラクタの動作が終了する前であっても、ユーザの入力の確認（ステップ５０５−６−９）をすることも可能である。
【０１５２】
次に、シナリオ駆動部（１０１−１）は、展開判断処理（ステップ５０５−６−１２）において、シナリオデータの展開管理データ（図７参照）を参照して次の展開を判断する。次の展開が存在しない場合は何も処理されずにユーザ入力判断に戻り、次の展開が存在する場合は、次の展開に進めるためにシーン終了処理（ステップ５０５−６−１３）に進む。
シーン終了処理（５０５−６−１３）では、シナリオ駆動部（１０１−１）が他の処理部に依頼している処理が有れば、その中止依頼を行ない（例えば音声認識処理の依頼をしていたら認識処理の中止依頼をする）、リターンする。リターンにより、図１６のシナリオ終了判断（ステップ５０５−７）に移行する。
【０１５３】
次に、停車中に実行中のシナリオが、走行開始により中断する場合のシナリオ中断処理について説明する。
図２３はシナリオ中断処理の内容を表したフローチャートである。
このシナリオ中断処理は、停車状態から走行状態に変化することでエージェントＯＳ部（１０１−８）から走行開始通知がシナリオ駆動部（１０１−１）に通知されることで実行される。
まずシナリオ駆動部（１０１−１）は、停車中状態でシナリオを実行している途中でエージェントＯＳ部（１０１−８）から走行開始通知を受けると、図１６のステップ５０５−４でＲＡＭに読み込んだ実行中のシナリオの管理データから走行中実行条件を確認し（ステップ３１）、使用許可があるか否かを判断する（ステップ３２）。
【０１５４】
シナリオ駆動部（１０１−１）は、使用許可がある場合、すなわち、走行中実行条件が走行中制限実行に設定されている場合（ステップ３２；Ｙ）、リターンする。
この場合、停車状態から走行状態に変化しているので、上述したように描画データ作成処理が行われて、使用許可がされているパーツのみが表示される。
一方、使用許可が無い場合、すなわち、走行中実行条件として走行中不実行が設定されている場合（ステップ３２；Ｎ）、シナリオ駆動部（１０１−１）は、以下のシナリオ中断処理（ステップ３３〜ステップ３５）。
【０１５５】
すなわち、シナリオ駆動部（１０１−１）は、シナリオ中断処理として、シーン終了処理（ステップ３３）、シナリオ終了処理（ステップ３４）、エージェント終了処理（ステップ３５）の各終了処理を行い、リターンする。
ここでシーン終了処理（ステップ３３）は図１７のステップ５０５−６−１３のシーン終了処理と、シナリオ終了処理（ステップ３４）は図１６のシナリオ終了処理（ステップ５０５−８）と、エージェント終了処理（ステップ３５）は図１６のエージェント終了処理（ステップ５０５−１０）と同一の処理である。
【０１５６】
以上のように各シナリオが実行されるが、次に、実際にシナリオが実行されている途中の画面表示が停車状態と走行状態とでどのように変化するかについて説明する。
図２４は、停車状態と走行状態におけるシーン画面の例を比較表示したものである。
図２４（ａ）は停車状態のシーン画面５４として、近くにある喫茶店をお勧めとして紹介するシナリオにおける１シーン画面を例示したものである。
この停車中に表示されるシーン画面では、キャラクタが表示されるエージェント表示画面５１、エージェントの音声に対応した台詞の文字が表示される吹き出し画面５２、タイトル画面５３、店内の写真を表示する実画像データ５４ｂ、及びお勧め情報の詳細が標準されたインフォメーション提案ボックス５４ｃの全ての表示項目（パーツ）が表示されている。
なお、図２４（ａ）に例示したシーン表示画面５４に表示されている実画像データ５４ｂとインフォメーション提案ボックス５４ｃは、そのシーンデータのパーツとして設定されているものであり、他のシーンにおいて他の項目（パーツ）が設定されている場合にはその全てが表示される。
なお、シーン画面５４とは、別に音声により吹き出し画面５２に表示された台詞の音声が音声出力装置（３）から出力される。
【０１５７】
一方、図２４（ｂ）は、（ａ）と同一のシナリオデータに対して、車両が走行中である場合のシーン画面５４を例示したものである。なお、表示が制限される項目（パーツ）は、走行中非表示選択項目として設定された項目であり、シナリオの管理データデータの走行中実行条件の設定に従う。
図２４（ｂ）に示されるように、このシーンに対して走行中非表示選択項目として設定されている、吹き出し画面５２とお勧め情報に関するインフォメーション提案ボックス５４ｃの表示が制限され、それ以外のパーツが表示されている。なお、表示されなかった吹き出し画面５２用の台詞の音声は、走行中であっても音声出力装置（３）から出力される。
【０１５８】
以上説明したように、本実施形態のエージェント装置によれば、エージェント装置では、シナリオに設定された走行中実行条件に従って、コミュニケーション中（シナリオ実行中）に走行し始めた場合、シナリオを中断したり、吹き出しや選択ボタン等の制限項目の表示を自動的に制限してコミュニケーション（シナリオの実行）を続けたりするようになっている。
従って、シナリオの内容に応じて、走行中に過度なコミュニケーションを行なわないようにでき、ユーザーの煩わしさも軽減される。そして、擬人化されたキャラクタとのコミュニケーションを、より人間同士のコミュニケーションに近づけることができる。
【０１５９】
また本実施形態のエージェント装置によれば、シナリオデータの各シーン毎にタイマー情報が設定されているか判断し、設定されている場合には、タイマー設定条件に従って、回答があるまでシーンを継続し、又は、タイマー設定時間だけシーンを実行する（シーンの開始と併せてタイマー設定時間の計測を開始してタイマー通知（設定時間の経過）となったときにシーンを終了する）、ようになっている。
そして、タイマー通知の場合には、タイマー通知を移行条件として次のシーンに移行するようになっている。このため、１つのシナリオがユーザの回答の有無等によって極端に長時間実行され続けることがなく、車両移動による状況変化によって新たに自律起動条件を満たして実行待ちの状態のシナリオが増加してしまうことが防止される。
【０１６０】
また、一定時間質問に対する回答が無かった場合は状況によって質問に対して無回答と判断して次のシーンに移行するので、擬人化されたキャラクタとのコミュニケーションをより人間同士のコミュニケーションに近づけることができる。また、ユーザにとって、常に回答しなければならないという煩わしさを回避することができる。
【０１６１】
また、本実施形態のエージェント装置によれば、音声認識の結果が出たときに、シナリオエディタで作成したシナリオデータに示されている音声認識結果のコールバック制御指示に従って、認識結果をコールバックする行為をしたり、しなかったりする機能を備える。
これにより、擬人化されたキャラクタが常に認識結果を聞き返すことがなくなるため、ユーザは煩わしさを感じずにすむ。
また、状況によってコールバックをするか、しないかが制御され、運転中の場合、コールバック音声によって画面を見ずに会話ができるため安全である。逆に停車中の場合や、さらに２択の回答を要求されている場面などはコールバックしないことでスムーズな会話を実現できる。
さらに、コールバックしたりしなかったりすることで、擬人化されたキャラクタとの会話において、人間同士の会話に近づけることができる。
【０１６２】
また説明した実施形態のエージェント装置によれば、シナリオエディタで作成したシナリオデータに示されている音声認識を自動で開始させるか否かの指示に従って、音声認識を開始させる機能を備えている。
このため、エージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。
そして、人間同士の会話においては存在しない音声認識開始ボタン選択を不要としたので、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【０１６３】
また、説明した実施形態のエージェント装置によれば、シナリオの各シーンにおけるキャラクタの動作を指示する表示状態をキャラクタの種類によらずに共通化し、ユーザが選択したキャラクタの変換テーブルを参照することで、シナリオの各シーンで指定された表示状態に対応する各キャラクタの画像データを選択し、その画像データを再生することで各シーンを展開し、シナリオを実行するようにしたので、１のシナリオで、異なる複数のキャラクタに対応することができる。従って、キャラクタ毎のシナリオを記憶する必要がなくなるので、データ量を少なくすることができる。
【０１６４】
また、説明した実施形態によれば、シナリオ作成装置のユーザー（作成ユーザー）が作成したオリジナルのシナリオに組み込まれた自律起動条件を、シナリオの起動条件としてシナリオの実行を開始することができる。
従って、シナリオ作成装置のユーザーに対して、エージェントの登場を含めた各種シナリオを、自分の好みに合わせたタイミングで起動させるようなシナリオを自由に作成する場を提供することができる。
【０１６５】
また、本実施形態では５秒間隔で定期的に自律起動判断処理が実行されるようになっているので、各種状況の変化に対してほぼリアルタイムで、条件を満たしたシナリオを起動することが可能になる。
さらに、あらかじめシナリオの起動条件として選択される可能性が高い状況（状況の変化が大きい場合）も自律起動判断処理が実行されるので、定期的な判断処理が開始される前にも自律起動判断処理が実行され、かつ、この場合に該当する（条件を満たす）シナリオが多い。このため、よりリアルタイムに近い状態でシナリオを実行することができる。
【０１６６】
また、説明した実施形態によれば、エージェントの行為をシナリオデータで規定すると共に、このシナリオデータを複数の連続するシーンからなるシナリオによって規格化されているので、エージェント装置のユーザ及び第三者が自分でシナリオを作成し、組み込むことができる。
このように装置に予め格納されているデフォルトのシナリオに追加できるので、ユーザは自分に合った追加シナリオをインターネット等で探してダウンロードし、また自分でシナリオを作成することでエージェント装置をより快適に使用することができる。
【０１６７】
次に、ユーザや第三者が独自のシナリオを作成するシナリオ作成装置２の構成とその動作について説明する。
図２５は、シナリオ作成装置の構成を表したものである。
シナリオ作成装置は、制御部（２００）と、入力装置（２１０）と、出力装置（２２０）と、通信制御装置（２３０）と、記憶装置（２４０）と、記憶媒体駆動装置（２５０）と、入出力Ｉ／Ｆ（２６０）とを備えている。これら各装置は、データバスや制御バス等のバスラインにより接続されている。
【０１６８】
制御部（２００）は、シナリオ作成装置全体を制御する。
シナリオ作成装置はシナリオ編集プログラムの実行だけでなく、その他プログラム類（例えばワープロや表計算等）を実行することもできる。制御部（２００）は、ＣＰＵ（２００−１）と、メモリ（２００−２）等から構成されている。
ＣＰＵ（２００−１）は、種々の演算処理を実行するプロセッサである。
メモリ（２００−２）は、ＣＰＵ（２００−１）が種々の演算処理を実行する際にワーキングメモリとして使用される。
ＣＰＵ（２００−１）は、メモリ（２００−２）にプログラムやデータなどを書き込んだり消去したりすることができる。
本実施の形態におけるメモリ（２００−２）には、ＣＰＵ（２００−１）がシナリオエディタ（シナリオ編集プログラム）に従ってシナリオデータを作成、編集、記憶等するためのエリアが確保可能になっている。
【０１６９】
入力装置（２１０）は、シナリオ作成装置に対して文字や数字その他の情報を入力するための装置であり、例えばキーボードやマウスなどにより構成されている。
キーボードは、主にカナや英文字などを入力するための入力装置である。
キーボートは、例えばユーザがシナリオ作成装置にログインするためのログインＩＤやパスワードを入力したり、シナリオ作成の際に音声合成や音声認識の対象となる文を入力したりする際などに使用される。
マウスは、ポインティングデバイスである。
ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）などを用いてシナリオ作成装置を操作する場合、表示装置上に表示されたボタンやアイコンなどをクリックすることにより、所定の情報の入力を行なうこと等に使用される入力装置である。
【０１７０】
出力装置（２２０）は、例えば表示装置や印刷装置などである。
表示装置は、例えばＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイなどが使用される。
表示装置には、シナリオを作成するためのメイン画面や、各シーンにおける画面構成を選択するための画面等の各種画面が表示される。また、各画面において選択された情報や入力された情報が表示されるようになっている。
印刷装置は、例えば、インクジェットプリンタ、レーザプリンタ、熱転写プリンタ、ドットプリンタなどの各種プリンタ装置が使用される。
印刷装置で印刷するものは、例えば、作成したシナリオの全体の流れをチャート形式で表す図や、各シーンの設定状態を示すものがある。
【０１７１】
通信制御装置（２３０）は、外部との間で各種データやプログラムを送受信するための装置であって、モデム、ターミナルアダプタその他の装置が使用される。
通信制御装置（２３０）は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などに接続可能に構成されている。通信制御装置（２３０）は、これらのネットワークに接続した他の端末装置あるいはサーバ装置などと通信によって信号及びデータのやり取りを行なうことで、装置で作成したシナリオデータを送信したり、第３者が作成したシナリオデータを受信（ダウンロード）したり、更に、シナリオデータの作成に必要なデータを取得したりすることができるようになっている。
通信制御装置（２３０）はＣＰＵ（２００−１）によって制御され、例えば、ＴＣＰ／ＩＰなどの所定のプロトコルに従ってこれら端末装置やサーバ装置との信号及びデータの送受信を行う。
【０１７２】
記憶装置（２４０）は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータを読み書きするための駆動装置によって構成されている。
当該記憶媒体として主にハードディスクが使用されるが、その他に、例えば、光磁気ディスク、磁気ディスク、半導体メモリなどの他の読み書き可能な記憶媒体によって構成することも可能である。
記憶装置（２４０）には、シナリオ編集プログラム（２４０−１）、シナリオ編集データ（２４０−２）、及びその他のプログラム・データ（２４０−３）が格納されている。その他のプログラムとして、例えば、通信制御装置（２３０）を制御し、シナリオ作成装置とネットワークでつながれた端末装置やサーバ装置との通信を維持する通信プログラムや、メモリ管理や入出力管理などのシナリオ作成装置を動作させるための基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ
Ｓｙｓｔｅｍ）なども記憶装置（２４０）に格納されている。
【０１７３】
記憶媒体駆動装置（２５０）は、着脱可能な記憶媒体を駆動してデータの読み書きを行うための駆動装置である。着脱可能な記憶媒体としては、例えば、光磁気ディスク、磁気ディスク、磁気テープ、ＩＣカード類、データをパンチした紙テープ、ＣＤ−ＲＯＭなどがある。
本実施形態では、シナリオ作成装置で作成・編集したシナリオデータ（エージェント装置で使用する形態）は、主としてＩＣカード類に書き込まれるようになっている。
シナリオ作成装置は、記憶媒体駆動装置（２５０）によって記憶媒体を駆動することにより、シナリオデータが格納された記憶媒体からシナリオを取得したり、あるいは、作成したシナリオデータを記憶媒体駆動装置から記憶媒体に格納したりすることができる。
【０１７４】
入出力Ｉ／Ｆ（２６０）は、例えば、シリアルインターフェースやその他の規格のインターフェースにより構成されている。
入出力Ｉ／Ｆ（２６０）に当該インターフェースに対応した外部機器を接続することにより、シナリオ作成装置の機能を拡張することができる。このような外部機器として例えば、ハードディスクなどの記憶装置、通信制御装置、スピーカ、マイクロフォンなどがある。
【０１７５】
次に、シナリオ編集プログラム（２４０−１）と、シナリオ編集データ（２４０−２）の構成について説明する。
図２６は、シナリオ編集プログラムとデータの構成を概念的に表したものである。
シナリオ編集プログラム（２４０−１）は、シナリオエディタ（２４０−１−１）と、シナリオコンパイラ（２４０−１−２）と、ＤＢ編集ツール（２４０−１−３）が存在する。
シナリオ編集データ（２４０−２）は、共通定義ＤＢ（２４０−２−１）と、ローカル定義ＤＢ（２４０−２−２）と、シナリオエディタで作成したＳＣＥ形式シナリオデータ（２４０−２−３）と、シナリオコンパイラで変換された実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）が存在する。
シナリオエディタ（２４０−１−１）は、シナリオデータを作成するアプリケーションプログラムである。
【０１７６】
シナリオコンパイラ（２４０−１−２）は、シナリオエディタ（２４０−１−１）で作成されたＳＣＥ形式シナリオデータ（２４０−２−３）を、エージェント装置で使用可能な実機形式シナリオデータ（２４０−２−４）に変換するアプリケーションプログラムで、変換手段として機能する。
図２７は、データ形式の変換を概念提供に表したものである。
この図２７に示されるように、シナリオコンパイラ（２４０−１−２）は、１個以上のＳＣＥ形式シナリオデータ（２４０−２−３）を、１個の実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）に変換する。
【０１７７】
ＤＢ編集ツール（２４０−１−３）は、共通定義ＤＢ（２４０−２−１）に格納されているデータを編集・更新するためのアプリケーションプログラムである。
共通定義ＤＢ（２４０−２−１）は、シナリオデータを作成する際の定義データが格納される。共通定義ＤＢ（２４０−２−１）には、後述する自律起動判断データ、シーン展開をするアクション項目及び追加判断項目、キャラクタの表示状態指示テーブル、走行中制限実行テーブル（図３７）等が格納される。この共通定義ＤＢ（２４０−２−１）は、シナリオ作成装置の記憶装置ではなく、ローカルエリアネットワーク（ＬＡＮ）でつながっているサーバ上に存在してもよい。こうすることで、ローカルエリアネットワーク（ＬＡＮ）でつながっている各シナリオ作成装置は共通の共通定義ＤＢ（２４０−２−１）を使ってシナリオデータの作成ができる。
ローカル定義ＤＢ（２４０−２−２）は、シナリオ作成者がシナリオデータを作成中に定義した画面構成が格納される。
【０１７８】
ＳＣＥ形式シナリオデータ（２４０−２−３）は、シナリオエディタ（２４０−１−１）で作成されたデータである。
実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）は、シナリオコンパイラ（２４０−１−３）によってＳＣＥ形式シナリオデータ（２４０−２−３）からエージェント装置で使用するためのデータ形式に変換されたデータである。
【０１７９】
図２８は、自動起動項目として設定可能な項目を例示したものである。
この自動起動項目は、エージェント装置で検出、認識、確認可能な各項目の種類のサンプルを概念的に一覧表示したものである。
この自動起動項目は、共通定義ＤＢ（２４０−２−１）に記述されており、シナリオエディタ（２４０−１−１）でシナリオを作成する際に、自律起動条件を設定するために、自動起動項目が共通定義ＤＢ（２４０−２−１）から読み出され、リスト表示される（提示手段）。作成者は、このリスト表示（一覧表示）された中から自動起動項目を選択する（選択手段）。
それぞれ選択された項目の種類に記されている内容によって数値入力を行なうウインドウが表示されたり、一覧から選択するウインドウが表示されたりして自動起動項目の判断条件を入力する。この操作を１又は複数回繰り返しシナリオを自律的に起動するための判断条件である自律起動条件のデータが作成される。
このように、画面要素推移体（シナリオ）の起動条件を設定することにより、本願発明の起動条件設定手段が形成される。
【０１８０】
図２９、図３０は、自動起動項目に対して、自律起動条件として選択可能な選択可能項目を例示したものである。
選択可能項目も共通定義ＤＢ（２４０−２−１）に記述されている。図２８に例示した自動起動項目を示したテーブルのうち、種別の欄に一覧から選択と表記された項目について、更に下位の概念として選択可能な項目が、選択可能項目として図２９、図３０に規定されている。選択可能項目に規定されたグループと、自動起動項目の項目とは、一番左側のＮｏ．の項目で対応付けられている。
表には示さないが他にもこれと同様に数値入力に関する定義テーブル等が存在し、時刻の入力ウインドウであったり、走行距離の入力ウインドウであったり、と異なった入力をするウインドウを作成することができるようになっている。
選択された自動起動項目と選択された選択可能項目及び入力された数値や時刻、距離等の組み合わせが、各シナリオに対する自律起動条件となる。例えば、ユーザによる選択が、自動起動項目「加速度」、選択可能項目「急減速状態」である場合、自律起動条件は「加速度−急減速」となる。
なお、本サンプルはあくまでもサンプルであり定義を変更してもよい。
例えば車速入力を一覧から選択にし、１０ｋｍ／ｈ毎に区切られた項目の中から選択する形をとってもよい。
また、エージェント装置において新規にセンシングできる項目が増えた場合には、その項目を追加する事ができる。例えばシートベルト検知センサを組み込んだ場合、一覧から選択という入力手段でシートベルト状態という項目に対し、シートベルト未装着、シートベルトを装着しているといった項目が選択できる定義を組み込むことが考えられる。
これらの変更及び追加は、先に示したＤＢ編集ツール（２４０−１−３）を使って行なう。
また、エージェント心理部からキャラクタの心理状態を入手して自律起動判断に加えてもよい。
この場合も、ＤＢ編集ツール（２４０−１−３）を使って定義データを追加する。例えば、一覧から選択という入力手段で自動起動項目としてキャラクタの心理状態、ブルー（落ち込んでいる）、機嫌がよい、等といった項目が選択できる定義を組み込むことが考えられる。
【０１８１】
図３１は、シーンから次のシーンに分岐（シーン展開）をするための分岐項目（移行条件）が格納されたシーン分岐項目テーブルである。シーン分岐項目テーブルは、共通定義ＤＢ（２４０−２−１）に格納されている。
シーン分岐項目の各項目は、各シーンの展開構成を作成する際に読み出され、分岐イベントの選択ウィンドウ（図４４（ｂ））にリスト表示される。
このリスト表示された中から分岐条件項目を選択し、また、テーブルに格納されていない場合には別途分岐条件をＤＢ編集ツール（２４０−１−３）を使って定義データを追加することにより、シーン展開構成が作成される。分岐条件項目の選択を繰り返すことで、複数の推移先を持つ（複数に分岐された）シーンを作成することができる。
【０１８２】
本実施形態では、キャラクタがしたユーザへの質問に対するユーザからの回答の入力を待つ時間としてタイマー設定時間とタイマー設定条件が設定。そして、タイマー設定時間内にユーザの回答が無い場合に、タイマー通知（設定時間の経過）による無回答と判断するようになっている。
図３１に示されるように、本実施形態のシーン分岐項目テーブルには、移行条件としてタイマー通知が規定されている。
【０１８３】
図３２は、更に詳細に分岐条件を設定する場合の追加条件テーブルを表したものである。追加条件テーブルも共通定義ＤＢ（２４０−２−１）に格納されている。
追加条件項目は、前記のシーン展開をするアクション（分岐条件項目）に対してさらに複数の展開を持たせるために使用する項目である。このとき分岐させるためのシーンを作成する。分岐させるためのシーンを作成すると、分岐させるためのシーンからの展開構成を作成する際には、追加判断項目が読み出さる。分岐させるためのシーン１個に対し、１分類のみ選択でき、選択された分類の項目が一覧リスト表示されて選択する、もしくは数値入力で範囲指定する。複数の分類を論理積で掛け合わせたい場合は、分岐させるためのシーンを重ねることで容易に作成する事ができるようになっている。
さらにエージェント装置は、学習部（１０１−３：図５参照）により、シナリオが複数のシーンに分岐していて、それぞれ異なるシーンでシナリオが終了する場合の終了の仕方をエンドＩＤとして記録するようになっている。また、学習部（１０１−３）は、シナリオのなかでユーザの応答や、通算使用回数等を学習データといして記録することができるようになっている。
【０１８４】
図３２に示す追加条件テーブルには、これら記録されたシナリオ終了状態（エンドＩＤ）や、シナリオの通算使用回数、ユーザ情報（運転者情報）、メンタルモデル、日時などのその他の分類項目と、各分類における選択できる項目一覧の作成方法が定義されており、これらを追加分岐条件として選択し、１個のシーン展開をするアクションに対して複数の展開を持たせることが可能になっている。シーン展開をするアクション項目及び追加判断項目に関する定義データも自律起動判断データと同様に、変更及び追加がＤＢ編集ツール（２４０−１−３）を使って行なうことができるようになっている。
【０１８５】
図３３、図３４は、共通定義ＤＢ（２４０−２−１）に格納されている、キャラクタによらない統一の動作指示テーブルの内容の一部を概念的に表したものである。以下図３３、図３４の説明より、キャラクタ設定手段を形成する。
このテーブルは、キャラクタの種類によらずに共通した動作の表示状態が規定されており、キャラクタに表現させたい内容毎に分類されている。
キャラクタによらない統一の動作指示テーブルは、複数存在し、本実施形態では、仕事の状態（図３３）、精神状態（図３４）、ＴＰＯ状態、成長状態、スケール状態の各表示状態指示テーブルが存在する。
図３３、図３４に示されるように、各表示状態指示テーブルは、複数のツリー構造になっており、後述するキャラクタ動作の状態指示編集ウィンドウ（図４０（ｃ））に各ツリー構造の形と分類名が表示されるようになっている。
【０１８６】
図３３、図３４に示されるように、表示状態指示テーブルのツリーの末端の項目毎に状態指示番号が付されている。この状態指示番号が、エージェント装置１のキャラクタ画像選択データ（変換テーブル）１０２３５３の状態指示番号（図９参照）に対応している。
【０１８７】
仕事の状態テーブルは、図３３に示されるように、ここでは最大４つまでに分類されており、基本姿勢、出会いの挨拶、別れの挨拶、感謝、謝罪、励ます、誉める、慰める、登場、退場、禁止等の表示状態が規定されている。
このように各分類の名称として、エージェントに表現させたい内容を用いることで、シナリオ作成者がイメージしているシナリオ、及びシーンの内容に対応した表示状態を選択しやすくなっている。
【０１８８】
精神状態テーブルは、図３４に示されるように、５階層に分類されてる。喜怒哀楽の表現として、通常、喜ぶ、怒る、哀しむ、驚く等が規定され、その他としてあきれる、友好、眠気等が規定されている。
【０１８９】
ＴＰＯ状態テーブルは、図示しないが、通常状態、おしゃれ状態等のそれぞれに対して、春夏秋冬の分類と月の分類が規定されており、イベント状態に対して、一般記念日（歳時記、元旦、子供の日、クリスマス等）、ユーザ固有記念日（エージェント装置の使用開始記念日、結婚記念日、誕生日等）等が規定されている。
成長状態テーブルは、長期成長状態１，２，３，…に分類され、その各々にたいして、短期成長状態１，２が規定されている。
スケール状態テーブルは、キャラクタを画面に表示する大きさについて規定されており、画角による分類が規定されている。
【０１９０】
これらのテーブルでは、図３３、図３４でも示されているように、表示状態に対する下層で定義されているレベル（丁寧に行なう、普通に行なう、強、中、弱等）をシステム（エージェント装置）に自動で選択させる項目「自動」を設けている。
この自動を選択したシーンに対して、エージェント装置では、キャラクタ心理状態、日付や時刻、等によってキャラクタのどのレベルの表示状態を使用するかを判断して、いずれかの表示状態を選択し実行することになる。
【０１９１】
共通定義ＤＢ（２４０−２−１）には、その他、音声認識に使用する音声認識用データと、キャラクタの動作指示に使用するデータ（別途台詞の指示データも存在する）と、各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データ及びキャラクタ台詞データ及びキャラクタによらない統一の指示に対する各キャラクタの表現方法への変換テーブルと、表示装置（２）に表示する各パーツデータ及びそれらをどのように配置するかが記された画面構成データと、シーンにおける処理内容として選択可能な項目、例えば、エージェントが処理可能な行為である、オーディオ装置のオン・オフやチャンネル選択、エアコン装置のオン・オフと温度設定、全体処理部（１０２）に供給する目的地の設定等の各種処理内容項目データ等が共通定義ＤＢ（２４０−２−１）に格納されている。
これら全ての定義データも、各定義データと同様に、変更及び追加がＤＢ編集ツール（２４０−１−３）を使って行なうことができるようになっている。
【０１９２】
各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データは、エージェント装置に格納されている各種キャラクタの画像データが格納されている。
また、キャラクタによらない統一の指示に対する各キャラクタの表現方法への変換テーブルは、エージェント装置１のキャラクタデータ（１０−２−３−５）のキャラクタ画像選択データ１０２３５３（図８参照）と同一の変換テーブルが格納されている。
なお、ユーザは、エージェント装置から他のキャラクタについてのキャラクタ画像データと、変換テーブルをＩＣカード７、又は、サーバ３を介してシナリオ作成装置２の共通定義ＤＢに格納するようになっている。
【０１９３】
次に、このように構成されたシナリオ作成装置によるシナリオ作成の各動作について、画面の遷移に従って説明する。
図３５は、シナリオエディタ（２４０−１−１）を起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
この図３５に示されるように、メインウィンドウは、作成中のシーン画面（エージェント装置（１）の表示装置（２）に表示されるシーン画面（図１２参照））が表示されるシーン画面３０１と、各種設定を行う設定項目が表示された設定画面３０３と、シーンの展開構成（分岐の状態）が各シーンを表すシーンアイコン３０７のツリー構造により表示されるシーン展開画面３０５で構成されている。
【０１９４】
シナリオエディタ（２４０−１−１）を起動すると、メインウインドウのシーン展開画面３０５には、スタートポイント３０８が表示される。このスタートポイント３０８を選択するとシナリオプロパティの編集ができる。選択は、例えば、マウスカーソルによるポイント位置をスタートポイント３０８に合わせて、マウスをダブルクリックすることで選択される。
画面構成の変更ボタン３０９は、クリックすると表示したい画面構成の選択ができる。
効果音設定ボタン１１０をクリックすると、後述するように、シナリオの各シーン毎に効果音を設定する画面が表示される。
エージェント表示画面３１１をマウスでダブルクリックすると、エージェント（キャラクタ）の動作の編集画面が表示される。
台詞編集ボタン３１３をクリックするとキャラクタの台詞の指示が編集できる。
ボタンパーツ・バックグラウンド音声認識辞書設定３１５をダブルクリックすると使用する音声認識辞書の編集ができる。シーン画面３０１の回答選択ボタン３１５ａ（５４ａ）のマークで表示されている方を選択すると認識する単語の名称がシーン画面に表示され、バックグラウンドで認識する方３１５ｂを選択すると、音声認識の対象となるが認識する単語の名称は表示されない。
【０１９５】
タイマー設定ボタン３１７は、後述するように、タイマー設定情報を設定、及び変更するためのボタンである。
外部機器等の制御指示編集３１９では、外部機器等（ナビも含む）の制御指示を設定する。
【０１９６】
音声認識開始制御指示３２０ａでは、作成中のシーンにおいて音声認識を行う場合に、音声認識の開始をどのようにするかを規定する音声認識の指示を設定する。音声認識の指示としては、音声認識を「自動で開始する」、「自動で開始しない」、「エージェント装置（車載装置）が判断する（おまかせ）」、のうちのいずれかを選択可能になっている。
【０１９７】
コールバック制御指示３２０ｂでは、音声認識の結果を確認するためのコールバックを行うか否かについての指示を設定する。コールバックの指示としては、「コールバックする」、「コールバックしない」、エージェント装置が状況判断してコールバックをするかしないかを判断する「エージェント装置が判断（おまかせ）」のうちのいずれかを選択可能になっている。
【０１９８】
次のシーン作成ボタン３２１をクリックするとシナリオの流れを編集できる（次のシーンを作成する）。シーン作成ボタン３２１をクリックすると、現在選択しているシーンの次に展開するシーンの作成が可能になる。
シーン作成ボタン３２１でシナリオの流れを分岐させることで、各シーンの展開構成が作成される。例えば、シーンのアイコン１を選択した状態（アクティブ表示されている状態）で、次のシーン作成ボタン３２１をクリックするとシーン１に続くシーンのアイコンが下層側に表示され、複数回クリックすることでシーン１に続いて展開されるシーン２，３，…が分岐して作成される。
【０１９９】
すなわち、シーンｍを選択した状態でシーン作成ボタン３２１をクリックすることで、シーンｍに続く次のシーンｍ１が作成される。そして、再度シーンｍを選択した状態で、シーン作成ボタン３２１をクリックするとシーンｍに続く次のシーンｍ２が、シーンｍ１と並列に分岐して作成される。同様に再度シーンｍを選択した状態でシーン選択ボタン３２１をクリックするとシーンｍ３が作成される。
そして、シーンｍ１に続くシーンを更に展開させたい場合には、シーンｍ１を選択した状態でシーン作成ボタンをクリックすることで、シーンｍ１に続く次のシーンｍ１−１が作成される。
そして、シーンｍ１−１を作成した状態で（シーンｍ１−１が選択されている状態）でシーン作成ボタン３２１をクリックすれば、シーンｍ１−１に続くシーンｍ１−１−１が作成され、シーンｍ１から分岐する別のシーンを作成する場合にはシーンｍ１を再度選択してシーン作成ボタン３２１をクリックすればシーンｍ１に続くシーンｍ１−２が作成される。
【０２００】
シナリオの終了位置作成ボタン３２３をクリックするとシナリオの終了位置を作成できる。作成した各シナリオの終了位置には、終了番号がエンドＩＤとして割り振られるようになっている。
シナリオコンパイルボタン３２５をクリックすると作成したシナリオをナビゲーションで使うための実機形式（ＮＡＶ形式）のフォーマットにコンパイルできる。
【０２０１】
図３６は、シナリオプロパティを編集する画面操作の流れを表したものである。
図３６の（ａ）に示したメインウインドウにおいて、シーン展開画面３０５に表示されているスタートポイント３０８をダブルクリックすると、図３６（ｂ）に示すシナリオプロパティの編集ウインドウがメインウィンドウ上に重ねて表示される。
【０２０２】
このシナリオプロパティの編集ウィンドウにおいて、シナリオ名称入力，カナ名称入力，アイコン選択，プライオリティの設定，有効期限（開始条件を満たしてから実際に開始するまでのタイムラグの上限値）の設定，走行中実行条件の設定，シナリオの自律起動条件の設定（別ウインドウ），作成者名称入力，コメント入力が行なえる。この画面で入力されるシナリオ名称入力，カナ名称入力は、実機形式のシナリオデータにおける管理データ等となる。
シナリオプロパティの編集ウィンドウにおいて、決定ボタン４０２をクリックすると編集内容がデータに反映され、メインウインドウに戻る。一方、キャンセルボタン４０３をクリックするとデータに反映されなで、メインウインドウに戻る。
【０２０３】
シナリオプロパティの編集ウィンドウ（図３６（ｂ））において、走行中でも使用可能にするチェックボックス４０７及び、詳細設定ボタン４０８により走行中実行条件を設定する。
すなわち、走行中でも使用可能にするチェックボックス４０７にチェックをしない（デフォルト状態）と、走行中不実行がシナリオデータに設定される。
この走行中不実行が選択されると、作成されたシナリオはエージェント装置において停車中だけ実行され、途中で走行が開始されると実行中のシナリオは、シナリオ中断処理（図２６）により中断されることになる。
【０２０４】
一方、走行中でも使用可能にするチェックボックス４０７にチェックをすると、走行中制限実行がシナリオデータに設定される。そして、チェックボックス４０７にチェックすると、詳細設定ボタンが有効（選択可能）になり、マウスで左クリックすると、表示に関する設定ウィンドウ（図３６（ｃ））が重ねて表示される。
この表示に関する設定ウィンドウには、シーン画面を構成する全項目（パーツ）のうち、走行中非表示選択項目としてユーザーが選択可能な項目が全てリスト表示される。
【０２０５】
図３７は、シーン画面を構成する各項目に対して、走行中での表示、非表示のデフォルト値を規定した走行中制限実行テーブルの一例を表したものである。
この図３７に示されるように、シーン画面の各項目（パーツ）に対して、走行中でも常に表示、走行中は常に非表示、エディタで選択（デフォルトは表示）、エディタで選択（デフォルトは非表示）の４種類のうちのどれかが設定されている。
この走行中制限実行テーブルに表示された項目のうち、エディタで選択と設定されている各項目が、図３６（ｃ）の表示に関する設定ウィンドウにリスト表示される。最初にリスト表示される際には、デフォルト値が表示するになっている項目のチェックボックスには予めチェックが付けられて表示される。
【０２０６】
シナリオデータの作成者は、各項目毎に表示、非表示の設定をする場合、詳細設定ボタン４０８を選択して表示に関する設定ウィンドウ（図３６（ｃ））を表示した後、走行中でも表示したい項目にはチェックボックスにチェックを付け、走行中は非表示にしたい項目にはチェックボックスのチェックをはずす。そして、決定ボタンを選択することで、チェックボックスにチェックのない項目が走行中非表示選択項目としてシナリオデータに反映される。
このように、シナリオデータの作成者は、作成するシナリオの内容に併せて各項目毎の走行中での表示、非表示を設定することが可能になる。
【０２０７】
なお、表示に関する設定ウィンドウにリスト表示されない項目は、図３７の走行中制限実行テーブルに規定されている常に非表示と規定されている項目（例えば、スライダーバー）は走行中常時非表示項目であり、自動的に走行中非表示選択項目としてシナリオデータに設定される。
逆に常に表示と規定されている項目（例えば、背景やキャラクタ）は、走行中非表示選択項目となることはない。
【０２０８】
このように、走行中でも使用可能にするのチェックボックス４０７のチェックの有無により、作成中のシナリオを走行中制限実行とするか走行中不実行にするかを容易に設定することができる。また、走行中制限実行とした場合、更に詳細設定ボタン４０８を選択して表示される表示に関する設定ウィンドウ（図３６（ｃ））において、シーン画面を構成する所定の項目毎に走行中非表示選択項目（チェックを付けない状態）とすることができる。
なお、シナリオの作成者が、走行中でも使用可能にするのチェックボックス４０７のチェックをして、詳細設定を選択しない場合には、走行中制限実行テーブル（図３７）の強制設定（常に表示と常に非表示）とデフォルト設定がシナリオデータに反映される。
以上のように、車両の走行状態に応じて、画面要素（シーン）の少なくとも一部の実行を制限することにより、本願発明の走行中実行条件設定手段、及び走行条件と対応させて、画面構成の一部又はすべての表示を停止するか否かの設定をすることにより、本願発明の表示停止設定手段が形成される。
【０２０９】
一方、シナリオプロパティの編集ウィンドウ（図３６（ｂ））において、起動条件の設定ボタン４０１を選択すると、シナリオ開始条件のメイン編集ウィンドウが表示される。
図３８は、シナリオ開始条件のメイン編集ウィンドウから、シナリオ起動条件を編集する画面操作の流れを表したものである。
シナリオ開始条件のメイン編集ウインドウ（図３８（ａ）では、ユーザがシナリオを手動で開始できるように設定できる。この事例ではチェックボックス４０６のチェックを外して手動で起動しないに設定する。
このシナリオ開始条件のメイン編集ウインドウ（ａ）の左側の自動起動条件（自律起動条件）一覧にはシステムがシナリオを自動で開始する条件が表示される。図３８（ａ）の状態では、まだ何も設定されていないので空欄の状態である。シナリオ開始条件のメイン編集ウインドウ（図３８（ａ））において、新規作成ボタン４０５をクリックすると、自動開始条件選択ウインドウ（図３８（ｂ））が表示され、新しい開始条件の編集ができる。
【０２１０】
自動開始条件選択ウインドウ（図３８（ｂ））において、設定したい判断条件項目（カテゴリ）を選択し、決定をクリックすると自動開始する条件範囲の選択ウインドウ（図３８（ｃ））へ進む。この図３８（ｂ）の例示では、高速道路走行中にシナリオを自動で開始（自律起動）したいので、「道路の状態がどのようなときに起動するか選択」の中の「種類を選択」の項目を選択し、決定をクリックする。
キャンセルをクリックするとシナリオ開始条件のメイン編集ウインドウ（図３８（ａ））に戻る。
【０２１１】
この自動開始条件選択ウインドウ（図３８（ｂ））に表示し、選択できる項目は、図２８に表示した自動起動項目である。図３８（ｂ）において、「いつ起動させるかを選択」のフォルダ内を選択すると図２８のＮｏ．１〜１０の条件項目が１つ下の階層に表示される。
同様に、「どこで起動させるかを選択」のフォルダを選択するとＮｏ．１０〜１６が、「道路の状態がどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．２１〜２３が、「車の状態がどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．１７〜２０が、「ナビの状態がどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．２１〜２８が、「ユーザーがどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．２９〜３０が、それぞれ１つ下の階層に表示される。
【０２１２】
自動開始する条件範囲の選択ウインドウ（図３８（ｃ））では、前のウインドウ（ｂ）で選択した判断条件項目（カテゴリ）によってウインドウの構成が変わる。図示した例では、道路の種類を選択する項目のウィンドウが表示されている。
自動開始する条件範囲の選択ウインドウ（図３８（ｃ））で、選択可能な項目は、自動開始条件選択ウインドウ（図３８（ｂ））で選択した自動起動項目に対応する、選択できる項目（図２９）である。この選択できる項目は、選択項目欄４０８右側のマークをクリックすることで、プルダウンメニュー表示される。
自動で開始しても良い条件範囲を一覧から選択（又は数字で入力）し、追加ボタンをクリックすると選択した項目が設定されて下の欄に表示される。図示した例では、「高速道路」を選択して追加ボタンをクリックした場合が表示されている。
自動開始する条件範囲の選択ウインドウ（図３８（ｃ））で決定ボタンをクリックするとその設定状態に決定し、シナリオ起動条件のメイン編集ウインドウ（図３８（ｄ））に戻る。
キャンセルをクリックすると自動開始条件選択ウインドウ（図３８（ｂ））に戻る。
【０２１３】
図３８（ｄ）のシナリオ開始条件のメイン編集ウインドウでは、左側の自動起動条件一覧に、上記操作で設定した自動で開始する条件（道路の種類が高速道路だったら起動する）が表示されている。
また、自動起動の条件一覧画面に表示されている自動で開始する条件を選択して編集ボタンをクリックすると、選択した条件にさらに条件設定を追加するための自動開始条件選択ウインドウ（図３８（ｂ））が表示される。
【０２１４】
次に、自律起動条件以外の、シナリオを作成する各種操作について説明する。図３９は、エージェント表示画面５１（図１２参照）に表示したい画面構成を選択する画面操作の流れを表したものである。
この図３９（ａ）に示されるメインウィンドウのシーン展開画面３０５に表示されているシーンアイコン３０７を選択してアクティブ状態にすると、選択したシーンアイコンに対応するシーン画面３１０が表示される。そして、設定画面３０３の画面構成の変更ボタン３０９をクリックすると、画面構成の選択ウインドウ（ｂ）が表示される。
この画面構成の選択ウインドウ（ｂ）では、シーン表示画面５４（図１２参照）に表示可能なる画面構成が一覧表示される。何も表示されない基本画面、ボタンによる選択ボタンが２つ表示された２択画面、選択ボタンが複数表示されたボタン選択画面、例えば、都道府県名等の複数の項目がリスト表示されるリスト選択画面、画像データを表示する画像表示画面等の各種選択可能な画面が表示される。
一覧表示された各画面構成の中から１の画面構成を選択し、決定ボタンをクリックすると画面構成を変更する場合は確認ダイアログで確認後変更する場合は、その画面構成に変更してメインウィンドウ（ａ）に戻る。メインウィンドウに戻ると、シーン画面３０１が新たに選択した画面構成に変更されて表示される。
【０２１５】
以下図４０から図４２までが本実施形態におけるキャラクタの表示内容（画像、音声）、処理内容に基づいて画面要素を設定する画面要素設定手段、及び、キャラクタ設定手段を形成する。
図４０は、キャラクタ動作（エージェントの動作）指示を編集する画面操作の流れを表したものである。
シーン画面の編集状態を表しているメインウィンドウ（図４０（ａ））において、エージェント表示画面３１１をマウスでダブルクリックすると、動作指示編集ダイアログ（個別指示）（ｂ）又はキャラクタ動作指示編集ダイアログ（統一指示）（ｃ）が表示される。
いずれのウィンドウが表示されるかは、前回に使用したウィンドウが表示され、前回動作指示をキャラクタごとの直接指示で指示しているときは（ｂ）が表示され、前回キャラクタに表現させたい状態で指示している場合は（ｃ）が表示される。最初に使用する場合には、キャラクタ動作指示編集ダイアログ（統一指示）（ｃ）が表示される。
【０２１６】
図４０（ｂ）のキャラクタ動作指示編集ダイアログ（個別指示）では、モーション（動作），表情（感情表現の要素），髪型（成長表現の要素），服装（ＴＰＯ表現の要素），スケール（キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素），口パクをする範囲（台詞を割り当てる範囲），動作の指示タイミング，及びキャラクタ表示領域の背景を選択する。
図４０（ｂ）のキャラクタ動作指示編集ダイアログ（個別指示）において、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ（ａ）に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウ（ａ）に戻る。
また、表現内容指定ボタンをクリックすると、キャラクタ動作指示編集ダイアログ（統一指示）（ｃ）切り替わる。
【０２１７】
キャラクタ動作指示編集ダイアログ（個別指示）で動作の指示（表示状態）が選択されると、キャラクタ固有の動作としてシーンが定義される。この場合、エージェント装置１では、図２１の描画・音声出力部（１０１−５）によるキャラクタ描画・音声出力処理において、キャラクタによらない統一の動作指示でない（ステップ５０５−６−６−１；Ｎ）、と判断される。
【０２１８】
図４０（ｃ）のキャラクタ動作指示編集ダイアログ（統一指示）では、キャラクタが表現する状態として、共通定義ＤＢ（２４０−２−１）に格納されているキャラクタによらない統一の動作指示テーブル（図３３、図３４参照）に対応して、仕事の要素，精神状態の要素，ＴＰＯ表現の要素，成長表現の要素，スケール要素（キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素），が選択可能に表示される。また、動作の指示タイミング，及びキャラクタ表示領域の背景の選択画面が表示される。
ユーザは、このキャラクタ動作の状態指示編集ウインドウに表示された各表示状態を選択することで、キャラクタによらず各キャラクタに共通した動作として選択した表示状態に対応する表示状態番号が設定中のシーンの内容として設定される。
このウィンドウで、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ（ａ）に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウ（ａ）に戻る。
直接指示指定ボタンをクリックすると、キャラクタ動作指示編集ダイアログ（個別指示）（ｂ）に切り替わる。
【０２１９】
図４１は、キャラクタ（エージェント）の台詞指示を編集する画面操作の流れを表したものである。
シーン画面の編集状態を表しているメインウィンドウ（図４１（ａ））において、設定画面３０３の台詞編集ボタン３１３をクリックすると台詞の編集ウインドウ１（ｂ）が表示される。
この台詞の編集ウインドウ１（ｂ）では、「ＰＣＭ」のタブ画面が表示され、ＰＣＭ（録音されて用意されている肉声データ）の指示ができる。
台詞の編集ウインドウ１（ｂ）で「ＴＴＳ」タブを選択すると、台詞の編集ウインドウ２（ｃ）が表示され、ＴＴＳ（合成音声）の指示ができる。
ＰＣＭの場合台詞を全角ひらがなで入力（上記入力用ボックス）し該当する台詞が有るか検索（検索ボタンをクリックする：前方一致と完全一致の２種類の検索方法を用意）し、検索結果（検索結果一覧表示欄が存在する）から選択しキャラクタに話させる台詞を設定（追加ボタンをクリックすると設定できる）していく。
ＴＴＳの場合は台詞名称（吹き出し表示用データ）とフリガナ（合成音声を作成するためのデータ）を入力しキャラクタに話させる台詞を設定（追加ボタンをクリックすると設定できる）していく。
台詞の編集ウインドウ１（ｂ）、２（ｃ）において、決定ボタンをクリックすると編集内容が吹き出し画面４３０のデータとして反映されてメインウィンドウ（ａ）に戻り、キャンセルボタンをクリックするとデータに反映されなでメインウィンドウ（ａ）に戻る。
【０２２０】
図４２は、音声認識辞書を編集する画面操作の流れを表したものである。
この操作は、エージェント装置側からの回答を要求する問いかけに対して、ユーザから返される音声による回答を認識するための音声辞書を設定するものである。
その一例として、図４２では、車両の走行制御を行うシナリオにおいて、走行制御が終了した後に制御に対する感想を問いかけ、その回答を認識する１シーンでの画面操作を表している。
シーン画面の編集状態を表しているメインウィンドウ（図４２（ａ））において、音声認識開始制御指示３２０ａの右側に表示されている逆三角形のボタンを選択することで、プルダウンメニューが表示される。プルダウンメニューとしては、「自動で開始する」、「自動で開始しない」、「おまかせ」（エージェント装置（車載装置）が判断する場合）、が表示される。ユーザはこの表示の中から１つ音声認識の指示を選択する（音声認識開始設定手段）。なお、既に表示されている音声認識の指示でよい場合には、プルダウンメニューを表示せずにそのままにすることで表示中の指示が選択されたことになる。
上記のように、音声認識を開始するか否かの条件（「自動で開始する」「自動で開始しない」）をユーザが設定しない場合、音声認識の開始を予め定められた条件（「おまかせ」）で判断するように設定することにより、車載判断設定手段が形成される。
ユーザによって選択された音声認識の指示は、選択したシーンのシーンデータとして設定される。
【０２２１】
このように、本実施形態のシナリオ作成装置２によれば、音声認識を自動で開始させるか否かの指示（音声認識の指示）を設定できる機能を備えているので、エージェント装置１に対して音声認識の開始をどうするかをシナリオの作成者が設定することができる。
そして、音声認識を「自動で開始する」を設定することで、ユーザである運転者は音声認識開始のトリガ（認識開始ボタンを押す）を選択しなくても回答する（音声入力する）ことができる。このようにエージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。また、このステップは人間同士の会話においては存在しないため、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【０２２２】
また、本実施形態のシナリオ作成装置２では音声開始の指示として「おまかせ」（エージェント装置が判断）を設定でき、おまかせが設定されたシーンに対してエージェント装置では、運転負荷の高低によって音声認識を開始する、又は開始しないが選択される。
従って、運転者は、交差点の進路変更操作中等の負荷が高い場合には音声認識が開始されず、音声入力（運転者による回答）を要求する開始音が出力されないので、運転者は高負荷である運転操作に専念することができる。
【０２２３】
また、シーン画面の編集状態を表しているメインウィンドウ（図４２（ａ））において、コールバック制御指示３２０ｂの右側に表示されている逆三角形のボタンを選択することで、プルダウンメニューが表示される。プルダウンメニューとしては、「コールバックする」、「コールバックしない」、「おまかせ」（エージェント装置（車載装置）が判断する場合）、が表示される。ユーザはこの表示の中から１つコールバック制御の指示を選択する（音声認識確認設定手段）。なお、既に表示されている音声認識の指示でよい場合には、プルダウンメニューを表示せずにそのままにすることで表示中の指示が選択されたことになる。
ユーザによって選択されたコールバック制御の指示は、選択したシーンにおける音声認識後にコールバックするかしないかを決定するためのシーンデータとして設定される。
このように、音声認識の認識結果を確認するか否かの条件（「コールバックする」「コールバックしない」）をユーザが設定しない場合、音声認識の認識結果確認を予め定められた条件（「おまかせ」）で確認するように設定することにより、本願発明における車載確認設定手段が形成される。
【０２２４】
このように、本実施形態のシナリオ作成装置２によれば、ユーザの音声による解答を音声認識した場合に、コールバックするか否かの指示（コールバック制御指示）を設定できる機能を備えているので、エージェント装置１に対して音声認識後のコールバックを行うか否かをシナリオ作成者が設定することができる。
そして、本実施形態のシナリオ作成装置２ではコールバック制御の指示として「おまかせ」（エージェント装置が判断）を設定でき、おまかせが設定されたシーンに対してエージェント装置では、認識対象となっている語数（回答用音声認識辞書の語数）と車速から状況判断をし、認識結果をコールバックする行為を行なうか否が決定される。
これにより、エージェント装置のユーザである運転者と、擬人化されたキャラクタとの会話において擬人化されたキャラクタは、常に認識結果を聞き返す（コールバック）ことがなくなるため、ユーザは煩わしさを感じずにすむ。
また、状況によってコールバックをするか、しないかが制御されるため、運転中の場合、コールバック音声によって画面を見ずに会話ができるため安全である。逆に停車中で画面での認識結果の確認ができる場合や、さらに認識率が高い２択の回答を要求されていてる場合にはコールバックしないことでスムーズな会話を実現できる。
人間同士の会話においては、聞き取った内容を聞き返す行為（コールバックする行為）は状況によってされたりされなかったりするので、本実施形態によれば、エージェントとユーザ間で、人間同士の会話に近いコミュニケーションをとることができる。
【０２２５】
シーン画面の編集状態を表しているメインウィンドウ（図４２（ａ））において、選択された画面構成にしたがって表示されるボタンパーツ部３１５ａ（画面構成によっては通常リストボックスパーツ部の場合も有る）をダブルクリックすると音声認識辞書選択ウインドウ（ｂ）が表示される。また、バックグラウンドで認識する辞書の一覧表示部３１５ｂをダブルクリックしても音声認識辞書選択ウインドウ（ｂ）が表示される。
【０２２６】
音声認識辞書選択ウインドウ（図４２（ｂ））において、辞書候補の一覧表示にある辞書名称をダブルクリックするとその音声認識辞書を使うものとして、一般辞書として選択した一覧に表示される。
決定ボタンをクリックすると編集内容がデータに反映されてメインウィンドウ（ａ）に戻り、キャンセルボタンをクリックするとデータに反映されなでメインウィンドウ（ａ）に戻る。
新規作成ボタンをクリックすると、音声認識辞書を新規に作成する音声認識辞書作成ウインドウ（図４２（ｃ））が表示される。
【０２２７】
音声認識辞書作成ウインドウ（図４２（ｃ））では、辞書の名称を入力して辞書追加ボタンをクリックするとその名称で音声認識辞書を新規に作成して音声認識辞書へ単語登録するウインドウ（ｄ）が表示される。
音声認識辞書作成ウインドウ（ｃ）でＯＫボタンをクリックすると音声認識辞書の作成を終了し、音声認識辞書選択ウインドウ（ｂ）にもどる。
【０２２８】
音声認識辞書へ単語登録するウインドウ（図４２（ｄ））では、登録したい単語を半角カナでフリガナ欄に入力し、決定ボタンをクリックする。次に名称（表示させたい名称）を選択もしくは新規入力し、コールバックをする際のＰＣＭ音声を選択（無しを選択すればコールバックする場合はＴＴＳを使用する）する。これら３項目の入力をした後に登録ボタンをクリックするとデータ登録され右側の登録単語一覧に追加される。
登録したい単語の登録を全て終わったら戻るボタンをクリックすると音声認識辞書作成ウインドウ（ｃ）に戻る。
【０２２９】
次に、各シーンにおいて時間（タイマー設定）を設定する操作について説明する。
図４３は、タイマー設定をする場合の画面操作の流れを表したものである。
この図４３（ａ）に例示したメインウィンドウでは、キャラクタが野球が好きか否かを質問し、その回答として、２択の回答「好き」と「嫌い」の回答選択ボタン３１５ａ（５４）作成した状態である。
このメインウィンドウ（図４３（ａ））において、タイマー設定ボタン３１７を選択すると、タイマー設定情報ウィンドウ（図４３（ｂ））が表示される。但し、タイマー設定ボタン３１７の選択は、シーン設定のどの段階においても可能であり、キャラクタの質問の設定や、それに対する回答辞書の設定等の前後いずれでも可能である。
【０２３０】
タイマー設定情報ウィンドウにおいて、タイマー設定条件欄３１７ａの右側に表示された逆三角形のボタンをクリックすると、選択可能なタイマー設定条件がプルダウンメニュー表示される。
選択可能なタイマー設定条件として本実施形態では、（ａ）走行中も停車中も常に設定する、（ｂ）走行中のみ設定する、（ｃ）停車中のみ設定する、（ｄ）常にタイマー設定をしない（この場合にはタイマー設定時間は規定されない）、の各場合が存在し、プルダウンメニュー表示される。ユーザが選択したタイマー設定条件がタイマー設定条件欄３１７ａに表示される。
【０２３１】
一方、タイマー設定時間バー３１７ｂのスライダをマウスで移動させることで１秒から５分の間でタイマー設定時間を設定することができる。設定されたタイマー設定時間は、タイマー設定時間バー３１７ｂの左側のタイマー設定時間表示欄に表示される。
【０２３２】
タイマー設定情報ウィンドウにおいて、タイマー設定情報の設定、変更が完了しユーザが決定をクリックすると、設定された情報が反映されてメインウィンドウに戻る。この際、タイマー設定ボタン３１７の右側のタイマー設定情報欄には、設定されたタイマー設定情報（タイマー設定時間の表示と、その後にタイマー設定条件がカッコ付きで表示される）が反映されて表示される。
【０２３３】
なお、ユーザが特にタイマー設定情報の設定、変更を行わない場合、デフォルト値として、タイマー設定時間＝２０秒、タイマー設定条件＝（ａ）走行中も停車中も常に設定する、が設定されている。
【０２３４】
図４４は、シナリオの流れを編集する画面操作の流れを表したものである。
メインウィンドウにおいて作成中のシーンアイコン３０７（図４４ではアイコン１）を選択してアクティブ状態にする。この状態で、新規シーン作成ボタン３２１をクリックすると、移行の選択ウインドウ（図４４（ｂ））が表示される。この移行の選択ウインドウ（図４４（ｂ））において、新規に作成するシーンへ分岐させる条件を分岐イベント一覧から選択しすることで次のシーン（新規作成するシーン）への移行条件が選択される。図４４（ｂ）に示されるように、本実施形態では図４３に示したタイマー設定情報ウィンドウで設定したタイマー設定時間内に音声認識や選択ボックスの選択等がされずにタイマー通知（設定時間の経過）となった場合が、移行条件として選択可能になっている（制限時間設定手段）。
【０２３５】
分岐イベントの選択ウィンドウ図４４（ｂ）において、次のシーン（新規作成するシーン）への移行条件を選択してＯＫボタンをクリックするとその条件（分岐イベント）に決定してメイン画面（ａ）へ戻る。
戻った後のメイン画面（ｃ）では、シーン展開画面３０５に、新たにシーン（図ではシーンアイコン（４））が作成されている。新規に作成されたシーンアイコンでは、他のシーンアイコンと区別するため、ＮＥＷと表記される。
なお、分岐イベントの選択ウィンドウで選択できる分岐イベントは、図３１に表示されている。
以上の図４４の説明のように、１つの画面要素から次の画面要素に移行するための条件を設定することにより、本願発明における移行条件設定手段及びキャラクタの１つの動作処理から次の動作処理に移行する制限時間を設定する移行制限時間設定手段が形成される。
【０２３６】
図４５は、シナリオの終了位置を編集する画面操作の流れを表したものである。
メインウインドウ（ａ）において、シナリオの終了位置作成ボタン３２３をクリックするとエンドＩＤの指定ウインドウ（ｂ）が表示される。
このエンドＩＤの指定ウインドウ（ｂ）において、終了位置マークの持つＩＤ番号を指定する。通常は自動割付するが、自動で割り付けると書かれたチェックボックスのチェックをはずせばエディタの操作者が自分で割り付けることもできる。ＯＫボタンをクリックするとＩＤ番号を決定し分岐イベント選択ウインドウ（ｃ）が表示される。
【０２３７】
分岐イベント選択ウインドウ（ｃ）では、新規シーン作成時と操作方法は同様にシナリオを終了するための分岐条件を設定する。追加条件設定も同様にできる。このウィンドウで、ＯＫボタンをクリックするとその条件（移行条件）に決定してメインウィンドウ（ｄ）へ戻る（移行条件設定手段）。このときシナリオ図には新たにシナリオ終了位置４３３が作成されている。
以上説明したように、キャラクタ（エージェント）の表示内容、処理内容の少なくとも１つが定義された画面要素を１画面要素（シーン）とし、該画面要素及び画面要素間の移行条件とを組み合わせて画面要素推移体（シナリオ）を作成する画面要素推移体作成手段が形成される。
【０２３８】
図４６は、以上のようにして作成されたシナリオにおけるシーン展開の一例を表したものである。
図４６に示すメイン画面には、作成されたシナリオの構成を示すシーンアイコン３０７が、シーン展開画面３０５に表示されている。なお、図４６では、いずれのシーンアイコンも選択されていないため、右側のシーン表示画面５４と設定画面には何も表示されていない。
【０２３９】
図４６を使用して、運転者情報として野球が好きか否かを確認しユーザ情報を取得するシナリオを例に説明する。この場合の自律起動条件としては、例えば、ユーザ趣味が未取得で、直線道路が続いていて所定車速以下で走行している場合等の運転者の運転負荷が低い場合が設定されている。
このような自律起動条件を満足した場合に、まず最初のシーン１（中に数字１がかかれた四角のシーンアイコン、以下同じ）では、キャラクタが「野球をみることが好きですか？」と質問をする。このシーンでは、ユーザの回答として「好き」と「嫌い」が予定され、対応する表示の回答選択ボタン５４と、音声認識辞書が設定されている。また、タイマー設定時間２０秒と、タイマー設定条件（ａ）走行中も停車中も常に設定するがシーン１のタイマー設定情報として規定されているものとする。
【０２４０】
そして、ユーザの回答が「好き」であった場合を移行条件として分岐（展開）するシーンがシーン２で、「嫌い」であった場合を移行条件として分岐するシーンがシーン３で、ユーザが回答する前にタイマー通知となった場合を移行条件として分岐するシーンがシーン４として規定されているものとする。
この場合、「好き」と回答された場合に分岐するシーン２では、例えば、キャラクタが「だよね！日本人は野球が好きな人って多いよね。」と音声出力した後、シナリオを終了させる（丸形の終了アイコン１；以下同じ）。この場合の終了の仕方が終了アイコン１によって規定され、どのような終了の仕方をしたかが、エージェント装置１の学習項目データ１０−２−３−７に格納されるようになっている。また、運転者情報データ１０−２−３−６の趣味の項目として「野球が好き」というデータが蓄積される。
【０２４１】
一方、「嫌い」と回答された場合に分岐するシーン３では、例えば、キャラクタが「だよね！スポーツの趣味は野球ばかりじゃないよね。」と音声出力した後、シナリオを終了させる（終了アイコン２）。そして、終了アイコン２により終了したことが、エージェント装置１の学習項目データ１０−２−３−７に格納されるようになっている。また、運転者情報データ１０−２−３−６の趣味の項目として「野球が嫌い」というデータが蓄積される。
【０２４２】
更に、ユーザからの回答がなくタイマー通知になった場合に分岐するシーン４では、例えば、キャラクタは「野球に興味ないのかな？」といった質問を再度音声出力すると共に、ユーザの回答として「好き」と「嫌い」が予定され、対応する表示の回答選択ボタン５４と、音声認識辞書が設定される。更に、例えば、タイマー設定時間２０秒と、タイマー設定条件（ａ）走行中も停車中も常に設定するがシーン１のタイマー設定情報として規定される。
【０２４３】
シーン４による再度の質問に対してユーザが「好き」と回答した場合にはシーン２′に分岐する。この場合の分岐先を示すシーン２′のように、ダッシュがついたシーンアイコンは、ダッシュのついていないシーン２に分岐することを表している。従って、シーン４に対する回答が「好き」である場合にはシーン２に分岐して、野球が好きであることを確認する音声を出力した後に終了アイコン１による終了をする。
シーン４による再度の質問に対してユーザが「嫌い」と回答した場合、同様にシーン３′と表示されているので、シーン３に分岐し、シーン３以降の展開がされる。
一方、シーン４の質問に対しても、再度タイマー通知である場合には、終了アイコン３に移行し、終了すると共に、終了アイコン３で終了したことが、学習項目データ１０−２−３−７に格納される。これにより、ユーザは、野球が好きか嫌いかに対する質問事態に関心がないと判断可能であり、同一のシナリオの実行は再度行わないようにすることが可能である。このような対応は、シナリオの自律起動条件として、以前に終了アイコン３で終了していないことという条件を加えることで可能である。
【０２４４】
図４７は、作成したシナリオをエージェント装置で使用可能な実機形式（ＮＡＶ形式）のフォーマットにコンパイルするための画面操作の流れを表したものである。
メインウインドウ（ａ）において、シナリオコンパイルボタン３２５をクリックすると、シナリオコンパイラのウインドウ（ｂ）が表示される。
このシナリオコンパイラのウインドウ（ｂ）において、コンパイルしたデータを出力するファイルの名称を指定し、同時に変換するシナリオを選択（シナリオ一覧リストにチェックしたシナリオを同時に変換する）し、コンパイルボタンをクリックすると、シナリオコンパイラ（２４０−１−２）がデータ変換を開始する。データ変換の状況を結果表示部に表示する。
終了ボタンをクリックするとデータ変換を終了し、メインウィンドウ（ａ）にもどる。
【０２４５】
なお、走行中の表示、非表示に関して、走行中データも使用可能にするチェックボックス４０７にチェックが無い場合、シナリオコンパイラ（２４０−１−２）は、シナリオの管理データに走行中実行条件として走行中不実行を設定する。一方、チェックボックス４０７にチェックがある場合、シナリオコンパイラ（２４０−１−２）は、表示に関する設定ウィンドウでチェックのない項目と、走行中制限実行テーブルで常に非表示と規定されている項目とを走行中非表示選択項目とする走行中制限実行を走行中実行条件として設定する。
【０２４６】
以上説明したように、本実施形態のシナリオ作成装置によれば、シナリオの各シーンにおけるキャラクタの動作を指示する表示状態をキャラクタの種類によらずに共通化したので、キャラクタにとらわれずに実行できるシナリオを作成することができ、キャラクタ毎に作成していたシナリオを１個にまとめることができるため、シナリオ作成が容易になる。
また、統一のキャラクタ動作指示形態の名称には、キャラクタに表現させたい内容、例えば、出会いのあいさつ、（情報等を）掲示する、喜ぶ、怒る等を用いたので、シナリオ作成装置においてキャラクタ動作の指示を作成する場合に、シナリオ作成者はキャラクタに何をさせたいかを、名称から直接選択するだけでよくなるため、シナリオ作成が容易になる。
【０２４７】
また、本実施形態によれば、シナリオ作成装置で作成されたシナリオデータに基づいてエージェントを自律的に起動させる（自動で登場させる）条件を満たしたかを判断する処理を定期的にもしくは特定の状態を満たしたときに実行し、条件を満たした場合にエージェントを自動で登場させることができる。
一方、本実施形態のシナリオ作成装置及びシナリオエディタによれば、プログラムの知識の有無に関係無く、シナリオエディタを持つことで特定の条件を満たしたときに自動で登場して対応してくれるエージェントのシナリオデータを容易に作成及び編集することができる。また、シナリオ作成装置に、音（効果音）を鳴らすｏｒ鳴らさないの設定及び鳴らす場合はどういった音を鳴らすかの設定ができる（作成した各シーンで設定できる）ので、自動でエージェントが登場したことを運転者が画面を見ることなく通知することができるシナリオを容易に作成することができ、運転操作中でも運転者は安全にエージェントの登場を知ることができる。
【０２４８】
更に、説明した本実施形態によれば、シナリオデータの作成者は、走行中か停車中かといった車両の状態によりシナリオの実行を開始するか否か（実行中のシナリオを中断するか継続するか）、継続する場合にシーン画面のうちのどの項目を非表示にするか等について、作成するシナリオの内容に応じて、容易にまた自由に決定することができる。
エージェント装置では、シナリオに設定された走行中実行条件に従ったシナリオの実行を継続することができる。
従って、シナリオの内容に応じて、走行中に過度なコミュニケーションを行なわないようにでき、ユーザーの煩わしさも軽減される。そして、擬人化されたキャラクタとのコミュニケーションを、より人間同士のコミュニケーションに近づけることができる。
【０２４９】
また、説明した本実施形態によれば、タイマー設定機能により、一定時間質問に対する回答が無かった場合は状況によって質問に対して無回答として判断する事ができるようにし、擬人化されたキャラクタとのコミュニケーションをより人間同士のコミュニケーションに近づけることができる。
また、ユーザにとって、常に回答しなければならないという煩わしさを回避することができる。
エージェント装置としては、設定された時間内に回答がない場合に、無回答であることを移行条件として次のシーンに移行できるので、１つのシナリオが長時間実行中の状態になることを回避できる。このため、車両の移動等の状況変化により、新たに起動条件を満たしたシナリオが実行待機状態のままになることを回避することができる。
【０２５０】
以上、本発明の車載装置、データ作成装置、及びデータ作成プログラムにおける１実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各種の変形を行うことが可能である。
例えば、説明した実施形態のシナリオ作成装置では、走行中実行条件として、走行中制限実行を設定した場合に、シーン画面を構成する各項目毎に表示、非表示の設定をできるようにしたが、各項目毎の設定を一律にデフォルトで規定されている設定（図３７）としユーザーが選択できないようにしてもよい。
また、逆に、更に詳細に表示、非表示を設定できるようにしてもよい。例えば、説明した実施形態では、全シーン画面に共通の表示、非表示を設定するようにしたが、各シーン毎に個別に設定するようにしてもよい。
【０２５１】
また、説明した実施形態では、走行状態（走行中か、停車中か）によってシナリオの実行状態を変更（中断、制限実行）するようにしたが、他の車両状態によって表示を制限するようにしてもよい。
例えば、車両状態として、進路変更中か否か、ナビゲーション機能により走行経路が探索されている場合において進路変更地点の手前所定距離から通過後所定距離までの間に車両が位置しているか否か、等の車両状態によって変更するようにしてもい。また、雨天状態か否か、雪道を走行中か否か等の走行道路によって表示、非表示項目を設定するようにしてもよい。
また、舵角センサからハンドルの操作、もしくは地図データ等を基にカーブなどの道路形状を検知し、カーブの時にのみ吹き出しや選択ボタンの表示を制限したり、高速道路や有料道路など道路種別を検知し高速走行中が予想される場合の表示制限、さらには発汗センサや赤外線センサを用いて、ユーザのあせりや健康状態の良し悪しにより表示を制限することも可能である。
これらの各場合、運転操作が忙しい、もしくは、ユーザの集中力が低下している等により表示の制限が可能となるので、大量の情報が表示されることがなくなり、ユーザにとって煩わしい表示となることがない。
更に、シナリオデータの作成者が、車両状態や走行道路の状態を選択し、選択した状態毎に、シナリオの不実行（中断を含む）、制限実行（と表示制限項目の設定）を設定できるようにしてもよい。
【０２５２】
また、説明した実施形態では、タイマー設定を音声認識を行うシーンでの制限時間として説明したが、ユーザの質問に対する回答が入力されるまでの時間としてもよい。すなわち、ユーザの回答には音声入力による回答も含まれるが、音声による回答が設定されていない（回答用の音声認識辞書が設定されていない）場合や、画面の回答選択ボタン５４（３１５ａ）からの回答のみを受け付けるようにシーンデータが構成される可能性がある。
このような場合に、音声認識の時間ではなく、回答が入力されるまでの時間をタイマー設定時間とすることで対応が可能になる。
【０２５３】
また、説明した実施形態では、タイマー設定情報を設定、変更する場合に、タイマー設定ボタン３１７を選択することで、タイマー設定情報ウィンドウ（図４６（ｂ））を表示させ、このウィンドウ上で設定するようにしたが、メインウィンドウ上でタイマー設定情報（タイマー設定時間とタイマー設定条件）を選択できるようにしてもよい。
【０２５４】
また、説明した実施形態のエージェント装置１では、おまかせ（エージェント装置が判断）が設定されていて運転負荷が高負荷である場合に、音声認識を行わないこととした。これに対して、運転者が高負荷である場合、直ちには音声認識を開始しないが、高負荷状態でなくなった時点で音声認識を開始するようにしてもよい。
すなわち、図２２の状況判断（ステップ５０５−６−８−２）において、運転者が高負荷であると判断された場合にリターンする場合について説明したが、リターンせずに（ステップ５０５−６−８−２に戻るようにする。これにより、音声認識部（１０１−７）は運転者の負荷が低負荷に成るまで待ち、低負荷となった時点で音声入力を求める開始音を出力することになる。
【０２５５】
説明した実施形態では、図２８〜図２９に例示した、自律起動条件として選択可能な項目として「ユーザ性別」「ユーザ年齢」について規定したが、運転者に関する他の自動起動項目（図２８参照）を追加するようにしてもよい。例えば、自動起動項目として、「熟練度」や「感情」等の運転者の状態に関する項目を追加する。そして、「熟練度」に対応する選択可能項目（図２９、図３０参照）として「低い」、「普通」、「高い」を追加し、「感情」に対応する選択可能項目として「不安」、「あせり」、「緊張」等を追加する。
【０２５６】
この場合、エージェント装置では、熟練度、感情といった運転者の状態を、運転者情報データ（１０−２−３−６）や、学習項目データ（１０−２−３−７）に格納される運転者の操作履歴等から状況情報として取得し、シナリオの起動条件と比較判断する。
すなわち、エージェント装置では、エージェントＯＳ部（１０１−８）が例えば各種状況検出装置（６）からの情報を外部Ｉ／Ｆ（１０１−９）を通して全体処理部（１０２）から取得し、また、学習部（１０１−３）が格納している運転者情報データ（１０−２−３−６）や学習項目データ（１０−２−３−７）に格納される運転者操作履歴等を基にして、学習部（１０１−３）が現在の運転者の状態を判断する。
判断する運転者状態の例としては、自律起動条件の各項目に対応する、運転者の不安、あせり、緊張感、…等や、エージェント装置に対する熟練度等も判断及び推測する。
例えば、一定時間内にスピード超過状態が長く続き、かつ急な加減速が多く行なわれた場合に時間に対してあせっている（急いでいる）と判断する例が考えられる。
また、エージェントの通算使用回数や、通算使用時間（コミュニケーション時間）、さらには自動起動が発生した回数等を使ってエージェント装置に対する熟練度を低い・普通・高い等３段階で判断したりする。段階の数や判断の条件は一例であり変更しても良いものとする。
【０２５７】
このように、エージェント装置側で検出可能な条件をシナリオ作成装置に登録し、シナリオエディタで使用可能にすることで、運転者状態を画面要素推移体（シナリオ）の起動条件（自律起動条件）として使用することができる。
これにより運転者があせっている場合は、エージェント側から自律的に登場してコミュニケーションを取らない（自律起動条件に「あせっていない場合」という条件を付加する）ことが可能になる。
【０２５８】
なお、本実施形態では、規格化されたシナリオデータに従ってエージェント機能を実現可能とし、シナリオデータで規定された自律起動条件に基づいてシナリオを起動する車両用のエージェント装置を提供することを目的Ａ、エージェント装置においてエージェント機能を実現するための規格化されたシナリオ、及び、シナリオを自律的に起動する自律起動条件を容易に作成することが可能なシナリオデータ作成装置を提供することを目的Ｂとして、以下のように構成することも可能である。
（ａ）車室内や車両の状態を判断し、その判断結果に応じた処理を自律的に行う機能を、エージェントの容姿の動きや音声と連動させて実行するエージェント装置であって、
所定の容姿を有するエージェントの画像を車室内に表示するエージェント表示手段と、
装置が行う処理内容とエージェントの画像及び音声の少なくとも１つから構成される場面を１シーンとし、１又は連続する複数のシーンで構成されたシナリオと、当該シナリオの展開を自律的に起動する自律起動条件とを有するシナリオデータを記憶したシナリオ記憶手段と、車室内や車両の状態を状況情報として取得する状況情報取得手段と、前記取得した状況情報が前記シナリオ記憶手段に記憶された各シナリオの自律起動条件を満たしているか否かを判断する条件判断手段と、前記条件判断手段で満たしていると判断された自律起動条件に対応するシナリオを自律的に起動して各シーンを順次展開するシナリオ実行手段と、を備え、前記条件判断手段は、所定のタイミングで状況情報が自律起動条件を満たしているか否かを判断することを特徴とするエージェント装置。
（ｂ）前記条件判断手段は、所定時間毎の定期的に、及び、前記取得した状況情報から予め設定された特定の状況を満たした場合に判断を行う、ことを特徴とする（ａ）に記載のエージェント装置。
（ｃ）前記シナリオ実行手段は、効果音が設定されたシーンの場合、効果音情報に対応する効果音を当該シーンを展開する際に出力することを特徴とする（ａ）又は（ｂ）に記載のエージェント装置。
（ｄ）車両用のエージェント装置が自律的に行う処理内容とエージェントの画像及び音声の少なくとも１つから構成される場面を１シーンとし、１又は連続する複数のシーンで構成されたシナリオを、当該シナリオの自律起動条件を満足した場合に自律的に起動するエージェント装置用のシナリオデータを作成するシナリオデータ作成装置であって、シーンの構成要素として選択可能なエージェントの処理内容とエージェント画像と音声データの少なくとも１つを選択するシーン要素選択手段と、前記取得したシーン構成要素から、エージェントによる処理内容、エージェントの画像及び、出力音声の少なくとも１で構成される場面を１シーンとして作成するシーン作成手段と、所定のシーンから次のシーンに移行するための１又は複数の移行条件と、各移行条件に対応して移行先のシーンを特定する移行先データとから、各シーンの展開構成を作成するシーン展開構成作成手段と、前記エージェント装置により取得可能な車室内や車両の状態に関する状況情報の各項目を提示する提示手段と、提示した状況情報の各項目から１つ以上の項目を選択する選択手段と、前記選択された１または複数の状況表示の項目からシナリオの自律起動条件を作成する自律起動条件作成手段と、前記作成したシーンと前記作成した各シーンの展開構成と、前記作成したシナリオの自律起動条件とからなるシナリオデータを出力する出力手段と、を具備することを特徴とするシナリオデータ作成装置。
（ｅ）前記シナリオは、エージェントによる提案、質問、挨拶等の能動的動作を内容とするシーンから開始することを特徴とする（ｄ）に記載のシナリオデータ作成装置。
（ｆ）シーンを選択するシーン選択手段と、１または複数の効果音を特定する効果音情報を、一覧表示する効果音表示手段と、前記表示された効果音情報から１の効果音情報を選択する効果音選択手段と、前記選択された効果音情報に対応する効果音を前記選択されたシーンの開始時に出力する効果音として設定する効果音設定手段と、を具備することを特徴とする（ｄ）又は（ｅ）に記載のシナリオデータ作成装置。
（ａ）の実施形態によれば、規格化されたシナリオデータに従ってエージェント機能を実現可能とし、シナリオデータで規定された自律起動条件に基づいてシナリオを起動することが可能になる。
また（ｂ）記載の実施形態によれば、プログラミングの十分な知識がなくても、エージェント装置においてエージェント機能を実現するための規格化されたシナリオ、及び、シナリオを自律的に起動する自律起動条件を容易に作成することができる。
【０２５９】
【発明の効果】
請求項１、請求項２に記載の車載装置によれば、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を実行すると共に、走行中か否かよって画面要素の少なくとも一部を実行することが可能になる。
請求項３から請求項５に記載のデータ作成装置によれば、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を容易に作成すると共に、画面要素の少なくとも一部の実行を制限する走行中実行条件が設定された画面要素推移体を容易に作成することが可能になる。
請求項６及び請求項７に記載のデータ作成プログラムによれば、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体をコンピュータで容易に作成すると共に、画面要素の少なくとも一部の実行を制限する走行中実行条件が設定された画面要素推移体をコンピュータで容易に作成することが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態におけるエージェント装置を使用した、シナリオ追加システムについてのシステム構成図を表したものである。
【図２】本発明の一実施形態におけるエージェント装置の構成を示すブロック図である。
【図３】同上、エージェント装置における各種状況検出装置の構成図である。
【図４】ＣＰＵでプログラムが実行されることにより実現されるエージェント処理部と、全体処理部との関係を表した説明図である。
【図５】エージェント処理部の構成を表した説明図である。
【図６】外部記憶媒体に集録されている情報を概念的に表した説明図である。
【図７】実機形式シナリオデータの構成を表したものである。
【図８】キャラクタデータを概念的に表した説明図である。
【図９】キャラクタ画像選択データ内容を概念的に表した説明図である。
【図１０】運転者情報データを概念的に示した説明図である。
【図１１】エージェント装置により車室内に登場させるエージェントのキャラクタを選択する場合の選択画面を表した説明図である。
【図１２】シナリオのシーンデータに基づいて表示装置に表示されるシーン画面の一例を表した説明図である。
【図１３】旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表した画面遷移図である。
【図１４】自律起動判断部によるシナリオの自律起動判断処理について表したフローチャートである。
【図１５】条件判断処理の処理内容を表したフローチャートである。
【図１６】シナリオ実行処理の流れの一例を表したフローチャートである。
【図１７】シーン処理の流れの一例を表したフローチャートである。
【図１８】画面構成の画面データ作成処理の処理動作を表したフローチャートである。
【図１９】各種処理の指示で行われる処理を例示したフローチャートである。
【図２０】タイマー設定依頼処理の動作を表したフローチャートである。
【図２１】描画・音声出力部によるキャラクタ描画・音声出力処理を表したフローチャートである。
【図２２】音声認識処理の処理動作を表したフローチャートである。
【図２３】シナリオ中断処理の内容を表したフローチャートである。
【図２４】停車状態と走行状態におけるシーン画面の例を比較表示した説明図である。
【図２５】シナリオ作成装置の構成図である。
【図２６】シナリオ編集プログラムとデータの構成を概念的に表したものである。
【図２７】データ形式の変換を概念的に表したものである。
【図２８】自動起動項目として設定可能な項目を例示したものである。
【図２９】自動起動項目に対して選択可能な項目を例示したものである。
【図３０】自動起動項目に対して選択可能な項目を例示したものである。
【図３１】シーンから次のシーンに分岐（シーン展開）をするための分岐項目（移行条件）が格納されたシーン分岐項目テーブルである。
【図３２】追加条件テーブルを表したものである。
【図３３】共通定義ＤＢに格納されている、キャラクタの表示状態指示テーブルの内容の一部を概念的に表した説明図である。
【図３４】共通定義ＤＢに格納されている、キャラクタの表示状態指示テーブルの内容の他の一部を概念的に表した説明図である。
【図３５】シナリオエディタを起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
【図３６】シナリオプロパティを編集する画面操作の流れを表したものである。
【図３７】シーン画面を構成する各項目に対して、走行中での表示、非表示のデフォルト値を規定した走行中制限実行テーブルの一例を表した説明図である。
【図３８】シナリオ開始条件のメイン編集ウィンドウから、シナリオ起動条件を編集する画面操作の流れを表したものである。
【図３９】エージェント表示画面に表示したい画面構成を選択する画面操作の流れを表したものである。
【図４０】キャラクタ動作（エージェントの動作）指示を編集する画面操作の流れを表したものである。
【図４１】キャラクタ（エージェント）の台詞指示を編集する画面操作の流れを表したものである。
【図４２】音声認識辞書を編集する画面操作の流れを表したものである。
【図４３】タイマー設定をする場合の画面操作の流れを表したフローチャートである。
【図４４】シナリオの流れを編集する画面操作の流れを表したものである。
【図４５】シナリオの終了位置を編集する画面操作の流れを表したものである。
【図４６】作成されたシナリオにおけるシーン展開の一例を表したも説明図である。
【図４７】作成したシナリオをナビゲーションで使用可能な実機形式のフォーマットにコンパイルするための画面操作の流れを表したものである。
【符号の説明】
１　エージェント装置装置
２　シナリオ作成装置
３　サーバ
（１）　中央処理装置
（２）　表示装置
（３）　音声出力装置
（４）　音声入力装置
（５）　入力装置
（６）　各種状況検出装置
（７）各種車載装置
（８）通信制御装置
（９）通信装置
（１０）外部記憶装置
（２００）　制御部
（２１０）　入力装置
（２２０）　出力装置
（２３０）　通信制御装置
（２４０）　記憶装置
（２５０）　記憶媒体駆動装置
（２６０）　入出力Ｉ／Ｆ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an in-vehicle device, a data creation device, and a data creation program, for example, an in-vehicle device having an agent function of autonomously performing a conversation by communication with a passenger of a vehicle or operating a device, and the like. The present invention relates to a data creation device and a data creation program.
[0002]
[Prior art]
For example, a pet-type robot such as a dog, and an agent device that interacts with and responds to passengers by providing guidance on the operation of equipment such as a navigation device in the passenger compartment and asking questions and making proposals according to the situation It is mounted on a vehicle as an in-vehicle device. In addition, various possible states of the apparatus are assumed, and measures to be taken when each assumed state is detected are defined according to predetermined data and programs.
Such a conventional agent device sometimes asks a user for a question or an instruction, and recognizes a voice response from the user. In this case, how to start the user's recognition, what dictionary is used for the recognition using the voice recognition, and the like are programmed in advance.
[0003]
[Problems to be solved by the invention]
In such a conventional agent device, the setting of conditions for the automatic appearance of the agent, and the display state and processing for defining the operation of the agent can only be realized by creating and modifying a program. For this reason, the program cannot be created or changed without knowledge of the program, and a lot of time and money are required for development.
Further, in the conventional agent device, the display state and the process that define the operation of the agent are executed without being changed depending on whether or not the vehicle is running. For this reason, for example, if communication is started while the vehicle is stopped, even if the vehicle starts running halfway, the user must continue to cope with the communication until the communication is completed, which may be annoying.
In a conversation between humans, it is often the case that the conversation is interrupted or a gesture or hand gesture is stopped in order to give priority to the driving operation depending on the situation, such as when the vehicle starts running during communication. Therefore, in the communication with the anthropomorphized character, even if the user starts running during the communication, the communication continues to be performed irrespective of the start of the running, which may result in unnatural communication.
[0004]
SUMMARY An advantage of some aspects of the invention is to provide a screen element in which at least one of a character display state and a character processing content is defined as one screen element, and a screen element configured by combining the screen elements. A first object is to provide an in-vehicle device that can execute a transition body and execute at least a part of a screen element depending on whether or not the vehicle is running.
Further, the present invention provides a screen element in which at least one of a character display state and a character processing content, which is executed in an in-vehicle device, is defined as one screen element, and is configured by combining the screen elements. It is a second object of the present invention to provide a data creation device capable of easily creating a screen element transition body in which a running execution condition for limiting at least a part of execution is set.
Further, the present invention provides a screen element in which at least one of a character display state and a character processing content, which is executed in an in-vehicle device, is defined as one screen element, and is configured by combining the screen elements. It is a third object of the present invention to provide a data creation program capable of easily creating, by a computer, a screen element transition body in which a running execution condition for limiting at least a part of execution is set.
[0005]
[Means for Solving the Problems]
According to the first aspect of the present invention, a screen element in which at least one of the display content and the processing content of the character is defined as one screen element, and a screen element transit body configured by combining the screen elements and the screen element transit body Screen element transition storage means for acquiring and storing the activation condition from outside, and sequentially determining each screen element constituting the screen element transition body satisfying the activation condition when it is determined that the activation condition is satisfied. Screen element transition body executing means for executing the screen element transition body by executing the setting according to the setting, traveling determination means for determining whether or not the vehicle is traveling, and determining that the vehicle is traveling by the traveling determination means The execution of the screen element transition body execution means, the execution restriction means for restricting the execution of at least a part of the screen element by comparing it with the screen element not running, By Bei achieve the first object.
According to the second aspect of the present invention, a screen configuration including a character image, character storage means for storing control contents executed together with the image of the character, and travel determination for determining whether or not the vehicle is traveling. Means in the in-vehicle apparatus, and when the traveling determination means determines that the vehicle is traveling, a part of the screen configuration corresponding to the screen configuration stored in the character storage means and the control content Or stopping all display to achieve the first object.
According to the third aspect of the present invention, a screen element setting unit that sets one screen element based on at least one of a display content of a character and a processing content, and one screen element set by the screen element setting unit Transition condition setting means for setting a transition condition for transitioning to the next screen element, and a screen element transition for creating a screen element transition body for execution processing on a display device in the vehicle based on the screen element and the transition condition The data creation device includes: a body creating unit; and a running execution condition setting unit that sets a running execution condition that limits execution of at least a part of the screen element according to a running state of the vehicle. Achieve two objectives.
According to a fourth aspect of the present invention, in the data creation device according to the third aspect, the running execution condition setting means can set a restriction item for each predetermined item constituting the screen element. Features.
In the invention according to claim 5, a screen configuration including a character image, character setting means for setting control contents to be executed together with the image of the character, and a part of the screen configuration or The second object is achieved by providing a data creation device with display stop setting means for setting whether to stop all displays.
In the invention according to claim 6, a screen element setting function for setting one screen element based on at least one of display contents and processing contents of a character, and one screen element set by the screen element setting function A transition condition setting function for setting one or more transition conditions for transitioning to the next screen element, and a screen element transition body for executing processing on a display device in the vehicle based on the screen element and the transition condition. A computer realizes a screen element transition body setting function to be created and a running execution condition setting function to set a running execution condition that limits execution of at least a part of the screen element according to a running state of the vehicle. The third object is achieved by a data creation program. According to a seventh aspect of the present invention, in the data creation program according to the sixth aspect, the traveling execution condition setting function can set a restriction item for each predetermined item configuring the screen element. Features.
[0006]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an agent device which is a preferred embodiment of an in-vehicle device of the present invention, a scenario creation device which is a preferred embodiment of a data creation device, and a scenario editor which is a preferred embodiment of a data creation program will be described with reference to FIGS. This will be described in detail with reference to FIG.
(1) Overview of the embodiment
In the agent device of the present embodiment, an image of an agent (character) having a predetermined appearance (a three-dimensional image such as a two-dimensional image and holography) is displayed in the vehicle. This agent device has a function of recognizing and judging surrounding conditions (including human motion and voice) from the detection result of a sensor or the like, and outputting an operation or voice according to the result. It is executed in conjunction with the appearance movement and voice. For example, a question requesting an answer (Japanese food, Western food, etc.) such as “What genre do you like?” Is determined, and the contents of the user's answer to this question are determined (recognition of the answer voice, response of the answer selection button 54a). Then, processing corresponding to the next scene (screen element) is executed. In this way, since a request for an answer from the device and the execution of a predetermined operation are started in response to the answer, the user can be as if an agent with a pseudo personality is present in the vehicle. You will feel it. In the following description, execution of a series of functions of such an agent device will be described as an action or operation of an agent.
In the agent device of the present embodiment, this agent is caused to perform various communications with the driver and perform operations. Then, various actions (acts) autonomously performed by the agent are composed of a plurality of scenarios (screen element transition bodies). Then, scenario data standardized by a plurality of scenarios defining the contents of a series of continuous actions by the agent and autonomous start conditions (start conditions) for autonomously starting (starting) deployment of each scenario is stored. I do.
The scenario is composed of one or a plurality of continuous scenes with a scene (screen element) as a minimum unit. One scene is composed of autonomous processing content and at least one of the image and sound of the agent.
The scenario includes one transition condition (continuous condition) for transitioning from a predetermined scene to the next scene or a plurality of transition conditions (branch condition (for transition of a scene to each state when a plurality of states occur). Condition)) and destination data for specifying a destination scene corresponding to each transition condition, the development configuration of each scene is defined.
[0007]
The scenario data defines running conditions (usage setting).
The running condition is a setting that does not execute the scenario while the vehicle is running (thus, it is not started while the vehicle is running, but is interrupted if the vehicle starts running while the vehicle is stopped) and forms a scene. There is a setting for restricting the display of a predetermined item.
[0008]
On the other hand, a user or the like of the agent device creates a unique scenario using the scenario creation device according to a prescribed standard. The scenario creation device can be configured by installing a scenario editing program and data on a personal computer.
The created scenario is transmitted to the agent device via a network such as the Internet, or downloaded to the agent device, and stored in the agent device via a predetermined semiconductor memory, thereby enabling the self (third party) to store the scenario. It is possible to cause the agent to perform the desired action (communication and processing).
The first scene of the scenario to be created may be, for example, a scenario of a questioned scene requesting an answer to a human. Then, it is possible to input the independently created scenario data from an external device via an input device. In this case, when the scenario data to be added to the semiconductor memory is stored, the input device corresponds to a storage medium drive that reads the contents of the semiconductor memory, and is downloaded from a specific server or the like via a network such as the Internet. If so, the communication control device corresponds. The scenario is executed according to the newly input scenario data.
[0009]
The agent device is provided with mail and browser software, downloads a scenario using browser software or the like, determines whether or not the downloaded file is scenario data that causes the agent to function, and if the downloaded data is scenario data, the agent program So that it can be used by incorporating it. Similarly, when the file is attached to an e-mail, it is determined whether or not the attached file is a scenario. If the file is a scenario, the file is incorporated into an agent system so that it can be used.
As a result, in addition to the conventional method, by using the existing communication infrastructure such as e-mail, communication using a network, etc. Scenarios can be added.
In this manner, the user can independently and easily create a scenario that allows the agent to function as he or she wants, and thus eliminates resistance to the autonomous operation of the agent device.
[0010]
Furthermore, the agent device performs processing to determine whether the condition for autonomously starting (automatically appearing) the agent based on the scenario data created by the scenario creating device has been met, or the agent device has fulfilled a specific condition. A system that can be executed when the condition is met and an agent can automatically appear when the condition is satisfied.
This allows the scenario creation device to create and edit agent scenario data that automatically appears and responds to certain conditions by having a scenario editor, regardless of whether or not you have knowledge of the program. it can.
For example, when the vehicle is running at a point 2 km before the orbit where the Orvis is installed (designated by the north longitude and north latitude), the road type is Expressway, and the vehicle speed is 120 km / h or more, the vehicle automatically appears and the Orbis It is possible to change the vehicle speed condition among the conditions of the scenario that gives a warning to 100 km / h or more, or to create a scenario that is activated only on a specific day (for example, Christmas Eve) every year.
[0011]
Then, the scenario creation device is provided with a function capable of setting an instruction as to whether or not to automatically start voice recognition. In addition, in the agent device, the driver as a user triggers a voice recognition start (presses a recognition start button) in accordance with an instruction as to whether or not to automatically start voice recognition indicated in the scenario data created by the scenario editor. A function to start voice recognition without an instruction is provided.
Thereby, the driver who is the user of the agent device can omit the device operation step of pressing the voice recognition start button when answering a question in a conversation with the personified character. Also, since this step does not exist in the conversation between humans, the conversation with the personified character can be closer to the conversation between humans than before as a result of the present invention.
[0012]
Furthermore, the scenario creation device is provided with a function capable of instructing the control of the callback of the speech recognition result, and is incorporated into the scenario data that is the control data of the agent device.
Also, in the agent device, when a result of voice recognition is output, a callback control instruction of the voice recognition result indicated in the scenario data created by the scenario editor (the agent device makes a decision (automatic) / calls back / A function is provided to control whether or not to call back the recognition result (to hear back the contents heard) in accordance with (callback not performed).
When the callback control instruction of the speech recognition result is set to “automatic”, the agent device determines the situation from the number of words to be recognized (the number of words in the answer speech recognition dictionary) and the onboard sensor, and determines the recognition result. It is determined whether or not the act of calling back is performed.
[0013]
Thereby, the anthropomorphic character in the conversation between the driver who is the user of the agent device and the anthropomorphic character does not always hear back the recognition result (callback), so that the user does not feel troublesome. I'm sorry.
Further, since whether or not to make a callback is controlled depending on the situation, for example, during driving, it is safe because the conversation can be made without looking at the screen by the callback sound. Conversely, a smooth conversation can be realized by not calling back when the vehicle is stopped or when a two-choice answer is required.
In a conversation between humans, the act of recalling the contents of hearing (calling back) may or may not be performed depending on the situation as in the above example, so in the conversation with the personified character, By performing control that incorporates existing rules, it is possible to approximate conversation between humans.
[0014]
Furthermore, the scenario creation device is provided with a function (timer setting function) for setting the time from the start to the end of each scene for each scene, and by incorporating it into the scenario data, the user is allowed to answer the question. Be able to set the time.
If the set time has elapsed during the execution of the scene, the processing such as voice recognition is terminated, and the fact that the set time has elapsed can be used as a condition for transition to the next scene (screen element).
Further, as a condition for setting the time, the vehicle state can be set together. In the present embodiment, the vehicle state can be set according to whether the vehicle is traveling or stopped. (A) Always set during traveling or stopped, (a) Set only during traveling, (c) Stopped It can be set as one of the conditions of setting only inside. It is also possible to set that no time is set, and in this case, the operation is continued until there is an answer (voice, screen input) as in the conventional case.
[0015]
On the other hand, when time is set in each scene of the scenario, the agent device sets a timer (time measuring means) to the set time when starting voice recognition, and performs voice recognition until a timer notification (elapse of the set time). Do. Then, a scene specified by using the timer notification as a transition condition is developed.
Also, in each scene of the scenario, if conditions are set according to whether the vehicle is running or stopped with time, the agent device determines whether the vehicle is running or stopped by detecting the vehicle speed, and according to the set conditions. Set the timer time or not.
[0016]
In this way, if there is no answer to the question for a certain period of time, it can be determined that there is no answer to the question depending on the situation, and communication with the anthropomorphic character can be closer to communication between humans .
In addition, it is possible to avoid the trouble of the user having to always answer.
If there is no answer within the set time, the agent device can shift to the next scene on the condition that there is no answer as a shift condition, so that one scenario can be prevented from being in a long running state. . For this reason, it is possible to prevent a scenario that newly satisfies the activation condition from remaining in the execution standby state due to a change in the situation such as the movement of the vehicle.
[0017]
Furthermore, the scenario creation device is provided with a function of setting whether to permit use of the scenario (running execution condition) according to the vehicle state such as running or stopped.
For example, as the setting contents of the running condition (use permission setting), the setting is not performed during running (the scenario is ended when running is started during the running of the scenario), and all screen elements are executed during stopping. However, it is possible to make settings such that predetermined items constituting the screen elements are not displayed on the screen during traveling.
[0018]
On the other hand, if the agent device starts running during communication (during scenario execution) according to the running execution condition set in the scenario, the scenario is interrupted and the display of restriction items such as speech bubbles and selection buttons is automatically performed. Communication (scenario execution).
[0019]
For example, in the case of a scenario for collecting driver information (question of hobbies and preferences) for communication and the like, which is not directly related to driving such as navigation, the running condition for running is not used during running by the scenario creating device.
Then, for this scenario, the agent device does not start execution while the vehicle is running, but starts execution only when the vehicle is stopped. Then, when the execution of the scenario is started while the vehicle is stopped, and the vehicle starts running, the communication based on the scenario is interrupted.
[0020]
On the other hand, for example, in the case of a scenario related to driving such as navigation, which is intended to introduce a recommended shop, a restriction item is set by the scenario creation device for each predetermined item constituting a scene as a running execution condition. Set.
Then, in response to this scenario, the agent device displays all items for each scene while the vehicle is stopped, but automatically restricts the display of the set restriction items while driving, and continues communication with the scenario. I do.
The restriction items that can be set by the scenario creation device include, for example, a speech balloon that displays a dialogue spoken by a character in characters, a selection button or a list that displays words that can be recognized by voice, and the like.
[0021]
As described above, in the scenario creation device, how to execute the scenario (interruption, partial restriction and continuation) can be set for each scenario depending on whether the vehicle is running or stopped, and the agent device The execution of the scenario according to the running condition set in the scenario is continued.
Therefore, according to the content of the scenario, it is possible to prevent excessive communication during traveling, and the trouble of the user is reduced. Then, communication with the personified character can be made closer to communication between humans.
[0022]
(2) Details of the embodiment
FIG. 1 shows an overall system configuration including an agent device and a scenario creating device.
In this system, the agent device 1 of the present embodiment, a scenario creation device 2 of a scenario data creator who is a user who creates scenario data according to a designated standard or a third party, and the Internet or the like using a server 3 or the like. It consists of communication means.
The scenario creation device 2 creates unique scenario data using a scenario editor. Then, the user who has created the unique scenario data can store the scenario data in a semiconductor storage device such as a DVD-ROM or an IC card or other storage media 7 and transfer the scenario data to the agent device 1. Then, the agent device 1 that has received the scenario data reads the scenario data from the storage medium 7 by the storage medium driving device and incorporates the scenario data into the already stored scenario data. Therefore, the agent device 1 can be operated. Note that what is created by the scenario creating device 2 may be the user of the agent device 1 itself or a third party.
Further, the agent device 1 can incorporate scenario data created by the user or a third party via a network such as the Internet, and can also incorporate scenario data attached to mail.
Further, a third party who wishes to provide a service or the like to the user of the agent device 1 creates scenario data of a predetermined format in the scenario creating device 2 using, for example, a scenario editor and posts it on a homepage. It is made downloadable or transmitted to the agent device 1 as an attached file of an e-mail. The agent device 1 receives the scenario data 5 attached to the e-mail, or the user downloads the scenario data file 4 via a communication means such as the server 3. Also, the agent device 1 transmits the user's response (response mail to the scenario data) obtained in accordance with the execution of the received scenario data to the scenario creator 2 of the scenario creator in the text of the e-mail 6 or an attached file. .
[0023]
First, the configuration and operation of an agent device 1 in which an agent functions autonomously according to a scenario created by a developer or a user will be described.
FIG. 2 is a block diagram illustrating a configuration of the agent device 1 according to the present embodiment.
The agent device 1 according to the present embodiment is mounted on a vehicle and has an agent function such as a function of communicating with a user in the vehicle, a vehicle control function of performing a predetermined process on the vehicle, and the like. It also has a navigation function to provide route guidance and the like.
In the agent device 1 of the present embodiment, a central processing unit (1), a display device (2), a voice output device (3), a voice input device (4), an input device ( 5), various situation detection devices (6), various on-vehicle devices (7), a communication control device (8), a communication device (9), and an external storage device (10).
[0024]
The central processing unit (1) includes a CPU (1-1) for executing various arithmetic processing, a flash memory (1-2) for reading and storing programs from an external storage device (10), and a flash memory (1-2). ROM (1-3) storing a program (program reading means) for performing a program check and update process of the above, and a RAM (1-4) for temporarily storing data being processed by the CPU (1-1) as a working memory. ), A clock (1-5), an image memory (1-7) storing image data used for screen display on the display device (2), and a display output control signal from the CPU (1-1). The image processor (1-6) which extracts image data from the image memory (1-7), performs image processing and outputs the image data to the display device (2), and receives audio output control signals from the CPU (1-1). An audio processor (1-8) for performing a process of converting the log signal into a log signal and outputting the log signal to the audio output device (3), and a process of converting an analog signal input from the audio input device (4) into a digital audio input signal; An input device I / F unit (1-9) for receiving input contents from the input device (5), various input I / F units (1-10) for receiving information from detectors for detecting various situations, Reads data and programs and writes data from an external storage medium (10-2) such as a communication I / F section (1-11) for exchanging information with other devices, a CD-ROM, an IC card, a hard disk, etc. An external storage device control unit (1-12) for controlling the external storage device (10) to be operated is provided.
[0025]
The central processing unit (1) includes a route search process, a display guidance process necessary for route guidance, other processes necessary for the entire system, an agent process in the present embodiment (various communication between the agent and the driver, an operation agency operation). In other words, a process of judging a situation and performing autonomously according to the result is performed.
The program (program reading means) for performing the updating process may be stored in the flash memory (1-2) in addition to the ROM (1-3).
All the programs executed by the CPU (1-1), including the programs in the present embodiment, may be stored in a CD-ROM or the like which is the external storage medium (10-2), or may be a part of those programs. Alternatively, all of them may be stored in the ROM (1-3) or the flash memory (1-2) of the main body.
The data and programs stored in the external storage medium (10-2) are input to the central processing unit (1) as external signals and subjected to arithmetic processing, thereby realizing various agent functions and navigation functions. Has become.
Further, the central processing unit (1) of the present embodiment forms a screen element transition body execution means for executing a screen element transition body (scenario) when it is determined that the activation condition (autonomous activation condition) is satisfied. are doing.
[0026]
The display device (2) displays a road map and various image information for route guidance by the processing of the central processing unit (1), and displays various behaviors of the character (moving images) and screen element transitions composed of screen configuration parts. The body (scenario) is displayed.
As the display device (2), various display devices such as a liquid crystal display device and a CRT are used.
The display device (2) may have a function as an input device (5) such as a touch panel.
[0027]
The voice output device (3) provides guidance voice when performing route guidance by voice by the processing of the central processing unit (1), a conversation for normal communication with the driver by the agent, and a question for obtaining driver information. Is output.
The voice output device (3) is capable of performing voice input to the user when starting voice recognition (when starting input data acquisition with the voice input device (4)) in the voice recognition process. (Start sound output means). In the present embodiment, a sound such as “Pee” is output as the start sound, but a buzzer sound or a chime sound may be used.
The audio output device (3) is composed of a plurality of speakers arranged inside the vehicle. These may also be used as audio speakers.
[0028]
For the voice input device (4), a dedicated microphone having directivity may be used in order to accurately collect the voice of the driver. The voice recognition processing is executed by the CPU (1-1) using the digital voice input signal obtained by converting the analog signal input from the voice input device (4).
Examples of the voice to be subjected to voice recognition include an input voice of a destination in a navigation process, a conversation of a driver with an agent (including a response by the driver), and the like. Function as a voice input means for inputting the input.
Note that an instruction for voice recognition is set in each scene data as to whether or not the scene requires voice recognition. Then, a dictionary for recognizing the voice to be subjected to voice recognition is specified in the scene data of the scene for which the voice recognition instruction is set. This voice recognition instruction is set to one of “start automatically”, “not start automatically”, and “determine by agent device (vehicle device)”. When the instruction for voice recognition is "determined by the agent device", the agent device determines the road condition (curve, intersection, straight line, etc.) while driving the driver's load, and the driving operation condition (rapid acceleration, sudden braking). If the load is high, the voice recognition is not started, and if the load is low, the start sound is output and then the voice can be input.
[0029]
Note that a hands-free unit may be formed by the voice output device (3) and the voice input device (4) so that a call can be made using the communication control device (8) and the communication device (9).
Also, by combining the voice input device (4), the voice processor (1-8), and the voice recognition processing, a conversation detecting means for detecting whether the driver is talking with the fellow passenger, a voice generated by the driver, May be used to detect the situation of the driver.
[0030]
The input device (5) is used to input a telephone number or coordinates on a map when setting a destination, or to request (request) a route search or route guidance to the destination. The input device (5) is used as a trigger when the driver inputs driver information or when the use of the agent function is started. Further, the input device (5) also functions as one response means for the driver to respond to an inquiry from the agent in communication with the agent by the agent function.
As the input device (5), various devices such as a touch panel (functioning as a switch), a keyboard, a mouse, a light pen, and a joystick can be used.
Further, a remote control using infrared rays or the like and a receiving unit for receiving various signals transmitted from the remote control may be provided.
On the remote controller, various keys such as a menu designation key (button) and a numeric keypad are arranged in addition to a joystick for moving a cursor displayed on the screen.
Further, the voice recognition using the voice input device (4) may be used instead of the input device.
[0031]
The central processing unit (1) uses the content received from the input device (5) via the input device I / F unit (1-9) to determine whether or not the CPU (1-1) is performing an input operation by the driver. And / or a function (device operation status detecting means) for detecting the operation status of various devices by using the speech recognition result together.
[0032]
FIG. 3 is a block diagram illustrating a configuration of the various situation detection devices (6).
Various situation detecting devices (6) include a current position detecting device (6-1), a traffic situation information receiving device (6-2), and a brake detector (6-3) for detecting a situation such as a driving operation. , A side brake (parking brake) detector (6-4), an accelerator opening detector (6-5), an A / T shift position detector (6-6), and a wiper detector (6- 7), a direction indicator detector (6-8), a hazard detector (6-9), and an ignition detector (6-10). With the above configuration, a detecting unit is formed by detecting various situations and conditions.
Further, the various situation detecting device (6) includes a vehicle speed sensor (6-11) for detecting the speed (vehicle speed information) of the vehicle, and determines whether the vehicle is traveling based on whether the vehicle speed detected by the vehicle speed sensor is 0 or not. By judging whether or not the vehicle is traveling, the traveling judgment means in the present invention is formed.
[0033]
The current position detection device (6-1) is for detecting an absolute position (depending on latitude and longitude) of the vehicle, and is a GPS (Global Positioning System) receiving device that measures the position of the vehicle using an artificial satellite. (6-1-1), a data transmitting / receiving device (6-1-2) that receives a GPS correction signal, an azimuth sensor (6-1-3), and a steering angle sensor (6-1-4). , A distance sensor (6-1-5) or the like is used.
The GPS receiver (6-1-1) can perform position measurement alone, but in a place where reception by the GPS receiver (6-1-1) is impossible, the direction sensor (6-1-3) and The present position is detected by dead reckoning using at least one of the steering angle sensor (6-1-4) and the distance sensor (6-1-5). Further, by receiving the GPS correction signal using the data transmitting / receiving device (6-1-2), the accuracy of position detection by the GPS receiving device (6-1-1) can be improved.
The azimuth sensor (6-1-3) is, for example, a geomagnetic sensor that detects terrestrial magnetism to determine the azimuth of the vehicle, a gas rate gyro or an optical fiber that detects the rotational angular velocity of the vehicle and integrates the angular velocity to determine the azimuth of the vehicle. A gyro such as a gyro, a wheel sensor in which left and right wheel sensors are arranged, and a turning amount of the vehicle is detected based on an output pulse difference (difference in moving distance) to calculate a azimuth displacement amount is used.
The steering angle sensor (6-1-4) detects the steering angle α by using an optical rotation sensor, a rotation resistance volume, or the like attached to a rotating part of the steering.
As the distance sensor (6-1-5), for example, various methods such as a method of detecting and counting the number of rotations of a wheel, or a method of detecting acceleration and integrating twice are used.
The distance sensor (6-1-5) and the steering angle sensor (6-1-4) also function as driving operation status detecting means.
[0034]
The traffic condition information receiving device (6-2) is for detecting a traffic congestion condition or the like of a road.
The traffic information receiving device (6-2) includes a beacon receiving device (6-2-1) for receiving information from beacons arranged on a road and a device (6-2-) for receiving information using FM broadcast radio waves. 2) and the like are used, and congestion information, traffic regulation information, and the like are received from the traffic information center using these.
The beacon receiving device (6-2-1) may be used in combination with the current position detecting device (6-1) as the current position detecting means.
[0035]
The brake detector (6-3) detects whether or not the foot brake is depressed.
The side brake (parking brake) detector (6-4) detects whether the driver is operating the side brake and the state of the side brake (ON or OFF).
The accelerator opening detector (6-5) detects how much the driver depresses the accelerator pedal.
The shift position detector (6-6) detects whether the driver is operating the A / T shift lever, and detects the shift lever position.
The wiper detector (6-7) detects whether the driver is using the wiper.
[0036]
The direction indicator detector (6-8) detects whether the driver is operating the direction indicator and whether the direction indicator is blinking.
The hazard detector (6-9) detects whether or not the driver is using the hazard.
An ignition detector (6-10) detects whether an ignition switch is turned on.
A distance sensor (6-1-5) can be used for detecting the vehicle speed.
The various situation detecting device (6) also serves as a device operation situation detecting means, in addition to these, a light detection sensor that detects an operation situation of lamps such as a head lamp and a room lamp, and detects a driver's seat belt attaching / detaching operation. A seat belt detection sensor and other sensors are provided.
[0037]
As shown in FIG. 2, the GPS receiving device (6-1-1), the data transmitting / receiving device (6-1-2), and the traffic information receiving device (6-2) include a communication device I / F (1). −11), and the others are connected to various input I / F units (1-10).
[0038]
A communication control device (8) can be connected to the communication device I / F section (1-11). The communication control device (8) is connected to a communication device (9) (such as a mobile phone including various wireless communication devices).
Using these, it is possible to perform communication with an information providing station that provides karaoke data used for communication karaoke in a car, for example, in addition to telephone calls.
In addition to the information providing station that provides karaoke data, the communication device (9) controls communication with the information base station that provides traffic information and communication with the information providing station that provides scenario data used for agent processing. It is also possible via a device (8).
[0039]
In the present embodiment, the central processing unit (1) can receive an e-mail attached with a scenario via the communication control device (8).
Also, the central processing unit (1) can incorporate browser software for displaying a homepage on the Internet, and can be processed by the CPU (1-1). You can download the data including.
The communication control device (8) may be integrated with the communication device (9).
[0040]
Further, the central processing unit (1) receives the operation status of another vehicle-mounted device (7) by performing in-vehicle communication through the communication I / F unit (1-11), and performs various controls on the vehicle-mounted device. It has become.
For example, the central processing unit (1) receives information on whether or not the driver is operating various switches or the like of the air conditioner from the air conditioner, which is various vehicle-mounted devices (7), and raises or lowers the set temperature. Control of the air conditioner as described above. Also, the driver receives information from the audio device as to whether the driver is operating an audio device such as a radio, a CD player, a cassette player, etc., and whether audio is being output from the audio device, or raises or lowers the output volume. The audio device is controlled as follows.
[0041]
The external storage device (10) includes an external storage medium drive (10-1) and the external storage medium (10-2). The external storage device (10) reads data and programs from the external storage medium (10-2) under the control of the external storage device control unit (1-12) according to instructions from the CPU (1-1), and Data and programs are written to the external storage medium (10-2).
As the external storage medium (10-2), for example, various storage media such as a flexible disk, a hard disk, a CD-ROM, a DVD-ROM, an optical disk, a magnetic tape, an IC card, and an optical card are used. Each external storage medium drive (10-1) is used.
[0042]
It is assumed that a plurality of external storage devices (10) may be possessed in the system. For example, driver information data (10-2-3-6) and learning item data and response data (10-2-3-7), which are collected personal information, can be easily carried with an IC card or a flexible disk. An example is conceivable in which the data is configured and the other data is configured on a DVD-ROM. In this way, when driving another vehicle, it is possible to read and use data from an IC card in which these are stored, and to communicate with an agent who has learned a situation in which the user has responded in the past. Become. That is, it is possible to cause an agent having learning content unique to each driver to appear in the vehicle, instead of an agent for each vehicle.
Further, even in the case where the image data (10-2-3-4) used in the scenario data + scenario is stored in a DVD-ROM as an example, it is possible to add the data using an IC card.
Thereby, it is possible to add an original scenario unique to each user.
As described above, by storing the screen element transition body (scenario) and the activation condition of the screen element transition body from the outside, the screen configuration including the screen element transition storage unit and the character image of the present invention and the character image are executed together. By storing the contents of the control performed, the character storage means of the present invention is formed.
[0043]
The CPU (1-1) is a program (10-2-1) for realizing various agent functions and navigation functions, agent data (10-2-3) and navigation data (10-2-2) used for arithmetic processing. Is stored (installed) in another external storage device (for example, a hard disk device or the like) from the DVD-ROM or IC card shown in the above configuration example, and the necessary programs and the like are stored in the flash memory (1-2) from this storage device. The data may be read (loaded) and executed, or data necessary for the arithmetic processing may be read from this storage device into the RAM (1-4) (loaded) and executed.
[0044]
Next, the configuration of a program executed by the CPU (1-1) including the program according to the present invention will be described.
FIG. 4 shows a relationship between an agent processing unit (101) realized by executing a program by the CPU (1-1) and the overall processing unit (102).
In the present embodiment, a navigation device with an agent function is realized by adding an agent processing unit (101) for realizing an agent function to the overall processing unit (102) for realizing various navigation functions.
[0045]
The agent processing unit (101) and the overall processing unit (102) each have an I / F unit for exchanging processing data with each other, and can acquire processing data from each other.
For example, when the agent processing unit (101) acquires destination data that the driver wants to set as a result of executing communication with the driver according to the scenario data, the agent processing unit (101) supplies the data to the overall processing unit (102). It has become. The overall processing unit (102) performs a route search based on the acquired destination data, and performs route guidance based on the created travel route data. In this route guidance processing, when guidance such as a course change direction is provided by an image or voice, a scenario in which data necessary for guidance is supplied from the overall processing unit (102) to the agent processing unit (101) to provide a traveling route guidance. It is also possible for the agent to provide guidance in accordance with the scenario data obtained by converting the data into the data.
[0046]
FIG. 5 shows a configuration of the agent processing unit (101).
The agent processing unit (101) includes a scenario driving unit (101-1), an autonomous activation determination unit (101-2), a learning unit (101-3), a character psychology unit (101-4), a drawing / It comprises a voice output unit (101-5), a voice recognition unit (101-7), an agent OS unit (101-8), and an external I / F unit (101-9).
The scenario driving unit (101-1) reads the scenario data (10-2-3-4) and instructs each processing unit based on the scenario data using message communication or the like (the function provided by each processing unit is provided). use. The scenario driving unit (101-1) performs central processing of an agent processing unit, such as managing execution of a scenario and providing various agent functions to a driver.
[0047]
The autonomous activation determining unit (101-2) holds the autonomous activation condition data of each scenario in the scenario data (10-2-3-4), and periodically executes the autonomous autonomous condition output from the agent OS unit (101-8). According to the start determination instruction, various conditions such as time, position, state, and the like are compared and determined with various situations.
When the conditions match, the autonomous activation determination unit (101-2) issues an instruction to the scenario driving unit (101-1) to request execution of a scenario whose conditions match.
Various conditions for comparison with the autonomous activation condition are obtained from the agent OS unit (101-8) and the learning unit (101-3).
In addition, when it is determined that the change in the situation is large other than the periodic autonomous activation determination instruction, the autonomous activation determination instruction is issued from the agent OS unit (101-8). ) Performs an autonomous activation determination process. The case where the change in the situation is large is, for example, when the driver sets a destination, when the driver deviates from the driving guide route by the navigation function, when the scenario data is added, or when the scenario data is deleted. Etc.
[0048]
In FIG. 5, the learning unit (101-3) uses the driver information data (10-2-3-6) and the items (execution results and execution history) obtained by the driver's selection and response in the communication with the agent. , Learning item data and response data (10-2-3-7). The learning unit (101-3) also obtains an end ID indicating a method of ending when the scenario ends in a different scene, and stores it as response data (10-2-3-7). These acquired items are stored in the RAM (1-4), but can also be output to an external storage medium (10-2) such as an IC card.
The learning unit (101-3) acquires a change in the situation from the agent OS unit (101-8) and records information on the driving operation. For example, the date and time of power ON (ignition ON) may be stored for the past 10 times in order to determine various situations such as a riding time zone and a riding frequency by the driver. The stored information is provided to, for example, the scenario driving unit (101-1), and is used for giving a change to the development of the scenario, or used for comparing autonomous activation determination.
In addition, although the learning unit (101-3) in the present embodiment also serves as holding and referencing the driver information, the learning unit (101-3) may be independent as the driver information unit.
[0049]
The character psychology unit (101-4) acquires the current situation managed by the agent OS unit (101-8), and autonomously calculates five parameters representing the mental state of the character based on the mental model change condition data. change.
The psychological state of the character is represented by parameters of energy, friendship, obedience, self-confidence, and morality, and each parameter is represented by a value of 0 to 100, for example. Each parameter determines and learns the vehicle status (the status of the vehicle itself, the response and response of the driver, the presence or absence of a passenger, the status of the vehicle including oncoming vehicles, etc.), and is stored from the vehicle status at each time. The value of each parameter is changed. For example, when a driver's word of suspicion is recognized, the value of the friendship parameter increases by 1, and changes gradually.
In addition, five parameters representing the mental state of the character are changed by an instruction from the scenario driving unit.
Further, the character psychology unit (101-4) determines the mental state of the character using the five parameters. The determined psychological state is provided to, for example, the scenario driving unit (101-1) and used to give a change to the development of the scenario, or is provided to the drawing / voice output unit (101-5) to perform various actions of the character ( Behavior).
[0050]
The drawing / sound output unit (101-5) creates a control signal for displaying a screen composed of parts such as a selection button and a title in accordance with an instruction from the scenario driving unit (101-1). Further, in accordance with an instruction from the scenario driving unit (101-1), a control signal for displaying various actions (actions) of the character corresponding to the display state based on the scene data is also created.
In the present embodiment, these control signals are transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and are present in the overall processing unit (102). The information is transmitted to the image processor (1-6) through the processing unit for giving an instruction to the image processor, subjected to image processing, and displayed on the display device (2). In 8), a processing unit for giving an instruction to the image processor may be provided.
[0051]
The drawing / voice output unit (101-5) also generates a control signal for outputting a dialog when the agent communicates with the driver in accordance with an instruction from the scenario driving unit (101-1). In addition, a control signal for outputting various sound effects is generated in accordance with an instruction from the scenario driving unit (101-1).
In the present embodiment, these are transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and transmitted to the voice processor in the overall processing unit (102). The audio output control signal is transmitted to the audio processor (1-8) through a processing unit for giving an instruction, is converted into an analog signal, and is output to the audio output device (3). The agent OS unit (101-8) may have a processing unit for giving an instruction to the voice processor.
[0052]
Note that the drawing / voice output unit (101-5) of the present embodiment has a function of drawing a motion of a character in each scene and a voice output function, but a drawing unit (drawing function unit) and a voice output unit (voice). Output function unit) may be configured separately.
[0053]
The speech recognition unit (101-7) issues a control signal for causing the speech recognition processing unit in the overall processing unit (102) to create a speech recognition dictionary in accordance with an instruction from the scenario driving unit (101-1). Further, the voice recognition unit (101-7) also issues a control signal for starting or stopping the voice recognition process in accordance with an instruction from the scenario driving unit (101-1).
In the present embodiment, these are transmitted to the agent OS unit (101-8) and transmitted from the external I / F unit (101-9) to the voice recognition processing unit in the overall processing unit (102).
The voice recognition processing unit transmits an instruction to start and stop the voice recognition processing to the voice processor (1-8), and the voice processor (1-8) transmits the analog signal input from the voice input device (4). Is to be converted into a digital audio input signal.
When a voice input signal is input, the voice recognition processing unit obtains the digital voice input signal, and based on the digital voice input signal, the voice recognition processing unit performs recognition processing. To the voice recognition unit (101-7). The speech recognition unit (101-7) notifies the scenario driving unit (101-1) of the speech recognition result.
With the above configuration, a voice recognition unit that recognizes voice is formed.
[0054]
The agent OS unit (101-8) manages the current situation by acquiring a change in the situation (including addition of a scenario) such as time, place, and various inputs, and sends a message as necessary to the change in the situation. Notify each processing unit by communication. The status change is supplied from the overall processing unit (102) through the external I / F unit (101-9), or obtained by inquiring.
The information to be obtained is obtained by fetching the detection results and the like by the various situation detecting device (6) from various input I / F units (1-10) and the communication I / F unit (1-11) and RAM (1-4). It is written in. The contents input using the input device (5) are also supplied from the overall processing unit (102) through the external I / F unit (101-9), and the contents are transmitted to each processing unit by message communication as necessary. Notice.
The agent OS unit (101-8) has various other libraries, and provides message communication for exchanging data between the processing units, provides the current time, and manages the memory. It provides a memory necessary for each processing unit to perform processing, and provides a function of reading and writing data from an external storage medium.
[0055]
Further, the agent OS unit (101-8) performs processing relating to time and plays a role of a timer to notify the elapse of a specific time. That is, the agent OS unit (101-8) functions as a timer, and measures the timer set time set in each scene of the scenario. The timer setting time to start and count the time is notified from the scenario driving unit (101-1), and when the timer setting time elapses, the agent OS unit (101-8) notifies the scenario driving unit (101-1) that the setting time has elapsed. 101-1).
[0056]
The agent OS unit (101-8) periodically issues an autonomous activation determination instruction to the autonomous activation determination unit (101-2). This periodic autonomous activation determination instruction is issued every predetermined time. The predetermined time should be as short as possible within a range in which the autonomous start-up determination processing that is periodically performed according to the autonomous start-up determination instruction that is periodically issued does not affect other processing of the entire central processing unit (1). Desirably, in the present embodiment, the interval is set to 5 seconds. The predetermined time may be arbitrarily changed by the user by operating the input device (5).
Further, even when the agent OS unit (101-8) determines that the change in the situation is large, the agent OS unit (101-8) periodically issues an autonomous activation determination instruction to the autonomous activation determination unit (101-2). ing. The case where the change in the situation is large is, for example, when the driver sets a destination, when the vehicle deviates from the guidance route, when scenario data is added, or when the scenario data is deleted. The corresponding item is defined in advance and stored in the RAM (1-4) or the like.
[0057]
Further, the agent OS unit (101-8) determines whether the vehicle is running (when the vehicle speed v ≠ 0) or stopped (when the vehicle speed v = 0) by the vehicle speed sensor (6-11) by the situation determination function. Is periodically (for example, every 5 seconds), and when the vehicle changes from a stopped state to a running state (when the previous determination time is 0 km / h and the current determination time is not 0 km / h), the scenario driving unit ( 101-1) is notified of the start of traveling.
[0058]
The external I / F unit (101-9) is an interface between the agent processing unit (101) and the overall processing unit (102) (the overall processing unit (102) has an agent I / F as a receiver). Department exists). It acquires various information such as navigation information used in the agent processing, and transmits a control signal from the agent processing unit to the overall processing unit to control navigation.
The drawing instruction to the image processor (1-6) and the sound output to the sound processor (1-8), which are notified and notified to the overall processing unit (102) through the external I / F unit (101-9). The agent processing unit is provided with a processing unit that performs instructions to other processors and the I / F unit, such as obtaining instructions and input information from the input device I / F unit (1-9). Or may be done.
[0059]
An overall processing unit (102) in FIG. 4 includes a map drawing unit, a route search unit, a route guidance unit, a current position calculation unit, a destination setting operation control unit, and the like, which are not shown, and performs an navigation signal output process. And an OS unit such as a program for performing display output control necessary for map display and route guidance and voice output control required for voice guidance.
The overall processing unit (102) also includes a voice recognition processing unit that performs voice recognition and a processing unit that converts text data into voice data. The processing unit for adding a browser function or a mail function is added to the overall processing unit (102).
Alternatively, the agent processing unit (101) may have a browser function or a mail function.
In the present embodiment, an extended function for executing the agent process is added to the overall processing unit (102). This extended function includes, for example, means for detecting the type of a traveling road (expressway, national road, etc.) from road data in the navigation data and the current position, and a curve condition of a traveling road (before a curve, There are means for detecting the end of a curve.
[0060]
Next, a data configuration (including a program) stored in the external storage medium (10-2) will be described.
FIG. 6 conceptually shows information collected on the external storage medium (10-2).
The external storage medium (10-2) has a program (10-2-1) for realizing various agent functions and navigation functions according to the present embodiment, and agent data (10-2-3) and navigation as necessary various data. Data (10-2-2) is stored.
The navigation data (10-2-2) includes various data necessary for map drawing, route search, route guidance, destination setting operation, and the like. Examples include map data (road map, house map, building shape map, etc.) required for route guidance, intersection data, node data, road data, photograph data, registered point data, destination point data, guide road data, details It consists of a file of destination data, destination reading data, telephone number data, address data, and other data, and stores all data necessary for the navigation device. Also, communication area data and the like are stored as needed.
[0061]
The drawing map data is drawing map data to be drawn on the display device (2). The drawing map data is a hierarchical map, for example, a map for each layer such as Japan, the Kanto region, Tokyo, and Kanda from the highest layer. Data is stored. Map data of each layer is provided with a map code.
The intersection data includes an intersection number specifying each intersection, an intersection name, coordinates of the intersection (latitude and longitude), a number of a road at which the intersection is a start point and an end point, the presence or absence of a signal, and the like.
The node data includes information such as latitude and longitude that specify the coordinates of each point on each road. That is, this data is data relating to one point on the road. A connection between nodes is called an arc, and a road is represented by connecting each of a plurality of node rows with an arc.
Road data includes road numbers that specify each road, intersection numbers that are the starting and ending points, numbers of roads that have the same starting and ending points, road thickness, prohibition information such as entry prohibition, and photo numbers of photo data described below. It is composed of
As the photograph data, there are photographs taken of each intersection or a characteristic scenery seen while traveling straight, in the form of digital, analog, or negative film corresponding to the photograph number.
[0062]
The communication area data displays, on the display device (2), an area in which the mobile phone, which is a communication device (9) connected or not used in the vehicle with or without connection to the communication control device (8), can communicate from the vehicle, Communication area data for using the area in which communication can be performed at the time of route search exists for each type of mobile phone.
The agent data (10-2-3) includes mental model data (10-2-3-1), recommended proposal data (10-2-3-3), and knowledge data (10-2-3-2). ), Scenario data (10-2-3-4), character data (10-2-3-5), driver information data (10-2-3-6), learning item data, and response data (10-2-3-7).
[0063]
The mental model data (10-2-3-1) is composed of five parameters (friendliness, obedience, confidence, morale, and spirit) representing the mental state of the character and mental model change condition data. . The mental model change condition data describes conditions for increasing / decreasing the index of each of the above parameters, the changed parameters, and the degree of the change. According to this table, each parameter is increased or decreased to indicate the mental state of the character.
The recommendation proposal data (10-2-3-3) is used when a restaurant or the like is proposed as recommendation information to the driver. The recommended suggestion data (10-2-3-3) includes driver name, reading data, restaurant genre data, atmosphere data, fee data, point data,. Based on 3-6) and the knowledge data (10-2-3-2), a restaurant recommended to the driver is searched and suggested.
There are sightseeing spots and rest places besides restaurants.
The knowledge data (10-2-3-2) is based on statistical data, based on age and gender, a preference tendency based on a situation based on the presence or absence of a passenger, a selection tendency including a special product based on a location, a time and a time. Is a data of the tendency of the selection. There are various selection tendencies such as a tendency to select a restaurant, a tendency to select a sightseeing spot, a tendency to select a rest place, and so on.
[0064]
Scenario data (10-2-3-4) provides the agent's actions and questions according to the situation when the agent communicates with the driver, and provides information from the agent autonomously in any situation. Are performed, and a running execution condition that defines how to execute the scenario with respect to the running of the vehicle is defined.
In the scenario data (10-2-3-4), image data to be displayed separately from the character (image data to be displayed on a scene display screen 54 (see FIG. 12) described later) is also stored.
[0065]
FIG. 7 shows the configuration of actual machine type scenario data.
The scenario data (10-2-3-4) includes a plurality of scenarios, and includes data for managing the scenarios and data indicating the contents of each scenario.
The management data of the acquisition scenario includes information such as the expiration date of the scenario data, the date of creation, the creator, and the like, as well as data (scenario number, The scenario name, priority (priority)), the autonomous start condition data of the scenario recorded in the scenario file, and the driver manually operating the input device (5) in the scenario recorded in the scenario file. Lists scenario list data that can be started.
[0066]
The data indicating the content of each scenario includes management data for managing each scenario and scene data indicating the content of each scene constituting the scenario.
The data for managing each scenario includes information about the scenario, text information for creating a speech recognition dictionary used in this scenario, and data for overall management of each scene data constituting the scenario. Have been.
[0067]
In addition, in the data for managing each scenario, a running condition (use permission setting) is defined. As the running condition, one of non-running during running and limited running during running is defined.
The scenario in which non-execution during running is set is a scenario that can be executed only while the vehicle is stopped and is not executed during running. Therefore, if the vehicle starts running during the execution of communication by this scenario (while the vehicle is stopped), the scenario being executed will be interrupted.
[0068]
On the other hand, the scenario in which the running restriction execution is set starts even when the vehicle is running, and continues without interruption even if the vehicle starts running on the way.
However, while the vehicle is traveling, the screen display of items (items constituting a part of the scene) that are set as the restriction items for the execution of the traveling restriction, among the items of the scene displayed while the vehicle is stopped, is restricted ( Do not show).
Limitation items that are restricted from being displayed on the scene screen during traveling include a non-displaying item that is not always displayed during traveling and a non-displaying selection item while traveling. The non-displayed during running item is an item for which the user cannot select display or non-display, and the non-displayed during running selection item can be a selection of display permission, but is an item for which the user selects non-display. However, there is no distinction in the scenario data as a restriction item.
As the items that are not always displayed during traveling, detailed operation items that require a detailed operation by the driver from the screen, such as a list box with buttons, a slider bar, and the like, are applicable. In addition, as the non-display selection items during traveling, there are screen confirmation items such as a title, a selection button, a character speech balloon, etc. that require the driver to confirm the screen, and simple operation items for performing a simple operation on the screen. .
It should be noted that all the items (simple operation items and detailed operation items) that need to be operated on the screen may be always hidden items. As described above, when it is determined that the vehicle is running, the execution of at least a part of the screen element is limited (not displayed) in comparison with the screen element that is not running (stopped). Execution restriction means is formed.
[0069]
The scene data includes data for managing the scene, screen configuration data, character motion data, various types of processing data, and development management data.
The data for managing the scene includes information on the scene and data for managing each data section belonging to the scene data.
The screen configuration data describes data (size, display position, etc.) of each part of the screen configuration displayed on the display device (2) in this scene.
In the character motion data, instruction data of an operation performed by the character in this scene and instruction data relating to the contents to be spoken are described. In the instruction data of the action, the instruction data is described as one of two types, that is, an instruction directly by the expression means of each character in the scenario data and an instruction in a state where the character is to be expressed.
[0070]
Various processing data includes information for controlling (performing processing) external devices in this scene, information for controlling navigation, instructions for executing other scenarios, timer setting information, and a mental model for character psychology. Information for changing parameters is described.
The timer setting information includes a timer setting time and a timer setting condition as information for setting a scene time. The timer setting condition is a condition that defines whether or not to set a timer depending on the state of the vehicle. In the present embodiment, (a) always sets both during running and stopped, (b) sets only during running, ( c) Only when the vehicle is stopped, (d) Timer is not always set (in this case, the timer setting time is not defined).
[0071]
The external device includes devices connected to the communication I / F unit (1-11), and includes, for example, a communication control device. The contents to be controlled include making a call to a specific telephone number and disconnecting the call.
The navigation control content includes, for example, setting this point as a destination.
The instruction to change the parameters of the mental model includes, for example, decreasing the friendship by one.
[0072]
The deployment management data describes information such as whether to end the scenario, what the next scene is, or not to deploy anything if any event occurs in this scene.
The event referred to here indicates an action defined in order to advance the development of the scene to the next. For example, when the dialogue of the character has ended, the set time has elapsed, or the driver has selected any answer to the question asked in this scene (eg, "Yes" or "Yes" to the question "Yes" or "No") And so on).
In addition to this event, the development can be changed depending on the learning result.
For example, it can be used when the driver selects "Yes" to the question and the total number of uses is less than 10 times.
In addition to the learning result, the development can be changed using the date and time, the mental state of the character using the mental model, driver information, and the like.
[0073]
FIG. 8 conceptually shows the contents of the character data.
The character data (10-2-3-5) stores data of a plurality of characters, and can be selected from the input device (5) or the like according to the driver's preference.
The character data (10-2-3-5) includes character image data 102351, character voice data 102352, and character image selection data 102353 for each of the characters A, B,.
[0074]
The character image data 102351 stores a still image indicating a state of a character displayed in each scene specified by a scenario, a moving image (animation) indicating an action, and the like. For example, a moving image in which the character bows, a nodding moving image, a moving image of raising the right hand, and the like are stored.
Each of these still images and moving images is provided with an image code.
The character image data 102351 functions as an image storage unit.
The character (the appearance of the agent) used as the character image data 102351 does not need to have a human (male, female) appearance. For example, the non-human-type agent may be an appearance of an animal itself such as an octopus, a chick, a dog, a cat, a frog, a rat, or a human figure that has been stylized (illustrated). Appearance, a floor stand, a tree, or a specific character.
In addition, the age of the agent does not need to be constant, and as a learning function of the agent, the appearance of the child is first changed to the appearance of a child, and the appearance changes over time (change to the appearance of an adult, May be changed).
[0075]
The character voice data 102352 stores voice data for the agent to have a conversation with the driver according to the scene of the selected scenario.
The voice data of the conversation by the agent also stores voice data for the agent to ask a question for collecting driver information. As an example, "Hello", "I Regards", "And I", and the like are stored.
Each of these voices is provided with a voice code.
[0076]
The character image selection data 102353 is a conversion table in which image data representing an expression method (operation) of each character is assigned to each display state.
The scenario data (10-2-3-4) defines the contents of each scene by a common display state that does not depend on the type of character.
For this reason, the character image selection data 102353 is a conversion table for converting the display state of the commonly expressed scene into image data for displaying the details of individual actions for the character selected by the user. Function as
[0077]
FIG. 9 conceptually shows the contents of the character image selection data 102353.
In FIG. 9, the state instruction number defined in each scene data, the corresponding unified display state, and the operation content for each character are displayed. However, the actual character image selection data 102353 includes the state instruction number. A number and an image code for displaying the operation content corresponding to the state instruction number are stored for each character. An image code assigned to each still image or moving image of the character image data 102351 is associated with the state instruction number.
By using the conversion table shown in FIG. 9, a common operation instruction (designation of a display state) can be performed even if different operations are performed depending on characters for the same state to be expressed.
As shown in FIG. 9, for example, in the case of a Japanese sunshine, the instruction to “greet an encounter” is defined as “bow”, and the instruction to “listen to” Hit your ears. "
If this is a Western lady, the instruction to "greet an encounter" is defined as "raise the right hand to the side of the face", and in the case of a robot i-ball, the instruction to "greet an encounter" is "head". The laser scan moves up and down on the main screen. "
As described above, in the agent device, it is possible to perform individual actions corresponding to the selected character by changing the character selection for the same scenario.
[0078]
FIG. 10 conceptually shows driver information data.
The driver information data (10-2-3-6) is information on the driver, and is used to make the communication of the agent more suitable for the driver's wishes, hobbies, and preferences.
The driver information data (10-2-3-6) includes driver ID (identification information), name, age, gender, marriage (married or unmarried), child for storing information for each driver. Driver basic data including presence / absence, number of people, and age, and hobby / preference data are stored.
The hobby / taste data includes major items such as sports, eating and drinking, and traveling, and detailed items included in the concept of these major items. For example, large item sports store data such as whether or not they like baseball, whether or not they like soccer, and whether or not they like golf.
In the present embodiment, the priority order is determined for each of these pieces of driver information, and the agent asks the driver a question in descending order of priority among the driver information not yet stored. . The driver basic data has a higher priority than the hobby preference data.
[0079]
The driver information data (10-2-3-6) is created for each driver when a plurality of drivers drive the vehicle. Then, the driver is specified and the corresponding driver information is used.
For example, when the power is turned on, an agent common to all the drivers appears to inquire the driver, and the driver is specified from the answer. In response to the driver's inquiry, a button for selecting the input driver's name and others is displayed on the display device, and a voice prompting the selection is output. If any other is selected, a new user registration screen is displayed.
Driver specific information such as weight, fixed position of driver's seat (seat) (front and rear position, angle of backrest), angle of rearview mirror, height of line of sight, digitized face photograph data, voice feature parameter ID card, etc. May be stored in the driver information data (10-2-3-6), and the driver may be specified based on the information.
[0080]
The learning item data and response data (10-2-3-7) in FIG. 6 are data for storing the result of learning by the agent based on the driver's selection and response in communication with the agent.
Accordingly, the learning item data and the response data (10-2-3-7) are stored and updated (learned) for each driver.
For example, the result of the previous selection, the date and time of the last use, the total number of times of use, and the like are stored as the use state of the scenario.
According to this learning content, for example, in a scenario in which a greeting is given each time the navigation power is turned on, if the last use is less than 5 minutes, it will respond as "I met you just before" or conversely, more than one month If they are open, they respond to "It's been a long time".
[0081]
Also, an answer (including a response of no answer) as a result of asking which team is a fan is stored. Depending on the result of this response, if no answer is given, it is possible to change the correspondence, such as asking again which team's fan, or if a particular team is stored, having a conversation about that team.
In the present embodiment, as a method of determining a response of no response, in the present embodiment, if there is no response within the timer set time and a timer notification (set time has elapsed), it is determined that there is no response.
The timer setting time is defined in the timer setting information as scene data of the scenario data.
[0082]
Next, an operation of executing a scenario by the agent device configured as described above will be described.
FIG. 11 shows a selection screen when an agent device selects an agent character to appear in a vehicle cabin.
The agent device 1 can select a character from a communication setting screen (FIG. 11A) displayed on the display device (2).
In FIG. 11A, when the user selects a “Yes” button for displaying a character, as shown in FIG. 11B, each of the characters stored in the character data (10-2-3-5) is displayed. Character names are displayed in a selectable list (character selection means). The user selects a favorite character from this list display. The selection is made by selecting a corresponding character name column or by inputting the character name by voice.
When a character is selected, data specifying the character selected by the user is transmitted from the overall processing unit (102) via the external I / F (101-9) and managed by the agent OS unit (101-8). Is done.
If the data of the character selected by the user does not exist, one of the characters, in this embodiment, “sunshine” is set as a default value, and the default character is set by the agent OS unit (101-8). It is managed (setting means).
[0083]
FIG. 12 illustrates an example of a scene screen displayed on the display device (2) based on scene data of a scenario.
The scene screen shown in FIG. 12 is a scene screen (scene number 0x0001) of a question scenario in which a question is asked from the driver to acquire a hobby preference (meal), which is driver information that has not been input.
As shown in FIG. 12, the scene screen includes an agent display screen 51 on which an image (still image, moving image) of the agent is displayed, a balloon screen 52 on which characters corresponding to the voice of the agent are displayed, a title screen 53, and And a scene display screen 54 on which image data (images of actual image data, answer selection buttons, etc.) specific to each scene are displayed.
The agent displayed on the agent display screen 51 is a character selected by the user or a default character.
[0084]
When the scenario driving unit (101-1) of the agent processing unit (101) starts the question scenario of hobbies and preferences (meals), first, the screen configuration data of the scene specified by the scene header is converted into scenario data + image (10- The scene screen read out from 2-3-4) is displayed on the display device (2), and a question sound corresponding to the question sentence is output from the sound output device (3).
In the question scenario scene screen shown in FIG. 12A, the balloon screen 52 displays "What genre of food do you like?" Note that a sound corresponding to the display of the balloon screen 52 is output from the sound output device (3).
In addition, the scene display screen 54 in the scene screen of FIG. 12A displays “Japanese food”, “Western food”, “Chinese food”, and “particularly none” of the four answer selection buttons 54a.
[0085]
A plurality of scenes corresponding to the driver's answer branch off and follow the scene of the question to the driver. The branch of each scene and the specification of the subsequent scene are determined according to the driver's answer according to the development management data of each scene. That is, when the driver selects the answer selection button “Japanese food” on the scene screen (scene number 0x0001) in FIG. 12A, the scenario driving unit (101-1) branches to the scene screen (b) corresponding to the answer. Is displayed. In this scene screen (b), the selected "Japanese food" is displayed on the title screen 53, and "I like Japanese food" is displayed on the balloon screen, and in the scene of the Japanese food after branching, The actual image 54b of the Japanese food read from the scenario data is displayed on the scene display screen 54. The scenario driver (101-1) stores the driver's answer, for example, "Japanese food" as driver information in the hobby / preference data of the driver information 307.
In this way, by sequentially displaying and outputting each scene image and sound specified in the scenario up to the last scene, the action of the agent in one scenario is completed.
[0086]
FIG. 13 shows the transition of the scene screen according to the guide scenario transmitted by the inn to the potential guest for each scene.
In this guidance scenario, scene screens (a) to (f) of a plurality of scene screens are displayed, and the next scene screen branches to 0x0004 and 0x0006 according to the result of the user's selection on the scene screen (c). ing. Although the scene is not branched in the example of FIG. 13, the scene screen may be branched so that a dish corresponding to the type of the selected dish is also displayed on the scene display screen 54 in the scene screen (d).
[0087]
Hereinafter, each action of the agent according to the reservation scenario will be described with reference to FIG.
The operations of the agents and the display of the screens described below corresponding to the respective scene screens are all displayed according to the data, images, and instructions stored in the scenario data of the external scenario. Although described as the operation of the agent, the scenario driving unit (101-1) of the agent processing unit (101) actually performs the processing.
[0088]
When the reservation scenario is activated, first, a scene screen of number 0x0001 is displayed on the display device (2). In this scene, the agent of the character managed by the agent OS unit (101-8) appears on the agent display screen 51, bows and greets by voice. The content of the greeting by voice is the same as the text displayed on the balloon screen 52.
The greeting by voice is performed by the agent on behalf of the inn, but displaying a photographic image of a landlady at the inn on the scene display screen 54 expresses the greeting from the inn. The image of the landlady is an image received and added as a part of the external scenario, and is stored as actual image data of the scenario data (10-2-3-4).
The instruction for the operation of the agent follows the instruction stored in the character operation instruction data.
When the greeting by the agent ends, the state transits to the next scene 0x002.
[0089]
In the next scene 0x0002, an image of an open-air bath is displayed on the scene display screen 54. Then, the agent points to the picture of the open-air bath, and the specialty of the inn (it is sold here) is explained by the agent and the display of the balloon screen 52.
[0090]
When the talk of the agent is finished, a transition is made to the next scene 0x0003, an image of the meal of the day (image of kaiseki cuisine) is displayed on the scene display screen 54, and the agent explains the cuisine and whether or not this cuisine is good. Question.
Then, it is assumed that a timer setting time and a timer setting condition “set only during traveling” are defined in the scene data of scene 0x0003. In this case, the time measurement by the timer is started at the start of the scene on condition that the vehicle is running. It is determined that the vehicle is traveling when the vehicle speed sensor (6-11) or the distance sensor (6-1-5) detects the vehicle speed v = 0, and the vehicle is stopped, and the vehicle speed v ≠ 0 is detected. In this case, it is determined that the vehicle is running.
[0091]
When the user selects "Yes" as a response to the question as to whether the displayed dish is acceptable, the process branches to scene 0x0004, and if the user selects "No", the process branches to scene 0x0006.
On the other hand, if the user gives a timer notification (elapse of the set time) without answering by voice or selecting a selection button displayed on the screen within the timer set time, the scene data of the scene 0x0003 defines. The scenario is terminated according to the transition condition at the time of the timer notification.
[0092]
In this way, even when there is no answer from the user, it is determined that no answer has been selected, and a transition is made to the next scene (the end in the example of FIG. 13) in which no answer is the transition condition. The communication with the converted character can be made closer to the communication between humans.
[0093]
In scene 0x0004, a selectable list other than kaiseki cuisine is displayed on the scene display screen 54. The agent points to the list on the scene display screen 54 and asks which dish is better.
Then, when the user selects any one, the state transits to the scene 0x0005.
[0094]
In the scene 0x0005, a list of the number of persons to be changed from kaiseki cuisine is displayed on the scene display screen 54, and the agent points to this list to ask a question of the number of persons.
Then, when the user selects any one, the state transits to the scene 0x0006.
[0095]
In the scene 0x0006, an exterior photo image of the inn is displayed on the scene display screen 54, and the agent bows and greets.
Then, in the case of the guidance scenario shown in FIG. 13, the agent transmits the answer result regarding the meal to the third party (inn) that transmitted the external scenario being executed via the communication control unit 24 as a result of the user's selection. I do.
As described above, when it is desired to obtain information about the user, the creator of the external scenario prepares a scene of a question in which the information to be obtained is obtained in the scenario, and creates the scenario such that the answer is transmitted by e-mail. I do. If a reply needs to be sent, the e-mail address of the creator is included in the scenario data.
When the story of the agent in the last scene (scene 0x0006 in FIG. 13) ends, the scenario ends.
[0096]
In this way, the scenario driving unit (101-1) sequentially displays and outputs each scene image and sound specified in the scenario up to the last scene.
When the activated scenario ends, the scenario driving unit (101-1) determines an activation condition for execution of another scenario.
[0097]
Next, a description will be given of a process of determining whether to autonomously activate various scenarios executed by such a scenario driving unit (101-1).
FIG. 14 illustrates an autonomous start determination process of a scenario performed by the autonomous start determination unit.
In this autonomous activation determination processing, the autonomous activation determination unit (101-2) receives information on the position and date in order to reduce the load on the device, and converts the start condition approximate to the received position and date into scenario data. A process of reading (extracting means) from the held external storage device (10) and temporarily storing it in the RAM (1-4) is performed.
In other words, the autonomous activation determination unit (101-2) obtains the status information that is presently located from the agent OS unit (101-8) via the agent I / F to obtain the status information such as the current position and time. Is acquired (step 11).
Then, the autonomous activation determination unit (101-2) determines whether the acquired status information such as the position and the time has changed by a predetermined unit (step 12).
As a result of the determination, when it is determined that there is a change of a predetermined unit (Step 12; Y), the autonomous activation determination unit (101-2) determines the autonomous activation condition having conditions that approximate conditions such as the position and time. Is read from the external storage device (10) and temporarily stored in the RAM (1-4) (step 13). Here, the approximate condition is that, in the case of a position, the whole range of the map data is divided into rectangular blocks of a predetermined unit, and a block in which the position defined in the autonomous activation condition exists and seven blocks adjacent to the block exist. This refers to the condition that the block contains position information. In the case of a date, the current day and the next day correspond. The change in the predetermined unit corresponds to a case where the vehicle has moved to another block in the case of a position, and corresponds to a case in which the date has changed in the case of a date.
Then, the autonomous activation determination unit (101-2) performs a condition determination process as to whether the read autonomous activation condition is satisfied by the status information (step 14).
If it is determined in step 12 that there is no change in the predetermined unit (; N), the process proceeds to step 14 because there is no need to change the previously read activation condition.
[0098]
FIG. 15 shows the processing contents of the condition determination processing (step 14).
The autonomous activation determination unit (101-2) acquires the first autonomous activation condition from the RAM (1-4) (step 21), and determines the status based on the various status information obtained in step 12 based on the acquired autonomous activation condition. It is determined whether or not the condition is satisfied (step 22). When the autonomous activation condition is satisfied (Step 22; Y), the autonomous activation determination unit (101-2) sends a scenario execution request message corresponding to the autonomous activation condition to the scenario driving unit (101-1). Issued (step 23).
[0099]
Next, the autonomous activation determination unit (101-2) determines whether or not the next autonomous activation condition exists in the scenario data (10-2-3-4) (step 24). The next autonomous activation condition is obtained (step 25), and thereafter, the processes of steps 22 to 25 are repeated until the determination for all autonomous activation conditions is completed.
In step 24, if the next autonomous activation condition does not exist (; N), the autonomous activation determination unit (101-2) ends the autonomous activation determination process.
[0100]
Next, a scenario execution process when the scenario driving unit (101-1) receives a scenario execution request from the autonomous activation determination unit (101-2) will be described. Note that the processing of the autonomous activation determination unit described below constitutes a condition determination unit of the present invention.
FIG. 16 is a flowchart showing the flow of the scenario execution process. FIG. 16 illustrates a series of typical operations performed by each unit of the agent processing unit (101) and the overall processing unit (102) when executing a scenario. Each unit performs an independent process. Is supposed to do it. In other words, the independent processing of each unit is continuous, resulting in the typical flow shown in FIG.
Specifically, each unit of the agent processing unit (101) and the overall processing unit (102) perform processing on the message upon receiving the message, and wait for the next message when the processing is completed.
[0101]
Upon receiving the scenario execution request from the autonomous activation determination unit (101-2), the scenario driving unit (101-1) performs agent start preparation processing by securing and initializing a work memory (step 505-1).
Then, the scenario driving unit (101-1) checks whether the execution request of the scenario is a manual start or an automatic start (step 505-2). The manual activation is when the user selects the scenario activation from the menu of the display device (2), and the automatic activation is when the autonomous activation condition of the scenario is satisfied.
If the execution request of the scenario is a manual start, a menu scenario request process is performed (step 505-3). Thereafter, the process proceeds to a scenario data reading process (step 505-4).
[0102]
On the other hand, in the case of the automatic startup, since there is a scenario whose execution is requested by satisfying the autonomous startup condition, the process directly proceeds to the scenario data reading process (step 505-4).
Next, the scenario driving section (101-1) reads the scenario data to be executed into the RAM (1-4) (step 505-4). When reading the scenario data, if there are a plurality of scenarios to be executed (when a plurality of autonomous activation conditions are satisfied, when a manual activation request and an automatic activation overlap, etc.), the scenario driving unit (101) -1) reads the scenario data having the highest priority by determining the priority specified for each scenario. If the priorities are the same, the priority is determined to be higher in the order in which the execution requests are received from the autonomous activation determination unit (101-2). The priority of the scenario is confirmed from the management data of the recorded scenario of the scenario data (10-2-3-4).
[0103]
When the reading of the scenario data is completed, the scenario driving unit (101-1) performs a scenario start process (step 505-5).
In the scenario start process, the scenario driving unit (101-1) first performs an initialization process for starting a scenario.
[0104]
The scenario driving section (101-1) performs a scenario execution determination process.
That is, the scenario driving unit (101-1) first obtains the traveling state of the vehicle by inquiring of the agent OS unit (101-8).
Upon receiving the inquiry, the agent OS unit (101-8) checks the vehicle speed sensor (6-11) whether the vehicle is running or stopped, and notifies the scenario driving unit 101-1. The vehicle speed sensor (6-11) transfers the detected vehicle speed information to the agent OS (101-8). Based on the received vehicle speed information, the agent OS (101-8) determines that the vehicle is stopped when the vehicle speed v = 0, determines that the vehicle is running when the vehicle speed v ≠ 0, and uses the determination result as a scenario driving unit ( 101-1).
When the running state of the vehicle notified from the agent OS unit (101-8) is running, the scenario driving unit (101-1) determines that the running execution condition is based on the scenario management data read in step 505-4. It is determined whether or not the setting is made during running.
[0105]
If the vehicle is running and is set to not be executed during running, the scenario driving unit (101-1) shifts to the scenario end processing (step 505-8) without starting the scenario.
On the other hand, the scenario driving unit (101-1) records the start time of the scenario and records the start time of the scenario when the vehicle is stopped, and when the running limit execution is set as the running condition while the vehicle is running. Processing such as addition of the number of times of use is instructed to the learning unit (101-3). Thereby, the learning unit (101-3) performs recording and addition to the learning item data (10-2-3-7).
[0106]
After the start learning instruction processing for the learning section (101-3), the scenario driving section (101-1) executes scene processing for processing the drawing and sound of the character according to the contents of the scenes constituting the scenario (step). 505-6). The details of the scene processing will be described later with reference to FIG.
When the scene processing is completed, the scenario driving section (101-1) checks whether the scenario has ended (step 505-7).
When the scenario ends, the scenario driving unit (101-1) performs a scenario end process (505-8). In the scenario ending process, the learning unit (101-3) obtains an end ID indicating a method of ending and stores it in the response data (10-2-3-7).
If the scenario is not ended (if the scenario still continues), the process returns to step (505-6) and repeats the next scene, next scene,... Until the scenario end position.
[0107]
After the scenario end processing, the scenario driving unit (101-1) checks whether or not there is another scenario execution request (step 505-9). Returning to the data reading process (step 505-4), the same process is executed.
On the other hand, when there is no other scenario to be executed, the scenario driving unit (101-1) executes an agent end process (505-10). That is, the agent OS unit (101-8) is notified that the process for requesting the execution of the scenario has been completed.
Thereafter, the screen displayed on the display device (2) returns to the normal navigation screen, but the subsequent processing is transferred to the overall processing unit (102) via the agent I / F.
[0108]
As described above, since each unit is processed independently, it is not shown in the flowchart of FIG. 16. However, during execution of a scenario, a scenario execution request for executing another scenario from a scenario is always present. It is configured to accept.
For example, as will be described later with reference to FIG. 26, when the vehicle state changes from stopped to running during execution of a scenario in which running is not set as the running condition, the running scenario is terminated. After, it is forcibly interrupted.
[0109]
FIG. 17 is a flowchart showing the flow of the scene processing (step 505-6).
The scenario driving unit (101-1) checks the type of the scene to be started in the scene processing (step 505-6-1), and in the case of a normal scene, analyzes the scene data (step 505-6-2). ), The process proceeds to a process for requesting various processes (step 505-6-5) in the case of a clone scene, and proceeds to the expansion determination process (step 505-6-12) in the case of a condition-added scene.
Here, the clone scene is a case where the same screen as the original scene (scene that ended immediately before) n is displayed depending on how the certain scene n ends, for example, when no input is made within the set time. This is a scene in which a voice prompting an input is output on the same screen.
In addition, the condition addition scene is a scene provided before the scene in order to make a transition to a specific scene and to start, and in which a condition determination for a screen transition (branch) is performed without screen display. It is.
[0110]
If the starting scene is a normal scene, the scenario driving unit (101-1) refers to the RAM (1-4) in which the scenario data read in step 504 is stored for the data of the starting scene. Then, the screen configuration to be displayed, the motion instruction of the character, and the like are analyzed (step 505-6-2).
As a result of the analysis, if a speech recognition dictionary exists, the scenario driving unit (101-1) sends a request (setting) for setting (initializing) the speech recognition dictionary specified in the scene data to the speech recognition unit (101-7). Notification is made to the user (step 505-6-3).
[0111]
Next, the scenario driving unit (101-1) performs a process for requesting the drawing / sound output unit (101-5) to draw a screen, as a process of determining each part of the screen to be drawn. A data creation process is performed (505-6-4).
In the screen data generation processing of the screen configuration, for example, among the scene screens shown in FIG. This is a process for determining whether or not to display a part at a corresponding location based on the running condition.
[0112]
FIG. 18 illustrates the processing operation of the screen data creation processing of the screen configuration.
The scenario driving unit (101-1) acquires the running state status from the agent OS unit (101-8) (step 505-6-4-1). That is, the scenario driving unit (101-1) inquires of the agent OS unit (101-8) about the running state. When this inquiry is made, the agent OS unit (101-8) determines whether the vehicle is running (in the case of vehicle speed v ≠ 0) or stopped (vehicle speed v = based on the vehicle speed information) from the vehicle speed sensor (6-11). 0) and notifies the scenario driving unit 101-1.
[0113]
Next, the scenario driving unit (101-1) uses the scenario management data read in step 505-4 to display each part (item related to the character) of the screen configuration among the parts (items) constituting the scene currently being processed. With respect to the parts excluding items, drawing data having a screen configuration composed of parts that can be displayed during traveling is created (steps 505-6-4-2 to 505-6-4-4).
That is, the scenario driving unit (101-1) determines, from the management data of the scenario data, whether or not the part is a non-display selection item during traveling for each screen configuration part (item) configuring the scene screen ( Step 505-6-4-2).
If the part of the screen configuration is a non-display selection item during traveling (a part for which display during traveling is not permitted) (step 505-6-4-2; Y), the scenario driving unit (101-1) Then, it is determined whether or not the vehicle is traveling based on the acquired traveling state status (step 505-6-4-3).
[0114]
Then, when the vehicle is traveling, the scenario driving unit (101-1) does not create drawing data for the part of the screen configuration corresponding to the traveling non-display selection item, and performs other determination that has not been performed yet. It is determined whether or not a part having a screen configuration exists (step 505-6-4-5).
On the other hand, when the parts of the screen configuration are not the traveling non-display selection items, and when they are the traveling non-display selection items but the vehicle is stopped, the scenario driving unit (101-1) draws the parts of the screen configuration. Data is created (step 505-6-4-4), and it is determined whether or not there is a part of another screen configuration that has not yet been determined (step 505-6-4-5).
[0115]
If there is another part having a screen configuration that has not been determined (step 505-6-4-5; N), the scenario driving unit (101-1) does not complete preparation of the parts having the full screen configuration. Returning to step 505-6-4-2, judgment is made on parts having the next screen configuration.
On the other hand, if there is no part having another screen configuration, the scenario driving section (101-1) has completed the preparation of the parts having the full screen configuration (step 505-6-4-5; Y). The processing unit (101-5) is notified of the drawing data of the screen configuration of the created scene and makes a drawing request (step 505-6-4-6), and returns to the scene processing of FIG.
The drawing audio output processing unit performs drawing processing for the screen configuration after receiving the drawing request for the screen configuration from the scenario driving unit, and when the drawing processing for the screen configuration ends, notifies the scenario driving unit (101-1). ).
[0116]
Next, when the timer setting information is specified in the scene data for various processes (processing for a navigation system or an externally connected device, a scene requiring a response from the user, etc.), Processing for requesting time measurement (timekeeping) and the like, and drawing data other than the screen configuration related to the character and requesting its output are performed (FIG. 17, step 505-6-5).
[0117]
FIG. 19 is a flowchart illustrating a process performed in response to an instruction for various processes (step 505-6-5).
As shown in FIG. 19, various processing instructions (step 505-6-5) include a navigation function (navigation function), a processing request to an externally connected device (step 505-6-5-1), and a timer. The processing of the three items of the setting request processing (step 505-6-5-2) and the change request of the AMM parameter (step 505-6-5-31) are sequentially performed.
[0118]
The execution of the above-described various processes of the three items is performed when a message of an execution request notification of the various processes is received. The message of the execution request notification of various processes is issued, for example, when the drawing of the screen is completed or when the clone scene is executed (in the case of the present embodiment).
A processing request to the navigation or external device (step 505-6-5-1) is a request for navigation processing to the overall processing unit (102) such as setting a designated point as a destination, or raising or lowering the volume of audio. There is a request for processing to an externally connected device such as a request for processing.
[0119]
The timer setting request (step 505-6-5-2) is for making a timer setting request to the agent OS unit (101-8), which will be described in detail later.
The last AMM parameter change request (step 505-6-5-3) is a request to change AMM parameters, and there is a request to increase friendship, which is one of the parameters, by one.
[0120]
In the description of FIG. 19, the case where the above three items are sequentially processed has been described. However, each of the items is divided and each of the items is used as a trigger (when a different message is received) to perform the processing. May be.
That is, as described above, each unit of the agent processing unit (101) and the overall processing unit (102) when executing a scenario perform independent processing. Therefore, each of the three processes may be individually and independently performed.
For example, the AMM parameter change may be performed when a notification indicating the end of a scene is received. In addition, the scenario driving unit (101-1) receives a sound output end notification (in the case of a notification indicating the end of both image drawing and sound output, the end notification) from the drawing / voice output unit (101-5). At this time, a timer setting may be performed.
[0121]
FIG. 20 is an example of a flowchart showing the operation of the timer setting request process.
First, the scenario driving unit (101-1) acquires the traveling state of the vehicle by inquiring of the agent OS unit (101-8) (step 505-6-5-2-1).
Upon receiving the inquiry, the agent OS unit (101-8) checks whether the vehicle is running or stopped with the vehicle speed sensor (6-11), and notifies the scenario driving unit (101-1). The vehicle speed sensor (6-11) detects the vehicle speed, determines that the vehicle is stopped when the vehicle speed v = 0 based on the vehicle speed information received by the agent OS, and determines that the vehicle is running when the vehicle speed v ≠ 0.
[0122]
Next, the scenario driving unit (101-1) acquires the timer setting condition from the scene data being executed in the scenario read into the RAM (1-4) in step 505-4, and sets the timer setting condition and the running state of the vehicle. Then, it is determined whether or not a timer setting is necessary (step 505-6-5-2-2).
The scenario drive unit (101-1) sets (a) always during running and stopped, (b) sets only during running, (c) sets only during stopped, (d) does not always set the timer, It is determined whether or not to set the timer based on the timer setting condition set in the scene data and the running state (running or stopped).
[0123]
That is, the scenario driving unit (101-1) determines that the timer setting is not used when the timer setting condition is (b), the vehicle is stopped, (c) is running, and (d). And return.
On the other hand, when the timer setting condition is (a), when the vehicle is running in (b), and when the vehicle is stopped in (c), the scenario driving unit (101-1) determines to use the timer setting. I do.
In this case, the scenario driving unit (101-1) makes a timer setting request by notifying the agent OS unit (101-8) of the timer setting time (step 505-6-5-2-3). And return.
[0124]
Upon receiving a timer setting request from the scenario driving unit (101-1), the agent OS unit (101-8) starts measuring the timer setting time notified.
The agent OS unit (101-8) notifies the scenario driving unit (101-1) that the timer setting time has elapsed before the scenario driving unit (101-1) issues a stop request. I do.
On the other hand, if the scenario drive unit (101-1) issues a stop request before the timer notification (elapse of the set time), the agent OS unit (101-8) ends the time measurement.
[0125]
In the present embodiment, the case has been described in which the measurement of the timer setting time is started immediately upon receiving a timer setting request from the scenario driving unit (101-1). However, the agent OS unit (101-8) sets the timer setting time. Only the preparation for setting the time timer may be performed, and the process may be started when a time measurement start notification is received from the scenario driving unit (101-1).
In this case, when the scenario driving unit (101-1) receives a notification of the end of the character drawing / voice output process (or a voice output end notification described later as a modification) from the drawing / voice output unit (101-5). Next, a time start notification is sent to the agent OS unit (101-8).
In this way, by starting time counting of the timer after the sound output of the question ends, it is possible to prevent the answer time of the user from being shortened when the question sound output is long.
[0126]
Further, the scenario driving section (101-1) performs the timer setting process described in the present embodiment after the character drawing / voice output process (step 505-6-6) and before step 505-6-7. You may do so.
[0127]
The scenario driving unit (101-1) further creates drawing data (character drawing data) related to characters other than the drawing data of the screen configuration in the instruction of various processes (step 505-6-5 in FIG. 17).
The creation of character drawing data by the scenario driving unit (101-1) is the same as the drawing data creation processing of the screen configuration shown in FIG. 8 except that the scenario part to be created is different from a screen configuration part or a character-related part. Done in In the case of creating character drawing data, in the drawing data creation (corresponding to step 505-6-6-4), the voice data of the character corresponding to the dialogue displayed on the balloon screen 52 and the sound data of the sound effect are specified. Is also performed.
After creating the character drawing data, the scenario driving unit (101-1) issues a character drawing request based on the created character drawing data to the drawing / voice output unit (101-5).
[0128]
The drawing / voice output unit (101-5) performs character drawing / voice output processing according to the scene data (step 505-6-6; FIG. 17).
The character drawing / voice output process develops a scene in which the character bows, points right or left by hand, or speaks to the user. This scene is performed in accordance with both request contents of a screen configuration drawing request (step 505-5-4-6) and a character drawing request (step 505-6-5) from the scenario driving unit (101-1). If the vehicle is stopped, all the items constituting the scene screen are displayed as illustrated in FIG. 12, and if the vehicle is traveling, some of the items constituting the scene screen are restricted and displayed.
[0129]
FIG. 21 is a flowchart showing a character drawing / voice output process by the drawing / voice output unit (101-5).
The drawing / voice output unit (101-5) receives the request for the character motion instruction and the drawing data from the scenario driving unit (101-1), and analyzes the motion instruction content (steps 505-6-6-1 to 505). -6-6-8), operation reproduction processing (step 505-6-6-9), and request end reply (step 505-6-6-10).
[0130]
In the operation instruction content analysis processing, the drawing / speech output unit (101-5) first determines whether or not it is a unified (common) operation instruction independent of the type of the received drawing instruction content character (step 505-6). -6-1), if the drawing instruction is given by the expression method specified for each character (direct instruction: see FIG. 39 (b)), the processing shifts to the action reproduction processing (step 505-6-6-9). I do.
[0131]
If the drawing instruction is a unified display form that does not depend on the character, the drawing / voice output unit (101-5) converts the instruction content.
In the conversion, first, the type of the character set at that time is obtained from the agent OS unit (101-8) (step 505-6-6-2).
Next, the drawing / sound output unit (101-5) converts a conversion table (character image selection data) 102353 in which a correspondence table between the unified operation instruction (display state number) and the operation instruction content (image code) for each character is written. (See FIG. 9) is obtained from the character data (10-2-3-5) of the external storage device (10).
Then, the drawing / voice output unit (101-5) acquires the operation instruction content of the character to be operated based on the conversion table, that is, the image code of the character corresponding to the display state number of the scene data (step 505-6). -6-4).
[0132]
The drawing / voice output unit (101-5) determines that if the acquired operation instruction information is set to cause the system to automatically select a character operation instruction (step 505-6-6-5; Y), Further, the following processing is performed.
That is, the drawing / voice output unit (101-5) first obtains operation automatic selection condition information such as time, place, driver information, and an agent mental model from the agent OS unit (101-8) (step 505-). 6-6-6).
Next, from the agent data (10-2-3) of the external storage medium (10-2), an automatic selection table in which the selection condition information of the unified operation instruction such as time and the unified operation instruction of the character are described is described. Acquisition (step 505-6-6-7).
Then, the drawing / voice output unit (101-5) acquires the unified operation instruction based on the selection condition information of the unified operation instruction such as time and the automatic operation selection table. Based on the unified operation instruction, the operation instruction is determined by referring to the conversion table 102353 acquired in step 505-6-6-3 to acquire the operation instruction content (image code) (step 505-6-6). 6-8).
[0133]
Next, the drawing / audio output unit (101-5) performs an operation reproduction process (step 505-6-6-9).
That is, the drawing / voice output unit (101-5) outputs the character image data 102351 of the selected character in the character data (10-2-3-5) based on the operation instruction content (image code) of the character. (See FIG. 8).
If the motion instruction request of the character is a content for synchronizing and outputting the voice of the character with the motion of the character, the voice data is acquired from the character voice data 102352 of the character data (10-2-3-5).
[0134]
The image data acquired by the drawing / audio output unit (101-5) is transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and is transmitted to the overall processing unit (102). The information is transmitted to the drawing processor (1-6) through the processing unit for instructing the drawing processor (1-6) in the image processing apparatus (102), and is subjected to image processing and displayed on the display device (2).
The acquired voice data is transmitted to the agent OS section (101-8), transmitted from the external I / F section (101-9) to the overall processing section (102), and is transmitted to the audio processor (1--1) in the overall processing section (102). The audio output control signal is transmitted to the audio processor (1-8) through the processing unit for giving an instruction to 8), converted into an analog signal, and outputted to the audio output device (3).
[0135]
Next, the drawing / voice output unit (101-5) performs all of the character motion processing requested by the scenario driving unit (101-1), and then terminates the character drawing / voice output process of the requested scene. The scenario driver (101-1) is notified (step 505-6-6-10), and the process ends.
If the request is to output the voice of the character in synchronization, the scenario driver (101-1) is notified of the end of the character voice output process when all the voices have been output.
[0136]
The drawing / voice output unit (101-5) outputs a drawing end notification for notifying the end of the drawing of the character motion and a voice output end notification for notifying the end of the voice output at the time when the respective processes are completed. You may make it notify separately.
[0137]
After the drawing / voice output unit (101-5) notifies the end of the scene character drawing / voice output process, the scenario driving unit (101-1) issues an instruction for voice recognition in the scene data being processed. (Step 505-6-7: FIG. 17). If there is no instruction, the process proceeds to Step 505-6-9. If there is an instruction, voice recognition processing is performed (Step 505-6-6). 8).
[0138]
FIG. 22 is a flowchart showing the processing operation of the voice recognition processing (step 505-6-8).
After the character has finished speaking (when the drawing / voice output unit (101-5) notifies the scenario drive unit (101-1) of the end of voice output), the scenario drive unit (101-1) The recognition start control instruction (speech recognition instruction) set in the scenario data is confirmed (step 505-6-8-1).
If the instruction for voice recognition is “always not automatically start recognition” (does not start automatically), the process returns without performing the recognition process (move to step 505-6-9 in FIG. 17).
If the instruction for voice recognition is "always automatically recognize" (start automatically), the process proceeds to step (505-6-8-3) to perform voice recognition (described later).
[0139]
On the other hand, if the voice recognition instruction is "automatic" (the in-vehicle device determines the start) depending on the result of the situation determination, the situation determination processing is performed (step 505-6-8-2).
That is, the scenario driving unit (101-1) receives the detection data of the various situation detecting devices (6) from the overall processing unit (102), and the traveling road condition, vehicle speed, vehicle speed change, steering angle, accelerator depression. The driving load of the driver is determined from the amount, the amount of brake depression, and the like (driving load determining means).
The state of the running road is determined by the navigation function of the overall processing unit (102), the current position of the detected vehicle, the running road width, the running position (intersection, straight road, curve, meandering road, steep slope, etc.). Road, etc.), and is notified to the scenario driving unit (101-1).
In the present embodiment, it is determined that the driving load is high if the vehicle is traveling on a curve or an intersection, if the vehicle speed change is large, if the amount of depression of the brake is large, and otherwise it is determined that the driving load is low. You.
It should be noted that the driving load is determined based on the curvature of the curve, the vehicle speed, the vehicle speed change, the road width, the intersection, and the like, and the driving load is determined based on whether or not the total value exceeds a predetermined value. It may be. That is, when the total value exceeds the predetermined position, the operating load may be determined to be high, and when the total value is equal to or less than the predetermined value, the load may be determined to be low.
The scenario driving unit may determine, for example, that the recognition is not automatically started when it is determined that the noise detected in the vehicle compartment is loud, in addition to the example of the load of the driver.
[0140]
The scenario driving unit (101-1) returns without starting voice recognition when the driver's load is high, and shifts to step 505-6-8-3 when the driver's load is low. The speech recognition unit (101-7) is instructed to start speech recognition.
[0141]
Note that the scenario driving unit (101-1) is configured to perform a process of timer notification (elapse of a set time) as a process independent of the voice recognition process illustrated in FIG.
That is, when the scenario driving unit (101-1) receives a timer notification indicating that the timer set time has elapsed from the agent OS unit (101-8), the scenario driving unit (101-1) performs the deployment determination process (505-6-12). Execute.
[0142]
When an instruction to start voice recognition is issued from the scenario driving unit (101-1), the voice recognition unit 107 performs voice recognition described below (step 505-6-8-3). That is, when an instruction to start voice recognition is issued, the voice recognition unit (101-7) outputs a start sound such as “beep” to the voice output device (3) in order to indicate to the user that the reception of voice input has been started. ) (Start sound output means).
In the present embodiment, the start sound is output before the start of the speech recognition. However, the start sound may not be output. In addition to the output of the start sound, a display indicating that voice recognition is being performed, for example, a display such as “voice recognition is being performed” or an icon indicating that voice recognition is being performed may be displayed on the display device (2). Good.
[0143]
After that, the speech recognition unit (101-7) starts the speech recognition from the external I / F unit (101-9) via the agent OS unit (101-8) to the speech in the overall processing unit (102). Instruct the recognition processing unit. The voice recognition processing unit of the overall processing unit (102) transmits a start instruction to the voice processor (1-8), and the voice processor (1-8) converts the analog signal input from the voice input device (4) into digital voice. Convert to input signal. When the converted voice input signal is input, the voice recognition processing unit of the overall processing unit (102) acquires the digital voice input signal and performs the voice recognition set in step 505-6-3 (FIG. 17). The obtained voice input signal is recognized using the dictionary (step 505-6-8-3).
When the recognition is completed, the voice recognition processing unit of the overall processing unit (102) transmits the result of the voice recognition to the voice recognition unit (101) via the external I / F unit (101-9) and the agent OS unit (101-8). -7). The speech recognition unit (101-7) notifies the scenario driving unit (101-1) of the speech recognition result.
[0144]
In the present embodiment, the actual speech recognition processing is performed by the speech recognition processing unit of the overall processing unit (102). However, the speech recognition may be performed by the speech recognition unit (101-7). In this case, the voice recognition unit (101-7) functions as a voice recognition unit. Further, in the case where the voice recognition is performed by the voice recognition unit (101-7), the voice recognition in the navigation processing by the overall processing unit (102) is performed in two places. 101-7).
[0145]
Next, the scenario driving section (101-1) judges the result of the speech recognition in the overall processing section (102) (step 505-6-8-4).
The scenario driving section (101-1) returns to step 505-6-8-1 if the recognition fails, and performs the following callback processing if the recognition succeeds.
That is, the scenario driving section (101-1) confirms the contents of the callback control instruction (instruction as to whether or not to perform callback) set in the scenario data (step 505-6-8-5).
If the callback control instruction is "do not call back", return without performing callback, and if "call back", perform character drawing / voice output processing for callback (step 505-6-8-7).
[0146]
On the other hand, when the instruction of the callback control is “automatic” (when the agent device determines whether or not to perform the callback), the scenario driving unit (101-1) performs the situation determination process (505-6-8-). Perform 6).
[0147]
That is, in the case of the present embodiment, the scenario driving unit (101-1) determines the situation according to the following criteria, and determines whether to call back the recognition result.
When both of the following conditions (a) and (b) are satisfied, the scenario driving unit (101-1) calls back the recognition result.
(A) When traveling (vehicle speed ≠ 0 km / h)
(B) When there are three or more types of words in the speech recognition dictionary excluding paraphrasing (for example, when recognizing "strong", "weak", or "just right" in a question of control feeling)
On the other hand, when at least one of the following conditions (c) and (d) is satisfied, the scenario driving unit (101-1) does not call back the recognition result.
(C) When stopped (vehicle speed = 0 km / h)
(D) When there are only two types of words except the paraphrase in the speech recognition word (for example, when recognizing an answer of “Yes” or “No”)
It should be noted that the above criteria are those in the present embodiment, and other criteria may be adopted. For example, when the reliability (probability) of the recognition result is low, or when it is determined that the driver's load is low using the above-mentioned driving load determination means, a determination criterion such as callback may be provided.
[0148]
When the instruction of the callback control is “call back”, and when it is determined that the callback is performed from the situation by “automatically”, the scenario driving unit (101-1) performs the character drawing / voice output processing (step 505-6-8-7), and returns.
In the character drawing / voice output process (step 505-6-8-7), the motion of the character remains the current motion (the motion at the start of voice recognition), and the voice recognition dictionary of the scenario data stores a dialog Instructions are written and used. In other words, if the recognition result is "just right", the callback sound is, for example, "just right, isn't it?" Is output.
By confirming (calling back) the recognition result of the speech recognition in this way, a recognition result confirmation unit in the present invention is formed.
[0149]
Note that the callback voice is generated for each selected character in the same manner as in the action selection based on the type of character in the character drawing / voice output process in step 505-6-6 (FIG. 17). It may be specified.
Also, if the same callback voice is always added, it will be an unnatural conversation, so even for the same character, prepare multiple callback voices and output them in order, time or the number of callbacks. May be changed according to the conditions.
[0150]
The scenario driving unit (101-1) notifies the user of the user input from the agent OS unit (101-8) when there is no voice recognition instruction and after the voice recognition processing (step 505-6-8) is completed. Upon receipt, it confirms what the input is (FIG. 17, step 505-6-9), and performs processing corresponding to the input.
As described above, since each process is executed independently, even if an input is notified from the agent OS unit (101-8) even during the voice recognition process (step 505-6-8). , A process corresponding to the input is executed in parallel. Therefore, if the user selects the speech recognition selection button and is notified from the agent OS unit (101-8) during the speech recognition processing, the next processing (step 505-6) is performed regardless of the processing stage of the speech recognition processing. -9) is executed.
[0151]
For example, when receiving an input related to cursor movement from the agent OS unit (101-8), the scenario driving unit (101-1) moves the cursor and processes a screen drawing request (screen scroll request). Is performed (step 505-6-10).
When the user selects one of the answer selection buttons 54a displayed on the scene display screen 54 (see FIG. 12), it is determined which item has been selected (step 505-6-11). Is determined (step 505-6-12).
Note that, as described above, the processing in FIGS. 16 to 21 is an example of the scenario processing, and in actuality, each unit independently performs individual processing. Therefore, although not shown in FIG. 17 above, when speech recognition start or stop is input, confirmation of user input such as requesting the speech recognition unit to start or stop speech recognition processing (step 505) There are other processes after performing -6-9). Also, before the drawing / sound output unit (101-5) notifies the end of the character drawing / sound output processing of the scene, that is, even before the movement of the instructed character is finished, the user's input is confirmed. (Step 505-6-9) can also be performed.
[0152]
Next, in the deployment determination process (step 505-6-12), the scenario driving unit (101-1) determines the next deployment with reference to the deployment management data of the scenario data (see FIG. 7). If the next development does not exist, the process returns to the user input determination without performing any processing. If the next development exists, the processing proceeds to the scene end processing (step 505-6-13) to proceed to the next development.
In the scene end process (505-6-13), if there is a process that the scenario driving unit (101-1) has requested to another processing unit, a request to stop the process is made (for example, a request for voice recognition processing is made. If so, a request to stop the recognition process is made), and the process returns. Upon return, the process moves to the scenario end determination (step 505-7) in FIG.
[0153]
Next, a description will be given of a scenario interruption process when a scenario being executed while the vehicle is stopped is interrupted by the start of traveling.
FIG. 23 is a flowchart showing the contents of the scenario suspension processing.
This scenario interruption process is executed when the scenario OS (101-8) notifies the scenario driving unit (101-1) of a start of running by changing from a stopped state to a running state.
First, when the scenario driving unit (101-1) receives a running start notification from the agent OS unit (101-8) while the scenario is being executed while the vehicle is stopped, it is read into the RAM in step 505-4 in FIG. The running execution condition is confirmed from the management data of the running scenario (step 31), and it is determined whether or not use is permitted (step 32).
[0154]
When the use is permitted, that is, when the running condition is set to running limited execution (step 32; Y), the scenario driving unit (101-1) returns.
In this case, since the state has changed from the stopped state to the running state, the drawing data creation processing is performed as described above, and only the parts for which use is permitted are displayed.
On the other hand, when the use is not permitted, that is, when no running is set as the running condition (step 32; N), the scenario driving unit (101-1) performs the following scenario interruption processing (step 33). -Step 35).
[0155]
That is, the scenario driving unit (101-1) performs scene termination processing (step 33), scenario termination processing (step 34), and agent termination processing (step 35) as scenario interruption processing, and returns.
Here, the scene end processing (step 33) is the scene end processing of step 505-6-13 in FIG. 17, the scenario end processing (step 34) is the scenario end processing (step 505-8) of FIG. 16, and the agent end processing. (Step 35) is the same process as the agent end process (Step 505-10) of FIG.
[0156]
Each scenario is executed as described above. Next, how the screen display during the actual execution of the scenario changes between the stopped state and the running state will be described.
FIG. 24 shows a comparative example of a scene screen in a stopped state and a running state.
FIG. 24A illustrates one scene screen in a scenario in which a nearby coffee shop is recommended as a stopped scene screen 54.
In the scene screen displayed while the vehicle is stopped, an agent display screen 51 on which characters are displayed, a balloon screen 52 on which characters of dialogue corresponding to the voice of the agent are displayed, a title screen 53, and a real image displaying a photograph of the store All display items (parts) of the information proposal box 54c in which the details of the data 54b and the recommended information are standardized are displayed.
Note that the actual image data 54b and the information suggestion box 54c displayed on the scene display screen 54 illustrated in FIG. 24A are set as parts of the scene data, and other scenes are displayed in other scenes. If items (parts) have been set, all of them are displayed.
It should be noted that, in addition to the scene screen 54, a speech voice displayed on the balloon screen 52 by voice is output from the voice output device (3).
[0157]
On the other hand, FIG. 24B illustrates a scene screen 54 when the vehicle is running for the same scenario data as in FIG. The items (parts) whose display is restricted are the items set as the non-display selection items during running, and follow the setting of the running execution condition of the management data data of the scenario.
As shown in FIG. 24 (b), the display of the balloon screen 52 and the information suggestion box 54c related to the recommended information, which are set as the non-display selection items during traveling for this scene, are restricted. Is displayed. Note that the speech of the speech for the balloon screen 52 that is not displayed is output from the speech output device (3) even during traveling.
[0158]
As described above, according to the agent device of the present embodiment, when the agent device starts running during communication (during scenario execution) according to the running execution condition set in the scenario, the scenario is interrupted. In addition, communication (execution of a scenario) is continued by automatically restricting the display of restriction items such as balloons and selection buttons.
Therefore, according to the content of the scenario, it is possible to prevent excessive communication during traveling, and the trouble of the user is reduced. Then, communication with the personified character can be made closer to communication between humans.
[0159]
Further, according to the agent apparatus of the present embodiment, it is determined whether or not timer information is set for each scene of the scenario data. If the timer information is set, the scene is continued until there is an answer according to the timer setting conditions, Alternatively, the scene is executed for the timer set time (measurement of the timer set time is started together with the start of the scene, and the scene is ended when the timer notification (elapse of the set time) is reached). .
Then, in the case of the timer notification, the transition to the next scene is performed using the timer notification as a transition condition. For this reason, one scenario does not continue to be executed for an extremely long time depending on the presence or absence of a user's answer, and the number of scenarios waiting to be executed to satisfy a new autonomous activation condition due to a change in situation due to vehicle movement increases. Is prevented.
[0160]
Also, if there is no answer to the question for a certain period of time, it will be determined that there is no answer to the question depending on the situation, and the process will shift to the next scene. it can. In addition, it is possible to avoid the trouble of the user having to always answer.
[0161]
Further, according to the agent device of the present embodiment, when a speech recognition result is obtained, the recognition result is callbacked in accordance with the speech recognition result callback control instruction indicated in the scenario data created by the scenario editor. It has a function to act or not to act.
As a result, the anthropomorphic character does not always hear the recognition result again, so that the user does not need to feel troublesome.
In addition, whether or not to make a callback is controlled depending on the situation. When driving, it is safe because the conversation can be made without looking at the screen by the callback sound. Conversely, a smooth conversation can be realized by not calling back when the vehicle is stopped or when a two-choice answer is required.
Further, by making or not making a callback, in a conversation with the anthropomorphic character, it is possible to make it closer to a conversation between humans.
[0162]
Further, the agent device according to the embodiment described above has a function of starting voice recognition in accordance with an instruction as to whether or not to automatically start voice recognition indicated in the scenario data created by the scenario editor.
For this reason, the driver who is the user of the agent device can omit the device operation step of pressing the voice recognition start button when answering a question in a conversation with the personified character.
Since it is not necessary to select a speech recognition start button that does not exist in the conversation between humans, the conversation with the anthropomorphized character can be closer to the conversation between humans than before the result of the present invention.
[0163]
Further, according to the agent device of the described embodiment, the display state instructing the action of the character in each scene of the scenario is made common regardless of the type of the character, and the conversion table of the character selected by the user is referred to. Since the image data of each character corresponding to the display state specified in each scene of the scenario is selected, and the image data is reproduced, each scene is developed, and the scenario is executed. , A plurality of different characters. Therefore, it is not necessary to store the scenario for each character, so that the data amount can be reduced.
[0164]
Further, according to the above-described embodiment, the execution of the scenario can be started using the autonomous start condition incorporated in the original scenario created by the user (creating user) of the scenario creating device as the scenario start condition.
Therefore, it is possible to provide a user of the scenario creation device with a place to freely create a scenario in which various scenarios including the appearance of an agent are started at a timing according to one's preference.
[0165]
Further, in the present embodiment, the autonomous activation judgment processing is periodically executed at intervals of 5 seconds, so that a scenario that satisfies the conditions can be activated almost in real time with respect to changes in various situations. become.
Furthermore, the autonomous start determination process is also performed in a situation where the scenario is highly likely to be selected in advance as a scenario start condition (when the change in the situation is large). There are many scenarios in which processing is executed and this case is satisfied (satisfies conditions). Therefore, the scenario can be executed in a state closer to real time.
[0166]
Further, according to the embodiment described above, the action of the agent is defined by the scenario data, and the scenario data is standardized by a scenario including a plurality of continuous scenes. You can create and incorporate your own scenarios.
In this way, since the user can add to the default scenario stored in the device in advance, the user searches for an additional scenario suitable for the user on the Internet or the like, downloads the scenario, and creates the scenario by himself to make the agent device more comfortable. Can be used.
[0167]
Next, the configuration and operation of the scenario creation device 2 in which a user or a third party creates an original scenario will be described.
FIG. 25 illustrates the configuration of the scenario creation device.
The scenario creation device includes a control unit (200), an input device (210), an output device (220), a communication control device (230), a storage device (240), a storage medium drive device (250), An input / output I / F (260). These devices are connected by bus lines such as a data bus and a control bus.
[0168]
The control unit (200) controls the entire scenario creation device.
The scenario creation device can execute not only a scenario editing program but also other programs (for example, a word processor or a spreadsheet). The control unit (200) includes a CPU (200-1), a memory (200-2), and the like.
The CPU (200-1) is a processor that executes various arithmetic processing.
The memory (200-2) is used as a working memory when the CPU (200-1) executes various arithmetic processing.
The CPU (200-1) can write and erase programs and data in the memory (200-2).
In the memory (200-2) in the present embodiment, an area for the CPU (200-1) to create, edit, and store scenario data according to a scenario editor (scenario editing program) can be secured.
[0169]
The input device (210) is a device for inputting characters, numerals, and other information to the scenario creation device, and is constituted by, for example, a keyboard and a mouse.
The keyboard is an input device for mainly inputting kana and English characters.
The keyboard is used, for example, when the user inputs a login ID or password for logging in to the scenario creation device, or inputs a sentence to be subjected to speech synthesis or speech recognition when creating a scenario.
The mouse is a pointing device.
When operating a scenario creation device using a GUI (Graphical User Interface) or the like, an input device used for inputting predetermined information or the like by clicking a button or icon displayed on a display device. It is.
[0170]
The output device (220) is, for example, a display device or a printing device.
As the display device, for example, a CRT display, a liquid crystal display, a plasma display, or the like is used.
Various screens such as a main screen for creating a scenario and a screen for selecting a screen configuration in each scene are displayed on the display device. In addition, the selected information and the input information are displayed on each screen.
As the printing device, for example, various printer devices such as an ink jet printer, a laser printer, a thermal transfer printer, and a dot printer are used.
Examples of what is printed by the printing apparatus include a diagram representing the entire flow of the created scenario in a chart format, and a device showing a setting state of each scene.
[0171]
The communication control device (230) is a device for transmitting and receiving various data and programs to and from the outside, and a modem, a terminal adapter, and other devices are used.
The communication control device (230) is configured to be connectable to, for example, the Internet or a LAN (Local Area Network). The communication control device (230) transmits scenario data created by the device by exchanging signals and data with other terminal devices or server devices connected to these networks by communication, or by a third party. The created scenario data can be received (downloaded), and further, data necessary for creating the scenario data can be obtained.
The communication control device (230) is controlled by the CPU (200-1), and transmits and receives signals and data to and from these terminal devices and server devices according to a predetermined protocol such as TCP / IP.
[0172]
The storage device (240) includes a readable and writable storage medium and a drive device for reading and writing programs and data from and to the storage medium.
Although a hard disk is mainly used as the storage medium, other storage mediums such as a magneto-optical disk, a magnetic disk, and a semiconductor memory, for example, such as a readable / writable storage medium, may be used.
The storage device (240) stores a scenario editing program (240-1), scenario editing data (240-2), and other program data (240-3). As other programs, for example, a communication program for controlling the communication control device (230) and maintaining communication with a terminal device or a server device connected to the scenario creation device via a network, or scenario creation such as memory management and input / output management OS (Operating) which is basic software for operating the device
System) is also stored in the storage device (240).
[0173]
The storage medium drive (250) is a drive for driving a removable storage medium to read and write data. Examples of the removable storage medium include a magneto-optical disk, a magnetic disk, a magnetic tape, an IC card, a paper tape punched with data, and a CD-ROM.
In the present embodiment, the scenario data created and edited by the scenario creation device (the form used by the agent device) is mainly written in IC cards.
The scenario creation device obtains a scenario from the storage medium storing the scenario data by driving the storage medium by the storage medium drive (250), or transfers the created scenario data from the storage medium drive to the storage medium. Or can be stored.
[0174]
The input / output I / F (260) is configured by, for example, a serial interface or an interface of another standard.
By connecting an external device corresponding to the interface to the input / output I / F (260), the function of the scenario creation device can be extended. Examples of such external devices include a storage device such as a hard disk, a communication control device, a speaker, and a microphone.
[0175]
Next, the configuration of the scenario editing program (240-1) and the scenario editing data (240-2) will be described.
FIG. 26 conceptually shows a configuration of a scenario editing program and data.
The scenario editing program (240-1) includes a scenario editor (240-1-1), a scenario compiler (240-1-2), and a DB editing tool (240-1-3).
The scenario editing data (240-2) includes a common definition DB (240-2-1), a local definition DB (240-2-2), and SCE format scenario data (240-2-3) created by a scenario editor. And actual machine format (NAV format) scenario data (240-2-4) converted by the scenario compiler.
The scenario editor (240-1-1) is an application program for creating scenario data.
[0176]
The scenario compiler (240-1-2) converts the scenario data (240-2-3) in SCE format created by the scenario editor (240-1-1) into real scenario data (240- This is an application program for converting to 2-4) and functions as a conversion unit.
FIG. 27 shows the conversion of the data format in the concept provision.
As shown in FIG. 27, the scenario compiler (240-1-2) converts one or more SCE format scenario data (240-2-3) into one real device format (NAV format) scenario data (240 -2-4).
[0177]
The DB editing tool (240-1-3) is an application program for editing and updating data stored in the common definition DB (240-2-1).
The common definition DB (240-2-1) stores definition data when scenario data is created. The common definition DB (240-2-1) stores autonomous activation determination data to be described later, action items and additional determination items for scene development, a character display state instruction table, a running restriction execution table (FIG. 37), and the like. Is done. This common definition DB (240-2-1) may exist not on the storage device of the scenario creation device but on a server connected by a local area network (LAN). In this way, each scenario creation device connected by a local area network (LAN) can create scenario data using the common common definition DB (240-2-1).
The local definition DB (240-2-2) stores a screen configuration defined by the scenario creator while creating the scenario data.
[0178]
The SCE format scenario data (240-2-3) is data created by the scenario editor (240-1-1).
The actual machine format (NAV format) scenario data (240-2-4) is converted from the SCE format scenario data (240-2-3) into a data format for use in the agent device by a scenario compiler (240-1-3). Data.
[0179]
FIG. 28 illustrates items that can be set as automatic start items.
The automatic activation items conceptually display a list of sample types of items that can be detected, recognized, and confirmed by the agent device.
This automatic start item is described in the common definition DB (240-2-1). When a scenario is created by the scenario editor (240-1-1), an automatic start item is set to set an autonomous start condition. Items are read from the common definition DB (240-2-1) and displayed in a list (presentation means). The creator selects an automatic activation item from the list display (list display) (selection means).
A window for inputting a numerical value or a window for selecting from a list is displayed according to the contents described in the type of the selected item, and the judgment condition of the automatic start item is input. This operation is repeated one or more times to create autonomous start condition data, which is a determination condition for autonomously starting the scenario.
In this way, by setting the start condition of the screen element transition body (scenario), the start condition setting means of the present invention is formed.
[0180]
FIGS. 29 and 30 illustrate selectable items that can be selected as autonomous activation conditions for the automatic activation item.
Selectable items are also described in the common definition DB (240-2-1). In the table showing the automatic activation items illustrated in FIG. 28, items that can be selected as a lower-order concept of the items indicated as “select from list” in the type column are shown as selectable items in FIGS. 29 and 30. Stipulated. The group specified in the selectable item and the item of the automatic start item are the leftmost No. Are associated with each other.
Although not shown in the table, there are other definition tables and the like relating to numerical input in the same manner, and a window for inputting a time different from a time or an input window for a mileage is created. You can do it.
The combination of the selected automatic start item, the selected selectable item, the input numerical value, time, distance, and the like is the autonomous start condition for each scenario. For example, when the selection by the user is the automatic start item “acceleration” and the selectable item “sudden deceleration state”, the autonomous start condition is “acceleration−sudden deceleration”.
Note that this sample is merely a sample, and the definition may be changed.
For example, the vehicle speed input may be selected from a list and selected from items separated every 10 km / h.
Also, when the number of items that can be newly sensed in the agent device increases, the items can be added. For example, when a seat belt detection sensor is incorporated, it is conceivable to incorporate a definition that allows selection of items such as seat belt non-wearing and seat belt wearing with respect to the item of seat belt status by input means of selection from a list.
These changes and additions are made using the DB editing tool (240-1-3) described above.
Alternatively, the mental state of the character may be obtained from the agent psychology unit and added to the autonomous activation determination.
Also in this case, the definition data is added using the DB editing tool (240-1-3). For example, it is conceivable to incorporate a definition that allows selection of items such as the psychological state of the character, blue (depressed), good mood, and the like as automatic activation items by input means of selection from a list.
[0181]
FIG. 31 is a scene branch item table storing branch items (transition conditions) for branching (scene development) from a scene to the next scene. The scene branch item table is stored in the common definition DB (240-2-1).
Each item of the scene branch item is read out when creating a development configuration of each scene, and is displayed in a list in a branch event selection window (FIG. 44B).
By selecting a branch condition item from the displayed list, and adding a branch condition separately using a DB editing tool (240-1-3) if the branch condition item is not stored in the table, A scene development configuration is created. By repeating the selection of the branch condition item, a scene having a plurality of transition destinations (branched into a plurality) can be created.
[0182]
In the present embodiment, the timer setting time and the timer setting condition are set as the time to wait for the user to input an answer to the question asked by the character to the user. Then, when there is no answer from the user within the timer set time, it is determined that there is no answer by the timer notification (elapse of the set time).
As shown in FIG. 31, in the scene branch item table of the present embodiment, a timer notification is defined as a transition condition.
[0183]
FIG. 32 shows an additional condition table for setting branch conditions in more detail. The additional condition table is also stored in the common definition DB (240-2-1).
The additional condition item is an item used to provide a plurality of developments to the action (branch condition item) for developing the scene. At this time, a scene for branching is created. When a scene for branching is created, an additional determination item is read when creating a development configuration from the scene for branching. Only one category can be selected for one scene for branching, and a list of items of the selected category is displayed and selected, or a range is designated by numerical input. When it is desired to multiply a plurality of classifications by a logical product, it can be easily created by overlapping scenes for branching.
Further, in the agent device, the learning unit (101-3: refer to FIG. 5) records, as an end ID, a method of ending when the scenario branches into a plurality of scenes and the scenario ends in different scenes. Has become. Further, the learning unit (101-3) can record the response of the user, the total number of times of use, and the like as the learning data in the scenario.
[0184]
The additional condition table shown in FIG. 32 includes the recorded scenario end state (end ID), the total number of use times of the scenario, user information (driver information), mental model, date and time, and other classification items. A method of creating a selectable item list in the classification is defined. These can be selected as additional branch conditions, and an action for developing one scene can have a plurality of developments. The definition data relating to the action item for developing the scene and the additional determination item can be changed and added using the DB editing tool (240-1-3), similarly to the autonomous activation determination data.
[0185]
FIG. 33 and FIG. 34 conceptually show a part of the contents of the unified operation instruction table independent of characters stored in the common definition DB (240-2-1). The character setting means will be described below with reference to FIGS.
In this table, the display state of the common action is defined regardless of the type of the character, and the table is classified according to the content to be expressed by the character.
There are a plurality of unified action instruction tables that do not depend on the character. In the present embodiment, each of the display state instruction tables of the work state (FIG. 33), the mental state (FIG. 34), the TPO state, the growth state, and the scale state is included. Exists.
As shown in FIG. 33 and FIG. 34, each display state instruction table has a plurality of tree structures, and a character movement state instruction edit window (FIG. 40 (c)), which will be described later, shows the shape of each tree structure. The classification name is displayed.
[0186]
As shown in FIGS. 33 and 34, a state instruction number is given to each item at the end of the tree in the display state instruction table. This state instruction number corresponds to the state instruction number of the character image selection data (conversion table) 102353 of the agent device 1 (see FIG. 9).
[0187]
As shown in FIG. 33, the work status table is divided into a maximum of four here, and the basic posture, the greeting of the encounter, the greeting of the goodbye, the thanks, the apology, the encouragement, the praise, the comfort, the appearance, and the exit , Prohibition, etc. are defined.
By using the content that the agent wants to express as the name of each category in this way, it is easy for the scenario creator to select the display state corresponding to the scenario and the content of the scene that the scenario creator has imagined.
[0188]
The mental state table is classified into five layers as shown in FIG. Expressions of joy, anger, sorrow and pleasure are usually defined such as rejoicing, angry, sad, surprising, etc., and other expressions such as recklessness, friendship, drowsiness, and the like.
[0189]
Although not shown, the TPO state table stipulates the classification of spring, summer, autumn and winter and the month for each of a normal state, a fashionable state, and the like, and a general anniversary (yearly calendar, New Year's Day, A child's day, Christmas, etc.), a user-specific anniversary (an anniversary of using the agent device, a wedding anniversary, a birthday, etc.) are specified.
The growth state table is classified into long-term growth states 1, 2, 3,..., And short-term growth states 1, 2 are defined for each of them.
The scale state table specifies the size of the character to be displayed on the screen, and specifies the classification based on the angle of view.
[0190]
In these tables, as shown in FIG. 33 and FIG. 34, the levels defined in the lower layer of the display state (careful, ordinary, strong, medium, weak, etc.) are represented by the system (agent device). Is provided with an item "automatic" to be automatically selected.
For the scene in which automatic is selected, the agent device determines which level of the display state of the character to use based on the character mental state, date and time, etc., and selects and executes one of the display states. Will be.
[0191]
The common definition DB (240-2-1) further includes voice recognition data used for voice recognition, data used for character motion instructions (separate speech instruction data also exists), and settings for each scene. Character image data and character dialogue data for previewing and confirming a given instruction, a conversion table for each character's expression method for unified instructions independent of the character, and each part data to be displayed on the display device (2) and the like. Screen configuration data describing how to arrange the items, and items that can be selected as processing contents in the scene, for example, on / off and channel selection of an audio device, an action that can be processed by an agent, and an air conditioner device. Various processing contents such as ON / OFF and temperature setting, setting of destination to be supplied to the whole processing unit (102), etc. Data, etc. are stored in the common definition DB (240-2-1).
All of these definition data can be changed and added using the DB editing tool (240-1-3), similarly to each definition data.
[0192]
Character image data for previewing and confirming an instruction set in each scene includes image data of various characters stored in the agent device.
Further, the conversion table into the expression method of each character for the unified instruction independent of the character is the same as the character image selection data 102353 (see FIG. 8) of the character data (10-2-3-5) of the agent device 1. A conversion table is stored.
The user stores the character image data of another character and the conversion table from the agent device in the common definition DB of the scenario creation device 2 via the IC card 7 or the server 3.
[0193]
Next, each operation of scenario creation by the scenario creation apparatus configured as described above will be described according to screen transitions.
FIG. 35 illustrates a configuration of a main window displayed on the display device when the scenario editor (240-1-1) is activated.
As shown in FIG. 35, the main window includes a scene screen 301 on which a scene screen being created (a scene screen (see FIG. 12) displayed on the display device (2) of the agent device (1)) is displayed. , A setting screen 303 on which setting items for performing various settings are displayed, and a scene development screen 305 in which a scene development configuration (branch state) is displayed in a tree structure of scene icons 307 representing each scene.
[0194]
When the scenario editor (240-1-1) is started, a start point 308 is displayed on the scene development screen 305 of the main window. When this start point 308 is selected, the scenario properties can be edited. The selection is made by, for example, aligning the point position of the mouse cursor with the start point 308 and double-clicking the mouse.
When the screen configuration change button 309 is clicked, the screen configuration to be displayed can be selected.
When the sound effect setting button 110 is clicked, a screen for setting a sound effect for each scene of the scenario is displayed as described later.
When the agent display screen 311 is double-clicked with a mouse, an editing screen for the operation of the agent (character) is displayed.
By clicking the dialogue edit button 313, the instruction of the dialogue of the character can be edited.
When the button part / background voice recognition dictionary setting 315 is double-clicked, the voice recognition dictionary to be used can be edited. When the one displayed with the mark of the answer selection button 315a (54a) on the scene screen 301 is selected, the name of the word to be recognized is displayed on the scene screen, and when the person 315b to be recognized in the background is selected, the voice recognition target is displayed. The name of the recognized word is not displayed.
[0195]
The timer setting button 317 is a button for setting and changing timer setting information, as described later.
In the control instruction edit 319 for external devices and the like, control instructions for external devices and the like (including navigation) are set.
[0196]
In the voice recognition start control instruction 320a, a voice recognition instruction that defines how to start voice recognition when performing voice recognition in a scene being created is set. As the voice recognition instruction, any one of “start automatically”, “do not start automatically”, and “determine by agent device (vehicle device) (automatically)” can be selected. I have.
[0197]
In the callback control instruction 320b, an instruction as to whether or not to perform callback for confirming the result of voice recognition is set. The instruction for the callback may be any one of “call back”, “do not call back”, and “the agent device decides whether or not to make a callback based on the situation of the agent device (automatic decision)”. Can be selected.
[0198]
When the next scene creation button 321 is clicked, the flow of the scenario can be edited (the next scene is created). When a scene creation button 321 is clicked, a scene to be developed next to the currently selected scene can be created.
By branching the flow of the scenario with the scene creation button 321, a development configuration of each scene is created. For example, in a state where the icon 1 of the scene is selected (actively displayed), when the next scene creation button 321 is clicked, the icon of the scene following the scene 1 is displayed on the lower layer side. The scenes 2, 3,... To be developed following 1 are branched and created.
[0199]
That is, by clicking the scene creation button 321 in a state where the scene m is selected, the next scene m1 following the scene m is created. Then, when the scene creation button 321 is clicked while the scene m is selected again, the next scene m2 following the scene m is branched and created in parallel with the scene m1. Similarly, when the scene selection button 321 is clicked with the scene m selected again, a scene m3 is created.
Then, when the user wants to further develop the scene following the scene m1, by clicking the scene creation button with the scene m1 selected, the next scene m1-1 following the scene m1 is created.
When the scene creation button 321 is clicked in a state where the scene m1-1 is created (a state where the scene m1-1 is selected), a scene m1-1-1 following the scene m1-1 is created, and the scene m1-1-1 is created. When another scene branching from m1 is created, the scene m1 is selected again and the scene creation button 321 is clicked to create a scene m1-2 following the scene m1.
[0200]
By clicking a scenario end position creation button 323, a scenario end position can be created. An end number is assigned to the end position of each created scenario as an end ID.
When the scenario compile button 325 is clicked, the created scenario can be compiled into an actual device format (NAV format) for use in navigation.
[0201]
FIG. 36 shows a flow of a screen operation for editing a scenario property.
In the main window shown in FIG. 36A, when the start point 308 displayed on the scene development screen 305 is double-clicked, a scenario property edit window shown in FIG. 36B is superimposed on the main window. Is done.
[0202]
In the scenario properties edit window, enter the scenario name, enter the kana name, select the icon, set the priority, set the expiration date (the upper limit of the time lag from when the start condition is satisfied until the start, and the running execution condition) Setting, setting of autonomous start condition of scenario (separate window), input of creator name, and input of comment. The input of the scenario name and the input of the kana name input on this screen are management data and the like in the scenario data in the actual machine format.
When the user clicks the OK button 402 in the scenario property editing window, the edited content is reflected in the data, and the process returns to the main window. On the other hand, if the cancel button 403 is clicked, the data returns to the main window without being reflected in the data.
[0203]
In the scenario property edit window (FIG. 36B), the running condition is set by a check box 407 that can be used even during running and a detailed setting button 408.
That is, if the check box 407 for enabling use during traveling is not checked (default state), the non-execution during traveling is set in the scenario data.
When the non-execution during running is selected, the created scenario is executed only when the agent device is stopped, and when the running is started halfway, the running scenario is interrupted by the scenario interruption process (FIG. 26). Will be.
[0204]
On the other hand, when the check box 407 that can be used during traveling is checked, the execution of the traveling restriction is set in the scenario data. When the check box 407 is checked, the detailed setting button is enabled (selectable), and when left-clicked with the mouse, a setting window related to display (FIG. 36 (c)) is displayed in an overlapping manner.
In the setting window related to the display, among the items (parts) constituting the scene screen, all items that can be selected by the user as the non-display selection items during traveling are displayed in a list.
[0205]
FIG. 37 illustrates an example of a running restriction execution table that defines default values of display and non-display during running for each item configuring the scene screen.
As shown in FIG. 37, each item (part) on the scene screen is always displayed during running, always hidden during running, selected by the editor (default is displayed), and selected by the editor (default is hidden). ) Is set.
Among the items displayed in the running restriction execution table, the items selected and set by the editor are displayed in a list in the setting window related to the display of FIG. When a list is displayed for the first time, a check box of an item for which a default value is displayed is checked in advance and displayed.
[0206]
When setting the display or non-display for each item, the creator of the scenario data selects the detailed setting button 408 to display a setting window relating to the display (FIG. 36 (c)), and then displays the items to be displayed even during traveling. Check the check box for, and uncheck the check box for the items that you want to hide while driving. Then, by selecting the decision button, the items not checked in the check boxes are reflected in the scenario data as non-display selection items during traveling.
In this way, the creator of the scenario data can set display or non-display during running for each item in accordance with the content of the scenario to be created.
[0207]
Items that are not displayed in a list in the display setting window are items that are always hidden (for example, a slider bar) defined in the running restriction execution table in FIG. 37 are items that are always hidden during running. Is automatically set in the scenario data as a non-display selection item during traveling.
Conversely, items that are always specified to be displayed (for example, backgrounds and characters) do not become non-display selection items during traveling.
[0208]
In this way, it is possible to easily set whether the scenario being created is limited to running while running or not during running, depending on whether or not the check box 407 of Enable during running is checked. In addition, when the running restriction is set, the display setting window (FIG. 36 (c)) displayed by selecting the detailed setting button 408 further selects the non-running display for each predetermined item constituting the scene screen. It can be an item (unchecked).
If the creator of the scenario checks the check box 407 of Enable during running and does not select the detailed setting, the forced setting of the running limit execution table (FIG. 37) (always display and always) (Not displayed) and default settings are reflected in the scenario data.
As described above, by restricting the execution of at least a part of the screen elements (scenes) in accordance with the traveling state of the vehicle, the screen configuration is made to correspond to the traveling execution condition setting means and the traveling conditions of the present invention. The display stop setting means of the present invention is formed by setting whether to stop the display of a part or all of.
[0209]
On the other hand, when the start condition setting button 401 is selected in the scenario property edit window (FIG. 36 (b)), a scenario start condition main edit window is displayed.
FIG. 38 shows a flow of a screen operation for editing a scenario start condition from a main edit window of a scenario start condition.
In the main window for editing the scenario start condition (FIG. 38A), it is possible to set so that the user can manually start the scenario. In this case, the check box 406 is unchecked and the user is set not to start manually.
The automatic start condition (autonomous start condition) list on the left side of the main edit window (a) of the scenario start condition displays conditions under which the system automatically starts the scenario. In the state of FIG. 38 (a), nothing has been set yet, so this is a blank state. When a new creation button 405 is clicked in the scenario start condition main edit window (FIG. 38A), an automatic start condition selection window (FIG. 38B) is displayed, and a new start condition can be edited.
[0210]
In the automatic start condition selection window (FIG. 38B), a judgment condition item (category) to be set is selected, and when the decision is clicked, the process proceeds to a condition range selection window for automatically starting (FIG. 38C). In the example of FIG. 38 (b), the user wants to automatically start (autonomously start) the scenario while driving on the highway, so “select type” in “select when the state of the road starts” is selected. Item and click OK.
When cancel is clicked, the screen returns to the main edit window of the scenario start condition (FIG. 38A).
[0211]
Items that can be displayed and selected in the automatic start condition selection window (FIG. 38B) are the automatic start items displayed in FIG. In FIG. 38B, when the user selects the folder "Select when to activate", the No. in FIG. The condition items 1 to 10 are displayed at the next lower level.
Similarly, when the folder “Select where to start” is selected, the folder No. When the folders 10 to 16 select the folder “Select when the road condition is activated”, No. When the folders 21 to 23 select the folder “Select when the state of the car should be activated”, No. Nos. 17 to 20 select the folder "Select when to activate the navigation state". No. 21 to 28 select the folder “Select when the user should activate”, and 29 to 30 are displayed one level below.
[0212]
In the window for selecting a condition range to be automatically started (FIG. 38C), the configuration of the window changes depending on the judgment condition item (category) selected in the previous window (b). In the illustrated example, a window of an item for selecting the type of road is displayed.
Items that can be selected in the condition range selection window for automatic start (FIG. 38C) are selectable items (FIG. 38B) corresponding to the automatic start items selected in the automatic start condition selection window (FIG. 38B). 29). This selectable item is displayed in a pull-down menu by clicking the mark on the right side of the selection item column 408.
Select a condition range that can be started automatically from the list (or input it with a number), and click the add button to set the selected item and display it in the lower column. In the illustrated example, a case where “Expressway” is selected and the add button is clicked is displayed.
When the decision button is clicked in the condition range selection window (FIG. 38C) for automatically starting, the setting state is determined, and the screen returns to the scenario start condition main edit window (FIG. 38D).
When cancel is clicked, the screen returns to the automatic start condition selection window (FIG. 38B).
[0213]
In the main edit window of the scenario start condition shown in FIG. 38 (d), the automatic start condition set by the above operation (start if the type of road is a highway) is displayed in the automatic start condition list on the left side. .
Also, when an automatically started condition displayed on the automatic start condition list screen is selected and an edit button is clicked, an automatic start condition selection window (FIG. 38 (b)) for further adding a condition setting to the selected condition is displayed. )) Is displayed.
[0214]
Next, various operations for creating a scenario other than the autonomous activation condition will be described. FIG. 39 shows a flow of a screen operation for selecting a screen configuration to be displayed on the agent display screen 51 (see FIG. 12).
When the scene icon 307 displayed on the scene development screen 305 of the main window shown in FIG. 39A is selected and activated, a scene screen 310 corresponding to the selected scene icon is displayed. Then, when the screen configuration change button 309 of the setting screen 303 is clicked, a screen configuration selection window (b) is displayed.
In the screen configuration selection window (b), a list of screen configurations that can be displayed on the scene display screen 54 (see FIG. 12) is displayed. A basic screen in which nothing is displayed, a two-select screen in which two selection buttons are displayed, a button selection screen in which a plurality of selection buttons are displayed, for example, a list selection screen in which a plurality of items such as a prefecture name are displayed in a list In addition, various selectable screens such as an image display screen for displaying image data are displayed.
Select one screen configuration from each screen configuration displayed in the list, and then click the OK button. Return to a). When returning to the main window, the scene screen 301 is changed to the newly selected screen configuration and displayed.
[0215]
FIGS. 40 to 42 form a screen element setting means for setting screen elements based on the display contents (images and sounds) of the character and the processing contents in the present embodiment, and a character setting means.
FIG. 40 shows a flow of a screen operation for editing a character motion (agent motion) instruction.
When the agent display screen 311 is double-clicked with the mouse in the main window (FIG. 40A) showing the editing state of the scene screen, an action instruction edit dialog (individual instruction) (b) or a character action instruction edit dialog (unified) Instruction) (c) is displayed.
Which window is displayed is determined by displaying the window used last time, displaying (b) when the previous operation instruction is given by direct instruction for each character, and displaying the last character in a state where the character is desired to be displayed last time. If the instruction is given, (c) is displayed. When used for the first time, a character motion instruction editing dialog (unification instruction) (c) is displayed.
[0216]
In the character motion instruction edit dialog (individual instruction) of FIG. 40B, motion (motion), facial expression (element of emotion expression), hairstyle (element of growth expression), clothing (element of TPO expression), scale (character display) If the area is a frame of a camera, the camera angle element), the area in which the user speaks (the area to which dialogue is allocated), the operation instruction timing, and the background of the character display area are selected.
In the character motion instruction editing dialog (individual instruction) shown in FIG. 40B, when the enter button is clicked, the edited content is reflected on the data, and the display returns to the main window (a). Clicking the cancel button returns to the main window (a) without being reflected in the data.
When the expression content designation button is clicked, the character action instruction edit dialog (unified instruction) (c) is switched.
[0219]
When a motion instruction (display state) is selected in the character motion instruction edit dialog (individual instruction), a scene is defined as a character-specific motion. In this case, in the agent device 1, in the character drawing / voice output processing by the drawing / voice output unit (101-5) in FIG. 21, the operation is not a unified operation instruction independent of the character (step 505-6-6-1; N). ).
[0218]
In the character movement instruction editing dialog (unification instruction) of FIG. 40C, the unified movement instruction table (FIG. 33, see FIG. 34), the work element, the mental state element, the TPO expression element, the growth expression element, and the scale element (the camera angle element when the character display area is a camera frame) are included. Displayed as selectable. In addition, a screen for selecting an operation instruction timing and a background of the character display area is displayed.
The user selects each display state displayed in the character movement state instruction edit window, and the display state number corresponding to the display state selected as the movement common to each character regardless of the character is set. Is set as the content of
In this window, when the enter button is clicked, the edited content is reflected in the data, and the screen returns to the main window (a). Clicking the cancel button returns to the main window (a) without being reflected in the data.
When the direct designation button is clicked, the display switches to a character movement instruction edit dialog (individual instruction) (b).
[0219]
FIG. 41 shows a flow of a screen operation for editing a speech instruction of a character (agent).
When the dialogue edit button 313 on the setting screen 303 is clicked in the main window (FIG. 41A) showing the editing state of the scene screen, the dialogue edit window 1 (b) is displayed.
In the dialogue editing window 1 (b), a tab screen of "PCM" is displayed, and an instruction of PCM (recorded and prepared real voice data) can be given.
When the "TTS" tab is selected in the dialogue edit window 1 (b), a dialogue edit window 2 (c) is displayed, and a TTS (synthesized voice) can be specified.
In case of PCM, enter the dialogue in double-byte hiragana (the above input box) and search for the corresponding dialogue (click the search button: prepare two types of search methods, prefix match and perfect match), and search results (search (There is a result list display field), and the dialogue to be spoken to the character is set (can be set by clicking the add button).
In the case of the TTS, the dialogue name (data for speech balloon display) and the reading (data for creating a synthesized voice) are input, and the dialogue to be spoken to the character is set (can be set by clicking an add button).
In the dialogue editing windows 1 (b) and 2 (c), when the enter button is clicked, the edited content is reflected as data on the balloon screen 430 and returns to the main window (a). When the cancel button is clicked, the data is not reflected in the data. To return to the main window (a).
[0220]
FIG. 42 shows a flow of a screen operation for editing the speech recognition dictionary.
This operation sets a voice dictionary for recognizing a voice response returned from the user in response to a request for a response from the agent device.
As an example, FIG. 42 illustrates a screen operation in one scene in which, in a scenario in which the running control of the vehicle is performed, an impression on the control is asked after the running control is completed, and the answer is recognized.
In the main window (FIG. 42A) showing the editing state of the scene screen, a pull-down menu is displayed by selecting an inverted triangle button displayed on the right side of the voice recognition start control instruction 320a. As the pull-down menu, "start automatically", "not start automatically", and "automatic" (when the agent device (vehicle device) determines) are displayed. The user selects one voice recognition instruction from this display (voice recognition start setting means). If the already displayed voice recognition instruction is sufficient, the displayed instruction is selected by leaving the pull-down menu without displaying it.
As described above, when the user does not set the condition ("start automatically" or "do not start automatically") as to whether or not to start the speech recognition, the condition for starting the speech recognition is determined in advance ("Random"). By setting to make the judgment in (1), an on-vehicle judgment setting means is formed.
The voice recognition instruction selected by the user is set as scene data of the selected scene.
[0221]
As described above, according to the scenario creation device 2 of the present embodiment, the function of setting an instruction (speech recognition instruction) as to whether or not to automatically start speech recognition is provided. The scenario creator can set how to start speech recognition.
By setting "automatically start" the voice recognition, the driver who is the user can answer (input voice) without selecting the trigger of voice recognition start (pressing the recognition start button). it can. As described above, the driver who is the user of the agent device can omit the device operation step of pressing the voice recognition start button when answering a question in a conversation with the personified character. Also, since this step does not exist in the conversation between humans, the conversation with the personified character can be closer to the conversation between humans than before as a result of the present invention.
[0222]
In the scenario creation device 2 of the present embodiment, “automatic” (determined by the agent device) can be set as a voice start instruction, and the agent device performs voice recognition based on the level of the driving load for the scene in which the automatic setting is set. Start or not start is selected.
Therefore, when the load is high, such as during a course change operation at an intersection, the driver does not start voice recognition and does not output a start sound requesting voice input (answer by the driver). You can concentrate on a certain driving operation.
[0223]
In the main window (FIG. 42A) showing the editing state of the scene screen, a pull-down menu is displayed by selecting an inverted triangle button displayed on the right side of the callback control instruction 320b. . As the pull-down menu, "call back", "do not call back", and "automatic" (when the agent device (vehicle device) determines) are displayed. The user selects one of the callback control instructions from this display (voice recognition confirmation setting means). If the already displayed voice recognition instruction is sufficient, the displayed instruction is selected by leaving the pull-down menu without displaying it.
The instruction of the callback control selected by the user is set as scene data for determining whether to perform the callback after the speech recognition in the selected scene.
As described above, when the user does not set the condition (“call back” or “do not call back”) as to whether or not to confirm the recognition result of the voice recognition, the confirmation of the recognition result of the voice recognition is determined in advance by the predetermined condition (“ The setting for confirmation is performed by "automatic selection", thereby forming the vehicle-mounted confirmation setting means in the present invention.
[0224]
As described above, according to the scenario creation device 2 of the present embodiment, the function of setting an instruction as to whether or not to call back (callback control instruction) when the answer by the user's voice is recognized by speech is provided. Therefore, the scenario creator can set whether or not to perform callback after voice recognition for the agent device 1.
In the scenario creation device 2 of the present embodiment, “automatic” (determined by the agent device) can be set as the instruction for the callback control. The situation is determined from the (number of words in the answer voice recognition dictionary) and the vehicle speed, and it is determined whether or not to perform an action of calling back the recognition result.
Thereby, the anthropomorphic character in the conversation between the driver who is the user of the agent device and the anthropomorphic character does not always hear back the recognition result (callback), so that the user does not feel troublesome. I'm sorry.
In addition, since whether to call back or not is controlled depending on the situation, during driving, it is safe because the conversation can be made without looking at the screen by the callback sound. Conversely, if the recognition result can be confirmed on the screen while the vehicle is stopped, or if a two-choice answer with a higher recognition rate is required, a smooth conversation can be realized by not calling back.
In a conversation between humans, an act of listening back to what has been heard (calling back) may or may not be performed depending on the situation. Therefore, according to the present embodiment, communication similar to a conversation between humans between an agent and a user is performed. Can be taken.
[0225]
In the main window (FIG. 42 (a)) showing the editing state of the scene screen, a button part 315a (depending on the screen configuration, there may be a normal list box part) displayed according to the selected screen configuration is displayed. When double-clicked, a voice recognition dictionary selection window (b) is displayed. Double-clicking on the dictionary list display section 315b to be recognized in the background also displays the voice recognition dictionary selection window (b).
[0226]
In the voice recognition dictionary selection window (FIG. 42 (b)), when a dictionary name in the list display of dictionary candidates is double-clicked, the dictionary used as the voice recognition dictionary is displayed in the list selected as a general dictionary.
Clicking the OK button reflects the edited content on the data and returns to the main window (a), and clicking the Cancel button returns to the main window (a) without being reflected on the data.
When a new creation button is clicked, a speech recognition dictionary creation window (FIG. 42 (c)) for newly creating a speech recognition dictionary is displayed.
[0227]
In the voice recognition dictionary creation window (FIG. 42 (c)), when a dictionary name is input and a dictionary addition button is clicked, a new voice recognition dictionary is created with that name and words are registered in the voice recognition dictionary (d). Is displayed.
When the OK button is clicked in the speech recognition dictionary creation window (c), the creation of the speech recognition dictionary ends, and the process returns to the speech recognition dictionary selection window (b).
[0228]
In the window for registering a word in the speech recognition dictionary (FIG. 42D), the word to be registered is entered in the reading field using half-width kana, and the enter button is clicked. Next, a name (a name to be displayed) is selected or newly input, and a PCM voice for callback is selected (if no is selected, TTS is used for callback). After entering these three items, clicking the register button will register the data and add it to the registered word list on the right.
When all the words to be registered have been registered, clicking the back button returns to the voice recognition dictionary creation window (c).
[0229]
Next, an operation for setting a time (timer setting) in each scene will be described.
FIG. 43 shows a flow of a screen operation when setting a timer.
In the main window illustrated in FIG. 43 (a), a question is asked as to whether the character likes baseball, and as the answer, a two-choice answer selection button "315" (54) is created. State.
When the timer setting button 317 is selected in the main window (FIG. 43A), a timer setting information window (FIG. 43B) is displayed. However, the selection of the timer setting button 317 can be performed at any stage of the scene setting, and can be performed before or after setting the question of the character or setting the answer dictionary for the question.
[0230]
In the timer setting information window, when the inverted triangle button displayed on the right side of the timer setting condition column 317a is clicked, a selectable timer setting condition is displayed in a pull-down menu.
In the present embodiment, as the selectable timer setting conditions, (a) always set both during running and stopped, (b) set only during running, (c) set only during stopped, (d) always set the timer. No (in this case, the timer setting time is not specified), and a pull-down menu is displayed. The timer setting condition selected by the user is displayed in the timer setting condition column 317a.
[0231]
On the other hand, by moving the slider of the timer setting time bar 317b with a mouse, the timer setting time can be set from 1 second to 5 minutes. The set timer setting time is displayed in a timer setting time display column on the left side of the timer setting time bar 317b.
[0232]
In the timer setting information window, when the setting and the change of the timer setting information are completed and the user clicks OK, the set information is reflected and the screen returns to the main window. At this time, the set timer setting information (the display of the timer setting time and then the timer setting conditions are displayed in parentheses) are reflected in the timer setting information column on the right side of the timer setting button 317. You.
[0233]
In addition, when the user does not particularly set or change the timer setting information, the timer setting time = 20 seconds and the timer setting condition = (a) Always set during running and stopping are set as default values. .
[0234]
FIG. 44 illustrates a flow of a screen operation for editing a flow of a scenario.
In the main window, the scene icon 307 (icon 1 in FIG. 44) being created is selected and activated. When the new scene creation button 321 is clicked in this state, a transition selection window (FIG. 44B) is displayed. In the transition selection window (FIG. 44 (b)), a condition for branching to a newly created scene is selected from the branch event list, whereby a transition condition to the next scene (a newly created scene) is selected. . As shown in FIG. 44 (b), in this embodiment, the timer notification (selection of the set time) is not performed within the timer set time set in the timer set information window shown in FIG. (Elapsed) can be selected as a transition condition (time limit setting means).
[0235]
Branch Event Selection Window In FIG. 44 (b), when the transition condition to the next scene (scene to be newly created) is selected and the OK button is clicked, the condition (branch event) is determined and the main screen (a) is displayed. Return.
On the main screen (c) after returning, a scene (scene icon (4) in the figure) is newly created on the scene development screen 305. A newly created scene icon is described as NEW to distinguish it from other scene icons.
The branch events that can be selected in the branch event selection window are shown in FIG.
As described above with reference to FIG. 44, by setting the condition for shifting from one screen element to the next screen element, the shift condition setting means and one action process of the character according to the present invention can be changed to the next action process. A transition time limit setting means for setting a time limit for transition to the period is formed.
[0236]
FIG. 45 shows the flow of the screen operation for editing the end position of the scenario.
When the end position creation button 323 of the scenario is clicked in the main window (a), an end ID designation window (b) is displayed.
In the end ID specification window (b), the ID number of the end position mark is specified. Normally, automatic assignment is performed, but the operator of the editor can also perform the assignment by unchecking the check box indicating that automatic assignment is performed. When the OK button is clicked, the ID number is determined and the branch event selection window (c) is displayed.
[0237]
In the branch event selection window (c), the branch condition for terminating the scenario is set in the same manner as when a new scene is created and in the operation method. Additional conditions can be set in the same manner. In this window, when the OK button is clicked, the condition (transition condition) is determined and the process returns to the main window (d) (transition condition setting means). At this time, a new scenario end position 433 is created in the scenario diagram.
As described above, a screen element in which at least one of the display content of the character (agent) and the processing content is defined is defined as one screen element (scene), and the screen element is combined with the transition condition between the screen elements. A screen element transition body creating means for creating a transition body (scenario) is formed.
[0238]
FIG. 46 illustrates an example of scene development in the scenario created as described above.
On the main screen shown in FIG. 46, a scene icon 307 indicating the configuration of the created scenario is displayed on the scene development screen 305. In FIG. 46, since no scene icon is selected, nothing is displayed on the right scene display screen 54 and the setting screen.
[0239]
With reference to FIG. 46, a description will be given of an example of a scenario in which it is determined whether or not to like baseball as driver information and user information is acquired. As the autonomous activation condition in this case, for example, a case where the driving load of the driver is low such as a case where the user's hobby has not been acquired, a straight road continues, and the vehicle is running at a predetermined vehicle speed or less.
When such an autonomous activation condition is satisfied, in the first scene 1 (square scene icon with a numeral 1 in it, the same applies hereinafter), the character asks "Do you like watching baseball?" do. In this scene, “like” and “dislike” are scheduled as the user's answer, and an answer selection button 54 of the corresponding display and a voice recognition dictionary are set. Also, the timer setting time is 20 seconds, and the timer setting condition (a) is always set during running or stopping, but it is assumed to be specified as timer setting information of scene 1.
[0240]
The scene that branches (expands) when the user's answer is “like” as a transition condition is scene 2, and the scene that branches when the user dislikes it as a transition condition is scene 3. It is assumed that a scene that branches when a timer notification is issued before the transition is defined as a scene 4.
In this case, in the scene 2 where a branch is made when "I like" is answered, for example, the character outputs "Oh! There are many Japanese who like baseball." (Circular end icon 1; the same applies hereinafter). The end method in this case is defined by the end icon 1, and the end method is stored in the learning item data 10-2-3-7 of the agent device 1. Also, data of “I like baseball” is stored as a hobby item of the driver information data 10-2-3-6.
[0241]
On the other hand, in the scene 3 that branches when the answer is “I dislike”, for example, the character outputs “Oh! Sports hobby is not only baseball.” Then, the scenario is ended (end icon 2). ). The end by the end icon 2 is stored in the learning item data 10-2-3-7 of the agent device 1. In addition, as a hobby item of the driver information data 10-2-3-6, data of "I dislike baseball" is stored.
[0242]
Furthermore, in the scene 4 where the timer is notified without a response from the user, the character outputs, for example, a question such as "Do you not care about baseball?" And "I dislike" are set, and a corresponding answer selection button 54 and a voice recognition dictionary are set. Further, for example, a timer setting time of 20 seconds and a timer setting condition (a) are always set during running or stopping, but are defined as timer setting information of scene 1.
[0243]
If the user answers "like" to the second question in scene 4, the process branches to scene 2 '. In this case, a scene icon with a dash like a scene 2 'indicating a branch destination indicates that a branch is made to a scene 2 without a dash. Therefore, when the answer to the scene 4 is “like”, the process branches to the scene 2, outputs sound confirming that he likes baseball, and ends with the end icon 1.
If the user answers "dislike" to the second question in scene 4, the scene 3 'is displayed in the same manner, so that the process branches to scene 3 and the scene 3 and subsequent scenes are developed.
On the other hand, in the case of the question of the scene 4 as well, if it is the timer notification again, the process shifts to the end icon 3 and ends. Is stored in Thus, the user can determine that he or she does not care about the question of whether he likes or dislikes baseball, and can prevent the same scenario from being executed again. Such a response can be made by adding a condition that the end has not been completed by the end icon 3 as the autonomous start condition of the scenario.
[0244]
FIG. 47 shows a flow of a screen operation for compiling the created scenario into a real machine format (NAV format) usable by the agent device.
When the scenario compilation button 325 is clicked in the main window (a), a scenario compiler window (b) is displayed.
In the scenario compiler window (b), specify the name of the file that outputs the compiled data, select the scenario to be converted at the same time (convert the scenarios checked in the scenario list at the same time), and click the compile button. The scenario compiler (240-1-2) starts data conversion. The data conversion status is displayed on the result display unit.
When the end button is clicked, the data conversion ends and the process returns to the main window (a).
[0245]
If the check box 407 for enabling running data is not checked for display or non-display during running, the scenario compiler (240-1-2) sets the running data as running conditions in the management data of the scenario. Set medium / no execution. On the other hand, when the check box 407 is checked, the scenario compiler (240-1-2) determines items not checked in the display setting window and items that are always hidden in the running restriction execution table. The in-travel restriction execution, which is a non-traveling display selection item, is set as the in-travel execution condition.
[0246]
As described above, according to the scenario creation device of the present embodiment, the display state instructing the action of the character in each scene of the scenario is shared regardless of the type of the character, so that the execution can be performed irrespective of the character. Scenarios can be created, and scenarios created for each character can be combined into one, which facilitates scenario creation.
In addition, the name of the unified character motion instruction form uses the content to be expressed by the character, for example, greetings of meeting, posting (information etc.), rejoicing, getting angry, etc. When creating an instruction, the scenario creator only has to directly select what the character wants to do from the name, which facilitates scenario creation.
[0247]
Further, according to the present embodiment, the process of judging whether the condition for autonomously activating (automatically appearing) the agent based on the scenario data created by the scenario creating device is satisfied is performed periodically or in a specific state. Is executed when the condition is satisfied, and the agent can automatically appear when the condition is satisfied.
On the other hand, according to the scenario creation device and the scenario editor of the present embodiment, regardless of the knowledge of the program, the presence of the scenario editor allows the agent to automatically appear and respond when certain conditions are satisfied. Scenario data can be easily created and edited. Also, the scenario creation device can be set to play sound (sound effect) or not to sound, and to set what kind of sound to sound when it sounds (it can be set for each scene created), so agents automatically appear It is possible to easily create a scenario in which the driver can notify the driver without looking at the screen, and the driver can safely know the appearance of the agent even during the driving operation.
[0248]
Furthermore, according to the embodiment described above, the creator of the scenario data determines whether or not to start the execution of the scenario depending on the state of the vehicle such as running or stopped (whether to suspend or continue the running scenario). ) It is possible to easily and freely determine which item of the scene screen is to be hidden when continuing, depending on the content of the scenario to be created.
The agent device can continue the execution of the scenario according to the running condition set in the scenario.
Therefore, according to the content of the scenario, it is possible to prevent excessive communication during traveling, and the trouble of the user is reduced. Then, communication with the personified character can be made closer to communication between humans.
[0249]
Further, according to the present embodiment described above, the timer setting function allows the user to determine that there is no answer to the question depending on the situation when there is no answer to the question for a certain period of time. Communication can be made closer to communication between humans.
In addition, it is possible to avoid the trouble of the user having to always answer.
If there is no answer within the set time, the agent device can shift to the next scene on the condition that there is no answer as a shift condition, so that one scenario can be prevented from being in a long running state. . For this reason, it is possible to prevent a scenario that newly satisfies the activation condition from remaining in the execution standby state due to a change in the situation such as the movement of the vehicle.
[0250]
As described above, one embodiment of the in-vehicle device, the data creation device, and the data creation program according to the present invention has been described. However, the present invention is not limited to the described embodiment, and various modifications can be made. .
For example, in the scenario creation device of the embodiment described above, when running limit execution is set as the running execution condition, display and non-display can be set for each item configuring the scene screen. The settings for each item may be uniformly set as default settings (FIG. 37) so that the user cannot select them.
Conversely, display and non-display may be set in more detail. For example, in the described embodiment, display or non-display is set commonly to all scene screens, but may be set individually for each scene.
[0251]
In the embodiment described above, the execution state of the scenario is changed (interrupted or restricted) depending on the traveling state (running or stopped). However, the display is restricted by another vehicle state. Is also good.
For example, as the vehicle state, whether or not the course is changing, whether or not the vehicle is located between a predetermined distance before the course change point and a predetermined distance after passing when the traveling route is searched by the navigation function, It may be changed according to the vehicle state such as. In addition, the display and non-display items may be set according to the traveling road such as whether it is in a rainy state or whether the vehicle is traveling on a snowy road.
In addition, the steering angle sensor detects the shape of the road, such as a curve, based on the operation of the steering wheel or map data, and restricts the display of balloons and selection buttons only when the vehicle is on a curve. It is also possible to limit the display based on detection and display of a user who is expected to be traveling at high speed, and furthermore, using a sweat sensor or an infrared sensor, to limit the display depending on the user's sensation or health condition.
In each of these cases, the display can be restricted due to a busy driving operation or a decrease in the user's concentration, so that a large amount of information is not displayed and the display is troublesome for the user. There is no.
Further, the creator of the scenario data can select a vehicle state or a road state, and set non-execution (including interruption) and restriction execution (and setting of display restriction items) for each selected state. It may be.
[0252]
In the above-described embodiment, the timer setting is described as a time limit in a scene where voice recognition is performed, but may be a time until an answer to a user's question is input. That is, the user's answer includes the answer by voice input, but the answer by voice is not set (the voice recognition dictionary for the answer is not set), or the answer selection button 54 (315a) on the screen is used. There is a possibility that the scene data is configured to accept only the answer of
In such a case, it is possible to respond by setting the time until the answer is input, instead of the time for voice recognition, as the timer setting time.
[0253]
In the above-described embodiment, when setting or changing the timer setting information, the user selects the timer setting button 317 to display the timer setting information window (FIG. 46B) and make settings on this window. However, the timer setting information (timer setting time and timer setting condition) may be selected on the main window.
[0254]
Further, in the agent device 1 of the embodiment described above, when the automatic load is set (determined by the agent device) and the driving load is high, the voice recognition is not performed. On the other hand, when the driver has a high load, the voice recognition is not started immediately, but the voice recognition may be started when the driver is no longer in the high load state.
That is, in the situation determination of FIG. 22 (step 505-6-8-2), a case has been described where the process returns when it is determined that the driver has a high load. However, the process does not return (step 505-6-6). The voice recognition unit (101-7) waits until the load on the driver becomes low, and outputs a start sound for voice input when the load becomes low. become.
[0255]
In the described embodiment, “user gender” and “user age” are defined as items that can be selected as autonomous activation conditions, as illustrated in FIGS. 28 to 29, but other automatic activation items relating to the driver (see FIG. 28). May be added. For example, items relating to the state of the driver such as “skill level” and “emotional” are added as automatic activation items. Then, “low”, “normal”, and “high” are added as selectable items (see FIGS. 29 and 30) corresponding to “skill level”, and “anxiety”, Add "fight", "tension", etc.
[0256]
In this case, in the agent device, the driving state stored in the driver information data (10-2-3-6) or the learning item data (10-2-3-7) includes the driver state such as the skill level and the emotion. It is obtained as situation information from the user's operation history and the like, and is compared with the start condition of the scenario.
That is, in the agent device, the agent OS unit (101-8) acquires information from, for example, the various situation detection devices (6) from the overall processing unit (102) through the external I / F (101-9), and performs learning. Based on the driver information data (10-2-3-6) stored in the section (101-3) and the driver operation history stored in the learning item data (10-2-3-7). The learning unit (101-3) determines the current state of the driver.
As an example of the driver state to be determined, the driver's anxiety, prostration, nervousness, etc., corresponding to each item of the autonomous activation condition, and the skill level of the agent device are also determined and estimated.
For example, an example is considered in which, when the speed excess state continues for a long time within a certain period of time and a large amount of rapid acceleration / deceleration is performed, it is determined that the vehicle is accelerating with respect to time (hurrying).
Also, using the total number of times of use of the agent, the total time of use (communication time), the number of times of automatic activation, and the like, the skill level of the agent device is determined in three stages such as low, normal, and high. The number of steps and the conditions for determination are merely examples, and may be changed.
[0257]
In this way, by registering conditions detectable on the agent device side in the scenario creation device and making it usable in the scenario editor, the driver state can be used as a start condition (autonomous start condition) of a screen element transition body (scenario). Can be used.
This makes it possible for the driver to appear autonomously from the agent side and not communicate when the driver is fading (a condition of “if not fading” is added to the autonomous activation condition).
[0258]
Note that, in the present embodiment, an object A is to provide an agent device for a vehicle that enables an agent function to be realized according to standardized scenario data and that starts a scenario based on an autonomous start condition specified by the scenario data. Aimed at B, to provide a standardized scenario for realizing an agent function in an agent device, and a scenario data creation device capable of easily creating an autonomous start condition for autonomously starting the scenario. The following configuration is also possible.
(A) An agent apparatus that performs a function of judging a state of a vehicle compartment or a vehicle and autonomously performing a process according to a result of the judgment in conjunction with a movement or voice of the appearance of the agent,
Agent display means for displaying an image of an agent having a predetermined appearance in the vehicle interior,
A scene composed of at least one of the content of the processing performed by the device and the image and sound of the agent is defined as one scene, and a scenario composed of one or a plurality of continuous scenes and an autonomous autonomously starting deployment of the scenario A scenario storage unit that stores scenario data having an activation condition; a situation information acquisition unit that acquires a state of a vehicle compartment or a vehicle as situation information; and a scenario storage unit that stores the acquired situation information in the scenario storage unit. A condition determining means for determining whether an autonomous start condition is satisfied, and a scenario for autonomously starting a scenario corresponding to the autonomous start condition determined to be satisfied by the condition determining means and sequentially developing each scene Executing means for determining whether or not the status information satisfies the autonomous activation condition at a predetermined timing. Agent apparatus according to claim.
(B) The condition determining means performs the determination periodically at predetermined time intervals and when a specific situation set in advance is satisfied from the acquired situation information. Agent device as described.
(C) The scenario execution means outputs a sound effect corresponding to the sound effect information when the scene is developed, in the case of a scene in which a sound effect is set, wherein Agent device as described.
(D) A scene composed of at least one of the contents of processing autonomously performed by the vehicle agent device and at least one of an image and a sound of the agent is defined as one scene, and a scenario composed of one or a plurality of continuous scenes is defined as A scenario data creation device that creates scenario data for an agent device that autonomously starts when a scenario autonomous start condition is satisfied, and includes an agent process content, an agent image, and audio data that can be selected as scene components. Scene element selecting means for selecting at least one of the following, and scene creating means for creating, as one scene, a scene composed of at least one of the processing contents of the agent, the image of the agent, and the output sound from the acquired scene components And one or more transitions for transitioning from a predetermined scene to the next scene. A scene development configuration creating unit that creates a development configuration of each scene from the conditions and destination data that specifies a destination scene in accordance with each transition condition; and a vehicle interior or vehicle that can be acquired by the agent device. Presenting means for presenting each item of status information relating to a state; selecting means for selecting one or more items from each item of the presented status information; Autonomous activation condition creating means for creating an activation condition, and output means for outputting scenario data including the created scene, the developed configuration of each created scene, and the autonomous activation condition of the created scenario. A scenario data creation device, characterized in that:
(E) The scenario data creation device according to (d), wherein the scenario is started from a scene containing active actions such as a proposal, a question, and a greeting by an agent.
(F) scene selecting means for selecting a scene, sound effect displaying means for displaying a list of sound effect information specifying one or more sound effects, and selecting one sound effect information from the displayed sound effect information And a sound effect setting means for setting a sound effect corresponding to the selected sound effect information as a sound effect to be output at the start of the selected scene. The scenario data creation device according to (d) or (e).
According to the embodiment (a), the agent function can be realized according to the standardized scenario data, and the scenario can be activated based on the autonomous activation condition defined by the scenario data.
Further, according to the embodiment described in (b), a standardized scenario for realizing the agent function in the agent device and an autonomous start condition for autonomously starting the scenario without sufficient knowledge of programming. Can be easily created.
[0259]
【The invention's effect】
According to the in-vehicle device according to the first or second aspect, a screen element in which at least one of a character display state and a character processing content is defined as one screen element, and a screen configured by combining the screen elements. It is possible to execute the element transition body and execute at least a part of the screen element depending on whether or not the vehicle is running.
According to the data creation device of the present invention, a screen element in which at least one of a character display state and a character processing content to be executed in the in-vehicle device is defined as one screen element. In addition to easily creating a screen element transition body configured by combining elements, it is possible to easily create a screen element transition body in which a running execution condition that restricts execution of at least a part of the screen element is set. Become.
According to the data creation program of the present invention, a screen element defined in the in-vehicle apparatus and defining at least one of a character display state and a character processing content is defined as one screen element. A screen element transition body configured by combining elements is easily created by a computer, and a screen element transition body in which a running execution condition for restricting execution of at least a part of the screen element is easily created by a computer. It becomes possible.
[Brief description of the drawings]
FIG. 1 illustrates a system configuration diagram of a scenario adding system using an agent device according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of an agent device according to an embodiment of the present invention.
FIG. 3 is a configuration diagram of various situation detection devices in the agent device according to the first embodiment;
FIG. 4 is an explanatory diagram showing a relationship between an agent processing unit realized by executing a program by a CPU and an overall processing unit.
FIG. 5 is an explanatory diagram showing a configuration of an agent processing unit.
FIG. 6 is an explanatory diagram conceptually showing information collected on an external storage medium.
FIG. 7 illustrates a configuration of actual machine type scenario data.
FIG. 8 is an explanatory diagram conceptually showing character data.
FIG. 9 is an explanatory diagram conceptually showing the contents of character image selection data.
FIG. 10 is an explanatory diagram conceptually showing driver information data.
FIG. 11 is an explanatory diagram showing a selection screen when an agent device selects an agent character to appear in a vehicle cabin.
FIG. 12 is an explanatory diagram illustrating an example of a scene screen displayed on a display device based on scene data of a scenario.
FIG. 13 is a screen transition diagram showing, for each scene, transition of a scene screen according to a guidance scenario transmitted from a ryokan to a potential guest.
FIG. 14 is a flowchart illustrating a scenario autonomous activation determination process performed by an autonomous activation determination unit.
FIG. 15 is a flowchart showing processing contents of a condition determination processing.
FIG. 16 is a flowchart illustrating an example of the flow of a scenario execution process.
FIG. 17 is a flowchart illustrating an example of a flow of a scene process.
FIG. 18 is a flowchart illustrating a processing operation of screen data creation processing of a screen configuration.
FIG. 19 is a flowchart illustrating processing performed in response to various processing instructions.
FIG. 20 is a flowchart illustrating an operation of a timer setting request process.
FIG. 21 is a flowchart illustrating a character drawing / voice output process performed by a drawing / voice output unit.
FIG. 22 is a flowchart illustrating a processing operation of a voice recognition process.
FIG. 23 is a flowchart showing the contents of a scenario suspension process.
FIG. 24 is an explanatory diagram comparing and displaying examples of scene screens in a stopped state and a running state.
FIG. 25 is a configuration diagram of a scenario creation device.
FIG. 26 conceptually shows the configuration of a scenario editing program and data.
FIG. 27 conceptually shows data format conversion.
FIG. 28 illustrates items that can be set as automatic start items.
FIG. 29 illustrates an example of items that can be selected for the automatic start item.
FIG. 30 exemplifies items that can be selected for the automatic start item.
FIG. 31 is a scene branch item table storing branch items (transition conditions) for branching (scene development) from one scene to the next scene.
FIG. 32 shows an additional condition table.
FIG. 33 is an explanatory diagram conceptually showing a part of the content of a character display state instruction table stored in a common definition DB.
FIG. 34 is an explanatory diagram conceptually showing another part of the contents of the character display state instruction table stored in the common definition DB.
FIG. 35 illustrates a configuration of a main window displayed on a display device when a scenario editor is activated.
FIG. 36 illustrates a flow of a screen operation for editing a scenario property.
FIG. 37 is an explanatory diagram showing an example of a running restriction execution table defining default values of display and non-display during running for each item constituting the scene screen.
FIG. 38 illustrates a flow of a screen operation for editing a scenario start condition from a main edit window of a scenario start condition.
FIG. 39 shows a flow of a screen operation for selecting a screen configuration to be displayed on the agent display screen.
FIG. 40 illustrates a flow of a screen operation for editing a character motion (agent operation) instruction.
FIG. 41 illustrates a flow of a screen operation for editing a speech instruction of a character (agent).
FIG. 42 illustrates a flow of a screen operation for editing a speech recognition dictionary.
FIG. 43 is a flowchart illustrating a flow of a screen operation when setting a timer.
FIG. 44 illustrates a flow of a screen operation for editing a flow of a scenario.
FIG. 45 illustrates a flow of a screen operation for editing an end position of a scenario.
FIG. 46 is also an explanatory diagram showing an example of scene development in a created scenario.
FIG. 47 shows a flow of a screen operation for compiling the created scenario into a format of a real machine format usable for navigation.
[Explanation of symbols]
1 agent device
2 Scenario creation device
3 server
(1) Central processing unit
(2) Display device
(3) Audio output device
(4) Voice input device
(5) Input device
(6) Various situation detection devices
(7) Various in-vehicle devices
(8) Communication control device
(9) Communication device
(10) External storage device
(200) Control unit
(210) Input device
(220) Output device
(230) Communication control device
(240) Storage device
(250) Storage medium drive
(260) Input / output I / F

Claims (7)

キャラクタの表示内容、処理内容の少なくとも１つが規定された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体及び該画面要素推移体の起動条件を外部から取得して記憶する画面要素推移記憶手段と、
前記起動条件を満たしていると判断された場合、前記起動条件を満たした前記画面要素推移体を構成する各画面要素を逐次その設定にしたがって実行することで当該画面要素推移体を実行する画面要素推移体実行手段と、
走行中であるか否かを判断する走行判断手段と、
前記走行判断手段により走行中であると判断された場合、前記画面要素推移体実行手段で実行する画面要素の少なくとも一部の実行を、非走行中の画面要素と比較して制限する実行制限手段と、
を具備することを特徴とする車載装置。A screen element in which at least one of the display content and the processing content of the character is defined as one screen element, and a screen element transition body configured by combining the screen elements and an activation condition of the screen element transition body are acquired from outside. Screen element transition storage means for storing;
When it is determined that the start condition is satisfied, the screen element that executes the screen element transition body by sequentially executing each screen element constituting the screen element transition body that satisfies the start condition according to the setting. A transition body executing means;
Traveling determination means for determining whether or not the vehicle is traveling;
An execution limiting unit that limits execution of at least a part of the screen element executed by the screen element transition body execution unit by comparing with a screen element that is not running when the traveling determination unit determines that the vehicle is traveling; When,
An in-vehicle device comprising: キャラクタ画像を含む画面構成、及び、該キャラクタの画像と共に実行される制御内容を記憶するキャラクタ記憶手段と、
車両が走行中であるか否かを判断する走行判断手段と、を備え、
該走行判断手段により、車両が走行中と判断された場合、前記キャラクタ記憶手段に記憶された画面構成、及び制御内容に対応して前記画面構成の一部、又はすべての表示を停止する
ことを特徴とする車載装置。A screen configuration including a character image, and character storage means for storing control contents executed together with the image of the character;
Traveling determination means for determining whether or not the vehicle is traveling,
When it is determined by the travel determining means that the vehicle is traveling, stopping the display of part or all of the screen configuration corresponding to the screen configuration and the control content stored in the character storage unit. Characteristic in-vehicle device. キャラクタの表示内容、処理内容の少なくとも１つに基づいて１つの画面要素を設定する画面要素設定手段と、
前記画面要素設定手段で設定された１つの画面要素から次の画面要素に移行するための移行条件を設定する移行条件設定手段と、
前記画面要素及び前記移行条件に基づき車両内の表示装置で実行処理するための画面要素推移体を作成する画面要素推移体作成手段と、
車両の走行状態に応じて、前記画面要素の少なくとも一部の実行を制限する走行中実行条件を設定する走行中実行条件設定手段と、
を具備することを特徴とするデータ作成装置。Screen element setting means for setting one screen element based on at least one of the display content of the character and the processing content;
Transition condition setting means for setting transition conditions for transitioning from one screen element set by the screen element setting means to the next screen element;
Screen element transition body creating means for creating a screen element transition body for execution processing on a display device in the vehicle based on the screen element and the transition condition,
A running execution condition setting unit that sets a running execution condition that restricts execution of at least a part of the screen element according to a running state of the vehicle;
A data creation device comprising: 前記走行中実行条件設定手段は、前記画面要素を構成する所定の項目毎に制限項目を設定可能である、ことを特徴とする請求項３に記載のデータ作成装置。4. The data creating apparatus according to claim 3, wherein the running condition setting unit is capable of setting a restriction item for each predetermined item constituting the screen element. キャラクタ画像を含む画面構成、及び、該キャラクタの画像と共に実行される制御内容を設定するキャラクタ設定手段と、
走行条件と対応させて、前記画面構成の一部又はすべての表示を停止するか否かの設定を行う表示停止設定手段と、
を備えることを特徴とするデータ作成装置。A screen configuration including a character image, and character setting means for setting control contents executed together with the image of the character;
Display stop setting means for setting whether or not to stop the display of part or all of the screen configuration in association with the traveling condition,
A data creation device comprising: キャラクタの表示内容、処理内容のうち少なくとも１つに基づいて１つの画面要素を設定する画面要素設定機能と、
前記画面要素設定機能で設定された１つの画面要素から次の画面要素に移行するための１つ以上の移行条件を設定する移行条件設定機能と、
前記画面要素及び前記移行条件に基づき車両内の表示装置で実行処理するための画面要素推移体を作成する画面要素推移体設定機能と、
車両の走行状態に応じて、前記画面要素の少なくとも一部の実行を制限する走行中実行条件を設定する走行中実行条件設定機能と、
をコンピュータに実現させるデータ作成プログラム。A screen element setting function for setting one screen element based on at least one of a character display content and a processing content;
A transition condition setting function for setting one or more transition conditions for transitioning from one screen element set by the screen element setting function to the next screen element;
A screen element transition body setting function for creating a screen element transition body for execution processing on a display device in the vehicle based on the screen element and the transition condition;
A running execution condition setting function that sets a running execution condition that limits execution of at least a part of the screen element according to a running state of the vehicle,
A data creation program that allows a computer to implement 前記走行中実行条件設定機能は、前記画面要素を構成する所定の項目毎に制限項目を設定可能である、ことを特徴とする請求項６に記載のデータ作成プログラム。The data creation program according to claim 6, wherein the running condition setting function can set a restriction item for each predetermined item constituting the screen element.
JP2002218971A 2002-07-26 2002-07-26 On-vehicle device, data generation device and data generation program Pending JP2004061252A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002218971A JP2004061252A (en) 2002-07-26 2002-07-26 On-vehicle device, data generation device and data generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002218971A JP2004061252A (en) 2002-07-26 2002-07-26 On-vehicle device, data generation device and data generation program

Publications (1)

Publication Number Publication Date
JP2004061252A true JP2004061252A (en) 2004-02-26

Family

ID=31939987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002218971A Pending JP2004061252A (en) 2002-07-26 2002-07-26 On-vehicle device, data generation device and data generation program

Country Status (1)

Country Link
JP (1) JP2004061252A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006138994A (en) * 2004-11-11 2006-06-01 Nissan Motor Co Ltd Voice recognition device
US8527144B2 (en) 2009-10-30 2013-09-03 Denso Corporation In-vehicle apparatus and method for controlling same
JP2015026157A (en) * 2013-07-25 2015-02-05 パーク二四株式会社 Ic card additional registration apparatus and computer program
WO2016038676A1 (en) * 2014-09-09 2016-03-17 三菱電機株式会社 Tactile sensation control system and tactile sensation control method
US10073533B2 (en) 2014-06-23 2018-09-11 Toyota Jidosha Kabushiki Kaisha Operation apparatus for vehicle

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006138994A (en) * 2004-11-11 2006-06-01 Nissan Motor Co Ltd Voice recognition device
JP4736404B2 (en) * 2004-11-11 2011-07-27 日産自動車株式会社 Voice recognition device
US8527144B2 (en) 2009-10-30 2013-09-03 Denso Corporation In-vehicle apparatus and method for controlling same
JP2015026157A (en) * 2013-07-25 2015-02-05 パーク二四株式会社 Ic card additional registration apparatus and computer program
US10073533B2 (en) 2014-06-23 2018-09-11 Toyota Jidosha Kabushiki Kaisha Operation apparatus for vehicle
US10162424B2 (en) 2014-06-23 2018-12-25 Toyota Jidosha Kabushiki Kaisha Operation apparatus for vehicle
WO2016038676A1 (en) * 2014-09-09 2016-03-17 三菱電機株式会社 Tactile sensation control system and tactile sensation control method
JPWO2016038676A1 (en) * 2014-09-09 2017-04-27 三菱電機株式会社 Tactile sensation control system and tactile sensation control method

Similar Documents

Publication Publication Date Title
JP5019145B2 (en) Driver information collection device
EP1462317A1 (en) Data creation apparatus
JP3873386B2 (en) Agent device
JP4936094B2 (en) Agent device
JPH11259446A (en) Agent device
JP2008290714A (en) On-vehicle apparatus
JP2000266551A (en) Dfstination setting device and agent device
JP4259054B2 (en) In-vehicle device
JP4441939B2 (en) Destination setting device
JP2000020888A (en) Agent device
JP4207350B2 (en) Information output device
JP4253918B2 (en) Agent device
JP4258607B2 (en) In-vehicle device
JP2004037953A (en) On-vehicle device, and device and program for data creation
JP2004054883A (en) Onboard agent system and interactive operation control system
JP2004053251A (en) In-vehicle device, data creating device and data creation program
JP2000186942A (en) Agent mental model preparing method, and agent device
JP2004050975A (en) In-vehicle device, data preparation device, and data preparation program
JP2004061252A (en) On-vehicle device, data generation device and data generation program
JP2005190192A (en) Onboard system
JP2003157489A (en) Operation control device
JP2004051074A (en) In-vehicle device, data preparation device, and data preparation program
JP4356450B2 (en) In-vehicle device
JP2003106846A (en) Agent apparatus
JP2004301651A (en) Vehicle-mounted device and data preparation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071010

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080219