JP2004037953A

JP2004037953A - On-vehicle device, and device and program for data creation

Info

Publication number: JP2004037953A
Application number: JP2002196497A
Authority: JP
Inventors: Tomoki Kubota; 窪田　智氣; Kazuhide Adachi; 足立　和英
Original assignee: Equos Research Co Ltd
Current assignee: Equos Research Co Ltd
Priority date: 2002-07-04
Filing date: 2002-07-04
Publication date: 2004-02-05

Abstract

<P>PROBLEM TO BE SOLVED: To set the start instructions of speech recognition of an agent device. <P>SOLUTION: A scenario editor device is equipped with a function for setting whether the instructions of speech recognition is automatically started. Further, the agent device is equipped with a function of starting the speech recognition without letting a driver as a user instruct a trigger for starting the speech recognition (pressing a recognition start button) according to the instructions whether or not the speech recognition which is shown in the scenario data generated by the scenario editor. Consequently, omitted is a step of equipment operation such that the driver as the user presses the speech recognition start button when answering a question in an anthropomorphic character-based conversation. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、車載装置、データ作成装置、及びデータ作成プログラムに係り、例えば、車両の搭乗者とのコミュニケーションにより会話をしたり機器操作等を自律的に行うエージェント機能を備えた車載装置、及びそのデータ作成装置、及びデータ作成プログラムに関する。
【０００２】
【従来の技術】
例えば、犬などのペット型のロボットや、車室内においてナビゲーション装置等の機器操作の案内をしたり状況に応じた質問や提案等を行うことで搭乗者との対話や対応をするエージェント装置が開発され、車載装置として車両に搭載されている。そして、装置に対して考えられる種々の状態を想定すると共に、想定した各状態を検出した場合にとるべき対応が、所定のデータやプログラムに従って規定されている。
このような従来のエージェント装置では、ユーザに対して質問や指示の要求をして、ユーザからの音声による回答を認識することがある。この場合、ユーザの認識を開始するタイミングをどのようにするか、認識に使用する辞書はなにか等については、予めプログラミングされている。
【０００３】
【発明が解決しようとする課題】
このような従来のエージェント装置では、エージェントが自動で登場するための条件設定や、エージェントの動作を規定する表示状態や処理、さらには、音声認識の開始タイミングやについては、プログラムを作成及び修正することでしか実現できなかったため、プログラムの知識が無いと作成や変更することができず、また、開発に費やす時間や費用も多く必要であった。
一方、従来車両内でユーザの音声を認識して所定の処理を行う装置として、音声認識機能を備えたナビゲーション装置などが存在する。このような車両内での音声認識機能を備えた従来の装置では、車両内における雑音が多いため、音声を入力する前にユーザが認識開始ボタンを選択するようになっている。音声認識を失敗した場合や、続けて複数回認識作業を行なう場合において２回目以降を自動で開始するナビゲーション装置は存在したが、最初に音声認識を開始する場合には、その開始トリガとして運転者たるユーザが常に指示している。
そして、擬人化されたキャラクタとユーザとの間で会話などのコミュニケーションを行うことを目的としたエージェント装置において音声認識機能を搭載する場合に、人間同士の会話においては存在しない操作（認識開始ボタンの選択）が必要となる。
このため、機械に対して指示するものになってしまいエージェントとのコミュニケーションが不自然になり、会話らしくないという問題が存在する。
【０００４】
本発明は上記課題を解決するためになされたもので、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を実行すると共に、画面要素の指示内容に従って音声認識を開始することが可能な車載装置を提供することを第１の目的とする。
また本発明は、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を容易に作成すると共に、画面要素において音声認識を開始を設定することが可能なデータ作成装置を提供することを第２の目的とする。
また本発明は、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体をコンピュータで容易に作成すると共に、画面要素において音声認識を開始を設定することが可能なデータ作成プログラムを提供することを第３の目的とする。
【０００５】
【課題を解決するための手段】
請求項１記載の発明では、キャラクタの表示内容、処理内容の少なくとも１つが規定された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体及び該画面要素推移体の起動条件を外部から取得して記憶する画面要素推移記憶手段と、車載センサ、使用者情報の少なくとも１つに基づき、前記起動条件を満たしているか判断する条件判断手段と、前記起動条件を満たしていると判断された場合、前記起動条件を満たした前記画面要素推移体を構成する各画面要素を逐次その設定にしたがって実行することで当該画面要素推移体を実行する画面要素推移体実行手段と、音声を認識する音声認識手段と、を備え、前記画面要素推移体実行手段は、前記画面要素の処理内容に音声認識の開始が設定されている場合に、該設定に従って前記音声認識手段による音声認識を開始する、ことにより前記第１の目的を達成する。
請求項２に記載の発明では、請求項１に記載の車載装置において、運転者の運転負荷を判断する運転負荷判断手段を備え、前記画面要素推移体実行手段は、前記運転負荷判断手段で判断された運転負荷が所定値以下の場合に前記音声認識手段による音声認識を開始することを特徴とする。
請求項３に記載の発明では、請求項１又は２に記載の車載装置において、前記画面要素推移体実行手段は、前記画面要素の処理内容に音声認識を終了する時間が予め設定されている場合、該設定に従って前記音声認識手段による音声認識を終了することを特徴とする。
請求項４に記載の発明では、キャラクタの表示内容、音声認識の開始を含む処理内容のうち少なくとも１つに基づいて１つの画面要素を設定する画面要素設定手段と、前記画面要素設定手段で設定された１つの画面要素から次の画面要素に移行するための移行条件を設定する移行条件設定手段と、前記画面要素及び前記移行条件に基づき車両内の表示装置で実行処理するための画面要素推移体を作成する画面要素推移体作成手段と、をデータ作成装置に具備させて前記第２の目的を達成する。
請求項５に記載の発明では、請求項４に記載のデータ作成装置において、音声認識を開始するか否かの条件をユーザが設定しない場合、音声認識の開始を予め定められた条件で判断するように設定する車載判断設定手段と、を備えることを特徴とする。
請求項６に記載の発明では、車両内の表示装置に表示するキャラクタの処理内容を設定するキャラクタ表示処理設定手段をデータ作成装置に具備させ、該キャラクタ表示処理設定手段は、前記キャラクタの処理に基づくユーザの応答音声の認識を開始する開始条件を設定する音声認識開始設定手段を含む、ことにより前記第２の目的を達成する。
請求項７に記載の発明では、キャラクタの表示内容、音声認識の開始を含む処理内容のうち少なくとも１つに基づいて１つの画面要素を設定する画面要素設定機能と、前記画面要素設定機能で設定された１つの画面要素から次の画面要素に移行するための１つ以上の移行条件を設定する移行条件設定機能と、前記画面要素及び前記移行条件に基づき車両内の表示装置で実行処理するための画面要素推移体を作成する画面要素推移体設定機能と、をコンピュータに実現させるデータ作成プログラム、により前記第３の目的を達成する。
請求項８に記載の発明では、請求項７に記載のデータ作成プログラムにおいて、音声認識を開始するか否かの条件をユーザが設定しない場合、音声認識の開始を予め定められた条件で判断するように設定する車載判断設定機能と、を備えることを特徴とする。
【０００６】
【発明の実施の形態】
以下、本発明の車載装置の好適な実施形態であるエージェント装置、データ作成装置の好適な実施形態であるシナリオ作成装置、及びデータ作成プログラムの好適な実施形態であるシナリオエディタについて、図１から図３９を参照して詳細に説明する。
（１）実施形態の概要
本実施形態のエージェント装置では、所定の容姿からなるエージェント（キャラクタ）の画像（平面的画像、ホログラフィ等の立体的画像等）を車両内に表示する。そして、エージェント装置の機能である、センサ等の検出結果から周囲の状態（人の動きや音声を含む）を認識、判断し、その結果に応じた動作や音声を出力するという機能を、このエージェントの容姿の動きや音声と連動して実行する。例えば、「どのジャンルの食事がすきですか」等の回答（和食、洋食等）を要求する問かけを行い、この問いかけに対するユーザの回答内容を判別（回答音声の認識や、回答選択ボタン５４ａの選択から判別）して、次のシーン（画面要素）に応じた処理を実行する。このように、装置からの回答を要求する問いかけと、その回答に応じて、所定の操作の実行を開始するので、ユーザは、あたかも擬似人格を備えたエージェントが車両内に存在しているような体感をするようになる。以下の説明では、このようなエージェント装置の一連の機能の実行を、エージェントの行為や動作として説明する。
本実施形態のエージェント装置では、このエージェントに運転者との各種コミュニケーションや、操作の代行を行わせる。そしてエージェントが自律的に行う様々な行為（各行為）を複数のシナリオ（画面要素推移体）で構成する。そして、エージェントによる一連の連続した行為の内容を規定した複数のシナリオと、各シナリオの展開を自律的に開始（起動）するための自律起動条件（起動条件）とにより規格化したシナリオデータを保存する。
シナリオは、シーン（画面要素）を最小単位として、１又は連続する複数のシーンで構成される。自律的に行う処理内容とエージェントの画像及び音声の少なくとも１つから構成される場面が１シーンである。
シナリオは、所定のシーンから次のシーンに移行するための１の移行条件（連続条件）又は複数の移行条件（分岐条件（複数の状態が発生する場合の各状態毎へのシーンの移行するための条件））と、各移行条件に対応して移行先のシーンを特定する移行先データとから、各シーンの展開構成が規定されている。
【０００７】
一方、エージェント装置のユーザ等は、規定された規格に従った独自のシナリオを、シナリオ作成装置を使用して作成する。シナリオ作成装置は、シナリオ編集プログラムやデータをパーソナルコンピュータにインストールすることで構成することができる。
作成したシナリオは、インターネット等のネットワークを介してエージェント装置に送信し、又はダウンロードしてもらうことにより、また、所定の半導体メモリを介してエージェント装置に格納することで、自己（第三者）の希望通りの行為（コミュニケーションや処理）をエージェントに行わせることが可能になる。
作成するシナリオの最初のシーンに、例えば、人間に対する回答を要求する問いかけのシーンのシナリオとすることができる。そして、独自に作成したシナリオデータを、外部の装置から入力装置を介して入力することが可能である。この場合の入力装置は、半導体メモリに追加するシナリオデータが格納されている場合には、半導体メモリの内容を読みとる記憶媒体駆動装置が該当し、インターネット等のネットワークを介して特定のサーバ等からダウンロードする場合には通信制御装置が該当する。この新たに入力したシナリオデータに従って、シナリオを実行する。
【０００８】
エージェント装置は、メール、ブラウザソフトを備えることにより、ブラウザソフト等を使ってシナリオをダウンロードし、そのダウンロードしたファイルがエージェントを機能させるシナリオデータであるか否か判断し、シナリオデータであればエージェントプログラムに組み込んで使用できるようにする。また、メールに添付されている場合も同様に、添付のファイルがシナリオであるか否か判断しシナリオであればエージェントシステムに組み込んで使用できるようにする。
これにより従来の手法以外にも、既存の通信インフラであるメール、ネットワーク等を使った通信とを使用することにより、また、半導体メモリ等を介することで、パーソナルコンピュータ等を使用して作成した独自のシナリオを追加することができるようになる。
このように、ユーザは自分の思い通りにエージェントを機能させるシナリオを独自にまた、容易に作成することが可能になるので、エージェント装置の自律的な動作に対する抵抗がなくなる。
【０００９】
さらに、エージェント装置では、シナリオ作成装置で作成されたシナリオデータに基づいてエージェントを自律的に起動させる（自動で登場させる）条件を満たしたかを判断する処理を定期的にもしくは特定の状態を満たしたときに実行し、条件を満たした場合にエージェントを自動で登場させることができるシステムを備えさせる。
これによりシナリオ作成装置では、プログラムの知識の有無に関係無く、シナリオエディタを持つことで特定の条件を満たしたときに自動で登場して対応してくれるエージェントのシナリオデータを作成及び編集することができる。
例えば、オービスの設置してある２ｋｍ手前の地点（東経北緯座標で指定）でかつ、道路種別が高速道路でかつ、車速が１２０ｋｍ／ｈ以上で走行している場合に自動で登場してオービスの警告をしてくれるシナリオの条件の中にある車速の条件を１００ｋｍ／ｈ以上に変更するとか、毎年特定の日（例えばクリスマスイブ）にだけ起動するシナリオを作成することが可能となる。
【００１０】
そして、シナリオエディタ装置において、音声認識を自動で開始させるか否かの指示を設定できる機能を備えさせる。また、エージェント装置ではシナリオエディタで作成したシナリオデータに示されている音声認識を自動で開始させるか否かの指示に従って、ユーザである運転者が音声認識開始のトリガ（認識開始ボタンを押す）を指示しなくても音声認識を開始させる機能を備えさせる。
これにより、エージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。また、このステップは人間同士の会話においては存在しないため、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【００１１】
（２）実施形態の詳細
図１は、エージェント装置とシナリオ作成装置からなる全体のシステム構成を表したものである。
このシステムでは、本実施形態のエージェント装置１と、指定された規格でシナリオデータを作成するユーザ又は第三者であるシナリオデータ作成者のシナリオ作成装置２と、サーバ３等を使用したインターネット等の通信手段から構成されている。
シナリオ作成装置２では、シナリオエディタにより独自のシナリオデータを作成する。そして、独自のシナリオデータを作成したユーザは、ＤＶＤ−ＲＯＭ、ＩＣカード等の半導体記憶装置その他の記憶媒体７にシナリオデータを格納して、エージェント装置１に受け渡すことが可能である。そして、シナリオデータを受け取ったエージェント装置１では、記憶媒体駆動装置により記憶媒体７からシナリオデータを読み込んで、既に記憶しているシナリオデータに組み込むことで、シナリオ作成装置２で作成されたシナリオデータにしたがってエージェント装置１を動作させることが可能になる。なお、シナリオ作成装置２で作成するものは、エージェント装置１のユーザ自身でもよく、また、第三者でもよい。
また、エージェント装置１では、ユーザ自身や第三者が作成したシナリオデータを、インターネット等のネットワークを介して組み込み、また、メールに添付されたシナリオデータを組み込むことができる。
また、エージェント装置１のユーザに対してサービスの提供等を希望する第三者は、所定形式のシナリオデータを、例えば、シナリオエディタを使用してシナリオ作成装置２で作成し、自己のホームページに掲載してダウンロード可能にし、または電子メールの添付ファイルとしてエージェント装置１に送信する。エージェント装置１は、電子メールに添付されたシナリオデータ５を受信し、または、ユーザがサーバ３等の通信手段を介してシナリオデータファイル４をダウンロードするようになっている。また、エージェント装置１は、受信したシナリオデータの実行に従って取得されるユーザの回答（シナリオデータに対する回答メール）を、電子メール６の本文又は添付ファイルで、シナリオ作成者のシナリオ作成装置２に送信する。
【００１２】
まず、開発者やユーザによって作成されたシナリオに従ってエージェントが自律的に機能するエージェント装置１について、その構成と動作を説明する。
図２は、本実施形態におけるエージェント装置１の構成を表したブロック図である。
本実施形態におけるエージェント装置１は、車両に搭載されおり、車両内のユーザーとの間でコミュニケーションを行う機能や車両に対して所定の処理を行う車両制御機能等のエージェント機能の他、ユーザーに走行経路の案内等を行うナビゲーション機能も備えている。
本実施形態のエージェント装置１では、エージェント機能および、ナビゲーション機能を実現するための中央処理装置（１）、表示装置（２）、音声出力装置（３）、音声入力装置（４）、入力装置（５）、各種状況検出装置（６）、各種車載装置（７）、通信制御装置（８）、通信装置（９）、外部記憶装置（１０）を備えている。
【００１３】
中央処理装置（１）は、種々の演算処理を実行するＣＰＵ（１−１）、外部記憶装置（１０）からプログラムを読み込んで格納するフラッシュメモリ（１−２）、フラッシュメモリ（１−２）のプログラムチェック、更新処理を行なうプログラム（プログラム読み込み手段）を格納したＲＯＭ（１−３）、ＣＰＵ（１−１）がワーキングメモリとして演算処理中のデータを一時的に格納するＲＡＭ（１−４）、時計（１−５）、表示装置（２）への画面表示に使用する画像データが記憶された画像メモリ（１−７）、ＣＰＵ（１−１）からの表示出力制御信号に基づいて画像メモリ（１−７）から画像データを取り出し、画像処理を施して表示装置（２）に出力する画像プロセッサ（１−６）、ＣＰＵ（１−１）からの音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力する処理と、音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なう音声プロセッサ（１−８）、入力装置（５）による入力内容を受け取る入力装置Ｉ／Ｆ部（１−９）、各種状況を検出するための検出器類から情報を受け取るための各種入力Ｉ／Ｆ部（１−１０）、他の装置と情報のやり取りを行なう通信Ｉ／Ｆ部（１−１１）、ＣＤ−ＲＯＭやＩＣカード類、ハードディスク等といった外部記憶媒体（１０−２）からデータ及びプログラムを読み込んだりデータを書き込んだりする外部記憶装置（１０）を制御するための外部記憶装置制御部（１−１２）を備えている。
【００１４】
この中央処理装置（１）は、経路探索処理や、経路案内に必要な表示案内処理や、その他システム全体において必要な処理、本実施形態におけるエージェント処理（エージェントと運転者との各種コミュニケーションや操作代行、状況判断を行ないその結果に応じて自律的に行なう処理）を行うようになっている。
更新処理を行なうプログラム（プログラム読み込み手段）は、ＲＯＭ（１−３）以外にもフラッシュメモリ（１−２）に格納するようにしてもよい。
本実施形態におけるプログラムを含め、ＣＰＵ（１−１）で実行される全てのプログラムは、外部記憶媒体（１０−２）であるＣＤ−ＲＯＭ等に格納されてもよいし、それらプログラムの一部または全てが本体側のＲＯＭ（１−３）またはフラッシュメモリ（１−２）に格納するようにしてもよい。
この外部記憶媒体（１０−２）に記憶されたデータやプログラムが外部信号として中央処理装置（１）に入力されて演算処理されることにより、種々のエージェント機能及びナビゲーション機能が実現されるようになっている。
また、本実施形態の中央処理装置（１）は、起動条件（自律起動条件）を満たしていると判断された場合、画面要素推移体（シナリオ）を実行する、画面要素推移体実行手段、画面要素推移体実行機能を形成している。
【００１５】
表示装置（２）は、中央処理装置（１）の処理による経路案内用の道路地図や各種画像情報が表示されたり、キャラクタの各種行動（動画）及び画面構成のパーツで構成された画面要素推移体（シナリオ）が表示されたりするようになっている。
この表示装置（２）には、液晶表示装置、ＣＲＴ等の各種表示装置が使用される。
なお、この表示装置（２）は、例えばタッチパネル等の、入力装置（５）としての機能を兼ね備えたものとすることができる。
【００１６】
音声出力装置（３）は、中央処理装置（１）の処理によって声による経路案内を行なう場合の案内音声や、エージェントによる運転者との通常のコミュニケーション用の会話や運転者情報取得のための質問による音声や音が出力されるようになっている。
音声出力装置（３）は、音声認識処理において、音声認識を開始する際（音声入力装置（４）で入力データの取得を開始する際）に、ユーザに対して音声による入力が可能であることを示す開始音を出力するようになっている（開始音出力手段、開始音声出力機能）。本実施形態では、開始音として「ピー」等の音を出力するようになっているが、ブザー音やチャイム音であってもよい。
音声出力装置（３）は、車内に配置された複数のスピーカで構成されている。これらは、オーディオ用のスピーカと兼用するようにしてもよい。
【００１７】
音声入力装置（４）は、運転者の音声を的確に収集するために指向性のある専用のマイクが使用されたりする。この音声入力装置（４）から入力されたアナログ信号を変換したデジタルの音声入力信号を使ってＣＰＵ（１−１）で音声認識処理が実行されるようになっている。
音声認識の対象となる音声としては、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話（運転者による応答を含む）等があげられ、音声入力装置はこれらの音声を入力する音声入力手段として機能する。
なお、音声認識が必要なシーンか否かについては各シーンデータにおいて、音声認識の指示が設定されている。そして、音声認識の指示が設定されているシーンのシーンデータには、音声認識の対象となる音声を認識するための辞書が指定されている。この音声認識の指示は、音声認識を「自動で開始する」、「自動で開始しない」、「エージェント装置（車載装置）が判断する」、のうちのいずれかが設定されている。音声認識の指示が「エージェント装置が判断する」である場合、エージェント装置は、運転者の負荷を走行中の道路状態（カーブ、交差点、直線等）や、運転動作状態（急加速中、急ブレーキ中、ステアリング操作中等）などから判断し、負荷が高い場合には音声認識を開始せず、負荷が低い場合には、開始音を出力した後に音声の入力を可能にする。
【００１８】
尚、音声出力装置（３）と音声入力装置（４）とでハンズフリーユニットを形成させて、通信制御装置（８）及び通信装置（９）を用いて通話を行なえるようにしてもよい。
また、音声入力装置（４）、音声プロセッサ（１−８）及び音声認識処理とを組み合わせることで、運転者が同乗者と会話中か否かを検出する会話検出手段、会話検出機能や、運転者の発する音声を使って運転者の状況を検出する状況検出手段、状況検出機能として機能させてもよい。
【００１９】
入力装置（５）は、目的地を設定する際に電話番号や地図上の座標などにて入力したり、目的地までの経路探索や経路案内を要求（リクエスト）するために使用される。また、入力装置（５）は、運転者情報を運転者が入力する場合や、エージェント機能の使用を開始する場合のトリガとしてとして使用される。さらに入力装置（５）は、エージェント機能による、エージェントとのコミュニケーションにおいて、エージェントからの問い合わせ等に対して運転者が応答するための１つの応答手段、応答機能としても機能するようになっている。
入力装置（５）には、タッチパネル（スイッチとして機能）、キーボード、マウス、ライトペン、ジョイスティックなどの各種の装置が使用可能である。
また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。
リモコンには、画面上に表示されたカーソルの移動操作等を行なうジョイスティックの他、メニュー指定キー（ボタン）、テンキー等の各種キーが配置される。
また、上記の音声入力装置（４）を使った音声認識を入力装置の代わりに使用しても良い。
【００２０】
中央処理装置（１）は、入力装置Ｉ／Ｆ部（１−９）を介して入力装置（５）から受け取った内容を使ってＣＰＵ（１−１）が運転者による入力操作中か否かを検出すること、又は／及び音声認識結果を併用して各種機器の操作状況を検出する機能（機器操作状況検出手段、機器操作状況検出機能）を備えるようにしてもよい。
【００２１】
図３は、各種状況検出装置（６）の構成を表したブロック図である。
各種状況検出装置（６）は、現在位置検出装置（６−１）と、交通状況情報受信装置（６−２）と、運転操作等の状況を検出するためにブレーキ検出器（６−３）と、サイドブレーキ（パーキングブレーキ）検出器（６−４）と、アクセル開度検出器（６−５）と、Ａ／Ｔのシフト位置検出器（６−６）と、ワイパ検出器（６−７）と、方向指示器検出器（６−８）と、ハザード検出器（６−９）と、イグニッション検出器（６−１０）を備えている。上記構成により、各種状況及び条件を検出することによって、本願発明の検出手段、検出機能が形成される。
【００２２】
現在位置検出装置（６−１）は、車両の絶対位置（緯度、経度による）を検出するためのものであり、人工衛星を利用して車両の位置を測定するＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）受信装置（６−１−１）と、ＧＰＳの補正信号を受信するデータ送受信装置（６−１−２）と、方位センサ（６−１−３）と、舵角センサ（６−１−４）と、距離センサ（６−１−５）等が使用される。
ＧＰＳ受信装置（６−１−１）は単独で位置測定が可能であるが、ＧＰＳ受信装置（６−１−１）による受信が不可能な場所では、方位センサ（６−１−３）、舵角センサ（６−１−４）及び距離センサ（６−１−５）の少なくとも１つ用いた推測航法によって現在位置を検出するようになっている。また、データ送受信装置（６−１−２）を用いてＧＰＳの補正信号を受信することでＧＰＳ受信装置（６−１−１）による位置検出の精度を上げることができる。
方位センサ（６−１−３）は、例えば、地磁気を検出して車両の方位を求める地磁気センサ、車両の回転角速度を検出しその角速度を積分して車両の方位を求めるガスレートジャイロや光ファイバジャイロ等のジャイロ、左右の車輪センサを配置しその出力パルス差（移動距離の差）により車両の旋回を検出することで方位の変位量を算出するようにした車輪センサ、等が使用される。
舵角センサ（６−１−４）は、ステアリングの回転部に取り付けた光学的な回転センサや回転抵抗ボリューム等を用いてステアリングの角度αを検出する。
距離センサ（６−１−５）は、例えば、車輪の回転数を検出して計数し、または加速度を検出して２回積分するもの等の各種の方法が使用される。
距離センサ（６−１−５）と舵角センサ（６−１−４）は運転操作状況検出手段としても機能する。
【００２３】
交通状況情報受信装置（６−２）は、道路の混雑状況等を検出するためのものである。
交通情報受信装置（６−２）は、路上に配置されたビーコンから情報を受信するビーコン受信装置（６−２−１）と、ＦＭ放送電波を用いて情報を受信する装置（６−２−２）等が使用され、これらを用いて交通情報センターから渋滞情報や、交通規制情報等を受信する。
また、ビーコン受信装置（６−２−１）を現在位置検出手段として、現在位置検出装置（６−１）と併用してもよいものとする。
【００２４】
ブレーキ検出器（６−３）は、フットブレーキが踏み込み状態か否かを検出する。
サイドブレーキ（パーキングブレーキ）検出器（６−４）は、運転者がサイドブレーキを操作中か否か、及びサイドブレーキの状態（ＯＮかＯＦＦか）を検出する。
アクセル開度検出器（６−５）は、運転者がアクセルペダルをどれぐらい踏み込んでいるかを検出する。
シフト位置検出器（６−６）は、運転者がＡ／Ｔのシフトレバーを操作中か否か、及びシフトレバー位置を検出する。
ワイパ検出器（６−７）は、運転者がワイパを使用しているか否かを検出する。
【００２５】
方向指示器検出器（６−８）は、運転者が方向指示器の操作中であるか否か、及び方向指示器が点滅中か否かを検出する。
ハザード検出器（６−９）は、運転者がハザードを使用している状態か否かを検出する。
イグニッション検出器（６−１０）は、イグニッションスイッチがＯＮになっているか否かを検出する。
車速の検出には距離センサ（６−１−５）を使用する。
各種状況検出装置（６）は、機器操作状況検出手段としてこれらの他にも、ヘッドランプやルームランプ等のランプ類の操作状況を検出するライト検出センサ、運転者のシートベルト着脱操作を検出するシートベルト検出センサ、その他のセンサを備えている。
【００２６】
図２に示されるように、ＧＰＳ受信装置（６−１−１）と、データ送受信装置（６−１−２）と、交通情報受信装置（６−２）は通信装置Ｉ／Ｆ部（１−１１）に接続され、他は各種入力Ｉ／Ｆ部（１−１０）に接続されている。
【００２７】
通信装置Ｉ／Ｆ部（１−１１）には、他にも通信制御装置（８）が接続できるようになっている。この通信制御装置（８）には、通信装置（９）（各種無線通信機器からなる携帯電話等）が接続されるようになっている。
これらを使って電話回線による通話の他、例えば車内での通信カラオケのために使用するカラオケデータを提供するような情報提供局との通信を行なったりすることもできるようになっている。
カラオケデータを提供する情報提供局の他にも、交通情報を提供する情報基地局との通信や、エージェント処理に用いるシナリオデータを提供する情報提供局と通信を、通信装置（９）と通信制御装置（８）を介して行うことも可能である。
【００２８】
本実施形態において中央処理装置（１）は、通信制御装置（８）を介してシナリオが添付された電子メールを受信することができるようになっている。
また、中央処理装置（１）には、インターネット上のホームページを表示するブラウザソフトを組み込み、ＣＰＵ（１−１）で処理させることが可能であり、通信制御装置（８）を介してホームページからシナリオを含めたデータをダウンロードすることができるようになっている。
なお、通信制御装置（８）は、通信装置（９）と一体になったものを使用してもよい。
【００２９】
また、中央処理装置（１）は、通信Ｉ／Ｆ部（１−１１）を通して車内通信を行なうことで他の車載装置（７）の操作状況を受け取ったり、また、車載装置に対する各種制御を行うようになっている。
例えば、中央処理装置（１）は、各種車載装置（７）であるエアコン装置から、運転者がエアコンの各種スイッチ等を操作中か否かの情報を受け取ったり、設定温度を上げるや、下げるといったようにエアコン装置を制御を行う。また、オーディオ装置から運転者がラジオ、ＣＤプレーヤ、カセットプレーヤー等のオーディオ機器を操作中か否か、及びオーディオ機器による音声が出力中か否かの情報を受け取ったり、出力音量を上げるや、下げるといったようにオーディオ装置の制御を行うようになっている。
【００３０】
外部記憶装置（１０）は、外部記憶媒体駆動部（１０−１）とその外部記憶媒体（１０−２）を備えている。外部記憶装置（１０）は、ＣＰＵ（１−１）からの指示で外部記憶装置制御部（１−１２）による制御のもとで外部記憶媒体（１０−２）からデータやプログラムの読み込み、及び外部記憶媒体（１０−２）へのデータやプログラムの書き込みを行うようになっている。
外部記憶媒体（１０−２）には、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光ディスク、磁気テープ、ＩＣカード類、光カード等の各種記憶媒体が使用され、使用する媒体ごとにそれぞれの外部記憶媒体駆動装置（１０−１）が使用される。
【００３１】
外部記憶装置（１０）は、システムにおいて複数個所持してもよいものとする。例えば、収集した個人情報である、運転者情報データ（１０−２−３−６）と、学習項目データ及び応答データ（１０−２−３−７）を持ち運びが容易なＩＣカードやフレキシブルディスクで構成し、その他のデータをＤＶＤ−ＲＯＭで構成するといった例が考えられる。こうすることで、他の車両を運転する場合にこれらを記憶させたＩＣカードからデータを読み出させて使用し、自分が過去に応対した状況を学習した状態のエージェントとコミュニケーションすることが可能になる。つまり、車両毎のエージェントではなく、運転者毎に固有な学習内容のエージェントを車両内に出現させることが可能になる。
また、シナリオデータ＋シナリオで使用する画像データ（１０−２−３−４）を一例としてＤＶＤ−ＲＯＭで持つ構成にした場合でも、ＩＣカードを使って追加することも可能になっている。
これにより、ユーザ各自にとって固有のオリジナルシナリオを加えることが可能である。
このように、画面要素推移体（シナリオ）及び画面要素推移体の起動条件を外部から記憶することにより、本願発明の画面要素推移記憶手段、画面要素推移記憶機能が形成される。
【００３２】
ＣＰＵ（１−１）は各種エージェント機能やナビゲーション機能を実現するプログラム（１０−２−１）や、演算処理に使用するエージェントデータ（１０−２−３）とナビゲーションデータ（１０−２−２）を、上記構成例で示すＤＶＤ−ＲＯＭやＩＣカード等から別の外部記憶装置（例えばハードディスク装置等）に格納（インストール）し、この記憶装置から必要なプログラム等をフラッシュメモリ（１−２）に読み込んで（ロードして）実行するようにしてもよいし、演算処理に必要なデータをこの記憶装置からＲＡＭ（１−４）に読み込んで（ロードして）実行するようにしてもよい。
【００３３】
次に、本発明におけるプログラムを含めたＣＰＵ（１−１）で実行されるプログラムの構成について説明する。
図４は、ＣＰＵ（１−１）でプログラムが実行されることにより実現されるエージェント処理部（１０１）と、全体処理部（１０２）との関係を表したものである。
本実施例では、種々のナビゲーション機能を実現する全体処理部（１０２）に、エージェント機能を実現するエージェント処理部（１０１）を加えることでエージェント機能付きナビゲーション装置を実現する構成になっている。
【００３４】
エージェント処理部（１０１）と全体処理部（１０２）は、互いの処理データをやり取りするためのＩ／Ｆ部をそれぞれが持っており、互いの処理データを取得し合えるようになっている。
例えば、エージェント処理部（１０１）は、シナリオデータに従って運転者とのコミュニケーションを実行した結果、運転者が設定したい目的地データを取得した場合に、このデータを全体処理部（１０２）に供給するようになっている。全体処理部（１０２）では、取得した目的地データにより経路探索をし、作成した走行経路データに基づく経路案内を行なう。この経路案内処理において、画像や音声による進路変更方向等の案内を行なう場合に、案内に必要なデータを全体処理部（１０２）からエージェント処理部（１０１）に供給し、走行経路案内をするシナリオをデータ化したシナリオデータに従ってエージェントが案内することも可能である。
【００３５】
図５は、エージェント処理部（１０１）の構成を表したものである。
エージェント処理部（１０１）は、シナリオ駆動部（１０１−１）と、自律起動判断部（１０１−２）と、学習部（１０１−３）と、キャラクタ心理部（１０１−４）と、描画・音声出力部（１０１−５）と、音声認識部（１０１−７）と、エージェントＯＳ部（１０１−８）と、外部Ｉ／Ｆ部（１０１−９）とを備えている。
シナリオ駆動部（１０１−１）は、シナリオデータ（１０−２−３−４）を読み込みそのシナリオデータに基づいて各処理部にメッセージ通信等を使って指示（各処理部が提供する機能を使用）する。シナリオ駆動部（１０１−１）は、シナリオの実行を管理し運転者に各種エージェント機能を提供するといったエージェント処理部の中心的な処理を行う。
【００３６】
自律起動判断部（１０１−２）は、シナリオデータ（１０−２−３−４）にある各シナリオの自律起動条件データを保持し、エージェントＯＳ部（１０１−８）からだされる定期的な自律起動判断指示により、時間、位置、状態等の各種条件と各種状況との比較、判断を行なっている。
条件が一致した場合に、自律起動判断部（１０１−２）はシナリオ駆動部（１０１−１）に対し、条件が一致したシナリオの実行要求の指示を出す。
自律起動条件と比較するための各種状況はエージェントＯＳ部（１０１−８）及び学習部（１０１−３）から入手している。
また、定期的な自律起動判断指示以外にも、状況の変化が大きいとされる場合は、エージェントＯＳ部から自律起動判断指示が出されるので、自律起動判断部（１０１−２）は、自律起動判断処理を行なうようになっている。状況の変化が大きいとされる場合とは、例えば運転者が目的地設定を行なった場合、ナビゲーション機能による走行案内経路をはずれた場合、シナリオデータが追加された場合、シナリオデータが削除された場合等がある。
【００３７】
図５において、学習部（１０１−３）は、エージェントとのコミュニケーションにおいて運転者の選択や応答によって入手した項目（実行結果や実行履歴）を運転者情報データ（１０−２−３−６）や、学習項目データ及び応答データ（１０−２−３−７）として格納する。学習部（１０１−３）は、シナリオが異なるシーンで終了する場合の終了の仕方を示すエンドＩＤも入手して応答データ（１０−２−３−７）として格納する。これら入手した項目は、ＲＡＭ（１−４）上に格納されているが、外部記憶媒体（１０−２）であるＩＣカード等にも出力できるようになっている。
また、学習部（１０１−３）は、エージェントＯＳ部（１０１−８）から状況の変化を入手して運転操作に関する情報を記録する。例えば、運転者による乗車時間帯や、乗車頻度等の各種状況を判断するために、電源ＯＮ（イグニッションＯＮ）の日時を過去１０回分記憶しておいたりもする。格納された情報は、例えばシナリオ駆動部（１０１−１）に提供されシナリオの展開に変化を与えるために使用されたり、自律起動判断の比較に使用されたりする。
なお、また、本実施形態における学習部（１０１−３）は、運転者情報の保持・参照も兼務しているが、運転者情報部として独立させてもよい。
【００３８】
キャラクタ心理部（１０１−４）は、エージェントＯＳ部（１０１−８）が管理している現在状況を入手し、メンタルモデル変更条件データに基づき、キャラクタの心理状態を表す５つのパラメータを自律的に変更する。
キャラクタの心理状態は、元気、友好、従順、自信、モラルの各パラメータで表され、各パラメータは例えば０〜１００の値で表わされるようになっている。各パラメータは、車両状況（車両自体の状況、運転者の応答や反応、同乗者の有無、対向車等を含む車両の状況）の判断と学習をし、各時点での車両状況から、記憶された各パラメータの値を変化させるようになっている。例えば、運転者からのねぎらいの言葉が認識された場合には友好のパラメータの値が１上昇する等、段階的に変化するようになっている。
また、シナリオ駆動部からの指示でもキャラクタの心理状態を表す５つのパラメータを変化させる。
さらに、こキャラクタ心理部（１０１−４）は、の５つのパラメータを使用して、キャラクタの心理状態を判断する。判断された心理状態は、例えばシナリオ駆動部（１０１−１）に提供されシナリオの展開に変化を与えるために使用されたり、描画・音声出力部（１０１−５）に提供されキャラクタの各種行動（動作）に変化を与えるために使用されたりする。
【００３９】
描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）からの指示で選択ボタンやタイトル等のパーツから構成される画面を表示するための制御信号を作成する。また、シナリオ駆動部（１０１−１）からの指示で、シーンデータによる表示状態に対応するキャラクタの各種行動（動作）を表示するための制御信号も作成する。
本実施形態では、これらの制御信号は、エージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある画像プロセッサへの指示を行なう処理部を通して画像プロセッサ（１−６）へ伝わり画像処理を施し表示装置（２）に表示されるが、全体処理部（１０２）を通さずにエージェントＯＳ部（１０１−８）において画像プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
【００４０】
描画・音声出力部（１０１−５）は、また、シナリオ駆動部（１０１−１）からの指示でエージェントが運転者とコミュニケーションを行なう際の台詞を出力するための制御信号を作成する。また、シナリオ駆動部（１０１−１）からの指示で各種効果音を出力するための制御信号も作成する。
本実施形態では、これらはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある音声プロセッサへの指示を行なう処理部を通して音声プロセッサ（１−８）へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力されるが、全体処理部（１０２）を通さずにエージェントＯＳ部（１０１−８）において音声プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
【００４１】
なお、本実施形態の描画・音声出力部（１０１−５）は、各シーンにおけるキャラクタの動作描画機能と音声出力機能を備えているが、描画部（描画機能部）と、音声出力部（音声出力機能部）とを別々に構成するようにしてもよい。
【００４２】
音声認識部（１０１−７）は、シナリオ駆動部（１０１−１）からの指示により、全体処理部（１０２）中の音声認識処理部に音声認識辞書を作成させるための制御信号を発する。また、音声認識部（１０１−７）は、シナリオ駆動部（１０１−１）からの指示で音声認識処理を開始させたり停止させたりする制御信号も発する。
本実施形態では、これらはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から、全体処理部（１０２）内にある音声認識処理部に伝えられる。
この音声認識処理部は、音声認識処理を開始する指示及び停止する指示を、音声プロセッサ（１−８）に伝え、音声プロセッサ（１−８）は音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なうことになっている。
音声入力信号が入力されると、音声認識処理部は、前記デジタルの音声入力信号を取得し、それをもとに音声認識処理部は認識処理を行ない、その結果は先ほどの経路と逆の流れで音声認識部（１０１−７）に伝えられる。音声認識部（１０１−７）は、音声認識結果をシナリオ駆動部（１０１−１）に通知する。
以上の構成により、音声を認識する音声認識手段、音声認識機能が形成される。
【００４３】
エージェントＯＳ部（１０１−８）は、時間、場所、各種入力等の状況の変化（シナリオの追加も含む）を取得して現在の状況を管理し、状況の変化に対して必要に応じてメッセージ通信にて各処理部に通知する。状況の変化は、外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）から供給されたり、問い合わせたりして入手する。
入手される情報は、各種状況検出装置（６）による検出結果等を、各種入力Ｉ／Ｆ部（１−１０）と、通信Ｉ／Ｆ部（１−１１）より取り込みＲＡＭ（１−４）に書き込まれたものである。入力装置（５）を使って入力された内容も、外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）から供給され、その内容を必要に応じてメッセージ通信にて各処理部に通知する。
また、他にも各種のライブラリを持っており、各処理部の間でデータのやり取りなどを行なうメッセージ通信の提供、時間に関する処理を行ないタイマーの役割をして特定時間の経過通知、及び現在時刻の提供、メモリの管理を行ない各処理部が処理を行なう際に必要なメモリの提供、外部記憶媒体からのデータ読み込みや書き込み機能の提供などを行なう。
【００４４】
エージェントＯＳ部（１０１−８）は、自律起動判断部（１０１−２）に対して、定期的に自律起動判断指示を出すようになっている。この定期的な自律起動判断指示は、所定時間毎に出される。所定時間としては、定期的に出される自律起動判断指示によって定期的に処理される自律起動判断処理が、中央処理装置（１）全体の他の処理に影響しない範囲でできるだけ短い時間であることが望ましく、本実施形態では５秒間隔に設定されている。この所定時間は入力装置（５）からの操作によってユーザーが当該所定時間を任意に変更することができるようにしてもよい。
また、エージェントＯＳ部（１０１−８）は、状況の変化が大きいと判断された場合にも、自律起動判断部（１０１−２）に対して、定期的に自律起動判断指示を出すようになっている。状況の変化が大きいとされる場合とは、例えば運転者が目的地設定を行なった場合、案内経路から車両がはずれた場合、シナリオデータが追加された場合、シナリオデータが削除された場合等であり、あらかじめ該当する項目が規定されＲＡＭ（１−４）等に記憶されている。
【００４５】
外部Ｉ／Ｆ部（１０１−９）は、エージェント処理部（１０１）と全体処理部（１０２）との間のインターフェースになっている（全体処理部（１０２）には受け手であるエージェントＩ／Ｆ部が存在する）。エージェント処理において利用するナビゲーション情報等各種情報の取得と、エージェント処理部から全体処理部に制御信号を伝えてナビゲーションを制御したりする。
この外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）に通知して行なっている、画像プロセッサ（１−６）への描画指示や、音声プロセッサ（１−８）への音声出力指示、入力装置Ｉ／Ｆ部（１−９）からの入力情報の取得等、他プロセッサ及びＩ／Ｆ部への指示を行なう処理部をエージェント処理部に持たせ直接指示をしたり情報を取得したりするようにしてもよい。
【００４６】
図４における全体処理部（１０２）は、図示しないが地図描画部、経路探索部、経路案内部、現在位置計算部、目的地設定操作制御部等からなりナビゲーションの信号出力処理を行なうアプリケーション部、及び地図表示や経路案内に必要な表示出力制御、音声案内に必要な音声出力制御を行なうためのプログラム等のＯＳ部等で構成されている。
また、この全体処理部（１０２）には音声認識を行なう音声認識処理部、テキストデータを音声データに変換する処理部も存在する。ブラウザ機能やメール機能を追加する場合の当該処理部はこの全体処理部（１０２）に追加される。
もしくは、エージェント処理部（１０１）がブラウザ機能やメール機能を持つような構成にしてもよい。
また、本実施形態ではエージェント処理を実行するための拡張機能が全体処理部（１０２）に加えられている。この拡張機能には、例えばナビゲーションデータの中にある道路データと現在位置から、走行中の道路の種別（高速道路、国道、等）を検出する手段や走行中の道路のカーブ状況（カーブ手前、カーブ終了）を検出する手段等が存在する。
【００４７】
次に、外部記憶媒体（１０−２）に格納されているデータ構成（プログラムを含む）について説明する。
図６は、外部記憶媒体（１０−２）に集録されている情報を概念的に表したものである。
外部記憶媒体（１０−２）には本実施形態による各種エージェント機能やナビゲーション機能を実現するプログラム（１０−２−１）、及び必要な各種データとして、エージェントデータ（１０−２−３）とナビゲーションデータ（１０−２−２）が格納されている。
ナビゲーションデータ（１０−２−２）は、地図描画、経路探索、経路案内、目的地設定操作等に必要な各種データで構成されている。例としては、経路案内に必要な地図データ（道路地図、住宅地図、建造物形状地図等）、交差点データ、ノードデータ、道路データ、写真データ、登録地点データ、目的地点データ、案内道路データ、詳細目的地データ、目的地読みデータ、電話番号データ、住所データ、その他のデータのファイルからなりナビゲーション装置に必要なすべてのデータが記憶されている。また、必要に応じて通信地域データ等も記憶される。
【００４８】
描画地図データは、表示装置（２）に描画される描画地図データであり、この描画地図データは、階層化された地図、例えば最上位層から日本、関東地方、東京、神田といった階層ごとの地図データが格納されている。各階層の地図データは、それぞれ地図コードが付されている。
交差点データは、各交差点を特定する交差点番号、交差点名、交差点の座標（緯度と経度）、その交差点が始点や終点になっている道路の番号、および信号の有無などで構成されている。
ノードデータは、各道路における各地点の座標を指定する緯度、経度などの情報から構成されている。すなわち、このデータは、道路上の一地点に関するデータであり、ノード間を接続するものをアークと呼び、複数あるノード列のそれぞれの間をアークで接続することによって道路が表現される。
道路データは、各道路を特定する道路番号、始点や終点となる交差点番号、同じ始点や終点を持つ道路の番号、道路の太さ、進入禁止等の禁止情報、後述の写真データの写真番号などで構成されている。
写真データは、各交差点や直進中に見える特徴的な風景等を撮影した写真が、その写真番号と対応してデジタル、アナログ、またはネガフィルムの形式で存在する。
【００４９】
通信地域データは、通信制御装置（８）に接続され又は無接続で車内において使用される通信装置（９）である携帯電話が、車内から通信できる地域を表示装置（２）に表示したり、その通信できる地域を経路探索の際に使用したりするための通信地域データが、携帯電話のタイプ別に存在する。
エージェントデータ（１０−２−３）は、メンタルモデルデータ（１０−２−３−１）と、お勧め提案データ　（１０−２−３−２）と、知識データ（１０−２−３−３）と、シナリオデータ（１０−２−３−４）と、キャラクタデータ（１０−２−３−５）と、運転者情報データ（１０−２−３−６）と、学習項目データ及び応答データ（１０−２−３−７）と、で構成されている。
【００５０】
メンタルモデルデータ（１０−２−３−１）は、キャラクタの心理状態を表す５つのパラメータ（友好度，従順度，自信度，モラル，元気度）及びメンタルモデル変更条件データとで構成されている。メンタルモデル変更条件データは、前記の各パラメータの指数を増減する条件と、変化するパラメータ及びその変化の度合いが記されたものである。このテーブルに従って、各パラメータが増減しキャラクタの心理状態を表している。
お勧め提案データ（１０−２−３−２）は、運転者にお勧め情報としてレストラン等を提案する場合に使用する。このお勧め提案データ（１０−２−３−２）にはレストラン名称、読み上げデータ、レストランのジャンルデータ、雰囲気データ、料金データ、地点データ、…等で構成され運転者情報データ（１０−２−３−６）及び知識データ（１０−２−３−３）を基にして運転者にお勧めのレストランを検索して提案したりする。
レストラン以外にも観光地、休憩場所などが存在する。
知識データ（１０−２−３−３）は、統計データを基に年齢、性別による好みの傾向や、同乗者の有無によるシチュエーションによる選択傾向、場所による名産等を含んだ選択傾向、時期や時間による選択傾向をデータ化したものである。レストランの選択傾向、観光地の選択傾向、休憩場所の選択傾向、…等さまざまな選択傾向が存在する。
【００５１】
シナリオデータ（１０−２−３−４）は、エージェントが運転者とのコミュニケーションを取ったりする時の、状況に応じたエージェントの行為や質問内容、どういった状況において自律的にエージェントから情報提供を行なうのかといった条件等が規定されている。シナリオデータ（１０−２−３−４）には、キャラクタとは別に表示する画像データ（後述するシーン表示画面５４（図１２参照）に表示する画像データ）も保存される。
【００５２】
図７は、実機形式シナリオデータの構成を表したものである。
シナリオデータ（１０−２−３−４）は、複数のシナリオで構成されており、それらを管理するためのデータと、個々のシナリオの内容を示すデータとで構成されている。
集録シナリオの管理データには、このシナリオデータの有効期限、作成された日や作成者等といった情報と、シナリオデータに収録されている個々のシナリオを全体的に管理するためのデータ（シナリオ番号、シナリオ名称、優先順位（プライオリティ））と、シナリオファイルに収録されているシナリオの自律起動条件データと、シナリオファイルに収録されているシナリオの中で運転者が入力装置（５）等を使って手動起動させることができるシナリオ一覧データが記されている。
【００５３】
個々のシナリオの内容を示すデータには、それぞれのシナリオを管理する管理データと、シナリオを構成する個々のシーンの内容を示すシーンデータとで構成されている。
それぞれのシナリオを管理するデータには、シナリオに関する情報と、このシナリオで使用する音声認識辞書を作成するためのテキスト情報と、シナリオを構成する各シーンデータを全体的に管理するためのデータが記されている。
【００５４】
シーンデータは、シーンを管理するデータと、画面構成データと、キャラクタ動作データと、各種処理データと、展開管理データとで構成されている。
シーンを管理するデータには、そのシーンに関する情報とシーンデータに属する各データセクションを管理するデータが記されている。
画面構成データには、このシーンにおいて表示装置（２）に表示する画面構成の各パーツのデータ（大きさや表示位置等）が記されている。
キャラクタ動作データには、このシーンにおいてキャラクタが行なう動作の指示データと、話す内容に関する指示データが記されている。動作の指示データには、シナリオデータで直接各キャラクタの表現手段で指示するものと、キャラクタに表現させたい状態で指示するものの２種類のうちどちらかで指示データが記されている。
【００５５】
各種処理データには、このシーンにおいて外部機器を制御（処理をさせる）する情報や、ナビゲーションを制御する情報や、他のシナリオを実行する指示や、タイマー設定情報や、キャラクタ心理を示すメンタルモデルのパラメータを変化させる情報等が記されている。
外部機器とは通信Ｉ／Ｆ部（１−１１）に接続されている各機器等があり、例えば通信制御装置がある。制御する内容は、特定の電話番号に電話をかけるや、通話を切断する等がある。
ナビゲーションの制御内容には、例えばこの地点を目的地に設定するといったものが存在する。
メンタルモデルのパラメータを変化させる指示としては、友好度を１減少する等がある。
【００５６】
展開管理データには、このシーンで何かイベントが発生した場合に、シナリオを終了するのか、次に進むシーンが何であるか、もしくは何も展開しないのか、といった情報が記述されている。
ここでいうイベントとは、シーンの展開を次に進めるためのもので規定された何らかのアクションを示している。例えばキャラクタの台詞が終了した、設定しておいた時間が経過した、運転者がこのシーンで質問した内容に対して何らかの回答を選択した（例えば「はい」ｏｒ「いいえ」の質問に「はい」と答えた）、等が存在する。
このイベントに加えて学習した結果によって展開を変えることもできる。
例えば、質問に対し運転者が「はい」を選択した場合で通算使用回数が１０回未満の時といった使い方ができる。
学習した結果のほかに、日時、メンタルモデルを使ったキャラクタの心理状態、運転者情報、等も使用して展開を変えることもできるようになっている。
【００５７】
図８はキャラクタデータの内容を概念的に表したものである。
キャラクタデータ（１０−２−３−５）には、複数のキャラクタのデータが格納されており、運転者の好みによって入力装置（５）等から選択することができるようになっている。
キャラクタデータ（１０−２−３−５）は、各キャラクタＡ、Ｂ、…毎に、キャラクタ画像データ１０２３５１と、キャラクタ音声データ１０２３５２と、キャラクタ画像選択データ１０２３５３とを備えている。
【００５８】
キャラクタ画像データ１０２３５１は、シナリオにより指定された各シーンで表示されるキャラクタの状態を表す静止画像や、動作を表す動画（アニメーション）等が格納されている。例えば、キャラクタがお辞儀をする動画、うなずく動画、右手を挙げる動画等が格納されている。
これらの各静止画像や動画には画像コードが付けられている。
キャラクタ画像データ１０２３５１は、画像記憶手段として機能する。
キャラクタ画像データ１０２３５１として使用するキャラクタ（エージェントの容姿）としては、人間（男性、女性）的な容姿である必要はない。例えば、非人間型のエージェントとして、タコや、ひよこ、犬、猫、カエル、ネズミ等の動物自体の容姿や、人間的に図案化（イラスト化）した動物の容姿であってもよく、更にロボット的な容姿や、フロアスタンドや木などの容姿や、特定のキャラクタの容姿等であってもよい。
またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく（大人の容姿に変化し、更に老人の容姿に変化していく）ようにしてもよい。
【００５９】
キャラクタ音声データ１０２３５２は、選択されたシナリオのシーンに従って、エージェントが運転者と会話等を行うための音声データが格納されている。
エージェントによる会話の音声データは、エージェントが運転者情報を収集するための質問をするための音声データも格納されている。例としては、「こんにちは」、「よろしくね」、「またね」等が格納されている。
これらの各音声には音声コードが付けられている。
【００６０】
キャラクタ画像選択データ１０２３５３は、個々の表示状態に対して各キャラクタの表現方法（動作）を表す画像データを割り当てた変換テーブルである。
シナリオデータ（１０−２−３−４）は、キャラクタの種類によらない共通化した表示状態により各シーンの内容を規定している。
このためキャラクタ画像選択データ１０２３５３は、共通表現されたシーンの表示状態を、ユーザが選択したキャラクタに対する個別の動作内容を表示する画像データに変換するための変換テーブルであり、画像選択手段の一部として機能する。
【００６１】
図９は、キャラクタ画像選択データ１０２３５３の内容を概念的に表したものである。
この図９では、各シーンデータで規定されている状態指示番号と、対応する統一の表示状態と、各キャラクタに対する動作内容が表示されているが、実際のキャラクタ画像選択データ１０２３５３には、状態指示番号と、状態指示番号に対応する動作内容を表示するための画像コードとが、各キャラクタ毎に記憶されている。状態指示番号には、キャラクタ画像データ１０２３５１の各静止画像や動画につけられた画像コードが対応つけられている。
図９に示した、変換テーブルを用いることにより、同じ表現したい状態に対してキャラクタによって異なる動作だったとしても共通の動作指示（表示状態の指定）ができるようになる。
図９に示されるように、例えば、日本人の日向えりの場合、「出会いの挨拶をする」という指示は「お辞儀をする」と規定されており、「話を聞く」という指示は「右手を耳にあてる」と規定されている。
これが欧米人のレディーの場合「出会いの挨拶をする」という指示は「右手を顔の横まで上げる」と規定され、ロボットのｉ−ｂａｌｌの場合「出会いの挨拶をする」という指示は「頭部メイン画面上をレーザースキャンが上下に移動する」と規定されている。
このように、エージェント装置では、同一のシナリオに対して、キャラクタの選択を変更することで、選択したキャラクタに対応した個別の動作をさせることが可能になる。
【００６２】
図１０は、運転者情報データを概念的に示したものである。
運転者情報データ（１０−２−３−６）は、運転者に関する情報で、エージェントのコミュニケーションをより運転者の希望や趣味、嗜好に合ったものとするために利用される。
運転者情報データ（１０−２−３−６）には、運転者毎に情報を格納するための運転者のＩＤ（識別情報）、名前、年齢、性別、結婚（既婚か未婚か）、子供の有無と人数と年齢からなる運転者基礎データや、趣味嗜好データとが格納されるようになっている。
趣味嗜好データとしては、スポーツ、飲食、旅行等の大項目と、これら大項目の概念に含まれる詳細項目とから構成されている。例えば、大項目スポーツには、野球が好きか嫌いか、サッカーが好きか嫌いか、ゴルフが好きか嫌いか等のデータが格納されるようになっている。
本実施形態では、これらの各運転者情報には優先順位が決められており、エージェントは、未だ格納されていない運転者情報のうち優先順位が高い順に運転者に質問をするようになっている。運転者基礎データは、趣味嗜好データよりも優先順位が高くなっている。
【００６３】
運転者情報データ（１０−２−３−６）は、その車両を運転する運転者が複数存在する場合には、運転者毎に作成される。そして、運転者を特定して該当する運転者情報が使用される。
運転者の特定は、例えば、電源オン時に、全運転者に共通するエージェントが登場して運転者の問い合わせをし、その回答から特定する。運転者の問い合わせは、入力済み運転者の氏名とその他を選択するボタンを表示装置に表示し、選択を促す音声を出力する。その他が選択された場合には新規ユーザ登録画面を表示する。
なお、体重、運転席（シート）の固定位置（前後位置、背もたれの角度）、ルームミラーの角度、視線の高さ、顔写真をデジタル化したデータ、音声の特徴パラメータＩＤカード等といった運転者固有の情報を少なくとも１つ運転者情報データ（１０−２−３−６）に格納しておき、これらの情報から運転者を特定するようにしてもよい。
【００６４】
図６における学習項目データ及び応答データ（１０−２−３−７）は、エージェントとのコミュニケーションにおいて運転者の選択や応答によってエージェントが学習した結果を格納するデータである。
従って、学習項目データ及び応答データ（１０−２−３−７）は、運転者毎にそのデータが格納・更新（学習）されるようになっている。
例えば、シナリオの使用状況として前回の選択結果や前回使用した日時、通算の使用回数等が格納される。
この学習内容に従って、例えば、毎回ナビ電源ＯＮ時に挨拶をするシナリオにおいて、前回使用から５分以内の場合に「つい先ほどにもお会いしましたね」と対応したり、逆に１ヶ月以上間があいている場合には「お久しぶりですね」と対応したりする。
【００６５】
また、どの球団のファンであるか質問した結果の回答（無回答という対応も含めて）を格納したりもする。この応答の結果によって無回答の場合はもう一度どの球団のファンか質問したり、特定の球団が記憶されている場合はその球団についての会話を行なったりと対応を変えることができる。
無回答という対応の判定方法の例としては、質問を行なうシーンにおいてタイマーを設定し一定時間の間入力が無い状態を無回答とする事があげられる。
【００６６】
次に、以上のように構成されたエージェント装置による、シナリオの実行動作について説明する。
図１１は、エージェント装置により車室内に登場させるエージェントのキャラクタを選択する場合の選択画面を表したものである。
エージェント装置１は、表示装置（２）に表示される詳細設定画面（図１１（ａ））からキャラクタを選択することができるようになっている。
図１１（ａ）において、ユーザによってキャラクタの表示の「する」ボタンが選択されると、図１１（ｂ）に示すように、キャラクタデータ（１０−２−３−５）に格納されている各キャラクタの名称が選択可能にリスト表示される（キャラクタ選択手段、キャラクタ選択機能）。ユーザはこのリスト表示の中から、好みのキャラクタを選択する。選択は該当するキャラクタ名称の欄をタッチするか、キャラクタ名称を音声入力することで選択する。
キャラクタが選択されると、ユーザが選択したキャラクタを特定するデータが全体処理部（１０２）から外部Ｉ／Ｆ（１０１９）を介して伝えられて、エージェントＯＳ（１０１−８）によって管理される。
なお、ユーザが選択したキャラクタのデータが存在しない場合、いずれか１のキャラクタ、本実施形態では「日向えり」がデフォルト値として設定されており、デフォルトのキャラクタがエージェントＯＳ（１０１−８）により管理される（設定手段、設定機能）。
【００６７】
図１２は、シナリオのシーンデータに基づいて表示装置（２）に表示されるシーン画面の一例を表したものである。
この図１２に示されるシーン画面は、未入力の運転者情報である趣味嗜好（食事）を取得するために運転者から質問をする質問シナリオのシーン画面（シーン番号０ｘ０００１）である。
シーン画面は、図１２に示されるように、エージェントの画像（静止画、動画）が表示されるエージェント表示画面５１、エージェントの音声に対応した文字が表示される吹き出し画面５２、タイトル画面５３、及び、各シーン固有の画像データ（実画像データの画像や回答選択ボタン等）が表示されるシーン表示画面５４から構成されている。
エージェント表示画面５１に表示されるエージェントは、ユーザが選択したキャラクタ、又はデフォルトのキャラクタである。
【００６８】
エージェント処理部（１０１）のシナリオ駆動部（１０１−１）は、趣味嗜好（食事）の質問シナリオを起動すると、最初にシーンヘッダで指定されるシーンの画面構成データをシナリオデータ＋画像（１０−２−４）から読み出してシーン画面を表示装置（２）表示すると共に、質問文に相当する質問音声を音声出力装置（３）から出力するようになっている。
図１２（ａ）の質問シナリオのシーン画面では、吹き出し画面５２に「どのジャンルの食事が好きですか？」と表示される。なお、吹き出し画面５２の表示に対応する音声が音声出力装置（３）から出力されるようになっている。
また、図１２（ａ）のシーン画面におけるシーン表示画面５４には、４つの回答選択ボタン５４ａの「和食」、「洋食」、「中華」、「特に無し」が表示されている。
【００６９】
この運転者に対する質問のシーンには、運転者の回答に応じた複数のシーンが分岐して続くようになっている。各シーンの分岐および続くシーンの特定については、各シーンの展開管理データに従って、運転者の回答に応じて決定される。すなわち、図１２（ａ）のシーン画面（シーン番号０ｘ０００１）で運転者が回答選択ボタン「和食」を選択すると、シナリオ駆動部（１０１−１）は、回答に応じたシーン画面（ｂ）に分岐して表示される。このシーン画面（ｂ）では、選択された「和食」がタイトル画面５３に表示されると共に、吹き出し画面には「和食がすきなのですね。」と表示され、なお、分岐後の和食のシーン画面では、和食の実画像がシナリオデータから読み出され、シーン表示画面５４に表示される。そしてシナリオ駆動部（１０１−１）により、運転者の回答、例えば、「和食」が運転者情報として、運転者情報３０７の趣味嗜好データに格納されるようになっている。
このようにして、シナリオに規定された各シーン画像と音声が最後のシーンまで連続的に順次表示、出力されることで、１シナリオにおけるエージェントの行為が完了することになる。
【００７０】
図１３は、旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表したものである。
この案内シナリオは、複数のシーン画面のうち（ａ）〜（ｆ）までのシーン画面が表示されており、シーン画面（ｃ）に対するユーザの選択結果によって次のシーン画面が０ｘ０００４と０ｘ０００６に分岐している。また、図１３の例では分岐していないが、シーン画面（ｄ）においても選択した料理の種類に応じた料理をシーン表示画面５４に表示するようにシーン画面を分岐させるようにしてもよい。
【００７１】
以下図１３に従って予約シナリオによるエージェントの各行為について説明する。
以下の各シーン画面に対応して説明するエージェントの動作や画面の表示はいずれも、外部シナリオのシナリオデータに格納されているデータや画像及び指示に従って表示等されるものである。また、エージェントの動作として説明するが、実際にはエージェント処理部（１０１）のシナリオ駆動部（１０１−１）が処理を行う。
【００７２】
予約シナリオが起動されると、まず番号０ｘ０００１のシーン画面が表示装置（２）に表示される。このシーンでは、エージェントＯＳ（１０１−８）で管理しているキャラクタのエージェントが、エージェント表示画面５１に登場し、お辞儀をして音声による挨拶をする。音声による挨拶の内容は、吹き出し画面５２に表示されている文章と同一である。
音声による挨拶は、旅館に代わってエージェントが代行して行うことになるが、旅館の女将の写真画像をシーン表示画面５４に表示することで旅館からの挨拶であることが表現されている。この女将の画像は、外部シナリオの一部として受信し追加した画像で、シナリオデータ（１０−２−３−４）の実画像データとして格納されている。
エージェントの動作に対する指示は、キャラクタ動作指示データに格納されている指示に従う。
エージェントによる挨拶が終了すると、次のシーン０ｘ００２に遷移する。
【００７３】
次のシーン０ｘ０００２では、シーン表示画面５４に露天風呂の画像が表示される。そして、この露天風呂の絵をエージェントが指し示して、旅館の名物（ここが売りだということ）を、エージェントが音声と吹き出し画面５２の表示で説明する。
エージェントの話が終了すると、次のシーン０ｘ０００３に遷移し、本日の食事の画像（懐石料理の画像）をシーン表示画面５４に表示し、エージェントが料理の説明と、この料理で良いか否かを質問する。なお、シーン表示画面５４には、シナリオの規定内容に従って、懐石料理の画像の他に、ユーザ回答用のボタン５４ａが表示される。
この質問に対する回答としてユーザが「はい」を選択した場合にはシーン０ｘ０００４に分岐し、「いいえ」を選択した場合にはシーン０ｘ０００６に分岐する。
【００７４】
シーン０ｘ０００４では、懐石料理以外の選択可能なリストをシーン表示画面５４に表示する。エージェントは、シーン表示画面５４のリストを指し示して、どの料理が良いかを質問する。
そして、ユーザがいずれか１つを選択したらシーン０ｘ０００５に遷移する。
【００７５】
シーン０ｘ０００５では、懐石料理から変更すべき人数のリストをシーン表示画面５４に表示し、エージェントはこのリストを指し示して、人数の質問をする。
そしてユーザがいずれか１つを選択したらシーン０ｘ０００６に遷移する。
【００７６】
シーン０ｘ０００６では、シーン表示画面５４に旅館の外観写真画像を表示し、エージェントがお辞儀をして挨拶をする。
そして、エージェントは、ユーザが選択してきた結果、図１３の案内シナリオの場合には食事に関する回答結果を、通信制御部２４を介して実行中の外部シナリオを送信した第三者（旅館）に送信する。
このように、ユーザについての情報を取得したい場合には、外部シナリオの作成者は、取得したい情報が得られる質問のシーンをシナリオ中に設け、その回答を電子メールで送信するようにシナリオを作成する。なお、回答の送信が必要な場合には、作成者の電子メールアドレスをシナリオデータ中に含める。
最後のシーン（図１３ではシーン０ｘ０００６）でのエージェントの話が終了すると、シナリオを終了させる。
【００７７】
このようにして、シナリオ駆動部（１０１−１）は、シナリオに規定された各シーン画像と音声を最後のシーンまで順次表示、出力する。
起動したシナリオが終了すると、シナリオ駆動部（１０１−１）は、他のシナリオの実行についての起動条件の判断を行う。
【００７８】
次に、このようなシナリオ駆動部（１０１−１）で実行される各種シナリオを自律的に起動するか否かの判断処理について説明する。
図１４は、自律起動判断部によるシナリオの自律起動判断処理について表したものである。
この自律起動判断処理では、自律起動判断部（１０１−２）が装置の負荷を軽減するために、位置と日付に関する情報を受け取り、その受け取った位置と日付に近似する起動条件を、シナリオデータを保持している外部記憶装置（１０）より読み出し（抽出手段、抽出機能）、ＲＡＭ（１−４）に一時的に格納する処理を行う。
すなわち、自律起動判断部（１０１−２）は、今現在置かれている状況情報を取得するため、エージェントＩ／Ｆを介し、エージェントＯＳ（１０１−８）より現在位置、時間などの状況情報を取得する（ステップ１１）。
そして、自律起動判断部（１０１−２）は、取得した位置、時間などの状況情報が所定単位の変化があるか否かを判断する（ステップ１２）。
判断の結果、所定単位の変化がありと判断された場合（ステップ１２；Ｙ）、自律起動判断部（１０１−２）は、その位置と時間などの条件に近似する条件を備えた自律起動条件を外部記憶装置（１０）より読み出し、ＲＡＭ（１−４）に一時的に格納する（ステップ１３）。ここで、近似する条件とは、位置の場合、地図データの全範囲を所定単位の方形ブロックに区画し、自律起動条件に規定されている位置が存在するブロックと、そのブロックに隣接する７つのブロックに位置情報が含まれる条件をいい、日付の場合、その当日と翌日が該当する。そして、所定単位の変化とは、位置の場合には車両が他のブロックに移動した場合で、日付の場合には日付が変わった場合をが該当する。
そして自律起動判断部（１０１−２）は、読み込まれた自律起動条件を、状況情報が満たしているか否かについての条件判断処理を行う（ステップ１４）。
なお、ステップ１２の判断で所定単位の変化なしと判断された場合（；Ｎ）、予め読み出されていた起動条件を変更する必要がないため、ステップ１４の処理に進む。
【００７９】
図１５は、条件判断処理（ステップ１４）の処理内容を表したものである。
自律起動判断部（１０１−２）は、ＲＡＭ（１−４）から、最初の自律起動条件を取得し（ステップ２１）、ステップ１２で入手した各種状況情報による状況が、取得した自律起動条件を満たしているか否かを判断する（ステップ２２）。自律起動条件を満たしている場合（ステップ２２；Ｙ）、自律起動判断部（１０１−２）は、その自律起動条件に対応するシナリオの実行要求メッセージを、シナリオ駆動部（１０１−１）に対して発行する（ステップ２３）。
【００８０】
次に自律起動判断部（１０１−２）は、次の自律起動条件がシナリオデータ（１０−２−３−４）にあるか否かを判断し（ステップ２４）、あれば（；Ｙ）、次の自律起動条件を取得し（ステップ２５）、以後ステップ２２〜２５の各処理を全ての自律起動条件に対する判断が終了するまで繰り返す。
ステップ２４において、次の自律起動条件が存在しない場合（；Ｎ）、自律起動判断部（１０１−２）は、自律起動判断処理を終了する。
【００８１】
次に、シナリオ駆動部（１０１−１）が、自律起動判断部（１０１−２）からシナリオ実行要求を受け取った場合のシナリオ実行処理について説明する。なお、以下に記す自律起動判断部の処理が、本願発明の条件判断手段、条件判断機能を形成する。
図１６は、シナリオ実行処理の流れを表したフローチャートである。なお、図１６では、シナリオを実行する場合の、エージェント処理部（１０１）の各部、及び全体処理部（１０２）による一連の代表的な動作を表したものであり、各部はそれぞれ独立した処理を行うようになっている。すなわち、各部の独立した処理が、連続することで図１６に示した代表的な流れになる。
【００８２】
シナリオ駆動部（１０１−１）は、自律起動判断部（１０１−２）からシナリオ実行要求を受け取ると、ワークメモリの確保、初期化によるエージェント開始準備処理を行う（ステップ５０５−１）。
そして、シナリオ駆動部（１０１−１）は、シナリオの実行要求がが手動起動か自動起動かを確認する（ステップ５０５−２）。手動起動は、ユーザが表示装置（２）のメニューからシナリオ起動を選択した場合で、自動起動は、シナリオの自律起動条件を満たした場合である。
シナリオの実行要求が手動起動の場合はメニューシナリオの要求処理を行う（ステップ５０５−３）。その後、シナリオデータ読み込み処理（ステップ５０５−４）に移行する。
【００８３】
一方、自動起動の場合には、自律起動条件を満たすことで実行要求されているシナリオが存在するので、そのままシナリオデータ読み込み処理（ステップ５０５−４）に移行する。
次にシナリオ駆動部（１０１−１）は、実行すべきシナリオデータをＲＡＭ（１−４）に読み込む（ステップ５０５−４）。シナリオデータを読み込む際、実行対象となっているシナリオが複数存在する場合（複数の自律起動条件が満たされた場合、手動起動要求と自動起動が重複した場合等）には、シナリオ駆動部（１０１−１）は、各シナリオに規定されている優先順位を判断し一番優先順位の高いシナリオデータを読み込む。優先順位が同じである場合には、自律起動判断部（１０１−２）から実行要求を受けた順に優先順位が高いものとして決定する。シナリオの優先順位は、シナリオデータ（１０−２−３−４）の収録シナリオの管理データから確認する。
【００８４】
シナリオデータの読み込みが完了すると、シナリオ駆動部（１０１−１）は、次に、シナリオを開始処理（シナリオを開始するための初期化処理）を行う（ステップ５０５−５）。ここでは、このシナリオの開始時刻の記録や使用回数の加算等の処理が行なわれる。これにより、学習部（１０１−３）が、学習項目データ（１０−２−３−７）への記録、加算を行う。
【００８５】
次にシナリオ駆動部（１０１−１）は、シナリオを構成するシーンの内容に応じてキャラクタの描画や音声を処理するシーン処理を実行する（ステップ５０５−６）。シーン処理の詳細は図１７により後述する。
シーン処理が完了すると、シナリオ駆動部（１０１−１）は、シナリオ終了か確認を行なう（ステップ５０５−７）。
シナリオ終了の場合、シナリオ駆動部（１０１−１）は、シナリオ終了処理を行なう（５０５−８）。このシナリオ終了処理において、学習部（１０１−３）が、終了の仕方を示すエンドＩＤを入手して応答データ（１０−２−３−７）に格納する。
シナリオ終了でない場合（シナリオがまだ続く場合）、シナリオの終了位置まで、ステップ（５０５−６）に戻って次のシーン、次のシーン、…とシーン処理を繰り返す。
【００８６】
シナリオの終了処理の後、シナリオ駆動部（１０１−１）は、他にシナリオの実行要求が有るか否か確認し（ステップ５０５−９）、他のシナリオの実行要求が存在する場合は、シナリオデータの読み込み処理（ステップ５０５−４）に戻って同様に処理が実行される。
一方、他に実行するシナリオが存在しない場合、シナリオ駆動部（１０１−１）は、エージェント終了処理を実行する（５０５−１０）。すなわち、エージェントＯＳ（１０１−８）にシナリオの実行を要求する処理は終了したことを知らせる。
その後、表示装置（２）に表示される画面は通常のナビゲーション画面に戻るが、その後の処理はエージェントＩ／Ｆを介して全体処理部（１０２）に受け渡す。
なお、上述したように、各部は独立して処理されるため、図１６のフローチャートには示されていないが、シナリオの実行中は、シナリオから別のシナリオを実行させるためのシナリオ実行要求はいつでも受付可能な構成になっている。
【００８７】
図１７は、シーン処理（ステップ５０５−６）の流れを表したフローチャートである。
シナリオ駆動部（１０１−１）は、シーン処理において、開始するシーンの種類を確認し（ステップ５０５−６−１）、通常のシーンの場合は、シーンデータの解析処理（ステップ５０５−６−２）に進み、クローンシーンの場合は、各種処理の依頼を行なう処理（ステップ５０５−６−５）に進み、条件追加シーンの場合は、展開判断処理（ステップ５０５−６−１２）に進む。
ここで、クローンシーンは、あるシーンｎの終了の仕方がによって、元のシーン（直前に終了したシーン）ｎと同一の画面を表示する場合で、例えば、設定時間内に入力がされなかった場合に、同一の画面のまま入力を促す音声を出力するような場合のシーンである。
また、条件追加シーンは、ある特定のシーンに推移して開始させるために、当該シーンの前に設けられたシーンで、画面表示がされずに画面推移（分岐）のための条件判断を行うシーンである。
【００８８】
開始するシーンが通常のシーンの場合、シナリオ駆動部（１０１−１）は、開始するシーンのデータを、ステップ５０４にて読み込まれたシナリオデータが置かれているＲＡＭ（１−４）を参照し、表示する画面構成やキャラクタの動作指示、等を解析する（ステップ５０５−６−２）。
解析した結果、音声認識辞書が存在する場合、シナリオ駆動部（１０１−１）は、シーンデータ中に規定されている音声認識辞書の設定（初期化）依頼を音声認識部（１０１−７）に対して通知する（ステップ５０５−６−３）。
【００８９】
次に、シナリオ駆動部（１０１−１）は、描画・音声出力部（１０１−５）に対して画面描画の依頼を行なうための処理を行う（５０５−６−４）。この依頼は、図１２に示されるシーン画面のうち、エージェント表示画面５１を除く他の画面を構成する各パーツを該当箇所に表示するための依頼である。依頼内容としては、タイトル表示画面５３へのタイトル表示、シーン表示画面５４への選択ボタンや、固有の画像データ等の表示、吹き出し画面５２へのテキスト表示、そのた、背景の表示等である。
【００９０】
次にシナリオ駆動部（１０１−１）は、各種処理（ナビや外部接続機器等への処理、ユーザからの回答が必要なシーン等でタイマーが設定されている場合には時間計測の依頼処理等）の依頼を行なう処理を行う（ステップ５０５−６−５）。
【００９１】
次に、シナリオ駆動部（１０１−１）は、エージェント表示画面５１（図１２参照）に表示されるキャラクタの動作指示の依頼を描画・音声出力部（１０１−５）に対して行ない、描画・音声出力部（１０１−５）はシーンデータに従って、キャラクタ描画・音声出力処理を行う（ステップ５０５−６−６）。キャラクタ描画・音声出力処理により、キャラクタがお辞儀をしたり、右方向や左方向を手で指したり、ユーザに話しかけたりするシーンが展開される。
【００９２】
図１８は、描画・音声出力部（１０１−５）によるキャラクタ描画・音声出力処理を表したフローチャートである。
描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）からキャラクタの動作指示の依頼を受けると、動作指示内容取得処理（ステップ５０５−６−６−１〜５０５−６−６−４）、動作再生処理（ステップ５０５−６−６−５）、要求終了返信（ステップ５０５−６−６−６）の順に処理を行う。
【００９３】
動作指示内容取得処理において描画・音声出力部（１０１−５）は、まず、キャラクタの種類によらない統一の（共通の）表示状態が指示されているか否かを判断し（ステップ５０５−６−６−１）、表示状態指示（動作指示）がキャラクタ毎に特定された表現方法で指示（直接指示：図３３（ｂ）参照）されていれば、動作再生処理（ステップ５０５−６−６−５）に移行する。
【００９４】
表示状態指示がキャラクタによらない統一の表示形態であれば、描画・音声出力部（１０１−５）は、指示内容の変換を行う。
変換はまず、その時点で設定されているキャラクタの種類をエージェントＯＳ部（１０１−８）から取得する（ステップ５０５−６−６−２）。
次に描画・音声出力部（１０１−５）は、統一の表示状態指示（表示状態番号）とキャラクタ毎の動作指示内容（画像コード）の対応表が書かれた変換テーブル（キャラクタ画像選択データ）１０２３５３（図８参照）を外部記憶装置（１０）のキャラクタデータ（１０−２−３−５）から取得する。
そして、描画・音声出力部（１０１−５）は、取得したキャラクタの種類と変換テーブルを基に動作させるキャラクタの動作指示内容、すなわち、シーンデータの表示状態番号に対応するキャラクタの画像コードを取得する（ステップ５０５−６−６−４）。
【００９５】
描画・音声出力部（１０１−５）は、取得した動作指示情報が、キャラクタの動作をシステムに自動で選択させる設定になっている場合、（ステップ５０５−６−６−５；Ｙ）、更に以下の変換処理を行う。
すなわち、描画・音声出力部（１０１−５）は、まず時間、場所、運転者情報等の、動作自動選択条件情報をエージェントＯＳ部（１０１−８）から取得する（ステップ５０５−６−６−６）。
次に時間等の動作自動選択条件情報と、キャラクタの共通の表示状態とが記述されている動作自動選択テーブルを外部記憶媒体（１０−２）のエージェントデータ（１０−２−３）から取得する（ステップ５０５−６−６−７）。
そして、描画・音声出力部（１０１−５）は、時間等の動作自動選択条件情報と、動作自動選択テーブルを基に共通の表示状態を取得する。該共通の表示状態を基に、ステップ５０５−６−６−３で取得した変換テーブル１０２３５３を参照して動作指示内容（画像コード）を取得することにより動作指示を確定する（ステップ５０５−６−６−８）
【００９６】
次に、描画・音声出力部（１０１−５）は、動作再生処理を行う（ステップ５０５−６−６−９）。
すなわち、描画・音声出力部（１０１−５）は、キャラクタの動作指示内容（画像コード）を基に、キャラクタデータ（１０−２−３−５）の、選択されているキャラクタのキャラクタ画像データ１０２３５１（図８参照）から画像データを取得する。
また当該キャラクタの動作指示依頼が、キャラクタの動作にキャラクタのセリフ音声を同期させ出力させる内容であれば、キャラクタデータ（１０−２−３−５）のキャラクタ音声データ１０２３５２から音声データを取得する。
【００９７】
描画・音声出力部（１０１−５）で取得した画像データはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある描画プロセッサ（１−６）への指示を行う処理部を通して描画プロセッサ（１−６）へ伝わり画像処理を施し表示装置（２）に表示される。
また取得した音声データはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある音声プロセッサ（１−８）への指示を行う処理部を通して音声プロセッサ（１−８）へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力される。
【００９８】
次に、描画・音声出力部（１０５−５）は、シナリオ駆動部（１０１−１）から要求されたキャラクタの動作処理をすべて行った後、要求されたシーンのキャラクタ描画・音声出力処理終了をシナリオ駆動部（１０１−１）に通知し（ステップ５０５−６−６−１０）、処理を終了する。
また、キャラクタの台詞音声を同期させて出力する要求内容であった場合は、音声の出力が全て終了した時点で、キャラクタ音声出力処理終了をシナリオ駆動部（１０１−１）に通知する。
【００９９】
描画・音声出力部（１０５−５）からシーンのキャラクタ描画・音声出力処理終了が通知された後に、シナリオ駆動部（１０１−１）は、処理中のシーンデータにおいて音声認識についての指示がされているか否かを確認し（ステップ５０５−６−７：図１７）、指示が無ければ、ステップ５０５−６−９に移行し、指示がある場合には音声認識処理を行う（ステップ５０５−６−８）。
【０１００】
図１９は、音声認識処理（ステップ５０５−８）の処理動作を表したフローチャートである。
音声認識を自動で開始するか否かを判定する要求を受けた後（例えば描画・音声出力部（１０１−５）からキャラクタの音声出力終了がシナリオ駆動部（１０１−１）に通知されたとき）に、シナリオ駆動部（１０１−１）は、シナリオデータに設定されている認識開始制御指示（音声認識の指示）を確認する（ステップ５０５−６−８−１）。
音声認識の指示が、「常に自動認識開始しない」（自動で開始しない）、である場合は、認識処理はしないでリターンする（図１７のステップ５０５−６−９に移行する）。
音声認識の指示が、「常に自動で認識する」（自動で開始する）である場合にはステップ（５０５−６−８−３）に移行して音声認識（後述）を行う。
【０１０１】
一方、音声認識の指示が、状況判断結果次第の「おまかせ」（車載装置が開始を判断する）である場合、状況判断処理を行う（ステップ５０５−６−８−２）。
すなわち、シナリオ駆動部（１０１−１）は、各種状況検出装置（６）の検出データを全体処理部（１０２）から受け取り、走行中の道路の状況、車速、車速変化、ステアリング角、アクセルの踏み込み量、ブレーキの踏み込み量等から運転者の運転負荷を判断する（運転負荷判断手段、運転負荷判断機能）。
走行中の道路の状況は、全体処理部（１０２）のナビゲーション機能により、検出した車両の現在位置と、走行中の道路幅、走行地位（交差点か否、直線道路、曲線、蛇行道路、急傾斜道路等）等から判断され、シナリオ駆動部（１０１−１）に通知される。
本実施形態では、カーブや交差点を走行中の場合、車速変化が大きい場合、ブレーキの踏み込み量が大きい場合には運転負荷が高いと判断され、それ以外の場合には運転負荷が低いと判断される。
なお、カーブの曲率や、車速、車速変化、道路幅、交差点等に対して運転負荷を決定するための点数化しておき、その合計値が所定値を超えるか否かにより運転負荷を判定するようにしてもよい。すなわち、合計値が所定位置を超える場合には運転負荷が高いと判定し、所定値以下の場合に負荷が低いと判断するようにしてもよい。
なお、シナリオ駆動部は、運転者の負荷の例の他にも、車室内で検出される騒音が大きいと判断される場合は自動で認識開始しない等の判断を行うようにしてもい。
【０１０２】
シナリオ駆動部（１０１−１）は、運転者の負荷が高い場合には音声認識を開始せずにリターンし、運転者の負荷が低い場合にはステップ５０５−６−８−３に移行して音声認識の開始を音声認識部（１０１−７）に指示する（５０５−６−８−４）。
音声認識開始が指示されると、音声認識部（１０１−７）は、音声入力の受付が開始されたことをユーザに示すために、「ピッ」等の開始音を音声出力装置（３）から出力する（開始音出力手段、開始音出力機能）。
なお、本実施形態では音声認識を開始する前に開始音を出力するようにしているが、開始音を出力しないようにしてもよい。また、開始音の出力と共に、表示装置（２）に音声認識中であることを示す表示、例えば、「音声認識中です」等の表示や、音声認識中を示すアイコンを表示するようにしてもよい。
【０１０３】
その後、音声認識部（１０１−７）は、音声認識の開始をエージェントＯＳ部（１０１−８）を介して外部Ｉ／Ｆ部（１０１−９）から、全体処理部（１０２）内にある音声認識処理部に指示する。全体処理部（１０２）の音声認識処理部は、開始指示を音声プロセッサ（１−８）に伝え、音声プロセッサ（１−８）は音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する。変換された音声入力信号が入力されると、全体処理部（１０２）の音声認識処理部は、デジタルの音声入力信号を取得し、ステップ５０５−６−３（図１７）で設定された音声認識辞書を使用して、取得した音声入力信号の認識を行う（ステップ５０５−６−８−３）。
認識が完了すると全体処理部（１０２）の音声認識処理部は、音声認識の結果を、外部Ｉ／Ｆ部（１０１−９）、エージェントＯＳ部（１０１−８）を介して音声認識部（１０１−７）に通知する。音声認識部（１０１−７）は、音声認識結果をシナリオ駆動部（１０１−１）に通知する。
【０１０４】
なお、本実施形態では、実際の音声認識の処理を全体処理部（１０２）の音声認識処理部で行っているが、音声認識部（１０１−７）で音声認識を行うようにしてもよい。この場合、音声認識部（１０１−７）が音声認識手段、音声認識機能として機能する。また、音声認識部（１０１−７）で音声認識を行う場合、全体処理部（１０２）によるナビゲーション処理での音声認識と２カ所で行われることになるので、両者を共通して音声認識部（１０１−７）で行うようにしてもよい。
【０１０５】
次に、シナリオ駆動部（１０１−１）は、全体処理部（１０２）での音声認識の結果を判断し（ステップ５０５−６−８−４）、認識失敗の場合にはステップ５０５−６−８−１に戻り、認識に成功した場合にはリターンする。
【０１０６】
シナリオ駆動部（１０１−１）は、音声認識の指示が無い場合、及び、音声認識処理（ステップ５０５−６−８）が終了した後、エージェントＯＳ（１０１−８）からユーザ入力の知らせを受け取ったら、その入力が何であるか確認し（図１７、ステップ５０５−６−９）、入力に対応した処理を行なう。
なお、上述したように、各処理は独立して実行されるため、音声認識処理（ステップ５０５−６−８）中であっても、エージェントＯＳ（１０１−８）から入力が通知された場合にはその入力に対応した処理が並行して実行される。従って、音声認識処理中に、ユーザが音声認識の選択ボタンを選択しエージェントＯＳ（１０１−８）から通知されると、音声認識処理による処理段階に関わらず、次の処理（ステップ５０５−６−９）が実行される。
【０１０７】
シナリオ駆動部（１０１−１）は、エージェントＯＳ（１０１−８）から、例えば、カーソルの移動に関する入力を受け取った場合、カーソルを移動させて、画面の描画依頼（画面スクロールの依頼）の処理を行う（ステップ５０５−６−１０）。
また、ユーザがシーン表示画面５４（図１２参照）に表示されているいずれかの回答選択ボタン５４ａを選択した場合、どの項目が選択されたか判断し（ステップ５０５−６−１１）、その結果シーンの展開が有るかを判断する（ステップ５０５−６−１２）。
なお、上述したように、図１６〜図１８の処理は、代表的な処理を示したものであり、実際には各部が独立して個別の処理を行っている。このため、上の図１７には示していないが、音声認識開始もしくは中止が入力された場合、音声認識部に対し音声認識処理の開始もしくは中止の依頼を行なう等、ユーザ入力の確認（ステップ５０５−６−９）を行なった後の処理は他にも存在する。
【０１０８】
次に、シナリオ駆動部（１０１−１）は、展開判断処理（ステップ５０５−６−１２）において、シナリオデータの展開管理データ（図７参照）を参照して次の展開を判断する。次の展開が存在しない場合は何も処理されずにユーザ入力判断に戻り、次の展開が存在する場合は、次の展開に進めるためにシーン終了処理（ステップ５０５−６−１３）に進む。
シーン終了処理（５０５−６−１３）では、シナリオ駆動部（１０１−１）が他の処理部に依頼している処理が有れば、その中止依頼を行ない（例えば音声認識処理の依頼をしていたら認識処理の中止依頼をする）、リターンする。リターンにより、図１６のシナリオ終了判断（ステップ５０５−７）に移行する。
【０１０９】
以上説明したように、本実施形態のエージェント装置によれば、オエディタで作成したシナリオデータに示されている音声認識を自動で開始させるか否かの指示に従って、音声認識を開始させる機能を備えている。
このため、エージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。
そして、人間同士の会話においては存在しない音声認識開始ボタン選択を不要としたので、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【０１１０】
また、説明した実施形態のエージェント装置によれば、シナリオの各シーンにおけるキャラクタの動作を指示する表示状態をキャラクタの種類によらずに共通化し、ユーザが選択したキャラクタの変換テーブルを参照することで、シナリオの各シーンで指定された表示状態に対応する各キャラクタの画像データを選択し、その画像データを再生することで各シーンを展開し、シナリオを実行するようにしたので、１のシナリオで、異なる複数のキャラクタに対応することができる。従って、キャラクタ毎のシナリオを記憶する必要がなくなるので、データ量を少なくすることができる。
【０１１１】
また、説明した実施形態によれば、シナリオ作成装置のユーザー（作成ユーザー）が作成したオリジナルのシナリオに組み込まれた自律起動条件を、シナリオの起動条件としてシナリオの実行を開始することができる。
従って、シナリオ作成装置のユーザーに対して、エージェントの登場を含めた各種シナリオを、自分の好みに合わせたタイミングで起動させるようなシナリオを自由に作成する場を提供することができる。
【０１１２】
また、本実施形態では５秒間隔で定期的に自律起動判断処理が実行されるようになっているので、各種状況の変化に対してほぼリアルタイムで、条件を満たしたシナリオを起動することが可能になる。
さらに、あらかじめシナリオの起動条件として選択される可能性が高い状況（状況の変化が大きい場合）も自律起動判断処理が実行されるので、定期的な判断処理が開始される前にも自律起動判断処理が実行され、かつ、この場合に該当する（条件を満たす）シナリオが多い。このため、よりリアルタイムに近い状態でシナリオを実行することができる。
【０１１３】
また、説明した実施形態によれば、エージェントの行為をシナリオデータで規定すると共に、このシナリオデータを複数の連続するシーンからなるシナリオによって規格化されているので、エージェント装置のユーザ及び第三者が自分でシナリオを作成し、組み込むことができる。
このように装置に予め格納されているデフォルトのシナリオに追加できるので、ユーザは自分に合った追加シナリオをインターネット等で探してダウンロードし、また自分でシナリオを作成することでエージェント装置をより快適に使用することができる。
【０１１４】
次に、ユーザや第三者が独自のシナリオを作成するシナリオ作成装置２の構成とその動作について説明する。
図２０は、シナリオ作成装置の構成を表したものである。
シナリオ作成装置は、制御部（２００）と、入力装置（２１０）と、出力装置（２２０）と、通信制御装置（２３０）と、記憶装置（２４０）と、記憶媒体駆動装置（２５０）と、入出力Ｉ／Ｆ（２６０）とを備えている。これら各装置は、データバスや制御バス等のバスラインにより接続されている。
【０１１５】
制御部（２００）は、シナリオ作成装置全体を制御する。
シナリオ作成装置はシナリオ編集プログラムの実行だけでなく、その他プログラム類（例えばワープロや表計算等）を実行することもできる。制御部（２００）は、ＣＰＵ（２００−１）と、メモリ（２００−２）等から構成されている。
ＣＰＵ（２００−１）は、種々の演算処理を実行するプロセッサである。
メモリ（２００−２）は、ＣＰＵ（２００−１）が種々の演算処理を実行する際にワーキングメモリとして使用される。
ＣＰＵ（２００−１）は、メモリ（２００−２）にプログラムやデータなどを書き込んだり消去したりすることができる。
本実施の形態におけるメモリ（２００−２）には、ＣＰＵ（２００−１）がシナリオエディタ（シナリオ編集プログラム）に従ってシナリオデータを作成、編集、記憶等するためのエリアが確保可能になっている。
【０１１６】
入力装置（２１０）は、シナリオ作成装置に対して文字や数字その他の情報を入力するための装置であり、例えばキーボードやマウスなどにより構成されている。
キーボードは、主にカナや英文字などを入力するための入力装置である。
キーボートは、例えばユーザがシナリオ作成装置にログインするためのログインＩＤやパスワードを入力したり、シナリオ作成の際に音声合成や音声認識の対象となる文を入力したりする際などに使用される。
マウスは、ポインティングデバイスである。
ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）などを用いてシナリオ作成装置を操作する場合、表示装置上に表示されたボタンやアイコンなどをクリックすることにより、所定の情報の入力を行なうこと等に使用される入力装置である。
【０１１７】
出力装置（２２０）は、例えば表示装置や印刷装置などである。
表示装置は、例えばＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイなどが使用される。
表示装置には、シナリオを作成するためのメイン画面や、各シーンにおける画面構成を選択するための画面等の各種画面が表示される。また、各画面において選択された情報や入力された情報が表示されるようになっている。
印刷装置は、例えば、インクジェットプリンタ、レーザプリンタ、熱転写プリンタ、ドットプリンタなどの各種プリンタ装置が使用される。
印刷装置で印刷するものは、例えば、作成したシナリオの全体の流れをチャート形式で表す図や、各シーンの設定状態を示すものがある。
【０１１８】
通信制御装置（２３０）は、外部との間で各種データやプログラムを送受信するための装置であって、モデム、ターミナルアダプタその他の装置が使用される。
通信制御装置（２３０）は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）などに接続可能に構成されている。通信制御装置（２３０）は、これらのネットワークに接続した他の端末装置あるいはサーバ装置などと通信によって信号及びデータのやり取りを行なうことで、装置で作成したシナリオデータを送信したり、第３者が作成したシナリオデータを受信（ダウンロード）したり、更に、シナリオデータの作成に必要なデータを取得したりすることができるようになっている。
通信制御装置（２３０）はＣＰＵ（２００−１）によって制御され、例えば、ＴＣＰ／ＩＰなどの所定のプロトコルに従ってこれら端末装置やサーバ装置との信号及びデータの送受信を行う。
【０１１９】
記憶装置（２４０）は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータを読み書きするための駆動装置によって構成されている。
当該記憶媒体として主にハードディスクが使用されるが、その他に、例えば、光磁気ディスク、磁気ディスク、半導体メモリなどの他の読み書き可能な記憶媒体によって構成することも可能である。
記憶装置（２４０）には、シナリオ編集プログラム（２４０−１）、シナリオ編集データ（２４０−２）、及びその他のプログラム・データ（２４０−３）が格納されている。その他のプログラムとして、例えば、通信制御装置（２３０）を制御し、シナリオ作成装置とネットワークでつながれた端末装置やサーバ装置との通信を維持する通信プログラムや、メモリ管理や入出力管理などのシナリオ作成装置を動作させるための基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ
Ｓｙｓｔｅｍ）なども記憶装置（２４０）に格納されている。
【０１２０】
記憶媒体駆動装置（２５０）は、着脱可能な記憶媒体を駆動してデータの読み書きを行うための駆動装置である。着脱可能な記憶媒体としては、例えば、光磁気ディスク、磁気ディスク、磁気テープ、ＩＣカード類、データをパンチした紙テープ、ＣＤ−ＲＯＭなどがある。
本実施形態では、シナリオ作成装置で作成・編集したシナリオデータ（エージェント装置で使用する形態）は、主としてＩＣカード類に書き込まれるようになっている。
シナリオ作成装置は、記憶媒体駆動装置（２５０）によって記憶媒体を駆動することにより、シナリオデータが格納された記憶媒体からシナリオを取得したり、あるいは、作成したシナリオデータを記憶媒体駆動装置から記憶媒体に格納したりすることができる。
【０１２１】
入出力Ｉ／Ｆ（２６０）は、例えば、シリアルインターフェースやその他の規格のインターフェースにより構成されている。
入出力Ｉ／Ｆ（２６０）に当該インターフェースに対応した外部機器を接続することにより、シナリオ作成装置の機能を拡張することができる。このような外部機器として例えば、ハードディスクなどの記憶装置、通信制御装置、スピーカ、マイクロフォンなどがある。
【０１２２】
次に、シナリオ編集プログラム（２４０−１）と、シナリオ編集データ（２４０−２）の構成について説明する。
図２１は、シナリオ編集プログラムとデータの構成を概念的に表したものである。
シナリオ編集プログラム（２４０−１）は、シナリオエディタ（２４０−１−１）と、シナリオコンパイラ（２４０−１−２）と、ＤＢ編集ツール（２４０−１−３）が存在する。
シナリオ編集データ（２４０−２）は、共通定義ＤＢ（２４０−２−１）と、ローカル定義ＤＢ（２４０−２−２）と、シナリオエディタで作成したＳＣＥ形式シナリオデータ（２４０−２−３）と、シナリオコンパイラで変換された実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）が存在する。
シナリオエディタ（２４０−１−１）は、シナリオデータを作成するアプリケーションプログラムである。
【０１２３】
シナリオコンパイラ（２４０−１−２）は、シナリオエディタ（２４０−１−１）で作成されたＳＣＥ形式シナリオデータ（２４０−２−３）を、エージェント装置で使用可能な実機形式シナリオデータ（２４０−２−４）に変換するアプリケーションプログラムで、変換手段、変換機能として機能する。
図２２は、データ形式の変換を概念提供に表したものである。
この図２２に示されるように、シナリオコンパイラ（２４０−１−２）は、１個以上のＳＣＥ形式シナリオデータ（２４０−２−３）を、１個の実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）に変換する。
【０１２４】
ＤＢ編集ツール（２４０−１−３）は、共通定義ＤＢ（２４０−２−１）に格納されているデータを編集・更新するためのアプリケーションプログラムである。
共通定義ＤＢ（２４０−２−１）は、シナリオデータを作成する際の定義データが格納される。共通定義ＤＢ（２４０−２−１）には、後述する自律起動判断データ、シーン展開をするアクション項目及び追加判断項目、キャラクタの表示状態指示テーブル等が格納される。この共通定義ＤＢ（２４０−２−１）は、シナリオ作成装置の記憶装置ではなく、ローカルエリアネットワーク（ＬＡＮ）でつながっているサーバ上に存在してもよい。こうすることで、ローカルエリアネットワーク（ＬＡＮ）でつながっている各シナリオ作成装置は共通の共通定義ＤＢ（２４０−２−１）を使ってシナリオデータの作成ができる。
ローカル定義ＤＢ（２４０−２−２）は、シナリオ作成者がシナリオデータを作成中に定義した画面構成が格納される。
【０１２５】
ＳＣＥ形式シナリオデータ（２４０−２−３）は、シナリオエディタ（２４０−１−１）で作成されたデータである。
実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）は、シナリオコンパイラ（２４０−１−３）によってＳＣＥ形式シナリオデータ（２４０−２−３）からエージェント装置で使用するためのデータ形式に変換されたデータである。
【０１２６】
図２３は、自動起動項目として設定可能な項目を例示したものである。
この自動起動項目は、エージェント装置で検出、認識、確認可能な各項目の種類のサンプルを概念的に一覧表示したものである。
この自動起動項目は、共通定義ＤＢ（２４０−２−１）に記述されており、シナリオエディタ（２４０−１−１）でシナリオを作成する際に、自律起動条件を設定するために、自動起動項目が共通定義ＤＢ（２４０−２−１）から読み出され、リスト表示される（提示手段、提示機能）。作成者は、このリスト表示（一覧表示）された中から自動起動項目を選択する（選択手段、選択機能）。
それぞれ選択された項目の種類に記されている内容によって数値入力を行なうウインドウが表示されたり、一覧から選択するウインドウが表示されたりして自動起動項目の判断条件を入力する。この操作を１又は複数回繰り返しシナリオを自律的に起動するための判断条件である自律起動条件のデータが作成される。このように、画面要素推移体（シナリオ）の起動条件を設定することにより、本願発明の起動条件設定手段、起動条件設定機能が形成される。
【０１２７】
図２４、図２５は、自動起動項目に対して、自律起動条件として選択可能な選択可能項目を例示したものである。
選択可能項目も共通定義ＤＢ（２４０−２−１）に記述されている。図２３に例示した自動起動項目を示したテーブルのうち、種別の欄に一覧から選択と表記された項目について、更に下位の概念として選択可能な項目が、選択可能項目として図２４、図２５に規定されている。選択可能項目に規定されたグループと、自動起動項目の項目とは、一番左側のＮｏ．の項目で対応付けられている。
表には示さないが他にもこれと同様に数値入力に関する定義テーブル等が存在し、時刻の入力ウインドウであったり、走行距離の入力ウインドウであったり、と異なった入力をするウインドウを作成することができるようになっている。
選択された自動起動項目と選択された選択可能項目及び入力された数値や時刻、距離等の組み合わせが、各シナリオに対する自律起動条件となる。例えば、ユーザによる選択が、自動起動項目「加速度」、選択可能項目「急減速状態」である場合、自律起動条件は「加速度−急減速」となる。
なお、本サンプルはあくまでもサンプルであり定義を変更してもよい。
例えば車速入力を一覧から選択にし、１０ｋｍ／ｈ毎に区切られた項目の中から選択する形をとってもよい。
また、エージェント装置において新規にセンシングできる項目が増えた場合には、その項目を追加する事ができる。例えばシートベルト検知センサを組み込んだ場合、一覧から選択という入力手段でシートベルト状態という項目に対し、シートベルト未装着、シートベルトを装着しているといった項目が選択できる定義を組み込むことが考えられる。
これらの変更及び追加は、先に示したＤＢ編集ツール（２４０−１−３）を使って行なう。
また、エージェント心理部からキャラクタの心理状態を入手して自律起動判断に加えてもよい。
この場合も、ＤＢ編集ツール（２４０−１−３）を使って定義データを追加する。例えば、一覧から選択という入力手段で自動起動項目としてキャラクタの心理状態、ブルー（落ち込んでいる）、機嫌がよい、等といった項目が選択できる定義を組み込むことが考えられる。
【０１２８】
図２６は、シーンから次のシーンに分岐（シーン展開）をするための分岐項目（移行条件）が格納されたシーン分岐項目テーブルである。シーン分岐項目テーブルは、共通定義ＤＢ（２４０−２−１）に格納されている。
シーン分岐項目の各項目は、各シーンの展開構成を作成する際に読み出され、リスト表示される。このリスト表示された中から分岐条件項目を選択し、また、テーブルに格納されていない場合には別途分岐条件をＤＢ編集ツール（２４０−１−３）を使って定義データを追加することにより、シーン展開構成が作成される。分岐条件項目の選択を繰り返すことで、複数の推移先を持つ（複数に分岐された）シーンを作成することができる。
【０１２９】
図２７は、更に詳細に分岐条件を設定する場合の追加条件テーブルを表したものである。追加条件テーブルも共通定義ＤＢ（２４０−２−１）に格納されている。
追加条件項目は、前記のシーン展開をするアクション（分岐条件項目）に対してさらに複数の展開を持たせるために使用する項目である。このとき分岐させるためのシーンを作成する。分岐させるためのシーンを作成すると、分岐させるためのシーンからの展開構成を作成する際には、追加判断項目が読み出さる。分岐させるためのシーン１個に対し、１分類のみ選択でき、選択された分類の項目が一覧リスト表示されて選択する、もしくは数値入力で範囲指定する。複数の分類を論理積で掛け合わせたい場合は、分岐させるためのシーンを重ねることで容易に作成する事ができるようになっている。
上述したようにエージェント装置は、学習部（１０１−３：図５参照）により、シナリオが複数のシーンに分岐していて、それぞれ異なるシーンでシナリオが終了する場合の終了の仕方をエンドＩＤとして記録するようになっている。また、学習部（１０１−３）は、シナリオのなかでユーザの応答や、通算使用回数等を学習データといして記録することができるようになっている。
【０１３０】
図２７に示す追加条件テーブルには、これら記録されたシナリオ終了状態（エンドＩＤ）や、シナリオの通算使用回数、ユーザ情報、メンタルモデル、日時などのその他の分類項目と、各分類における選択できる項目一覧の作成方法が定義されており、これらを追加分岐条件として選択し、１個のシーン展開をするアクションに対して複数の展開を持たせることが可能になっている。
シーン展開をするアクション項目及び追加判断項目に関する定義データも自律起動判断データと同様に、変更及び追加がＤＢ編集ツール（２４０−１−３）を使って行なうことができるようになっている。
【０１３１】
図２８、図２９は、共通定義ＤＢ（２４０−２−１）に格納されている、キャラクタの表示状態指示テーブルの内容の一部を概念的に表したものである。以下、図２８、図２９の説明より、本願発明のキャラクタ設定手段、キャラクタ設定機能を形成する。
このキャラクタの表示状態指示テーブルは、キャラクタの種類によらずに共通した動作の表示状態が規定されており、キャラクタに表現させたい内容毎に分類されている。
キャラクタの表示状態指示テーブルは、複数存在し、本実施形態では、仕事の状態（図２８）、精神状態（図２９）、ＴＰＯ状態、成長状態、スケール状態の各表示状態指示テーブルが存在する。
図２８、図２９に示されるように、各表示状態指示テーブルは、複数のツリー構造になっており、後述するキャラクタ動作の状態指示編集ウィンドウ（図３４（ｃ））に各ツリー構造の形と分類名が表示されるようになっている。
【０１３２】
図２８、２８に示されるように、表示状態指示テーブルのツリーの末端の項目毎に状態指示番号が付されている。この状態指示番号が、エージェント装置１のキャラクタ画像選択データ（変換テーブル）１０２３５３の状態指示番号（図９参照）に対応している。
【０１３３】
仕事の状態に関する表示状態指示テーブルは、図２８に示されるように、ここでは最大４つまでに分類されており、基本姿勢、出会いの挨拶、別れの挨拶、感謝、謝罪、励ます、誉める、慰める、登場、退場、禁止等の表示状態が規定されている。
このように各分類の名称として、エージェントに表現させたい内容を用いることで、シナリオ作成者がイメージしているシナリオ、及びシーンの内容に対応した表示状態を選択しやすくなっている。
【０１３４】
キャラクタの精神状態によって表示状態を選択するための表示状態指示テーブルは、図２９に示されるように、５階層に分類されてる。喜怒哀楽の表現として、通常、喜ぶ、怒る、哀しむ、驚く等が規定され、その他としてあきれる、友好、眠気等が規定されている。
【０１３５】
ＴＰＯに関する表示状態指示テーブルは、図示しないが、通常状態、おしゃれ状態等のそれぞれに対して、春夏秋冬の分類と月の分類が規定されており、イベント状態に対して、一般記念日（歳時記、元旦、子供の日、クリスマス等）、ユーザ固有記念日等（エージェント装置の使用開始記念日、結婚記念日、誕生日等）が規定されている。
キャラクタの成長状態に関する表示状態指示テーブルは、長期成長状態１，２，３，…に分類され、その各々にたいして、短期成長状態１，２が規定されている。
スケール状態に関する表示状態指示テーブルは、キャラクタを画面に表示する大きさについて規定されており、画角による分類が規定されている。
【０１３６】
これらの表示状態指示テーブルでは、図２８、２９でも示されているように、表示状態に対する１つ下層で定義されているレベル（丁寧に行なう、普通に行なう、強、中、弱等）をシステム（エージェント装置）に自動で選択させる項目「自動」を設けている。
この自動を選択したシーンに対して、エージェント装置では、キャラクタ心理状態、日付や時刻、等によってキャラクタのどのレベルの表示状態を使用するかを判断して、いずれかの表示状態を選択し実行することになる。
【０１３７】
共通定義ＤＢ（２４０−２−１）には、その他、音声認識に使用する音声認識用データと、キャラクタの動作指示に使用するデータ（別途台詞の指示データも存在する）と、各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データ及びキャラクタ台詞データ及びキャラクタによらない統一の指示に対する各キャラクタの表現方法への変換テーブルと、表示装置（２）に表示する各パーツデータ及びそれらをどのように配置するかが記された画面構成データと、シーンにおける処理内容として選択可能な項目、例えば、エージェントが処理可能な行為である、オーディオ装置のオン・オフやチャンネル選択、エアコン装置のオン・オフと温度設定、全体処理部（１０２）に供給する目的地の設定等の各種処理内容項目データ等が共通定義ＤＢ（２４０−２−１）に格納されている。
これら全ての定義データも、各定義データと同様に、変更及び追加がＤＢ編集ツール（２４０−１−３）を使って行なうことができるようになっている。
【０１３８】
各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データは、エージェント装置に格納されている各種キャラクタの画像データが格納されている。
また、キャラクタによらない統一の指示に対する各キャラクタの表現方法への変換テーブルは、エージェント装置１のキャラクタデータ（１０−２−３−５）のデフォルトキャラクタのキャラクタ画像選択データ１０２３５３（図８参照）と同一の変換テーブルが格納されている。
なお、ユーザは、エージェント装置から他のキャラクタについてのキャラクタ画像データと、変換テーブルをＩＣカード７、又は、サーバ３を介してシナリオ作成装置２の共通定義ＤＢに格納するようにしてもよい。
【０１３９】
次に、このように構成されたシナリオ作成装置によるシナリオ作成の各動作について、画面の遷移に従って説明する。
図３０は、シナリオエディタ（２４０−１−１）を起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
この図３０に示されるように、メインウィンドウは、作成中のシーン画面（エージェント装置（１）の表示装置（２）に表示されるシーン画面（図１２参照））が表示されるシーン画面３０１と、各種設定を行う設定項目が表示された設定画面３０３と、シーンの展開構成（分岐の状態）が各シーンを表すシーンアイコン３０７のツリー構造により表示されるシーン展開画面３０５で構成されている。
【０１４０】
シナリオエディタ（２４０−１−１）を起動すると、メインウインドウのシーン展開画面３０５には、スタートポイント３０８が表示される。このスタートポイント３０８を選択するとシナリオプロパティの編集ができる。選択は、例えば、マウスカーソルによるポイント位置をスタートポイント３０８に合わせて、マウスをダブルクリックすることで選択される。
画面構成の変更ボタン３０９は、クリックすると表示したい画面構成の選択ができる。
効果音設定ボタン１１０をクリックすると、後述するように、シナリオの各シーン毎に効果音を設定する画面が表示される。
エージェント表示画面３１１をマウスでダブルクリックすると、エージェント（キャラクタ）の動作の編集画面が表示される。
台詞編集ボタン３１３をクリックするとキャラクタの台詞の指示が編集できる。
ボタンパーツ・バックグラウンド音声認識辞書設定３１５をダブルクリックすると使用する音声認識辞書の編集ができる。シーン画面３０１の回答選択ボタン３１５ａ（５４ａ）のマークで表示されている方を選択すると認識する単語の名称がシーン画面に表示され、バックグラウンドで認識する方３１５ｂを選択すると、音声認識の対象となるが認識する単語の名称は表示されない。
【０１４１】
タイマーの設定３１７では、シーン表示後にタイマーによる通知を発行するまでの時間を設定する。
外部機器等の制御指示編集３１９では、外部機器等（ナビも含む）の制御指示を設定する。
【０１４２】
音声認識開始制御指示３２０ａでは、作成中のシーンにおいて音声認識を行う場合に、音声認識の開始をどのようにするかを規定する音声認識の指示を設定する。音声認識の指示としては、音声認識を「自動で開始する」、「自動で開始しない」、「エージェント装置（車載装置）が判断する（おまかせ）」、のうちのいずれかを選択可能になっている。
コールバック制御指示３２０ｂでは、音声認識の結果を確認するためのコールバックを行うか否かをについての指示を設定する。コールバックの指示としては、「常にする」、「常にしない」、エージェント装置が状況判断してコールバックをするかしないかを判断する「エージェント装置が判断（おまかせ）」のうちのいずれかを選択可能になっている。
【０１４３】
次のシーン作成ボタン３２１をクリックするとシナリオの流れを編集できる（次のシーンを作成する）。シーン作成ボタン３２１をクリックすると、現在選択しているシーンの次に展開するシーンの作成が可能になる。
シーン作成ボタン３２１でシナリオの流れを分岐させることで、各シーンの展開構成が作成される。例えば、シーンのアイコン１を選択した状態（アクティブ表示されている状態）で、次のシーン作成ボタン３２１をクリックするとシーン１に続くシーンのアイコンが下層側に表示され、複数回クリックすることでシーン１に続いて展開されるシーン２，３，…が分岐して作成される。
【０１４４】
すなわち、シーンｍを選択した状態でシーン作成ボタン３２１をクリックすることで、シーンンｍに続く次のシーンンｍ１が作成される。そして、再度シーンンｍを選択した状態で、シーン作成ボタン３２１をクリックするとシーンンｍに続く次のシーンンｍ２が、シーンｍ１と並列に分岐して作成される。同様に再度シーンｍを選択した状態でシーン選択ボタン３２１をクリックするとシーンｍ３が作成される。
そして、シーンｍ１に続くシーンを更に展開させたい場合には、シーンｍ１を選択した状態でシーン作成ボタンをクリックすることで、シーンｍ１に続く次のシーンｍ１−１が作成される。
そして、シーンｍ１−１を作成した状態で（シーンｍ１−１が選択されている状態）でシーン作成ボタン３２１をクリックすれば、シーンｍ１−１に続くシーンｍ１−１−１が作成され、シーンｍ１から分岐する別のシーンを作成する場合にはシーンｍ１を再度選択してシーン作成ボタン３２１をクリックすればシーンｍ１に続くシーンｍ１−２が作成される。
【０１４５】
シナリオの終了位置作成ボタン３２３をクリックするとシナリオの終了位置を作成できる。作成した各シナリオの終了位置には、終了番号がエンドＩＤとして割り振られるようになっている。
シナリオコンパイルボタン３２５をクリックすると作成したシナリオをナビゲーションで使うための実機形式（ＮＡＶ形式）のフォーマットにコンパイルできる。
【０１４６】
図３１は、シナリオプロパティを編集する画面操作の流れを表したものである。
図３１の（ａ）に示したメインウインドウにおいて、シーン展開画面３０５に表示されているスタートポイント３０８をダブルクリックすると、図３１（ｂ）に示すシナリオプロパティの編集ウインドウがメインウィンドウ上に重ねて表示される。
【０１４７】
このシナリオプロパティの編集ウィンドウにおいて、シナリオ名称入力，カナ名称入力，アイコン選択，プライオリティの設定，有効期限（開始条件を満たしてから実際に開始するまでのタイムラグの上限値）の設定，シナリオの自律起動条件の設定（別ウインドウ），作成者名称入力，コメント入力が行なえる。この画面で入力されるシナリオ名称入力，カナ名称入力は、実機形式（ＮＡＶ形式）のシナリオデータにおける管理データ等となる。
シナリオプロパティの編集ウィンドウにおいて、決定ボタン４０２をクリックすると編集内容がデータに反映され、メインウインドウに戻る。一方、キャンセルボタン４０３をクリックするとデータに反映されなで、メインウインドウに戻る。
シナリオプロパティの編集ウィンドウにおいて、起動条件の設定ボタン４０１をクリックすると、シナリオ開始条件（自律起動条件）のメイン編集ウィンドウ（図３１（ｃ））が重ねて表示される。
シナリオ開始条件のメイン編集ウインドウ（図３１（ｃ））で完了ボタンをクリックするとシナリオ起動条件の編集を終了しシナリオプロパティの編集ウィンドウ（図３１（ｂ））に戻る。
【０１４８】
図３２は、シナリオ開始条件のメイン編集ウィンドウから、シナリオ起動条件を編集する画面操作の流れを表したものである。
シナリオ開始条件のメイン編集ウインドウ（図３２（ａ）＝図３１（ｃ））では、ユーザがシナリオを手動で開始できるように設定できる。この事例ではチェックボックス４０６のチェックを外して手動で起動しないに設定する。
このシナリオ開始条件のメイン編集ウインドウ（ａ）の左側の自動起動条件（自律起動条件）一覧にはシステムがシナリオを自動で開始する条件が表示される。図３２（ａ）の状態では、まだ何も設定されていないので空欄の状態である。シナリオ開始条件のメイン編集ウインドウ（図３２（ａ））において、新規作成ボタン４０５をクリックすると、自動開始条件選択ウインドウ（図３２（ｂ））が表示され、新しい開始条件の編集ができる。
【０１４９】
自動開始条件選択ウインドウ（図３２（ｂ））において、設定したい判断条件項目（カテゴリ）を選択し、決定をクリックすると自動開始する条件範囲の選択ウインドウ（図３２（ｃ））へ進む。この図３２（ｂ）の例示では、高速道路走行中にシナリオを自動で開始（自律起動）したいので、「道路の状態がどのようなときに起動するか選択」の中の「種類を選択」の項目を選択し、決定をクリックする。
キャンセルをクリックするとシナリオ開始条件のメイン編集ウインドウ（図３２（ａ））に戻る。
【０１５０】
この自動開始条件選択ウインドウ（図３２（ｂ））に表示し、選択できる項目は、図２３に表示した自動起動項目である。図３２（ｂ）において、「いつ起動させるかを選択」のフォルダ内を選択すると図２３のＮｏ．１〜１０の条件項目が１つ下の階層に表示される。
同様に、「どこで起動させるかを選択」のフォルダを選択するとＮｏ．１０〜１６が、「道路の状態がどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．２１〜２３が、「車の状態がどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．１７〜２０が、「ナビの状態がどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．２１〜２８が、「ユーザーがどのようなときに起動させるかを選択」のフォルダを選択するとＮｏ．２９〜３０が、それぞれ１つ下の階層に表示される。
【０１５１】
自動開始する条件範囲の選択ウインドウ（図３２（ｃ））では、前のウインドウ（ｂ）で選択した判断条件項目（カテゴリ）によってウインドウの構成が変わる。図示した例では、道路の種類を選択する項目のウィンドウが表示されている。
自動開始する条件範囲の選択ウインドウ（図３２（ｃ））で、選択可能な項目は、自動開始条件選択ウインドウ（図３２（ｂ））で選択した自動起動項目に対応する、選択できる項目（図２４）である。この選択できる項目は、選択項目欄４０８右側のマークをクリックすることで、プルダウンメニュー表示される。
自動で開始しても良い条件範囲を一覧から選択（又は数字で入力）し、追加ボタンをクリックすると選択した項目が設定されて下の欄に表示される。図示した例では、「高速道路」を選択して追加ボタンをクリックした場合が表示されている。
自動開始する条件範囲の選択ウインドウ（図３２（ｃ））で決定ボタンをクリックするとその設定状態に決定し、シナリオ起動条件のメイン編集ウインドウ（図３２（ｄ））に戻る。
キャンセルをクリックすると自動開始条件選択ウインドウ（図３２（ｂ））に戻る。
【０１５２】
図３２（ｄ）のシナリオ開始条件のメイン編集ウインドウでは、左側の自動起動条件一覧に、上記操作で設定した自動で開始する条件（道路の種類が高速道路だったら起動する）が表示されている。
また、自動起動の条件一覧画面に表示されている自動で開始する条件を選択して編集ボタンをクリックすると、選択した条件にさらに条件設定を追加するための自動開始条件選択ウインドウ（図３２（ｂ））が表示される。
【０１５３】
次に、自律起動条件以外の、シナリオを作成する各種操作について説明する。図３３は、エージェント表示画面５１（図１２参照）に表示したい画面構成を選択する画面操作の流れを表したものである。
この図３３（ａ）に示されるメインウィンドウのシーン展開画面３０５に表示されているシーンアイコン３０７を選択してアクティブ状態にすると、選択したシーンアイコンに対応するシーン画面３１０が表示される。そして、設定画面３０３の画面構成の変更ボタン３０９をクリックすると、画面構成の選択ウインドウ（ｂ）が表示される。
この画面構成の選択ウインドウ（ｂ）では、シーン表示画面５４（図１２参照）に表示可能なる画面構成が一覧表示される。何も表示されない基本画面、ボタンによる選択ボタンが２つ表示された２択画面、選択ボタンが複数表示されたボタン選択画面、例えば、都道府県名等の複数の項目がリスト表示されるリスト選択画面、画像データを表示する画像表示画面等の各種選択可能な画面が表示される。
一覧表示された各画面構成の中から１の画面構成を選択し、決定ボタンをクリックすると画面構成を変更する場合は確認ダイアログで確認後変更する場合は、その画面構成に変更してメインウィンドウ（ａ）に戻る。メインウィンドウに戻ると、シーン画面３０１が新たに選択した画面構成に変更されて表示される。
【０１５４】
以下図３４から図３６までが本実施形態におけるキャラクタの表示内容（画像、音声）、及び音声認識の開始を含む処理内容のうち少なくとも１つに基づいて画面要素を設定する画面要素設定手段、画面要素設定機能を形成する。
図３４は、キャラクタ動作（エージェントの動作）指示を編集する画面操作の流れを表したものである。
シーン画面の編集状態を表しているメインウィンドウ（図３４（ａ））において、エージェント表示画面３１１をマウスでダブルクリックすると、キャラクタごとの直接指示編集ウインドウ（ｂ）又はキャラクタ動作の統一指示編集ウインドウ（ｃ）が表示される。
いずれのウィンドウが表示されるかは、前回に使用したウィンドウが表示され、前回動作指示をキャラクタごとの直接指示で指示しているときは（ｂ）が表示され、前回キャラクタに表現させたい状態で指示している場合は（ｃ）が表示される。最初に使用する場合には、キャラクタ動作の統一指示編集ウインドウ（ｃ）が表示される。
【０１５５】
図３４（ｂ）のキャラクタごとの直接指示編集ウインドウでは、モーション（動作），表情（感情表現の要素），髪型（成長表現の要素），服装（ＴＰＯ表現の要素），スケール（キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素），口パクをする範囲（台詞を割り当てる範囲），動作の指示タイミング，及びキャラクタ表示領域の背景を選択する。
図３４（ｂ）のキャラクタごとの直接指示編集ウインドウにおいて、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ（ａ）に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウ（ａ）に戻る。
また、表現内容指定ボタンをクリックすると、キャラクタに表現させたい状態で指示する状態指示編集ウインドウ（ｃ）切り替わる。
【０１５６】
キャラクタごとの直接指示編集ウインドウで動作の指示（表示状態）が選択されると、キャラクタ固有の動作としてシーンが定義される。この場合、エージェント装置１では、図１８の描画・音声出力部（１０１−５）によるキャラクタ描画・音声出力処理において、キャラクタによらない統一の表示形態指示でない（ステップ５０５−６−６−１；Ｎ）、と判断される。
【０１５７】
図３４（ｃ）のキャラクタ動作の状態指示編集ウインドウでは、キャラクタが表現する状態として、共通定義ＤＢ（２４０−２−１）に格納されているキャラクタの表示状態指示テーブル（図２８，２９参照）に対応して、仕事の要素，精神状態の要素，ＴＰＯ表現の要素，成長表現の要素，スケール要素（キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素），が選択可能に表示される。また、動作の指示タイミング，及びキャラクタ表示領域の背景の選択画面が表示される。
ユーザは、このキャラクタ動作の状態指示編集ウインドウに表示された各表示状態を選択することで、キャラクタによらず各キャラクタに共通した動作として選択した表示状態に対応する表示状態番号が設定中のシーンの内容として設定される。
このウィンドウで、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ（ａ）に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウ（ａ）に戻る。
直接指示指定ボタンをクリックすると、キャラクタ動作の直接指示で指示する直接指示編集ウインドウ（ｂ）に切り替わる。
【０１５８】
図３５は、キャラクタ（エージェント）の台詞指示を編集する画面操作の流れを表したものである。
シーン画面の編集状態を表しているメインウィンドウ（図３５（ａ））において、設定画面３０３の台詞編集ボタン３１３をクリックすると台詞の編集ウインドウ１（ｂ）が表示される。
この台詞の編集ウインドウ１（ｂ）では、「ＰＣＭ」のタブ画面が表示され、ＰＣＭ（録音されて用意されている肉声データ）の指示ができる。
台詞の編集ウインドウ１（ｂ）で「ＴＴＳ」タブを選択すると、台詞の編集ウインドウ２（ｃ）が表示され、ＴＴＳ（合成音声）の指示ができる。
ＰＣＭの場合台詞を全角ひらがなで入力（上記入力用ボックス）し該当する台詞が有るか検索（検索ボタンをクリックする：前方一致と完全一致の２種類の検索方法を用意）し、検索結果（検索結果一覧表示欄が存在する）から選択しキャラクタに話させる台詞を設定（追加ボタンをクリックすると設定できる）していく。
ＴＴＳの場合は台詞名称（吹き出し表示用データ）とフリガナ（合成音声を作成するためのデータ）を入力しキャラクタに話させる台詞を設定（追加ボタンをクリックすると設定できる）していく。
台詞の編集ウインドウ１（ｂ）、２（ｃ）において、決定ボタンをクリックすると編集内容が吹き出し画面４３０のデータとして反映されてメインウィンドウ（ａ）に戻り、キャンセルボタンをクリックするとデータに反映されなでメインウィンドウ（ａ）に戻る。
【０１５９】
図３６は、音声認識辞書を編集する画面操作の流れを表したものである。
この操作は、装置側からの回答を要求する問いかけに対して、ユーザから返される音声による回答を認識するための音声辞書を設定するものである。
その一例として、図３６では、車両の走行制御を行うシナリオにおいて、走行制御が終了した後に制御に対する感想を問いかけ、その回答を認識する１シーンでの画面操作を表している。
シーン画面の編集状態を表しているメインウィンドウ（図３６（ａ））において、音声認識開始制御指示３２０ａの右側に表示されている逆三角形のボタンを選択することで、プルダウンメニューが表示される。プルダウンメニューとしては、「自動で開始する」、「自動で開始しない」、「おまかせ」（エージェント装置（車載装置）が判断する場合）、が表示される。ユーザはこの表示の中から１つ音声認識の指示を選択する（音声認識開始設定手段、音声認識開始設定機能）。なお、既に表示されている音声認識の指示でよい場合には、プルダウンメニューを表示せずにそのままにすることで表示中の指示が選択されたことになる。上記のように音声認識を開始するか否かの条件（「自動で開始する」「自動で開始しない」）をユーザが設定しない場合、音声認識の開始を予め定められた条件（「おまかせ」）で判断するように設定することにより、本願発明の車載判断設定手段、車載判断設定機能が形成される。
ユーザによって選択された音声認識の指示は、選択したシーンのシーンデータとして設定される。
【０１６０】
このように、本実施形態のシナリオ作成装置２によれば、音声認識を自動で開始させるか否かの指示（音声認識の指示）を設定できる機能を備えているので、エージェント装置１に対して音声認識の開始をどうするかをシナリオの作成者が設定することができる。
そして、音声認識を「自動で開始する」を設定することで、ユーザである運転者は音声認識開始のトリガ（認識開始ボタンを押す）を選択しなくても回答する（音声入力する）ことができる。このようにエージェント装置のユーザである運転者は、擬人化されたキャラクタとの会話において質問に答える際に、音声認識開始ボタンを押すという機器操作のステップを省略することができる。また、このステップは人間同士の会話においては存在しないため、擬人化されたキャラクタとの会話がこの発明の結果以前より人間同士の会話に近づけることができる。
【０１６１】
また、本実施形態のシナリオ作成装置２では音声開始の指示として「おまかせ」（エージェント装置が判断）を設定でき、おまかせが設定されたシーンに対してエージェント装置では、運転負荷の高低によって音声認識を開始する、又は開始しないが選択される。
従って、運転者は、交差点の進路変更操作中等の負荷が高い場合には音声認識が開始されず、音声入力（運転者による回答）を要求する開始音が出力されないので、運転者は高負荷である運転操作に専念することができる。
【０１６２】
シーン画面の編集状態を表しているメインウィンドウ（図３６（ａ））において、選択された画面構成にしたがって表示されるボタンパーツ部３１５ａ（画面構成によっては通常リストボックスパーツ部の場合も有る）をダブルクリックすると音声認識辞書選択ウインドウ（ｂ）が表示される。また、バックグラウンドで認識する辞書の一覧表示部３１５ｂをダブルクリックしても音声認識辞書選択ウインドウ（ｂ）が表示される。
【０１６３】
音声認識辞書選択ウインドウ（図３６（ｂ））において、辞書候補の一覧表示にある辞書名称をダブルクリックするとその音声認識辞書を使うものとして、一般辞書として選択した一覧に表示される。
決定ボタンをクリックすると編集内容がデータに反映されてメインウィンドウ（ａ）に戻り、キャンセルボタンをクリックするとデータに反映されなでメインウィンドウ（ａ）に戻る。
新規作成ボタンをクリックすると、音声認識辞書を新規に作成する音声認識辞書作成ウインドウ（図３６（ｃ））が表示される。
【０１６４】
音声認識辞書作成ウインドウ（図３６（ｃ））では、辞書の名称を入力して辞書追加ボタンをクリックするとその名称で音声認識辞書を新規に作成して音声認識辞書へ単語登録するウインドウ（ｄ）が表示される。
音声認識辞書作成ウインドウ（ｃ）でＯＫボタンをクリックすると音声認識辞書の作成を終了し、音声認識辞書選択ウインドウ（ｂ）にもどる。
【０１６５】
音声認識辞書へ単語登録するウインドウ（図３６（ｄ））では、登録したい単語を半角カナでフリガナ欄に入力し、決定ボタンをクリックする。次に名称（表示させたい名称）を選択もしくは新規入力し、コールバックをする際のＰＣＭ音声を選択（無しを選択すればコールバックする場合はＴＴＳを使用する）する。これら３項目の入力をした後に登録ボタンをクリックするとデータ登録され右側の登録単語一覧に追加される。
登録したい単語の登録を全て終わったら戻るボタンをクリックすると音声認識辞書作成ウインドウ（ｃ）に戻る。
【０１６６】
図３７は、シナリオの流れを編集する画面操作の流れを表したものである。
メインウィンドウにおいて作成中のシーンアイコン３０７（図ではアイコン１）を選択してアクティブ状態にして、新規シーン作成ボタン３２１をクリックすると、移行の選択ウインドウ（ｂ）が表示される。
この移行の選択ウインドウ（ｂ）において、新規に作成するシーンへ分岐させる条件を分岐イベント一覧から選択し、ＯＫボタンをクリックするとその条件（分岐イベント）に決定してメイン画面（ａ）へ戻る。戻った後のメイン画面（ｃ）では、シーン展開画面３０５に、新たにシーン（図ではシーンアイコン（４））が作成されている。新規に作成されたシーンアイコンでは、他のシーンアイコンと区別するため、ＮＥＷと表記される。
なお、分岐イベントの選択ウィンドウで選択できる分岐イベントは、図２６に表示されている。この図３７の説明のように、１つの画面要素から次の画面要素に移行するための条件を設定することにより、本願発明における移行条件設定手段、移行条件設定機能が形成される。
【０１６７】
図３８は、シナリオの終了位置を編集する画面操作の流れを表したものである。
メインウインドウ（ａ）において、シナリオの終了位置作成ボタン３２３をクリックするとエンドＩＤの指定ウインドウ（ｂ）が表示される。
このエンドＩＤの指定ウインドウ（ｂ）において、終了位置マークの持つＩＤ番号を指定する。通常は自動割付するが、自動で割り付けると書かれたチェックボックスのチェックをはずせばエディタの操作者が自分で割り付けることもできる。ＯＫボタンをクリックするとＩＤ番号を決定し分岐イベント選択ウインドウ（ｃ）が表示される。
【０１６８】
分岐イベント選択ウインドウ（ｃ）では、新規シーン作成時と操作方法は同様にシナリオを終了するための分岐条件を設定する。追加条件設定も同様にできる。このウィンドウで、ＯＫボタンをクリックするとその条件（移行条件）に決定してメインウィンドウ（ｄ）へ戻る（移行条件設定手段、移行条件設定機能）。このときシナリオ図には新たにシナリオ終了位置４３３が作成されている。
以上説明したように、キャラクタ（エージェント）の表示内容、処理内容の少なくとも１つが定義された画面要素を１画面要素（シーン）とし、該画面要素及び画面要素間の移行条件とを組み合わせて画面要素推移体（シナリオ）を作成する画面要素推移体作成手段、画面要素推移体作成機能が形成される。
【０１６９】
図３９は、作成したシナリオをナビゲーションで使用可能な実機形式（ＮＡＶ形式）のフォーマットにコンパイルするための画面操作の流れを表したものである。
メインウインドウ（ａ）において、シナリオコンパイルボタン３２５をクリックすると、シナリオコンパイラのウインドウ（ｂ）が表示される。
このシナリオコンパイラのウインドウ（ｂ）において、コンパイルしたデータを出力するファイルの名称を指定し、同時に変換するシナリオを選択（シナリオ一覧リストにチェックしたシナリオを同時に変換する）し、コンパイルボタンをクリックするとデータ変換を開始する。データ変換の状況を結果表示部に表示する。
終了ボタンをクリックするとデータ変換を終了し、メインウィンドウ（ａ）にもどる。
【０１７０】以上説明したように、本実施形態のシナリオ作成装置によれば、シナリオの各シーンにおけるキャラクタの動作を指示する表示状態をキャラクタの種類によらずに共通化したので、キャラクタにとらわれずに実行できるシナリオを作成することができ、キャラクタ毎に作成していたシナリオを１個にまとめることができるため、シナリオ作成が容易になる。
また、統一のキャラクタ動作指示形態の名称には、キャラクタに表現させたい内容、例えば、出会いのあいさつ、（情報等を）掲示する、喜ぶ、怒る等を用いたので、シナリオ作成装置においてキャラクタ動作の指示を作成する場合に、シナリオ作成者はキャラクタに何をさせたいかを、名称から直接選択するだけでよくなるため、シナリオ作成が容易になる。
【０１７１】
また、本実施形態によれば、シナリオ作成装置で作成されたシナリオデータに基づいてエージェントを自律的に起動させる（自動で登場させる）条件を満たしたかを判断する処理を定期的にもしくは特定の状態を満たしたときに実行し、条件を満たした場合にエージェントを自動で登場させることができる。
一方、本実施形態のシナリオ作成装置及びシナリオエディタによれば、プログラムの知識の有無に関係無く、シナリオエディタを持つことで特定の条件を満たしたときに自動で登場して対応してくれるエージェントのシナリオデータを容易に作成及び編集することができる。また、シナリオ作成装置に、音（効果音）を鳴らすｏｒ鳴らさないの設定及び鳴らす場合はどういった音を鳴らすかの設定ができる（作成した各シーンで設定できる）ので、自動でエージェントが登場したことを運転者が画面を見ることなく通知することができるシナリオを容易に作成することができ、運転操作中でも運転者は安全にエージェントの登場を知ることができる。
【０１７２】
以上、本発明の車載装置、データ作成装置、及びデータ作成プログラムにおける１実施形態について説明したが、本発明は説明した実施形態に限定されるものではなく、各種の変形を行うことが可能である。
例えば、説明した実施形態のエージェント装置１では、おまかせ（エージェント装置が判断）が設定されていて運転負荷が高負荷である場合に、音声認識を行わないこととした。これに対して、運転者が高負荷である場合、直ちには音声認識を開始しないが、高負荷状態でなくなった時点で音声認識を開始するようにしてもよい。
すなわち、図１９の状況判断（ステップ５０５−６−８−２）において、運転者が高負荷であると判断された場合にリターンする場合について説明したが、リターンせずに（ステップ５０５−６−８−２に戻るようにする。これにより、音声認識部（１０１−７）は運転者の負荷が低負荷に成るまで待ち、低負荷となった時点で音声入力を求める開始音を出力することになる。
【０１７３】
説明した実施形態では、図２３〜図２４に例示した、自律起動条件として選択可能な項目として「ユーザ性別」「ユーザ年齢」について規定したが、運転者に関する他の自動起動項目（図２３参照）を追加するようにしてもよい。例えば、自動起動項目として、「熟練度」や「感情」等の運転者の状態に関する項目を追加する。そして、「熟練度」に対応する選択可能項目（図２４、図２５参照）として「低い」、「普通」、「高い」を追加し、「感情」に対応する選択可能項目として「不安」、「あせり」、「緊張」等を追加する。
【０１７４】
この場合、エージェント装置では、熟練度、感情といった運転者の状態を、運転者情報データ（１０−２−３−６）や、学習項目データ（１０−２−３−７）に格納される運転者の操作履歴等から状況情報として取得し、シナリオの起動条件と比較判断する。
すなわち、エージェント装置では、エージェントＯＳ（１０１−８）が例えば各種状況検出装置（６）からの情報を外部Ｉ／Ｆ（１０１−９）を通して全体処理部（１０２）から取得し、また、学習部（１０１−３）が格納している運転者情報データ（１０−２−３−６）や学習項目データ（１０−２−３−７）に格納される運転者操作履歴等を基にして、学習部（１０１−３）が現在の運転者の状態を判断する。
判断する運転者状態の例としては、自律起動条件の各項目に対応する、運転者の不安、あせり、緊張感、…等や、エージェント装置に対する熟練度等も判断及び推測する。
例えば、一定時間内にスピード超過状態が長く続き、かつ急な加減速が多く行なわれた場合に時間に対してあせっている（急いでいる）と判断する例が考えられる。
また、エージェントの通算使用回数や、通算使用時間（コミュニケーション時間）、さらには自動起動が発生した回数等を使ってエージェント装置に対する熟練度を低い・普通・高い等３段階で判断したりする。段階の数や判断の条件は一例であり変更しても良いものとする。
【０１７５】
このように、エージェント装置側で検出可能な条件をシナリオ作成装置に登録し、シナリオエディタで使用可能にすることで、運転者状態を画面要素推移体（シナリオ）の起動条件（自律起動条件）として使用することができる。
これにより運転者があせっている場合は、エージェント側から自律的に登場してコミュニケーションを取らない（自律起動条件に「あせっていない場合」という条件を付加する）ことが可能になる。
【０１７６】
なお、本実施形態では、規格化されたシナリオデータに従ってエージェント機能を実現可能とし、シナリオデータで規定された自律起動条件に基づいてシナリオを起動する車両用のエージェント装置を提供することを目的Ａ、エージェント装置においてエージェント機能を実現するための規格化されたシナリオ、及び、シナリオを自律的に起動する自律起動条件を容易に作成することが可能なシナリオデータ作成装置を提供することを目的Ｂとして、以下のように構成することも可能である。
（ａ）車室内や車両の状態を判断し、その判断結果に応じた処理を自律的に行う機能を、エージェントの容姿の動きや音声と連動させて実行するエージェント装置であって、
所定の容姿を有するエージェントの画像を車室内に表示するエージェント表示手段と、
装置が行う処理内容とエージェントの画像及び音声の少なくとも１つから構成される場面を１シーンとし、１又は連続する複数のシーンで構成されたシナリオと、当該シナリオの展開を自律的に起動する自律起動条件とを有するシナリオデータを記憶したシナリオ記憶手段と、車室内や車両の状態を状況情報として取得する状況情報取得手段と、前記取得した状況情報が前記シナリオ記憶手段に記憶された各シナリオの自律起動条件を満たしているか否かを判断する条件判断手段と、前記条件判断手段で満たしていると判断された自律起動条件に対応するシナリオを自律的に起動して各シーンを順次展開するシナリオ実行手段と、を備え、前記条件判断手段は、所定のタイミングで状況情報が自律起動条件を満たしているか否かを判断することを特徴とするエージェント装置。
（ｂ）前記条件判断手段は、所定時間毎の定期的に、及び、前記取得した状況情報から予め設定された特定の状況を満たした場合に判断を行う、ことを特徴とする（ａ）に記載のエージェント装置。
（ｃ）前記シナリオ実行手段は、効果音が設定されたシーンの場合、効果音情報に対応する効果音を当該シーンを展開する際に出力することを特徴とする（ａ）又は（ｂ）に記載のエージェント装置。
（ｄ）車両用のエージェント装置が自律的に行う処理内容とエージェントの画像及び音声の少なくとも１つから構成される場面を１シーンとし、１又は連続する複数のシーンで構成されたシナリオを、当該シナリオの自律起動条件を満足した場合に自律的に起動するエージェント装置用のシナリオデータを作成するシナリオデータ作成装置であって、シーンの構成要素として選択可能なエージェントの処理内容とエージェント画像と音声データの少なくとも１つを選択するシーン要素選択手段と、前記取得したシーン構成要素から、エージェントによる処理内容、エージェントの画像及び、出力音声の少なくとも１で構成される場面を１シーンとして作成するシーン作成手段と、所定のシーンから次のシーンに移行するための１又は複数の移行条件と、各移行条件に対応して移行先のシーンを特定する移行先データとから、各シーンの展開構成を作成するシーン展開構成作成手段と、前記エージェント装置により取得可能な車室内や車両の状態に関する状況情報の各項目を提示する提示手段と、提示した状況情報の各項目から１つ以上の項目を選択する選択手段と、前記選択された１または複数の状況表示の項目からシナリオの自律起動条件を作成する自律起動条件作成手段と、前記作成したシーンと前記作成した各シーンの展開構成と、前記作成したシナリオの自律起動条件とからなるシナリオデータを出力する出力手段と、を具備することを特徴とするシナリオデータ作成装置。
（ｅ）前記シナリオは、エージェントによる提案、質問、挨拶等の能動的動作を内容とするシーンから開始することを特徴とする（ｄ）に記載のシナリオデータ作成装置。
（ｆ）シーンを選択するシーン選択手段と、１または複数の効果音を特定する効果音情報を、一覧表示する効果音表示手段と、前記表示された効果音情報から１の効果音情報を選択する効果音選択手段と、前記選択された効果音情報に対応する効果音を前記選択されたシーンの開始時に出力する効果音として設定する効果音設定手段と、を具備することを特徴とする（ｄ）又は（ｅ）に記載のシナリオデータ作成装置。
（ａ）の実施形態によれば、規格化されたシナリオデータに従ってエージェント機能を実現可能とし、シナリオデータで規定された自律起動条件に基づいてシナリオを起動することが可能になる。
また（ｂ）記載の実施形態によれば、プログラミングの十分な知識がなくても、エージェント装置においてエージェント機能を実現するための規格化されたシナリオ、及び、シナリオを自律的に起動する自律起動条件を容易に作成することができる。
【０１７７】
【発明の効果】
請求項１から請求項３に記載の発明によれば、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を実行すると共に、画面要素の指示内容に従って音声認識を開始することが可能になる。
請求項４から請求項６に記載の発明によれば、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を容易に作成すると共に、画面要素において音声認識を開始を設定することが可能になる。
請求項７、請求項８に記載した発明によれば、車載装置において実行される、キャラクタの表示状態、キャラクタの処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体をコンピュータで容易に作成すると共に、画面要素において音声認識を開始を設定することが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施形態におけるエージェント装置を使用した、シナリオ追加システムについてのシステム構成図を表したものである。
【図２】本発明の一実施形態におけるエージェント装置の構成を示すブロック図である。
【図３】同上、エージェント装置における各種状況検出装置の構成図である。
【図４】ＣＰＵでプログラムが実行されることにより実現されるエージェント処理部と、全体処理部との関係を表した説明図である。
【図５】エージェント処理部の構成を表した説明図である。
【図６】外部記憶媒体に集録されている情報を概念的に表した説明図である。
【図７】実機形式シナリオデータの構成を表したものである。
【図８】キャラクタデータを概念的に表した説明図である。
【図９】キャラクタ画像選択データ内容を概念的に表した説明図である。
【図１０】運転者情報データを概念的に示した説明図である。
【図１１】エージェント装置により車室内に登場させるエージェントのキャラクタを選択する場合の選択画面を表した説明図である。
【図１２】シナリオのシーンデータに基づいて表示装置に表示されるシーン画面の一例を表した説明図である。
【図１３】旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表した画面遷移図である。
【図１４】自律起動判断部によるシナリオの自律起動判断処理について表したフローチャートである。
【図１５】条件判断処理の処理内容を表したフローチャートである。
【図１６】シナリオ実行処理の流れの一例を表したフローチャートである。
【図１７】シーン処理の流れの一例を表したフローチャートである。
【図１８】描画・音声出力部によるキャラクタ描画・音声出力処理を表したフローチャートである。
【図１９】音声認識処理の処理動作を表したフローチャートである。
【図２０】シナリオ作成装置の構成図である。
【図２１】シナリオ編集プログラムとデータの構成を概念的に表したものである。
【図２２】データ形式の変換を概念的に表したものである。
【図２３】自動起動項目として設定可能な項目を例示したものである。
【図２４】自動起動項目に対して選択可能な項目を例示したものである。
【図２５】自動起動項目に対して選択可能な項目を例示したものである。
【図２６】シーンから次のシーンに分岐（シーン展開）をするための分岐項目（移行条件）が格納されたシーン分岐項目テーブルである。
【図２７】追加条件テーブルを表したものである。
【図２８】共通定義ＤＢに格納されている、キャラクタの表示状態指示テーブルの内容の一部を概念的に表した説明図である。
【図２９】共通定義ＤＢに格納されている、キャラクタの表示状態指示テーブルの内容の他の一部を概念的に表した説明図である。
【図３０】シナリオエディタを起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
【図３１】シナリオプロパティを編集する画面操作の流れを表したものである。
【図３２】シナリオ開始条件のメイン編集ウィンドウから、シナリオ起動条件を編集する画面操作の流れを表したものである。
【図３３】エージェント表示画面に表示したい画面構成を選択する画面操作の流れを表したものである。
【図３４】キャラクタ動作（エージェントの動作）指示を編集する画面操作の流れを表したものである。
【図３５】キャラクタ（エージェント）の台詞指示を編集する画面操作の流れを表したものである。
【図３６】音声認識辞書を編集する画面操作の流れを表したものである。
【図３７】シナリオの流れを編集する画面操作の流れを表したものである。
【図３８】シナリオの終了位置を編集する画面操作の流れを表したものである。
【図３９】、作成したシナリオをナビゲーションで使用可能な実行形式のフォーマットにコンパイルするための画面操作の流れを表したものである。
【符号の説明】
１　エージェント装置装置
２　シナリオ作成装置
３　サーバ
（１）　中央処理装置
（２）　表示装置
（３）　音声出力装置
（４）　音声入力装置
（５）　入力装置
（６）　各種状況検出装置
（７）各種車載装置
（８）通信制御装置
（９）通信装置
（１０）外部記憶装置
（２００）　制御部
（２１０）　入力装置
（２２０）　出力装置
（２３０）　通信制御装置
（２４０）　記憶装置
（２５０）　記憶媒体駆動装置
（２６０）　入出力Ｉ／Ｆ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an in-vehicle device, a data creation device, and a data creation program, for example, an in-vehicle device having an agent function of autonomously performing a conversation by communication with a passenger of a vehicle or operating a device, and the like. The present invention relates to a data creation device and a data creation program.
[0002]
[Prior art]
For example, a pet-type robot such as a dog, and an agent device that interacts with and responds to passengers by providing guidance on the operation of equipment such as a navigation device in the passenger compartment and asking questions and making proposals according to the situation It is mounted on a vehicle as an in-vehicle device. In addition, various possible states of the apparatus are assumed, and measures to be taken when each assumed state is detected are defined according to predetermined data and programs.
Such a conventional agent device sometimes asks a user for a question or an instruction, and recognizes a voice response from the user. In this case, how to start the user's recognition, what dictionary to use for the recognition, and the like are programmed in advance.
[0003]
[Problems to be solved by the invention]
In such a conventional agent device, a program is created and modified for setting conditions for an agent to automatically appear, a display state and processing for defining an agent operation, and a start timing of voice recognition. Because it was only possible to do so, it could not be created or changed without knowledge of the program, and much time and money was required for development.
On the other hand, as a device for recognizing a user's voice in a vehicle and performing a predetermined process, there is a navigation device having a voice recognition function. In such a conventional apparatus having a voice recognition function in a vehicle, a user selects a recognition start button before inputting voice because of a lot of noise in the vehicle. There have been navigation devices that automatically start the second and subsequent times when speech recognition has failed or when recognition work is performed a plurality of times in succession. The barrel user is always instructing.
When a voice recognition function is installed in an agent device for performing communication such as conversation between a personified character and a user, an operation that does not exist in conversation between humans (such as a recognition start button) is performed. Selection) is required.
For this reason, there is a problem that it becomes an instruction to the machine, communication with the agent becomes unnatural, and it is unlikely to be a conversation.
[0004]
SUMMARY An advantage of some aspects of the invention is to provide a screen element in which at least one of a character display state and a character processing content is defined as one screen element, and a screen element configured by combining the screen elements. It is a first object of the present invention to provide a vehicle-mounted device that can execute a transition body and start speech recognition in accordance with the instruction content of a screen element.
Also, the present invention provides a screen element transition body configured by combining a screen element defined as at least one of a character display state and a character processing content, which is executed in an in-vehicle device, with the screen element combined. It is a second object of the present invention to provide a data creation device that can be easily created and can start speech recognition in a screen element.
Also, the present invention provides a screen element transition body configured by combining a screen element defined as at least one of a character display state and a character processing content, which is executed in an in-vehicle device, with the screen element combined. It is a third object of the present invention to provide a data creation program which can be easily created by a computer and can set start of voice recognition in a screen element.
[0005]
[Means for Solving the Problems]
According to the first aspect of the present invention, a screen element in which at least one of the display content and the processing content of the character is defined is defined as one screen element, and the screen element transit body configured by combining the screen elements and the screen element transit body Screen element transition storage means for acquiring and storing a start condition from outside, on-vehicle sensor, condition determination means for determining whether the start condition is satisfied based on at least one of user information, and satisfying the start condition If it is determined that there is a screen element transition body executing means to execute the screen element transition body by sequentially executing each screen element constituting the screen element transition body that satisfies the start condition according to the setting, Voice recognition means for recognizing voice, wherein the screen element transition body execution means, when the start of voice recognition is set in the processing content of the screen element, Initiating speech recognition by the speech recognition means according to the constant, to achieve the first object by.
According to a second aspect of the present invention, in the in-vehicle apparatus according to the first aspect, a driving load determining unit that determines a driving load of a driver is provided, and the screen element transition body executing unit determines the driving load by the driving load determining unit. When the determined driving load is equal to or less than a predetermined value, the voice recognition by the voice recognition unit is started.
According to a third aspect of the present invention, in the in-vehicle device according to the first or second aspect, the screen element transition body executing means is configured to set a time for terminating voice recognition in the processing content of the screen element in advance. The voice recognition by the voice recognition means is terminated according to the setting.
According to the fourth aspect of the present invention, a screen element setting means for setting one screen element based on at least one of display contents of a character and processing contents including start of voice recognition, and setting by the screen element setting means Transition condition setting means for setting a transition condition for transitioning from one selected screen element to the next screen element, and a screen element transition for executing processing on a display device in the vehicle based on the screen element and the transition condition The second object is achieved by providing a data creation device with screen element transition body creation means for creating a body.
According to a fifth aspect of the present invention, in the data creation device according to the fourth aspect, when the user does not set a condition as to whether or not to start the voice recognition, the start of the voice recognition is determined based on a predetermined condition. And on-vehicle determination setting means for making settings as described above.
In the invention according to claim 6, the data creation device is provided with character display processing setting means for setting the processing content of the character to be displayed on the display device in the vehicle, and the character display processing setting means performs processing of the character. The second object is achieved by including voice recognition start setting means for setting a start condition for starting recognition of a response voice of a user based on the voice recognition.
According to the seventh aspect of the present invention, a screen element setting function for setting one screen element based on at least one of display contents of a character and processing contents including start of voice recognition, and setting by the screen element setting function A transition condition setting function for setting one or more transition conditions for transitioning from one screen element to the next screen element, and an execution process on a display device in the vehicle based on the screen element and the transition condition. The third object is achieved by a data creation program that causes a computer to realize a screen element transition body setting function of creating a screen element transition body.
According to the invention described in claim 8, in the data creation program according to claim 7, when the user does not set the condition for starting the speech recognition, the start of the speech recognition is determined based on a predetermined condition. And an in-vehicle determination setting function for making settings as described above.
[0006]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an agent device which is a preferred embodiment of an in-vehicle device of the present invention, a scenario creation device which is a preferred embodiment of a data creation device, and a scenario editor which is a preferred embodiment of a data creation program will be described with reference to FIGS. This will be described in detail with reference to FIG.
(1) Overview of the embodiment
In the agent device of the present embodiment, an image of an agent (character) having a predetermined appearance (a three-dimensional image such as a two-dimensional image and holography) is displayed in the vehicle. This agent device has a function of recognizing and judging surrounding conditions (including human motion and voice) from the detection result of a sensor or the like, and outputting an operation or voice according to the result. It is executed in conjunction with the appearance movement and voice. For example, a question requesting an answer (Japanese food, Western food, etc.) such as “What genre do you like?” Is determined, and the contents of the user's answer to this question are determined (recognition of the answer voice, response of the answer selection button 54a). Then, processing corresponding to the next scene (screen element) is executed. In this way, since a request for an answer from the device and the execution of a predetermined operation are started in response to the answer, the user can be as if an agent with a pseudo personality is present in the vehicle. You will feel it. In the following description, execution of a series of functions of such an agent device will be described as an action or operation of an agent.
In the agent device of the present embodiment, this agent is caused to perform various communications with the driver and perform operations. Then, various actions (acts) autonomously performed by the agent are composed of a plurality of scenarios (screen element transition bodies). Then, scenario data standardized by a plurality of scenarios defining the contents of a series of continuous actions by the agent and autonomous start conditions (start conditions) for autonomously starting (starting) deployment of each scenario is stored. I do.
The scenario is composed of one or a plurality of continuous scenes with a scene (screen element) as a minimum unit. One scene is composed of autonomous processing content and at least one of the image and sound of the agent.
The scenario includes one transition condition (continuous condition) for transitioning from a predetermined scene to the next scene or a plurality of transition conditions (branch condition (for transition of a scene to each state when a plurality of states occur). Condition)) and destination data for specifying a destination scene corresponding to each transition condition, the development configuration of each scene is defined.
[0007]
On the other hand, a user or the like of the agent device creates a unique scenario according to a prescribed standard using the scenario creating device. The scenario creation device can be configured by installing a scenario editing program and data on a personal computer.
The created scenario is transmitted to the agent device via a network such as the Internet, or downloaded to the agent device, and stored in the agent device via a predetermined semiconductor memory, thereby enabling the self (third party) to store the scenario. It is possible to cause the agent to perform the desired action (communication and processing).
The first scene of the scenario to be created may be, for example, a scenario of a questioned scene requesting an answer to a human. Then, it is possible to input the independently created scenario data from an external device via an input device. In this case, when the scenario data to be added to the semiconductor memory is stored, the input device corresponds to a storage medium drive that reads the contents of the semiconductor memory, and is downloaded from a specific server or the like via a network such as the Internet. If so, the communication control device corresponds. The scenario is executed according to the newly input scenario data.
[0008]
The agent device is provided with mail and browser software, downloads a scenario using browser software or the like, determines whether or not the downloaded file is scenario data that causes the agent to function, and if the downloaded data is scenario data, the agent program So that it can be used by incorporating it. Similarly, when a file is attached to an e-mail, it is determined whether or not the attached file is a scenario. If the file is a scenario, the file is incorporated into an agent system so that it can be used.
As a result, in addition to the conventional method, by using the existing communication infrastructure such as e-mail, communication using a network, etc. Scenarios can be added.
In this manner, the user can independently and easily create a scenario that allows the agent to function as he or she wants, and thus eliminates resistance to the autonomous operation of the agent device.
[0009]
Furthermore, in the agent device, the process of judging whether the condition for autonomously activating (automatically appearing) the agent based on the scenario data created by the scenario creating device has been satisfied or a process for determining whether the condition has been satisfied has been met. Provide a system that can be run occasionally and automatically bring agents in when the conditions are met.
This allows the scenario creation device to create and edit agent scenario data that automatically appears and responds to certain conditions by having a scenario editor, regardless of whether or not you have knowledge of the program. it can.
For example, when the vehicle is running at a point 2 km before the orbit where the Orvis is installed (designated by the north longitude and north latitude), the road type is Expressway, and the vehicle speed is 120 km / h or more, the vehicle automatically appears and the Orbis It is possible to change the vehicle speed condition among the conditions of the scenario that gives a warning to 100 km / h or more, or to create a scenario that is activated only on a specific day (for example, Christmas Eve) every year.
[0010]
Then, the scenario editor device is provided with a function capable of setting an instruction as to whether or not to automatically start voice recognition. In addition, in the agent device, the driver as a user triggers a voice recognition start (presses a recognition start button) in accordance with an instruction as to whether or not to automatically start voice recognition indicated in the scenario data created by the scenario editor. A function to start voice recognition without an instruction is provided.
Thereby, the driver who is the user of the agent device can omit the device operation step of pressing the voice recognition start button when answering a question in a conversation with the personified character. Also, since this step does not exist in the conversation between humans, the conversation with the personified character can be closer to the conversation between humans than before as a result of the present invention.
[0011]
(2) Details of the embodiment
FIG. 1 shows an overall system configuration including an agent device and a scenario creating device.
In this system, the agent device 1 of the present embodiment, a scenario creation device 2 of a scenario data creator who is a user who creates scenario data according to a designated standard or a third party, and the Internet or the like using a server 3 or the like. It consists of communication means.
The scenario creation device 2 creates unique scenario data using a scenario editor. Then, the user who has created the unique scenario data can store the scenario data in a semiconductor storage device such as a DVD-ROM or an IC card or other storage media 7 and transfer the scenario data to the agent device 1. Then, the agent device 1 that has received the scenario data reads the scenario data from the storage medium 7 by the storage medium driving device and incorporates the scenario data into the already stored scenario data. Therefore, the agent device 1 can be operated. Note that what is created by the scenario creating device 2 may be the user of the agent device 1 itself or a third party.
Further, the agent device 1 can incorporate scenario data created by the user or a third party via a network such as the Internet, and can also incorporate scenario data attached to mail.
In addition, a third party who wishes to provide a service or the like to the user of the agent device 1 creates scenario data in a predetermined format by using the scenario creating device 2 using, for example, a scenario editor, and posts the created scenario data on its own homepage. To make it downloadable, or send it to the agent device 1 as an attached file of e-mail. The agent device 1 receives the scenario data 5 attached to the e-mail, or the user downloads the scenario data file 4 via a communication means such as the server 3. Also, the agent device 1 transmits the user's response (response mail to the scenario data) obtained in accordance with the execution of the received scenario data to the scenario creator 2 of the scenario creator in the text of the e-mail 6 or an attached file. .
[0012]
First, the configuration and operation of an agent device 1 in which an agent functions autonomously according to a scenario created by a developer or a user will be described.
FIG. 2 is a block diagram illustrating a configuration of the agent device 1 according to the present embodiment.
The agent device 1 according to the present embodiment is mounted on a vehicle and has an agent function such as a function of communicating with a user in the vehicle, a vehicle control function of performing a predetermined process on the vehicle, and the like. It also has a navigation function to provide route guidance and the like.
In the agent device 1 of the present embodiment, a central processing unit (1), a display device (2), a voice output device (3), a voice input device (4), an input device ( 5), various situation detection devices (6), various on-vehicle devices (7), a communication control device (8), a communication device (9), and an external storage device (10).
[0013]
The central processing unit (1) includes a CPU (1-1) for executing various arithmetic processing, a flash memory (1-2) for reading and storing programs from an external storage device (10), and a flash memory (1-2). ROM (1-3) storing a program (program reading means) for performing a program check and update process of the above, and a RAM (1-4) for temporarily storing data being processed by the CPU (1-1) as a working memory. ), A clock (1-5), an image memory (1-7) storing image data used for screen display on the display device (2), and a display output control signal from the CPU (1-1). The image processor (1-6) which extracts image data from the image memory (1-7), performs image processing and outputs the image data to the display device (2), and receives audio output control signals from the CPU (1-1). An audio processor (1-8) for performing a process of converting the log signal into a log signal and outputting the log signal to the audio output device (3), and a process of converting an analog signal input from the audio input device (4) into a digital audio input signal; An input device I / F unit (1-9) for receiving input contents from the input device (5), various input I / F units (1-10) for receiving information from detectors for detecting various situations, Reads data and programs and writes data from an external storage medium (10-2) such as a communication I / F section (1-11) for exchanging information with other devices, a CD-ROM, an IC card, a hard disk, etc. An external storage device control unit (1-12) for controlling the external storage device (10) to be operated is provided.
[0014]
The central processing unit (1) includes a route search process, a display guidance process necessary for route guidance, other processes necessary for the entire system, an agent process in the present embodiment (various communication between the agent and the driver, an operation agency operation). In other words, a process of judging a situation and performing autonomously according to the result is performed.
The program (program reading means) for performing the updating process may be stored in the flash memory (1-2) in addition to the ROM (1-3).
All the programs executed by the CPU (1-1), including the programs in the present embodiment, may be stored in a CD-ROM or the like which is the external storage medium (10-2), or may be a part of those programs. Alternatively, all of them may be stored in the ROM (1-3) or the flash memory (1-2) of the main body.
The data and programs stored in the external storage medium (10-2) are input to the central processing unit (1) as external signals and subjected to arithmetic processing, thereby realizing various agent functions and navigation functions. Has become.
The central processing unit (1) according to the present embodiment executes a screen element transition body (scenario) when it is determined that the activation condition (autonomous activation condition) is satisfied. It forms an element transition body execution function.
[0015]
The display device (2) displays a road map and various image information for route guidance by the processing of the central processing unit (1), and displays various behaviors of the character (moving images) and screen element transitions composed of screen configuration parts. The body (scenario) is displayed.
As the display device (2), various display devices such as a liquid crystal display device and a CRT are used.
The display device (2) may have a function as an input device (5) such as a touch panel.
[0016]
The voice output device (3) provides guidance voice when performing route guidance by voice by the processing of the central processing unit (1), a conversation for normal communication with the driver by the agent, and a question for obtaining driver information. Is output.
The voice output device (3) is capable of performing voice input to the user when starting voice recognition (when starting input data acquisition with the voice input device (4)) in the voice recognition process. Is output (start sound output means, start sound output function). In the present embodiment, a sound such as “Pee” is output as the start sound, but a buzzer sound or a chime sound may be used.
The audio output device (3) is composed of a plurality of speakers arranged inside the vehicle. These may also be used as audio speakers.
[0017]
For the voice input device (4), a dedicated microphone having directivity may be used in order to accurately collect the voice of the driver. The voice recognition processing is executed by the CPU (1-1) using the digital voice input signal obtained by converting the analog signal input from the voice input device (4).
Examples of the voice to be subjected to voice recognition include an input voice of a destination in a navigation process, a conversation of a driver with an agent (including a response by the driver), and the like. Function as a voice input means for inputting the input.
Note that an instruction for voice recognition is set in each scene data as to whether or not the scene requires voice recognition. Then, a dictionary for recognizing the voice to be subjected to voice recognition is specified in the scene data of the scene for which the voice recognition instruction is set. This voice recognition instruction is set to one of “start automatically”, “not start automatically”, and “determine by agent device (vehicle device)”. When the instruction for voice recognition is "determined by the agent device", the agent device determines the road condition (curve, intersection, straight line, etc.) while driving the driver's load, and the driving operation condition (rapid acceleration, sudden braking). If the load is high, the voice recognition is not started, and if the load is low, the start sound is output and then the voice can be input.
[0018]
Note that a hands-free unit may be formed by the voice output device (3) and the voice input device (4) so that a call can be made using the communication control device (8) and the communication device (9).
Further, by combining the voice input device (4), the voice processor (1-8) and the voice recognition processing, a conversation detecting means for detecting whether or not the driver is conversing with the fellow passenger, a conversation detecting function, It may be made to function as a situation detecting means and a situation detecting function for detecting the situation of the driver using the voice uttered by the driver.
[0019]
The input device (5) is used to input a telephone number or coordinates on a map when setting a destination, or to request (request) a route search or route guidance to the destination. The input device (5) is used as a trigger when the driver inputs driver information or when the use of the agent function is started. Further, the input device (5) also functions as one response means and response function for the driver to respond to an inquiry from the agent or the like in communication with the agent by the agent function.
As the input device (5), various devices such as a touch panel (functioning as a switch), a keyboard, a mouse, a light pen, and a joystick can be used.
Further, a remote control using infrared rays or the like and a receiving unit for receiving various signals transmitted from the remote control may be provided.
On the remote controller, various keys such as a menu designation key (button) and a numeric keypad are arranged in addition to a joystick for moving a cursor displayed on the screen.
Further, the voice recognition using the voice input device (4) may be used instead of the input device.
[0020]
The central processing unit (1) uses the content received from the input device (5) via the input device I / F unit (1-9) to determine whether or not the CPU (1-1) is performing an input operation by the driver. And / or a function of detecting the operation status of various devices by using the voice recognition result together (device operation status detection means, device operation status detection function).
[0021]
FIG. 3 is a block diagram illustrating a configuration of the various situation detection devices (6).
Various situation detecting devices (6) include a current position detecting device (6-1), a traffic situation information receiving device (6-2), and a brake detector (6-3) for detecting a situation such as a driving operation. , A side brake (parking brake) detector (6-4), an accelerator opening detector (6-5), an A / T shift position detector (6-6), and a wiper detector (6- 7), a direction indicator detector (6-8), a hazard detector (6-9), and an ignition detector (6-10). With the above configuration, the detection means and the detection function of the present invention are formed by detecting various situations and conditions.
[0022]
The current position detection device (6-1) is for detecting an absolute position (depending on latitude and longitude) of the vehicle, and is a GPS (Global Positioning System) receiving device that measures the position of the vehicle using an artificial satellite. (6-1-1), a data transmitting / receiving device (6-1-2) that receives a GPS correction signal, an azimuth sensor (6-1-3), and a steering angle sensor (6-1-4). , A distance sensor (6-1-5) or the like is used.
The GPS receiver (6-1-1) can perform position measurement alone, but in a place where reception by the GPS receiver (6-1-1) is impossible, the direction sensor (6-1-3) and The present position is detected by dead reckoning using at least one of the steering angle sensor (6-1-4) and the distance sensor (6-1-5). Further, by receiving the GPS correction signal using the data transmitting / receiving device (6-1-2), the accuracy of position detection by the GPS receiving device (6-1-1) can be improved.
The azimuth sensor (6-1-3) is, for example, a geomagnetic sensor that detects terrestrial magnetism to determine the azimuth of the vehicle, a gas rate gyro or an optical fiber that detects the rotational angular velocity of the vehicle and integrates the angular velocity to determine the azimuth of the vehicle. A gyro such as a gyro, a wheel sensor in which left and right wheel sensors are arranged, and a turning amount of the vehicle is detected based on an output pulse difference (difference in moving distance) to calculate a azimuth displacement amount is used.
The steering angle sensor (6-1-4) detects the steering angle α by using an optical rotation sensor, a rotation resistance volume, or the like attached to a rotating part of the steering.
As the distance sensor (6-1-5), for example, various methods such as a method of detecting and counting the number of rotations of a wheel, or a method of detecting acceleration and integrating twice are used.
The distance sensor (6-1-5) and the steering angle sensor (6-1-4) also function as driving operation status detecting means.
[0023]
The traffic condition information receiving device (6-2) is for detecting a traffic congestion condition or the like of a road.
The traffic information receiving device (6-2) includes a beacon receiving device (6-2-1) for receiving information from beacons arranged on a road and a device (6-2-) for receiving information using FM broadcast radio waves. 2) and the like are used, and congestion information, traffic regulation information, and the like are received from the traffic information center using these.
The beacon receiving device (6-2-1) may be used in combination with the current position detecting device (6-1) as the current position detecting means.
[0024]
The brake detector (6-3) detects whether or not the foot brake is depressed.
The side brake (parking brake) detector (6-4) detects whether the driver is operating the side brake and the state of the side brake (ON or OFF).
The accelerator opening detector (6-5) detects how much the driver depresses the accelerator pedal.
The shift position detector (6-6) detects whether the driver is operating the A / T shift lever, and detects the shift lever position.
The wiper detector (6-7) detects whether the driver is using the wiper.
[0025]
The direction indicator detector (6-8) detects whether the driver is operating the direction indicator and whether the direction indicator is blinking.
The hazard detector (6-9) detects whether or not the driver is using the hazard.
An ignition detector (6-10) detects whether an ignition switch is turned on.
The distance sensor (6-1-5) is used for detecting the vehicle speed.
The various situation detecting device (6) also serves as a device operation situation detecting means, in addition to these, a light detection sensor that detects an operation situation of lamps such as a head lamp and a room lamp, and detects a driver's seat belt attaching / detaching operation. A seat belt detection sensor and other sensors are provided.
[0026]
As shown in FIG. 2, the GPS receiving device (6-1-1), the data transmitting / receiving device (6-1-2), and the traffic information receiving device (6-2) include a communication device I / F (1). −11), and the others are connected to various input I / F units (1-10).
[0027]
A communication control device (8) can be connected to the communication device I / F section (1-11). The communication control device (8) is connected to a communication device (9) (such as a mobile phone including various wireless communication devices).
Using these, it is possible to perform communication with an information providing station that provides karaoke data used for communication karaoke in a car, for example, in addition to telephone calls.
In addition to the information providing station that provides karaoke data, the communication device (9) controls communication with the information base station that provides traffic information and communication with the information providing station that provides scenario data used for agent processing. It is also possible via a device (8).
[0028]
In the present embodiment, the central processing unit (1) can receive an e-mail attached with a scenario via the communication control device (8).
Also, the central processing unit (1) can incorporate browser software for displaying a homepage on the Internet, and can be processed by the CPU (1-1). You can download the data including.
The communication control device (8) may be integrated with the communication device (9).
[0029]
Further, the central processing unit (1) receives the operation status of another vehicle-mounted device (7) by performing in-vehicle communication through the communication I / F unit (1-11), and performs various controls on the vehicle-mounted device. It has become.
For example, the central processing unit (1) receives information on whether or not the driver is operating various switches or the like of the air conditioner from the air conditioner, which is various vehicle-mounted devices (7), and raises or lowers the set temperature. Control of the air conditioner as described above. Also, the driver receives information from the audio device as to whether the driver is operating an audio device such as a radio, a CD player, a cassette player, etc., and whether audio is being output from the audio device, or raises or lowers the output volume. The audio device is controlled as follows.
[0030]
The external storage device (10) includes an external storage medium drive (10-1) and the external storage medium (10-2). The external storage device (10) reads data and programs from the external storage medium (10-2) under the control of the external storage device control unit (1-12) according to instructions from the CPU (1-1), and Data and programs are written to the external storage medium (10-2).
As the external storage medium (10-2), for example, various storage media such as a flexible disk, a hard disk, a CD-ROM, a DVD-ROM, an optical disk, a magnetic tape, an IC card, and an optical card are used. Each external storage medium drive (10-1) is used.
[0031]
It is assumed that a plurality of external storage devices (10) may be possessed in the system. For example, driver information data (10-2-3-6) and learning item data and response data (10-2-3-7), which are collected personal information, can be easily carried with an IC card or a flexible disk. An example is conceivable in which the data is configured and the other data is configured on a DVD-ROM. In this way, when driving another vehicle, it is possible to read and use data from an IC card in which these are stored, and to communicate with an agent who has learned a situation in which the user has responded in the past. Become. That is, it is possible to cause an agent having learning content unique to each driver to appear in the vehicle, instead of an agent for each vehicle.
Further, even in the case where the image data (10-2-3-4) used in the scenario data + scenario is stored in a DVD-ROM as an example, it is possible to add the data using an IC card.
Thereby, it is possible to add an original scenario unique to each user.
As described above, by storing the screen element transition body (scenario) and the activation condition of the screen element transition body from the outside, the screen element transition storage unit and the screen element transition storage function of the present invention are formed.
[0032]
The CPU (1-1) is a program (10-2-1) for realizing various agent functions and navigation functions, agent data (10-2-3) and navigation data (10-2-2) used for arithmetic processing. Is stored (installed) in another external storage device (for example, a hard disk device or the like) from the DVD-ROM or IC card shown in the above configuration example, and the necessary programs and the like are stored in the flash memory (1-2) from this storage device. The data may be read (loaded) and executed, or data necessary for the arithmetic processing may be read from this storage device into the RAM (1-4) (loaded) and executed.
[0033]
Next, the configuration of a program executed by the CPU (1-1) including the program according to the present invention will be described.
FIG. 4 shows a relationship between an agent processing unit (101) realized by executing a program by the CPU (1-1) and the overall processing unit (102).
In the present embodiment, a navigation device with an agent function is realized by adding an agent processing unit (101) for realizing an agent function to the overall processing unit (102) for realizing various navigation functions.
[0034]
The agent processing unit (101) and the overall processing unit (102) each have an I / F unit for exchanging processing data with each other, and can acquire processing data from each other.
For example, when the agent processing unit (101) acquires destination data that the driver wants to set as a result of executing communication with the driver according to the scenario data, the agent processing unit (101) supplies the data to the overall processing unit (102). It has become. The overall processing unit (102) performs a route search based on the acquired destination data, and performs route guidance based on the created travel route data. In this route guidance processing, when guidance such as a course change direction is provided by an image or voice, a scenario in which data necessary for guidance is supplied from the overall processing unit (102) to the agent processing unit (101) to provide a traveling route guidance. It is also possible for the agent to provide guidance in accordance with the scenario data obtained by converting the data into the data.
[0035]
FIG. 5 shows a configuration of the agent processing unit (101).
The agent processing unit (101) includes a scenario driving unit (101-1), an autonomous activation determination unit (101-2), a learning unit (101-3), a character psychology unit (101-4), a drawing / It comprises a voice output unit (101-5), a voice recognition unit (101-7), an agent OS unit (101-8), and an external I / F unit (101-9).
The scenario driving unit (101-1) reads the scenario data (10-2-3-4) and instructs each processing unit based on the scenario data by using message communication or the like (using a function provided by each processing unit). ). The scenario driving unit (101-1) performs central processing of an agent processing unit, such as managing execution of a scenario and providing various agent functions to a driver.
[0036]
The autonomous activation determining unit (101-2) holds the autonomous activation condition data of each scenario in the scenario data (10-2-3-4), and periodically executes the autonomous autonomous condition output from the agent OS unit (101-8). According to the start determination instruction, various conditions such as time, position, state, and the like are compared and determined with various situations.
When the conditions match, the autonomous activation determination unit (101-2) issues an instruction to the scenario driving unit (101-1) to request execution of a scenario whose conditions match.
Various conditions for comparison with the autonomous activation condition are obtained from the agent OS unit (101-8) and the learning unit (101-3).
If the change in the situation is large other than the periodic autonomous activation determination instruction, the autonomous activation determination unit (101-2) issues an autonomous activation determination instruction from the agent OS unit. A judgment process is performed. The case where the change in the situation is large is, for example, when the driver sets a destination, when the driver deviates from the driving guide route by the navigation function, when the scenario data is added, or when the scenario data is deleted. Etc.
[0037]
In FIG. 5, the learning unit (101-3) uses the driver information data (10-2-3-6) and the items (execution results and execution history) obtained by the driver's selection and response in the communication with the agent. , Learning item data and response data (10-2-3-7). The learning unit (101-3) also obtains an end ID indicating a method of ending when the scenario ends in a different scene, and stores it as response data (10-2-3-7). These acquired items are stored in the RAM (1-4), but can also be output to an external storage medium (10-2) such as an IC card.
The learning unit (101-3) acquires a change in the situation from the agent OS unit (101-8) and records information on the driving operation. For example, the date and time of power ON (ignition ON) may be stored for the past 10 times in order to determine various situations such as a riding time zone and a riding frequency by the driver. The stored information is provided to, for example, the scenario driving unit (101-1), and is used for giving a change to the development of the scenario, or used for comparing autonomous activation determination.
In addition, although the learning unit (101-3) in the present embodiment also serves as holding and referencing the driver information, the learning unit (101-3) may be independent as the driver information unit.
[0038]
The character psychology unit (101-4) acquires the current situation managed by the agent OS unit (101-8), and autonomously calculates five parameters representing the mental state of the character based on the mental model change condition data. change.
The psychological state of the character is represented by parameters of energy, friendship, obedience, self-confidence, and morality, and each parameter is represented by a value of 0 to 100, for example. Each parameter determines and learns the vehicle status (the status of the vehicle itself, the response and response of the driver, the presence or absence of a passenger, the status of the vehicle including oncoming vehicles, etc.), and is stored from the vehicle status at each time. The value of each parameter is changed. For example, when a driver's word of suspicion is recognized, the value of the friendship parameter increases by 1, and changes gradually.
In addition, five parameters representing the mental state of the character are changed by an instruction from the scenario driving unit.
Further, the character psychology unit (101-4) determines the mental state of the character by using the five parameters. The determined psychological state is provided to, for example, the scenario driving unit (101-1) and used to give a change to the development of the scenario, or is provided to the drawing / voice output unit (101-5) to perform various actions of the character ( Behavior).
[0039]
The drawing / sound output unit (101-5) creates a control signal for displaying a screen composed of parts such as a selection button and a title in accordance with an instruction from the scenario driving unit (101-1). Further, in accordance with an instruction from the scenario driving unit (101-1), a control signal for displaying various actions (actions) of the character corresponding to the display state based on the scene data is also created.
In the present embodiment, these control signals are transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and are present in the overall processing unit (102). The information is transmitted to the image processor (1-6) through the processing unit for giving an instruction to the image processor, subjected to image processing, and displayed on the display device (2). In 8), a processing unit for giving an instruction to the image processor may be provided.
[0040]
The drawing / voice output unit (101-5) also generates a control signal for outputting a dialog when the agent communicates with the driver in accordance with an instruction from the scenario driving unit (101-1). In addition, a control signal for outputting various sound effects is generated in accordance with an instruction from the scenario driving unit (101-1).
In the present embodiment, these are transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and transmitted to the voice processor in the overall processing unit (102). The audio output control signal is transmitted to the audio processor (1-8) through a processing unit for giving an instruction, is converted into an analog signal, and is output to the audio output device (3). The agent OS unit (101-8) may have a processing unit for giving an instruction to the voice processor.
[0041]
Note that the drawing / voice output unit (101-5) of the present embodiment has a function of drawing a motion of a character in each scene and a voice output function, but a drawing unit (drawing function unit) and a voice output unit (voice). Output function unit) may be configured separately.
[0042]
The speech recognition unit (101-7) issues a control signal for causing the speech recognition processing unit in the overall processing unit (102) to create a speech recognition dictionary in accordance with an instruction from the scenario driving unit (101-1). Further, the voice recognition unit (101-7) also issues a control signal for starting or stopping the voice recognition process in accordance with an instruction from the scenario driving unit (101-1).
In the present embodiment, these are transmitted to the agent OS unit (101-8) and transmitted from the external I / F unit (101-9) to the voice recognition processing unit in the overall processing unit (102).
The voice recognition processing unit transmits an instruction to start and stop the voice recognition processing to the voice processor (1-8), and the voice processor (1-8) transmits the analog signal input from the voice input device (4). Is to be converted into a digital audio input signal.
When a voice input signal is input, the voice recognition processing unit obtains the digital voice input signal, and based on the digital voice input signal, the voice recognition processing unit performs recognition processing. To the voice recognition unit (101-7). The speech recognition unit (101-7) notifies the scenario driving unit (101-1) of the speech recognition result.
With the above configuration, a voice recognition means for recognizing voice and a voice recognition function are formed.
[0043]
The agent OS unit (101-8) manages the current situation by acquiring a change in the situation (including addition of a scenario) such as time, place, and various inputs, and sends a message as necessary to the change in the situation. Notify each processing unit by communication. The status change is supplied from the overall processing unit (102) through the external I / F unit (101-9), or obtained by inquiring.
The information to be obtained is obtained by fetching the detection results and the like by the various situation detecting device (6) from various input I / F units (1-10) and the communication I / F unit (1-11) and RAM (1-4). It is written in. The contents input using the input device (5) are also supplied from the overall processing unit (102) through the external I / F unit (101-9), and the contents are transmitted to each processing unit by message communication as necessary. Notice.
In addition, it has various other libraries that provide message communication for exchanging data between processing units, perform time-related processing, and serve as a timer to notify the elapse of a specific time and the current time. And a memory necessary for each processing unit to perform processing, and a function of reading and writing data from an external storage medium.
[0044]
The agent OS unit (101-8) periodically issues an autonomous activation determination instruction to the autonomous activation determination unit (101-2). This periodic autonomous activation determination instruction is issued every predetermined time. The predetermined time should be as short as possible within a range in which the autonomous start-up determination processing that is periodically performed according to the autonomous start-up determination instruction that is periodically issued does not affect other processing of the entire central processing unit (1). Desirably, in the present embodiment, the interval is set to 5 seconds. The predetermined time may be arbitrarily changed by the user by operating the input device (5).
Further, even when the agent OS unit (101-8) determines that the change in the situation is large, the agent OS unit (101-8) periodically issues an autonomous activation determination instruction to the autonomous activation determination unit (101-2). ing. The case where the change in the situation is large is, for example, when the driver sets a destination, when the vehicle deviates from the guidance route, when scenario data is added, or when the scenario data is deleted. The corresponding item is defined in advance and stored in the RAM (1-4) or the like.
[0045]
The external I / F unit (101-9) is an interface between the agent processing unit (101) and the overall processing unit (102) (the overall processing unit (102) has an agent I / F as a receiver). Department exists). It acquires various information such as navigation information used in the agent processing, and transmits a control signal from the agent processing unit to the overall processing unit to control navigation.
The drawing instruction to the image processor (1-6) and the sound output to the sound processor (1-8), which are notified and notified to the overall processing unit (102) through the external I / F unit (101-9). The agent processing unit is provided with a processing unit that performs instructions to other processors and the I / F unit, such as obtaining instructions and input information from the input device I / F unit (1-9). Or may be done.
[0046]
An overall processing unit (102) in FIG. 4 includes a map drawing unit, a route search unit, a route guidance unit, a current position calculation unit, a destination setting operation control unit, and the like, which are not shown, and performs an navigation signal output process. And an OS unit such as a program for performing display output control necessary for map display and route guidance and voice output control required for voice guidance.
The overall processing unit (102) also includes a voice recognition processing unit that performs voice recognition and a processing unit that converts text data into voice data. The processing unit for adding a browser function or a mail function is added to the overall processing unit (102).
Alternatively, the agent processing unit (101) may have a browser function or a mail function.
In the present embodiment, an extended function for executing the agent process is added to the overall processing unit (102). This extended function includes, for example, means for detecting the type of a traveling road (expressway, national road, etc.) from road data in the navigation data and the current position, and a curve condition of a traveling road (before a curve, There are means for detecting the end of a curve.
[0047]
Next, a data configuration (including a program) stored in the external storage medium (10-2) will be described.
FIG. 6 conceptually shows information collected on the external storage medium (10-2).
The external storage medium (10-2) has a program (10-2-1) for realizing various agent functions and navigation functions according to the present embodiment, and agent data (10-2-3) and navigation as necessary various data. Data (10-2-2) is stored.
The navigation data (10-2-2) includes various data necessary for map drawing, route search, route guidance, destination setting operation, and the like. Examples include map data (road map, house map, building shape map, etc.) required for route guidance, intersection data, node data, road data, photograph data, registered point data, destination point data, guide road data, details It consists of a file of destination data, destination reading data, telephone number data, address data, and other data, and stores all data necessary for the navigation device. Also, communication area data and the like are stored as needed.
[0048]
The drawing map data is drawing map data to be drawn on the display device (2). The drawing map data is a hierarchical map, for example, a map for each layer such as Japan, the Kanto region, Tokyo, and Kanda from the highest layer. Data is stored. Map data of each layer is provided with a map code.
The intersection data includes an intersection number specifying each intersection, an intersection name, coordinates of the intersection (latitude and longitude), a number of a road at which the intersection is a start point and an end point, the presence or absence of a signal, and the like.
The node data includes information such as latitude and longitude that specify the coordinates of each point on each road. That is, this data is data relating to one point on the road. A connection between nodes is called an arc, and a road is represented by connecting each of a plurality of node rows with an arc.
Road data includes road numbers that specify each road, intersection numbers that are the starting and ending points, numbers of roads that have the same starting and ending points, road thickness, prohibition information such as entry prohibition, and photo numbers of photo data described below. It is composed of
As the photograph data, there are photographs taken of each intersection or a characteristic scenery seen while traveling straight, in the form of digital, analog, or negative film corresponding to the photograph number.
[0049]
The communication area data displays, on the display device (2), an area in which the mobile phone, which is a communication device (9) connected or not used in the vehicle with or without connection to the communication control device (8), can communicate from the vehicle, Communication area data for using the area in which communication can be performed at the time of route search exists for each type of mobile phone.
The agent data (10-2-3) includes mental model data (10-2-3-1), recommended proposal data (10-2--3-2), and knowledge data (10-2-3-3). ), Scenario data (10-2-3-4), character data (10-2-3-5), driver information data (10-2-3-6), learning item data, and response data (10-2-3-7).
[0050]
The mental model data (10-2-3-1) is composed of five parameters (friendliness, obedience, confidence, morale, and spirit) representing the mental state of the character and mental model change condition data. . The mental model change condition data describes conditions for increasing / decreasing the index of each of the above parameters, the changed parameters, and the degree of the change. According to this table, each parameter is increased or decreased to indicate the mental state of the character.
The recommendation proposal data (10-2-3-2) is used when a restaurant or the like is proposed as recommendation information to the driver. The recommended proposal data (10-2-3-2) includes driver name, reading data, restaurant genre data, atmosphere data, fee data, point data,. Based on 3-6) and the knowledge data (10-2-3-3), a restaurant recommended to the driver is searched and suggested.
There are sightseeing spots and rest places besides restaurants.
The knowledge data (10-2-3-3) is based on statistical data, based on age and gender, a preference tendency based on a situation based on the presence or absence of a passenger, a selection tendency including specialty products based on a location, a time and a time. Is a data of the tendency of the selection. There are various selection tendencies such as a tendency to select a restaurant, a tendency to select a sightseeing spot, a tendency to select a rest place, and so on.
[0051]
Scenario data (10-2-3-4) provides the agent's actions and questions according to the situation when the agent communicates with the driver, and provides information from the agent autonomously in any situation. Conditions, such as whether or not to perform, are defined. In the scenario data (10-2-3-4), image data to be displayed separately from the character (image data to be displayed on a scene display screen 54 (see FIG. 12) described later) is also stored.
[0052]
FIG. 7 shows the configuration of actual machine type scenario data.
The scenario data (10-2-3-4) includes a plurality of scenarios, and includes data for managing the scenarios and data indicating the contents of each scenario.
The management data of the acquisition scenario includes information such as the expiration date of the scenario data, the date of creation, the creator, and the like, as well as data (scenario number, The scenario name, priority (priority)), the autonomous start condition data of the scenario recorded in the scenario file, and the driver manually operating the input device (5) in the scenario recorded in the scenario file. Lists scenario list data that can be started.
[0053]
The data indicating the content of each scenario includes management data for managing each scenario and scene data indicating the content of each scene constituting the scenario.
The data for managing each scenario includes information about the scenario, text information for creating a speech recognition dictionary used in this scenario, and data for overall management of each scene data constituting the scenario. Have been.
[0054]
The scene data includes data for managing the scene, screen configuration data, character motion data, various types of processing data, and development management data.
The data for managing the scene includes information on the scene and data for managing each data section belonging to the scene data.
The screen configuration data describes data (size, display position, etc.) of each part of the screen configuration displayed on the display device (2) in this scene.
In the character motion data, instruction data of an operation performed by the character in this scene and instruction data relating to the contents to be spoken are described. In the instruction data of the action, the instruction data is described as one of two types, that is, an instruction directly by the expression means of each character in the scenario data and an instruction in a state where the character is to be expressed.
[0055]
Various processing data includes information for controlling (performing processing) external devices in this scene, information for controlling navigation, instructions for executing other scenarios, timer setting information, and a mental model for character psychology. Information for changing parameters is described.
The external device includes devices connected to the communication I / F unit (1-11), and includes, for example, a communication control device. The contents to be controlled include making a call to a specific telephone number and disconnecting the call.
The navigation control content includes, for example, setting this point as a destination.
The instruction to change the parameters of the mental model includes, for example, decreasing the friendship by one.
[0056]
The deployment management data describes information such as whether to end the scenario, what the next scene is, or not to deploy anything if any event occurs in this scene.
The event referred to here indicates an action defined in order to advance the development of the scene to the next. For example, when the dialogue of the character has ended, the set time has elapsed, or the driver has selected any answer to the question asked in this scene (eg, "Yes" or "Yes" to the question "Yes" or "No") And so on).
In addition to this event, the development can be changed depending on the learning result.
For example, it can be used when the driver selects "Yes" to the question and the total number of uses is less than 10 times.
In addition to the learning result, the development can be changed using the date and time, the mental state of the character using the mental model, driver information, and the like.
[0057]
FIG. 8 conceptually shows the contents of the character data.
The character data (10-2-3-5) stores data of a plurality of characters, and can be selected from the input device (5) or the like according to the driver's preference.
The character data (10-2-3-5) includes character image data 102351, character voice data 102352, and character image selection data 102353 for each of the characters A, B,.
[0058]
The character image data 102351 stores a still image indicating a state of a character displayed in each scene specified by a scenario, a moving image (animation) indicating an action, and the like. For example, a moving image in which the character bows, a nodding moving image, a moving image of raising the right hand, and the like are stored.
Each of these still images and moving images is provided with an image code.
The character image data 102351 functions as an image storage unit.
The character (the appearance of the agent) used as the character image data 102351 does not need to have a human (male, female) appearance. For example, the non-human-type agent may be an appearance of an animal itself such as an octopus, a chick, a dog, a cat, a frog, a rat, or a human figure that has been stylized (illustrated). Appearance, a floor stand, a tree, or a specific character.
In addition, the age of the agent does not need to be constant, and as a learning function of the agent, the appearance of the child is first changed to the appearance of a child, and the appearance changes over time (change to the appearance of an adult, May be changed).
[0059]
The character voice data 102352 stores voice data for the agent to have a conversation with the driver according to the scene of the selected scenario.
The voice data of the conversation by the agent also stores voice data for the agent to ask a question for collecting driver information. As an example, "Hello", "I Regards", "And I", and the like are stored.
Each of these voices is provided with a voice code.
[0060]
The character image selection data 102353 is a conversion table in which image data representing an expression method (operation) of each character is assigned to each display state.
The scenario data (10-2-3-4) defines the contents of each scene by a common display state that does not depend on the type of character.
For this reason, the character image selection data 102353 is a conversion table for converting the display state of the commonly expressed scene into image data for displaying the details of individual actions for the character selected by the user. Function as
[0061]
FIG. 9 conceptually shows the contents of the character image selection data 102353.
In FIG. 9, the state instruction number defined in each scene data, the corresponding unified display state, and the operation content for each character are displayed. However, the actual character image selection data 102353 includes the state instruction number. A number and an image code for displaying the operation content corresponding to the state instruction number are stored for each character. An image code assigned to each still image or moving image of the character image data 102351 is associated with the state instruction number.
By using the conversion table shown in FIG. 9, a common operation instruction (designation of a display state) can be performed even if different operations are performed depending on characters for the same state to be expressed.
As shown in FIG. 9, for example, in the case of a Japanese sunshine, the instruction to “greet an encounter” is defined as “bow”, and the instruction to “listen to” Hit your ears. "
If this is a Western lady, the instruction to "greet an encounter" is defined as "raise the right hand to the side of the face", and in the case of a robot i-ball, the instruction to "greet an encounter" is "head". The laser scan moves up and down on the main screen. "
As described above, in the agent device, it is possible to perform individual actions corresponding to the selected character by changing the character selection for the same scenario.
[0062]
FIG. 10 conceptually shows driver information data.
The driver information data (10-2-3-6) is information on the driver, and is used to make the communication of the agent more suitable for the driver's wishes, hobbies, and preferences.
The driver information data (10-2-3-6) includes driver ID (identification information), name, age, gender, marriage (married or unmarried), child for storing information for each driver. Driver basic data including presence / absence, number of people, and age, and hobby / preference data are stored.
The hobby / taste data includes major items such as sports, eating and drinking, and traveling, and detailed items included in the concept of these major items. For example, large item sports store data such as whether or not they like baseball, whether or not they like soccer, and whether or not they like golf.
In the present embodiment, the priority order is determined for each of these pieces of driver information, and the agent asks the driver a question in descending order of priority among the driver information not yet stored. . The driver basic data has a higher priority than the hobby preference data.
[0063]
The driver information data (10-2-3-6) is created for each driver when a plurality of drivers drive the vehicle. Then, the driver is specified and the corresponding driver information is used.
For example, when the power is turned on, an agent common to all the drivers appears to inquire the driver, and the driver is specified from the answer. In response to the driver's inquiry, a button for selecting the input driver's name and others is displayed on the display device, and a voice prompting the selection is output. If any other is selected, a new user registration screen is displayed.
Driver specific information such as weight, fixed position of driver's seat (seat) (front and rear position, angle of backrest), angle of rearview mirror, height of line of sight, digitized face photograph data, voice feature parameter ID card, etc. May be stored in the driver information data (10-2-3-6), and the driver may be specified based on the information.
[0064]
The learning item data and response data (10-2-3-7) in FIG. 6 are data for storing the result of learning by the agent based on the driver's selection and response in communication with the agent.
Accordingly, the learning item data and the response data (10-2-3-7) are stored and updated (learned) for each driver.
For example, the result of the previous selection, the date and time of the last use, the total number of times of use, and the like are stored as the use state of the scenario.
According to this learning content, for example, in a scenario in which a greeting is given each time the navigation power is turned on, if the last use is less than 5 minutes, it will respond as "I met you just before" or conversely, more than one month If they are open, they respond to "It's been a long time".
[0065]
Also, an answer (including a response of no answer) as a result of asking which team is a fan is stored. Depending on the result of this response, if no answer is given, it is possible to change the correspondence, such as asking again which team's fan, or if a particular team is stored, having a conversation about that team.
As an example of a method of determining the response of no answer, a timer is set in a scene where a question is asked, and a state in which there is no input for a predetermined time is regarded as no answer.
[0066]
Next, an operation of executing a scenario by the agent device configured as described above will be described.
FIG. 11 shows a selection screen when an agent device selects an agent character to appear in a vehicle cabin.
The agent device 1 can select a character from a detailed setting screen (FIG. 11A) displayed on the display device (2).
In FIG. 11A, when the user selects a “Yes” button for displaying a character, as shown in FIG. 11B, each of the characters stored in the character data (10-2-3-5) is displayed. Character names are displayed in a selectable list (character selection means, character selection function). The user selects a favorite character from this list display. The selection is made by touching the corresponding character name column or inputting the character name by voice.
When a character is selected, data specifying the character selected by the user is transmitted from the overall processing unit (102) via the external I / F (1019), and is managed by the agent OS (101-8).
If the data of the character selected by the user does not exist, one of the characters, in this embodiment, “sunlight” is set as a default value, and the default character is managed by the agent OS (101-8). (Setting means, setting function).
[0067]
FIG. 12 illustrates an example of a scene screen displayed on the display device (2) based on scene data of a scenario.
The scene screen shown in FIG. 12 is a scene screen (scene number 0x0001) of a question scenario in which a question is asked from the driver to acquire a hobby preference (meal), which is driver information that has not been input.
As shown in FIG. 12, the scene screen includes an agent display screen 51 on which an image (still image, moving image) of the agent is displayed, a balloon screen 52 on which characters corresponding to the voice of the agent are displayed, a title screen 53, and And a scene display screen 54 on which image data (images of actual image data, answer selection buttons, etc.) specific to each scene are displayed.
The agent displayed on the agent display screen 51 is a character selected by the user or a default character.
[0068]
When the scenario driving unit (101-1) of the agent processing unit (101) activates the question scenario of hobbies and preferences (meals), first, the screen configuration data of the scene specified by the scene header is converted into scenario data + image (10- 2-4), the scene screen is displayed on the display device (2), and a question voice corresponding to the question sentence is output from the voice output device (3).
In the question scenario scene screen shown in FIG. 12A, the balloon screen 52 displays "What genre of food do you like?" Note that a sound corresponding to the display of the balloon screen 52 is output from the sound output device (3).
In addition, the scene display screen 54 in the scene screen of FIG. 12A displays “Japanese food”, “Western food”, “Chinese food”, and “particularly none” of the four answer selection buttons 54a.
[0069]
A plurality of scenes corresponding to the driver's answer branch off and follow the scene of the question to the driver. The branch of each scene and the specification of the subsequent scene are determined according to the driver's answer according to the development management data of each scene. That is, when the driver selects the answer selection button “Japanese food” on the scene screen (scene number 0x0001) in FIG. 12A, the scenario driving unit (101-1) branches to the scene screen (b) corresponding to the answer. Is displayed. In this scene screen (b), the selected "Japanese food" is displayed on the title screen 53, and "I like Japanese food" is displayed on the balloon screen, and in the scene of the Japanese food after branching, The actual image of Japanese food is read from the scenario data and displayed on the scene display screen 54. The scenario driver (101-1) stores the driver's answer, for example, "Japanese food" as driver information in the hobby / preference data of the driver information 307.
In this way, by sequentially displaying and outputting each scene image and sound specified in the scenario up to the last scene, the action of the agent in one scenario is completed.
[0070]
FIG. 13 shows the transition of the scene screen according to the guide scenario transmitted by the inn to the potential guest for each scene.
In this guidance scenario, scene screens (a) to (f) of a plurality of scene screens are displayed, and the next scene screen branches to 0x0004 and 0x0006 according to the result of the user's selection on the scene screen (c). ing. Although the scene is not branched in the example of FIG. 13, the scene screen may be branched so that a dish corresponding to the type of the selected dish is also displayed on the scene display screen 54 in the scene screen (d).
[0071]
Hereinafter, each action of the agent according to the reservation scenario will be described with reference to FIG.
The operations of the agents and the display of the screens described below corresponding to the respective scene screens are all displayed according to the data, images, and instructions stored in the scenario data of the external scenario. Although described as the operation of the agent, the scenario driving unit (101-1) of the agent processing unit (101) actually performs the processing.
[0072]
When the reservation scenario is activated, first, a scene screen of number 0x0001 is displayed on the display device (2). In this scene, the agent of the character managed by the agent OS (101-8) appears on the agent display screen 51, bows and greets by voice. The content of the greeting by voice is the same as the text displayed on the balloon screen 52.
The greeting by voice is performed by the agent on behalf of the inn, but displaying a photographic image of a landlady at the inn on the scene display screen 54 expresses the greeting from the inn. The image of the landlady is an image received and added as a part of the external scenario, and is stored as actual image data of the scenario data (10-2-3-4).
The instruction for the operation of the agent follows the instruction stored in the character operation instruction data.
When the greeting by the agent ends, the state transits to the next scene 0x002.
[0073]
In the next scene 0x0002, an image of an open-air bath is displayed on the scene display screen 54. Then, the agent points to the picture of the open-air bath, and the specialty of the inn (it is sold here) is explained by the agent and the display of the balloon screen 52.
When the talk of the agent is finished, a transition is made to the next scene 0x0003, an image of the meal of the day (image of kaiseki cuisine) is displayed on the scene display screen 54, and the agent explains the cuisine and whether or not this cuisine is good. Question. In addition, the scene display screen 54 displays a user answer button 54a in addition to the image of the kaiseki cuisine according to the specified contents of the scenario.
When the user selects "Yes" as an answer to this question, the process branches to scene 0x0004, and when the user selects "No", the process branches to scene 0x0006.
[0074]
In scene 0x0004, a selectable list other than kaiseki cuisine is displayed on the scene display screen 54. The agent points to the list on the scene display screen 54 and asks which dish is better.
Then, when the user selects any one, the state transits to the scene 0x0005.
[0075]
In the scene 0x0005, a list of the number of persons to be changed from kaiseki cuisine is displayed on the scene display screen 54, and the agent points to this list to ask a question of the number of persons.
Then, when the user selects any one, the state transits to the scene 0x0006.
[0076]
In the scene 0x0006, an exterior photo image of the inn is displayed on the scene display screen 54, and the agent bows and greets.
Then, in the case of the guidance scenario shown in FIG. 13, the agent transmits the answer result regarding the meal to the third party (inn) that transmitted the external scenario being executed via the communication control unit 24 as a result of the user's selection. I do.
As described above, when it is desired to obtain information about the user, the creator of the external scenario prepares a scene of a question in which the information to be obtained is obtained in the scenario, and creates the scenario such that the answer is transmitted by e-mail. I do. If a reply needs to be sent, the e-mail address of the creator is included in the scenario data.
When the story of the agent in the last scene (scene 0x0006 in FIG. 13) ends, the scenario ends.
[0077]
In this way, the scenario driving unit (101-1) sequentially displays and outputs each scene image and sound specified in the scenario up to the last scene.
When the activated scenario ends, the scenario driving unit (101-1) determines an activation condition for execution of another scenario.
[0078]
Next, a description will be given of a process of determining whether to autonomously activate various scenarios executed by such a scenario driving unit (101-1).
FIG. 14 illustrates an autonomous start determination process of a scenario performed by the autonomous start determination unit.
In this autonomous activation determination processing, the autonomous activation determination unit (101-2) receives information on the position and date in order to reduce the load on the device, and converts the start condition approximate to the received position and date into scenario data. It performs processing of reading from the held external storage device (10) (extraction means, extraction function) and temporarily storing it in the RAM (1-4).
In other words, the autonomous activation determining unit (101-2) obtains the status information, such as the current position and time, from the agent OS (101-8) via the agent I / F in order to obtain the current status information. Acquire (Step 11).
Then, the autonomous activation determination unit (101-2) determines whether the acquired status information such as the position and the time has changed by a predetermined unit (step 12).
As a result of the determination, when it is determined that there is a change of a predetermined unit (Step 12; Y), the autonomous activation determination unit (101-2) determines the autonomous activation condition having conditions that approximate conditions such as the position and time. Is read from the external storage device (10) and temporarily stored in the RAM (1-4) (step 13). Here, the approximate condition is that, in the case of a position, the whole range of the map data is divided into rectangular blocks of a predetermined unit, and a block in which the position defined in the autonomous activation condition exists and seven blocks adjacent to the block exist. This refers to the condition that the block contains position information. In the case of a date, the current day and the next day correspond. The change in the predetermined unit corresponds to a case where the vehicle has moved to another block in the case of a position, and corresponds to a case in which the date has changed in the case of a date.
Then, the autonomous activation determination unit (101-2) performs a condition determination process as to whether the read autonomous activation condition is satisfied by the status information (step 14).
If it is determined in step 12 that there is no change in the predetermined unit (; N), the process proceeds to step 14 because there is no need to change the previously read activation condition.
[0079]
FIG. 15 shows the processing contents of the condition determination processing (step 14).
The autonomous activation determination unit (101-2) acquires the first autonomous activation condition from the RAM (1-4) (step 21), and determines the status based on the various status information obtained in step 12 based on the acquired autonomous activation condition. It is determined whether or not the condition is satisfied (step 22). When the autonomous activation condition is satisfied (Step 22; Y), the autonomous activation determination unit (101-2) sends a scenario execution request message corresponding to the autonomous activation condition to the scenario driving unit (101-1). Issued (step 23).
[0080]
Next, the autonomous activation determination unit (101-2) determines whether or not the next autonomous activation condition exists in the scenario data (10-2-3-4) (step 24). The next autonomous activation condition is obtained (step 25), and thereafter, the processes of steps 22 to 25 are repeated until the determination for all autonomous activation conditions is completed.
In step 24, if the next autonomous activation condition does not exist (; N), the autonomous activation determination unit (101-2) ends the autonomous activation determination process.
[0081]
Next, a scenario execution process when the scenario driving unit (101-1) receives a scenario execution request from the autonomous activation determination unit (101-2) will be described. The processing of the autonomous activation determination unit described below forms a condition determination unit and a condition determination function of the present invention.
FIG. 16 is a flowchart showing the flow of the scenario execution process. FIG. 16 illustrates a series of typical operations performed by each unit of the agent processing unit (101) and the overall processing unit (102) when executing a scenario. Each unit performs an independent process. Is supposed to do it. In other words, the independent processing of each unit is continuous, resulting in the typical flow shown in FIG.
[0082]
Upon receiving the scenario execution request from the autonomous activation determination unit (101-2), the scenario driving unit (101-1) performs agent start preparation processing by securing and initializing a work memory (step 505-1).
Then, the scenario driving unit (101-1) checks whether the execution request of the scenario is a manual start or an automatic start (step 505-2). The manual activation is when the user selects the scenario activation from the menu of the display device (2), and the automatic activation is when the autonomous activation condition of the scenario is satisfied.
If the execution request of the scenario is a manual start, a menu scenario request process is performed (step 505-3). Thereafter, the process proceeds to a scenario data reading process (step 505-4).
[0083]
On the other hand, in the case of the automatic startup, since there is a scenario whose execution is requested by satisfying the autonomous startup condition, the process directly proceeds to the scenario data reading process (step 505-4).
Next, the scenario driving section (101-1) reads the scenario data to be executed into the RAM (1-4) (step 505-4). When reading the scenario data, if there are a plurality of scenarios to be executed (when a plurality of autonomous activation conditions are satisfied, when a manual activation request and an automatic activation overlap, etc.), the scenario driving unit (101) -1) reads the scenario data having the highest priority by determining the priority specified for each scenario. If the priorities are the same, the priority is determined to be higher in the order in which the execution requests are received from the autonomous activation determination unit (101-2). The priority of the scenario is confirmed from the management data of the recorded scenario of the scenario data (10-2-3-4).
[0084]
When the reading of the scenario data is completed, the scenario driving section (101-1) next performs a scenario start process (initialization process for starting the scenario) (step 505-5). Here, processing such as recording the start time of this scenario and adding the number of times of use is performed. Thereby, the learning unit (101-3) performs recording and addition to the learning item data (10-2-3-7).
[0085]
Next, the scenario driving unit (101-1) executes a scene process for processing the drawing of the character and the voice according to the content of the scene constituting the scenario (step 505-6). The details of the scene processing will be described later with reference to FIG.
When the scene processing is completed, the scenario driving section (101-1) checks whether the scenario has ended (step 505-7).
When the scenario ends, the scenario driving unit (101-1) performs a scenario end process (505-8). In the scenario ending process, the learning unit (101-3) obtains an end ID indicating a method of ending and stores it in the response data (10-2-3-7).
If the scenario is not ended (if the scenario still continues), the process returns to step (505-6) and repeats the next scene, next scene,... Until the scenario end position.
[0086]
After the scenario end processing, the scenario driving unit (101-1) checks whether or not there is another scenario execution request (step 505-9). Returning to the data reading process (step 505-4), the same process is executed.
On the other hand, when there is no other scenario to be executed, the scenario driving unit (101-1) executes an agent end process (505-10). That is, it notifies the agent OS (101-8) that the process of requesting the execution of the scenario has been completed.
Thereafter, the screen displayed on the display device (2) returns to the normal navigation screen, but the subsequent processing is transferred to the overall processing unit (102) via the agent I / F.
As described above, since each unit is processed independently, it is not shown in the flowchart of FIG. 16. However, during execution of a scenario, a scenario execution request for executing another scenario from a scenario is always present. It is configured to accept.
[0087]
FIG. 17 is a flowchart showing the flow of the scene processing (step 505-6).
The scenario driving unit (101-1) checks the type of the scene to be started in the scene processing (step 505-6-1), and in the case of a normal scene, analyzes the scene data (step 505-6-2). ), The process proceeds to a process for requesting various processes (step 505-6-5) in the case of a clone scene, and proceeds to the expansion determination process (step 505-6-12) in the case of a condition-added scene.
Here, a clone scene is a case where the same screen as the original scene (scene that ended immediately before) n is displayed depending on how a certain scene n ends, for example, when no input is made within a set time. In this case, a sound for prompting an input is output on the same screen.
In addition, the condition addition scene is a scene provided before the scene in order to make a transition to a specific scene and to start, and in which a condition determination for a screen transition (branch) is performed without screen display. It is.
[0088]
If the starting scene is a normal scene, the scenario driving unit (101-1) refers to the RAM (1-4) in which the scenario data read in step 504 is stored for the data of the starting scene. Then, the screen configuration to be displayed, the motion instruction of the character, and the like are analyzed (step 505-6-2).
As a result of the analysis, if a speech recognition dictionary exists, the scenario driving unit (101-1) sends a request (setting) for setting (initializing) the speech recognition dictionary specified in the scene data to the speech recognition unit (101-7). Notification is made to the user (step 505-6-3).
[0089]
Next, the scenario driving unit (101-1) performs a process for requesting the drawing / audio output unit (101-5) to draw a screen (505-6-4). This request is for displaying each part constituting another screen other than the agent display screen 51 in the scene screen shown in FIG. The request contents include a title display on the title display screen 53, a selection button on the scene display screen 54, display of unique image data, a text display on the balloon screen 52, and a background display.
[0090]
Next, the scenario driving unit (101-1) performs various kinds of processing (processing for navigation and externally connected devices, and processing for requesting time measurement when a timer is set in a scene or the like that requires a response from the user). ) Is performed (step 505-6-5).
[0091]
Next, the scenario driving unit (101-1) requests the drawing / voice output unit (101-5) to instruct the character to be displayed on the agent display screen 51 (see FIG. 12). The audio output unit (101-5) performs character drawing and audio output processing according to the scene data (step 505-6-6). The character drawing / voice output process develops a scene in which the character bows, points right or left by hand, or speaks to the user.
[0092]
FIG. 18 is a flowchart showing a character drawing / voice output process by the drawing / voice output unit (101-5).
Upon receiving a request for a character motion instruction from the scenario driving unit (101-1), the drawing / voice output unit (101-5) acquires a motion instruction content (steps 505-6-6-1 to 505-6). 6-4), operation reproduction processing (step 505-6-6-5), and request end reply (step 505-6-6-6).
[0093]
In the operation instruction content acquisition processing, the drawing / voice output unit (101-5) first determines whether or not an unified (common) display state independent of the type of character is instructed (step 505-6). 6-1) If the display state instruction (operation instruction) is instructed by the expression method specified for each character (direct instruction: see FIG. 33B), the operation reproduction processing (step 505-6-6) Go to 5).
[0094]
If the display state instruction is a uniform display form that does not depend on the character, the drawing / voice output unit (101-5) converts the instruction content.
In the conversion, first, the type of the character set at that time is obtained from the agent OS unit (101-8) (step 505-6-6-2).
Next, the drawing / sound output unit (101-5) converts the unified display state instruction (display state number) and the correspondence table of the operation instruction contents (image code) for each character (character image selection data). 102353 (see FIG. 8) is obtained from the character data (10-2-3-5) of the external storage device (10).
Then, the drawing / voice output unit (101-5) acquires the operation instruction content of the character to be operated based on the acquired type of the character and the conversion table, that is, the image code of the character corresponding to the display state number of the scene data. (Step 505-6-6-4).
[0095]
The drawing / voice output unit (101-5) further determines that the acquired operation instruction information is set to cause the system to automatically select a character operation (step 505-6-6-5; Y). The following conversion processing is performed.
That is, the drawing / voice output unit (101-5) first acquires the operation automatic selection condition information such as time, place, and driver information from the agent OS unit (101-8) (step 505-6-6). 6).
Next, an automatic action selection table that describes automatic action selection condition information such as time and a common display state of the character is obtained from the agent data (10-2-3) of the external storage medium (10-2). (Step 505-6-6-7).
Then, the drawing / audio output unit (101-5) acquires a common display state based on the operation automatic selection condition information such as time and the operation automatic selection table. Based on the common display state, the operation instruction is determined by acquiring the operation instruction contents (image code) with reference to the conversion table 102353 acquired in step 505-6-6-3 (step 505-6-6). 6-8)
[0096]
Next, the drawing / audio output unit (101-5) performs an operation reproduction process (step 505-6-6-9).
That is, the drawing / voice output unit (101-5) outputs the character image data 102351 of the selected character in the character data (10-2-3-5) based on the operation instruction content (image code) of the character. (See FIG. 8).
If the motion instruction request of the character is a content for synchronizing and outputting the voice of the character with the motion of the character, the voice data is acquired from the character voice data 102352 of the character data (10-2-3-5).
[0097]
The image data acquired by the drawing / audio output unit (101-5) is transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and is transmitted to the overall processing unit (102). The information is transmitted to the drawing processor (1-6) through the processing unit for instructing the drawing processor (1-6) in the image processing apparatus (102), and is subjected to image processing and displayed on the display device (2).
The acquired voice data is transmitted to the agent OS section (101-8), transmitted from the external I / F section (101-9) to the overall processing section (102), and is transmitted to the audio processor (1--1) in the overall processing section (102). The audio output control signal is transmitted to the audio processor (1-8) through the processing unit for giving an instruction to 8), converted into an analog signal, and outputted to the audio output device (3).
[0098]
Next, the drawing / voice output unit (105-5) performs all the character motion processing requested by the scenario driving unit (101-1), and then terminates the character drawing / voice output process of the requested scene. The scenario driver (101-1) is notified (step 505-6-6-10), and the process ends.
If the request is to output the voice of the character in synchronization, the scenario driver (101-1) is notified of the end of the character voice output process when all the voices have been output.
[0099]
After the drawing / voice output unit (105-5) notifies the end of the scene character drawing / voice output process, the scenario driving unit (101-1) issues an instruction for voice recognition in the scene data being processed. (Step 505-6-7: FIG. 17). If there is no instruction, the process proceeds to Step 505-6-9. If there is an instruction, voice recognition processing is performed (Step 505-6-6). 8).
[0100]
FIG. 19 is a flowchart showing the processing operation of the voice recognition processing (step 505-8).
After receiving a request to determine whether or not to automatically start voice recognition (for example, when the scenario driving unit (101-1) is notified of the end of character voice output from the drawing / voice output unit (101-5)) ), The scenario driving unit (101-1) confirms a recognition start control instruction (voice recognition instruction) set in the scenario data (step 505-6-8-1).
If the instruction for voice recognition is “always not automatically start recognition” (does not start automatically), the process returns without performing the recognition process (move to step 505-6-9 in FIG. 17).
If the instruction for voice recognition is "always automatically recognize" (start automatically), the process proceeds to step (505-6-8-3) to perform voice recognition (described later).
[0101]
On the other hand, if the voice recognition instruction is "automatic" (the in-vehicle device determines the start) depending on the result of the situation determination, the situation determination processing is performed (step 505-6-8-2).
That is, the scenario driving unit (101-1) receives the detection data of the various situation detecting devices (6) from the overall processing unit (102), and the traveling road condition, vehicle speed, vehicle speed change, steering angle, accelerator depression. The driving load of the driver is determined from the amount, the amount of depression of the brake, and the like (driving load determination means, driving load determination function).
The state of the running road is determined by the navigation function of the overall processing unit (102), the current position of the detected vehicle, the running road width, the running position (intersection, straight road, curve, meandering road, steep slope, etc.). Road, etc.), and is notified to the scenario driving unit (101-1).
In the present embodiment, it is determined that the driving load is high if the vehicle is traveling on a curve or an intersection, if the vehicle speed change is large, if the amount of depression of the brake is large, and otherwise it is determined that the driving load is low. You.
It should be noted that the driving load is determined based on the curvature of the curve, the vehicle speed, the vehicle speed change, the road width, the intersection, and the like, and the driving load is determined based on whether or not the total value exceeds a predetermined value. It may be. That is, when the total value exceeds the predetermined position, the operating load may be determined to be high, and when the total value is equal to or less than the predetermined value, the load may be determined to be low.
The scenario driving unit may determine, for example, that the recognition is not automatically started when it is determined that the noise detected in the vehicle compartment is loud, in addition to the example of the load of the driver.
[0102]
The scenario driving unit (101-1) returns without starting voice recognition when the driver's load is high, and shifts to step 505-6-8-3 when the driver's load is low. The speech recognition unit (101-7) is instructed to start speech recognition (505-6-8-4).
When the voice recognition start is instructed, the voice recognition unit (101-7) outputs a start sound such as “beep” from the voice output device (3) to indicate to the user that the reception of voice input has started. Output (start sound output means, start sound output function).
In the present embodiment, the start sound is output before the start of the speech recognition. However, the start sound may not be output. In addition to the output of the start sound, a display indicating that voice recognition is being performed, for example, a display such as “voice recognition is being performed” or an icon indicating that voice recognition is being performed may be displayed on the display device (2). Good.
[0103]
After that, the speech recognition unit (101-7) starts the speech recognition from the external I / F unit (101-9) via the agent OS unit (101-8) to the speech in the overall processing unit (102). Instruct the recognition processing unit. The voice recognition processing unit of the overall processing unit (102) transmits a start instruction to the voice processor (1-8), and the voice processor (1-8) converts the analog signal input from the voice input device (4) into digital voice. Convert to input signal. When the converted voice input signal is input, the voice recognition processing unit of the overall processing unit (102) acquires the digital voice input signal and performs the voice recognition set in step 505-6-3 (FIG. 17). The obtained voice input signal is recognized using the dictionary (step 505-6-8-3).
When the recognition is completed, the voice recognition processing unit of the overall processing unit (102) transmits the result of the voice recognition to the voice recognition unit (101) via the external I / F unit (101-9) and the agent OS unit (101-8). -7). The speech recognition unit (101-7) notifies the scenario driving unit (101-1) of the speech recognition result.
[0104]
In the present embodiment, the actual speech recognition processing is performed by the speech recognition processing unit of the overall processing unit (102). However, the speech recognition may be performed by the speech recognition unit (101-7). In this case, the voice recognition unit (101-7) functions as a voice recognition unit and a voice recognition function. Further, in the case where the voice recognition is performed by the voice recognition unit (101-7), the voice recognition in the navigation processing by the overall processing unit (102) is performed in two places. 101-7).
[0105]
Next, the scenario driving section (101-1) judges the result of the speech recognition in the overall processing section (102) (step 505-6-8-4). Returning to 8-1, if recognition is successful, return.
[0106]
The scenario driving unit (101-1) receives a user input notification from the agent OS (101-8) when there is no voice recognition instruction and after the voice recognition processing (step 505-6-8) ends. Then, what the input is is confirmed (FIG. 17, step 505-6-9), and processing corresponding to the input is performed.
As described above, since each process is executed independently, even if the input is notified from the agent OS (101-8) even during the voice recognition process (step 505-6-8). Is executed in parallel with the processing corresponding to the input. Therefore, when the user selects the speech recognition selection button and is notified from the agent OS (101-8) during the speech recognition processing, the next processing (step 505-6) is performed regardless of the processing stage of the speech recognition processing. 9) is executed.
[0107]
For example, when the scenario driving unit (101-1) receives, for example, an input related to the movement of the cursor from the agent OS (101-8), the scenario driving unit (101-1) moves the cursor and performs a screen drawing request (screen scroll request) process. (Step 505-6-10).
When the user selects one of the answer selection buttons 54a displayed on the scene display screen 54 (see FIG. 12), it is determined which item has been selected (step 505-6-11). Is determined (step 505-6-12).
As described above, the processes in FIGS. 16 to 18 show typical processes, and in actuality, each unit independently performs individual processes. Therefore, although not shown in FIG. 17 above, when speech recognition start or stop is input, confirmation of user input such as requesting the speech recognition unit to start or stop speech recognition processing (step 505) There are other processes after performing -6-9).
[0108]
Next, in the deployment determination process (step 505-6-12), the scenario driving unit (101-1) determines the next deployment with reference to the deployment management data of the scenario data (see FIG. 7). If the next development does not exist, the process returns to the user input determination without performing any processing. If the next development exists, the processing proceeds to the scene end processing (step 505-6-13) to proceed to the next development.
In the scene end process (505-6-13), if there is a process that the scenario driving unit (101-1) has requested to another processing unit, a request to stop the process is made (for example, a request for voice recognition processing is made. If so, a request to stop the recognition process is made), and the process returns. Upon return, the process moves to the scenario end determination (step 505-7) in FIG.
[0109]
As described above, according to the agent device of the present embodiment, a function is provided for starting voice recognition in accordance with an instruction as to whether or not to automatically start voice recognition indicated in the scenario data created by the editor. I have.
For this reason, the driver who is the user of the agent device can omit the device operation step of pressing the voice recognition start button when answering a question in a conversation with the personified character.
Since it is not necessary to select a speech recognition start button that does not exist in the conversation between humans, the conversation with the anthropomorphized character can be closer to the conversation between humans than before the result of the present invention.
[0110]
Further, according to the agent device of the described embodiment, the display state instructing the action of the character in each scene of the scenario is made common regardless of the type of the character, and the conversion table of the character selected by the user is referred to. Since the image data of each character corresponding to the display state specified in each scene of the scenario is selected, and the image data is reproduced, each scene is developed, and the scenario is executed. , A plurality of different characters. Therefore, it is not necessary to store the scenario for each character, so that the data amount can be reduced.
[0111]
Further, according to the above-described embodiment, the execution of the scenario can be started using the autonomous start condition incorporated in the original scenario created by the user (creating user) of the scenario creating device as the scenario start condition.
Therefore, it is possible to provide a user of the scenario creation device with a place to freely create a scenario in which various scenarios including the appearance of an agent are started at a timing according to one's preference.
[0112]
Further, in the present embodiment, the autonomous activation judgment processing is periodically executed at intervals of 5 seconds, so that a scenario that satisfies the conditions can be activated almost in real time with respect to changes in various situations. become.
Furthermore, the autonomous start determination process is also performed in a situation where the scenario is highly likely to be selected in advance as a scenario start condition (when the change in the situation is large). There are many scenarios in which processing is executed and this case is satisfied (satisfies conditions). Therefore, the scenario can be executed in a state closer to real time.
[0113]
Further, according to the embodiment described above, the action of the agent is defined by the scenario data, and the scenario data is standardized by a scenario including a plurality of continuous scenes. You can create and incorporate your own scenarios.
In this way, since the user can add to the default scenario stored in the device in advance, the user searches for an additional scenario suitable for the user on the Internet or the like, downloads the scenario, and creates the scenario by himself to make the agent device more comfortable. Can be used.
[0114]
Next, the configuration and operation of the scenario creation device 2 in which a user or a third party creates an original scenario will be described.
FIG. 20 shows the configuration of the scenario creation device.
The scenario creation device includes a control unit (200), an input device (210), an output device (220), a communication control device (230), a storage device (240), a storage medium drive device (250), An input / output I / F (260). These devices are connected by bus lines such as a data bus and a control bus.
[0115]
The control unit (200) controls the entire scenario creation device.
The scenario creation device can execute not only a scenario editing program but also other programs (for example, a word processor or a spreadsheet). The control unit (200) includes a CPU (200-1), a memory (200-2), and the like.
The CPU (200-1) is a processor that executes various arithmetic processing.
The memory (200-2) is used as a working memory when the CPU (200-1) executes various arithmetic processing.
The CPU (200-1) can write and erase programs and data in the memory (200-2).
In the memory (200-2) in the present embodiment, an area for the CPU (200-1) to create, edit, and store scenario data according to a scenario editor (scenario editing program) can be secured.
[0116]
The input device (210) is a device for inputting characters, numerals, and other information to the scenario creation device, and is constituted by, for example, a keyboard and a mouse.
The keyboard is an input device for mainly inputting kana and English characters.
The keyboard is used, for example, when the user inputs a login ID or password for logging in to the scenario creation device, or inputs a sentence to be subjected to speech synthesis or speech recognition when creating a scenario.
The mouse is a pointing device.
When operating a scenario creation device using a GUI (Graphical User Interface) or the like, an input device used for inputting predetermined information or the like by clicking a button or icon displayed on a display device. It is.
[0117]
The output device (220) is, for example, a display device or a printing device.
As the display device, for example, a CRT display, a liquid crystal display, a plasma display, or the like is used.
Various screens such as a main screen for creating a scenario and a screen for selecting a screen configuration in each scene are displayed on the display device. In addition, the selected information and the input information are displayed on each screen.
As the printing device, for example, various printer devices such as an ink jet printer, a laser printer, a thermal transfer printer, and a dot printer are used.
Examples of what is printed by the printing apparatus include a diagram representing the entire flow of the created scenario in a chart format, and a device showing a setting state of each scene.
[0118]
The communication control device (230) is a device for transmitting and receiving various data and programs to and from the outside, and a modem, a terminal adapter, and other devices are used.
The communication control device (230) is configured to be connectable to, for example, the Internet or a LAN (Local Area Network). The communication control device (230) transmits scenario data created by the device by exchanging signals and data with other terminal devices or server devices connected to these networks by communication, or by a third party. The created scenario data can be received (downloaded), and further, data necessary for creating the scenario data can be obtained.
The communication control device (230) is controlled by the CPU (200-1), and transmits and receives signals and data to and from these terminal devices and server devices according to a predetermined protocol such as TCP / IP.
[0119]
The storage device (240) includes a readable and writable storage medium and a drive device for reading and writing programs and data from and to the storage medium.
Although a hard disk is mainly used as the storage medium, other storage mediums such as a magneto-optical disk, a magnetic disk, and a semiconductor memory, for example, such as a readable / writable storage medium, may be used.
The storage device (240) stores a scenario editing program (240-1), scenario editing data (240-2), and other program data (240-3). As other programs, for example, a communication program for controlling the communication control device (230) and maintaining communication with a terminal device or a server device connected to the scenario creation device via a network, or scenario creation such as memory management and input / output management OS (Operating) which is basic software for operating the device
System) is also stored in the storage device (240).
[0120]
The storage medium drive (250) is a drive for driving a removable storage medium to read and write data. Examples of the removable storage medium include a magneto-optical disk, a magnetic disk, a magnetic tape, an IC card, a paper tape punched with data, and a CD-ROM.
In the present embodiment, the scenario data created and edited by the scenario creation device (the form used by the agent device) is mainly written in IC cards.
The scenario creation device obtains a scenario from the storage medium storing the scenario data by driving the storage medium by the storage medium drive (250), or transfers the created scenario data from the storage medium drive to the storage medium. Or can be stored.
[0121]
The input / output I / F (260) is configured by, for example, a serial interface or an interface of another standard.
By connecting an external device corresponding to the interface to the input / output I / F (260), the function of the scenario creation device can be extended. Examples of such external devices include a storage device such as a hard disk, a communication control device, a speaker, and a microphone.
[0122]
Next, the configuration of the scenario editing program (240-1) and the scenario editing data (240-2) will be described.
FIG. 21 conceptually shows the configuration of a scenario editing program and data.
The scenario editing program (240-1) includes a scenario editor (240-1-1), a scenario compiler (240-1-2), and a DB editing tool (240-1-3).
The scenario editing data (240-2) includes a common definition DB (240-2-1), a local definition DB (240-2-2), and SCE format scenario data (240-2-3) created by a scenario editor. And actual machine format (NAV format) scenario data (240-2-4) converted by the scenario compiler.
The scenario editor (240-1-1) is an application program for creating scenario data.
[0123]
The scenario compiler (240-1-2) converts the SCE format scenario data (240-2-3) created by the scenario editor (240-1-1) into real machine format scenario data (240- An application program to be converted to 2-4), which functions as a conversion means and a conversion function.
FIG. 22 shows the conversion of the data format in the concept provision.
As shown in FIG. 22, the scenario compiler (240-1-2) converts one or more SCE format scenario data (240-2-3) into one real machine format (NAV format) scenario data (240-240). -2-4).
[0124]
The DB editing tool (240-1-3) is an application program for editing and updating data stored in the common definition DB (240-2-1).
The common definition DB (240-2-1) stores definition data when scenario data is created. The common definition DB (240-2-1) stores autonomous activation determination data (described later), action items for developing scenes, additional determination items, a character display state instruction table, and the like. This common definition DB (240-2-1) may exist not on the storage device of the scenario creation device but on a server connected by a local area network (LAN). In this way, each scenario creation device connected by a local area network (LAN) can create scenario data using the common common definition DB (240-2-1).
The local definition DB (240-2-2) stores a screen configuration defined by the scenario creator while creating the scenario data.
[0125]
The SCE format scenario data (240-2-3) is data created by the scenario editor (240-1-1).
The actual machine format (NAV format) scenario data (240-2-4) is converted from the SCE format scenario data (240-2-3) into a data format for use in the agent device by a scenario compiler (240-1-3). Data.
[0126]
FIG. 23 illustrates items that can be set as automatic start items.
The automatic activation items conceptually display a list of sample types of items that can be detected, recognized, and confirmed by the agent device.
This automatic start item is described in the common definition DB (240-2-1). When a scenario is created by the scenario editor (240-1-1), an automatic start item is set to set an autonomous start condition. Items are read from the common definition DB (240-2-1) and displayed in a list (presentation means, presentation function). The creator selects an automatic activation item from the list display (list display) (selection means, selection function).
A window for inputting a numerical value or a window for selecting from a list is displayed according to the contents described in the type of the selected item, and the judgment condition of the automatic start item is input. This operation is repeated one or more times to create autonomous start condition data, which is a determination condition for autonomously starting the scenario. Thus, by setting the start condition of the screen element transition body (scenario), the start condition setting means and the start condition setting function of the present invention are formed.
[0127]
FIGS. 24 and 25 illustrate selectable items that can be selected as autonomous activation conditions for the automatic activation item.
Selectable items are also described in the common definition DB (240-2-1). In the table showing the automatic activation items illustrated in FIG. 23, items that can be selected as lower-order concepts of items described as “select from list” in the type column are shown as selectable items in FIGS. 24 and 25. Stipulated. The group specified in the selectable item and the item of the automatic start item are the leftmost No. Are associated with each other.
Although not shown in the table, there are other definition tables and the like relating to numerical input in the same manner, and a window for inputting a time different from a time or an input window for a mileage is created. You can do it.
The combination of the selected automatic start item, the selected selectable item, the input numerical value, time, distance, and the like is the autonomous start condition for each scenario. For example, when the selection by the user is the automatic start item “acceleration” and the selectable item “sudden deceleration state”, the autonomous start condition is “acceleration−sudden deceleration”.
Note that this sample is merely a sample, and the definition may be changed.
For example, the vehicle speed input may be selected from a list and selected from items separated every 10 km / h.
Also, when the number of items that can be newly sensed in the agent device increases, the items can be added. For example, when a seat belt detection sensor is incorporated, it is conceivable to incorporate a definition that allows selection of items such as seat belt non-wearing and seat belt wearing with respect to the item of seat belt status by input means of selection from a list.
These changes and additions are made using the DB editing tool (240-1-3) described above.
Alternatively, the mental state of the character may be obtained from the agent psychology unit and added to the autonomous activation determination.
Also in this case, the definition data is added using the DB editing tool (240-1-3). For example, it is conceivable to incorporate a definition that allows selection of items such as the psychological state of the character, blue (depressed), good mood, and the like as automatic activation items by input means of selection from a list.
[0128]
FIG. 26 is a scene branch item table storing branch items (transition conditions) for branching (scene development) from a scene to the next scene. The scene branch item table is stored in the common definition DB (240-2-1).
Each item of the scene branch item is read out when the development configuration of each scene is created, and is displayed in a list. By selecting a branch condition item from the displayed list, and adding a branch condition separately using a DB editing tool (240-1-3) if the branch condition item is not stored in the table, A scene development configuration is created. By repeating the selection of the branch condition item, a scene having a plurality of transition destinations (branched into a plurality) can be created.
[0129]
FIG. 27 illustrates an additional condition table for setting branch conditions in more detail. The additional condition table is also stored in the common definition DB (240-2-1).
The additional condition item is an item used to provide a plurality of developments to the action (branch condition item) for developing the scene. At this time, a scene for branching is created. When a scene for branching is created, an additional determination item is read when creating a development configuration from the scene for branching. Only one category can be selected for one scene for branching, and a list of items of the selected category is displayed and selected, or a range is designated by numerical input. When it is desired to multiply a plurality of classifications by a logical product, it can be easily created by overlapping scenes for branching.
As described above, in the agent device, the learning unit (101-3: refer to FIG. 5) records, as the end ID, the end method when the scenario branches into a plurality of scenes and the scenario ends in different scenes. It is supposed to. Further, the learning unit (101-3) can record the response of the user, the total number of times of use, and the like as the learning data in the scenario.
[0130]
In the additional condition table shown in FIG. 27, the recorded scenario end state (end ID), the total number of use times of the scenario, user information, mental model, date and time, and other classification items, and selectable items in each classification A method of creating a list is defined. These can be selected as additional branch conditions, and a plurality of developments can be provided for an action for developing one scene.
The definition data relating to the action item for developing the scene and the additional determination item can be changed and added using the DB editing tool (240-1-3), similarly to the autonomous activation determination data.
[0131]
FIGS. 28 and 29 conceptually show a part of the contents of the character display state instruction table stored in the common definition DB (240-2-1). The character setting means and the character setting function of the present invention will be described below with reference to FIGS.
In the display state instruction table of the character, the display state of the common action is defined regardless of the type of the character, and is classified according to the content that the character wants to express.
There are a plurality of character display state instruction tables. In the present embodiment, there are display state instruction tables of a work state (FIG. 28), a mental state (FIG. 29), a TPO state, a growth state, and a scale state.
As shown in FIGS. 28 and 29, each display state instruction table has a plurality of tree structures, and a character motion state instruction edit window (FIG. 34 (c)) described later shows the shape of each tree structure. The classification name is displayed.
[0132]
As shown in FIGS. 28 and 28, a state instruction number is assigned to each item at the end of the tree in the display state instruction table. This state instruction number corresponds to the state instruction number of the character image selection data (conversion table) 102353 of the agent device 1 (see FIG. 9).
[0133]
As shown in FIG. 28, the display state instruction table relating to the work state is divided into a maximum of four here, and the basic posture, the greeting of the encounter, the greeting of the goodbye, the thanks, the apology, the encouragement, the praise, and the comfort , Appearance, exit, prohibition, etc. are specified.
By using the content that the agent wants to express as the name of each category in this way, it is easy for the scenario creator to select the display state corresponding to the scenario and the content of the scene that the scenario creator has imagined.
[0134]
The display state instruction table for selecting the display state according to the mental state of the character is classified into five layers as shown in FIG. Expressions of joy, anger, sorrow and pleasure are usually defined such as rejoicing, angry, sad, surprising, etc., and other expressions such as recklessness, friendship, drowsiness, and the like.
[0135]
Although not shown, the display state instruction table relating to the TPO stipulates the classification of spring, summer, autumn and winter and the classification of month for each of the normal state, the stylish state, and the like. , New Year's Day, Children's Day, Christmas, etc.), user-specific anniversary, etc. (agent use start anniversary, wedding anniversary, birthday, etc.) are defined.
The display state instruction table relating to the growth state of the character is classified into long-term growth states 1, 2, 3,..., And short-term growth states 1, 2 are defined for each of them.
The display state instruction table relating to the scale state defines the size of displaying the character on the screen, and defines the classification based on the angle of view.
[0136]
In these display state instruction tables, as shown also in FIGS. 28 and 29, the level (careful, ordinary, strong, medium, weak, etc.) defined by one layer below the display state is determined by the system. (Agent device) is provided with an item "automatic" to be automatically selected.
For the scene in which automatic is selected, the agent device determines which level of the display state of the character to use based on the character mental state, date and time, etc., and selects and executes one of the display states. Will be.
[0137]
The common definition DB (240-2-1) further includes voice recognition data used for voice recognition, data used for character motion instructions (separate speech instruction data also exists), and settings for each scene. Character image data and character dialogue data for previewing and confirming a given instruction, a conversion table for each character's expression method for unified instructions independent of the character, and each part data to be displayed on the display device (2) and the like. Screen configuration data describing how to arrange the items, and items that can be selected as processing contents in the scene, for example, on / off and channel selection of an audio device, an action that can be processed by an agent, and an air conditioner device. Various processing contents such as ON / OFF and temperature setting, setting of destination to be supplied to the whole processing unit (102), etc. Data, etc. are stored in the common definition DB (240-2-1).
All of these definition data can be changed and added using the DB editing tool (240-1-3), similarly to each definition data.
[0138]
Character image data for previewing and confirming an instruction set in each scene includes image data of various characters stored in the agent device.
Further, the conversion table into the expression method of each character for the unified instruction independent of the character is the character image selection data 102353 of the default character of the character data (10-2-3-5) of the agent device 1 (see FIG. 8). And the same conversion table.
The user may store the character image data of another character and the conversion table from the agent device in the common definition DB of the scenario creation device 2 via the IC card 7 or the server 3.
[0139]
Next, each operation of scenario creation by the scenario creation apparatus configured as described above will be described according to screen transitions.
FIG. 30 shows a configuration of a main window displayed on the display device when the scenario editor (240-1-1) is activated.
As shown in FIG. 30, the main window includes a scene screen 301 on which a scene screen being created (a scene screen (see FIG. 12) displayed on the display device (2) of the agent device (1)) is displayed. , A setting screen 303 on which setting items for performing various settings are displayed, and a scene development screen 305 in which a scene development configuration (branch state) is displayed in a tree structure of scene icons 307 representing each scene.
[0140]
When the scenario editor (240-1-1) is started, a start point 308 is displayed on the scene development screen 305 of the main window. When this start point 308 is selected, the scenario properties can be edited. The selection is made by, for example, aligning the point position of the mouse cursor with the start point 308 and double-clicking the mouse.
When the screen configuration change button 309 is clicked, the screen configuration to be displayed can be selected.
When the sound effect setting button 110 is clicked, a screen for setting a sound effect for each scene of the scenario is displayed as described later.
When the agent display screen 311 is double-clicked with a mouse, an editing screen for the operation of the agent (character) is displayed.
By clicking the dialogue edit button 313, the instruction of the dialogue of the character can be edited.
When the button part / background voice recognition dictionary setting 315 is double-clicked, the voice recognition dictionary to be used can be edited. When the one displayed with the mark of the answer selection button 315a (54a) on the scene screen 301 is selected, the name of the word to be recognized is displayed on the scene screen, and when the person 315b to be recognized in the background is selected, the voice recognition target is displayed. The name of the recognized word is not displayed.
[0141]
In the timer setting 317, the time until the notification by the timer is issued after the scene is displayed is set.
In the control instruction edit 319 for external devices and the like, control instructions for external devices and the like (including navigation) are set.
[0142]
In the voice recognition start control instruction 320a, a voice recognition instruction that defines how to start voice recognition when performing voice recognition in a scene being created is set. As the voice recognition instruction, any one of “start automatically”, “do not start automatically”, and “determine by agent device (vehicle device) (automatically)” can be selected. I have.
In the callback control instruction 320b, an instruction is set as to whether or not to perform a callback for confirming the result of voice recognition. As a callback instruction, one of “always”, “always never”, and “agent device determines (relies on agent)” that determines whether or not the agent device should make a callback based on the situation of the agent device is selected. It is possible.
[0143]
When the next scene creation button 321 is clicked, the flow of the scenario can be edited (the next scene is created). When a scene creation button 321 is clicked, a scene to be developed next to the currently selected scene can be created.
By branching the flow of the scenario with the scene creation button 321, a development configuration of each scene is created. For example, in a state where the icon 1 of the scene is selected (actively displayed), when the next scene creation button 321 is clicked, the icon of the scene following the scene 1 is displayed on the lower layer side. The scenes 2, 3,... To be developed following 1 are branched and created.
[0144]
That is, by clicking the scene creation button 321 with the scene m selected, the next scene m1 following the scene m is created. Then, when the scene m is selected again and the scene creation button 321 is clicked, the next scene m2 following the scene m is branched and created in parallel with the scene m1. Similarly, when the scene selection button 321 is clicked with the scene m selected again, a scene m3 is created.
Then, when the user wants to further develop the scene following the scene m1, by clicking the scene creation button with the scene m1 selected, the next scene m1-1 following the scene m1 is created.
When the scene creation button 321 is clicked in a state where the scene m1-1 is created (a state where the scene m1-1 is selected), a scene m1-1-1 following the scene m1-1 is created, and the scene m1-1-1 is created. When another scene branching from m1 is created, the scene m1 is selected again and the scene creation button 321 is clicked to create a scene m1-2 following the scene m1.
[0145]
By clicking a scenario end position creation button 323, a scenario end position can be created. An end number is assigned to the end position of each created scenario as an end ID.
When the scenario compile button 325 is clicked, the created scenario can be compiled into an actual device format (NAV format) for use in navigation.
[0146]
FIG. 31 shows a flow of a screen operation for editing a scenario property.
In the main window shown in FIG. 31A, when the start point 308 displayed on the scene development screen 305 is double-clicked, a scenario property editing window shown in FIG. 31B is displayed over the main window. Is done.
[0147]
In the scenario property edit window, enter the scenario name, enter the kana name, select the icon, set the priority, set the expiration date (the upper limit of the time lag from when the start condition is satisfied until the actual start), and autonomously start the scenario You can set conditions (separate window), enter creator names, and enter comments. The input of the scenario name and the input of the kana name input on this screen are management data and the like in the scenario data in the actual device format (NAV format).
When the user clicks the OK button 402 in the scenario property editing window, the edited content is reflected in the data, and the process returns to the main window. On the other hand, if the cancel button 403 is clicked, the data returns to the main window without being reflected in the data.
When a start condition setting button 401 is clicked in the scenario property edit window, a main edit window (FIG. 31C) of a scenario start condition (autonomous start condition) is displayed in an overlapping manner.
When the user clicks the “Finish” button in the main scenario start condition edit window (FIG. 31C), the editing of the scenario start condition ends, and the process returns to the scenario property edit window (FIG. 31B).
[0148]
FIG. 32 shows a flow of a screen operation for editing a scenario start condition from a main edit window of a scenario start condition.
In the main edit window of the scenario start condition (FIG. 32A = FIG. 31C), it is possible to set so that the user can manually start the scenario. In this case, the check box 406 is unchecked so that it is not activated manually.
The automatic start condition (autonomous start condition) list on the left side of the main edit window (a) of the scenario start condition displays conditions under which the system automatically starts the scenario. In the state of FIG. 32A, nothing has been set yet, so that the state is blank. When a new creation button 405 is clicked in the main scenario start condition edit window (FIG. 32A), an automatic start condition selection window (FIG. 32B) is displayed, and a new start condition can be edited.
[0149]
In the automatic start condition selection window (FIG. 32 (b)), a judgment condition item (category) to be set is selected, and when the decision is clicked, the process proceeds to a condition range selection window for automatically starting (FIG. 32 (c)). In the example of FIG. 32 (b), the user wants to automatically start (autonomously start) the scenario while driving on the highway, so “select type” in “select when the state of the road starts” is selected. Item and click OK.
When cancel is clicked, the screen returns to the main window for editing the scenario start condition (FIG. 32A).
[0150]
Items that can be displayed and selected in the automatic start condition selection window (FIG. 32B) are the automatic start items displayed in FIG. In FIG. 32B, when the user selects the folder “Select when to activate”, the No. in FIG. The condition items 1 to 10 are displayed at the next lower level.
Similarly, when the folder “Select where to start” is selected, the folder No. When the folders 10 to 16 select the folder “Select when the road condition is activated”, No. When the folders 21 to 23 select the folder “Select when the state of the car should be activated”, No. Nos. 17 to 20 select the folder "Select when to activate the navigation state". No. 21 to 28 select the folder “Select when the user should activate”, and 29 to 30 are displayed one level below.
[0151]
In the window for selecting a condition range to be automatically started (FIG. 32C), the configuration of the window changes depending on the judgment condition item (category) selected in the previous window (b). In the illustrated example, a window of an item for selecting the type of road is displayed.
The selectable items in the automatic start condition range selection window (FIG. 32C) correspond to the selectable items (FIG. 32B) corresponding to the automatic start items selected in the automatic start condition selection window (FIG. 32B). 24). This selectable item is displayed in a pull-down menu by clicking the mark on the right side of the selection item column 408.
Select a condition range that can be started automatically from the list (or input it with a number), and click the add button to set the selected item and display it in the lower column. In the illustrated example, a case where “Expressway” is selected and the add button is clicked is displayed.
When the decision button is clicked in the condition range selection window (FIG. 32 (c)) for automatically starting, the setting state is determined, and the screen returns to the scenario start condition main edit window (FIG. 32 (d)).
Clicking cancel returns to the automatic start condition selection window (FIG. 32B).
[0152]
In the scenario start condition main edit window of FIG. 32 (d), the automatic start condition set by the above operation (start if the type of road is an expressway) is displayed in the automatic start condition list on the left side. .
When an automatically started condition displayed on the automatic start condition list screen is selected and an edit button is clicked, an automatic start condition selection window (FIG. 32 (b)) for adding further condition settings to the selected condition is displayed. )) Is displayed.
[0153]
Next, various operations for creating a scenario other than the autonomous activation condition will be described. FIG. 33 shows a flow of a screen operation for selecting a screen configuration to be displayed on the agent display screen 51 (see FIG. 12).
When the scene icon 307 displayed on the scene development screen 305 of the main window shown in FIG. 33A is selected and activated, a scene screen 310 corresponding to the selected scene icon is displayed. Then, when the screen configuration change button 309 of the setting screen 303 is clicked, a screen configuration selection window (b) is displayed.
In the screen configuration selection window (b), a list of screen configurations that can be displayed on the scene display screen 54 (see FIG. 12) is displayed. A basic screen in which nothing is displayed, a two-select screen in which two selection buttons are displayed, a button selection screen in which a plurality of selection buttons are displayed, for example, a list selection screen in which a plurality of items such as a prefecture name are displayed in a list In addition, various selectable screens such as an image display screen for displaying image data are displayed.
Select one screen configuration from each screen configuration displayed in the list, and then click the OK button. Return to a). When returning to the main window, the scene screen 301 is changed to the newly selected screen configuration and displayed.
[0154]
FIGS. 34 to 36 show screen element setting means for setting screen elements based on at least one of display contents (images and sounds) of a character and processing contents including the start of voice recognition in the present embodiment. Form the element setting function.
FIG. 34 illustrates a flow of a screen operation for editing a character motion (agent motion) instruction.
When the agent display screen 311 is double-clicked with a mouse in the main window (FIG. 34A) showing the editing state of the scene screen, a direct instruction edit window (b) for each character or a character instruction unified instruction edit window ( c) is displayed.
Which window is displayed is determined by displaying the window used last time, displaying (b) when the previous operation instruction is given by direct instruction for each character, and displaying the last character in a state where the character is desired to be displayed last time. If the instruction is given, (c) is displayed. When used for the first time, a character action unified instruction edit window (c) is displayed.
[0155]
In the direct instruction edit window for each character in FIG. 34B, the motion (movement), facial expression (element of emotion expression), hairstyle (element of growth expression), clothing (element of TPO expression), scale (character display area Assuming that the frame of the camera is a camera angle element, a range in which the user speaks (a range in which dialogue is allocated), an operation instruction timing, and a background of the character display area are selected.
In the direct instruction edit window for each character in FIG. 34B, when the enter button is clicked, the edited content is reflected on the data, and the screen returns to the main window (a). Clicking the cancel button returns to the main window (a) without being reflected in the data.
When the expression content designation button is clicked, the state instruction editing window (c) for instructing the character to be expressed is switched.
[0156]
When an operation instruction (display state) is selected in the direct instruction edit window for each character, a scene is defined as an operation unique to the character. In this case, in the agent device 1, in the character drawing / sound output processing by the drawing / sound output unit (101-5) in FIG. 18, it is not a unified display mode instruction independent of characters (step 505-6-6-1; N).
[0157]
In the character motion state instruction edit window of FIG. 34C, the character display state instruction table stored in the common definition DB (240-2-1) is displayed as the state represented by the character (see FIGS. 28 and 29). In response to the above, a work element, a mental state element, a TPO expression element, a growth expression element, and a scale element (a camera angle element when the character display area is a camera frame) are selectably displayed. . In addition, a screen for selecting an operation instruction timing and a background of the character display area is displayed.
The user selects each display state displayed in the character movement state instruction edit window, and the display state number corresponding to the display state selected as the movement common to each character regardless of the character is set. Is set as the content of
In this window, when the enter button is clicked, the edited content is reflected in the data, and the screen returns to the main window (a). Clicking the cancel button returns to the main window (a) without being reflected in the data.
When the direct instruction designation button is clicked, the window is switched to a direct instruction edit window (b) for instructing by direct instruction of the character motion.
[0158]
FIG. 35 shows a flow of a screen operation for editing a speech instruction of a character (agent).
When the dialogue edit button 313 on the setting screen 303 is clicked on the main window (FIG. 35A) showing the editing state of the scene screen, the dialogue edit window 1 (b) is displayed.
In the dialogue editing window 1 (b), a tab screen of "PCM" is displayed, and an instruction of PCM (recorded and prepared real voice data) can be given.
When the "TTS" tab is selected in the dialogue edit window 1 (b), a dialogue edit window 2 (c) is displayed, and a TTS (synthesized voice) can be specified.
In case of PCM, enter the dialogue in double-byte hiragana (the above input box) and search for the corresponding dialogue (click the search button: prepare two types of search methods, prefix match and perfect match), and search results (search (There is a result list display field), and the dialogue to be spoken to the character is set (can be set by clicking the add button).
In the case of the TTS, the dialogue name (data for speech balloon display) and the reading (data for creating a synthesized voice) are input, and the dialogue to be spoken to the character is set (can be set by clicking an add button).
In the dialogue editing windows 1 (b) and 2 (c), when the enter button is clicked, the edited content is reflected as data on the balloon screen 430 and returns to the main window (a). When the cancel button is clicked, the data is not reflected in the data. To return to the main window (a).
[0159]
FIG. 36 shows a flow of a screen operation for editing the speech recognition dictionary.
This operation is to set a voice dictionary for recognizing a voice response returned from the user in response to a request for a response from the device side.
As an example, FIG. 36 illustrates a screen operation in one scene in which, in a scenario in which the traveling control of the vehicle is performed, an impression on the control is asked after the traveling control is completed, and the answer is recognized.
In the main window (FIG. 36A) showing the editing state of the scene screen, a pull-down menu is displayed by selecting an inverted triangle button displayed on the right side of the voice recognition start control instruction 320a. As the pull-down menu, "start automatically", "not start automatically", and "automatic" (when the agent device (vehicle device) determines) are displayed. The user selects one voice recognition instruction from this display (voice recognition start setting means, voice recognition start setting function). If the already displayed voice recognition instruction is sufficient, the displayed instruction is selected by leaving the pull-down menu without displaying it. If the user does not set the conditions for determining whether or not to start speech recognition ("start automatically" or "not start automatically") as described above, the conditions for starting speech recognition are predetermined ("Random"). By performing the setting to make the judgment, the vehicle judgment setting means and the vehicle judgment setting function of the present invention are formed.
The voice recognition instruction selected by the user is set as scene data of the selected scene.
[0160]
As described above, according to the scenario creation device 2 of the present embodiment, the function of setting an instruction (speech recognition instruction) as to whether or not to automatically start speech recognition is provided. The scenario creator can set how to start speech recognition.
By setting "automatically start" the voice recognition, the driver who is the user can answer (input voice) without selecting the trigger of voice recognition start (pressing the recognition start button). it can. As described above, the driver who is the user of the agent device can omit the device operation step of pressing the voice recognition start button when answering a question in a conversation with the personified character. Also, since this step does not exist in the conversation between humans, the conversation with the personified character can be closer to the conversation between humans than before as a result of the present invention.
[0161]
In the scenario creation device 2 of the present embodiment, “automatic” (determined by the agent device) can be set as a voice start instruction, and the agent device performs voice recognition based on the level of the driving load for the scene in which the automatic setting is set. Start or not start is selected.
Therefore, when the load is high, such as during a course change operation at an intersection, the driver does not start voice recognition and does not output a start sound requesting voice input (answer by the driver). You can concentrate on a certain driving operation.
[0162]
In the main window (FIG. 36 (a)) showing the editing state of the scene screen, a button part 315a (depending on the screen configuration, there may be a normal list box part) is displayed according to the selected screen configuration. When double-clicked, a voice recognition dictionary selection window (b) is displayed. Double-clicking on the dictionary list display section 315b to be recognized in the background also displays the voice recognition dictionary selection window (b).
[0163]
In the voice recognition dictionary selection window (FIG. 36B), when a dictionary name in the list display of dictionary candidates is double-clicked, the dictionary used as the voice recognition dictionary is displayed in the list selected as a general dictionary.
Clicking the OK button reflects the edited content on the data and returns to the main window (a), and clicking the Cancel button returns to the main window (a) without being reflected on the data.
When a new creation button is clicked, a speech recognition dictionary creation window (FIG. 36C) for newly creating a speech recognition dictionary is displayed.
[0164]
In the speech recognition dictionary creation window (FIG. 36 (c)), when a dictionary name is input and a dictionary addition button is clicked, a new speech recognition dictionary is created with that name and words are registered in the speech recognition dictionary (d). Is displayed.
When the OK button is clicked in the speech recognition dictionary creation window (c), the creation of the speech recognition dictionary ends, and the process returns to the speech recognition dictionary selection window (b).
[0165]
In the window for registering a word in the speech recognition dictionary (FIG. 36D), the word to be registered is entered in the reading field using half-width kana, and the enter button is clicked. Next, a name (a name to be displayed) is selected or newly input, and a PCM voice for callback is selected (if no is selected, TTS is used for callback). After entering these three items, clicking the register button will register the data and add it to the registered word list on the right.
When all the words to be registered have been registered, clicking the back button returns to the voice recognition dictionary creation window (c).
[0166]
FIG. 37 shows a flow of a screen operation for editing a flow of a scenario.
When a scene icon 307 (icon 1 in the figure) being created in the main window is selected and activated, and a new scene creation button 321 is clicked, a transition selection window (b) is displayed.
In the transition selection window (b), a condition for branching to a newly created scene is selected from the branch event list, and when the OK button is clicked, the condition (branch event) is determined and the screen returns to the main screen (a). On the main screen (c) after returning, a scene (scene icon (4) in the figure) is newly created on the scene development screen 305. A newly created scene icon is described as NEW to distinguish it from other scene icons.
The branch events that can be selected in the branch event selection window are displayed in FIG. As described with reference to FIG. 37, by setting conditions for shifting from one screen element to the next screen element, a shift condition setting means and a shift condition setting function in the present invention are formed.
[0167]
FIG. 38 shows a flow of a screen operation for editing a scenario end position.
When the end position creation button 323 of the scenario is clicked in the main window (a), an end ID designation window (b) is displayed.
In the end ID specification window (b), the ID number of the end position mark is specified. Normally, automatic assignment is performed, but the operator of the editor can also perform the assignment by unchecking the check box indicating that automatic assignment is performed. When the OK button is clicked, the ID number is determined and the branch event selection window (c) is displayed.
[0168]
In the branch event selection window (c), the branch condition for terminating the scenario is set in the same manner as when a new scene is created and in the operation method. Additional conditions can be set in the same manner. In this window, when the OK button is clicked, the condition (transition condition) is determined and the process returns to the main window (d) (transition condition setting means, transition condition setting function). At this time, a new scenario end position 433 is created in the scenario diagram.
As described above, a screen element in which at least one of the display content of the character (agent) and the processing content is defined is defined as one screen element (scene), and the screen element is combined with the transition condition between the screen elements to combine the screen element. A screen element transition body creation means for creating a transition body (scenario) and a screen element transition body creation function are formed.
[0169]
FIG. 39 shows a flow of a screen operation for compiling the created scenario into an actual device format (NAV format) usable for navigation.
When the scenario compilation button 325 is clicked in the main window (a), a scenario compiler window (b) is displayed.
In the scenario compiler window (b), specify the name of the file to output the compiled data, select the scenario to be converted at the same time (convert the scenarios checked in the scenario list at the same time), and click the compile button to save the data. Start the conversion. The data conversion status is displayed on the result display unit.
When the end button is clicked, the data conversion ends and the process returns to the main window (a).
As described above, according to the scenario creating apparatus of the present embodiment, the display state for instructing the movement of the character in each scene of the scenario is shared irrespective of the type of the character. Can be created, and the scenarios created for each character can be combined into one, which facilitates scenario creation.
In addition, the name of the unified character motion instruction form uses the content to be expressed by the character, for example, greetings of meeting, posting (information etc.), rejoicing, getting angry, etc. When creating an instruction, the scenario creator only has to directly select what the character wants to do from the name, which facilitates scenario creation.
[0171]
Further, according to the present embodiment, the process of judging whether the condition for autonomously activating (automatically appearing) the agent based on the scenario data created by the scenario creating device is satisfied is performed periodically or in a specific state. Is executed when the condition is satisfied, and the agent can automatically appear when the condition is satisfied.
On the other hand, according to the scenario creation device and the scenario editor of the present embodiment, regardless of the knowledge of the program, the presence of the scenario editor allows the agent to automatically appear and respond when certain conditions are satisfied. Scenario data can be easily created and edited. Also, the scenario creation device can be set to play sound (sound effect) or not to sound, and to set what kind of sound to sound when it sounds (it can be set for each scene created), so agents automatically appear It is possible to easily create a scenario in which the driver can notify the driver without looking at the screen, and the driver can safely know the appearance of the agent even during the driving operation.
[0172]
As described above, one embodiment of the in-vehicle device, the data creation device, and the data creation program according to the present invention has been described. However, the present invention is not limited to the described embodiment, and various modifications can be made. .
For example, in the agent device 1 according to the embodiment described above, when the automatic load (determined by the agent device) is set and the driving load is high, the voice recognition is not performed. On the other hand, when the driver has a high load, the voice recognition is not started immediately, but the voice recognition may be started when the driver is no longer in the high load state.
That is, in the situation determination (step 505-6-8-2) of FIG. 19, a case has been described where the process returns when it is determined that the driver has a high load. However, the process does not return (step 505-6-6). The voice recognition unit (101-7) waits until the load on the driver becomes low, and outputs a start sound for voice input when the load becomes low. become.
[0173]
In the described embodiment, “user gender” and “user age” are defined as items that can be selected as autonomous activation conditions, as illustrated in FIGS. 23 to 24, but other automatic activation items relating to the driver (see FIG. 23). May be added. For example, items relating to the state of the driver such as “skill level” and “emotional” are added as automatic activation items. Then, “low”, “normal”, and “high” are added as selectable items corresponding to “skill level” (see FIGS. 24 and 25), and “anxiety”, Add "fight", "tension", etc.
[0174]
In this case, in the agent device, the driving state stored in the driver information data (10-2-3-6) or the learning item data (10-2-3-7) includes the driver state such as the skill level and the emotion. It is obtained as situation information from the user's operation history and the like, and is compared with the start condition of the scenario.
That is, in the agent device, the agent OS (101-8) acquires information from, for example, various situation detection devices (6) from the overall processing unit (102) through the external I / F (101-9), Based on the driver information data (10-2-3-6) stored in (101-3) and the driver operation history stored in the learning item data (10-2-3-7), etc. The learning unit (101-3) determines the current state of the driver.
As an example of the driver state to be determined, the driver's anxiety, prostration, nervousness, etc., corresponding to each item of the autonomous activation condition, and the skill level of the agent device are also determined and estimated.
For example, an example is considered in which, when the speed excess state continues for a long time within a certain period of time and a large amount of rapid acceleration / deceleration is performed, it is determined that the vehicle is accelerating with respect to time (hurrying).
Also, using the total number of times of use of the agent, the total time of use (communication time), the number of times of automatic activation, and the like, the skill level of the agent device is determined in three stages such as low, normal, and high. The number of steps and the conditions for determination are merely examples, and may be changed.
[0175]
In this way, by registering conditions detectable on the agent device side in the scenario creation device and making it usable in the scenario editor, the driver state can be used as a start condition (autonomous start condition) of a screen element transition body (scenario). Can be used.
This makes it possible for the driver to appear autonomously from the agent side and not communicate when the driver is fading (a condition of “if not fading” is added to the autonomous activation condition).
[0176]
Note that, in the present embodiment, an object A is to provide an agent device for a vehicle that enables an agent function to be realized according to standardized scenario data and that starts a scenario based on an autonomous start condition specified by the scenario data. Aimed at B, to provide a standardized scenario for realizing an agent function in an agent device, and a scenario data creation device capable of easily creating an autonomous start condition for autonomously starting the scenario. The following configuration is also possible.
(A) An agent apparatus that performs a function of judging a state of a vehicle compartment or a vehicle and autonomously performing a process according to a result of the judgment in conjunction with a movement or voice of the appearance of the agent,
Agent display means for displaying an image of an agent having a predetermined appearance in the vehicle interior,
A scene composed of at least one of the content of the processing performed by the device and the image and sound of the agent is defined as one scene, and a scenario composed of one or a plurality of continuous scenes and an autonomous autonomously starting deployment of the scenario A scenario storage unit that stores scenario data having an activation condition; a situation information acquisition unit that acquires a state of a vehicle compartment or a vehicle as situation information; and a scenario storage unit that stores the acquired situation information in the scenario storage unit. A condition determining means for determining whether an autonomous start condition is satisfied, and a scenario for autonomously starting a scenario corresponding to the autonomous start condition determined to be satisfied by the condition determining means and sequentially developing each scene Executing means for determining whether or not the status information satisfies the autonomous activation condition at a predetermined timing. Agent apparatus according to claim.
(B) The condition determining means performs the determination periodically at predetermined time intervals and when a specific situation set in advance is satisfied from the acquired situation information. Agent device as described.
(C) The scenario execution means outputs a sound effect corresponding to the sound effect information when the scene is developed, in the case of a scene in which a sound effect is set, wherein Agent device as described.
(D) A scene composed of at least one of the contents of processing autonomously performed by the vehicle agent device and at least one of an image and a sound of the agent is defined as one scene, and a scenario composed of one or a plurality of continuous scenes is defined as A scenario data creation device that creates scenario data for an agent device that autonomously starts when a scenario autonomous start condition is satisfied, and includes an agent process content, an agent image, and audio data that can be selected as scene components. Scene element selecting means for selecting at least one of the following, and scene creating means for creating, as one scene, a scene composed of at least one of the processing contents of the agent, the image of the agent, and the output sound from the acquired scene components And one or more transitions for transitioning from a predetermined scene to the next scene. A scene development configuration creating unit that creates a development configuration of each scene from the conditions and destination data that specifies a destination scene in accordance with each transition condition; and a vehicle interior or vehicle that can be acquired by the agent device. Presenting means for presenting each item of status information relating to a state; selecting means for selecting one or more items from each item of the presented status information; Autonomous activation condition creating means for creating an activation condition, and output means for outputting scenario data including the created scene, the developed configuration of each created scene, and the autonomous activation condition of the created scenario. A scenario data creation device, characterized in that:
(E) The scenario data creation device according to (d), wherein the scenario is started from a scene containing active actions such as a proposal, a question, and a greeting by an agent.
(F) scene selecting means for selecting a scene, sound effect displaying means for displaying a list of sound effect information specifying one or more sound effects, and selecting one sound effect information from the displayed sound effect information And a sound effect setting means for setting a sound effect corresponding to the selected sound effect information as a sound effect to be output at the start of the selected scene. The scenario data creation device according to (d) or (e).
According to the embodiment (a), the agent function can be realized according to the standardized scenario data, and the scenario can be activated based on the autonomous activation condition defined by the scenario data.
Further, according to the embodiment described in (b), a standardized scenario for realizing the agent function in the agent device and an autonomous start condition for autonomously starting the scenario without sufficient knowledge of programming. Can be easily created.
[0177]
【The invention's effect】
According to the first to third aspects of the present invention, a screen element in which at least one of a character display state and a character processing content is defined as one screen element, and a screen element configured by combining the screen elements In addition to executing the transition body, it becomes possible to start speech recognition in accordance with the instruction content of the screen element.
According to the invention described in any one of claims 4 to 6, a screen element in which at least one of a character display state and a character processing content to be executed in the in-vehicle device is defined as one screen element, and the screen element is defined as one screen element. It is possible to easily create a screen element transition body configured in combination, and to set the start of voice recognition in the screen element.
According to the seventh and eighth aspects of the present invention, a screen element in which at least one of a character display state and a character processing content to be executed in the in-vehicle apparatus is defined as one screen element, A screen element transition body configured in combination can be easily created by a computer, and the start of voice recognition can be set for the screen element.
[Brief description of the drawings]
FIG. 1 illustrates a system configuration diagram of a scenario adding system using an agent device according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of an agent device according to an embodiment of the present invention.
FIG. 3 is a configuration diagram of various situation detection devices in the agent device according to the first embodiment;
FIG. 4 is an explanatory diagram showing a relationship between an agent processing unit realized by executing a program by a CPU and an overall processing unit.
FIG. 5 is an explanatory diagram showing a configuration of an agent processing unit.
FIG. 6 is an explanatory diagram conceptually showing information collected on an external storage medium.
FIG. 7 illustrates a configuration of actual machine type scenario data.
FIG. 8 is an explanatory diagram conceptually showing character data.
FIG. 9 is an explanatory diagram conceptually showing the contents of character image selection data.
FIG. 10 is an explanatory diagram conceptually showing driver information data.
FIG. 11 is an explanatory diagram showing a selection screen when an agent device selects an agent character to appear in a vehicle cabin.
FIG. 12 is an explanatory diagram illustrating an example of a scene screen displayed on a display device based on scene data of a scenario.
FIG. 13 is a screen transition diagram showing, for each scene, transition of a scene screen according to a guidance scenario transmitted from a ryokan to a potential guest.
FIG. 14 is a flowchart illustrating a scenario autonomous activation determination process performed by an autonomous activation determination unit.
FIG. 15 is a flowchart showing processing contents of a condition determination processing.
FIG. 16 is a flowchart illustrating an example of the flow of a scenario execution process.
FIG. 17 is a flowchart illustrating an example of a flow of a scene process.
FIG. 18 is a flowchart illustrating a character drawing / voice output process performed by a drawing / voice output unit.
FIG. 19 is a flowchart illustrating a processing operation of a voice recognition process.
FIG. 20 is a configuration diagram of a scenario creation device.
FIG. 21 conceptually shows a configuration of a scenario editing program and data.
FIG. 22 conceptually shows data format conversion.
FIG. 23 illustrates items that can be set as automatic start items.
FIG. 24 illustrates an example of items that can be selected for the automatic start item.
FIG. 25 exemplifies items that can be selected for the automatic start item.
FIG. 26 is a scene branch item table storing branch items (transition conditions) for branching (scene development) from a scene to the next scene.
FIG. 27 illustrates an additional condition table.
FIG. 28 is an explanatory diagram conceptually showing a part of the contents of a character display state instruction table stored in a common definition DB.
FIG. 29 is an explanatory diagram conceptually showing another part of the content of the character display state instruction table stored in the common definition DB.
FIG. 30 illustrates a configuration of a main window displayed on a display device when a scenario editor is activated.
FIG. 31 illustrates a flow of a screen operation for editing a scenario property.
FIG. 32 illustrates a flow of a screen operation for editing a scenario start condition from a main edit window of a scenario start condition.
FIG. 33 illustrates a flow of a screen operation for selecting a screen configuration to be displayed on the agent display screen.
FIG. 34 illustrates a flow of a screen operation for editing a character motion (agent operation) instruction.
FIG. 35 illustrates a flow of a screen operation for editing a speech instruction of a character (agent).
FIG. 36 illustrates a flow of a screen operation for editing a speech recognition dictionary.
FIG. 37 shows a flow of a screen operation for editing a flow of a scenario.
FIG. 38 illustrates a flow of a screen operation for editing an end position of a scenario.
FIG. 39 illustrates a flow of a screen operation for compiling the created scenario into an executable format usable for navigation.
[Explanation of symbols]
1 agent device
2 Scenario creation device
3 server
(1) Central processing unit
(2) Display device
(3) Audio output device
(4) Voice input device
(5) Input device
(6) Various situation detection devices
(7) Various in-vehicle devices
(8) Communication control device
(9) Communication device
(10) External storage device
(200) Control unit
(210) Input device
(220) Output device
(230) Communication control device
(240) Storage device
(250) Storage medium drive
(260) Input / output I / F

Claims

A screen element in which at least one of the display content and the processing content of the character is defined as one screen element, and a screen element transition body configured by combining the screen elements and an activation condition of the screen element transition body are acquired from outside. Screen element transition storage means for storing;
Condition determination means for determining whether the activation condition is satisfied, based on at least one of the on-vehicle sensor and user information;
When it is determined that the start condition is satisfied, the screen element that executes the screen element transition body by sequentially executing each screen element constituting the screen element transition body that satisfies the start condition according to the setting. A transition body executing means;
Voice recognition means for recognizing voice,
The in-vehicle device, wherein the screen element transition body executing means starts the voice recognition by the voice recognition means according to the setting when the start of voice recognition is set in the processing content of the screen element.

A driving load determining means for determining a driving load of the driver;
The in-vehicle apparatus according to claim 1, wherein the screen element transition body executing means starts voice recognition by the voice recognition means when the driving load determined by the driving load determining means is equal to or less than a predetermined value. .

The screen element transition body executing means terminates the speech recognition by the speech recognizing means according to the setting when a time for ending the speech recognition is set in advance in the processing content of the screen element. 3. The in-vehicle device according to 1 or 2.

Screen element setting means for setting one screen element based on at least one of display contents of a character and processing contents including start of voice recognition;
Transition condition setting means for setting transition conditions for transitioning from one screen element set by the screen element setting means to the next screen element;
Screen element transition body creating means for creating a screen element transition body for execution processing on a display device in the vehicle based on the screen element and the transition condition,
A data creation device comprising:

If the user does not set the condition of whether or not to start the voice recognition, on-board determination setting means to set to determine the start of the voice recognition under a predetermined condition,
The data creation device according to claim 4, further comprising:

Character display processing setting means for setting the processing content of the character to be displayed on the display device in the vehicle,
The data creation device according to claim 1, wherein the character display processing setting means includes a voice recognition start setting means for setting a start condition for starting recognition of a response voice of the user based on the processing of the character.

A screen element setting function for setting one screen element based on at least one of display contents of a character and processing contents including start of voice recognition;
A transition condition setting function for setting one or more transition conditions for transitioning from one screen element set by the screen element setting function to the next screen element;
A screen element transition body setting function for creating a screen element transition body for execution processing on a display device in the vehicle based on the screen element and the transition condition;
A data creation program that allows a computer to implement

If the user does not set the condition of whether or not to start the voice recognition, the in-vehicle determination setting function to set to determine the start of the voice recognition under a predetermined condition,
The data creation program according to claim 7, further comprising: