JP2004340836A - Onboard equipment and data forming device - Google Patents

Onboard equipment and data forming device Download PDF

Info

Publication number
JP2004340836A
JP2004340836A JP2003139671A JP2003139671A JP2004340836A JP 2004340836 A JP2004340836 A JP 2004340836A JP 2003139671 A JP2003139671 A JP 2003139671A JP 2003139671 A JP2003139671 A JP 2003139671A JP 2004340836 A JP2004340836 A JP 2004340836A
Authority
JP
Japan
Prior art keywords
scenario
scene
data
character
agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003139671A
Other languages
Japanese (ja)
Other versions
JP4206818B2 (en
Inventor
Tomoki Kubota
智氣 窪田
Manabu Matsuda
松田　　学
Kazuhide Adachi
和英 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Equos Research Co Ltd
Original Assignee
Equos Research Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Equos Research Co Ltd filed Critical Equos Research Co Ltd
Priority to JP2003139671A priority Critical patent/JP4206818B2/en
Publication of JP2004340836A publication Critical patent/JP2004340836A/en
Application granted granted Critical
Publication of JP4206818B2 publication Critical patent/JP4206818B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce unnaturalness of reproduced quality and response speed of animation in the case of reproducing following animation by interrupting the animation of the agent during reproduction. <P>SOLUTION: Individual motion images indicating the motion of characters are constituted of three of an initiation animation from a basic attitude state to a holding state (specific state) of the specific attitude of the characters, a holding animation slightly moving within a specific range from the holding state, and a termination animation from the holding state to the basic attitude state. By constituting the individual motion images with animations from the basic attitude state through the specific state returning to the basic state, continuity of the motion is maintained. By repeating the holding animation, reproduction time control is attained. In this case, the holding animation is limited to a slight motion such as blinking and a motion can be recognized by the users. As the holding animation is a slight motion, gap of image does not grow even if a reproducing holding animation is interrupted and moved to the termination animation. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、車載装置及びデータ作成装置に係り、例えば、車両の搭乗者とのコミュニケーションにより会話をしたり機器操作等を自律的に行うエージェント機能を備えた車載装置及び、その車載装置で実行される画面要素推移体を作成するデータ作成装置に関する。
【０００２】
【従来の技術】
例えば、犬などのペット型のロボットや、車室内においてナビゲーション装置等の機器操作の案内をしたり状況に応じた質問や提案等を行うことで搭乗者との対話や対応をするエージェント装置が開発され、車載装置として車両に搭載されている（例えば、特許文献１参照）。
そして、装置に対して考えられる種々の状態を想定すると共に、想定した各状態を検出した場合にとるべき対応が、所定のデータやプログラムに従って規定されている。
【０００３】
【特許文献１】
特開平１１−３７７６６号公報
【０００４】
この従来のエージェント装置では、例えば、燃料検出センサ４１５の検出値Ｇ１が、全５回分の給油残量の平均値Ｇ２以下（Ｇ１≦Ｇ２）になった場合に、エージェントＥが表示装置２７に現れて給油を促す動作の動画が表示装置２７に表示され、「おなかが減ったなあ！ガソリンがほしいな！」等の音声が音声出力装置２５から出力される。
【０００５】
【発明が解決しようとする課題】
従来のエージェント装置では、各種状況に対応してエージェントが種々の動作を行う様子を動画や静止画像により表示している。例えばエージェントがお辞儀をする動画、うなずく動画、画面表示された質問に対する回答の選択を促すために右手を挙げて回答を指し示す動画、等の各種動画を状況に応じて連続して再生することで一連の動作を表すようになっている。
しかし、表示する動画の再生時間を固定すると次のような問題が生じる。例えば、操作を促すアニメーションである場合、ユーザが操作をためらっていたり、操作を考えている間に動画の再生が終了してしまうと、継続しての操作が不可能になったとの誤解をユーザに与えることがある。この場合、それ以降ユーザは何をすればよいのかわからなくなってしまう。
また、複数の状況に対して同一の動画を再生するような場合、動画の再生時間が固定されていると、各状況に応じて出力される異なる音声内容が異なるため、音声と動画が同期しないことにもなる。
【０００６】
そこで、状況にあわせて動画の再生時間を可変にすることが考えられる。
例えば、動画全体をループ可能として、時間の調整をする方法が考えられる。しかし、ループ中に後続の動画に移行する状況が発生し動画を中断した場合、後続の動画の先頭フレーム（先頭の画像）とループ中断時点のキャラクタの位置や姿勢が違った場合、後続の動画との間に動作のギャップが生じてしまい、動画の再生品質を低下させてしまう。また、エージェントの動作内容によっては、例えば、何度もお辞儀を繰り返すといった、同じ動作の不自然な繰り返しが発生し、ユーザに違和感を与える。
一方、動画をループさせず、再生途中で画像を静止させることも考えられるが、エージェントの動きが完全に停止してしまうため、システムが故障または停止したとの誤解をユーザに与える可能性がある。
更に、再生時間別に長さの異なる動画を用意することも考えられるが、再生時間別に動画を要する必要があるので、記憶すべきデータ量が増大すると共に、動画再生開始以降に発生した時間不確定な状況（車両の走行状態や、通信状態など）に動画を対応させることができない。
【０００７】
また、ユーザに選択を求める動画を再生している途中でユーザが選択をした場合、後続の動画を再生するタイミングとして２つの方法が考えられる。まず、再生中の動画を直ちに中断して後続の動画再生に移行する方法の場合、中断時の画像と後続の動画の開始画像間のギャップにより動作が不自然になり再生品質が低下する。
一方、再生中の動画を最後まで再生した後に後続の動画を再生する方法の場合、ユーザの操作に対するエージェントの動作の応答が悪くなる。
【０００８】
そこで、本発明では、画面要素推移体の１画面要素の実行中に、車載装置又は使用者から所定の指示があった場合、実行中の動画段階の再生品質及び応答速度に対して不自然さを少なくして後続動画を再生することが可能な車載装置を提供することを第１の目的とする。
また、本発明は、車載装置で実行されることでキャラクタがコミュニケーションを行う画面要素推移体と、その起動条件を作成すると共に、画面要素を実行中、使用者又は車載装置からの所定指示がなされた場合に、キャラクタの動作表現を中断するか否かを設定することが可能なデータ作成装置を提供することを第２の目的とする。
【０００９】
【課題を解決するための手段】
請求項１に記載した発明では、キャラクタの基本姿勢状態から表現内容を示す所定姿勢状態までの開始動画、前記所定姿勢状態を保持する保持動画、前記所定姿勢状態から基本姿勢状態までの終了動画の少なくとも３つの動画段階で規定されるキャラクタの動作表現を記憶する動作表現記憶手段と、前記キャラクタの動作表現を含む表示内容、処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を記憶する画面要素推移記憶手段と、前記画面要素推移体を実行する画面要素推移体実行手段と、前記画面要素推移体の１画面要素の実行中に、車載装置又は使用者から所定の指示があった場合、実行中の動画段階を中断して次の画面要素を実行する即応モードと、実行中の動作表現が終了した後、次の画面要素を実行する品質モードと、を判断するモード判断手段と、を車載装置に具備させて前記第１の目的を達成する。
請求項２に記載の発明では、請求項１に記載の車載装置において、前記モード判断手段は、車載装置又は使用者から所定指示があった場合、実行中の動作表現の画面要素で規定されているモードから、即応モードか品質モードかを判断することを特徴とする。
請求項３に記載の発明では、請求項１に記載の車載装置において、前記モード判断手段は、車載装置又は使用者から所定指示があった場合、装置に規定されたテーブルに応じて、即応モードか品質モードかを判断する、ことを特徴とする。請求項４に記載の発明では、キャラクタの動作表現を含む表示内容、処理内容の少なくとも１つが規定された画面要素を作成する画面要素作成手段と、前記画面要素作成手段で作成された１つの画面要素から次の画面要素に移行するための移行条件を設定する移行条件設定手段と、前記画面要素及び前記移行条件に基づき車載装置で実行される画面要素推移体を作成する画面要素推移体作成手段とをデータ作成装置に具備させ、前記画面要素作成手段は、前記画面要素を実行中、使用者又は車載装置からの所定指示がなされた場合に、キャラクタの動作表現を中断するか否かを設定する動作中断設定手段を更に備えることで前記第２の目的を達成する。
請求項５に記載の発明では、請求項４に記載のデータ作成装置において、前記動作中断設定手段は、実行中の動作段階を終了して次の画面要素を実行する即応モード、実行中の動作表現を継続した後に次の画面要素を実行する品質モード、車載装置側の自動判断のいずれか１を設定することを特徴とする。
【００１０】
【発明の実施の形態】
以下、本発明の車載装置の好適な実施形態であるエージェント装置、データ作成装置の好適な実施形態であるシナリオ作成装置、及びデータ作成プログラムの好適な実施形態であるシナリオエディタについて、図１から図３７を参照して詳細に説明する。
【００１１】
（１）実施形態の概要
本実施形態のエージェント装置では、所定の容姿からなるエージェント（キャラクタ）の画像（平面的画像、ホログラフィ等の立体的画像等）を車両内に表示する。そして、エージェント装置の機能である、センサ等の検出結果から周囲の状態（人の動きや音声を含む）を認識、判断し、その結果に応じた動作の動画や音声を出力するという機能を、このエージェントの容姿の動きや音声と連動して実行する。例えば、「どのジャンルの食事がすきですか」等の回答（和食、洋食等）を要求する問いかけと共に、首を傾ける動作を行う。そして、この問いかけに対するユーザの回答内容を判別（回答音声の認識や、回答選択ボタン５４ａの選択から判別）して、次のシーン（画面要素）に応じた処理を実行する。このように、装置からの回答を要求する問いかけと、その回答に応じて、所定の操作の実行を開始するので、ユーザは、あたかも擬似人格を備えたエージェントが車両内に存在しているような体感をするようになる。以下の説明では、このようなエージェント装置の一連の機能の実行を、エージェントの行為や動作として説明する。
【００１２】
本実施形態のエージェント装置では、このエージェントに運転者との各種コミュニケーションや、操作の代行を行わせる。そしてエージェントが自律的に行う様々な行為（各行為）を複数のシナリオ（画面要素推移体）で構成する。そして、エージェントによる一連の連続した行為（動作を表す動画の再生と音声の出力、及びエージェンとの操作）の内容を規定した複数のシナリオと、各シナリオの展開を自律的に開始（起動）するための自律起動条件（起動条件）とにより規格化したシナリオデータを保存する。
変更する。
【００１３】
シナリオは、シナリオ作成装置で作成され、シーン（画面要素）を基準の単位として、１又は連続する複数のシーンで構成される。自律的に行う処理内容とエージェントの動作を表す動画及び音声の少なくとも１つから構成される場面が１シーンである。各シーンの後にどのシーンに移行するかは移行条件により決まる。
【００１４】
各シーンにおけるキャラクタの動作は、１又は複数の個別動作画像（キャラクタの動作表現）で構成され、個別動作画像は少なくとも１つ以上の完結した意味を表現可能な単位の動画である。この個別動作画像を、キャラクタの基本姿勢状態から所定姿勢の保持状態（所定状態）までの開始動画と、保持状態から所定範囲内での僅かな動作を行う保持動画と、保持状態から基本姿勢状態までの終了動画の３つで構成する。
このように、キャラクタの各個別動作画像を、基本姿勢状態から所定状態を経て基本状態に戻る動画により構成することで、動作の連続性を保つことができる。
そして、保持動画を繰り返すことで個別動作画像の再生時間の調整を行う。この場合、保持動画は手を振る、瞬きをする等の動作をした後、所定状態に戻るので、エージェントが動作中であることをユーザに認識させることができる。また、保持動画は保持状態の僅かな動きの場合には、保持動画を繰り返し再生している途中で中断して終了動画に移行しても画像のギャップが大きくなることがない。
また、品質よりも応答速度が重要な場合には、中断条件（車載装置又は使用者からの所定の指示（図１３参照））を満たした場合に再生中の個別動作画像を中断して次の個別動作画像を再生することでキャラクタの応答を素早くすることができる。
【００１５】
エージェント装置は、個別動作画像の再生中に中断条件が満たされた場合に、どのようにして後続の個別動作画像を再生するかを、シーン（画面要素）で規定された即応モード、品質モード、自動選択モードに応じて決定する。自動選択モードが選択されている場合には、各中断条件に対応して予め即応モード又は品質モードが規定されたテーブルから決定する。
【００１６】
エージェント装置のユーザ等は、規定された規格に従って、独自のシナリオをシナリオ作成装置を使用して作成する。シナリオ作成装置は、シナリオ編集プログラムやデータをパーソナルコンピュータにインストールすることで構成することができる。
作成したシナリオは、インターネット等のネットワークを介してエージェント装置に送信し、又はダウンロードしてもらうことにより、また、所定の半導体メモリを介してエージェント装置に格納することで、自己（第三者）の希望通りの行為（コミュニケーションや処理）をエージェントに行わせることが可能になる。更に、作成したシナリオをメールに添付してエージェント装置に送信することも可能である。
このように、ユーザは自分の思い通りにエージェントを機能させるシナリオを独自にまた、容易に作成することが可能になるので、エージェント装置の自律的な動作に対する抵抗がなくなる。
シナリオ作成装置では、シナリオを作成する際に、各シーンにおける個別動作画像毎に中断条件と、中断後に後続個別動作画像に移行する際のモードを各シーンデータ中に規定することができるようになっている。
【００１７】
（２）実施形態の詳細
図１は、エージェント装置とシナリオ作成装置からなる全体のシステム構成を表したものである。
このシステムでは、本実施形態のエージェント装置１と、指定された規格でシナリオデータを作成するユーザ又は第三者であるシナリオデータ作成者のシナリオ作成装置２と、サーバ３等を使用したインターネット等の通信手段から構成されている。
シナリオ作成装置２では、シナリオエディタにより独自のシナリオデータを作成する。そして、独自のシナリオデータを作成したユーザは、ＤＶＤ−ＲＯＭ、ＩＣカード等の半導体記憶装置その他の記憶媒体７にシナリオデータを格納して、エージェント装置１に受け渡すことが可能である。そして、シナリオデータを受け取ったエージェント装置１では、記憶媒体駆動装置により記憶媒体７からシナリオデータを読み込んで、既に記憶しているシナリオデータに組み込むことで、シナリオ作成装置２で作成されたシナリオデータにしたがってエージェント装置１を動作させることが可能になる。なお、シナリオ作成装置２で作成するものは、エージェント装置１のユーザ自身でもよく、また、第三者でもよい。
また、エージェント装置１では、ユーザ自身や第三者が作成したシナリオデータを、インターネット等のネットワークを介して組み込み、また、メールに添付されたシナリオデータを組み込むことができる。
また、エージェント装置１のユーザに対してサービスの提供等を希望する第三者は、所定形式のシナリオデータを、例えば、シナリオエディタを使用してシナリオ作成装置２で作成し、ホームページに掲載してダウンロード可能にし、または電子メールの添付ファイルとしてエージェント装置１に送信する。エージェント装置１は、電子メールに添付されたシナリオデータ５を受信し、または、ユーザがサーバ３等の通信手段を介してシナリオデータファイル４をダウンロードするようになっている。また、エージェント装置１は、受信したシナリオデータの実行に従って取得されるユーザの回答（シナリオデータに対する回答メール）を、電子メール６の本文又は添付ファイルで、シナリオ作成者のシナリオ作成装置２に送信する。
【００１８】
まず、開発者やユーザによって作成されたシナリオに従ってエージェントが自律的に機能するエージェント装置１について、その構成と動作を説明する。
図２は、本実施形態におけるエージェント装置１の構成を表したブロック図である。
本実施形態におけるエージェント装置１は、車両に搭載されおり、車両内のユーザとの間でコミュニケーションを行う機能や車両に対して所定の処理を行う車両制御機能等のエージェント機能の他、ユーザに走行経路の案内等を行うナビゲーション機能も備えている。
本実施形態のエージェント装置１では、エージェント機能及び、ナビゲーション機能を実現するための中央処理装置（１）、表示装置（２）、音声出力装置（３）、音声入力装置（４）、入力装置（５）、各種状況検出装置（６）、各種車載装置（７）、通信制御装置（８）、通信装置（９）、外部記憶装置（１０）を備えている。
【００１９】
中央処理装置（１）は、種々の演算処理を実行するＣＰＵ（１−１）、外部記憶装置（１０）からプログラムを読み込んで格納するフラッシュメモリ（１−２）、フラッシュメモリ（１−２）のプログラムチェック、更新処理を行なうプログラム（プログラム読み込み手段）を格納したＲＯＭ（１−３）、ＣＰＵ（１−１）がワーキングメモリとして演算処理中のデータを一時的に格納するＲＡＭ（１−４）、短期感情要素の要素値を経時的に減少させるための時間経過を測定するためやその他の時間や時刻の計測に使用される時計（１−５）、表示装置（２）への画面表示に使用する画像データが記憶された画像メモリ（１−７）、ＣＰＵ（１−１）からの表示出力制御信号に基づいて画像メモリ（１−７）から画像データを取り出し、画像処理を施して表示装置（２）に出力する画像プロセッサ（１−６）、ＣＰＵ（１−１）からの音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力する処理と、音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なう音声プロセッサ（１−８）、入力装置（５）による入力内容を受け取る入力装置Ｉ／Ｆ部（１−９）、各種状況を検出するための検出器類から情報を受け取るための各種入力Ｉ／Ｆ部（１−１０）、他の装置と情報のやり取りを行なう通信Ｉ／Ｆ部（１−１１）、ＣＤ−ＲＯＭやＩＣカード類、ハードディスク等といった外部記憶媒体（１０−２）からデータ及びプログラムを読み込んだりデータを書き込んだりする外部記憶装置（１０）を制御するための外部記憶装置制御部（１−１２）を備えている。
【００２０】
この中央処理装置（１）は、経路探索処理や、経路案内に必要な表示案内処理や、その他システム全体において必要な処理、本実施形態におけるエージェント処理（エージェントと運転者との各種コミュニケーションや操作代行、状況判断を行ないその結果に応じて自律的に行なう処理）を行うようになっている。
更新処理を行なうプログラム（プログラム読み込み手段）は、ＲＯＭ（１−３）以外にもフラッシュメモリ（１−２）に格納するようにしてもよい。
本実施形態におけるプログラムを含め、ＣＰＵ（１−１）で実行される全てのプログラムは、外部記憶媒体（１０−２）であるＣＤ−ＲＯＭ等に格納されてもよいし、それらプログラムの一部または全てが本体側のＲＯＭ（１−３）またはフラッシュメモリ（１−２）に格納するようにしてもよい。
この外部記憶媒体（１０−２）に記憶されたデータやプログラムが外部信号として中央処理装置（１）に入力されて演算処理されることにより、種々のエージェント機能及びナビゲーション機能が実現されるようになっている。
また、本実施形態の中央処理装置（１）は、起動条件（自律起動条件）を満たしていると判断された場合、画面要素推移体（シナリオ）を実行する、画面要素推移体実行手段を形成している。
【００２１】
表示装置（２）は、中央処理装置（１）の処理による経路案内用の道路地図や各種画像情報が表示されたり、キャラクタの各種行動（動画）及び画面構成のパーツで構成された画面要素推移体（シナリオ）が表示されたりするようになっている。表示装置（２）には、液晶表示装置、ＣＲＴ等の各種表示装置が使用される。なお、この表示装置（２）は、例えばタッチパネル等の、入力装置（５）としての機能を兼ね備えたものとすることができる。
音声出力装置（３）は、中央処理装置（１）の処理によって声による経路案内を行なう場合の案内音声や、エージェントによる運転者との通常のコミュニケーション用の会話や運転者情報取得のための質問による音声や音が出力されるようになっている。音声出力装置（３）は、車内に配置された複数のスピーカで構成されている。これらは、オーディオ用のスピーカと兼用するようにしてもよい。
【００２２】
音声入力装置（４）は、運転者の音声を的確に収集するために指向性のある専用のマイクが使用されたりする。この音声入力装置（４）から入力されたアナログ信号を変換したデジタルの音声入力信号を使ってＣＰＵ（１−１）で音声認識処理が実行されるようになっている。
音声認識の対象となる音声としては、例えば、ナビゲーション処理における目的地等の入力音声や、エージェントとの運転者の会話（運転者による応答を含む）等があげられ、音声入力装置はこれらの音声を入力する音声入力手段として機能する。
なお、音声認識が必要なシーンか否かについては各シーンデータにおいて、音声認識の指示が設定されている。そして、音声認識の指示が設定されているシーンのシーンデータには、音声認識の対象となる音声を認識するための辞書が指定されている。
シナリオには、この音声認識の結果（運転者の応答結果）に応じて、エージェントの感情要素の要素値の変更指示が規定されている場合がある。
【００２３】
入力装置（５）は、目的地を設定する際に電話番号や地図上の座標などにて入力したり、目的地までの経路探索や経路案内を要求（リクエスト）するために使用される。また、入力装置（５）は、運転者情報を運転者が入力する場合や、エージェント機能の使用を開始する場合のトリガとしてとして使用される。さらに入力装置（５）は、エージェント機能による、エージェントとのコミュニケーションにおいて、エージェントからの問い合わせ等に対して運転者が応答するための１つの応答手段としても機能するようになっている。
入力装置（５）には、タッチパネル（スイッチとして機能）、キーボード、マウス、ライトペン、ジョイスティックなどの各種の装置が使用可能である。
また、赤外線等を利用したリモコンと、リモコンから送信される各種信号を受信する受信部を備えてもよい。
また、上記の音声入力装置（４）を使った音声認識を入力装置の代わりに使用しても良い。
【００２４】
図３は、各種状況検出装置（６）の構成を表したブロック図である。
この各種状況検出装置により、車載の各種状況を検出する状況検出手段が構成される。
各種状況検出装置（６）は、現在位置検出装置（６−１）と、交通状況情報受信装置（６−２）と、運転操作等の状況を検出するためにブレーキ検出器（６−３）と、サイドブレーキ（パーキングブレーキ）検出器（６−４）と、アクセル開度検出器（６−５）と、Ａ／Ｔのシフト位置検出器（６−６）と、ワイパ検出器（６−７）と、方向指示器検出器（６−８）と、ハザード検出器（６−９）と、イグニッション検出器（６−１０）を備えている。上記構成により、各種状況及び条件を検出することにより、検出手段が形成される。
また、各種状況検出装置（６）は、車両の速度（車速情報）を検出する車速センサ（６−１１）を備えており、該車速センサが検出した車速が０か否によって走行中であるか否かを判断することにより、走行判断手段が形成される。
【００２５】
現在位置検出装置（６−１）は、車両の絶対位置（緯度、経度による）を検出するためのものであり、人工衛星を利用して車両の位置を測定するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信装置（６−１−１）と、ＧＰＳの補正信号を受信するデータ送受信装置（６−１−２）と、方位センサ（６−１−３）と、舵角センサ（６−１−４）と、距離センサ（６−１−５）等が使用される。
距離センサ（６−１−５）と舵角センサ（６−１−４）は運転操作状況検出手段としても機能する。
【００２６】
交通状況情報受信装置（６−２）は、道路の混雑状況等を検出するためのものである。
交通状況情報受信装置（６−２）は、路上に配置されたビーコンから情報を受信するビーコン受信装置（６−２−１）と、ＦＭ放送電波を用いて情報を受信する装置（６−２−２）等が使用され、これらを用いて交通情報センターから渋滞情報や、交通規制情報等を受信する。
また、ビーコン受信装置（６−２−１）を現在位置検出手段として、現在位置検出装置（６−１）と併用してもよいものとする。
【００２７】
ブレーキ検出器（６−３）は、フットブレーキが踏み込み状態か否かを検出する。サイドブレーキ（パーキングブレーキ）検出器（６−４）は、運転者がサイドブレーキを操作中か否か、及びサイドブレーキの状態（ＯＮかＯＦＦか）を検出する。
アクセル開度検出器（６−５）は、運転者がアクセルペダルをどれぐらい踏み込んでいるかを検出する。
シフト位置検出器（６−６）は、運転者がＡ／Ｔのシフトレバーを操作中か否か、及びシフトレバー位置を検出する。
ワイパ検出器（６−７）は、運転者がワイパを使用しているか否かを検出する。
【００２８】
方向指示器検出器（６−８）は、運転者が方向指示器の操作中であるか否か、及び方向指示器が点滅中か否かを検出する。
ハザード検出器（６−９）は、運転者がハザードを使用している状態か否かを検出する。
イグニッション検出器（６−１０）は、イグニッションスイッチがＯＮになっているか否かを検出する。
車速の検出には距離センサ（６−１−５）を使用することもできる。
各種状況検出装置（６）は、機器操作状況検出手段としてこれらの他にも、ヘッドランプやルームランプ等のランプ類の操作状況を検出するライト検出センサ、運転者のシートベルト着脱操作を検出するシートベルト検出センサ、その他のセンサを備えている。
【００２９】
ＧＰＳ受信装置（６−１−１）と、データ送受信装置（６−１−２）と、交通情報受信装置（６−２）は、図２の通信装置Ｉ／Ｆ部（１−１１）に接続され、他は各種入力Ｉ／Ｆ部（１−１０）に接続されている。
【００３０】
図２において、通信装置Ｉ／Ｆ部（１−１１）には、他にも通信制御装置（８）が接続できるようになっている。この通信制御装置（８）には、通信装置（９）（各種無線通信機器からなる携帯電話等）が接続されるようになっている。
これらを使って、電話回線による通話の他、例えば車内での通信カラオケのために使用するカラオケデータを提供するような情報提供局、交通情報を提供する情報基地局との通信や、エージェント処理に用いるシナリオデータを提供する情報提供局との通信ができるようにすることも可能である。
【００３１】
本実施形態において中央処理装置（１）は、通信制御装置（８）を介してシナリオが添付された電子メールを受信することができるようになっている。
また、中央処理装置（１）には、インターネット上のホームページを表示するブラウザソフトを組み込み、ＣＰＵ（１−１）で処理させることが可能であり、通信制御装置（８）を介してホームページからシナリオを含めたデータをダウンロードすることができるようになっている。
なお、通信制御装置（８）は、通信装置（９）と一体になったものを使用してもよい。
【００３２】
また、中央処理装置（１）は、通信Ｉ／Ｆ部（１−１１）を通して車内通信を行なうことで他の車載装置（７）の操作状況を受け取ったり、また、車載装置に対する各種制御を行うようになっている。
例えば、中央処理装置（１）は、各種車載装置（７）であるエアコン装置の設定温度を上げる、下げるといったようにエアコン装置を制御を行う。また、オーディオ装置から運転者がラジオ、ＣＤプレーヤ、カセットプレーヤー等のオーディオ機器の出力音量を上げる、下げるといったようにオーディオ装置の制御を行うようになっている。これらの車載装置に対する制御は、シナリオにおいて車載装置に対する制御が規定されている場合に、シナリオの実行に伴って行われる。
【００３３】
外部記憶装置（１０）は、外部記憶媒体駆動部（１０−１）とその外部記憶媒体（１０−２）を備えている。外部記憶装置（１０）は、ＣＰＵ（１−１）からの指示で外部記憶装置制御部（１−１２）による制御のもとで外部記憶媒体（１０−２）からデータやプログラムの読み込み、及び外部記憶媒体（１０−２）へのデータやプログラムの書き込みを行うようになっている。
外部記憶媒体（１０−２）には、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光ディスク、磁気テープ、ＩＣカード類、光カード等の各種記憶媒体が使用され、使用する媒体毎にそれぞれの外部記憶媒体駆動装置（１０−１）が使用される。
【００３４】
外部記憶装置（１０）は、システムにおいて複数個所持してもよいものとする。例えば、収集した個人情報である、運転者情報データ（１０−２−３−６）と、学習項目データ及び応答データ（１０−２−３−７）を持ち運びが容易なＩＣカードやフレキシブルディスクで構成し、その他のデータをＤＶＤ−ＲＯＭで構成するといった例が考えられる。こうすることで、他の車両を運転する場合にこれらを記憶させたＩＣカードからデータを読み出させて使用し、ユーザが過去に応対した状況を学習した状態のエージェントとコミュニケーションすることが可能になる。つまり、車両毎のエージェントではなく、運転者毎に固有な学習内容のエージェントを車両内に出現させることが可能になる。
また、シナリオデータ＋シナリオで使用する画像データ（１０−２−３−４）を一例としてＤＶＤ−ＲＯＭで持つ構成にした場合でも、ＩＣカードを使って追加することも可能になっている。
これにより、ユーザ各自にとって固有のオリジナルシナリオを加えることが可能である。
このように、画面要素推移体（シナリオ）及び画面要素推移体の起動条件を外部から記憶することにより、本願発明の画面要素推移記憶手段が形成され、キャラクタ画像を含む画面構成、及び、キャラクタの表示を含んで実行する制御内容を記憶することにより、本願発明の記憶手段が形成される。
【００３５】
ＣＰＵ（１−１）は各種エージェント機能やナビゲーション機能を実現するプログラム（１０−２−１）や、演算処理に使用するエージェントデータ（１０−２−３）とナビゲーションデータ（１０−２−２）を、上記構成例で示すＤＶＤ−ＲＯＭやＩＣカード等から別の外部記憶装置（例えばハードディスク装置等）に格納（インストール）し、この記憶装置から必要なプログラム等をフラッシュメモリ（１−２）に読み込んで（ロードして）実行するようにしてもよいし、演算処理に必要なデータをこの記憶装置からＲＡＭ（１−４）に読み込んで（ロードして）実行するようにしてもよい。
【００３６】
次に、本発明におけるプログラムを含めたＣＰＵ（１−１）で実行されるプログラムの構成について説明する。
図４は、ＣＰＵ（１−１）でプログラムが実行されることにより実現されるエージェント処理部（１０１）と、全体処理部（１０２）との関係を表したものである。
本実施例では、種々のナビゲーション機能を実現する全体処理部（１０２）に、エージェント機能を実現するエージェント処理部（１０１）を加えることでエージェント機能付きナビゲーション装置を実現する構成になっている。
【００３７】
エージェント処理部（１０１）と全体処理部（１０２）は、互いの処理データをやり取りするためのＩ／Ｆ部をそれぞれが持っており、互いの処理データを取得し合えるようになっている。
例えば、エージェント処理部（１０１）は、シナリオデータに従って運転者とのコミュニケーションを実行した結果、運転者が設定したい目的地データを取得した場合に、このデータを全体処理部（１０２）に供給するようになっている。
全体処理部（１０２）では、取得した目的地データにより経路探索をし、作成した走行経路データに基づく経路案内を行なう。この経路案内処理において、画像や音声による進路変更方向等の案内を行なう場合に、案内に必要なデータを全体処理部（１０２）からエージェント処理部（１０１）に供給し、走行経路案内をするシナリオをデータ化したシナリオデータに従ってエージェントが案内することも可能である。
【００３８】
図５は、エージェント処理部（１０１）の構成を表したものである。
エージェント処理部（１０１）は、シナリオ駆動部（１０１−１）と、自律起動判断部（１０１−２）と、学習部（１０１−３）と、キャラクタ心理部（１０１−４）と、描画・音声出力部（１０１−５）と、音声認識部（１０１−７）と、エージェントＯＳ部（１０１−８）と、外部Ｉ／Ｆ部（１０１−９）とを備えている。
シナリオ駆動部（１０１−１）は、シナリオデータ（１０−２−３−４）を読み込み、そのシナリオデータに基づいて各処理部にメッセージ通信等を使って指示（各処理部が提供する機能を使用）する。シナリオ駆動部（１０１−１）は、シナリオの実行を管理し運転者に各種エージェント機能を提供するといったエージェント処理部の中心的な処理を行う。
【００３９】
自律起動判断部（１０１−２）は、シナリオデータ（１０−２−３−４）にある各シナリオの自律起動条件データを保持し、エージェントＯＳ部（１０１−８）から出力される定期的な自律起動判断指示により、時間、車両が位置する場所、一般道や高速道路といった道路種別、走行中や停車中等の車両状態、ナビゲーション装置の操作中や案内中等の稼働状態等の各種条件と各種状況との比較、判断を行なっている。
条件が一致した場合に、自律起動判断部（１０１−２）はシナリオ駆動部（１０１−１）に対し、条件が一致したシナリオの実行要求の指示を出す。
自律起動条件と比較するための各種状況はエージェントＯＳ部（１０１−８）及び学習部（１０１−３）から入手している。
【００４０】
図５の学習部（１０１−３）は、エージェントとのコミュニケーションにおいて運転者の選択や応答によって入手した項目（実行結果や実行履歴）を運転者情報データ（１０−２−３−６）や、学習項目データ及び応答データ（１０−２−３−７）として格納する。学習部（１０１−３）は、シナリオが異なるシーンで終了する場合の終了の仕方を示すエンドＩＤも入手して応答データ（１０−２−３−７）として格納する。これら入手した項目は、ＲＡＭ（１−４）上に格納されているが、外部記憶媒体（１０−２）であるＩＣカード等にも出力できるようになっている。
また、学習部（１０１−３）は、エージェントＯＳ部（１０１−８）から状況の変化を入手して運転操作に関する情報を記録する。例えば、運転者による乗車時間帯や、乗車頻度等の各種状況を判断するために、電源ＯＮ（イグニッションＯＮ）の日時を過去１０回分記憶しておいたりもする。格納された情報は、例えばシナリオ駆動部（１０１−１）に提供されシナリオの展開に変化を与えるために使用されたり、自律起動判断の比較に使用されたりする。
なお、本実施形態における学習部（１０１−３）は、運転者情報の保持・参照も兼務しているが、運転者情報部として独立させてもよい。
【００４１】
キャラクタ心理部（１０１−４）は、エージェントＯＳ部（１０１−８）が管理している現在状況を入手し、後述する長期的感情変化条件と短期的感情変化条件（図８、図１０）に基づき、キャラクタの心理状態を長期的感情要素と短期的感情要素を自律的に変更する。
またキャラクタ心理部（１０１−４）は、エージェントＯＳ（１０１−８）から、シナリオにおけるメンタルモデル変更指示（キャラクタの感情要素値変更の指示）を入手し、変更指示に応じて長期的感情要素と、短期的感情要素を変更する。
【００４２】
描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）からの指示で選択ボタンやタイトル等のパーツから構成される画面を表示するための制御信号を作成する。また、シナリオ駆動部（１０１−１）からの指示で、シーンデータによる表示状態に対応するキャラクタの各種行動（動作）を表示するための制御信号も作成する。本実施形態では、これらの制御信号は、エージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある画像プロセッサへの指示を行なう処理部を通して画像プロセッサ（１−６）へ伝わり画像処理を施し表示装置（２）に表示されるが、全体処理部（１０２）を通さずにエージェントＯＳ部（１０１−８）において画像プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
【００４３】
描画・音声出力部（１０１−５）は、また、シナリオ駆動部（１０１−１）からの指示でエージェントが運転者とコミュニケーションを行なう際の台詞を出力するための制御信号を作成する。
本実施形態では、これらはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある音声プロセッサへの指示を行なう処理部を通して音声プロセッサ（１−８）へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力されるが、全体処理部（１０２）を通さずにエージェントＯＳ部（１０１−８）において音声プロセッサへの指示を行なう処理部を持たせるようにしてもよい。
なお、本実施形態の描画・音声出力部（１０１−５）は、各シーンにおけるキャラクタの動作描画機能と音声出力機能を備えているが、描画部（描画機能部）と、音声出力部（音声出力機能部）とを別々に構成するようにしてもよい。
【００４４】
音声認識部（１０１−７）は、シナリオ駆動部（１０１−１）からの指示により、全体処理部（１０２）中の音声認識処理部に音声認識辞書を作成させるための制御信号を発する。また、音声認識部（１０１−７）は、シナリオ駆動部（１０１−１）からの指示で音声認識処理を開始させたり停止させたりする制御信号も発する。
本実施形態では、これらはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から、全体処理部（１０２）内にある音声認識処理部に伝えられる。
この音声認識処理部は、音声認識処理を開始する指示及び停止する指示を、音声プロセッサ（１−８）に伝え、音声プロセッサ（１−８）は音声入力装置（４）から入力されたアナログ信号をデジタルの音声入力信号に変換する処理を行なうことになっている。
音声入力信号が入力されると、音声認識処理部は、前記デジタルの音声入力信号を取得し、それをもとに音声認識処理部は認識処理を行ない、その結果は先ほどの経路と逆の流れで音声認識部（１０１−７）に伝えられる。音声認識部（１０１−７）は、音声認識結果をシナリオ駆動部（１０１−１）に通知する。
以上の構成により、音声を認識する音声認識手段が形成される。
【００４５】
エージェントＯＳ部（１０１−８）は、時間、場所、各種入力等の状況の変化（シナリオの追加も含む）を取得して現在の状況を管理し、状況の変化に対して必要に応じてメッセージ通信にて、キャラクタ心理部（１０１−４）等の各処理部に通知する。状況の変化は、外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）から供給されたり、問い合わせたりして入手する。
入手される情報は、各種状況検出装置（６）による検出結果等を、各種入力Ｉ／Ｆ部（１−１０）と、通信Ｉ／Ｆ部（１−１１）より取り込みＲＡＭ（１−４）に書き込まれたものである。入力装置（５）を使って入力された内容も、外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）から供給され、その内容を必要に応じてメッセージ通信にて各処理部に通知する。
また、エージェントＯＳ部（１０１−８）は、他にも各種のライブラリを持っており、各処理部の間でデータのやり取りなどを行なうメッセージ通信の提供、及び現在時刻の提供、メモリの管理を行ない各処理部が処理を行なう際に必要なメモリの提供、外部記憶媒体からのデータ読み込みや書き込み機能の提供などを行なう。
【００４６】
またエージェントＯＳ部（１０１−８）は、時計（１−５）から取得する時刻情報を用いて時間に関する処理を行ないタイマーの役割をして特定時間の経過通知を行うようになっている。すなわち、エージェントＯＳ部（１０１−８）は、計時手段として機能し、シナリオの各シーンにおいて設定されたタイマー設定時間を計時する。計時開始と計時するタイマー設定時間は、シナリオ駆動部（１０１−１）から通知され、タイマー設定時間が経過するとエージェントＯＳ部（１０１−８）は、設定時間が経過したことをシナリオ駆動部（１０１−１）に通知する。
また、エージェントＯＳ部（１０１−８）は、キャラクタ心理部（１０１−４）からの、短期的感情要素の変化の通知により計時を開始し、所定時間（例えば、３分）経過毎にキャラクタ心理部（１０１−４）に経時情報を通知する。キャラクタ心理部（１０１−４）では、経時情報が通知される毎に、短期的感情要素の値を所定値（例えば、「３」）ずつ減少させ、要素値が「０」になったら、計時終了の指示をエージェントＯＳ部（１０１−８）に通知する。
【００４７】
エージェントＯＳ部（１０１−８）は、自律起動判断部（１０１−２）に対して、定期的に自律起動判断指示を出すようになっている。この定期的な自律起動判断指示は、所定時間毎に出される。所定時間としては、定期的に出される自律起動判断指示によって定期的に処理される自律起動判断処理が、中央処理装置（１）全体の他の処理に影響しない範囲でできるだけ短い時間であることが望ましく、本実施形態では５秒間隔に設定されている。この所定時間は入力装置（５）からの操作によってユーザが当該所定時間を任意に変更することができるようにしてもよい。
また、エージェントＯＳ部（１０１−８）は、状況の変化が大きいと判断された場合にも、自律起動判断部（１０１−２）に対して、自律起動判断指示を出すようになっている。状況の変化が大きいとされる場合とは、例えば運転者が目的地設定を行なった場合、案内経路から車両がはずれた場合、シナリオデータが追加された場合、シナリオデータが削除された場合等であり、予め該当する項目が規定されＲＡＭ（１−４）等に記憶されている。
【００４８】
外部Ｉ／Ｆ部（１０１−９）は、エージェント処理部（１０１）と全体処理部（１０２）との間のインターフェースになっている（全体処理部（１０２）には受け手であるエージェントＩ／Ｆ部が存在する）。エージェント処理において利用するナビゲーション情報等各種情報の取得と、エージェント処理部から全体処理部に制御信号を伝えてナビゲーションを制御したりする。
この外部Ｉ／Ｆ部（１０１−９）を通して全体処理部（１０２）に通知して行なっている、画像プロセッサ（１−６）への描画指示や、音声プロセッサ（１−８）への音声出力指示、入力装置Ｉ／Ｆ部（１−９）からの入力情報の取得等、他プロセッサ及びＩ／Ｆ部への指示を行なう処理部をエージェント処理部に持たせ直接指示をしたり情報を取得したりするようにしてもよい。
【００４９】
図４における全体処理部（１０２）は、図示しないが地図描画部、経路探索部、経路案内部、現在位置計算部、目的地設定操作制御部等からなりナビゲーションの信号出力処理を行なうアプリケーション部、及び地図表示や経路案内に必要な表示出力制御、音声案内に必要な音声出力制御を行なうためのプログラム等のＯＳ部等で構成されている。
また、この全体処理部（１０２）には音声認識を行なう音声認識処理部、テキストデータを音声データに変換する処理部も存在する。ブラウザ機能やメール機能を追加する場合の当該処理部はこの全体処理部（１０２）に追加される。
もしくは、エージェント処理部（１０１）がブラウザ機能やメール機能を持つような構成にしてもよい。
また、本実施形態ではエージェント処理を実行するための拡張機能が全体処理部（１０２）に加えられている。この拡張機能には、例えばナビゲーションデータの中にある道路データと現在位置から、走行中の道路の種別（高速道路、国道、等）を検出する手段や走行中の道路のカーブ状況（カーブ手前、カーブ終了）を検出する手段等が存在する。
これら検出された状況は、エージェント処理部に伝えられ、例えば、エージェントの感情要素の変更等に使用される。
【００５０】
次に、外部記憶媒体（１０−２）に格納されているデータ構成（プログラムを含む）について説明する。
図６は、外部記憶媒体（１０−２）に集録されている情報を概念的に表したものである。
外部記憶媒体（１０−２）には本実施形態による各種エージェント機能やナビゲーション機能を実現するプログラム（１０−２−１）、及び必要な各種データとして、エージェントデータ（１０−２−３）とナビゲーションデータ（１０−２−２）が格納されている。
ナビゲーションデータ（１０−２−２）は、地図描画、経路探索、経路案内、目的地設定操作等に必要な各種データで構成されている。例としては、経路案内に使用される地図データ（道路地図、住宅地図、建造物形状地図等）、交差点データ、ノードデータ、道路データ、写真データ、登録地点データ、目的地点データ、案内道路データ、詳細目的地データ、目的地読みデータ、電話番号データ、住所データ、その他のデータのファイルからなりナビゲーション装置に必要な全てのデータが記憶されている。また、必要に応じて通信地域データ等も記憶される。
【００５１】
エージェントデータ（１０−２−３）は、メンタルモデルデータ（１０−２−３−１）と、お勧め提案データ（１０−２−３−３）と、知識データ（１０−２−３−２）と、シナリオデータ（１０−２−３−４）と、キャラクタデータ（１０−２−３−５）と、運転者情報データ（１０−２−３−６）と、学習項目データ及び応答データ（１０−２−３−７）と、動作切り替え判断データ（１０−２−３−８）で構成されている。
【００５２】
図７は、メンタルモデルデータ（１０−２−３−１）の内容を概念的に表したものであり、長期的感情要素１０−２−３−１ａ、長期的感情変化条件１０−２−３−１ｂ、短期的感情要素１０−２−３−１ｃ、短期的感情変化条件１０−２−３−１ｄが格納されている。
長期的感情要素１０−２−３−１ａと短期的感情要素１０−２−３−１ｃは、キャラクタの心理状態を表す要素値が格納されている。長期的感情変化条件１０−２−３−１ｂと短期的感情変化条件１０−２−３−１ｄは、各種状況検出装置（６）の検出値や、ナビゲーション機能によるデータによって、各感情要素の値を変化させるための条件と、その変化値が格納されている。
この変化条件に対応する変化値、及び、シナリオによる感情要素の変化指示の値によって、長期的感情要素１０−２−３−１ａ、長期的感情変化条件１０−２−３−１ｂの感情要素値が変更される。
【００５３】
図８は、長期的感情要素１０−２−３−１ａを概念的に表したものである。
図８に示されるように、長期的感情要素１０−２−３−１ａは、友好度，従順度，自信度，モラル，元気度の各要素で表され、各感情要素値は、例えば、０〜１００の値で表されるようになっている。長期的感情要素の数は、本実施形態では５つを採用しているが、その他の要素を加え、また、省略することで他の所定数としてもよい。
各要素の値はそれぞれ独立して、０〜１００までの間で変化する。
長期的感情要素１０−２−３−１ａは、１０−２−３−１ｂに記述された変化条件を満たした場合、及び、実行されているシナリオにおいて短期的感情変化の指示がされている場合に、それぞれ対応する値だけ変化する（更新される）。
【００５４】
長期的感情要素１０−２−３−１ａは、各感情要素ともに基準値が５０で、それより高くなるとその状態が強いことを表し、低くなると状態が弱いことを表している。そして、シナリオによる分岐条件（移行条件）に対応して、各要素値が図８（ｂ）に示されるように、「とても低い」「低い」「普通」「高い」「とても高い」の５段階に分割されている。なお、「とても低い」と「とても高い」を除いた３段階（各々の要素値の幅＝１０）としてもよい。また分割した各要素の範囲については、エージェント装置のユーザが設定値を変更できるようにしてもよい。本実施例は、感情要素の変化が出にくい（普通の領域を多く設定している）が、均等に割り当てるなど、本実施例と異なる配分にしても良い。
シナリオ作成装置において、５つの長期的感情要素をシーン分岐に使用することができ、個々の感情要素値を単独で使用してもよいが、複数の感情要素値を組み合わせて、シーン分岐条件（移行条件）に使用するもできる。
例えば、エージェントが挨拶するときに元気よくしゃべるときの条件を友好度が高いだけの場合にするよりも、友好度と元気度の両方高い場合とすると、より人間らしさを表現することができる。
【００５５】
特に図示しないが、長期的感情変化条件１０−２−３−１ｂの規定内容としては、ナビゲーション機能、車両状態等の状態や変化による条件の説明（項目の欄）と、その場合に変化する感情要素の変化値が規定されている。
例えば、「車両が急加速したとき、エージェントの感情が変化する（友好度とモラルが−１される）」等の規定が存在する。
長期的感情変化条件１０−２−３−１ｂに規定されている各長期的感情要素の変化値は、長期的な感情を変化させるものであるため、全体の変化範囲に対して数パーセント以下の値で変化することが望ましい。
【００５６】
図９は、短期的感情要素１０−２−３−１ｃを概念提供に表したものである。
この図９に示されるように、短期的感情要素には、喜び、怒り、哀しみ、驚きの４要素から構成されている。短期的感情要素の数は、本実施形態では４つを採用しているが、その他の要素を加え、また、省略することで他の所定数としてもよい。
短期的感情要素１０−２−３−１ｃの各値は０から１００の値で変化し、各要素のうちの１つの要素のみが０より大きい値を取る。すなわち、ある感情要素が、新たに０から所定値（例えば、５０）に変化した場合、その変化前に値を有していた他の感情要素は０に変化する。
このように短期的感情要素は、ある状況や状態に対応してその時点で短期的にエージェントが持つ感情なので、長期的感情要素のように以前の値が影響したり蓄積したるするものではなく、１つの要素のみが値をとるようになっている。すなわち、複数の短期的感情が並立しないようにすることで、より人間らしさが表現されるようになっている。
但し、その他の変化を規定してもよい。例えば、要素Ａが５０の変化をしようとした場合、変化前の他の要素Ｂが５０以下であれば要素Ａが５０に変化するが、変化前の要素Ｂが５より大きければ要素Ａは変化しないようにする。この場合、変化前の要素Ｂの値と、変化しようとする要素Ａの値ののうち、値が大きい要素に対して、小さい方の値を引いた値に変化するようにしてもよい。例えば、要素Ａが５０で要素Ｂが８０であれば、要素Ａは０のままで要素Ｂが３０に減少し、要素Ａが９０で要素Ｂが４０であれば要素Ａは５０に変化し要素Ｂが０に変化する。
【００５７】
短期的感情要素１０−２−３−１ｃは、１０−２−３−１ｄに記述された変化条件を満たした場合、及び、実行されているシナリオにおいて短期的感情変化の指示がされている場合に、それぞれ対応する値だけ変化する（更新される）。
また、新たに変化した短期的感情要素の値は、時間の経過とともに減少して最終的に０になる。例えば、感情が持続する時間を最大で１時間と規定すると、値が最大値１００から最小値０に減少する時間が１時間ということになるので、３分毎に値が５ずつ減少することになる。但し、所定時間ｔ単位で所定値ｎづつ変化するように設定変更するようにしてもよい。
このように短期的感情要素１０−２−３−１ｃの各感情要素の値は、瞬間的に感情的高ぶりが発生し時間と共に治まる、という人間の感情に対応して、全体の変化範囲に対して最大１００パーセントまでの大きな値で変化し、所定時間ｔ間隔で徐々に所定値ｎづつ減少する。これによりエージェントの短期的変化をより人間に近くすることができる。
【００５８】
短期的感情要素１０−２−３−１ｃの各感情要素の中で値が０より大きなもの（例えば、喜び）があるとき、エージェントの短期的感情はその値の要素（喜び）になる。全ての短期的感情要素がすべて０の場合、エージェントの短期的感情は「普通」ということになる。
短期的感情要素１０−２−３−１ｃの各感情要素の基準値は０で、それより高くなるにつれてその状態が強いこと表している。
短期的感情要素１０−２−３−１ｃは、シナリオによる分岐条件（移行条件）に対応して、図９（ｂ）に示されるように、「小」「中」「大」の３段階に分割されている。なお、「とても小さい」と「とても大きい」を加えた５段階（各々の要素値の幅＝２０）としてもよい。また分割した各要素の範囲については、エージェント装置のユーザが設定値を変更できるようにしてもよい。
【００５９】
特に図示しないが、短期的感情変化条件１０−２−３−１ｄの規定内容としては、ナビゲーション機能、車両状態等の状態や変化による条件の説明（項目の欄）と、その場合に変化する感情要素の変化値が規定されている。
例えば、「シナリオが強制終了されると、エージェントの感情が変化する（哀しみが＋３０される）」等の規定が存在する。
【００６０】
短期的感情変化条件１０−２−３−１ｄに規定されている短期的感情要素の変化値は、長期的感情変化条件のようにマイナスの値をとることはなく、全てプラスの値である。また上述したように、全体の変化範囲（本実施形態では０〜１００）に対して最大１００パーセントまでの大きな値（本実施形態では３０、７０、１００）が規定されている。
【００６１】
図６において、お勧め提案データ（１０−２−３−３）は、運転者にお勧め情報としてレストラン等を提案する場合に使用する。このお勧め提案データ（１０−２−３−３）にはレストラン名称、読み上げデータ、レストランのジャンルデータ、雰囲気データ、料金データ、地点データ、…等で構成され運転者情報データ（１０−２−３−６）及び知識データ（１０−２−３−２）を基にして運転者にお勧めのレストランを検索して提案したりする。レストラン以外にも観光地、休憩場所などが存在する。
知識データ（１０−２−３−２）は、統計データを基に年齢、性別による好みの傾向や、同乗者の有無によるシチュエーションによる選択傾向、場所による名産等を含んだ選択傾向、時期や時間による選択傾向をデータ化したものである。レストランの選択傾向、観光地の選択傾向、休憩場所の選択傾向、…等さまざまな選択傾向が存在する。
【００６２】
シナリオデータ（１０−２−３−４）は、エージェントが運転者とのコミュニケーションを取ったりする時の、状況に応じたエージェントの行為や質問内容、どういった状況において自律的にエージェントから情報提供を行なうのかといった条件、車両の走行に対してそのシナリオの実行をどのように扱うのかについて規定した走行中実行条件等が規定されている。
シナリオデータ（１０−２−３−４）には、キャラクタとは別に表示する画像データ（後述するシーン表示画面５４（図１４参照）に表示する画像データ）も保存される。
【００６３】
図１０は、実機形式シナリオデータの構成を表したものである。
シナリオデータ（１０−２−３−４）は、複数のシナリオで構成されており、それらを管理するためのデータと、個々のシナリオの内容を示すデータとで構成されている。
集録シナリオの管理データには、このシナリオデータの有効期限、作成された日や作成者等といった情報と、シナリオデータに収録されている個々のシナリオを全体的に管理するためのデータ（シナリオ番号、シナリオ名称、優先順位（プライオリティ））と、シナリオファイルに収録されているシナリオの自律起動条件データと、シナリオファイルに収録されているシナリオの中で運転者が入力装置（５）等を使って手動起動させることができるシナリオ一覧データが記されている。
【００６４】
個々のシナリオの内容を示すデータには、それぞれのシナリオを管理する管理データと、シナリオを構成する個々のシーンの内容を示すシーンデータとで構成されている。
それぞれのシナリオを管理するデータ（「このシナリオの管理データ」）には、シナリオに関する情報と、このシナリオで使用する音声認識辞書を作成するためのテキスト情報と、シナリオを構成する各シーンデータを全体的に管理するためのデータが記されている。
【００６５】
また、シナリオの管理データには、スタンバイ処理を行うか否かを判断するデータが格納されている。スタンバイ処理は、自動起動の場合にスタンバイ状態により待機するスタンバイシーンを展開する処理である。
このスタンバイ状態は、シナリオ実行の告知と、実行してもよいか否かの確認をエージェントが行うことで、ユーザがエージェントとのコミュニケーションの準備ができるまでシナリオの実行を待機させる状態である。例えば、地図の右上に小さいエージェントが登場し、「私にタッチしたら、お勧めの食事の場所を御紹介します。」とユーザに話し掛け、スタンバイ状態に入る。ユーザがエージェントにタッチすると、コミュニケーションモードになり、「進行方向の２ｋｍ先に、○○屋があります。味に定評があるとんかつ屋です。ここに寄って行きますか？」と伝えるシナリオが展開される。
シナリオ実行の際にスタンバイ状態に移行するか否かは、ユーザが選択できるようになっている。
【００６６】
シーンには画面や音声が出力される通常シーン、画面や音声が出力されない分岐シーン、通常シーンの一部が利用されるクローンシーン、及びダミーシーンがある。
通常シーンはシーンを管理する管理データと、画面構成データと、キャラクタ動作データと、各種処理データと、展開管理データとで構成されている。
一方、分岐シーンは、シーンを管理する管理データと、展開管理データとで構成されている。
【００６７】
シーンを管理するデータには、そのシーンに関する情報とシーンデータに属する各データセクションを管理するデータが記されている。
画面構成データには、このシーンにおいて表示装置（２）に表示する画面構成の各パーツのデータ（大きさや表示位置等）が記されている。
キャラクタ動作データには、このシーンにおいてキャラクタが行なう動作の指示データと、話す内容に関する指示データが記されている。動作の指示データには、シナリオデータで直接各キャラクタの表現手段で指示するものと、キャラクタに表現させたい状態で指示するものの２種類のうちどちらかで指示データが記されている。この指示データで指示されている動作に対応する動画がキャラクタの動作として再生される。
各種処理データには、このシーンにおいて外部機器を制御（処理をさせる）する情報や、ナビゲーションを制御する情報や、他のシナリオを実行する指示や、タイマー設定情報や、キャラクタ心理を示すメンタルモデルの感情要素値を変化させる情報等が記されている。
外部機器とは通信Ｉ／Ｆ部（１−１１）に接続されている各機器等があり、例えば通信制御装置がある。制御する内容は、特定の電話番号に電話をかける処理や、通話を切断する処理等がある。
ナビゲーションの制御内容には、例えばこの地点を目的地に設定するといったものが存在する。
メンタルモデルの感情要素値を変化させる指示としては、長期的感情要素の「友好度」を１減少する、短期的感情要素の「喜び」を８０にする等がある。
【００６８】
展開管理データには、このシーンで何かイベントが発生した場合に、シナリオを終了するのか、次に進むシーンが何であるか、もしくは何も展開しないのか、といった情報（移行条件等）が記述されている。
ここでいうイベントとは、シーンの展開を次に進めるためのもので規定された何らかのアクションを示している。例えばキャラクタの台詞が終了した、設定しておいた時間が経過した、運転者がこのシーンで質問した内容に対して何らかの回答を選択した（例えば「はい」ｏｒ「いいえ」の質問に「はい」と答えた）、等が存在する。
このイベントに加えて学習した結果によって展開を変えることもできる。
例えば、質問に対し運転者が「はい」を選択した場合で通算使用回数が１０回未満の時といった使い方ができる。
学習した結果のほかに、日時、メンタルモデルを使ったキャラクタの心理状態、運転者情報、等も使用して展開を変えることもできるようになっている。
【００６９】
図１１はキャラクタデータの内容を概念的に表したものである。
キャラクタデータ（１０−２−３−５）には、複数のキャラクタのデータが格納されており、運転者の好みによって入力装置（５）等から選択することができるようになっている。
キャラクタデータ（１０−２−３−５）は、各キャラクタＡ、Ｂ、…毎に、キャラクタ画像データ１０２３５１と、キャラクタ音声データ１０２３５２と、キャラクタ画像選択データ１０２３５３とを備えている。
【００７０】
キャラクタ画像データ１０２３５１は、シナリオにより指定された各シーンで表示されるキャラクタの状態を表す静止画像や、動作を表す個別動作画像（アニメーション）等が格納されている。例えば、キャラクタがお辞儀をする動画、うなずく動画、右手を挙げる等の、個別動作画像が格納されている。
個別動作画像は、うなずく（肯定の意）、首を横に振る（否定の意）などの、少なくとも１つ以上の完結した意味を表現可能な動画の単位である。
これらの各静止画像や個別動作画像には画像コードが付けられている。
キャラクタ画像データ１０２３５１は、動作表現記憶手段、画像記憶手段として機能する。
キャラクタ画像データ１０２３５１として使用するキャラクタ（エージェントの容姿）としては、人間（男性、女性）的な容姿である必要はない。例えば、非人間型のエージェントとして、動物自体の容姿や、ロボット的な容姿や、特定のキャラクタの容姿等であってもよい。
またエージェントの年齢としても一定である必要がなく、エージェントの学習機能として、最初は子供の容姿とし、時間の経過と共に成長していき容姿が変化していく（大人の容姿に変化し、更に老人の容姿に変化していく）ようにしてもよい。
【００７１】
シーン（画面要素）は、個別動作画像を１つ、又は２つ以上の組み合わせを有し、個別動作画像と音声、その他のデータで構成されている。
図１２は、キャラクタが右手を挙げる動作を表す個別動作画像の内容を表したものである。
この図１２に示されるように、個別動作画像は、開始動画（ａ）、保持動画（ｂ）、終了動画（ｃ）の最低３種類の動画で構成されている。（ａ）〜（ｃ）では、実際に表示される動画のうち、最初と最後及び途中の代表的な画像を表している。
この３つの動画（開始動画、保持動画、終了動画）を順次再生することでお辞儀をする等のキャラクタの個別の動作が表現される。
【００７２】
図１２（ａ）に示されるように、開始動画はキャラクタの基本姿勢を表した画像（基本姿勢状態画像１２ａ１）から始まり、所定姿勢の保持状態（所定状態）の画像（保持状態画像１２ａ４）で終了する。
図１２（ａ）に例示した開始動画では、基本姿勢状態から、ヒジを曲げた状態で右手を上に挙げて、ほほ笑むまでの動作が表示される。
【００７３】
図１２（ｂ）に示されるように、保持動画は、保持状態画像１２ｂ１から開始し、保持状態画像１２ｂ４で終了する。
保持動画は、保持状態画像１２ｂ１を基準として、途中の画像１２ｂ２、１２ｂ３においてキャラクタが表現する内容を保持した動きをした後、基準となる保持状態画像１２ｂ４に戻る。
図１２（ｂ）に例示した保持動画では、保持状態画像１２ｂ１に対して、途中画像１２ｂ２で頭部が傾く動きをし、途中画像１２ｂ３で頭部の傾きが元に戻り口元と手首の角度が変化している。
この保持動画の繰り返し回数により個別動作画像の再生時間を調節するようになっている。また、個別動作画像に対して最短の再生を行う場合には、保持動画の再生は省略される。すなわち、開始動画に続いて終了動画を再生することで保持状態画像１２ａ４，１２ｃ１を経過する最短の動画が実行される。
【００７４】
終了動画は、図２（ｃ）に示されるように、保持状態画像１２ｃ１から始まり、基本姿勢状態画像１２ｃ４で終了する。終了動画は、基本姿勢状態に復帰するための動画である。
なお、開始動画終了時の保持状態画像１２ａ４と、保持動画開始時と終了時の保持状態画像１２ｂ１、１２ｂ４と、終了動画開始時の保持状態画像１２ｃ１とは同一の画像である。
また、終了動画は、開始動画の保持状態画像から基本姿勢状態まで逆に再生したものと同一である。
【００７５】
このように、キャラクタの各個別動作画像は、基本姿勢状態で開始及び終了するので、各シーン（画面要素）において複数の個別動作画像で構成しても、キャラクタの動作を連続させることができる。
【００７６】
図１３は、エージェントデータ（１０−２−３）における動作切り替え判断データ（１０−２−３−８）の内容を概念的に表示したものである。
動作切り替え判断データ（１０−２−３−８）は、個別動作画像の再生中における、中断条件と、中断条件に対応して即応モード又は品質モードのいずれにより後続の個別動作画像に移行するかを規定したテーブルである。
図１３に示される「項目」欄に規定されている各イベント（キャラクタ動作終了等）が中断条件に該当し、「動作切り替え判断」欄に規定されているクオリティ重視が品質モードで、反応重視が即応モードに対応している。
エージェント装置は、実行するシナリオにおいて中断条件と対応するモードが規定されていない場合、及び、シナリオにおいて自動選択が設定されている場合に、動作切り替え判断データ（１０−２−３−８）を使用してモードを決定するようになっている。
【００７７】
図１１（ｂ）は、キャラクタ画像データ１０２３５１に格納されている再生時間テーブルを概念的に表したものである。
この再生時間テーブルには、各個別動作画像における開始動画、終了動画を再生した場合の再生時間時間と、保持動画を１回再生した場合の再生時間が格納されている。
エージェント装置は、シナリオの各シーンデータの規定、例えば、音声の出力時間等に対応して、１又は複数の個別動作画像を再生するが、規定された時間に対応して個別動画の再生が行われるようにするために、再生時間テーブルが参照される。例えば、キャラクタが「おはようございます。今日も宜しくお願いします」と挨拶しながら動作「お辞儀」をする場合、音声の出力時間を算出し、例えば、６秒であったとする。この場合再生時間テーブルから、開始動画と終了動画のそれぞれに優先的に再生時間１．５秒が割り当てられ、残りの３秒に対して保持動画が割り当てられる。
そして、保持動画に割り当てられた時間が３秒で、保持動画の再生時間が１．５秒なので、Ｎ＝２回となり、保持動画が２回再生されることになる。
【００７８】
キャラクタ音声データ１０２３５２（図１１（ａ））は、選択されたシナリオのシーンに従って、エージェントが運転者と会話等を行うための音声データが格納されている。
エージェントによる会話の音声データは、エージェントが運転者情報を収集するための質問をするための音声データも格納されている。例としては、「こんにちは」、「よろしくね」、「またね」等が格納されている。
これらの各音声には音声コードが付けられている。
【００７９】
キャラクタ画像選択データ１０２３５３は、個々の表示状態に対して各キャラクタの表現方法（動作）を表す画像データを割り当てた変換テーブルである。
シナリオデータ（１０−２−３−４）は、キャラクタの種類によらない共通化した表示状態により各シーンの内容を規定している。
このためキャラクタ画像選択データ１０２３５３は、共通表現されたシーンの表示状態を、ユーザが選択したキャラクタに対する個別の動作内容を表示する画像データに変換するための変換テーブルであり、画像選択手段の一部として機能する。
【００８０】
図６における運転者情報データ（１０−２−３−６）は、特に図示しないが、運転者に関する情報で、エージェントのコミュニケーションをより運転者の希望や趣味、嗜好に合ったものとするために利用される。この運転者情報データは、シナリオの起動条件や、シーンの移行条件としても使用される。
運転者情報データ（１０−２−３−６）には、運転者毎に情報を格納するための運転者のＩＤ（識別情報）、名前、年齢、性別、結婚（既婚か未婚か）、子供の有無と人数と年齢からなる運転者基礎データや、趣味嗜好データとが格納されるようになっている。
趣味嗜好データとしては、スポーツ、飲食、旅行等の大項目と、これら大項目の概念に含まれる詳細項目とから構成されている。例えば、大項目スポーツには、野球が好きか嫌いか、サッカーが好きか嫌いか、ゴルフが好きか嫌いか等のデータが格納されるようになっている。
運転者情報データ（１０−２−３−６）は、その車両を運転する運転者が複数存在する場合には、運転者毎に作成される。そして、運転者を特定して該当する運転者情報が使用される。
【００８１】
図６において、学習項目データ及び応答データ（１０−２−３−７）は、エージェントとのコミュニケーションにおいて運転者の選択や応答によってエージェントが学習した結果を格納するデータである。
従って、学習項目データ及び応答データ（１０−２−３−７）は、運転者毎にそのデータが格納・更新（学習）されるようになっている。
例えば、シナリオの使用状況として前回の選択結果や前回使用した日時、通算の使用回数等が格納される。
この学習内容に従って、例えば、毎回ナビ電源ＯＮ時に挨拶をするシナリオにおいて、前回使用から５分以内の場合に「つい先ほどにもお会いしましたね」と対応したり、逆に１ヶ月以上間があいている場合には「お久しぶりですね」と対応したりする。
【００８２】
図１４は、シナリオのシーンデータに基づいて表示装置（２）に表示されるシーン画面の一例を表したものである。
この図１４に示されるシーン画面は、未入力の運転者情報である趣味嗜好（食事）を取得するために運転者から質問をする質問シナリオのシーン画面（シーン番号０ｘ０００１）である。
シーン画面は、図１４に示されるように、エージェントの個別動作画像が表示されるエージェント表示画面５１、エージェントの音声に対応した文字が表示される吹き出し画面５２、タイトル画面５３、及び、各シーン固有の画像データ（実画像データの画像や回答選択ボタン等）が表示されるシーン表示画面５４から構成されている。
エージェント表示画面５１に表示されるエージェントは、ユーザが選択したキャラクタ、又はデフォルトのキャラクタである。
【００８３】
エージェント処理部（１０１）のシナリオ駆動部（１０１−１）は、趣味嗜好（食事）の質問シナリオを起動すると、最初にシーンヘッダで指定されるシーンの画面構成データをシナリオデータ＋画像（１０−２−３−４）から読み出してシーン画面を表示装置（２）に表示すると共に、質問文に相当する質問音声を音声出力装置（３）から出力するようになっている。
図１４（ａ）の質問シナリオのシーン画面では、吹き出し画面５２に「どのジャンルの食事が好きですか？」と表示される。そして、吹き出し画面５２の表示に対応する音声が音声出力装置（３）から出力される。
また、図１４（ａ）のシーン画面におけるシーン表示画面５４には、４つの回答選択ボタン５４ａの「和食」、「洋食」、「中華」、「特に無し」が表示されている。
そして、キャラクタの音声出力に合わせて、キャラクタが右手をあげて回答選択ボタン５４ａを指し示す個別動作画像が再生され表示される。
【００８４】
この運転者に対する質問のシーンには、運転者の回答に応じた複数のシーンが分岐して続くようになっている。各シーンの分岐及び続くシーンの特定については、各シーンの展開管理データに従って、運転者の回答に応じて決定される。
すなわち、図１４（ａ）のシーン画面（シーン番号０ｘ０００１）で運転者が回答選択ボタン「和食」を選択すると、シナリオ駆動部（１０１−１）は、回答に応じたシーン画面（ｂ）に分岐して表示される。このシーン画面（ｂ）では、選択された「和食」がタイトル画面５３に表示されると共に、吹き出し画面には「和食がすきなのですね。」と表示され、なお、分岐後の和食のシーン画面では、シナリオデータから読み出された和食の実画像５４ｂがシーン表示画面５４に表示される。そしてシナリオ駆動部（１０１−１）により、運転者の回答、例えば、「和食」が運転者情報として、運転者情報データ（１０−２−３−６）の趣味嗜好データに格納されるようになっている。
このようにして、シナリオに規定された各シーン画像と音声が最後のシーンまで連続的に順次表示、出力されることで、１シナリオにおけるエージェントの行為が完了することになる。
【００８５】
図１５は、旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表したものである。
この案内シナリオは、複数のシーン画面のうち（ａ）〜（ｆ）までのシーン画面で構成されてる。
シーン画面（ｃ）に対するユーザの選択結果によって次のシーン画面が０ｘ０００４と０ｘ０００６に分岐している。また、図１５の例では分岐していないが、シーン画面（ｄ）においても選択した料理の種類に応じた料理をシーン表示画面５４に表示するようにシーン画面を分岐させるようにしてもよい。
また、この案内シナリオには、ユーザによってスタンバイ処理が設定されている場合に表示されるスタンバイシーン（ｓ）が設定されている。
【００８６】
以下図１５に従って予約シナリオによるエージェントの各行為について説明する。
以下の各シーン画面に対応して説明するエージェントの動作や画面の表示はいずれも、外部シナリオのシナリオデータに格納されているデータや画像及び指示に従って表示等されるものである。また、エージェントの動作として説明するが、実際にはエージェント処理部（１０１）のシナリオ駆動部（１０１−１）が処理を行う。
また、各シーン画面には基本姿勢状態の画像が表示されているが、各々のシーン画面（ａ）〜（ｆ）に応じた個別動作画像が再生される。例えば、シーン画面（ａ）ではエージェントがお辞儀をする個別動作画像が再生され、シーン画面（ｄ）ではヒジを曲げながら右手を挙げる個別動作画像（図１２参照）が再生される。
【００８７】
ユーザによってスタンバイ処理を使用しない設定が選択されている場合、予約シナリオが起動され、番号０ｘ０００１のシーンから展開される。
一方、スタンバイ処理を使用する設定が選択されている場合、図１５のスタンバイシーン（ｓ）が展開される。
図１５に表示した例では、スタンバイ処理を行う直前の画面、すなわち、ナビゲーション機能による経路案内のための地図画面が表示されている。この直前の画面上の右上に小さくエージェントがタッチパネル機能を持つ表示画面（２）に表示される。（キャラクタ表示手段）
そして、「私にタッチしたら、『予約された旅館の案内』をします。」というようにシナリオを実行する告知を行うと共に、実行の許可を促す（実行の確認）を求める。なお、シナリオデータでエージェントの音声内容が規定されている場合にはその音声が出力される。
そして、実行の許可の催促に従って、運転手による、ＯＫの意志表示が検出されると、通常のシナリオが一番最初のシーンから順次展開される。
なお、スタンバイシーンにおいて、ＯＫの意志表示がないままナビ等の機器操作、及び、一定時間が経過すると、タイマー通知により、シナリオの実行が終了される。
【００８８】
スタンバイシーンにおいてＯＫの意志表示がされた場合、又はスタンバイ処理が選択されていない場合、予約シナリオが起動される。
すなわち、まず番号０ｘ０００１のシーン画面が表示装置（２）に表示される。このシーンでは、エージェントＯＳ部（１０１−８）で管理しているキャラクタのエージェントが、エージェント表示画面５１に登場し、お辞儀をして音声による挨拶をする。音声による挨拶の内容は、吹き出し画面５２に表示されている文章と同一である。
音声による挨拶は、旅館に代わってエージェントが代行して行うことになるが、旅館の女将の写真画像をシーン表示画面５４に表示することで旅館からの挨拶であることが表現されている。この女将の画像は、外部シナリオの一部として受信し追加した画像で、シナリオデータ（１０−２−３−４）の実画像データとして格納されている。
エージェントの動作に対する指示は、キャラクタ動作指示データに格納されている指示に従う。
エージェントによる挨拶が終了すると、次のシーン０ｘ００２に遷移する。
【００８９】
次のシーン０ｘ０００２では、シーン表示画面５４に露天風呂の画像が表示される。そして、この露天風呂の絵をエージェントが指し示して、旅館の名物（ここが売りだということ）を、エージェントが音声と吹き出し画面５２の表示で説明する。
エージェントの話が終了すると、次のシーン０ｘ０００３に遷移し、本日の食事の画像（懐石料理の画像）をシーン表示画面５４に表示し、エージェントが料理の説明と、この料理で良いか否かを質問する。
そして、シーン０ｘ０００３のシーンデータにタイマー設定時間と、タイマー設定条件「走行中のみ設定する」が規定されているものとする。この場合、走行中であることを条件に、シーン開始時にタイマーによる計時が開始される。走行中か否かは車速センサ（６−１１）又は、距離センサ（６−１−５）において、車速ｖ＝０が検出された場合に停車中と判断され、車速ｖ≠０が検出された場合に走行中と判断される。
【００９０】
そして、表示した料理を変更するか否かの質問に対する回答としてユーザが「はい」を選択した場合にはシーン０ｘ０００４に分岐し、「いいえ」を選択した場合にはシーン０ｘ０００６に分岐する。
一方、タイマー設定時間内に、ユーザが音声による回答も、画面に表示された選択ボタンの選択による回答もせずにタイマー通知（設定時間の経過）した場合、シーン０ｘ０００３のシーンデータで規定されているタイマー通知時の移行条件に従って、そのシナリオを終了させる。
このように、ユーザからの回答がない場合にも、無回答という選択がされたと判断して、無回答を移行条件とする次のシーン（図１５の例では終了）に移行することで、擬人化されたキャラクタとのコミュニケーションをより人間同士のコミュニケーションに近づけることができる。
【００９１】
シーン０ｘ０００４では、懐石料理以外の選択可能なリストをシーン表示画面５４に表示する。エージェントは、シーン表示画面５４のリストを指し示して、どの料理が良いかを質問する。
そして、ユーザがいずれか１つを選択したらシーン０ｘ０００５に遷移する。シーン０ｘ０００５では、懐石料理から変更すべき人数のリストをシーン表示画面５４に表示し、エージェントはこのリストを指し示して、人数の質問をする。そしてユーザがいずれか１つを選択したらシーン０ｘ０００６に遷移する。
【００９２】
シーン０ｘ０００６では、シーン表示画面５４に旅館の外観写真画像を表示し、エージェントがお辞儀をして挨拶をする。
そして、エージェントは、ユーザが選択してきた結果、図１５の案内シナリオの場合には食事に関する回答結果を、通信制御部を介して実行中の外部シナリオを送信した第三者（旅館）に送信する。
このように、ユーザについての情報を取得したい場合には、外部シナリオの作成者は、取得したい情報が得られる質問のシーンをシナリオ中に設け、その回答を電子メールで送信するようにシナリオを作成する。なお、回答の送信が必要な場合には、作成者の電子メールアドレスをシナリオデータ中に含める。
最後のシーン（図１５ではシーン０ｘ０００６）でのエージェントの話が終了すると、シナリオを終了させる。
【００９３】
このようにして、シナリオ駆動部（１０１−１）は、シナリオに規定された各シーン毎の個別動作画像と音声を最後のシーンまで順次表示、出力する。
起動したシナリオが終了すると、シナリオ駆動部（１０１−１）は、他のシナリオの起動要求が存在するか否かの判断を行う。
【００９４】
次に、このようなシナリオ駆動部（１０１−１）で実行される各種シナリオを自律的に起動する動作について説明する。
自律起動判断部（１０１−２）は、今現在置かれている状況情報を取得するため、エージェントＩ／Ｆを介し、エージェントＯＳ部（１０１−８）より現在位置、時間などの状況情報を取得し、いずれかの自律起動条件を満たしているか否かを判断する。
そして、自律起動条件を満たしている場合、自律起動判断部（１０１−２）は、その自律起動条件に対応するシナリオの実行要求メッセージを、シナリオ駆動部（１０１−１）に対して発行することで、シナリオの実行が開始される。
【００９５】
図１６は、シナリオ実行処理の流れを表したフローチャートである。
なお図１６では、シナリオを実行する場合の、エージェント処理部（１０１）の各部、及び全体処理部（１０２）による一連の代表的な動作を表したものであり、各部はそれぞれ独立した処理を行うようになっている。すなわち、各部の独立した処理が、連続することで図１６に示した代表的な流れになる。
具体的には、エージェント処理部（１０１）の各部、及び全体処理部（１０２）は、メッセージを受け取ったら、そのメッセージに対する処理を行ない、処理が完了したら次のメッセージを待つようになっている。
【００９６】
シナリオ駆動部（１０１−１）は、自律起動判断部（１０１−２）からシナリオ実行要求を受け取ると、ワークメモリの確保、初期化によるエージェント開始準備処理を行う（ステップ５０５−１）。
そして、シナリオ駆動部（１０１−１）は、シナリオの実行要求が手動起動か自動起動かを確認する（ステップ５０５−２）。手動起動は、ユーザが表示装置（２）のメニューからシナリオ起動を選択した場合で、自動起動は、シナリオの自律起動条件を満たした場合である。
シナリオの実行要求が手動起動の場合はメニューシナリオの要求処理を行う（ステップ５０５−３）。その後、シナリオデータ読み込み処理（ステップ５０５−４）に移行する。
【００９７】
一方、自動起動の場合には、自律起動条件を満たすことで実行要求されているシナリオが存在するので、そのままシナリオデータ読み込み処理（ステップ５０５−４）に移行する。
次にシナリオ駆動部（１０１−１）は、実行すべきシナリオデータをＲＡＭ（１−４）に読み込む（ステップ５０５−４）。シナリオデータを読み込む際、実行対象となっているシナリオが複数存在する場合（複数の自律起動条件が満たされた場合、手動起動要求と自動起動が重複した場合等）には、シナリオ駆動部（１０１−１）は、各シナリオに規定されている優先順位を判断し一番優先順位の高いシナリオデータを読み込む。優先順位が同じである場合には、自律起動判断部（１０１−２）から実行要求を受けた順に優先順位が高いものとして決定する。
【００９８】
シナリオデータの読み込みが完了すると、シナリオ駆動部（１０１−１）は、次に、シナリオ開始処理を行う（ステップ５０５−５）。
シナリオ開始処理においてシナリオ駆動部（１０１−１）は、まず、シナリオを開始するための初期化処理を行う。さらに、シナリオ駆動部（１０１１）は、スタンバイシーンが選択されていれば、図１５（ｓ）で説明したスタンバイシーンを実行してＯＫの意志表示が確認された場合、及び、スタンバイシーンが選択されていない場合に、シナリオ開始処理を終了する。
【００９９】
シナリオ開始処理（ステップ５０５−５）の後に、シナリオ駆動部（１０１−１）は、シナリオを構成するシーンの内容に応じてキャラクタの描画や音声を処理するシーン処理を実行する（ステップ５０５−６）。シーン処理の詳細は図１７により後述する。
シーン処理が完了すると、シナリオ駆動部（１０１−１）は、シナリオ終了か確認を行なう（ステップ５０５−７）。
シナリオ終了の場合、シナリオ駆動部（１０１−１）は、シナリオ終了処理を行なう（５０５−８）。このシナリオ終了処理において、学習部（１０１−３）が、終了の仕方を示すエンドＩＤを入手して応答データ（１０−２−３−７）に格納する。
シナリオ終了でない場合（シナリオがまだ続く場合）、シナリオの終了位置まで、ステップ５０５−６に戻って次のシーン、次のシーン、…とシーン処理を繰り返す。
【０１００】
シナリオの終了処理の後、シナリオ駆動部（１０１−１）は、他にシナリオの実行要求が有るか否か確認し（ステップ５０５−９）、他のシナリオの実行要求が存在する場合は、シナリオデータの読み込み処理（ステップ５０５−４）に戻って同様に処理が実行される。
一方、他に実行するシナリオが存在しない場合、シナリオ駆動部（１０１−１）は、エージェント終了処理を実行する（ステップ５０５−１０）。すなわち、エージェントＯＳ部（１０１−８）に対して、要求された全てのシナリオの実行処理が終了したことを知らせる。
その後、表示装置（２）に表示される画面は通常のナビゲーション画面に戻るが、その後の処理はエージェントＩ／Ｆを介して全体処理部（１０２）に受け渡す。
【０１０１】
図１７は、シーン処理（ステップ５０５−６）の流れを表したフローチャートである。
シナリオ駆動部（１０１−１）は、シーン処理において、開始するシーンの種類を確認し（ステップ５０５−６−１）、通常のシーン又はスタンバイシーンの場合は、シーンデータの解析処理（ステップ５０５−６−２）に進み、クローンシーンの場合は、各種処理の依頼を行なう処理（ステップ５０５−６−５）に進む。
なお、図示していないが、シーンがダミーシーンである場合、シナリオ駆動部（１０１−１）は各種処理データに従った処理をバックグランド処理として指示した後に、シーン決定処理（ステップ５０５−１３）に移行する。
一方、分岐シーンの場合には、画面や音声の出力等の各種処理が存在しないので、追加条件により展開する次のシーンを決定するためにシーン決定処理（ステップ５０５−６−１３）に進む。
ここで、クローンシーンは、あるシーンｎの終了の仕方によって、元のシーン（直前に終了したシーン）ｎと同一の画面を表示する場合で、例えば、設定時間内に入力がされなかった場合に、同一の画面のまま入力を促す音声を出力するような場合のシーンである。
また、分岐シーンは、ある特定のシーンに推移して開始させるために、当該シーンの前に設けられたシーンで、画面表示がされずに画面推移（分岐）のための条件判断を行うシーンである。
【０１０２】
開始するシーンが通常シーン、もしくはスタンバイシーンの場合、シナリオ駆動部（１０１−１）は、開始するシーンのデータを、ステップ５０５−４（図１６）で読み込んだシナリオデータがおかれているＲＡＭ（１−４）を参照し、表示する画面構成やキャラクタの動作指示、等を解析する（ステップ５０５−６−２）。
解析した結果、音声認識辞書が存在する場合、シナリオ駆動部（１０１−１）は、シーンデータ中に規定されている音声認識辞書の設定（初期化）依頼を音声認識部（１０１−７）に対して通知する（ステップ５０５−６−３）。
なお、スタンバイシーンの場合には、肯定か否定かの音声認識辞書が設定される。
【０１０３】
次に、シナリオ駆動部（１０１−１）は、描画・音声出力部（１０１−５）に対して画面描画の依頼を行なうための処理として、描画する画面の各パーツを決定する画面構成の画面データ作成処理を行う（ステップ５０５−６−４）。
画面構成の画面データ作成処理では、例えば図１６に示されるシーン画面のうち、エージェント表示画面５１や、キャラクタの台詞が表示される吹き出し画面５２等のキャラクタに関連する項目を決定する処理である。
【０１０４】
シナリオ駆動部（１０１−１）は、各種処理の指示を行う（ステップ５０５−６−５）。
各種処理の指示とは、ナビや外部接続機器などへの処理、タイマーが設定されている場合には時間計測の依頼処理等である。
また、シナリオ駆動部（１０１−１）は、各種処理として、長期的感情要素、又は短期的感情要素の各要素値を変更する指示がそのシーンに対して設定されている場合には、設定された指示に対応してメンタルモデルデータ（１０−２−３−１）の長期的感情要素１０−２−３−１ａ及び短期的感情要素１０−２−３−１ｃの変更をキャラクタ心理部（１０１−４）に指示する。
キャラクタ心理部（１０１−４）は、指示に従って、シーンで指定された変更値に応じて各感情要素の値を変更する。すなわち、長期的感情要素であれば、指示された変更値を加減算し、短期的感情要素であれば当該短期的感情要素の値を指示された変更値に変更すると共に他の短期的感情要素の値をゼロにする。
このように、エージェントの長期的な感情の変化や短期的な感情の変化をエージェント装置に予め決められた条件（長期的感情変化条件１０−２−３−１ｂ、短期的感情変化条件１０−２−３−１ｄ）に従って変化させるだけでなく、シナリオに設定された感情要素の変更指示に従って変更することが可能である。このため、シナリオの作成者の意図に沿ったエージェントの感情変化を実現することが可能になる。
【０１０５】
次に、シナリオ駆動部（１０１−１）は、シーンのキャラクタ動作や、台詞等の音声を決定し、決定したキャラクタの描画・音声出力の要求を描画・音声出力部に対して行い、該要求に従って、描画音声出力部はキャラクタ描画・音声出力処理を行う（ステップ５０５−６−６）。
シナリオ駆動部（１０１−１）によるキャラクタ描画データの作成は、作成するシナリオのパーツが画面構成のパーツかキャラクタに関するパーツかが異なる以外は、図１６に示した画面構成の描画データ作成処理と同様に行われる。また、キャラクタ描画データの作成の場合、吹き出し画面５２に表示する台詞に対応するキャラクタの音声や、効果音についての音声データの特定も行われる。
シナリオ駆動部（１０１−１）は、キャラクタ描画データ（音声データを含む）を作成すると、作成したキャラクタ描画データによるキャラクタ描画要求を描画・音声出力部（１０１−５）に対して行う。
描画・音声出力部は（１０１−５）は、シナリオ駆動部（１０１−１）からの描画要求に従って、キャラクタの描画・音声出力の処理を行う。キャラクタ描画・音声出力処理により、キャラクタがお辞儀をしたり、右方向や左方向を手で指したり、ユーザに話しかけたりするシーンが展開される。
また、スタンバイシーンの場合は、図１５（Ｓ）に例示したような、通常（図１５（ａ））よりも小さいキャラクタが表示される。
【０１０６】
図１８は、描画・音声出力部（１０１−５）によるキャラクタ描画・音声出力処理を表したフローチャートである。
描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）からキャラクタの動作指示の依頼又は描画データを受けると、動作指示内容解析処理（ステップ５０５−６−６−１￣５０５−６−６−８）、動作再生処理（ステップ５０５−６−６−９）、要求終了返信（ステップ５０５−６−６−１０）の順に処理を行う。
【０１０７】
動作指示内容解析処理において描画・音声出力部（１０１−５）は、まず、受け取った描画指示内容キャラクタの種類によらない統一の（共通の）動作指示か否かを判断し（ステップ５０５−６−６−１）、描画指示がキャラクタ毎に特定された表現方法で指示（直接指示：図３７（ｂ）参照）されていれば、動作再生処理（ステップ５０５−６−６−９）に移行する。
【０１０８】
描画指示がキャラクタによらない統一の表示形態であれば、描画・音声出力部（１０１−５）は、指示内容の変換を行う。
変換はまず、その時点で設定されているキャラクタの種類をエージェントＯＳ部（１０１−８）から取得する（ステップ５０５−６−６−２）。
次に描画・音声出力部（１０１−５）は、統一の動作指示（表示状態番号）とキャラクタ毎の動作指示内容（画像コード）の対応表が書かれた変換テーブル（キャラクタ画像選択データ）１０２３５３を外部記憶装置（１０）のキャラクタデータ（１０−２−３−５）から取得する。
そして、描画・音声出力部（１０１−５）は、変換テーブルを基に動作させるキャラクタの動作指示内容、すなわち、シーンデータの表示状態番号に対応するキャラクタの画像コードを取得する（ステップ５０５−６−６−４）。
【０１０９】
描画・音声出力部（１０１−５）は、取得した動作指示情報が、キャラクタの動作指示をシステムに自動で選択させる設定になっている場合、（ステップ５０５−６−６−５；Ｙ）、更に以下の処理を行う。
すなわち、描画・音声出力部（１０１−５）は、まず時間、場所、運転者情報、エージェントメンタルモデル等の、動作自動選択条件情報をエージェントＯＳ部等、エージェント処理部に含まれている各情報を管理している処理部（１０１−８）から取得する（ステップ５０５−６−６−６）。
次に時間等の統一の動作指示の選択条件情報と、キャラクタの統一の動作指示とが記述されている、電源ＯＮ時に既にＲＡＭに読み込まれているエージェントデータ（１０−２−３）から自動選択テーブルを取得する（ステップ５０５−６−６−７）。
そして、描画・音声出力部（１０１−５）は、時間等の統一の動作指示の選択条件情報と、動作自動選択テーブルを基に統一の動作指示を取得する。該統一の動作指示を基に、ステップ５０５−６−６−３で取得した変換テーブル１０２３５３を参照して動作指示内容（画像コード）を取得することにより動作指示を確定する（ステップ５０５−６−６−８）。
【０１１０】
次に、描画・音声出力部（１０１−５）は、動作再生処理を行う（ステップ５０５−６−６−９）。
すなわち、描画・音声出力部（１０１−５）は、キャラクタの動作指示内容（画像コード）を基に、キャラクタデータ（１０−２−３−５）の、選択されているキャラクタのキャラクタ画像データ１０２３５１（図１１参照）から、再生する個別動作画像を取得する。
また当該キャラクタの動作指示依頼が、キャラクタの動作にキャラクタの台詞音声を同期させ出力させる内容であれば、キャラクタデータ（１０−２−３−５）のキャラクタ音声データ１０２３５２から音声データを取得する。
【０１１１】
そして、描画・音声出力部（１０１−５）は、音声データを出力する場合には、その音声データの出力時間ｔ１を取得し、音声データの出力がない場合にはシーンデータに規定されている時間ｔ１を取得する。以下、時間ｔ１を、個別動画の再生に割り当てられる全体の時間なので、全割当時間という。
そして、描画・音声出力部（１０１−５）は、シーンデータで規定されている台詞又は時間に割り付けられている（台詞の音声を出力する間、又は規定時間内に再生するように規定されている）個別動作画像、の再生時間を再生時間テーブル（図１１（ｂ）参照）から取得する。
【０１１２】
描画・音声出力部（１０１−５）は、取得した各個別動作画像の再生時間と、取得した全割当時間ｔ１とから、各個別動作画像における保持動画の再生回数Ｎを数式（１）から決定する。
この数式において、全割当時間をｔ１、開始動画の再生時間をｔ２、保持動画の再生時間をｔ３、終了動画の再生時間をｔ４とする。また全開始動画、全保持動画、全終了動画の再生時間の合計値をそれぞれ、Σｔ２、Σｔ３、Σｔ４とする。
この場合、時間Σｔ２が全開始動画に割り当てられ、時間Σｔ４が全終了動画に割り当てられ、時間（ｔ１−（Σｔ２＋Σｔ４））が全保持動画に割り当てられる。
このように、各個別動作画像の開始動画と終了動画に優先的に時間が割り当てられ、残りの時間が各保持動画に割り当てられる。
【０１１３】
【数式１】
ｎ＝（ｔ１−（Σｔ２＋Σｔ４））／Σｔ３（余り時間ｔ５）…（１）
【０１１４】
そして、描画・音声出力部（１０１−５）は、数式（１）からｎと余り時間ｔ５を算出し、各保持動画の再生回数を次のように決定する。
（ａ）ｔ５＝０の場合
全保持動画の再生回数Ｎ＝ｎ回
（ｂ）ｔ５≠０の場合
最初の保持動画からｍ−１番目の保持動画までの再生回数Ｎ＝ｎ
ｍ番目の保持動画から最後の保持動画までの再生回数Ｎ＝ｎ＋１回
但し、ｍは、ｐ番目の保持動画から最後の保持動画までの再生時間の合計を｛Σｔ３｝とした場合に、｛Σｔ３｝≧ｔ５を満たすｐのうちの最大値である。
例えば、ａ〜ｄまでの保持動画（各再生時間１秒）に対して７秒割り当てられている場合、ｎ＝６／４＝１、余り２となるので、ａとｂの再生回数が１回、ｃとｄの再生回数が２回となる。
【０１１５】
なお、本実施形態では、全割当時間ｔ１と同時又は後に個別動作画像の再生が終了することになるが、保持動画の再生回数Ｎを一律ｎ回とすることで個別動作の再生を音声出力や規定時間よりも先に終了させるようにしてもよい。この場合、音声出力が終了するまで又は規定時間が経過するまでの間、図１１（ｂ）に示す基本（立ち）の保持動画を繰り返し再生する。
また、全割当時間ｔ１が、開始動画と終了動画の両再生時間の合計よりも短い場合には、開始動画と終了動画のみを再生する。
【０１１６】
図１９は、個別動作画像を再生する場合に、開始動画、保持動画、終了動画間で移行可能な流れを表したものである。
図１９に示されるように、各動画は保持状態画面を介して再生が連続される。（１）開始動画に続く動画
開始動画は、次の２つの動画に移行することができる。
▲１▼保持動画の再生回数Ｎ≠０の場合、保持動画に移行する。
▲２▼保持動画の再生回数Ｎ＝０の場合、終了動画に移行する。
（２）保持動画に続く動画
保持動画は、次の２つの動画に移行することができる。
▲３▼保持動画の再生回数Ｎ＞２の場合、保持動画に移行する。
▲４▼保持動画の再生回数Ｎ＝１の場合、終了動画に移行する。
（３）終了動画に続く動画
終了動画は、同一の個別動作画像内の動画に移行することはなく、後続の個別動画の開始動画に移行する。
【０１１７】
次に、個別動作画像の再生中に中断条件が満たされた場合について説明する。シナリオ駆動部（１０１−１）は、個別動作画像の再生中に、図１３に規定する中断条件（項目欄に記載した条件）が満たされたか否かについて監視している。
そして、いずれかの中断条件が満たされた場合、シナリオ駆動部（１０１−１）は、次の個別動作画像に移行する際の移行モード（品質モード、即応モード）と、中断イベントを描画・音声出力部（１０１−５）に供給する。
移行モードは、再生中の個別動作画像に対して、移行モードが規定されている場合には、規定されている移行モードに決定する。個別動作画像に対して自動モードが規定されている場合及び、移行モードが規定されていない場合には、動作切り替え判断データ（１０−２−３−８）（図６、図１３参照）を使用して中断条件に対応した移行モードを決定する。
以上のようにシナリオ駆動部（１０１−１）により移行モードが決定されることで、モード判断手段が構成されている。
【０１１８】
描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）から中断イベントが供給されると、移行モード（品質モード、即応モード）に応じて、実行中の動画段階（開始動画、保持動画、終了動画）を中断して、後続の個別動作画像に移行する（実行する）。
【０１１９】
図２０は、品質モードにおける中断後の再生状態を表したものである。
図２０に示されるように、品質モードでは中断イベントの発生がどの動画を再生中かによって異なる。
（１）開始動画再生中の場合
図２０（ａ）に示されるように、開始動画の再生中に中断イベントが発生すると、開始動画の再生を終了した後、保持動画を１回再生し、終了動画を再生した後に後続の個別動作画像に移行する。
なお、開始動画の再生中に中断イベントが発生した場合、開始動画の再生を終了した後に、保持動画を再生せずに終了動画を再生して、後続の個別動作画像に移行するようにしてもよい。この場合、開始動画の最後と終了動画の最初に保持状態画像を表示するので両動画移行の際のギャップがなく、保持動画の再生を省略した分だけ早く後続の個別動作画像を再生することができる。
【０１２０】
（２）保持動画再生中の場合
図２０（ｂ）に示されるように、保持動画の再生中に中断イベントが発生した場合には、再生中の保持動画を最後まで再生した後に終了動画を再生し、その後に後続の個別動作画像に移行する。
この保持動画再生中の場合、上記の数式（１）から決定した再生回数Ｎ回に対してｐ回目の再生中（ｐ＜Ｎ）であれば、保持動画の再生がＮ−ｐ回省略される。従って、品質を維持しながら、動画間のギャップなしに、ある度の即応性を確保することができる。
（３）終了動画再生中の場合
図２０（ｃ）に示されるように、終了動画の再生中に中断イベントが発生した場合には、そのまま終了動画を再生した後に後続の個別動作画像に移行する。
【０１２１】
このように、品質モードの場合、再生している動画間のギャップが無く、また、中断した個別動作画像は基本姿勢状態で終了し、後続の個別動作画像が基本姿勢状態から開始するため、品質を維持した中断と後続個別動作画像への移行が可能となる。
【０１２２】
図２１は、即応モードにおける中断後の再生状態を表したものである。
図２１に示されるように、即応モードの場合、中断イベントの発生時点に拘わらす、再生中の動画を中断して後続の個別動作画像に移行する。
即応モードの場合、中断イベント発生時点で中断するため、後続の個別動画に移行する際に多少のギャップを生じるが、例えばエージェント装置のユーザに不要な待機をさせずに、レスポンス良く後続の個別動作画像を再生することができる。
【０１２３】
以上のように中断イベントがある場合、ない場合において描画・音声出力部（１０１−５）で決定した個別動作画像の再生データはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある描画プロセッサ（１−６）への指示を行う処理部を通して描画プロセッサ（１−６）へ伝わり個別動作画像が表示装置（２）に順次再生表示される。
また取得した音声データはエージェントＯＳ部（１０１−８）に伝わり外部Ｉ／Ｆ部（１０１−９）から全体処理部（１０２）に伝わり、全体処理部（１０２）内にある音声プロセッサ（１−８）への指示を行う処理部を通して音声プロセッサ（１−８）へ伝わり、この音声出力制御信号をアナログ信号に変換して音声出力装置（３）に出力される。
【０１２４】
次に、描画・音声出力部（１０１−５）は、シナリオ駆動部（１０１−１）から要求されたキャラクタの動作処理をすべて行った後、要求されたシーンのキャラクタ描画・音声出力処理終了をシナリオ駆動部（１０１−１）に通知し（図１８、ステップ５０５−６−６−１０）、処理を終了する。
また、キャラクタの台詞音声を同期させて出力する要求内容であった場合は、音声の出力が全て終了した時点で、キャラクタ音声出力処理終了をシナリオ駆動部（１０１−１）に通知する。
【０１２５】
描画・音声出力部（１０１−５）からシーンのキャラクタ描画・音声出力処理終了が通知された後に、シナリオ駆動部（１０１−１）は、処理中のシーンデータにおいて音声認識についての指示がされているか否かを確認し（図１７、ステップ５０５−６−７）、指示が無ければ、ステップ５０５−６−９に移行し、指示がある場合にはそのシーンデータで指定されている音声認識のための辞書を使用して音声認識処理を行う（ステップ５０５−６−８）。
【０１２６】
シナリオ駆動部（１０１−１）は、音声認識の指示が無い場合、及び、音声認識処理（ステップ５０５−６−８）が終了した後、エージェントＯＳ部（１０１−８）からユーザ入力の知らせを受け取ったら、その入力が何であるか確認し（ステップ５０５−６−９）、入力に対応した処理を行なう。
なお、上述したように、各処理は独立して実行されるため、音声認識処理（ステップ５０５−６−８）中であっても、エージェントＯＳ部（１０１−８）から入力が通知された場合にはその入力に対応した処理が並行して実行される。従って、音声認識処理中に、ユーザが音声認識の選択ボタンを選択しエージェントＯＳ部（１０１−８）から通知されると、音声認識処理による処理段階に関わらず、次の処理（ステップ５０５−６−９）が実行される。
例えば、スタンバイシーンの場合では、運転者によるＯＫ（肯定）の意志表示がされたか否かを表示装置の画面がタッチされたか否かにより判断することも可能であるため、画面がタッチされた場合、音声認識処理による処理段階にかかわらず、次の処理（ステップ５０５−６−９）が実行される。
【０１２７】
シナリオ駆動部（１０１−１）は、エージェントＯＳ部（１０１−８）から、例えば、カーソルの移動に関する入力を受け取った場合、カーソルを移動させて、画面の描画依頼（画面スクロールの依頼）の処理を行う（ステップ５０５−６−１０）。
また、ユーザがシーン表示画面５４（図１４参照）に表示されているいずれかの回答選択ボタン５４ａを選択した場合、どの項目が選択されたか判断する（ステップ５０５−６−１１）。
なお、上述したように、図１６、図１７の処理は、シナリオ処理の１例を示したものであり、実際には各部が独立して個別の処理を行っている。このため、図１７には示していないが、音声認識開始もしくは中止が入力された場合、音声認識部に対し音声認識処理の開始もしくは中止の依頼を行なう等、ユーザ入力の確認（ステップ５０５−６−９）を行なった後の処理は他にも存在する。また、描画・音声出力部（１０１−５）からシーンのキャラクタ描画・音声出力処理終了が通知される前、つまり、指示したキャラクタの動作が終了する前であっても、ユーザの入力の確認（ステップ５０５−６−９）をすることも可能である。
【０１２８】
次に、シナリオ駆動部（１０１−１）は、選択された項目の判断結果から、展開判断処理（ステップ５０５−６−１２）において、シナリオデータの展開管理データ（図１０参照）を参照して次の展開を判断する。
シナリオ駆動部（１０１−１）は、次の展開が存在しない場合は何も処理せずにユーザ入力判断に戻る。
【０１２９】
一方、次の展開が存在する場合、及び、ステップ５０５−６−１で判断したシーンが分岐シーンである場合、シナリオ駆動部（１０１−１）は、次に展開するシーンを決定するシーン決定処理を行う（ステップ５０５−６−１）。
シーン決定処理においてシナリオ駆動部（１０１−１）は、現在処理中のシーンに設定されている移行条件を、シナリオデータの展開管理データ（図１０参照）から取得する。
そして、シナリオ駆動部（１０１−１）は、取得した移行条件（展開条件又は追加条件）に対応する、対象の状態変化（図２５で規定）又は対象状態を、キャラクタ心理部（１０１−４）やエージェントＯＳ部（１０１−８）から受け取る。
そして、受け取った状態変化又は対象状態が満たしている移行条件に対して展開管理データで規定されている次に展開すべき、通常シーン、クローンシーン、分岐シーンのいずれかを決定する。
【０１３０】
シナリオ駆動部（１０１−１）は、シーン決定処理により次に展開するシーンを決定した後、次の展開に進めるためにシーン終了処理（ステップ５０５−６−１４）に進む。シーン終了処理（ステップ５０５−６−１４）では、シナリオ駆動部（１０１−１）が他の処理部に依頼している処理が有れば、その中止依頼を行ない（例えば音声認識処理の依頼をしていたら認識処理の中止依頼をする）、リターンする。リターンにより、図１６のシナリオ終了判断（ステップ５０５−７）に移行する。
【０１３１】
次に、ユーザや第三者が独自のシナリオを作成するシナリオ作成装置の構成とその動作について説明する。
図２２は、シナリオ作成装置の構成を表したものである。
シナリオ作成装置は、制御部（２００）と、入力装置（２１０）と、出力装置（２２０）と、通信制御装置（２３０）と、記憶装置（２４０）と、記憶媒体駆動装置（２５０）と、入出力Ｉ／Ｆ（２６０）とを備えている。これら各装置は、データバスや制御バス等のバスラインにより接続されている。
【０１３２】
制御部（２００）は、シナリオ作成装置全体を制御する。
シナリオ作成装置はシナリオ編集プログラムの実行だけでなく、その他プログラム類（例えばワープロや表計算等）を実行することもできる。制御部（２００）は、ＣＰＵ（２００−１）と、メモリ（２００−２）等から構成されている。
ＣＰＵ（２００−１）は、種々の演算処理を実行するプロセッサである。
メモリ（２００−２）は、ＣＰＵ（２００−１）が種々の演算処理を実行する際にワーキングメモリとして使用される。
ＣＰＵ（２００−１）は、メモリ（２００−２）にプログラムやデータなどを書き込んだり消去したりすることができる。
本実施の形態におけるメモリ（２００−２）には、ＣＰＵ（２００−１）がシナリオエディタ（シナリオ編集プログラム）に従ってシナリオデータを作成、編集、記憶等するためのエリアが確保可能になっている。
【０１３３】
入力装置（２１０）は、シナリオ作成装置に対して文字や数字その他の情報を入力するための装置であり、例えばキーボードやマウスなどにより構成されている。
キーボードは、主にカナや英文字などを入力するための入力装置である。
キーボートは、例えばユーザがシナリオ作成装置にログインするためのログインＩＤやパスワードを入力したり、シナリオ作成の際に音声合成や音声認識の対象となる文を入力したりする際などに使用される。
マウスは、ポインティングデバイスである。
ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを用いてシナリオ作成装置を操作する場合、表示装置上に表示されたボタンやアイコンなどをクリックすることにより、所定の情報の入力を行なうこと等に使用される入力装置である。
【０１３４】
出力装置（２２０）は、例えば表示装置や印刷装置などである。
表示装置は、例えばＣＲＴディスプレイ、液晶ディスプレイ、プラズマディスプレイなどが使用される。
表示装置には、シナリオを作成するためのメイン画面や、各シーンにおける画面構成を選択するための画面等の各種画面が表示される。また、各画面において選択された情報や入力された情報が表示されるようになっている。
印刷装置は、例えば、インクジェットプリンタ、レーザプリンタ、熱転写プリンタ、ドットプリンタなどの各種プリンタ装置が使用される。
【０１３５】
通信制御装置（２３０）は、外部との間で各種データやプログラムを送受信するための装置であって、モデム、ターミナルアダプタその他の装置が使用される。
通信制御装置（２３０）は、例えばインターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などに接続可能に構成されている。通信制御装置（２３０）は、これらのネットワークに接続した他の端末装置あるいはサーバ装置などと通信によって信号及びデータのやり取りを行なうことで、装置で作成したシナリオデータを送信したり、第３者が作成したシナリオデータを受信（ダウンロード）したり、更に、シナリオデータの作成に必要なデータを取得したりすることができるようになっている。
通信制御装置（２３０）はＣＰＵ（２００−１）によって制御され、例えば、ＴＣＰ／ＩＰなどの所定のプロトコルに従ってこれら端末装置やサーバ装置との信号及びデータの送受信を行う。
【０１３６】
記憶装置（２４０）は、読み書き可能な記憶媒体と、その記憶媒体に対してプログラムやデータを読み書きするための駆動装置によって構成されている。
当該記憶媒体として主にハードディスクが使用されるが、その他に、例えば、光磁気ディスク、磁気ディスク、半導体メモリなどの他の読み書き可能な記憶媒体によって構成することも可能である。
記憶装置（２４０）には、シナリオ編集プログラム（２４０−１）、シナリオ編集データ（２４０−２）、及びその他のプログラム・データ（２４０−３）が格納されている。その他のプログラムとして、例えば、通信制御装置（２３０）を制御し、シナリオ作成装置とネットワークでつながれた端末装置やサーバ装置との通信を維持する通信プログラムや、メモリ管理や入出力管理などのシナリオ作成装置を動作させるための基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）なども記憶装置（２４０）に格納されている。
【０１３７】
記憶媒体駆動装置（２５０）は、着脱可能な記憶媒体を駆動してデータの読み書きを行うための駆動装置である。着脱可能な記憶媒体としては、例えば、光磁気ディスク、磁気ディスク、磁気テープ、ＩＣカード類、データをパンチした紙テープ、ＣＤ−ＲＯＭなどがある。
本実施形態では、シナリオ作成装置で作成・編集したシナリオデータ（エージェント装置で使用する形態）は、主としてＩＣカード類に書き込まれるようになっている。
シナリオ作成装置は、記憶媒体駆動装置（２５０）によって記憶媒体を駆動することにより、シナリオデータが格納された記憶媒体からシナリオを取得したり、あるいは、作成したシナリオデータを記憶媒体駆動装置から記憶媒体に格納したりすることができる。
【０１３８】
入出力Ｉ／Ｆ（２６０）は、例えば、シリアルインターフェースやその他の規格のインターフェースにより構成されている。
入出力Ｉ／Ｆ（２６０）に当該インターフェースに対応した外部機器を接続することにより、シナリオ作成装置の機能を拡張することができる。このような外部機器として例えば、ハードディスクなどの記憶装置、通信制御装置、スピーカ、マイクロフォンなどがある。
【０１３９】
次に、シナリオ編集プログラム（２４０−１）と、シナリオ編集データ（２４０−２）の構成について説明する。
図２３は、シナリオ編集プログラムとデータの構成を概念的に表したものである。
シナリオ編集プログラム（２４０−１）は、シナリオエディタ（２４０−１−１）と、シナリオコンパイラ（２４０−１−２）と、ＤＢ編集ツール（２４０−１−３）が存在する。
シナリオ編集データ（２４０−２）は、共通定義ＤＢ（２４０−２−１）と、ローカル定義ＤＢ（２４０−２−２）と、シナリオエディタで作成したＳＣＥ形式シナリオデータ（２４０−２−３）と、シナリオコンパイラで変換された実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）が存在する。
シナリオエディタ（２４０−１−１）は、シナリオデータを作成するアプリケーションプログラムである。
【０１４０】
シナリオコンパイラ（２４０−１−２）は、シナリオエディタ（２４０−１−１）で作成されたＳＣＥ形式シナリオデータ（２４０−２−３）を、エージェント装置で使用可能な実機形式シナリオデータ（２４０−２−４）に変換するアプリケーションプログラムで、変換手段として機能する。
図２４は、データ形式の変換を概念的に表したものである。
この図２４に示されるように、シナリオコンパイラ（２４０−１−２）は、１個以上のＳＣＥ形式シナリオデータ（２４０−２−３）を、１個の実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）に変換する。
【０１４１】
ＤＢ編集ツール（２４０−１−３）は、共通定義ＤＢ（２４０−２−１）に格納されているデータを編集・更新するためのアプリケーションプログラムである。
共通定義ＤＢ（２４０−２−１）には、シナリオデータを作成する際の定義データが格納される。共通定義ＤＢ（２４０−２−１）には、自動起動条件項目、シーン展開の条件を規定する展開条件項目と追加条件項目（移行条件）、キャラクタの表示状態指示テーブル、等が格納される。この共通定義ＤＢ（２４０−２−１）は、シナリオ作成装置の記憶装置ではなく、ローカルエリアネットワーク（ＬＡＮ）でつながっているサーバ上に存在してもよい。こうすることで、ローカルエリアネットワーク（ＬＡＮ）でつながっている各シナリオ作成装置は共通の共通定義ＤＢ（２４０−２−１）を使ってシナリオデータを作成することが可能になる。
ローカル定義ＤＢ（２４０−２−２）は、シナリオ作成者がシナリオデータを作成中に定義した画面構成が格納される。
【０１４２】
ＳＣＥ形式シナリオデータ（２４０−２−３）は、シナリオエディタ（２４０−１−１）で作成されたデータである。
実機形式（ＮＡＶ形式）シナリオデータ（２４０−２−４）は、シナリオコンパイラ（２４０−１−３）によってＳＣＥ形式シナリオデータ（２４０−２−３）からエージェント装置で使用するためのデータ形式に変換されたデータである。
【０１４３】
シナリオ編集プログラムで編集できる項目の一部を例示する。これらは、共通定義ＤＢ（２４０−２−１）に格納されている。
図２５は、通常シーンに規定され、その通常シーンから次のシーン（通常シーン、分岐シーン）に展開をするための移行条件（展開条件）が格納された展開条件項目テーブルを表したものである。展開条件項目テーブルには、図２５に示されるように、キャラクタ動作終了、シナリオ割り込み、ユーザの応答として「はい」が選択等の各種対象の状態変化が規定されている。
展開条件項目は、１の通常シーンに対して複数設定することが可能であるが、通常シーンと他の通常シーン間、及び通常シーンと分岐シーン間には１つの展開条件項目が設定可能である。
展開条件項目テーブルは、共通定義ＤＢ（２４０−２−１）に格納されている。
展開条件項目の各項目は、各シーンの展開構成を作成する際に読み出され、分岐条件指定ウィンドウにリスト表示される。このリスト表示された中から展開条件項目を選択し、また、テーブルに格納されていない場合には別途展開条件をＤＢ編集ツール（２４０−１−３）を使って定義し追加することにより、シーン展開構成が作成される。
１の通常シーンに対して展開条件項目の選択を繰り返し、その後に展開する通常シーンまたは分岐シーンを複数設定することで、複数の推移先を持つ（複数に分岐された）シーンを作成することができる。
【０１４４】
図２６、図２７は、キャラクタによらない統一の動作指示テーブルの内容の一部を概念的に表したものである。以下図２６、図２７の説明より、キャラクタ設定手段を形成する。
このテーブルは、キャラクタの種類によらずに共通した動作の表示状態が規定されており、キャラクタに表現させたい内容毎に分類されている。
キャラクタによらない統一の動作指示テーブルは、複数存在し、本実施形態では、仕事の状態（図２６）、精神状態（図２７）、ＴＰＯ状態、成長状態、スケール状態の各表示状態指示テーブルが存在する。
図２６、図２７に示されるように、各表示状態指示テーブルは、複数のツリー構造になっており、後述するキャラクタ動作の状態指示編集ウィンドウに各ツリー構造の形と分類名が表示されるようになっている。
【０１４５】
図２６、図２７に示されるように、表示状態指示テーブルのツリーの末端の項目毎に状態指示番号が付されている。この状態指示番号が、エージェント装置１のキャラクタ画像選択データ（変換テーブル）１０２３５３の状態指示番号（図９参照）に対応している。
【０１４６】
これらのテーブルでは、図２６、図２７でも示されているように、表示状態に対する下層で定義されているレベル（丁寧に行なう、普通に行なう、強、中、弱等）をシステム（エージェント装置）に自動で選択させる項目「自動」を設けている。
この自動を選択したシーンに対して、エージェント装置では、キャラクタ心理状態、日付や時刻、等によってキャラクタのどのレベルの表示状態を使用するかを判断して、いずれかの表示状態を選択し実行することになる。
【０１４７】
共通定義ＤＢ（２４０−２−１）には、その他、音声認識に使用する音声認識用データと、キャラクタの動作指示に使用するデータ（別途台詞の指示データも存在する）と、各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データ及びキャラクタ台詞データ及びキャラクタによらない統一の指示に対する各キャラクタの表現方法への変換テーブルと、表示装置（２）に表示する各パーツデータ及びそれらをどのように配置するかが記された画面構成データと、シーンにおける処理内容として選択可能な項目、例えば、エージェントが処理可能な行為である、オーディオ装置のオン・オフやチャンネル選択、エアコン装置のオン・オフと温度設定、全体処理部（１０２）に供給する目的地の設定等の各種処理内容項目データ等が共通定義ＤＢ（２４０−２−１）に格納されている。
なお、自動起動条件を編集するための起動条件に関する項目や、シナリオの展開を多彩にするための追加条件項目（分岐シーンで設定する項目）等もこの共通定義ＤＢ（２４０−２−１）に格納されている。
これら全ての定義データも、各定義データと同様に、変更及び追加がＤＢ編集ツール（２４０−１−３）を使って行なうことができるようになっている。
【０１４８】
各シーンで設定した指示をプレビューして確認するためのキャラクタ画像データは、エージェント装置に格納されている各種キャラクタの画像データが格納されている。
なお、ユーザは、エージェント装置から他のキャラクタについてのキャラクタ画像データと、変換テーブルをＩＣカード７、又は、サーバ３を介してシナリオ作成装置の共通定義ＤＢに格納することも可能である。
【０１４９】
次に、このように構成されたシナリオ作成装置によるシナリオ作成の各動作について、画面の遷移に従って説明する。
図２８は、シナリオエディタ（２４０−１−１）を起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
この図２８に示されるように、メインウィンドウは、作成中のシーン画面（エージェント装置１の表示装置（２）に表示されるシーン画面（図１４参照））が表示されるシーン画面３０１と、各種設定を行う設定項目が表示された設定画面３０３と、シーンの展開構成（分岐の状態）が各シーンを表すシーンアイコン３０７のツリー構造により表示されるシーン展開画面３０５、及び処理アイコン表示部で構成されている。
【０１５０】
シナリオエディタ（２４０−１−１）を起動すると、メインウインドウのシーン展開画面３０５には、スタートポイント３０８が表示される。このスタートポイント３０８を選択するとシナリオプロパティの編集ができる。選択は、例えば、マウスカーソルによるポイント位置を該当箇所に合わせて、マウスをダブルクリックすることで選択される。
画面構成の変更ボタン３０９は、表示したい画面構成を選択するボタン、効果音設定ボタン１１０は、シナリオの各シーン毎に効果音を設定する画面を表示するボタンである。
エージェント表示画面３１１を選択すると、エージェント（キャラクタ）の動作の編集画面が表示される。
台詞編集ボタン３１３は、キャラクタの台詞の指示を編集するボタンである。ボタンパーツとバックグラウンド音声認識辞書設定３１５を選択すると使用する音声認識辞書の編集ができる。シーン画面３０１の回答選択ボタン３１５ａ（５４ａ）のマークで表示されている方を選択すると認識する単語の名称がシーン画面に表示され、バックグラウンドで認識する方３１５ｂを選択すると、音声認識の対象となるが認識する単語の名称は表示されない。
【０１５１】
タイマー設定ボタン３１７は、タイマー設定情報を設定、及び変更するためのボタンである。
外部機器等の制御指示編集３１９では、外部機器等（ナビも含む）の制御指示を設定する。
音声認識開始制御指示３２０ａでは、作成中のシーンにおいて音声認識を行う場合に、音声認識の開始をどのようにするかを規定する音声認識の指示を設定する。音声認識の指示としては、音声認識を「自動で開始する」、「自動で開始しない」、「エージェント装置（車載装置）が判断する（おまかせ）」、のうちのいずれかを選択可能になっている。
コールバック制御指示３２０ｂでは、音声認識の結果を確認するためのコールバックを行うか否かについての指示を設定する。コールバックの指示としては、「コールバックする」、「コールバックしない」、エージェント装置が状況判断してコールバックをするかしないかを判断する「エージェント装置が判断（おまかせ）」のうちのいずれかを選択可能になっている。
ＡＭＭの変化の設定変更ボタン３２１は、後述するように、作成中のシーンでエージェントの各長期的感情要素を変更するためのボタンである。
【０１５２】
シーン展開表示部３２２は、シーン展開画面で指定された（アクティブ状態の）シーンに対して規定されている展開条件項目及び追加条件項目と、その条件項目を満たす場合に継続（接続）するシーンが表示される。
シーン展開表示部３２２の左側には、図２８に示されるように、アクティブ状態のシーンに設定された展開条件（図２４参照）や追加条件の分類（図２５参照）がツリー構造で表示される。また、シーン展開表示部の右側には、移行条件の内容とその接続先（展開先のシーン番号）が表示される。
【０１５３】
処理アイコン表示部には、シーン作成ボタン３２３、分岐シーン作成ボタン３２４、ダミーシーン作成部３２５、エイリアスシーン指定ボタン３２６、エンドＩＤボタン３２７、リンクＩＤボタン３２８、挿入ボタン３２９、上下差替ボタン３３０、シーン再生ボタン３３１、ビルドボタン３３２、その他の処理ボタンが表示されている。
【０１５４】
シーン作成ボタン３２３は、新たに通常シーンを作成する場合に使用する。
シーン作成ボタン３２３をクリックするとシナリオの流れを編集できる（次のシーンを作成する）。シーン作成ボタン３２３をクリックすると、現在選択しているシーンの次に展開する通常シーンの作成が可能になる。
シーン作成ボタン３２３でシナリオの流れを分岐させることで、各通常シーンに対する展開構成が作成される。例えば、図２８のシーン展開画面３０５に表示されているシーン展開構成に於いて、通常シーンのアイコン５を選択した状態（アクティブ表示されている状態）で、シーン作成ボタン３２３をクリックするとシーン５に続くシーンのアイコンが下層側に表示され、複数回クリック（複数回作成操作を行う）することでシーン５に続いて展開される通常シーン７、８、…が分岐して作成される。
【０１５５】
すなわち、シーンｍ（通常シーン又は分岐シーン）を選択した状態でシーン作成ボタン３２３をクリックすることで、シーンｍに続く次の通常シーンｍ１が作成される。そして、再度シーンｍを選択した状態で、シーン作成ボタン３２３をクリックするとシーンｍに続く次の通常シーンｍ２が、通常シーンｍ１と並列に分岐して作成される。同様に再度シーンｍを選択した状態でシーン作成ボタン３２３をクリックすると通常シーンｍ３が作成される。
そして、作成した通常シーンｍ１に続くシーンを更に展開させたい場合には、通常シーンｍ１を選択した状態でシーン作成ボタン３２３をクリックすることで、通常シーンｍ１に続く次の通常シーンｍ１−１が作成される。通常シーンｍ１から分岐する別のシーンを作成する場合にはシーンｍ１を再度選択してシーン作成ボタン３２３をクリックすればシーンｍ１に続くシーンｍ１−２が作成される。
更に、作成した通常シーンｍ１−１アクティブにした状態でシーン作成ボタン３２３をクリックすれば、通常シーンｍ１−１に続く通常シーンｍ１−１−１が作成される。
【０１５６】
分岐シーン作成ボタン３２４、新たに分岐シーンを作成する場合に使用する。分岐シーン作成ボタン３２４をクリックするとシナリオの流れを編集できる（次の分岐シーンを作成する）。分岐シーン作成ボタン３２４をクリックすると、現在選択しているシーンの次に展開する分岐シーンの作成が可能になる。
分岐シーン作成ボタン３２４により、展開条件に続けてさらに複数の追加条件で分岐させることで、移行条件の論理演算（論理和、論理積）による各通常シーンに対する展開構成を作成することができる。
例えば、図２８のシーン展開画面３０５に表示されているシーン展開構成において、通常シーン１から通常シーン２に展開する場合に、両通常シーン間に分岐シーン４と分岐シーン６を挿入することで、通常シーン１に規定する状態変化をした場合で、分岐条件４と分岐条件６の両者を満たした場合に通常シーン２が通常シーン１に続いて展開される。このように、分岐シーンを複数使用することで、多彩な条件設定により種々の展開をするシナリオを作成することができる。
【０１５７】
図２８において分岐シーンは符号３３３で表されている。分岐シーンの作成は、通常シーンに続けることも、分岐シーンに続けて作成することも可能である。例えば、図２８のシーン展開画面３０５の通常シーン１をアクティブにした状態で分岐シーン作成ボタン３２４を選択することで分岐シーン４が作成され、この分岐シーンをアクティブにした状態で更に分岐シーン作成ボタン３２４を選択することで分岐シーン６が作成されている。
分岐シーンを階層的に作成する方法は、上で説明した通常シーンの作成方法と同様である。
【０１５８】
ダミーシーン作成ボタン３２５は、ダミーシーンを作成するボタンである。
ダミーシーンは、シーンを管理する管理データと、各種処理データと、展開管理データとで構成されていて、ナビゲーション機能における目的地の設定処理、エージェントの学習結果の記憶処理等の各週処理が規定される。
【０１５９】
エイリアスシーン指定ボタン３２６は、アクティブ状態のシーン（通常シーン、分岐シーン）から、作成済みの他のシーン（通常シーン、分岐シーン）に移行させるボタンである。
例えば、シーン展開画面３０５のシーン展開構成において分岐シーン６をアクティブにした状態で、エイリアスシーン指定ボタン３２６を選択した後に、移行したいシーン画面５を選択すると、シーン画面５に移行することを表すエイリアス画面３３４が表示される。
【０１６０】
エンドＩＤボタン３２７は、シナリオの終了位置を特定するためのエンドＩＤを作成するためのボタンである。
エンドＩＤボタン３２７をクリックするとシナリオの終了位置３４０を作成できる。作成した各シナリオの終了位置３４０には、終了番号がエンドＩＤとして割り振られるようになっている。
作成したシナリオの終了位置３４０を選択すると、エンドプロパティ編集画面を表示し、この画面において、エージェントの各短期的感情要素を設定、及び変更することができる。
【０１６１】
リンクＩＤボタン３２８は、シーンに他のシナリオをリンクさせるリンクＩＤを作成するためのボタンである。
挿入ボタン３２９は、それぞれアクティブ状態のシーン（通常シーン、分岐シーン）又はエンドマークの前に通常シーン、分岐シーン、ダミーシーンを挿入するためのボタンである。各シーンの種類に応じたボタンを選択する。
上下差替ボタン３３０は、シーンの上下位置を変更するボタンであり、アクティブなシーンを上に移動するボタンと下に移動するボタンがある。
シーン再生ボタン３３１は、アクティブな通常シーンを再生するためのボタンである。
ビルドボタン３３２は、作成したシナリオをエージェント装置で使うための実機形式（ＮＡＶ形式）のフォーマットにコンパイルするためのボタンである。
【０１６２】
なお、図２８に示したメインウィンドウは、シナリオの作成途中を例示したもので、シナリオエディタ（２４０−１−１）を起動した当初の画面は、シーン展開画面３０５にスタートポイント３０８だけが表示され、シーン画面３０１には何も表示されていず、設定画面３０３も未設定（デフォルト値は表示されている）の状態である。
【０１６３】
図２９は、シーン展開画面３０５において分岐シーンをアクティブにした場合のメインウィンドウの状態を表したものである。
図２９に示されるように、分岐シーン（図では分岐シーン４）を選択してアクティブにするとシーン画面３０１（図２８参照）の領域に、追加条件分類表示欄３３５と、追加条件項目欄３３７が表示される。
分岐条件分類表示欄３３には、アクティブ状態の分岐シーンに対して選択されている追加条件項目の分類が表示される。
分岐条件項目欄には、分岐先を指定する追加条件項目が表示される。
【０１６４】
図３０は、シナリオプロパティを編集する画面操作の流れを表したものである。
図２８に示したメインウインドウにおいて、シーン展開画面３０５に表示されているスタートポイント３０８をダブルクリックすると、図３０に示すシナリオプロパティの編集ウインドウがメインウィンドウ上に重ねて表示される。
【０１６５】
このシナリオプロパティの編集ウィンドウにおいて、シナリオ名称入力，カナ名称入力，アイコン選択，ジャンル選択，プライオリティの設定，有効期限（開始条件を満たしてから実際に開始するまでのタイムラグの上限値）の設定，走行中実行条件の設定，シナリオの起動条件の設定（別ウインドウ），スタンバイ処理使用条件の設定，作成者名称入力，コメント入力が行なえる。この画面で入力されるシナリオ名称入力，カナ名称入力は、実機形式のシナリオデータにおける管理データ等となる。
シナリオプロパティの編集ウィンドウにおいて、決定ボタン４０２をクリックすると編集内容がデータに反映され、メインウインドウに戻る。一方、キャンセルボタン４０３をクリックするとデータに反映されなで、メインウインドウに戻る。
シナリオプロパティの編集ウィンドウ（図３０）において、スタンバイ処理使用条件の設定ボタン４０９をクリックすると、スタンバイ処理の条件画面が表示され、スタンバイ処理を行うか否かを選択できるようになっている。
【０１６６】
シナリオプロパティの編集ウィンドウにおいて、起動条件の設定ボタン４０１を選択すると、シナリオ開始条件（自動起動条件）のメイン編集ウィンドウが表示される（図示せず）。
シナリオ開始条件のメイン編集ウインドウでは、ユーザがシナリオを手動で開始できるように設定できる。この事例ではチェックボックスのチェックを外して手動で起動しないに設定する。
このシナリオ開始条件のメイン編集ウインドウの自動起動条件（自律起動条件）一覧にはシステムがシナリオを自動で開始する条件が表示される。
シナリオ開始条件のメイン編集ウインドウにおいて、新規作成ボタンをクリックすると、自動開始条件選択ウインドウ（図示せず）が表示され、新しい開始条件の編集ができる。
【０１６７】
自動開始条件選択ウインドウにおいて、設定したい判断条件項目（カテゴリ）を選択し、決定をクリックすると自動開始する条件範囲の選択ウインドウへ進む。例えば、高速道路走行中にシナリオを自動で開始（自律起動）したい場合、「道路の状態がどのようなときに起動するか選択」の中の「種類を選択」の項目を選択し、更に「高速道路」を選択する。
【０１６８】
次に、自律起動条件以外の、シナリオを作成する各種操作について説明する。図３１は、エージェント表示画面５１（図１４参照）に表示したい画面構成を選択する画面操作の流れを表したものである。
この図３１（ａ）に示されるメインウィンドウのシーン展開画面３０５に表示されているシーンアイコン３０７を選択してアクティブ状態にすると、選択したシーンアイコンに対応するシーン画面３１０が表示される。そして、設定画面３０３の画面構成の変更ボタン３０９をクリックすると、画面構成の選択ウインドウ（ｂ）が表示される。
この画面構成の選択ウインドウ（ｂ）では、シーン表示画面５４（図１８参照）に表示可能なる画面構成が一覧表示される。何も表示されない基本画面、ボタンによる選択ボタンが２つ表示された２択画面、選択ボタンが複数表示されたボタン選択画面、例えば、都道府県名等の複数の項目がリスト表示されるリスト選択画面、画像データを表示する画像表示画面等の各種選択可能な画面が表示される。
一覧表示された各画面構成の中から１の画面構成を選択し、決定ボタンをクリックすると画面構成を変更する場合は確認ダイアログで確認後変更する場合は、その画面構成に変更してメインウィンドウ（ａ）に戻る。メインウィンドウに戻ると、シーン画面３０１が新たに選択した画面構成に変更されて表示される。
【０１６９】
以下図３２〜図３５に基づく処理や操作は、キャラクタの表示内容（画像、音声）、処理内容に基づいて画面要素を設定する画面要素作成手段、及びキャラクタ設定手段を形成する。
図３２は、キャラクタ動作（エージェントの動作）指示を編集する画面操作の流れを表したものである。
シーン画面の編集状態を表しているメインウィンドウ（図２８）において、エージェント表示画面３１１をマウスでダブルクリックすると、動作指示編集ダイアログ（個別指示）（図３２（ａ））又はキャラクタ動作指示編集ダイアログ（統一指示）（図３２（ｂ））が表示される。
いずれのウィンドウが表示されるかは、前回に使用したウィンドウが表示され、前回動作指示をキャラクタ毎の直接指示で指示しているときは（図３２（ａ））が表示され、前回キャラクタに表現させたい状態で指示している場合は（図３２（ｂ））が表示される。最初に使用する場合には、キャラクタ動作指示編集ダイアログ（統一指示）が表示される。
【０１７０】
図３２（ａ）のキャラクタ動作指示編集ダイアログ（個別指示）では、モーション（動作），表情（感情表現の要素），髪型（成長表現の要素），服装（ＴＰＯ表現の要素），スケール（キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素），口パクをする範囲（台詞を割り当てる範囲），動作の指示タイミング，及びキャラクタ表示領域の背景を選択する。
モーション一覧の中からモーションを選択すると右側の選択したモーション欄に表示される。作成中のシーンが実行された場合に、選択したモーションに対応する個別動作画像が再生されることになる。モーションは複数選択することが可能であり、選択した順番（選択したモーション欄のリスト表示順）に対応する個別動作画像が再生される。
図３２（ａ）のキャラクタ動作指示編集ダイアログ（個別指示）において、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ（図２８）に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウに戻る。
また、表現内容指定ボタンをクリックすると、キャラクタ動作指示編集ダイアログ（統一指示）図３２（ｂ）切り替わる。
【０１７１】
キャラクタ動作指示編集ダイアログ（個別指示）で動作の指示（表示状態）が選択されると、キャラクタ固有の動作としてシーンが定義される。この場合、エージェント装置１では、描画・音声出力部（１０１−５）によるキャラクタ描画・音声出力処理において、キャラクタによらない統一の動作指示でないと判断される。
【０１７２】
図３２（ｂ）のキャラクタ動作指示編集ダイアログ（統一指示）では、キャラクタが表現する状態として、共通定義ＤＢ（２４０−２−１）に格納されているキャラクタによらない統一の動作指示テーブル（図２６、図２７参照）に対応して、仕事の要素，精神状態の要素，ＴＰＯ表現の要素，成長表現の要素，スケール要素（キャラクタ表示領域をカメラのフレームとするとそのカメラアングルの要素），が選択可能に表示される。また、動作の指示タイミング，及びキャラクタ表示領域の背景の選択画面が表示される。
ユーザは、このキャラクタ動作の状態指示編集ウインドウに表示された各表示状態を選択することで、キャラクタによらず各キャラクタに共通した動作として選択した表示状態に対応する表示状態番号が設定中のシーンの内容として設定される。
このウィンドウで、決定ボタンをクリックすると編集内容がデータに反映され、メインウィンドウ（ａ）に戻る。キャンセルボタンをクリックするとデータに反映されなで、メインウィンドウ（ａ）に戻る。
直接指示指定ボタンをクリックすると、キャラクタ動作指示編集ダイアログ（個別指示）（ｂ）に切り替わる。
【０１７３】
図３２のキャラクタ動作指示編集ダイアログでは、キャラクタ動作品質欄において、中断イベントが発生した場合の移行モード（品質モード、即応モード）を規定することができる。このキャラクタ動作指示編集ダイアログにより移行モードを規定することで、キャラクタの動作表現を中断するか否かを設定する動作中断設定手段を形成する。
キャラクタ動作品質欄左側のプルダウンボタンがクリックされると、選択可能なモードとして、「自動選択」、「動作終了を待って切り替え」（品質モードに対応）、「動作終了を待たずに切り替え」（即応モードに対応）、をプルダウン表示し、そのうちのいずれかが選択されると、モーション一覧から選択したモーションの個別動作画像に対応した移行モードとして規定する。
なお、図３２（ａ）のキャラクタ動作指示編集ダイアログ（個別指示）における台詞の割付範囲の最初（左側）と終わり（右側）を指定することで、指定された範囲のモーションに対応する個別動作画像が、編集中のシーンにおいて設定した台詞（キャラクタの音声）に対応付けられる。これにより、対応付けられた台詞似合わせて指定範囲の個別動作画像が再生されることになる。
例えば、モーション一覧からａ、ｂ、ｃ、ｄ、ｅの順に５つのモーションが選択されていて、台詞の割付として２〜４が範囲として指定されている場合、個別動作画像ａの再生が終了した後にｂ〜ｄまでの個別動作画像が再生され、この間にキャラクタが台詞を音声出力する。その後、ｅの個別動作画像が再生される。
【０１７４】
図３３は、メインウィンドウにおいて台詞編集ボタンが選択された場合に表示される、示す音声編集メモウィンドウの説明図である。
図２８のメインウィンドウにおいて、台詞編集ボタン３１３が選択（クリック）されると、シナリオエディタ２１１は、図３３に示す音声編集メモウィンドウ６００を新たに表示する。
なお、シナリオエディタ２１１の処理として説明したが、実際に表示するのはシナリオエディタ２１１（プログラム）とＣＰＵ１０１が協同して表示等の処理を行うが、説明を簡単にするため、両者が協同した動作をシナリオエディタ２１１の処理、及び動作として説明する。以下の説明、及び合成音声編集ダイアログ２１４の処理及び動作も同様に説明する。
【０１７５】
図３３の音声編集メモウィンドウ６００において、音声編集ボタン６０１が選択されると、合成音声編集ダイアログ２１４が起動し、合成音声編集ダイアログ２１４が図３４に示す音声編集メイン画面６０８を表示する。
この音声編集メイン画面６０８で合成音声データが作成されると、その合成音声データに対応する文を、シナリオエディタ２１１は音声編集メモウィンドウ６００の吹き出し表示部６０２にテキスト表示する。
なお、音声編集を行わずに吹き出し表示部６０２に直接テキスト入力することも可能である。この場合には、合成音声データが作成されないため、このシナリオをエージェント装置で実行しても音声は出力されず、吹き出し表示部６０２から入力されたテキストが吹き出し５２に表示される。
【０１７６】
図３４は、音声編集メイン画面６０８を表したものである。
音声編集メイン画面５０８は、音声特定部と、台詞入力部と、前方一致検索部と、結果表示部と、キャンセルボタンを備えている。
音声特定部は、声の種類を選択する声種類選択ボタン６０７と、感情を選択する感情選択ボタン６０５で構成される。
台詞入力部は、台詞入力ボックス６１０と、変換ボタン６１１とで構成される。
前方一致検索部は、チェックボックス６１２、前方一致候補がリスト表示される候補リストボックス６１３、リスト表示されていない候補も含めた全候補の数が表示される候補数ボックス６１４、リスト表示された候補を選択する候補選択ボタン６１５で構成される。
結果表示部は、合成音声データによる音の繋がりを、枠で囲われた単語と無音線分により視覚的に表示する単語列情報ボックス６１９、再生ボタン６２０、全削除ボタン６２１、文章登録ボタン６２２、登録文章一覧ボタン６２３、選択中単語登録ボタン６２４、新規単語登録ボタン６２５、登録単語一覧ボタン６２６、決定ボタン６２７で構成されている。
【０１７７】
この音声編集メイン画面６０５の台詞入力ボックス６１０にエージェントに発音させたい会話の内容をなす台詞を入力することで、対応する合成音声データが作成及び編集される。以下、その合成音声作成及び編集の処理動作について説明する。
【０１７８】
声種類選択ボタン６０７が選択されると、合成音声編集ダイアログ２１４は、選択可能な声の種類をドロップダウン表示する。選択可能な声の種類としては、成人女性、成人男性、…、自動選択、のうちの一つを選択可能であり、選択された声の種類は、合成音声データとしてメモリ１０２に格納される。デフォルトの音の種類は成人女性が規定されている。
種類として、自動選択が選択された場合、合成音声編集ダイアログ２１４で作成、編集した合成音声データを試聴する場合（再生ボタン６２０がクリックされた場合）には、デフォルトの種別で再生される。
シナリオを実行するエージェント装置側でも音声を指定する機能があり、自由選択が選択されている場合には、エージェント側で指定した音声、又はエージェント装置ユーザが指定した音声、又は、指定したキャラクタに準拠した音声（声の種類）が出力される。一方、シナリオデータの合成音声データとして、自由選択以外の声の種類が選択されている場合には、エージェント装置による指定に関わりなく、合成音声データに従う声の種類の音声が優先して出力される。
【０１７９】
感情選択ボタン６０５が選択されると、合成音声編集ダイアログ２１４は、楽しい、悲しい、元気、…普通、といった喜怒哀楽を示す各感情のドロップダウンメニューを表示する。
ユーザによっていずれかの感情が選択されると、合成音声編集ダイアログ２１４は、台詞ＤＢ２２１ａから、同一の表記に対して複数存在する単位音声データのうち、選択された感情に対応する音声コードを優先的に検索する。
感情が選択されていない場合には、感情「普通」を選択する。
このように、感情、声の種別の少なくとも一方を指定することにより、本発明の指定手段を形成する。
【０１８０】
台詞入力ボックス６１０が指定されて文字が入力されると、合成音声編集ダイアログ２１４は、入力された文字を順次表示する。
そして、チェックボックス６１２にチェックがされている場合、台詞ＤＢ２２１ａの表記文字部分を前方一致検索し、候補となる表記を候補リストボックス６１３にリスト表示すると共に、リストした候補数を候補数ボックス６１４に表示する。
図３４に表示されている一例では、台詞入力ボックス６１０に「今日」が入力されているので、合成音声編集ダイアログ２１４は、「今日」が前方一致する候補として「今日」「今日は」「今日は晴れです」…等の１６の候補が検索され、その内の８個が表示されている。表示されていない候補は、候補リストボックス６１３右側のスクロールボタンを移動してスクロール表示させることが可能である。
そして、例えば、さらに「は晴れ」が入力された台詞入力ボックス６１０に「今日は晴れ」と表示されると、前方一致検索の結果、「今日は晴れです」「今日は晴れですね」及び「今日は晴れだね」の３候補がリスト表示される。
このように、前方一致検索は、入力され台詞入力ボックス６１０に表示されたテキストに応じて、ユーザの操作なしに自動的に実行される。
【０１８１】
候補リストボックス６１３に表示された前方一致候補リストの内からいずれか１つが選択されて決定されると、単語列情報ボックス６１９に表示すると共に、台詞入力ボックス６１０、候補リストボックス６１３と候補数ボックス６１４の表示をクリアする。
選択した候補の決定は、候補のマウスダブルクリック、候補を選択後、候補選択ボタン６１５のクリック、候補を選択後キーボードの「Ｅｎｔｅｒ」キーにより決定される。
【０１８２】
次に、合成音声データの作成と、単語列情報ボックス６１９に表示する、入力文を視覚的に表示する単語列表示について説明する。
合成音声編集ダイアログ２１４は、変換ボタン６１１が選択されると、台詞入力ボックス６１０に表示されたテキスト（入力文）を、変換対象文として一括して変換する。
なお、既に吹き出し画面５２（図１４、図２８参照）に表示するテキスト文が入力されている場合（合成音声データが作成されていない場合といる場合がある）、図２８の台詞編集ボタン３１３がクリックされると、入力済みのテキスト文が吹き出し表示部６０２に表示される。そして、この状態で音声編集ボタン６０１が選択されると、合成音声編集ダイアログ２１４は、吹き出し表示部６０２に表示されているテキスト文を台詞入力ボックス６１０に表示する。これにより、作成済みの合成音声データも編集対象とすることができる。
【０１８３】
図３５は、音声認識辞書を編集する画面操作の流れを表したものである。
この操作は、作成したシナリオに基づいて回答を要求する問いかけをエージェント装置でした場合に、ユーザから返される音声による回答をエージェント装置で認識するための音声辞書を設定するものである。
シーン画面の編集状態を表しているメインウィンドウ（図２８）において、選択された画面構成に従って表示されるボタンパーツ部３１５ａ（画面構成によっては通常リストボックスパーツ部の場合も有る）をダブルクリックすると音声認識辞書選択ウインドウ（図３５（ａ））が表示される。また、バックグラウンドで認識する辞書の一覧表示部３１５ｂをダブルクリックしても音声認識辞書選択ウインドウが表示される。
【０１８４】
音声認識辞書選択ウインドウ（図３５（ａ））において、辞書候補の一覧表示にある辞書名称をダブルクリックするとその音声認識辞書を使うものとして、一般辞書として選択した一覧に表示される。
決定ボタンをクリックすると編集内容がデータに反映されてメインウィンドウ（図２８）に戻り、キャンセルボタンをクリックするとデータに反映されなでメインウィンドウに戻る。
ユーザ定義辞書の編集ボタンをクリックすると、音声認識辞書を新規に作成する音声認識辞書作成ウインドウ（図３５（ｂ））が表示される。このウインドウにおいて、辞書の名称を入力して辞書追加ボタンをクリックするとその名称で音声認識辞書を新規に作成して音声認識辞書へ単語登録するウインドウ（図３５（ｃ））が表示される。
音声認識辞書作成ウインドウでＯＫボタンをクリックすると音声認識辞書の作成を終了し、音声認識辞書選択ウインドウにもどる。
【０１８５】
音声認識辞書へ単語登録するウインドウ（図３５（ｃ））では、登録したい単語を半角カナでフリガナ欄に入力し、決定ボタンをクリックする。次に名称（表示させたい名称）を選択もしくは新規入力し、コールバックをする際のＰＣＭ音声を選択（無しを選択すればコールバックする場合はＴＴＳを使用する）する。これら３項目の入力をした後に登録ボタンをクリックするとデータ登録され右側の登録単語一覧に追加される。
登録したい単語の登録を全て終わったら戻るボタンをクリックすると音声認識辞書作成ウインドウに戻る。
【０１８６】
次に、シナリオの流れを編集する操作について説明する。
図２８のメインウィンドウにおいて作成中のシーンアイコン３０７を選択してアクティブ状態にする。この状態で、新規シーン作成ボタン３２３をクリックすると、移行の選択ウインドウ（図示せず）が表示される。
この移行の選択ウインドウにおいて、新規に作成するシーンへ分岐させる条件を分岐イベント一覧から選択することで次のシーン（新規作成するシーン）への移行条件がが決定され、メインウィンドウへ戻る。
戻った後のメインウィンドウのシーン展開画面３０５に、新たにシーンが作成され、他のシーンアイコンと区別するため、ＮＥＷと表記される。
なお、分岐イベントの選択ウィンドウで選択できる分岐イベントは、図２５に表示されている。
以上のように、１つの画面要素から次の画面要素に移行するための条件を設定することにより、本願発明における移行条件設定手段及びキャラクタの１つの動作処理から次の動作処理に移行する制限時間を設定する移行制限時間設定手段が形成される。
【０１８７】
次に、シナリオの終了位置を編集する操作について説明する。
図２８のメインウインドウにおいて、シナリオのエンドＩＤボタン３２７をクリックするとエンドＩＤの指定ウインドウ（図示せず）が表示される。
このエンドＩＤの指定ウインドウにおいて、終了位置マークの持つＩＤ番号を指定する。通常は自動割付するが、自動で割り付けると書かれたチェックボックスのチェックをはずせばエディタの操作者が自分で割り付けることもできる。ＯＫボタンをクリックするとＩＤ番号を決定し分岐イベント選択ウインドウ（図示せず）が表示される。
分岐イベント選択ウインドウでは、新規シーン作成時と操作方法は同様にシナリオを終了するための分岐条件を設定する。追加条件設定も同様にできる。このウィンドウで、ＯＫボタンをクリックするとその条件（移行条件）に決定してメインウィンドウへ戻る（移行条件設定手段）。このときメインウィンドウのシーン展開画面３０５には、新たにエンドＩＤが作成され表示される。
以上説明したように、キャラクタ（エージェント）の表示内容、処理内容の少なくとも１つが定義された画面要素を１画面要素（シーン）とし、該画面要素及び画面要素間の移行条件とを組み合わせて画面要素推移体（シナリオ）を作成する画面要素推移体作成手段が形成される。
また、以上説明したように、車両内の表示装置に表示するためのキャラクタの処理内容を設定するキャラクタ表示処理設定手段が形成される。
【０１８８】
図３６は、作成したシナリオをエージェント装置で使用可能な実機形式（ＮＡＶ形式）のフォーマットにコンパイルするための画面操作の流れを表したものである。
メインウインドウ（図３６（ａ））において、ビルドボタン３３２をクリックすると、シナリオコンパイラのウインドウ（ｂ）が表示される。
このシナリオコンパイラのウインドウ（ｂ）において、コンパイルしたデータを出力するファイルの名称を指定し、同時に変換するシナリオを選択（シナリオ一覧リストにチェックしたシナリオを同時に変換する）し、コンパイルボタンをクリックすると、シナリオコンパイラ（２４０−１−２）がデータ変換を開始する。データ変換の状況を結果表示部に表示する。
終了ボタンをクリックするとデータ変換を終了し、メインウィンドウ（ａ）に戻る。
【０１８９】
以上説明したように、画面要素（シーン）、移行条件、分岐要素及び分岐条件を組み合わせて画面要素推移体（シナリオ）を作成する画面要素推移体作成手段が形成される。
また、以上説明したように、車両内の表示装置に表示するためのキャラクタの処理内容を設定するキャラクタ表示処理設定手段が形成される。
【０１９０】
以上説明したように、本実施形態のシナリオ作成装置によれば、シナリオの各シーンにおけるキャラクタの動作を指示する表示状態をキャラクタの種類によらずに共通化したので、キャラクタにとらわれずに実行できるシナリオを作成することができ、キャラクタ毎に作成していたシナリオを１個にまとめることができるため、シナリオ作成が容易になる。
【０１９１】
また説明した実施形態のエージェント装置によれば、エージェントの心理状態として長期的感情要素と短期的感情要素を規定し、両感情要素の両方を参照し、行動を決定することにより、より人間らしくエージェントを振舞わせることができる。
そして、シナリオ作成装置では、両感情要素をシナリオの移行条件として設定可能とし、また、シナリオにおいて両感情条件を変更可能にすることで、より人間らしく振る舞うエージェントのシナリオを作成することができる。
【０１９２】
また、本実施形態によれば、シナリオ作成装置で作成されたシナリオデータに基づいてエージェントを自律的に起動させる（自動で登場させる）条件を満たしたかを判断する処理を定期的にもしくは特定の状態を満たしたときに実行し、条件を満たした場合にエージェントを自動で登場させることができる。
一方、本実施形態のシナリオ作成装置及びシナリオエディタによれば、プログラムの知識の有無に関係無く、シナリオエディタを持つことで特定の条件を満たしたときに自動で登場して対応してくれるエージェントのシナリオデータを容易に作成及び編集することができる。
【０１９３】
また、本実施形態によれば、各個別動作画像を、基本姿勢状態画像で開始し、基本姿勢状態画像で終了するようにしたので、個別動作画像間でキャラクタの姿勢が急激に変わることがなくなり、より自然な動きとすることができる。
また、個別動作画像を開始動画、保持動画、終了動画で構成し、保持動画の再生を繰り返すことで不自然な動作をせずに時間調整をすることが可能となる。
また、品質よりも応答速度が重要な場合には、中断条件を満たした場合に再生中の個別動作画像を中断して次の個別動作画像を再生することでキャラクタの応答を素早くすることができる。
【０１９４】
以上説明本発明の好適な実施形態につて説明したが、本発明では、種々の変形が可能である。
例えば、品質モードにおける中断後の再生を、図３７に示すように第２の品質モードＩＩとしてもよい。
なお、第２の品質モードＩＩは、実施形態の図２０で説明した品質モードに代えて採用してもよく、図２０の品質モードと第２の品質モードＩＩを併用するようにしてもよい。併用する場合には、図３２のキャラクタ動作品質のプルダウンメニューに第２の品質モードＩＩを選択対象に加える。また、エージェント装置では、動作切り替え判断データ（１０−２−３−８）（図１３参照）の自動選択の対象として「クオリティ重視」（図２０の品質モードに対応）と、「反応重視」（図２１の即応モードに対応）に、「クオリティ・反応中間」（第２の品質モードＩＩに対応）を加えて規定する。
【０１９５】
図３７は、第２の品質モードＩＩにおける中断後の再生状態を表したものである。
（１）開始動画再生中の場合
図３７（ａ）に示されるように、開始動画の再生中に中断イベントが発生すると、再生中の開始動画を中断して、終了動画を途中から再生する。
終了動画の再生開始箇所は、再生動画と終了動画の再生時間がＴ１で、開始動画を再生してから中断イベント発生までの時間をＴ２とした場合、終了動画は、Ｔ１−Ｔ２時間経過後の箇所から開始する。この場合終了動画の再生時間もＴ２となる。
開始動画と終了動画は対称関係にある、すなわち、終了動画を基本姿勢状態画像から逆方向に再生すると開始動画と同一になることから、開始動画を中断した際の画像と、終了動画を開始した際の画像とは一致している。このため、中断の際の画像のギャップをなくして、再生中の画像を早めに終了させることができる。
【０１９６】
（２）保持動画再生中の場合
図３７（ｂ）に示されるように、保持動画の再生中に中断イベントが発生した場合には、再生中の保持動画を中断して終了動画を再生し、その後に後続の個別動作画像に移行する。
これにより、保持動画の残りの再生時間だけ即応することができる。この場合、保持動画は保持状態画像から僅かの動きとすることで、終了動画は保持状態画像から開始するので、画像間のギャップは小さくなっている。この場合の保持状態画像１２ｂ１、１２ｂ４からの僅かな動作としては、保持状態画像との差分が１０％を超えない範囲での動きとなっている。
なお、所定範囲内での僅かな動きとしては、単位時間における前画像との差分が１０％以内とするようにしてもよい。また、差分の範囲としては、１０％以外に５％、１５％、２０％としてもよい。
（３）終了動画再生中の場合
図３７（ｃ）に示されるように、終了動画の再生中に中断イベントが発生した場合には、そのまま終了動画を再生した後に後続の個別動作画像に移行する。この動作は、図２０（ｃ）に示した移行と同一である。
以上説明した第２の品質モードＩＩの場合の時間調節用の保持動画では、小さく手を振る、瞬きをする、小首をかしげる等の僅かであるが動作を行うので、エージェントが動作中であることをユーザに認識させることができる。また、保持動画は保持状態僅かな動きであるため、保持動画の繰り返し再生している途中で中断して終了動画に移行しても画像のギャップが大きくなることがない。
【０１９７】
また説明した実施形態では、基本姿勢状態が１つの場合について説明したが、基本姿勢状態を複数設けるようにしてもよい。
例えば、基本姿勢状態をＡ、Ｂ、Ｃの３種類とした場合、各々の基本姿勢状態Ａ、Ｂ、Ｃから開始し保持状態を経てまた基本姿勢状態Ａ、Ｂ、Ｃに復帰する個別動作画像を用意する。各個別動作画像は、説明した実施形態と同様に、開始動画、保持動画、終了動画で構成する。
また、１の基本姿勢状態から他の基本姿勢状態に変化するための基本姿勢変更動画を別個用意する。この基本姿勢変更動画の数は、基本姿勢状態の数がＱであれば、（Ｑ２−Ｑ）個必要となる。例えば、基本姿勢状態がＡ、Ｂ、Ｃの３種類である場合、Ａで開始しＢで終了する基本姿勢変更動画、Ｂで開始しＡで終了する基本姿勢変更動画、Ｂで開始しＣで終了する基本姿勢変更動画、Ｃで開始しＢで終了する基本姿勢変更動画、Ｃで開始しＡで終了する基本姿勢変更動画、Ａで開始しＣで終了する基本姿勢変更動画の６種類の基本姿勢変更動画を用意する。そして、基本姿勢変更動画と個別動作画像をしようして、画像間にギャップのない動画を連続して再生することが可能になる。
このように基本姿勢状態を複数設けることで、キャラクタにより複雑な動作をさせることができるようになる。
【０１９８】
【発明の効果】
請求項１から請求項３に記載の発明によれば、画面要素推移体の１画面要素の実行中に、車載装置又は使用者から所定の指示があった場合、実行中の動画段階の再生品質及び応答速度に対して不自然さを少なくして後続動画を再生することができる。
請求項４、請求項５に記載の発明によれば、車載装置で実行されることでキャラクタがコミュニケーションを行う画面要素推移体と、その起動条件を作成すると共に、画面要素を実行中、使用者又は車載装置からの所定指示がなされた場合に、キャラクタの動作表現を中断するか否かを設定することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態におけるエージェント装置の構成を示すブロック図である。
【図２】同上、エージェント装置における各種状況検出装置の構成図である。
【図３】ＣＰＵでプログラムが実行されることにより実現されるエージェント処理部と、全体処理部との関係を表した説明図である。
【図４】エージェント処理部の構成を表した説明図である。
【図５】外部記憶媒体に集録されている情報を概念的に表した説明図である。
【図６】メンタルモデルデータの内容を概念提供に表した説明図である。
【図７】長期的感情要素を概念的に表した説明図である。
【図８】長期的感情変化条件の規定内容を例示した説明図である。
【図９】短期的感情要素を概念提供に表した説明図である。
【図１０】短期的感情変化条件の規定内容を例示した説明図である。
【図１１】実機形式シナリオデータの構成を表したものである。
【図１２】キャラクタが右手を挙げる動作を表す個別動作画像の内容の一例を表した説明図である。
【図１３】エージェントデータにおける動作切り替え判断データの内容を概念的に表示した説明図である。
【図１４】シナリオのシーンデータに基づいて表示装置に表示されるシーン画面の一例を表した説明図である。
【図１５】旅館が宿泊予定者に送信した案内シナリオによるシーン画面の遷移を各シーン毎に表した画面遷移図である。
【図１６】シナリオ実行処理の流れの一例を表したフローチャートである。
【図１７】シーン処理の流れの一例を表したフローチャートである。
【図１８】描画・音声出力部（１０１−５）によるキャラクタ描画・音声出力処理を表したフローチャートである。
【図１９】個別動作画像を再生する場合に、開始動画、保持動画、終了動画間で移行可能な流れを表した説明図である。
【図２０】品質モードにおける中断後の再生状態を表した説明図である。
【図２１】即応モードにおける中断後の再生状態を表した説明図である。
【図２２】シナリオ作成装置の構成図である。
【図２３】シナリオ編集プログラムとデータの構成を概念的に表したものである。
【図２４】データ形式の変換を概念的に表した説明図である。
【図２５】シーンから次のシーンに分岐（シーン展開）をするための展開条件項目（移行条件）が格納された展開条件項目テーブルである。
【図２６】共通定義ＤＢに格納されている、キャラクタの表示状態指示テーブルの内容の一部を概念的に表した説明図である。
【図２７】共通定義ＤＢに格納されている、キャラクタの表示状態指示テーブルの内容の他の一部を概念的に表した説明図である。
【図２８】シナリオエディタを起動した場合に表示装置に表示されるメインウィンドウの構成を表したものである。
【図２９】シーン展開画面の分岐シーンをアクティブにした場合のメインウィンドウの状態を表した説明図である。
【図３０】シナリオプロパティを編集する画面操作の流れを表したものである。
【図３１】エージェント表示画面に表示したい画面構成を選択する画面操作の流れを表したものである。
【図３２】キャラクタ動作（エージェントの動作）指示を編集する画面操作の流れを表したものである。
【図３３】メインウィンドウにおいて台詞編集ボタンが選択された場合に表示される、示す音声編集メモウィンドウの説明図である。
【図３４】音声編集メイン画面の説明図である。
【図３５】音声認識辞書を編集する画面操作の流れを表したものである。
【図３６】作成したシナリオをナビゲーションで使用可能な実機形式のフォーマットにコンパイルするための画面操作の流れを表したものである。
【図３７】品質モードにおける中断後の再生状態の変形例を表した説明図である。
【符号の説明】
１ エージェント装置装置
２ シナリオ作成装置
３ サーバ
（１） 中央処理装置
（２） 表示装置
（３） 音声出力装置
（４） 音声入力装置
（５） 入力装置
（６） 各種状況検出装置
（７） 各種車載装置
（８） 通信制御装置
（９） 通信装置
（１０） 外部記憶装置
（２００） 制御部
（２１０） 入力装置
（２２０） 出力装置
（２３０） 通信制御装置
（２４０） 記憶装置
（２５０） 記憶媒体駆動装置
（２６０） 入出力Ｉ／Ｆ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an in-vehicle device and a data creating device, for example, an in-vehicle device having an agent function of performing conversation by communication with a passenger of a vehicle or autonomously performing device operation, and executed by the in-vehicle device. The present invention relates to a data creation device for creating a screen element transition body.
[0002]
[Prior art]
For example, a pet-type robot such as a dog, and an agent device that interacts with and responds to passengers by providing guidance on the operation of equipment such as a navigation device in the passenger compartment and asking questions and making proposals according to the situation It is mounted on a vehicle as an in-vehicle device (see, for example, Patent Document 1).
In addition, various possible states of the apparatus are assumed, and measures to be taken when each assumed state is detected are defined according to predetermined data and programs.
[0003]
[Patent Document 1]
JP-A-11-37766
[0004]
In this conventional agent device, for example, when the detection value G1 of the fuel detection sensor 415 becomes equal to or less than the average value G2 (G1 ≦ G2) of the remaining fuel amounts for all five times, the agent E appears on the display device 27. A video of an operation prompting refueling is displayed on the display device 27, and a voice such as “I am hungry! I want gasoline!” Is output from the voice output device 25.
[0005]
[Problems to be solved by the invention]
In a conventional agent device, a state in which an agent performs various operations corresponding to various situations is displayed as a moving image or a still image. For example, a series of videos, such as a video in which an agent bows, a nod video, and a video in which the user raises his right hand and points to the answer to prompt the user to select an answer to the question displayed on the screen, are continuously played according to the situation. Operation.
However, fixing the playback time of a moving image to be displayed causes the following problem. For example, in the case of an animation that prompts an operation, the user may misunderstand that if the user is hesitant to perform the operation, or if the reproduction of the moving image ends while the operation is being considered, the user cannot continue the operation. May be given to In this case, the user does not know what to do thereafter.
Also, in the case where the same moving image is played in a plurality of situations, if the playing time of the moving image is fixed, different audio contents output according to each situation are different, so the sound and the moving image are not synchronized. It will be.
[0006]
Therefore, it is conceivable to make the reproduction time of the moving image variable according to the situation.
For example, a method of adjusting the time by making the entire moving image loopable is conceivable. However, if the transition to the subsequent video occurs during the loop and the video is interrupted, if the position or orientation of the character at the time of the loop interruption differs from the first frame (the first image) of the subsequent video, , An operation gap is generated, and the reproduction quality of the moving image is degraded. Further, depending on the contents of the operation of the agent, an unnatural repetition of the same operation, for example, repeatedly bowing, occurs, giving a sense of incongruity to the user.
On the other hand, it is also conceivable to freeze the image during playback without looping the moving image. However, since the movement of the agent is completely stopped, there is a possibility that the user may be misunderstood that the system has failed or stopped. .
Furthermore, it is conceivable to prepare moving images of different lengths for different reproduction times, but since it is necessary to prepare moving images for different reproduction times, the amount of data to be stored increases, and the time that has occurred since the start of the reproduction of the moving image is uncertain. It is not possible to make a moving image correspond to an unusual situation (vehicle running state, communication state, etc.).
[0007]
Also, when the user makes a selection while playing a moving image that requires the user to make a selection, two methods are conceivable as timing for playing back the subsequent moving image. First, in the case of the method of immediately interrupting the moving image being reproduced and shifting to the subsequent moving image reproduction, the operation becomes unnatural due to the gap between the image at the time of interruption and the start image of the subsequent moving image, and the reproduction quality is reduced.
On the other hand, in the case of the method of reproducing the moving image being reproduced to the end and then reproducing the subsequent moving image, the response of the agent operation to the operation of the user becomes poor.
[0008]
Therefore, in the present invention, when a predetermined instruction is issued from the in-vehicle device or the user during execution of one screen element of the screen element transition body, the reproduction quality and response speed of the moving image stage being executed are unnatural. It is a first object of the present invention to provide an in-vehicle device capable of reproducing a subsequent moving image while reducing the number of moving images.
Further, the present invention creates a screen element transition body with which a character communicates by being executed by the in-vehicle device and a start condition thereof, and a predetermined instruction is given from a user or the in-vehicle device during execution of the screen element. It is a second object of the present invention to provide a data creation device capable of setting whether or not to suspend the motion expression of a character in the event of such a situation.
[0009]
[Means for Solving the Problems]
According to the invention described in claim 1, a start moving image from the basic posture state of the character to a predetermined posture state indicating the expression content, a holding moving image holding the predetermined posture state, and an end moving image from the predetermined posture state to the basic posture state are displayed. A motion expression storage unit for storing a motion expression of a character defined in at least three moving image stages; and a screen element in which at least one of display content and processing content including the motion expression of the character is defined as one screen element. Screen element transition storage means for storing a screen element transition body configured by combining screen elements, screen element transition body execution means for executing the screen element transition body, and executing one screen element of the screen element transition body In response to a predetermined instruction from the in-vehicle device or the user, the running mode is interrupted and the next screen element is executed. After expression is complete, the quality mode for executing the next screen element, a mode determination unit configured to determine, is provided in the vehicle device to achieve the first object.
According to a second aspect of the present invention, in the vehicle-mounted device according to the first aspect, the mode determining means is defined by a screen element of the action expression being executed when a predetermined instruction is given from the vehicle-mounted device or a user. It is characterized in that it is determined whether the mode is the quick response mode or the quality mode from the mode in which it is located.
According to a third aspect of the present invention, in the on-vehicle apparatus according to the first aspect, the mode determination means is configured to respond to a predetermined instruction from the on-vehicle apparatus or a user according to a table defined in the apparatus. Or quality mode. According to the fourth aspect of the present invention, there is provided a screen element creating means for creating a screen element in which at least one of display contents including a motion expression of a character and processing contents is defined, and one screen created by the screen element creating means. Transition condition setting means for setting transition conditions for transitioning from one element to the next screen element, and screen element transition body creation means for creating a screen element transition body to be executed in the in-vehicle device based on the screen element and the transition condition The screen element creation means sets whether or not to interrupt the character expression when a predetermined instruction is given from a user or an in-vehicle device during execution of the screen element. The second object is achieved by further providing an operation interruption setting means for performing the operation.
According to a fifth aspect of the present invention, in the data creation apparatus according to the fourth aspect, the operation interruption setting unit terminates the operation stage being executed and executes the next screen element, and the operation being executed. It is characterized in that one of a quality mode in which the next screen element is executed after the continuation of expression and one of automatic determination on the in-vehicle device side is set.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an agent device which is a preferred embodiment of an in-vehicle device of the present invention, a scenario creation device which is a preferred embodiment of a data creation device, and a scenario editor which is a preferred embodiment of a data creation program will be described with reference to FIGS. This will be described in detail with reference to FIG.
[0011]
(1) Overview of the embodiment
In the agent device of the present embodiment, an image of an agent (character) having a predetermined appearance (a three-dimensional image such as a two-dimensional image and holography) is displayed in the vehicle. Then, a function of the agent device, that is, a function of recognizing and judging surrounding conditions (including movement and voice of a person) from a detection result of a sensor or the like, and outputting a moving image or voice of an operation according to the result, It is executed in conjunction with the movement of the appearance and voice of this agent. For example, an operation of tilting the head is performed together with a question requesting an answer (Japanese food, Western food, etc.) such as "What genre do you like?" Then, the contents of the user's answer to the question are determined (recognition of the answer voice or selection of the answer selection button 54a), and a process corresponding to the next scene (screen element) is executed. In this way, since a request for an answer from the device and the execution of a predetermined operation are started in response to the answer, the user can be as if an agent with a pseudo personality is present in the vehicle. You will feel it. In the following description, execution of a series of functions of such an agent device will be described as an action or operation of an agent.
[0012]
In the agent device of the present embodiment, this agent is caused to perform various communications with the driver and perform operations. Then, various actions (acts) autonomously performed by the agent are composed of a plurality of scenarios (screen element transition bodies). Then, a plurality of scenarios defining the contents of a series of continuous actions (reproduction of a moving image representing a motion and output of audio, and operation with an agent) by the agent, and autonomously starting (starting) deployment of each scenario. Scenario data standardized by the autonomous start condition (start condition) for saving.
change.
[0013]
The scenario is created by the scenario creation device, and is composed of one or a plurality of continuous scenes with a scene (screen element) as a reference unit. One scene is composed of at least one of a moving image and a sound representing the content of the processing to be performed autonomously and the operation of the agent. The transition to which scene after each scene is determined by the transition condition.
[0014]
The motion of the character in each scene is composed of one or a plurality of individual motion images (character motion expressions), and the individual motion image is a moving image of at least one unit capable of expressing a complete meaning. This individual motion image is obtained by starting a moving image from the basic posture state of the character to a holding state (predetermined state) of a predetermined posture, a holding moving image performing a slight motion within a predetermined range from the holding state, and a basic posture state from the holding state. Up to the end movie.
In this way, by configuring each individual motion image of the character as a moving image that returns from the basic posture state to the basic state via a predetermined state, continuity of the movement can be maintained.
Then, the reproduction time of the individual motion image is adjusted by repeating the held moving image. In this case, since the held moving image returns to a predetermined state after performing an operation such as waving a hand or blinking, it is possible to make the user recognize that the agent is operating. Further, in the case where the held moving image has a slight movement in the holding state, the gap between images does not increase even if the moving image is interrupted during the repeated playback of the held moving image and shifts to the end moving image.
When the response speed is more important than the quality, when the interruption condition (a predetermined instruction from the vehicle-mounted device or the user (see FIG. 13)) is satisfied, the individual operation image being reproduced is interrupted and the next operation image is interrupted. The response of the character can be made quicker by reproducing the individual motion image.
[0015]
When the interruption condition is satisfied during the reproduction of the individual motion image, the agent device determines how to reproduce the subsequent individual motion image in the responsive mode, the quality mode defined by the scene (screen element), Determined according to the automatic selection mode. When the automatic selection mode is selected, the quick response mode or the quality mode is determined in advance from a table in accordance with each interruption condition.
[0016]
The user of the agent device or the like creates a unique scenario using the scenario creating device in accordance with a prescribed standard. The scenario creation device can be configured by installing a scenario editing program and data on a personal computer.
The created scenario is transmitted to the agent device via a network such as the Internet, or downloaded to the agent device, and stored in the agent device via a predetermined semiconductor memory, thereby enabling the self (third party) to store the scenario. It is possible to cause the agent to perform the desired action (communication and processing). Further, the created scenario can be attached to an e-mail and transmitted to the agent device.
In this manner, the user can independently and easily create a scenario that allows the agent to function as he or she wants, and thus eliminates resistance to the autonomous operation of the agent device.
In the scenario creation device, when creating a scenario, it is possible to specify, in each scene data, an interruption condition for each individual motion image in each scene and a mode for shifting to a subsequent individual motion image after interruption. ing.
[0017]
(2) Details of the embodiment
FIG. 1 shows an overall system configuration including an agent device and a scenario creating device.
In this system, the agent device 1 of the present embodiment, a scenario creation device 2 of a scenario data creator who is a user who creates scenario data according to a designated standard or a third party, and the Internet or the like using a server 3 or the like. It consists of communication means.
The scenario creation device 2 creates unique scenario data using a scenario editor. Then, the user who has created the unique scenario data can store the scenario data in a semiconductor storage device such as a DVD-ROM or an IC card or other storage media 7 and transfer the scenario data to the agent device 1. Then, the agent device 1 that has received the scenario data reads the scenario data from the storage medium 7 by the storage medium driving device and incorporates the scenario data into the already stored scenario data. Therefore, the agent device 1 can be operated. What is created by the scenario creation device 2 may be the user of the agent device 1 or a third party.
Further, the agent device 1 can incorporate scenario data created by the user or a third party via a network such as the Internet, and can also incorporate scenario data attached to mail.
Further, a third party who wishes to provide a service or the like to the user of the agent device 1 creates scenario data of a predetermined format in the scenario creating device 2 using, for example, a scenario editor and posts it on a homepage. It is made downloadable or transmitted to the agent device 1 as an attached file of an e-mail. The agent device 1 receives the scenario data 5 attached to the e-mail, or the user downloads the scenario data file 4 via a communication means such as the server 3. Also, the agent device 1 transmits the user's response (response mail to the scenario data) obtained in accordance with the execution of the received scenario data to the scenario creator 2 of the scenario creator in the text of the e-mail 6 or an attached file. .
[0018]
First, the configuration and operation of an agent device 1 in which an agent functions autonomously according to a scenario created by a developer or a user will be described.
FIG. 2 is a block diagram illustrating a configuration of the agent device 1 according to the present embodiment.
The agent device 1 according to the present embodiment is mounted on a vehicle and has an agent function such as a function of communicating with a user in the vehicle and a vehicle control function of performing predetermined processing on the vehicle. It also has a navigation function to provide route guidance and the like.
In the agent device 1 of the present embodiment, a central processing unit (1), a display device (2), a voice output device (3), a voice input device (4), an input device ( 5), various situation detection devices (6), various on-vehicle devices (7), a communication control device (8), a communication device (9), and an external storage device (10).
[0019]
The central processing unit (1) includes a CPU (1-1) for executing various arithmetic processing, a flash memory (1-2) for reading and storing programs from an external storage device (10), and a flash memory (1-2). ROM (1-3) storing a program (program reading means) for performing a program check and update process of the above, and a RAM (1-4) for temporarily storing data being processed by the CPU (1-1) as a working memory. ), A clock (1-5) used for measuring the passage of time for decreasing the element value of the short-term emotional element over time, and other time and time measurements, and a screen display on the display device (2). An image memory (1-7) in which image data to be used is stored, and image data is taken out from the image memory (1-7) based on a display output control signal from the CPU (1-1). An image processor (1-6) for performing processing and outputting to a display device (2); a process of converting an audio output control signal from the CPU (1-1) into an analog signal and outputting the analog signal to an audio output device (3); An audio processor (1-8) for converting an analog signal input from the audio input device (4) into a digital audio input signal, and an input device I / F ( 1-9), various input I / F sections (1-10) for receiving information from detectors for detecting various situations, and communication I / F sections (1--1) for exchanging information with other devices. 11) an external device for controlling an external storage device (10) for reading data and programs and writing data from an external storage medium (10-2) such as a CD-ROM, an IC card, a hard disk, etc. It includes 憶 device control section (1-12).
[0020]
The central processing unit (1) includes a route search process, a display guidance process necessary for route guidance, other processes necessary for the entire system, an agent process in the present embodiment (various communication between the agent and the driver, an operation agency operation). In other words, a process of judging a situation and performing autonomously according to the result is performed.
The program (program reading means) for performing the updating process may be stored in the flash memory (1-2) in addition to the ROM (1-3).
All the programs executed by the CPU (1-1), including the programs in the present embodiment, may be stored in a CD-ROM or the like which is the external storage medium (10-2), or may be a part of those programs. Alternatively, all of them may be stored in the ROM (1-3) or the flash memory (1-2) of the main body.
The data and programs stored in the external storage medium (10-2) are input to the central processing unit (1) as external signals and subjected to arithmetic processing, thereby realizing various agent functions and navigation functions. Has become.
Further, the central processing unit (1) of the present embodiment forms a screen element transition body execution means for executing a screen element transition body (scenario) when it is determined that the activation condition (autonomous activation condition) is satisfied. are doing.
[0021]
The display device (2) displays a road map and various image information for route guidance by the processing of the central processing unit (1), and displays various behaviors of the character (moving images) and screen element transitions composed of screen configuration parts. The body (scenario) is displayed. Various display devices such as a liquid crystal display device and a CRT are used as the display device (2). The display device (2) may have a function as an input device (5) such as a touch panel.
The voice output device (3) provides guidance voice when performing route guidance by voice by the processing of the central processing unit (1), a conversation for normal communication with the driver by the agent, and a question for obtaining driver information. Is output. The audio output device (3) is composed of a plurality of speakers arranged inside the vehicle. These may also be used as audio speakers.
[0022]
For the voice input device (4), a dedicated microphone having directivity may be used in order to accurately collect the voice of the driver. The voice recognition processing is executed by the CPU (1-1) using the digital voice input signal obtained by converting the analog signal input from the voice input device (4).
Examples of the voice to be subjected to voice recognition include an input voice of a destination in a navigation process, a conversation of a driver with an agent (including a response by the driver), and the like. Function as a voice input means for inputting the input.
Note that an instruction for voice recognition is set in each scene data as to whether or not the scene requires voice recognition. Then, a dictionary for recognizing the voice to be subjected to voice recognition is specified in the scene data of the scene for which the voice recognition instruction is set.
In some scenarios, an instruction to change the element value of the emotional element of the agent is specified in accordance with the result of the voice recognition (response result of the driver).
[0023]
The input device (5) is used to input a telephone number or coordinates on a map when setting a destination, or to request (request) a route search or route guidance to the destination. The input device (5) is used as a trigger when the driver inputs driver information or when the use of the agent function is started. Further, the input device (5) also functions as one response means for the driver to respond to an inquiry from the agent in communication with the agent by the agent function.
As the input device (5), various devices such as a touch panel (functioning as a switch), a keyboard, a mouse, a light pen, and a joystick can be used.
Further, a remote control using infrared rays or the like and a receiving unit for receiving various signals transmitted from the remote control may be provided.
Further, the voice recognition using the voice input device (4) may be used instead of the input device.
[0024]
FIG. 3 is a block diagram illustrating a configuration of the various situation detection devices (6).
The various situation detection devices constitute situation detection means for detecting various situations in the vehicle.
Various situation detecting devices (6) include a current position detecting device (6-1), a traffic situation information receiving device (6-2), and a brake detector (6-3) for detecting a situation such as a driving operation. , A side brake (parking brake) detector (6-4), an accelerator opening detector (6-5), an A / T shift position detector (6-6), and a wiper detector (6- 7), a direction indicator detector (6-8), a hazard detector (6-9), and an ignition detector (6-10). With the above configuration, a detecting unit is formed by detecting various situations and conditions.
Further, the various situation detecting device (6) includes a vehicle speed sensor (6-11) for detecting the speed (vehicle speed information) of the vehicle, and determines whether the vehicle is traveling based on whether the vehicle speed detected by the vehicle speed sensor is 0 or not. By judging whether or not the vehicle is running, a traveling judgment means is formed.
[0025]
The current position detection device (6-1) is for detecting an absolute position (depending on latitude and longitude) of the vehicle, and is a GPS (Global Positioning System) receiving device that measures the position of the vehicle using an artificial satellite. (6-1-1), a data transmitting / receiving device (6-1-2) that receives a GPS correction signal, an azimuth sensor (6-1-3), and a steering angle sensor (6-1-4). , A distance sensor (6-1-5) or the like is used.
The distance sensor (6-1-5) and the steering angle sensor (6-1-4) also function as driving operation status detecting means.
[0026]
The traffic condition information receiving device (6-2) is for detecting a traffic congestion condition or the like of a road.
The traffic condition information receiving device (6-2) includes a beacon receiving device (6-2-1) for receiving information from beacons arranged on a road and a device (6-2) for receiving information using FM broadcast radio waves. -2) are used, and congestion information, traffic regulation information, and the like are received from the traffic information center using these.
The beacon receiving device (6-2-1) may be used in combination with the current position detecting device (6-1) as the current position detecting means.
[0027]
The brake detector (6-3) detects whether or not the foot brake is depressed. The side brake (parking brake) detector (6-4) detects whether or not the driver is operating the side brake and the state of the side brake (ON or OFF).
The accelerator opening detector (6-5) detects how much the driver depresses the accelerator pedal.
The shift position detector (6-6) detects whether the driver is operating the A / T shift lever, and detects the shift lever position.
The wiper detector (6-7) detects whether the driver is using the wiper.
[0028]
The direction indicator detector (6-8) detects whether the driver is operating the direction indicator and whether the direction indicator is blinking.
The hazard detector (6-9) detects whether or not the driver is using the hazard.
An ignition detector (6-10) detects whether or not an ignition switch is turned on.
A distance sensor (6-1-5) can be used for detecting the vehicle speed.
The various situation detecting device (6) also serves as a device operation situation detecting means, in addition to these, a light detection sensor that detects an operation situation of lamps such as a head lamp and a room lamp, and detects a driver's seat belt attaching / detaching operation. A seat belt detection sensor and other sensors are provided.
[0029]
The GPS receiving device (6-1-1), the data transmitting / receiving device (6-1-2), and the traffic information receiving device (6-2) correspond to the communication device I / F unit (1-11) of FIG. Others are connected to various input I / F units (1-10).
[0030]
In FIG. 2, a communication control device (8) can be connected to the communication device I / F section (1-11). The communication control device (8) is connected to a communication device (9) (such as a mobile phone including various wireless communication devices).
Using these, in addition to telephone line communication, for example, communication with an information providing station that provides karaoke data used for communication karaoke in a car, communication with an information base station that provides traffic information, and agent processing It is also possible to enable communication with an information providing station that provides scenario data to be used.
[0031]
In the present embodiment, the central processing unit (1) can receive an e-mail attached with a scenario via the communication control device (8).
Also, the central processing unit (1) can incorporate browser software for displaying a homepage on the Internet, and can be processed by the CPU (1-1). You can download the data including.
The communication control device (8) may be integrated with the communication device (9).
[0032]
Further, the central processing unit (1) receives the operation status of another vehicle-mounted device (7) by performing in-vehicle communication through the communication I / F unit (1-11), and performs various controls on the vehicle-mounted device. It has become.
For example, the central processing unit (1) controls the air conditioner device such as raising or lowering the set temperature of the air conditioner device, which is various in-vehicle devices (7). In addition, the driver controls the audio device from the audio device such that the output volume of an audio device such as a radio, a CD player, or a cassette player is increased or decreased. The control of these in-vehicle devices is performed along with the execution of the scenario when the control of the in-vehicle devices is specified in the scenario.
[0033]
The external storage device (10) includes an external storage medium drive (10-1) and the external storage medium (10-2). The external storage device (10) reads data and programs from the external storage medium (10-2) under the control of the external storage device control unit (1-12) according to instructions from the CPU (1-1), and Data and programs are written to the external storage medium (10-2).
As the external storage medium (10-2), for example, various storage media such as a flexible disk, a hard disk, a CD-ROM, a DVD-ROM, an optical disk, a magnetic tape, an IC card, and an optical card are used. Each external storage medium drive (10-1) is used.
[0034]
The system may have a plurality of external storage devices (10). For example, driver information data (10-2-3-6), learning item data and response data (10-2-3-7), which are collected personal information, can be easily carried with an IC card or a flexible disk. An example is conceivable in which a DVD-ROM is used for other data. In this way, when driving another vehicle, it is possible to read and use data from the IC card in which these are stored, and to communicate with an agent who has learned the situation in which the user has responded in the past. Become. That is, it is possible to cause an agent having learning content unique to each driver to appear in the vehicle instead of an agent for each vehicle.
Further, even in the case where the image data (10-2-3-4) used in the scenario data + scenario is stored in a DVD-ROM as an example, it is possible to add the data using an IC card.
Thereby, it is possible to add an original scenario unique to each user.
In this way, by storing the screen element transition body (scenario) and the activation condition of the screen element transition body from the outside, the screen element transition storage unit of the present invention is formed, and the screen configuration including the character image and the character The storage means of the present invention is formed by storing the control contents to be executed including the display.
[0035]
The CPU (1-1) is a program (10-2-1) for realizing various agent functions and navigation functions, agent data (10-2-3) and navigation data (10-2-2) used for arithmetic processing. Is stored (installed) in another external storage device (for example, a hard disk device or the like) from the DVD-ROM or IC card shown in the above configuration example, and the necessary programs and the like are stored in the flash memory (1-2) from this storage device. The data may be read (loaded) and executed, or data necessary for the arithmetic processing may be read from this storage device into the RAM (1-4) (loaded) and executed.
[0036]
Next, the configuration of a program executed by the CPU (1-1) including the program according to the present invention will be described.
FIG. 4 shows a relationship between an agent processing unit (101) realized by executing a program by the CPU (1-1) and the overall processing unit (102).
In the present embodiment, a navigation device with an agent function is realized by adding an agent processing unit (101) for realizing an agent function to the overall processing unit (102) for realizing various navigation functions.
[0037]
The agent processing unit (101) and the overall processing unit (102) each have an I / F unit for exchanging processing data with each other, and can acquire processing data from each other.
For example, when the agent processing unit (101) acquires destination data that the driver wants to set as a result of executing communication with the driver according to the scenario data, the agent processing unit (101) supplies the data to the overall processing unit (102). It has become.
The overall processing unit (102) performs a route search based on the acquired destination data, and performs route guidance based on the created travel route data. In this route guidance processing, when guidance such as a course change direction is provided by an image or voice, a scenario in which data necessary for guidance is supplied from the overall processing unit (102) to the agent processing unit (101) to provide a traveling route guidance. It is also possible for the agent to provide guidance in accordance with the scenario data obtained by converting the data into the data.
[0038]
FIG. 5 shows a configuration of the agent processing unit (101).
The agent processing unit (101) includes a scenario driving unit (101-1), an autonomous activation determination unit (101-2), a learning unit (101-3), a character psychology unit (101-4), a drawing / It comprises a voice output unit (101-5), a voice recognition unit (101-7), an agent OS unit (101-8), and an external I / F unit (101-9).
The scenario driving unit (101-1) reads the scenario data (10-2-3-4), and instructs each processing unit based on the scenario data using message communication or the like (the function provided by each processing unit is provided). use. The scenario driving unit (101-1) performs central processing of an agent processing unit, such as managing execution of a scenario and providing various agent functions to a driver.
[0039]
The autonomous activation determination unit (101-2) holds the autonomous activation condition data of each scenario in the scenario data (10-2-3-4), and periodically stores the autonomous activation condition data output from the agent OS unit (101-8). According to the autonomous activation judgment instruction, various conditions and various conditions such as time, place where the vehicle is located, road type such as general road and expressway, vehicle state such as running or stopped, operating state such as operation of navigation device and guidance etc. Comparison and judgment.
When the conditions match, the autonomous activation determination unit (101-2) issues an instruction to the scenario driving unit (101-1) to request execution of a scenario whose conditions match.
Various conditions for comparison with the autonomous activation condition are obtained from the agent OS unit (101-8) and the learning unit (101-3).
[0040]
The learning unit (101-3) in FIG. 5 uses the driver information data (10-2-3-6) and the items (execution results and execution history) obtained by the driver's selection and response in communication with the agent, It is stored as learning item data and response data (10-2-3-7). The learning unit (101-3) also obtains an end ID indicating a method of ending when the scenario ends in a different scene, and stores it as response data (10-2-3-7). These acquired items are stored in the RAM (1-4), but can also be output to an external storage medium (10-2) such as an IC card.
The learning unit (101-3) acquires a change in the situation from the agent OS unit (101-8) and records information on the driving operation. For example, the date and time of power ON (ignition ON) may be stored for the past 10 times in order to determine various situations such as a riding time zone and a riding frequency by the driver. The stored information is provided to, for example, the scenario driving unit (101-1), and is used for giving a change to the development of the scenario, or used for comparing autonomous activation determination.
The learning unit (101-3) in the present embodiment also serves as holding and referencing the driver information, but may be independent as the driver information unit.
[0041]
The character psychology unit (101-4) obtains the current situation managed by the agent OS unit (101-8), and sets the long-term emotion change condition and the short-term emotion change condition (FIGS. 8 and 10) described later. Based on this, the psychological state of the character is autonomously changed between a long-term emotion element and a short-term emotion element.
The character psychology unit (101-4) obtains a mental model change instruction (an instruction to change a character's emotion element value) in a scenario from the agent OS (101-8), and acquires a long-term emotion element according to the change instruction. Change short-term emotional elements.
[0042]
The drawing / sound output unit (101-5) creates a control signal for displaying a screen composed of parts such as a selection button and a title in accordance with an instruction from the scenario driving unit (101-1). Further, in accordance with an instruction from the scenario driving unit (101-1), a control signal for displaying various actions (actions) of the character corresponding to the display state based on the scene data is also created. In the present embodiment, these control signals are transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and are present in the overall processing unit (102). The information is transmitted to the image processor (1-6) through the processing unit for giving an instruction to the image processor, subjected to image processing, and displayed on the display device (2). In 8), a processing unit for giving an instruction to the image processor may be provided.
[0043]
The drawing / voice output unit (101-5) also generates a control signal for outputting a dialog when the agent communicates with the driver in accordance with an instruction from the scenario driving unit (101-1).
In the present embodiment, these are transmitted to the agent OS unit (101-8), transmitted from the external I / F unit (101-9) to the overall processing unit (102), and transmitted to the voice processor in the overall processing unit (102). The audio output control signal is transmitted to the audio processor (1-8) through a processing unit for giving an instruction, is converted into an analog signal, and is output to the audio output device (3). The agent OS unit (101-8) may have a processing unit for giving an instruction to the voice processor.
Note that the drawing / voice output unit (101-5) of the present embodiment has a function of drawing a motion of a character in each scene and a voice output function, but a drawing unit (drawing function unit) and a voice output unit (voice). Output function unit) may be configured separately.
[0044]
The speech recognition unit (101-7) issues a control signal for causing the speech recognition processing unit in the overall processing unit (102) to create a speech recognition dictionary in accordance with an instruction from the scenario driving unit (101-1). Further, the voice recognition unit (101-7) also issues a control signal for starting or stopping the voice recognition process in accordance with an instruction from the scenario driving unit (101-1).
In the present embodiment, these are transmitted to the agent OS unit (101-8) and transmitted from the external I / F unit (101-9) to the voice recognition processing unit in the overall processing unit (102).
The voice recognition processing unit transmits an instruction to start and stop the voice recognition processing to the voice processor (1-8), and the voice processor (1-8) transmits the analog signal input from the voice input device (4). Is to be converted into a digital audio input signal.
When a voice input signal is input, the voice recognition processing unit obtains the digital voice input signal, and based on the digital voice input signal, the voice recognition processing unit performs recognition processing. To the voice recognition unit (101-7). The speech recognition unit (101-7) notifies the scenario driving unit (101-1) of the speech recognition result.
With the above configuration, a voice recognition unit that recognizes voice is formed.
[0045]
The agent OS unit (101-8) manages the current situation by acquiring a change in the situation (including addition of a scenario) such as time, place, and various inputs, and sends a message as necessary to the change in the situation. Each processing unit such as the character psychology unit (101-4) is notified by communication. The status change is supplied from the overall processing unit (102) through the external I / F unit (101-9), or obtained by inquiring.
The information to be obtained is obtained by fetching the detection results and the like by the various situation detecting device (6) from various input I / F units (1-10) and the communication I / F unit (1-11) and RAM (1-4). It is written in. The contents input using the input device (5) are also supplied from the overall processing unit (102) through the external I / F unit (101-9), and the contents are transmitted to each processing unit by message communication as necessary. Notice.
The agent OS unit (101-8) has various other libraries, and provides message communication for exchanging data between the processing units, provides the current time, and manages the memory. It provides a memory necessary for each processing unit to perform processing, and provides a function of reading and writing data from an external storage medium.
[0046]
Also, the agent OS unit (101-8) performs a process related to time using time information acquired from the clock (1-5), and plays a role of a timer to notify the elapse of a specific time. That is, the agent OS unit (101-8) functions as a timer, and counts the timer set time set in each scene of the scenario. The start of the timer and the timer setting time to be counted are notified from the scenario driving unit (101-1), and when the timer setting time elapses, the agent OS unit (101-8) notifies the scenario driving unit (101-1) that the setting time has elapsed. Notify -1).
Also, the agent OS unit (101-8) starts time measurement in response to a short-term change in the emotional element from the character psychology unit (101-4), and the character psychology unit elapses every predetermined time (for example, three minutes). The time information is notified to the section (101-4). The character psychology unit (101-4) decreases the value of the short-term emotion element by a predetermined value (for example, “3”) each time the time-lapse information is notified, and counts the time when the element value becomes “0”. The end instruction is notified to the agent OS unit (101-8).
[0047]
The agent OS unit (101-8) periodically issues an autonomous activation determination instruction to the autonomous activation determination unit (101-2). This periodic autonomous activation determination instruction is issued every predetermined time. The predetermined time should be as short as possible within a range in which the autonomous start-up determination processing that is periodically performed according to the autonomous start-up determination instruction that is periodically issued does not affect other processing of the entire central processing unit (1). Desirably, in the present embodiment, the interval is set to 5 seconds. The predetermined time may be arbitrarily changed by the user by an operation from the input device (5).
Also, the agent OS unit (101-8) issues an autonomous activation determination instruction to the autonomous activation determination unit (101-2) even when it is determined that the change in the situation is large. The case where the change in the situation is large is, for example, when the driver sets a destination, when the vehicle deviates from the guidance route, when scenario data is added, or when the scenario data is deleted. The corresponding items are defined in advance and stored in the RAM (1-4) or the like.
[0048]
The external I / F unit (101-9) is an interface between the agent processing unit (101) and the overall processing unit (102) (the overall processing unit (102) has an agent I / F as a receiver). Department exists). It acquires various information such as navigation information used in the agent processing, and transmits a control signal from the agent processing unit to the overall processing unit to control navigation.
The drawing instruction to the image processor (1-6) and the sound output to the sound processor (1-8), which are notified and notified to the overall processing unit (102) through the external I / F unit (101-9). The agent processing unit is provided with a processing unit that performs instructions to other processors and the I / F unit, such as obtaining instructions and input information from the input device I / F unit (1-9). Or may be done.
[0049]
An overall processing unit (102) in FIG. 4 includes a map drawing unit, a route search unit, a route guidance unit, a current position calculation unit, a destination setting operation control unit, and the like, which are not shown, and performs an navigation signal output process. And an OS unit such as a program for performing display output control necessary for map display and route guidance and voice output control required for voice guidance.
The overall processing unit (102) also includes a voice recognition processing unit that performs voice recognition and a processing unit that converts text data into voice data. The processing unit for adding a browser function or a mail function is added to the overall processing unit (102).
Alternatively, the agent processing unit (101) may have a browser function or a mail function.
In the present embodiment, an extended function for executing the agent process is added to the overall processing unit (102). This extended function includes, for example, means for detecting the type of a traveling road (expressway, national road, etc.) from the road data in the navigation data and the current position, and the curve condition of the traveling road (before the curve, There are means for detecting the end of a curve.
These detected situations are transmitted to the agent processing unit, and are used, for example, to change the emotional elements of the agent.
[0050]
Next, a data configuration (including a program) stored in the external storage medium (10-2) will be described.
FIG. 6 conceptually shows information collected on the external storage medium (10-2).
The external storage medium (10-2) has a program (10-2-1) for realizing various agent functions and navigation functions according to the present embodiment, and agent data (10-2-3) and navigation as necessary various data. Data (10-2-2) is stored.
The navigation data (10-2-2) includes various data necessary for map drawing, route search, route guidance, destination setting operation, and the like. Examples include map data (road map, house map, building shape map, etc.) used for route guidance, intersection data, node data, road data, photograph data, registered point data, destination point data, guide road data, It consists of a file of detailed destination data, destination reading data, telephone number data, address data, and other data, and stores all data necessary for the navigation device. Also, communication area data and the like are stored as needed.
[0051]
The agent data (10-2-3) includes mental model data (10-2-3-1), recommended proposal data (10-2-3-3), and knowledge data (10-2-3-2). ), Scenario data (10-2-3-4), character data (10-2-3-5), driver information data (10-2-3-6), learning item data, and response data (10-2-3-7) and operation switching determination data (10-2-3-8).
[0052]
FIG. 7 conceptually shows the contents of the mental model data (10-2-3-1), and includes a long-term emotion element 10-2-3-1a and a long-term emotion change condition 10-2-3. -1b, a short-term emotion element 10-2-3-1c, and a short-term emotion change condition 10-2-3-1d are stored.
The long-term emotion element 10-2-3-1a and the short-term emotion element 10-2-3-1c store element values representing the mental state of the character. The long-term emotion change condition 10-2-3-1b and the short-term emotion change condition 10-2-3-1d are values of each emotion element based on a detection value of the various situation detection device (6) and data by the navigation function. Are stored, and the change value thereof is stored.
The emotion value of the long-term emotion element 10-2-3-1a and the emotion element value of the long-term emotion change condition 10-2-3-1b are determined by the change value corresponding to the change condition and the value of the emotion element change instruction according to the scenario. Is changed.
[0053]
FIG. 8 conceptually illustrates the long-term emotion element 10-2-3-1a.
As shown in FIG. 8, the long-term emotion element 10-2-3-1a is represented by each element of friendship, obedience, self-confidence, morals, and energy, and each emotion element value is, for example, 0. It is represented by a value of １００100. In the present embodiment, five long-term emotion elements are employed, but other predetermined elements may be added or omitted by adding other elements.
The value of each element varies independently from 0 to 100.
The long-term emotion element 10-2-3-1a satisfies the change condition described in 10-2-3-1b, and a case in which a short-term emotion change is indicated in a running scenario. Changes (updates) by the corresponding values.
[0054]
The long-term emotion element 10-2-3-1a has a reference value of 50 for each emotion element. A higher value indicates that the state is strong, and a lower value indicates that the state is weak. As shown in FIG. 8B, corresponding to the branch condition (transition condition) according to the scenario, each element value is divided into five stages of “very low”, “low”, “normal”, “high”, and “very high”. Is divided into It should be noted that there may be three stages (the width of each element value = 10) excluding “very low” and “very high”. The range of each divided element may be changed by the user of the agent device. In the present embodiment, the change of the emotion element is hard to occur (a large number of ordinary areas are set), but the distribution may be different from that of the present embodiment, for example, evenly allocated.
In the scenario creation device, five long-term emotional elements can be used for scene branching, and individual emotional element values may be used alone. Condition).
For example, if the agent speaks well when the conditions for speaking cheerfully are both high friendliness and cheerfulness, humanity can be expressed more.
[0055]
Although not particularly shown, the contents of the long-term emotion change condition 10-2-3-1b include a description of a condition due to a change or a state such as a navigation function and a vehicle state (column of items), and an emotion that changes in that case. Element change values are specified.
For example, there is a rule such as "when the vehicle accelerates suddenly, the emotion of the agent changes (friendliness and morale are decremented by -1)".
Since the change value of each long-term emotion element defined in the long-term emotion change condition 10-2-3-1b changes long-term emotion, the change value of the long-term emotion change is several percent or less of the entire change range. It is desirable to change with the value.
[0056]
FIG. 9 shows the short-term emotion element 10-2-3-1c in the concept provision.
As shown in FIG. 9, the short-term emotion element includes four elements: joy, anger, sadness, and surprise. Although the number of short-term emotion elements is four in the present embodiment, other predetermined elements may be added or omitted by adding other elements.
Each value of the short-term emotion element 10-2-3-1c changes from 0 to 100, and only one of the elements takes a value larger than 0. That is, when a certain emotion element newly changes from 0 to a predetermined value (for example, 50), other emotion elements having a value before the change change to 0.
In this way, the short-term emotion element is the agent's emotion in the short term at the time corresponding to a certain situation or state, so it does not affect or accumulate the previous value like the long-term emotion element , Only one element takes a value. That is, by preventing a plurality of short-term emotions from being arranged at the same time, a more human-like feeling can be expressed.
However, other changes may be defined. For example, when the element A attempts to change 50, the element A changes to 50 if the other element B before the change is 50 or less, but the element A changes if the element B before the change is larger than 5. Not to be. In this case, of the value of the element B before the change and the value of the element A to be changed, the value may be changed to a value obtained by subtracting a smaller value from an element having a larger value. For example, if element A is 50 and element B is 80, element A remains 0 and element B decreases to 30. If element A is 90 and element B is 40, element A changes to 50 and element B changes to 0.
[0057]
The short-term emotion element 10-2-3-1c satisfies the change condition described in 10-2-3-1d, and the case where a short-term emotion change instruction is given in a running scenario. Changes (updates) by the corresponding values.
Further, the value of the newly changed short-term emotion element decreases over time and eventually becomes zero. For example, if the duration of emotions is defined as 1 hour at the maximum, the time for the value to decrease from the maximum value of 100 to the minimum value of 0 is 1 hour, so the value decreases by 5 every 3 minutes. Become. However, the setting may be changed so as to change by a predetermined value n in a predetermined time t unit.
In this way, the value of each emotion element of the short-term emotion element 10-2-3-1c corresponds to the human emotion that the emotional exaggeration occurs momentarily and subsides with time, Therefore, it changes at a large value up to 100%, and gradually decreases by a predetermined value n at a predetermined time t interval. Thereby, the short-term change of the agent can be made closer to a human.
[0058]
When there is one of the emotional elements of the short-term emotional elements 10-2-3-1c whose value is larger than 0 (for example, joy), the agent's short-term emotion becomes the element of that value (joy). If all the short-term emotion elements are all 0, the short-term emotion of the agent is “normal”.
The reference value of each emotion element of the short-term emotion element 10-2-3-1c is 0, and the higher the value, the stronger the state.
As shown in FIG. 9B, the short-term emotion element 10-2-3-1c is divided into three stages of “small”, “medium”, and “large” in accordance with the branch condition (transition condition) according to the scenario. Has been split. In addition, it is good also as five steps (width of each element value = 20) which added "very small" and "very large". The range of each divided element may be changed by the user of the agent device.
[0059]
Although not shown, the short-term emotion change condition 10-2-3-1d includes a description of conditions such as a navigation function and a vehicle state (condition column) and an emotion that changes in that case. Element change values are specified.
For example, there is a rule such as "When the scenario is forcibly terminated, the emotion of the agent changes (sorrow is increased by +30)".
[0060]
The change value of the short-term emotion element defined in the short-term emotion change condition 10-2-3-1d does not take a negative value unlike the long-term emotion change condition, but is a positive value. As described above, a large value (30, 70, 100 in the present embodiment) up to 100% is defined for the entire change range (0 to 100 in the present embodiment).
[0061]
In FIG. 6, recommendation proposal data (10-2-3-3) is used when a restaurant or the like is proposed as recommendation information to a driver. The recommended suggestion data (10-2-3-3) includes driver name, reading data, restaurant genre data, atmosphere data, fee data, point data,. Based on 3-6) and the knowledge data (10-2-3-2), a restaurant recommended to the driver is searched and suggested. There are sightseeing spots and rest places besides restaurants.
The knowledge data (10-2-3-2) is based on statistical data, and is based on age, gender, preference based on the presence or absence of a passenger, selection based on location, specialty based on location, time and time. Is a data of the tendency of the selection. There are various selection tendencies such as a tendency to select a restaurant, a tendency to select a sightseeing spot, a tendency to select a resting place, and so on.
[0062]
Scenario data (10-2-3-4) provides the agent's actions and questions according to the situation when the agent communicates with the driver, and provides information from the agent autonomously in any situation. Are performed, and a running execution condition that defines how to handle the execution of the scenario with respect to the running of the vehicle is defined.
In the scenario data (10-2-3-4), image data to be displayed separately from the character (image data to be displayed on a scene display screen 54 (see FIG. 14) described later) is also stored.
[0063]
FIG. 10 shows a configuration of the actual machine type scenario data.
The scenario data (10-2-3-4) includes a plurality of scenarios, and includes data for managing the scenarios and data indicating the contents of each scenario.
The management data of the acquisition scenario includes information such as the expiration date of the scenario data, the date of creation, the creator, and the like, and data (scenario number, The scenario name, priority (priority)), the autonomous start condition data of the scenario recorded in the scenario file, and the driver manually using the input device (5) or the like in the scenario recorded in the scenario file. Lists scenario list data that can be started.
[0064]
The data indicating the content of each scenario includes management data for managing each scenario and scene data indicating the content of each scene constituting the scenario.
The data that manages each scenario (“management data for this scenario”) includes information about the scenario, text information for creating a speech recognition dictionary used in this scenario, and the entire scene data that makes up the scenario. The data for management is described.
[0065]
Further, data for determining whether or not to perform standby processing is stored in the scenario management data. The standby process is a process of developing a standby scene that waits in a standby state in the case of automatic startup.
The standby state is a state in which the scenario execution is waited until the user is ready for communication with the agent by the agent notifying the execution of the scenario and confirming whether to execute the scenario. For example, a small agent appears in the upper right corner of the map, talks to the user, "If you touch me, I will recommend a recommended meal place." When the user touches the agent, the mode is changed to the communication mode, and a scenario is developed that says "There is a XX shop 2 km ahead in the direction of travel. Tonkatsu shop has a reputation for taste. Would you like to stop here?" You.
The user can select whether or not to shift to the standby state when executing the scenario.
[0066]
The scene includes a normal scene in which a screen or sound is output, a branch scene in which no screen or sound is output, a clone scene in which a part of the normal scene is used, and a dummy scene.
The normal scene includes management data for managing the scene, screen configuration data, character movement data, various types of processing data, and development management data.
On the other hand, the branch scene is composed of management data for managing the scene and development management data.
[0067]
The data for managing the scene includes information on the scene and data for managing each data section belonging to the scene data.
The screen configuration data describes data (size, display position, etc.) of each part of the screen configuration displayed on the display device (2) in this scene.
In the character motion data, instruction data of an operation performed by the character in this scene and instruction data relating to the contents to be spoken are described. In the instruction data of the action, the instruction data is described as one of two types, that is, an instruction directly by the expression means of each character in the scenario data and an instruction in a state where the character is to be expressed. A moving image corresponding to the operation specified by the instruction data is reproduced as the character's operation.
Various processing data includes information for controlling (performing processing) external devices in this scene, information for controlling navigation, instructions for executing other scenarios, timer setting information, and a mental model for character psychology. Information for changing the emotion element value is described.
The external device includes devices connected to the communication I / F unit (1-11), and includes, for example, a communication control device. The contents to be controlled include a process of making a call to a specific telephone number and a process of disconnecting a call.
The navigation control content includes, for example, setting this point as a destination.
The instruction to change the emotional element value of the mental model includes, for example, decreasing the "friendship degree" of the long-term emotional element by 1 and setting the "joy" of the short-term emotional element to 80.
[0068]
The deployment management data describes information (transition conditions, etc.) such as whether to end the scenario, what the next scene is, or not to deploy anything if any event occurs in this scene. ing.
The event referred to here indicates an action defined in order to advance the development of the scene to the next. For example, when the dialogue of the character has ended, the set time has elapsed, or the driver has selected any answer to the question asked in this scene (eg, "Yes" or "Yes" to the question "Yes" or "No") And so on).
In addition to this event, the development can be changed depending on the learning result.
For example, it can be used when the driver selects "Yes" to the question and the total number of uses is less than 10 times.
In addition to the learning result, the development can be changed by using the date and time, the mental state of the character using the mental model, driver information, and the like.
[0069]
FIG. 11 conceptually shows the contents of the character data.
The character data (10-2-3-5) stores data of a plurality of characters, and can be selected from the input device (5) or the like according to the driver's preference.
The character data (10-2-3-5) includes character image data 102351, character voice data 102352, and character image selection data 102353 for each of the characters A, B,.
[0070]
The character image data 102351 stores a still image indicating the state of the character displayed in each scene specified by the scenario, an individual action image (animation) indicating an action, and the like. For example, an individual motion image such as a moving image in which the character bows, a nodding moving image, or raising the right hand is stored.
The individual motion image is a unit of a moving image that can express at least one or more complete meanings such as nodding (positive meaning) and shaking his head (negative meaning).
An image code is attached to each of these still images and individual operation images.
The character image data 102351 functions as a motion expression storage unit and an image storage unit.
The character (the appearance of the agent) used as the character image data 102351 does not need to have a human (male, female) appearance. For example, the non-human type agent may be the appearance of the animal itself, the appearance of a robot, or the appearance of a specific character.
In addition, the age of the agent does not need to be constant, and as a learning function of the agent, the appearance of the child is first changed to the appearance of a child, and the appearance changes over time (change to the appearance of an adult, May be changed).
[0071]
A scene (screen element) has one or two or more individual motion images, and is composed of individual motion images, audio, and other data.
FIG. 12 illustrates the content of an individual motion image representing a motion in which the character raises the right hand.
As shown in FIG. 12, the individual motion image is composed of at least three types of moving images: a starting moving image (a), a holding moving image (b), and an ending moving image (c). (A) to (c) show representative images at the beginning, end, and the middle of the actually displayed moving image.
By sequentially playing back these three moving images (starting moving image, holding moving image, and ending moving image), individual actions of the character such as bowing are expressed.
[0072]
As shown in FIG. 12A, the start moving image starts with an image (basic posture state image 12a1) representing the basic posture of the character, and is an image (holding state image 12a4) in a holding state (predetermined state) in a predetermined posture. finish.
In the start moving image illustrated in FIG. 12A, an operation from the basic posture state to the smile is displayed by raising the right hand with the elbow bent.
[0073]
As shown in FIG. 12B, the retained moving image starts with the retained state image 12b1 and ends with the retained state image 12b4.
The held moving image moves based on the held state image 12b1 while holding the content represented by the character in the intermediate images 12b2 and 12b3, and then returns to the held held state image 12b4.
In the holding moving image illustrated in FIG. 12B, the head tilts in the middle image 12b2 with respect to the holding state image 12b1, and the head returns to the original position in the middle image 12b3, and the angle between the mouth and the wrist is changed. Is changing.
The reproduction time of the individual motion image is adjusted according to the number of repetitions of the held moving image. When the shortest reproduction is performed on the individual motion image, the reproduction of the held moving image is omitted. That is, the shortest moving image passing through the holding state images 12a4 and 12c1 is executed by reproducing the end moving image following the start moving image.
[0074]
The end moving image starts with the holding state image 12c1 and ends with the basic posture state image 12c4, as shown in FIG. The end moving image is a moving image for returning to the basic posture state.
Note that the holding state image 12a4 at the end of the start moving image, the holding state images 12b1 and 12b4 at the start and end of the holding moving image, and the holding state image 12c1 at the start of the end moving image are the same image.
Further, the end moving image is the same as the one reproduced in reverse from the holding state image of the start moving image to the basic posture state.
[0075]
As described above, since each individual motion image of the character starts and ends in the basic posture state, the motion of the character can be continued even if it is composed of a plurality of individual motion images in each scene (screen element).
[0076]
FIG. 13 conceptually shows the contents of the operation switching determination data (10-2-3-8) in the agent data (10-2-3).
The operation switching determination data (10-2-3-8) is used to determine whether to shift to the subsequent individual operation image in the response mode or the quality mode according to the interruption condition during reproduction of the individual operation image. Is a table that defines
Each event (such as the end of a character motion) defined in the “item” column shown in FIG. 13 corresponds to the interruption condition, and the quality mode defined in the “motion switching judgment” column is the quality mode, and the response priority is the quality mode. It supports the quick response mode.
The agent device uses the operation switching determination data (10-2-3-8) when a mode corresponding to the interruption condition is not defined in the scenario to be executed and when automatic selection is set in the scenario. Then the mode is decided.
[0077]
FIG. 11B conceptually shows a reproduction time table stored in the character image data 102351.
The reproduction time table stores a reproduction time when the start moving image and the end moving image in each individual motion image are reproduced and a reproduction time when the held moving image is reproduced once.
The agent device reproduces one or a plurality of individual motion images in accordance with the definition of each scene data of the scenario, for example, audio output time, etc., and reproduces individual moving images in accordance with the prescribed time. In order to make this possible, a play time table is referred to. For example, when the character performs an operation "bowing" while greeting "Good morning. Thank you for today," it is assumed that the output time of the voice is calculated, for example, 6 seconds. In this case, a reproduction time of 1.5 seconds is preferentially allocated to each of the start moving image and the end moving image from the reproduction time table, and a holding moving image is allocated to the remaining three seconds.
Since the time allocated to the held moving image is 3 seconds and the reproduction time of the held moving image is 1.5 seconds, N = 2 times, and the held moving image is reproduced twice.
[0078]
Character voice data 102352 (FIG. 11A) stores voice data for the agent to have a conversation with the driver according to the scene of the selected scenario.
The voice data of the conversation by the agent also stores voice data for the agent to ask a question for collecting driver information. As an example, "Hello", "I Regards", "And I", and the like are stored.
Each of these voices is provided with a voice code.
[0079]
The character image selection data 102353 is a conversion table in which image data representing an expression method (operation) of each character is assigned to each display state.
The scenario data (10-2-3-4) defines the contents of each scene by a common display state that does not depend on the type of character.
For this reason, the character image selection data 102353 is a conversion table for converting the display state of the commonly expressed scene into image data for displaying the details of individual actions for the character selected by the user. Function as
[0080]
The driver information data (10-2-3-6) in FIG. 6 is not particularly shown, but is information on the driver, and is used to make the agent communication more suitable for the driver's wishes, hobbies, and preferences. Used. This driver information data is also used as a condition for starting a scenario and a condition for shifting a scene.
The driver information data (10-2-3-6) includes driver ID (identification information), name, age, gender, marriage (married or unmarried), child for storing information for each driver. Driver basic data including presence / absence, number of people, and age, and hobby / preference data are stored.
The hobby / taste data includes large items such as sports, eating and drinking, and traveling, and detailed items included in the concept of these large items. For example, large item sports store data such as whether or not they like baseball, whether or not they like soccer, and whether or not they like golf.
The driver information data (10-2-3-6) is created for each driver when a plurality of drivers drive the vehicle. Then, the driver is specified and the corresponding driver information is used.
[0081]
In FIG. 6, the learning item data and the response data (10-2-3-7) are data for storing the result of learning by the agent based on the driver's selection and response in communication with the agent.
Accordingly, the learning item data and the response data (10-2-3-7) are stored and updated (learned) for each driver.
For example, the result of the previous selection, the date and time of the last use, the total number of times of use, and the like are stored as the use state of the scenario.
According to this learning content, for example, in a scenario in which a greeting is given each time the navigation power is turned on, if the last use is less than 5 minutes, it will respond as "I met you just before" or conversely, more than one month If they are open, they respond to "It's been a long time".
[0082]
FIG. 14 illustrates an example of a scene screen displayed on the display device (2) based on scene data of a scenario.
The scene screen shown in FIG. 14 is a scene screen (scene number 0x0001) of a question scenario in which a question is asked from the driver in order to acquire a hobby preference (meal) which is driver information that has not been input.
As shown in FIG. 14, the scene screen includes an agent display screen 51 on which an individual operation image of the agent is displayed, a balloon screen 52 on which characters corresponding to the voice of the agent are displayed, a title screen 53, and a scene specific screen. Of the image data (images of actual image data, answer selection buttons, etc.) are displayed.
The agent displayed on the agent display screen 51 is a character selected by the user or a default character.
[0083]
When the scenario driving unit (101-1) of the agent processing unit (101) starts the question scenario of hobbies and preferences (meals), first, the screen configuration data of the scene specified by the scene header is converted into scenario data + image (10- The scene screen read out from 2-3-4) is displayed on the display device (2), and a question voice corresponding to the question sentence is output from the voice output device (3).
On the scene screen of the question scenario of FIG. 14A, “Which genre of food do you like?” Is displayed on the balloon screen 52. Then, a sound corresponding to the display of the balloon screen 52 is output from the sound output device (3).
Further, the scene display screen 54 in the scene screen of FIG. 14A displays “Japanese food”, “Western food”, “Chinese food”, and “particularly none” of the four answer selection buttons 54a.
Then, in accordance with the voice output of the character, an individual motion image in which the character raises the right hand and points to the answer selection button 54a is reproduced and displayed.
[0084]
A plurality of scenes corresponding to the driver's answer branch off and follow the scene of the question to the driver. The branch of each scene and the specification of the subsequent scene are determined according to the driver's answer in accordance with the development management data of each scene.
That is, when the driver selects the answer selection button “Japanese food” on the scene screen (scene number 0x0001) in FIG. 14A, the scenario driving unit (101-1) branches to the scene screen (b) corresponding to the answer. Is displayed. In this scene screen (b), the selected "Japanese food" is displayed on the title screen 53, and "I like Japanese food" is displayed on the balloon screen, and in the scene of the Japanese food after branching, The actual image 54b of the Japanese food read from the scenario data is displayed on the scene display screen 54. Then, the driver of the driver, for example, “Japanese food” is stored as driver information in the hobby / preference data of the driver information data (10-2-3-6) by the scenario driver (101-1). Has become.
In this way, by sequentially displaying and outputting each scene image and sound specified in the scenario up to the last scene, the action of the agent in one scenario is completed.
[0085]
FIG. 15 shows the transition of the scene screen according to the guide scenario transmitted by the inn to the prospective guest for each scene.
This guidance scenario is composed of scene screens (a) to (f) among a plurality of scene screens.
The next scene screen branches to 0x0004 and 0x0006 according to the user's selection result for the scene screen (c). Although the branch is not made in the example of FIG. 15, the scene screen may be made to branch so that the dish according to the type of the selected dish is displayed on the scene display screen 54 also in the scene screen (d).
In this guidance scenario, a standby scene (s) that is displayed when standby processing is set by the user is set.
[0086]
Hereinafter, each action of the agent according to the reservation scenario will be described with reference to FIG.
The operations of the agents and the display of the screens described below corresponding to the respective scene screens are all displayed according to the data, images, and instructions stored in the scenario data of the external scenario. Although described as the operation of the agent, the scenario driving unit (101-1) of the agent processing unit (101) actually performs the processing.
Further, although images in the basic posture state are displayed on each scene screen, individual motion images corresponding to each of the scene screens (a) to (f) are reproduced. For example, on the scene screen (a), an individual action image in which the agent bows is played, and on the scene screen (d), an individual action image (see FIG. 12) of raising the right hand while bending the elbow is played.
[0087]
When the setting not to use the standby processing is selected by the user, the reservation scenario is activated and the scene is developed from the scene of number 0x0001.
On the other hand, when the setting to use the standby processing is selected, the standby scene (s) in FIG. 15 is developed.
In the example displayed in FIG. 15, a screen immediately before performing the standby process, that is, a map screen for route guidance by the navigation function is displayed. The agent is displayed on the display screen (2) having the touch panel function in a small size at the upper right on the screen immediately before this. (Character display means)
Then, the user is notified that the scenario is to be executed, such as "If you touch me, I will give you a guide to the reserved inn.", And ask for permission to execute (confirmation of execution). If the voice data of the agent is specified in the scenario data, the voice is output.
Then, when an OK intention display by the driver is detected in accordance with the prompt for execution permission, a normal scenario is sequentially developed from the very first scene.
In the standby scene, when a device operation such as navigation or a predetermined time elapses without displaying OK intention, the execution of the scenario is terminated by a timer notification.
[0088]
In the case where an OK intention is displayed in the standby scene, or when the standby process is not selected, the reservation scenario is activated.
That is, the scene screen of the number 0x0001 is first displayed on the display device (2). In this scene, the agent of the character managed by the agent OS unit (101-8) appears on the agent display screen 51, bows and greets by voice. The content of the greeting by voice is the same as the text displayed on the balloon screen 52.
The greeting by voice is performed by the agent on behalf of the inn, but displaying a photographic image of a landlady at the inn on the scene display screen 54 expresses the greeting from the inn. The image of the landlady is an image received and added as a part of the external scenario, and is stored as actual image data of the scenario data (10-2-3-4).
The instruction for the operation of the agent follows the instruction stored in the character operation instruction data.
When the greeting by the agent ends, the state transits to the next scene 0x002.
[0089]
In the next scene 0x0002, an image of an open-air bath is displayed on the scene display screen 54. Then, the agent points to the picture of the open-air bath, and the specialty of the inn (it is sold here) is explained by the agent and the display of the balloon screen 52.
When the talk of the agent is finished, the process transits to the next scene 0x0003, and displays the image of the meal of the day (image of kaiseki cuisine) on the scene display screen 54. Question.
It is assumed that timer setting time and timer setting condition “set only during traveling” are defined in the scene data of scene 0x0003. In this case, the time measurement by the timer is started at the start of the scene on condition that the vehicle is running. It is determined that the vehicle is traveling if the vehicle speed sensor (6-11) or the distance sensor (6-1-5) detects the vehicle speed v = 0, and the vehicle is stopped, and the vehicle speed v ≠ 0 is detected. In this case, it is determined that the vehicle is running.
[0090]
If the user selects "Yes" as a response to the question as to whether to change the displayed dish, the process branches to scene 0x0004, and if the user selects "No", the process branches to scene 0x0006.
On the other hand, if the user gives a timer notification (elapse of the set time) without answering by voice or selecting a selection button displayed on the screen within the timer set time, it is defined by scene data of scene 0x0003. The scenario is terminated according to the transition condition at the time of the timer notification.
In this way, even when there is no answer from the user, it is determined that no answer has been selected, and the transition to the next scene (the end in the example of FIG. 15) in which no answer is the transition condition enables the personification. The communication with the converted character can be made closer to the communication between humans.
[0091]
In scene 0x0004, a selectable list other than kaiseki cuisine is displayed on the scene display screen 54. The agent points to the list on the scene display screen 54 and asks which dish is better.
Then, when the user selects any one, the state transits to the scene 0x0005. In the scene 0x0005, a list of the number of persons to be changed from kaiseki cuisine is displayed on the scene display screen 54, and the agent points to this list to ask a question of the number of persons. Then, when the user selects any one, the state transits to the scene 0x0006.
[0092]
In the scene 0x0006, an exterior photo image of the inn is displayed on the scene display screen 54, and the agent bows and greets.
Then, as a result of the user's selection, in the case of the guidance scenario shown in FIG. 15, the agent sends a response result on meals to the third party (inn) that transmitted the running external scenario via the communication control unit. .
As described above, when it is desired to obtain information about the user, the creator of the external scenario prepares a scene of a question in which the information to be obtained is obtained in the scenario, and creates the scenario such that the answer is transmitted by e-mail. I do. If a reply needs to be sent, the e-mail address of the creator is included in the scenario data.
When the story of the agent in the last scene (scene 0x0006 in FIG. 15) ends, the scenario ends.
[0093]
In this way, the scenario driving unit (101-1) sequentially displays and outputs individual motion images and sounds for each scene specified in the scenario up to the last scene.
When the activated scenario ends, the scenario driving unit (101-1) determines whether or not there is a request to activate another scenario.
[0094]
Next, an operation of autonomously starting various scenarios executed by such a scenario driving unit (101-1) will be described.
The autonomous activation determination unit (101-2) acquires status information such as the current position and time from the agent OS unit (101-8) via the agent I / F in order to acquire the current status information. Then, it is determined whether any of the autonomous activation conditions is satisfied.
When the autonomous activation condition is satisfied, the autonomous activation determination unit (101-2) issues a scenario execution request message corresponding to the autonomous activation condition to the scenario driving unit (101-1). Then, the execution of the scenario is started.
[0095]
FIG. 16 is a flowchart showing the flow of the scenario execution process.
FIG. 16 shows a series of typical operations performed by each unit of the agent processing unit (101) and the overall processing unit (102) when executing a scenario, and each unit performs an independent process. It has become. In other words, the independent processing of each unit is continuous, resulting in the typical flow shown in FIG.
Specifically, each unit of the agent processing unit (101) and the overall processing unit (102) perform processing on the message upon receiving the message, and wait for the next message when the processing is completed.
[0096]
Upon receiving the scenario execution request from the autonomous activation determining unit (101-2), the scenario driving unit (101-1) performs agent start preparation processing by securing and initializing a work memory (step 505-1).
Then, the scenario driving unit (101-1) checks whether the execution request of the scenario is a manual start or an automatic start (step 505-2). The manual activation is when the user selects the scenario activation from the menu of the display device (2), and the automatic activation is when the autonomous activation condition of the scenario is satisfied.
If the execution request of the scenario is a manual start, a menu scenario request process is performed (step 505-3). Thereafter, the process proceeds to a scenario data reading process (step 505-4).
[0097]
On the other hand, in the case of the automatic startup, since there is a scenario whose execution is requested by satisfying the autonomous startup condition, the process directly proceeds to the scenario data reading process (step 505-4).
Next, the scenario driving section (101-1) reads the scenario data to be executed into the RAM (1-4) (step 505-4). When reading the scenario data, if there are a plurality of scenarios to be executed (when a plurality of autonomous activation conditions are satisfied, when a manual activation request and an automatic activation overlap, etc.), the scenario driving unit (101) -1) reads the scenario data having the highest priority by determining the priority specified for each scenario. If the priorities are the same, the priority is determined to be higher in the order in which the execution requests are received from the autonomous activation determination unit (101-2).
[0098]
When the reading of the scenario data is completed, the scenario driving section (101-1) performs a scenario start process (step 505-5).
In the scenario start process, the scenario driving unit (101-1) first performs an initialization process for starting a scenario. Further, if the standby scene is selected, the scenario driving unit (1011) executes the standby scene described with reference to FIG. 15 (s), confirms the OK intention display, and selects the standby scene. If not, the scenario start process ends.
[0099]
After the scenario start process (step 505-5), the scenario driving unit (101-1) executes a scene process for processing the drawing and sound of the character according to the contents of the scenes constituting the scenario (step 505-6). ). The details of the scene processing will be described later with reference to FIG.
When the scene processing is completed, the scenario driving section (101-1) checks whether the scenario has ended (step 505-7).
When the scenario ends, the scenario driving unit (101-1) performs a scenario end process (505-8). In the scenario ending process, the learning unit (101-3) obtains an end ID indicating a method of ending and stores it in response data (10-2-3-7).
If the scenario has not ended (if the scenario still continues), the process returns to step 505-6 and repeats the next scene, next scene,... Until the scenario end position.
[0100]
After the scenario end processing, the scenario driving unit (101-1) checks whether there is another execution request for the scenario (step 505-9). Returning to the data reading process (step 505-4), the same process is executed.
On the other hand, when there is no other scenario to be executed, the scenario driving unit (101-1) executes an agent termination process (step 505-10). That is, it notifies the agent OS unit (101-8) that the execution processing of all the requested scenarios has been completed.
Thereafter, the screen displayed on the display device (2) returns to the normal navigation screen, but the subsequent processing is transferred to the overall processing unit (102) via the agent I / F.
[0101]
FIG. 17 is a flowchart showing the flow of the scene processing (step 505-6).
The scenario driving unit (101-1) checks the type of the scene to be started in the scene processing (step 505-6-1), and in the case of a normal scene or a standby scene, analyzes the scene data (step 505-5-1). The process proceeds to 6-2). In the case of a clone scene, the process proceeds to a process of requesting various processes (step 505-6-5).
Although not shown, if the scene is a dummy scene, the scenario driving unit (101-1) instructs processing according to various types of processing data as background processing, and then performs scene determination processing (step 505-13). Move to
On the other hand, in the case of a branch scene, since there are no various processes such as output of a screen or sound, the process proceeds to a scene determination process (step 505-6-13) in order to determine a next scene to be developed according to additional conditions.
Here, the clone scene is a case where the same screen as the original scene (scene that ended immediately before) n is displayed depending on how the certain scene n ends, for example, when no input is made within the set time. This is a scene in which a voice prompting an input is output on the same screen.
In addition, a branch scene is a scene provided before the scene in order to make a transition to a specific scene and to be started, and in which a condition for screen transition (branch) is determined without screen display. is there.
[0102]
If the starting scene is a normal scene or a standby scene, the scenario driving unit (101-1) stores the starting scene data in the RAM (SRAM) in which the scenario data read in step 505-4 (FIG. 16) is stored. With reference to 1-4), the screen configuration to be displayed, the motion instruction of the character, and the like are analyzed (step 505-6-2).
As a result of the analysis, if a speech recognition dictionary exists, the scenario driving unit (101-1) sends a request (setting) for setting (initializing) the speech recognition dictionary specified in the scene data to the speech recognition unit (101-7). Notification is made to the user (step 505-6-3).
In the case of the standby scene, an affirmative or negative voice recognition dictionary is set.
[0103]
Next, the scenario driving unit (101-1) performs a process for requesting the drawing / sound output unit (101-5) to draw a screen, as a process of determining each part of the screen to be drawn. A data creation process is performed (step 505-6-4).
In the screen data creation processing of the screen configuration, for example, among the scene screens illustrated in FIG. 16, items related to the character such as the agent display screen 51 and the balloon screen 52 in which the dialogue of the character is displayed are determined.
[0104]
The scenario driving unit (101-1) issues various processing instructions (step 505-6-5).
The instructions for various processes include processes for a navigation system and an externally connected device, and a request process for time measurement when a timer is set.
In addition, the scenario driving unit (101-1) is set as an instruction for changing each element value of the long-term emotion element or the short-term emotion element as the various processing when the instruction is set for the scene. The change of the long-term emotion element 10-2-3-1a and the short-term emotion element 10-2-3-1c of the mental model data (10-2-3-1) in response to the given instruction is performed by the character psychology unit (101). -4).
The character psychology unit (101-4) changes the value of each emotion element according to the change value specified in the scene according to the instruction. That is, if the element is a long-term emotion element, the specified change value is added or subtracted. If the element is a short-term emotion element, the value of the short-term emotion element is changed to the specified change value, and another short-term emotion element is changed. Set the value to zero.
As described above, the long-term emotional change and the short-term emotional change of the agent are stored in the agent device in accordance with the predetermined conditions (the long-term emotional change condition 10-2-3-1b, the short-term emotional change condition 10-2). In addition to the change according to -3-1d), it is possible to change according to the change instruction of the emotion element set in the scenario. For this reason, it is possible to change the emotion of the agent according to the intention of the creator of the scenario.
[0105]
Next, the scenario driving unit (101-1) determines the character motion of the scene and the voice such as dialogue, and requests the drawing / voice output unit to draw / voice output the determined character. , The drawing voice output unit performs character drawing / voice output processing (step 505-6-6).
The creation of character drawing data by the scenario driving unit (101-1) is the same as the drawing data creation processing of the screen configuration shown in FIG. 16 except that the part of the scenario to be created is different from a screen configuration part or a character-related part. Done in In the case of creating the character drawing data, the voice of the character corresponding to the speech displayed on the balloon screen 52 and the voice data of the sound effect are also specified.
After creating the character drawing data (including voice data), the scenario driving unit (101-1) issues a character drawing request to the drawing / voice output unit (101-5) based on the generated character drawing data.
The drawing / voice output unit (101-5) performs character drawing / voice output processing in accordance with the drawing request from the scenario driving unit (101-1). The character drawing / voice output process develops a scene in which the character bows, points right or left by hand, or speaks to the user.
In the case of the standby scene, a character smaller than normal (FIG. 15A) is displayed as illustrated in FIG.
[0106]
FIG. 18 is a flowchart showing a character drawing / voice output process by the drawing / voice output unit (101-5).
The drawing / voice output unit (101-5), upon receiving a request for a character motion instruction or drawing data from the scenario driving unit (101-1), analyzes a motion instruction content (step 505-6-6-1 @ 505). -6-6-8), operation reproduction processing (step 505-6-6-9), and request end reply (step 505-6-6-10).
[0107]
In the operation instruction content analysis processing, the drawing / speech output unit (101-5) first determines whether or not it is a unified (common) operation instruction independent of the type of the received drawing instruction content character (step 505-6). -6-1), if the drawing instruction is given by the expression method specified for each character (direct instruction: see FIG. 37B), the processing shifts to the action reproduction processing (step 505-6-6-9). I do.
[0108]
If the drawing instruction is a unified display form that does not depend on the character, the drawing / voice output unit (101-5) converts the instruction content.
In the conversion, first, the type of the character set at that time is obtained from the agent OS unit (101-8) (step 505-6-6-2).
Next, the drawing / audio output unit (101-5) converts a conversion table (character image selection data) 102353 in which a correspondence table between the unified operation instruction (display state number) and the operation instruction content (image code) for each character is written. From the character data (10-2-3-5) of the external storage device (10).
Then, the drawing / voice output unit (101-5) acquires the operation instruction content of the character to be operated based on the conversion table, that is, the image code of the character corresponding to the display state number of the scene data (step 505-6). -6-4).
[0109]
The drawing / voice output unit (101-5) determines that if the acquired operation instruction information is set to cause the system to automatically select a character operation instruction (step 505-6-6-5; Y), Further, the following processing is performed.
That is, the drawing / voice output unit (101-5) firstly outputs the operation automatic selection condition information such as time, place, driver information, agent mental model, etc. to each information included in the agent processing unit such as the agent OS unit. Is acquired from the processing unit (101-8) that manages (step 505-6-6-6).
Next, automatic selection from agent data (10-2-3) which is already read into the RAM when the power is turned on, and describes selection condition information of unified operation instructions such as time and character unified operation instructions. A table is obtained (step 505-6-6-7).
Then, the drawing / voice output unit (101-5) acquires the unified operation instruction based on the selection condition information of the unified operation instruction such as time and the automatic operation selection table. Based on the unified operation instruction, the operation instruction is determined by referring to the conversion table 102353 acquired in step 505-6-6-3 to acquire the operation instruction content (image code) (step 505-6-6). 6-8).
[0110]
Next, the drawing / audio output unit (101-5) performs an operation reproduction process (step 505-6-6-9).
That is, the drawing / voice output unit (101-5) outputs the character image data 102351 of the selected character in the character data (10-2-3-5) based on the operation instruction content (image code) of the character. (See FIG. 11), an individual motion image to be reproduced is obtained.
If the motion instruction request of the character is a content for synchronizing and outputting the speech of the character with the motion of the character, the voice data is acquired from the character voice data 102352 of the character data (10-2-3-5).
[0111]
Then, when outputting audio data, the drawing / audio output unit (101-5) acquires the output time t1 of the audio data, and when there is no audio data output, the drawing / audio output unit (101-5) is specified in the scene data. Obtain time t1. Hereinafter, the time t1 is the entire time allocated to the reproduction of an individual moving image, and is therefore referred to as a total allocated time.
The drawing / sound output unit (101-5) is assigned to the speech or the time specified by the scene data (defined to be reproduced while the speech of the speech is output or within the specified time). The reproduction time of the individual motion image is obtained from the reproduction time table (see FIG. 11B).
[0112]
The drawing / sound output unit (101-5) determines the number N of times of reproduction of the held moving image in each individual motion image from Expression (1) from the obtained reproduction time of each individual motion image and the obtained total allocation time t1. I do.
In this equation, the total assigned time is t1, the playback time of the start moving image is t2, the playback time of the held moving image is t3, and the playback time of the end moving image is t4. Also, the total values of the reproduction times of all the start moving images, all the holding moving images, and all the end moving images are denoted by Δt2, Δt3, and Δt4, respectively.
In this case, time Δt2 is allocated to all start moving images, time Δt4 is allocated to all end moving images, and time (t1− (Δt2 + Δt4)) is allocated to all retained moving images.
As described above, the time is preferentially allocated to the start moving image and the end moving image of each individual motion image, and the remaining time is allocated to each holding moving image.
[0113]
[Formula 1]
n = (t1- (Σt2 + Σt4)) / Σt3 (remaining time t5) (1)
[0114]
Then, the drawing / audio output unit (101-5) calculates n and the remaining time t5 from Expression (1), and determines the number of times of reproduction of each held moving image as follows.
(A) When t5 = 0
Number of plays N = n times for all retained videos
(B) When t5 ≠ 0
Number of plays N = n from the first retained video to the (m-1) th retained video
Number of plays N = n + 1 times from the m-th held moving image to the last held moving image
Here, m is the maximum value of p that satisfies {t3} ≧ t5, where {t3} is the total playback time from the p-th held moving image to the last held moving image.
For example, when 7 seconds are allocated to the held moving images a to d (each reproduction time is 1 second), n = 6/4 = 1 and the remainder is 2, so that the number of times of reproduction of a and b is 1 , C and d are reproduced twice.
[0115]
In the present embodiment, the reproduction of the individual motion image ends at the same time as or after the allotted time t1. You may make it complete | finish before specified time. In this case, the basic (standing) held moving image shown in FIG. 11B is repeatedly played until the audio output ends or the specified time elapses.
If the total assigned time t1 is shorter than the sum of the reproduction times of the start moving image and the ending moving image, only the start moving image and the ending moving image are reproduced.
[0116]
FIG. 19 illustrates a flow that can be switched between a start moving image, a held moving image, and an end moving image when an individual motion image is reproduced.
As shown in FIG. 19, each moving image is continuously played back via the holding state screen. (1) Video following the start video
The start moving image can shift to the next two moving images.
{Circle around (1)} When the number of reproductions of the held moving image is N ≠ 0, the processing shifts to the held moving image.
{Circle around (2)} When the number N of reproductions of the held moving image is N = 0, the process moves to the end moving image.
(2) Video following the retained video
The retained moving image can shift to the next two moving images.
{Circle around (3)} When the number N of reproductions of the holding moving image is N> 2, the processing shifts to the holding moving image.
{Circle around (4)} When the number N of reproductions of the held moving image is 1, the processing shifts to the end moving image.
(3) Video following the end video
The end moving image does not shift to a moving image in the same individual motion image, but shifts to a start moving image of a subsequent individual moving image.
[0117]
Next, a case where the interruption condition is satisfied during the reproduction of the individual motion image will be described. The scenario driving unit (101-1) monitors whether or not the interruption condition (the condition described in the item column) specified in FIG. 13 is satisfied during the reproduction of the individual motion image.
When any of the interruption conditions is satisfied, the scenario driving unit (101-1) draws a transition mode (quality mode, quick response mode) when transitioning to the next individual operation image, and draws / sounds the interruption event. It is supplied to the output unit (101-5).
The transition mode is determined to be the specified transition mode when the transition mode is defined for the individual operation image being reproduced. When the automatic mode is specified for the individual operation image and when the transition mode is not specified, the operation switching determination data (10-2-3-8) (see FIGS. 6 and 13) is used. Then, a transition mode corresponding to the interruption condition is determined.
As described above, the transition mode is determined by the scenario driving unit (101-1), thereby constituting a mode determination unit.
[0118]
When the interruption event is supplied from the scenario driving unit (101-1), the drawing / audio output unit (101-5) executes the moving image stage (starting moving image) in accordance with the transition mode (quality mode, quick response mode). , The holding moving image, and the ending moving image), and shifts to (executes) the subsequent individual motion image.
[0119]
FIG. 20 shows the playback state after the interruption in the quality mode.
As shown in FIG. 20, in the quality mode, the occurrence of the interruption event differs depending on which moving image is being reproduced.
(1) When starting movie is playing
As shown in FIG. 20A, when an interruption event occurs during the reproduction of the start moving image, the reproduction of the start moving image is ended, the held moving image is reproduced once, and the subsequent individual operation is performed after the reproduction of the end moving image. Move to image.
If an interruption event occurs during the reproduction of the start moving image, after the reproduction of the start moving image is finished, the end moving image is reproduced without reproducing the held moving image, and the process may shift to the subsequent individual operation image. Good. In this case, since the held state image is displayed at the end of the start moving image and at the beginning of the end moving image, there is no gap at the time of transition between the two moving images, and the subsequent individual operation image can be reproduced as soon as the reproduction of the held moving image is omitted. it can.
[0120]
(2) When holding video is playing
As shown in FIG. 20B, when the interruption event occurs during the reproduction of the held moving image, the end moving image is reproduced after the reproduced moving image is reproduced to the end, and thereafter, the subsequent individual operation image Move to
In the case where the held moving image is being reproduced, if the p-th reproduction is being performed (p <N) with respect to the N times of reproduction determined by the above equation (1), the reproduction of the held moving image is omitted Np times. . Therefore, a certain degree of responsiveness can be secured without gaps between moving images while maintaining quality.
(3) When playing back ending video
As shown in FIG. 20C, when the interruption event occurs during the reproduction of the end moving image, the process moves to the subsequent individual motion image after reproducing the end moving image.
[0121]
As described above, in the quality mode, there is no gap between the moving images being played back, the interrupted individual motion image ends in the basic posture state, and the subsequent individual motion image starts from the basic posture state. Can be maintained and the transition to the subsequent individual operation image can be performed.
[0122]
FIG. 21 shows a playback state after interruption in the prompt mode.
As shown in FIG. 21, in the case of the quick response mode, the moving image being reproduced is interrupted regardless of the point in time at which the interruption event occurs, and a transition is made to a subsequent individual motion image.
In the case of the quick response mode, there is a slight gap when transitioning to the subsequent individual moving image because the interruption is performed when the interruption event occurs, but for example, the subsequent individual operation can be performed with good response without unnecessary waiting for the agent device user. Images can be played.
[0123]
As described above, when there is an interruption event, when there is no interruption event, the reproduction data of the individual motion image determined by the drawing / audio output unit (101-5) is transmitted to the agent OS unit (101-8) and transmitted to the external I / F unit (101-10). -9) is transmitted to the overall processing unit (102), and is transmitted to the rendering processor (1-6) through the processing unit for instructing the rendering processor (1-6) in the overall processing unit (102). The information is sequentially reproduced and displayed on the display device (2).
The acquired voice data is transmitted to the agent OS section (101-8), transmitted from the external I / F section (101-9) to the overall processing section (102), and is transmitted to the audio processor (1--1) in the overall processing section (102). The signal is transmitted to the audio processor (1-8) through the processing unit for giving an instruction to 8), the audio output control signal is converted into an analog signal and output to the audio output device (3).
[0124]
Next, the drawing / voice output unit (101-5) performs all the character motion processing requested by the scenario driving unit (101-1), and then terminates the character drawing / voice output process of the requested scene. The scenario drive unit (101-1) is notified (FIG. 18, step 505-6-6-10), and the process ends.
If the request is to output the voice of the character in synchronization, the scenario driver (101-1) is notified of the end of the character voice output process when all the voices have been output.
[0125]
After the drawing / voice output unit (101-5) notifies the end of the scene character drawing / voice output process, the scenario driving unit (101-1) issues an instruction for voice recognition in the scene data being processed. (Step 505-6-7, FIG. 17, step 505-6-7). If there is no instruction, the process proceeds to step 505-6-9. If there is an instruction, the voice recognition specified by the scene data is performed. A speech recognition process is performed using the dictionary (step 505-6-8).
[0126]
The scenario driving unit (101-1) notifies the user of the user input from the agent OS unit (101-8) when there is no voice recognition instruction and after the voice recognition processing (step 505-6-8) is completed. Upon receipt, it confirms what the input is (step 505-6-9) and performs processing corresponding to the input.
As described above, since each process is executed independently, even if an input is notified from the agent OS unit (101-8) even during the voice recognition process (step 505-6-8). , A process corresponding to the input is executed in parallel. Therefore, if the user selects the speech recognition selection button and is notified from the agent OS unit (101-8) during the speech recognition processing, the next processing (step 505-6) is performed regardless of the processing stage of the speech recognition processing. -9) is executed.
For example, in the case of a standby scene, it is possible to determine whether or not the driver has indicated the intention of OK (affirmation) based on whether or not the screen of the display device has been touched. Regardless of the processing stage of the voice recognition processing, the next processing (step 505-6-9) is executed.
[0127]
For example, when receiving an input related to cursor movement from the agent OS unit (101-8), the scenario driving unit (101-1) moves the cursor and processes a screen drawing request (screen scroll request). Is performed (step 505-6-10).
When the user selects any one of the answer selection buttons 54a displayed on the scene display screen 54 (see FIG. 14), it is determined which item has been selected (step 505-6-11).
As described above, the processing in FIGS. 16 and 17 is an example of the scenario processing, and in actuality, each unit independently performs individual processing. For this reason, although not shown in FIG. 17, when speech recognition start or stop is input, confirmation of user input, such as requesting the speech recognition unit to start or stop speech recognition processing (step 505-6). There are other processes after performing -9). In addition, even before the drawing / voice output unit (101-5) notifies the end of the character drawing / voice output processing of the scene, that is, before the action of the instructed character is completed, the user's input confirmation ( Step 505-6-9) can also be performed.
[0128]
Next, the scenario driving unit (101-1) refers to the scenario management data (see FIG. 10) in the deployment determination process (step 505-6-12) based on the determination result of the selected item. Determine the next development.
When there is no next development, the scenario driving unit (101-1) returns to the user input determination without performing any processing.
[0129]
On the other hand, if the next development exists, or if the scene determined in step 505-6-1 is a branch scene, the scenario driving unit (101-1) performs a scene determination process for determining a next development scene. Is performed (step 505-6-1).
In the scene determination processing, the scenario driving unit (101-1) acquires the transition condition set for the currently processed scene from the deployment management data of the scenario data (see FIG. 10).
Then, the scenario driving unit (101-1) converts the target state change (defined in FIG. 25) or the target state corresponding to the acquired transition condition (deployment condition or additional condition) into the character psychology unit (101-4). Or from the agent OS unit (101-8).
Then, it determines one of a normal scene, a clone scene, and a branch scene to be developed next, which is defined by the development management data, with respect to the received state change or the transition condition satisfied by the target state.
[0130]
After determining the next scene to be developed by the scene determination processing, the scenario driving unit (101-1) proceeds to the scene end processing (step 505-6-14) to proceed to the next development. In the scene end process (step 505-6-14), if there is a process that the scenario driving unit (101-1) has requested to another processing unit, a request to stop the process is made (for example, a request for the voice recognition process is made). If so, a request to stop the recognition process is made), and the process returns. Upon return, the process moves to the scenario end determination (step 505-7) in FIG.
[0131]
Next, the configuration and operation of a scenario creation device in which a user or a third party creates an original scenario will be described.
FIG. 22 shows the configuration of the scenario creation device.
The scenario creation device includes a control unit (200), an input device (210), an output device (220), a communication control device (230), a storage device (240), a storage medium drive device (250), An input / output I / F (260). These devices are connected by bus lines such as a data bus and a control bus.
[0132]
The control unit (200) controls the entire scenario creation device.
The scenario creation device can execute not only a scenario editing program but also other programs (for example, a word processor or a spreadsheet). The control unit (200) includes a CPU (200-1), a memory (200-2), and the like.
The CPU (200-1) is a processor that executes various arithmetic processing.
The memory (200-2) is used as a working memory when the CPU (200-1) executes various arithmetic processing.
The CPU (200-1) can write and erase programs and data in the memory (200-2).
In the memory (200-2) in the present embodiment, an area for the CPU (200-1) to create, edit, and store scenario data according to a scenario editor (scenario editing program) can be secured.
[0133]
The input device (210) is a device for inputting characters, numerals, and other information to the scenario creation device, and is constituted by, for example, a keyboard and a mouse.
The keyboard is an input device for mainly inputting kana and English characters.
The keyboard is used, for example, when the user inputs a login ID or password for logging in to the scenario creation device, or inputs a sentence to be subjected to speech synthesis or speech recognition when creating a scenario.
The mouse is a pointing device.
When operating a scenario creation device using a GUI (Graphical User Interface) or the like, an input device used for inputting predetermined information or the like by clicking a button or icon displayed on a display device. It is.
[0134]
The output device (220) is, for example, a display device or a printing device.
As the display device, for example, a CRT display, a liquid crystal display, a plasma display, or the like is used.
Various screens such as a main screen for creating a scenario and a screen for selecting a screen configuration in each scene are displayed on the display device. In addition, the selected information and the input information are displayed on each screen.
As the printing device, for example, various printer devices such as an ink jet printer, a laser printer, a thermal transfer printer, and a dot printer are used.
[0135]
The communication control device (230) is a device for transmitting and receiving various data and programs to and from the outside, and a modem, a terminal adapter, and other devices are used.
The communication control device (230) is configured to be connectable to, for example, the Internet or a LAN (Local Area Network). The communication control device (230) transmits scenario data created by the device by exchanging signals and data with other terminal devices or server devices connected to these networks by communication, or by a third party. The created scenario data can be received (downloaded), and further, data necessary for creating the scenario data can be obtained.
The communication control device (230) is controlled by the CPU (200-1), and transmits and receives signals and data to and from these terminal devices and server devices according to a predetermined protocol such as TCP / IP.
[0136]
The storage device (240) includes a readable and writable storage medium and a drive device for reading and writing programs and data from and to the storage medium.
A hard disk is mainly used as the storage medium, but it can also be constituted by another readable / writable storage medium such as a magneto-optical disk, a magnetic disk, and a semiconductor memory.
The storage device (240) stores a scenario editing program (240-1), scenario editing data (240-2), and other program data (240-3). As other programs, for example, a communication program for controlling the communication control device (230) and maintaining communication with a terminal device or a server device connected to the scenario creation device via a network, or scenario creation such as memory management and input / output management An OS (Operating System), which is basic software for operating the device, is also stored in the storage device (240).
[0137]
The storage medium drive (250) is a drive for driving a removable storage medium to read and write data. Examples of the removable storage medium include a magneto-optical disk, a magnetic disk, a magnetic tape, an IC card, a paper tape punched with data, and a CD-ROM.
In the present embodiment, the scenario data created and edited by the scenario creation device (the form used by the agent device) is mainly written in IC cards.
The scenario creation device obtains a scenario from the storage medium storing the scenario data by driving the storage medium by the storage medium drive (250), or transfers the created scenario data from the storage medium drive to the storage medium. Or can be stored.
[0138]
The input / output I / F (260) is configured by, for example, a serial interface or an interface of another standard.
By connecting an external device corresponding to the interface to the input / output I / F (260), the function of the scenario creation device can be extended. Examples of such external devices include a storage device such as a hard disk, a communication control device, a speaker, and a microphone.
[0139]
Next, the configuration of the scenario editing program (240-1) and the scenario editing data (240-2) will be described.
FIG. 23 conceptually shows the configuration of a scenario editing program and data.
The scenario editing program (240-1) includes a scenario editor (240-1-1), a scenario compiler (240-1-2), and a DB editing tool (240-1-3).
The scenario editing data (240-2) includes a common definition DB (240-2-1), a local definition DB (240-2-2), and SCE format scenario data (240-2-3) created by a scenario editor. And actual machine format (NAV format) scenario data (240-2-4) converted by the scenario compiler.
The scenario editor (240-1-1) is an application program for creating scenario data.
[0140]
The scenario compiler (240-1-2) converts the scenario data (240-2-3) in SCE format created by the scenario editor (240-1-1) into real scenario data (240- This is an application program for converting to 2-4) and functions as a conversion unit.
FIG. 24 conceptually shows the conversion of the data format.
As shown in FIG. 24, the scenario compiler (240-1-2) converts one or more SCE format scenario data (240-2-3) into one real machine format (NAV format) scenario data (240 -2-4).
[0141]
The DB editing tool (240-1-3) is an application program for editing and updating data stored in the common definition DB (240-2-1).
The common definition DB (240-2-1) stores definition data for creating scenario data. The common definition DB (240-2-1) stores an automatic activation condition item, a development condition item and an additional condition item (transition condition) defining a scene development condition, a character display state instruction table, and the like. This common definition DB (240-2-1) may exist not on the storage device of the scenario creation device but on a server connected by a local area network (LAN). By doing so, it becomes possible for each scenario creation device connected by a local area network (LAN) to create scenario data using the common common definition DB (240-2-1).
The local definition DB (240-2-2) stores a screen configuration defined by the scenario creator while creating the scenario data.
[0142]
The SCE format scenario data (240-2-3) is data created by the scenario editor (240-1-1).
The actual machine format (NAV format) scenario data (240-2-4) is converted from the SCE format scenario data (240-2-3) into a data format for use in the agent device by a scenario compiler (240-1-3). Data.
[0143]
Some of the items that can be edited by the scenario editing program will be exemplified. These are stored in the common definition DB (240-2-1).
FIG. 25 shows a development condition item table defined for a normal scene and storing transition conditions (development conditions) for developing from the normal scene to the next scene (normal scene, branch scene). . As shown in FIG. 25, the development condition item table defines the state changes of various objects such as the end of character movement, scenario interruption, and selection of "Yes" as a user response.
A plurality of development condition items can be set for one normal scene, but one development condition item can be set between a normal scene and another normal scene and between a normal scene and a branch scene. .
The expansion condition item table is stored in the common definition DB (240-2-1).
Each of the development condition items is read out when the development configuration of each scene is created, and is displayed in a list in the branch condition designation window. By selecting an expansion condition item from the displayed list and, if it is not stored in the table, by separately defining and adding an expansion condition using the DB editing tool (240-1-3), the scene A deployment configuration is created.
By repeatedly selecting the development condition items for one normal scene, and setting a plurality of normal scenes or branch scenes to be developed thereafter, a scene having a plurality of transition destinations (branched into a plurality of scenes) can be created. it can.
[0144]
FIGS. 26 and 27 conceptually show a part of the contents of a unified operation instruction table independent of characters. The character setting means will be described below with reference to FIGS. 26 and 27.
In this table, the display state of the common action is defined regardless of the type of the character, and the table is classified according to the content to be expressed by the character.
There are a plurality of unified motion instruction tables that do not depend on the character. In the present embodiment, each of the display state instruction tables for the work state (FIG. 26), mental state (FIG. 27), TPO state, growth state, and scale state is included. Exists.
As shown in FIGS. 26 and 27, each display state instruction table has a plurality of tree structures, and the shape and classification name of each tree structure are displayed in a character movement state instruction edit window described later. It has become.
[0145]
As shown in FIGS. 26 and 27, a state instruction number is assigned to each item at the end of the tree of the display state instruction table. This state instruction number corresponds to the state instruction number of the character image selection data (conversion table) 102353 of the agent device 1 (see FIG. 9).
[0146]
In these tables, as shown in FIG. 26 and FIG. 27, the levels (careful, ordinary, strong, medium, weak, etc.) defined in the lower layer with respect to the display state are represented by the system (agent device). Is provided with an item "automatic" to be automatically selected.
For the scene in which automatic is selected, the agent device determines which level of the display state of the character to use based on the character mental state, date and time, etc., and selects and executes one of the display states. Will be.
[0147]
The common definition DB (240-2-1) further includes voice recognition data used for voice recognition, data used for character motion instructions (separate speech instruction data also exists), and settings for each scene. Character image data and character dialogue data for previewing and confirming a given instruction, a conversion table for each character's expression method for unified instructions independent of the character, and each part data to be displayed on the display device (2) and the like. Screen configuration data describing how to arrange the items, and items that can be selected as processing contents in the scene, for example, on / off and channel selection of an audio device, an action that can be processed by an agent, and an air conditioner device. Various processing contents such as ON / OFF and temperature setting, setting of destination to be supplied to the whole processing unit (102), etc. Data, etc. are stored in the common definition DB (240-2-1).
The common definition DB (240-2-1) also includes items related to start conditions for editing automatic start conditions and additional condition items (items to be set in branch scenes) for diversifying scenarios. Is stored.
All of these definition data can be changed and added using the DB editing tool (240-1-3), similarly to each definition data.
[0148]
Character image data for previewing and confirming an instruction set in each scene includes image data of various characters stored in the agent device.
The user can also store character image data of another character and a conversion table from the agent device in the common definition DB of the scenario creation device via the IC card 7 or the server 3.
[0149]
Next, each operation of scenario creation by the scenario creation apparatus configured as described above will be described according to screen transitions.
FIG. 28 illustrates a configuration of a main window displayed on the display device when the scenario editor (240-1-1) is activated.
As shown in FIG. 28, the main window includes a scene screen 301 on which a scene screen being created (a scene screen (see FIG. 14) displayed on the display device (2) of the agent device 1) is displayed. A setting screen 303 on which setting items to be set are displayed, a scene development screen 305 in which the scene development configuration (branch state) is displayed in a tree structure of scene icons 307 representing each scene, and a processing icon display unit Have been.
[0150]
When the scenario editor (240-1-1) is started, a start point 308 is displayed on the scene development screen 305 of the main window. When this start point 308 is selected, the scenario properties can be edited. The selection is made, for example, by double-clicking the mouse with the point position of the mouse cursor set at the corresponding position.
The screen configuration change button 309 is a button for selecting a screen configuration to be displayed, and the sound effect setting button 110 is a button for displaying a screen for setting a sound effect for each scene of a scenario.
When the agent display screen 311 is selected, an editing screen of the operation of the agent (character) is displayed.
The dialogue edit button 313 is a button for editing the instruction of the character's dialogue. When the button part and the background voice recognition dictionary setting 315 are selected, the voice recognition dictionary to be used can be edited. When the one displayed with the mark of the answer selection button 315a (54a) on the scene screen 301 is selected, the name of the word to be recognized is displayed on the scene screen, and when the person 315b to be recognized in the background is selected, the voice recognition target is displayed. The name of the recognized word is not displayed.
[0151]
The timer setting button 317 is a button for setting and changing timer setting information.
In the control instruction edit 319 for external devices and the like, control instructions for external devices and the like (including navigation) are set.
In the voice recognition start control instruction 320a, a voice recognition instruction that defines how to start voice recognition when performing voice recognition in a scene being created is set. As the voice recognition instruction, any one of “start automatically”, “do not start automatically”, and “determine by agent device (vehicle device) (automatically)” can be selected. I have.
In the callback control instruction 320b, an instruction as to whether or not to perform callback for confirming the result of voice recognition is set. The instruction of the callback may be any one of “call back”, “do not call back”, and “agent device determines (relies on agent)” in which the agent device determines the situation and determines whether or not to perform callback. Can be selected.
The AMM change setting change button 321 is a button for changing each long-term emotional element of the agent in the scene being created, as described later.
[0152]
The scene development display unit 322 displays development condition items and additional condition items specified for the scene (active state) specified on the scene development screen, and scenes to be continued (connected) when the condition items are satisfied. Is displayed.
On the left side of the scene development display section 322, as shown in FIG. 28, development conditions (see FIG. 24) and additional condition classifications (see FIG. 25) set for the active scene are displayed in a tree structure. . On the right side of the scene development display section, the contents of the transition condition and the connection destination (scene number of the development destination) are displayed.
[0153]
The processing icon display section includes a scene creation button 323, a branch scene creation button 324, a dummy scene creation section 325, an alias scene designation button 326, an end ID button 327, a link ID button 328, an insert button 329, an up / down replacement button 330, A scene playback button 331, a build button 332, and other processing buttons are displayed.
[0154]
The scene creation button 323 is used when a new normal scene is created.
When the scene creation button 323 is clicked, the flow of the scenario can be edited (the next scene is created). When the scene creation button 323 is clicked, a normal scene to be developed next to the currently selected scene can be created.
By branching the flow of the scenario with the scene creation button 323, a development configuration for each normal scene is created. For example, in the scene development configuration displayed on the scene development screen 305 in FIG. 28, when the scene creation button 323 is clicked while the normal scene icon 5 is selected (actively displayed), the scene 5 is displayed. The icons of the subsequent scenes are displayed on the lower layer side, and the normal scenes 7, 8,... Which are developed after the scene 5 are branched and created by clicking a plurality of times (performing the creation operation a plurality of times).
[0155]
That is, by clicking the scene creation button 323 while selecting the scene m (normal scene or branch scene), the next normal scene m1 following the scene m is created. When the scene creation button 323 is clicked again with the scene m selected, the next normal scene m2 following the scene m is created by branching in parallel with the normal scene m1. Similarly, when the scene creation button 323 is clicked while the scene m is selected again, a normal scene m3 is created.
Then, when it is desired to further develop the scene following the created normal scene m1, by clicking the scene creation button 323 with the normal scene m1 selected, the next normal scene m1-1 following the normal scene m1 is displayed. Created. When another scene branching from the normal scene m1 is created, the scene m1 is selected again and the scene creation button 323 is clicked to create a scene m1-2 following the scene m1.
Furthermore, if the scene creation button 323 is clicked while the created normal scene m1-1 is activated, a normal scene m1-1-1 following the normal scene m1-1 is created.
[0156]
A branch scene creation button 324 is used when a new branch scene is created. By clicking the branch scene creation button 324, the flow of the scenario can be edited (the next branch scene is created). When the branch scene creation button 324 is clicked, it becomes possible to create a branch scene to be developed next to the currently selected scene.
By branching with a plurality of additional conditions following the development condition by using the branch scene creation button 324, it is possible to create a development configuration for each normal scene by a logical operation (logical sum, logical product) of the transition condition.
For example, in the scene development configuration displayed on the scene development screen 305 in FIG. 28, when developing from the normal scene 1 to the normal scene 2, by inserting the branch scene 4 and the branch scene 6 between the normal scenes, When the state change specified in the normal scene 1 is performed, and when both the branch condition 4 and the branch condition 6 are satisfied, the normal scene 2 is developed following the normal scene 1. In this way, by using a plurality of branch scenes, it is possible to create a scenario for performing various developments by setting various conditions.
[0157]
In FIG. 28, the branch scene is represented by reference numeral 333. The branch scene can be created following the normal scene or following the branch scene. For example, by selecting the branch scene creation button 324 in a state where the normal scene 1 on the scene development screen 305 in FIG. 28 is active, a branch scene 4 is created. By selecting 324, the branch scene 6 is created.
The method of creating a branch scene hierarchically is the same as the method of creating a normal scene described above.
[0158]
The dummy scene creation button 325 is a button for creating a dummy scene.
The dummy scene is composed of management data for managing the scene, various types of processing data, and deployment management data, and weekly processing such as destination setting processing in the navigation function and storage processing of the learning result of the agent is specified. You.
[0159]
The alias scene designation button 326 is a button for shifting from the active scene (normal scene, branch scene) to another created scene (normal scene, branch scene).
For example, when the branch scene 6 is activated in the scene development configuration of the scene development screen 305 and the alias scene designation button 326 is selected, and then the scene screen 5 to be transitioned is selected, the alias representing transition to the scene screen 5 is displayed. Screen 334 is displayed.
[0160]
The end ID button 327 is a button for creating an end ID for specifying the end position of the scenario.
When the end ID button 327 is clicked, a scenario end position 340 can be created. At the end position 340 of each created scenario, an end number is assigned as an end ID.
When the end position 340 of the created scenario is selected, an end property editing screen is displayed. On this screen, each short-term emotion element of the agent can be set and changed.
[0161]
The link ID button 328 is a button for creating a link ID for linking another scenario to a scene.
The insert button 329 is a button for inserting a normal scene, a branch scene, and a dummy scene before an active state (normal scene, branch scene) or an end mark, respectively. Select the button corresponding to the type of each scene.
The up / down replacement button 330 is a button for changing the up / down position of a scene, and includes a button for moving an active scene up and a button for moving down an active scene.
The scene playback button 331 is a button for playing an active normal scene.
The build button 332 is a button for compiling the created scenario into an actual device format (NAV format) for use in the agent device.
[0162]
Note that the main window shown in FIG. 28 is an example of a scenario being created, and only the start point 308 is displayed on the scene development screen 305 when the scenario editor (240-1-1) is started. Nothing is displayed on the scene screen 301, and the setting screen 303 is not yet set (default values are displayed).
[0163]
FIG. 29 shows the state of the main window when the branch scene is activated on the scene development screen 305.
As shown in FIG. 29, when a branch scene (branch scene 4 in the figure) is selected and activated, an additional condition classification display column 335 and an additional condition item column 337 are displayed in the area of the scene screen 301 (see FIG. 28). Is displayed.
The branch condition classification display column 33 displays the classification of the additional condition item selected for the active branch scene.
The branch condition item column displays additional condition items for specifying a branch destination.
[0164]
FIG. 30 shows a flow of a screen operation for editing a scenario property.
In the main window shown in FIG. 28, when the start point 308 displayed on the scene development screen 305 is double-clicked, a scenario property editing window shown in FIG. 30 is displayed over the main window.
[0165]
In the scenario property edit window, enter the scenario name, enter the kana name, select the icon, select the genre, set the priority, set the expiration date (the upper limit of the time lag from when the start condition is satisfied until the actual start), and run You can set the middle execution condition, set the scenario start condition (separate window), set the standby processing use condition, enter the creator name, and enter a comment. The input of the scenario name and the input of the kana name input on this screen are management data and the like in the scenario data in the actual machine format.
When the user clicks the OK button 402 in the scenario property editing window, the edited content is reflected in the data, and the process returns to the main window. On the other hand, if the cancel button 403 is clicked, the data returns to the main window without being reflected in the data.
When the user clicks a standby processing use condition setting button 409 in the scenario property edit window (FIG. 30), a standby processing condition screen is displayed, and the user can select whether or not to perform standby processing.
[0166]
When a start condition setting button 401 is selected in the scenario property edit window, a main edit window for a scenario start condition (automatic start condition) is displayed (not shown).
In the main edit window of the scenario start condition, it is possible to set so that the user can manually start the scenario. In this case, uncheck the check box and set not to start manually.
The automatic start conditions (autonomous start conditions) list in the main edit window of the scenario start conditions show the conditions under which the system automatically starts the scenario.
When a new creation button is clicked in the scenario start condition main edit window, an automatic start condition selection window (not shown) is displayed, and a new start condition can be edited.
[0167]
In the automatic start condition selection window, a judgment condition item (category) to be set is selected, and when the decision is clicked, the process proceeds to a condition range selection window for automatically starting. For example, if you want to automatically start (autonomously start) a scenario while driving on a highway, select the "Select type" item in "Select when to start the road condition", and then select "Select type". Highway ".
[0168]
Next, various operations for creating a scenario other than the autonomous activation condition will be described. FIG. 31 shows a flow of a screen operation for selecting a screen configuration to be displayed on the agent display screen 51 (see FIG. 14).
When a scene icon 307 displayed on the scene development screen 305 of the main window shown in FIG. 31A is selected and activated, a scene screen 310 corresponding to the selected scene icon is displayed. Then, when the screen configuration change button 309 of the setting screen 303 is clicked, a screen configuration selection window (b) is displayed.
In the screen configuration selection window (b), a list of screen configurations that can be displayed on the scene display screen 54 (see FIG. 18) is displayed. A basic screen in which nothing is displayed, a two-select screen in which two selection buttons are displayed, a button selection screen in which a plurality of selection buttons are displayed, for example, a list selection screen in which a plurality of items such as a prefecture name are displayed in a list In addition, various selectable screens such as an image display screen for displaying image data are displayed.
Select one screen configuration from each screen configuration displayed in the list, and click the OK button. If you want to change the screen configuration, confirm it with a confirmation dialog, and if you want to change it, change to that screen configuration and change to the main window ( Return to a). When returning to the main window, the scene screen 301 is changed to the newly selected screen configuration and displayed.
[0169]
The processes and operations based on FIG. 32 to FIG. 35 form a display element (image and sound) of the character, a screen element creation unit for setting a screen element based on the processing content, and a character setting unit.
FIG. 32 shows a flow of a screen operation for editing a character motion (agent motion) instruction.
When the agent display screen 311 is double-clicked with a mouse in the main window (FIG. 28) showing the editing state of the scene screen, an action instruction edit dialog (individual instruction) (FIG. 32A) or a character action instruction edit dialog (FIG. The unification instruction) (FIG. 32B) is displayed.
Which window is to be displayed is the window used last time. If the previous operation instruction is given by direct instruction for each character, (FIG. 32 (a)) is displayed and expressed to the previous character. If the instruction is given in a state in which the user wants to make it appear, (FIG. 32B) is displayed. When used for the first time, a character motion instruction editing dialog (unified instruction) is displayed.
[0170]
In the character motion instruction edit dialog (individual instruction) shown in FIG. 32A, motion (motion), facial expression (element of emotion expression), hairstyle (element of growth expression), clothing (element of TPO expression), scale (character display) If the area is a frame of a camera, the camera angle element), the area in which the user speaks (the area to which dialogue is allocated), the operation instruction timing, and the background of the character display area are selected.
When a motion is selected from the motion list, it is displayed in the selected motion column on the right. When the scene being created is executed, an individual motion image corresponding to the selected motion is reproduced. A plurality of motions can be selected, and the individual motion images corresponding to the selected order (the display order of the selected motion column in the list) are reproduced.
In the character motion instruction editing dialog (individual instruction) shown in FIG. 32A, when the enter button is clicked, the edited content is reflected on the data, and the display returns to the main window (FIG. 28). Clicking the Cancel button returns to the main window without reflecting the data.
When the expression content designation button is clicked, the character action instruction editing dialog (unification instruction) is switched to FIG. 32 (b).
[0171]
When a motion instruction (display state) is selected in the character motion instruction edit dialog (individual instruction), a scene is defined as a character-specific motion. In this case, in the agent device 1, in the character drawing / voice output process by the drawing / voice output unit (101-5), it is determined that the unified operation instruction is not based on the character.
[0172]
In the character movement instruction edit dialog (unification instruction) shown in FIG. 32B, the unified movement instruction table (FIG. 26, see FIG. 27), the work element, the mental state element, the TPO expression element, the growth expression element, and the scale element (the camera angle element when the character display area is a camera frame) Displayed as selectable. In addition, a screen for selecting an operation instruction timing and a background of the character display area is displayed.
The user selects each of the display states displayed in the character movement state instruction editing window, so that the display state number corresponding to the display state selected as the movement common to each character regardless of the character is being set. Is set as the content of
In this window, when the enter button is clicked, the edited content is reflected in the data, and the screen returns to the main window (a). Clicking the cancel button returns to the main window (a) without being reflected in the data.
When the direct designation button is clicked, the display switches to a character movement instruction edit dialog (individual instruction) (b).
[0173]
In the character motion instruction editing dialog of FIG. 32, in the character motion quality column, a transition mode (quality mode, responsive mode) when an interruption event occurs can be specified. By defining the transition mode by the character action instruction edit dialog, an action interruption setting means for setting whether or not to interrupt the action expression of the character is formed.
When the pull-down button on the left side of the character motion quality field is clicked, the selectable modes are "automatic selection", "switch after waiting for motion" (corresponding to quality mode), and "switch without waiting for motion end" ( (Corresponding to the prompt mode) is displayed in a pull-down display, and when any of them is selected, the transition mode corresponding to the individual motion image of the motion selected from the motion list is defined.
Note that by specifying the beginning (left side) and end (right side) of the dialog allocation range in the character motion instruction edit dialog (individual instruction) in FIG. 32 (a), the individual motion image corresponding to the motion in the specified range Is associated with the dialog (voice of the character) set in the scene being edited. As a result, the individual action images in the specified range are reproduced in accordance with the associated dialogue.
For example, when five motions are selected in the order of a, b, c, d, and e from the motion list, and the range of 2 to 4 is specified as the dialogue allocation, the reproduction of the individual motion image a is completed. Later, individual motion images b to d are reproduced, during which the character outputs speech as speech. Thereafter, the individual operation image of e is reproduced.
[0174]
FIG. 33 is an explanatory diagram of a voice editing memo window shown when the dialogue editing button is selected in the main window.
When the dialog edit button 313 is selected (clicked) in the main window of FIG. 28, the scenario editor 211 newly displays the voice edit memo window 600 shown in FIG.
Although the processing has been described as being performed by the scenario editor 211, what is actually displayed is processing performed by the scenario editor 211 (program) and the CPU 101 in cooperation with each other. Will be described as the processing and operation of the scenario editor 211. The following description and the processing and operation of the synthesized speech edit dialog 214 will be described in the same manner.
[0175]
When the voice edit button 601 is selected in the voice edit memo window 600 of FIG. 33, the synthesized voice edit dialog 214 is activated, and the synthesized voice edit dialog 214 displays the voice edit main screen 608 shown in FIG.
When the synthesized voice data is created on the voice editing main screen 608, the scenario editor 211 displays a text corresponding to the synthesized voice data in the balloon display unit 602 of the voice editing memo window 600.
Note that it is also possible to directly input text into the balloon display unit 602 without performing voice editing. In this case, since the synthesized speech data is not created, no speech is output even if this scenario is executed by the agent device, and the text input from the balloon display unit 602 is displayed in the balloon 52.
[0176]
FIG. 34 shows the audio editing main screen 608.
The voice editing main screen 508 includes a voice specifying unit, a dialogue input unit, a forward matching search unit, a result display unit, and a cancel button.
The voice identification unit includes a voice type selection button 607 for selecting a voice type and an emotion selection button 605 for selecting an emotion.
The dialogue input unit includes a dialogue input box 610 and a conversion button 611.
The prefix matching search unit includes a check box 612, a candidate list box 613 displaying a list of candidate candidates for matching, a candidate number box 614 displaying the number of all candidates including those not displayed in the list, and a candidate displayed in the list. Is configured with a candidate selection button 615 that selects
The result display unit displays a word string information box 619, a play button 620, a delete all button 621, a text registration button 622, which visually displays the connection of sounds based on the synthesized voice data by a word surrounded by a frame and a silent line segment. It comprises a registered text list button 623, a selected word registration button 624, a new word registration button 625, a registered word list button 626, and a decision button 627.
[0177]
By inputting a speech which is the content of a conversation that the agent wants to pronounce into the speech input box 610 of the speech editing main screen 605, the corresponding synthesized speech data is created and edited. Hereinafter, the processing operations of the synthesis voice creation and editing will be described.
[0178]
When the voice type selection button 607 is selected, the synthesized voice editing dialog 214 displays selectable voice types in a drop-down manner. One of adult female, adult male,..., Automatic selection can be selected as a selectable voice type, and the selected voice type is stored in the memory 102 as synthesized voice data. The default sound type is specified for adult women.
When the automatic selection is selected as the type, and when the synthesized voice data created and edited in the synthesized voice editing dialog 214 is previewed (when the play button 620 is clicked), the synthesized voice data is reproduced in the default type.
There is also a function to specify the voice on the agent device side that executes the scenario, and if free selection is selected, it conforms to the voice specified by the agent side, the voice specified by the agent device user, or the specified character The output sound (voice type) is output. On the other hand, when the voice type other than the free selection is selected as the synthesized voice data of the scenario data, the voice of the voice type according to the synthesized voice data is output with priority regardless of the designation by the agent device. .
[0179]
When the emotion selection button 605 is selected, the synthesized voice editing dialog 214 displays a drop-down menu of emotions indicating fun, sad, fine,...
When one of the emotions is selected by the user, the synthesized speech edit dialog 214 gives priority to the speech code corresponding to the selected emotion from the speech DB 221a among the unit speech data existing for the same notation. To search.
If the emotion has not been selected, the emotion “normal” is selected.
As described above, the designation means of the present invention is formed by designating at least one of the emotion type and the voice type.
[0180]
When the dialogue input box 610 is specified and a character is input, the synthesized speech editing dialog 214 sequentially displays the input character.
When the check box 612 is checked, the notation character portion of the dialogue DB 221a is searched for in the forward direction, and the notations as candidates are displayed in a list in the candidate list box 613, and the number of listed candidates is displayed in the number of candidates box 614. indicate.
In the example shown in FIG. 34, since “today” has been input in the dialogue input box 610, the synthesized speech editing dialog 214 displays “today”, “today”, and “today” as candidates for which “today” matches ahead. Is sunny. ”And 16 candidates are searched, and eight of them are displayed. Candidates that are not displayed can be scrolled by moving the scroll button on the right side of the candidate list box 613.
Then, for example, if “Today is fine” is displayed in the dialogue input box 610 in which “Half is fine” is input, as a result of the forward matching search, “Today is fine”, “Today is fine”, and “ It is sunny today. "
As described above, the forward matching search is automatically executed without the user's operation according to the text input and displayed in the dialogue input box 610.
[0181]
When any one of the prefix matching candidate lists displayed in the candidate list box 613 is selected and determined, it is displayed in the word string information box 619, and the dialog box 610, the candidate list box 613, and the candidate number box are displayed. 614 is cleared.
The selection of the selected candidate is determined by double-clicking the mouse on the candidate, selecting the candidate, clicking the candidate selection button 615, selecting the candidate, and using the “Enter” key on the keyboard.
[0182]
Next, creation of synthesized speech data and word string display for visually displaying an input sentence displayed in the word string information box 619 will be described.
When the conversion button 611 is selected, the synthesized speech editing dialog 214 converts the text (input sentence) displayed in the dialogue input box 610 as a conversion target sentence at a time.
If a text sentence to be displayed on the balloon screen 52 (see FIGS. 14 and 28) has already been input (there may be cases where synthesized speech data has not been created), the dialogue edit button 313 in FIG. When clicked, the entered text is displayed on balloon display unit 602. When the voice edit button 601 is selected in this state, the synthesized voice edit dialog 214 displays the text sentence displayed on the balloon display unit 602 in the dialogue input box 610. As a result, the created synthesized speech data can also be edited.
[0183]
FIG. 35 shows a flow of a screen operation for editing the speech recognition dictionary.
This operation is to set a voice dictionary for the agent device to recognize the voice response returned from the user when the agent device requests the answer based on the created scenario.
In the main window (FIG. 28) showing the editing state of the scene screen, when the button part 315a (depending on the screen structure, there is usually a normal list box part part) displayed according to the selected screen structure, the sound is double-clicked. A recognition dictionary selection window (FIG. 35A) is displayed. Also, a double-click on the dictionary list display section 315b to be recognized in the background displays a speech recognition dictionary selection window.
[0184]
In the voice recognition dictionary selection window (FIG. 35A), when a dictionary name in the list display of dictionary candidates is double-clicked, the dictionary used as the voice recognition dictionary is displayed in the list selected as a general dictionary.
When the OK button is clicked, the edited content is reflected in the data and returns to the main window (FIG. 28). When the Cancel button is clicked, the screen returns to the main window without being reflected in the data.
When a user-defined dictionary edit button is clicked, a speech recognition dictionary creation window (FIG. 35B) for newly creating a speech recognition dictionary is displayed. In this window, when a dictionary name is input and a dictionary addition button is clicked, a window (FIG. 35 (c)) for newly creating a speech recognition dictionary with that name and registering words in the speech recognition dictionary is displayed.
When the OK button is clicked in the speech recognition dictionary creation window, creation of the speech recognition dictionary ends, and the process returns to the speech recognition dictionary selection window.
[0185]
In the window for registering a word in the voice recognition dictionary (FIG. 35 (c)), the word to be registered is entered in the reading field using half-width kana, and the enter button is clicked. Next, a name (a name to be displayed) is selected or newly input, and a PCM voice for callback is selected (if no is selected, TTS is used for callback). After entering these three items, clicking the register button will register the data and add it to the registered word list on the right.
When all the words to be registered have been registered, click the back button to return to the speech recognition dictionary creation window.
[0186]
Next, an operation for editing the flow of a scenario will be described.
In the main window shown in FIG. 28, a scene icon 307 being created is selected and activated. When the new scene creation button 323 is clicked in this state, a transition selection window (not shown) is displayed.
By selecting a condition for branching to a newly created scene from the branch event list in the transition selection window, the condition for transitioning to the next scene (scene to be newly created) is determined, and the process returns to the main window.
A new scene is created on the scene development screen 305 of the main window after returning, and is described as NEW to distinguish it from other scene icons.
The branch events that can be selected in the branch event selection window are displayed in FIG.
As described above, by setting the condition for shifting from one screen element to the next screen element, the shift condition setting means in the present invention and the time limit for shifting from one motion process of the character to the next motion process Is set.
[0187]
Next, an operation for editing the end position of the scenario will be described.
In the main window of FIG. 28, when the end ID button 327 of the scenario is clicked, an end ID designation window (not shown) is displayed.
In the window for specifying the end ID, the ID number of the end position mark is specified. Normally, automatic assignment is performed, but the operator of the editor can also perform the assignment by unchecking the check box indicating that automatic assignment is performed. When the OK button is clicked, the ID number is determined and a branch event selection window (not shown) is displayed.
In the branch event selection window, a branch condition for terminating the scenario is set in the same manner as when a new scene is created and in the operation method. Additional conditions can be set in the same manner. In this window, when an OK button is clicked, the condition (transition condition) is determined and the process returns to the main window (transition condition setting means). At this time, a new end ID is created and displayed on the scene development screen 305 of the main window.
As described above, a screen element in which at least one of the display content of the character (agent) and the processing content is defined is defined as one screen element (scene), and the screen element is combined with the transition condition between the screen elements. A screen element transition body creating means for creating a transition body (scenario) is formed.
Further, as described above, the character display processing setting means for setting the processing content of the character to be displayed on the display device in the vehicle is formed.
[0188]
FIG. 36 shows a flow of a screen operation for compiling the created scenario into an actual device format (NAV format) usable by the agent device.
When the build button 332 is clicked in the main window (FIG. 36A), a scenario compiler window (b) is displayed.
In the scenario compiler window (b), specify the name of the file to output the compiled data, select the scenario to be converted at the same time (convert the scenarios checked in the scenario list at the same time), and click the compile button. The scenario compiler (240-1-2) starts data conversion. The data conversion status is displayed on the result display unit.
When the end button is clicked, the data conversion ends and the process returns to the main window (a).
[0189]
As described above, the screen element transition body creating means for creating the screen element transition body (scenario) by combining the screen element (scene), the transition condition, the branch element, and the branch condition is formed.
Further, as described above, the character display processing setting means for setting the processing content of the character to be displayed on the display device in the vehicle is formed.
[0190]
As described above, according to the scenario creation device of the present embodiment, the display state instructing the movement of the character in each scene of the scenario is shared irrespective of the type of the character, so that the execution can be performed irrespective of the character. Scenarios can be created, and scenarios created for each character can be combined into one, which facilitates scenario creation.
[0191]
Further, according to the agent device of the embodiment described above, the long-term emotion element and the short-term emotion element are defined as the psychological state of the agent, the behavior is determined by referring to both the emotion elements, and the agent can be made more human-like. You can behave.
The scenario creation device can create a scenario of an agent that behaves more humanly by enabling both emotional elements to be set as scenario transition conditions and enabling both emotional conditions to be changed in the scenario.
[0192]
Further, according to the present embodiment, the process of judging whether the condition for autonomously activating (automatically appearing) the agent based on the scenario data created by the scenario creating device is satisfied is performed periodically or in a specific state. Is executed when the condition is satisfied, and the agent can automatically appear when the condition is satisfied.
On the other hand, according to the scenario creation device and the scenario editor of the present embodiment, regardless of the knowledge of the program, by having the scenario editor, the agent that automatically appears and responds when a specific condition is satisfied. Scenario data can be easily created and edited.
[0193]
Further, according to the present embodiment, each individual motion image starts with the basic posture state image and ends with the basic posture state image, so that the posture of the character does not suddenly change between the individual motion images. , More natural movement.
Further, the individual motion image is composed of a start moving image, a holding moving image, and an ending moving image, and by repeating the reproduction of the holding moving image, the time can be adjusted without performing an unnatural operation.
When the response speed is more important than the quality, when the interruption condition is satisfied, the individual motion image being reproduced is interrupted and the next individual motion image is reproduced, whereby the response of the character can be quickened. .
[0194]
Although the preferred embodiment of the present invention has been described above, various modifications are possible in the present invention.
For example, the reproduction after the interruption in the quality mode may be set to the second quality mode II as shown in FIG.
Note that the second quality mode II may be adopted instead of the quality mode described in FIG. 20 of the embodiment, and the quality mode in FIG. 20 and the second quality mode II may be used together. When used together, the second quality mode II is added to the selection target in the character motion quality pull-down menu in FIG. Further, in the agent device, “quality emphasis” (corresponding to the quality mode in FIG. 20) and “reaction emphasis” (corresponding to the quality mode in FIG. 20) are set as targets for automatic selection of the operation switching determination data (10-2-3-8) (see FIG. 13). It is defined by adding “quality / reaction intermediate” (corresponding to the second quality mode II) to the responsive mode of FIG. 21).
[0195]
FIG. 37 shows a playback state after interruption in the second quality mode II.
(1) When starting movie is playing
As shown in FIG. 37A, when an interruption event occurs during the reproduction of the start moving image, the start moving image being reproduced is interrupted, and the end moving image is reproduced from the middle.
If the playback start point of the end moving image is the playback time of the playback moving image and the end moving image is T1, and the time from the playback of the start moving image to the occurrence of the interruption event is T2, the end moving image is obtained after a lapse of T1-T2 time. Start at the point. In this case, the reproduction time of the end moving image is also T2.
The start moving image and the end moving image are in a symmetrical relationship. That is, when the end moving image is reproduced in the reverse direction from the basic posture state image, the moving image becomes the same as the start moving image. Therefore, the image when the start moving image is interrupted and the end moving image are started. The image at the time matches. For this reason, the gap of the image at the time of interruption can be eliminated, and the image being reproduced can be ended earlier.
[0196]
(2) When holding video is playing
As shown in FIG. 37 (b), when an interruption event occurs during the playback of the held moving image, the held moving image being played is interrupted and the end moving image is played, and thereafter, the process proceeds to the subsequent individual operation image. I do.
As a result, it is possible to immediately respond to the remaining playback time of the held moving image. In this case, since the held moving image is slightly moved from the held state image, and the end moving image starts from the held state image, the gap between the images is small. In this case, the slight operation from the holding state images 12b1 and 12b4 is a movement in a range where the difference from the holding state image does not exceed 10%.
In addition, as the slight movement within the predetermined range, the difference from the previous image in the unit time may be set to be within 10%. The range of the difference may be 5%, 15%, or 20% other than 10%.
(3) When playing back ending video
As shown in FIG. 37 (c), when the interruption event occurs during the reproduction of the ending moving image, the reproduction of the ending moving image is followed by a transition to the subsequent individual motion image. This operation is the same as the transition shown in FIG.
In the holding moving image for time adjustment in the case of the second quality mode II described above, the agent is operating because it performs a slight motion, such as waving a hand, blinking, or shaking the neck. Can be recognized by the user. In addition, since the held moving image has a slight movement in the holding state, the gap between images does not increase even if the moving image is interrupted during the repeated playback of the held moving image and shifts to the end moving image.
[0197]
In the embodiment described above, the case where the number of basic posture states is one has been described, but a plurality of basic posture states may be provided.
For example, if the basic posture states are A, B, and C, the individual motion image starts from each of the basic posture states A, B, and C, and returns to the basic posture states A, B, and C through the holding state. Prepare. Each individual motion image is composed of a start moving image, a holding moving image, and an end moving image, as in the embodiment described above.
In addition, a basic posture change moving image for changing from one basic posture state to another basic posture state is separately prepared. If the number of basic posture change videos is Q, the number of basic posture change videos is (Q 2 −Q). For example, when the basic posture states are three types of A, B, and C, a basic posture change moving image that starts with A and ends with B, a basic posture change moving image that starts with B and ends with A, and starts with B and ends with C Basic posture change video that ends, basic posture change video that starts with C and ends with B, basic posture change video that starts with C and ends with A, and basic posture change video that starts with A and ends with C Prepare a posture change video. Then, by using the basic posture-changed moving image and the individual motion image, it is possible to continuously reproduce a moving image having no gap between the images.
By providing a plurality of basic posture states in this way, it is possible to make the character perform more complicated movements.
[0198]
【The invention's effect】
According to the first to third aspects of the present invention, when a predetermined instruction is given from the in-vehicle device or the user during the execution of one screen element of the screen element transition body, the reproduction quality at the moving image stage being executed. The subsequent moving image can be reproduced with less unnaturalness in response speed and response speed.
According to the fourth and fifth aspects of the present invention, a screen element transition body in which a character communicates by being executed by the in-vehicle device and a start condition thereof are created. Alternatively, it is possible to set whether or not to suspend the motion expression of the character when a predetermined instruction is issued from the vehicle-mounted device.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an agent device according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of various situation detection devices in the agent device according to the first embodiment;
FIG. 3 is an explanatory diagram showing a relationship between an agent processing unit realized by executing a program by a CPU and an overall processing unit.
FIG. 4 is an explanatory diagram showing a configuration of an agent processing unit.
FIG. 5 is an explanatory diagram conceptually showing information recorded on an external storage medium.
FIG. 6 is an explanatory diagram showing the contents of mental model data in the concept provision.
FIG. 7 is an explanatory diagram conceptually showing a long-term emotion element.
FIG. 8 is an explanatory diagram exemplifying prescribed contents of a long-term emotion change condition.
FIG. 9 is an explanatory diagram showing a short-term emotion element in concept provision.
FIG. 10 is an explanatory diagram exemplifying prescribed contents of a short-term emotion change condition.
FIG. 11 shows a configuration of real machine format scenario data.
FIG. 12 is an explanatory diagram showing an example of the content of an individual motion image representing a motion in which the character raises the right hand.
FIG. 13 is an explanatory diagram conceptually showing the contents of operation switching determination data in agent data.
FIG. 14 is an explanatory diagram illustrating an example of a scene screen displayed on a display device based on scene data of a scenario.
FIG. 15 is a screen transition diagram showing, for each scene, transition of a scene screen according to a guidance scenario transmitted from a ryokan to a staying guest.
FIG. 16 is a flowchart illustrating an example of the flow of a scenario execution process.
FIG. 17 is a flowchart illustrating an example of a flow of a scene process.
FIG. 18 is a flowchart illustrating a character drawing / voice output process performed by a drawing / voice output unit (101-5).
FIG. 19 is an explanatory diagram showing a flow that can be transferred between a start moving image, a held moving image, and an end moving image when an individual motion image is reproduced.
FIG. 20 is an explanatory diagram showing a playback state after interruption in a quality mode.
FIG. 21 is an explanatory diagram showing a playback state after interruption in a prompt mode.
FIG. 22 is a configuration diagram of a scenario creation device.
FIG. 23 conceptually shows the configuration of a scenario editing program and data.
FIG. 24 is an explanatory diagram conceptually showing conversion of a data format.
FIG. 25 is a development condition item table storing development condition items (transition conditions) for branching (scene development) from one scene to the next scene.
FIG. 26 is an explanatory diagram conceptually showing a part of the content of a character display state instruction table stored in a common definition DB.
FIG. 27 is an explanatory diagram conceptually showing another part of the content of the character display state instruction table stored in the common definition DB.
FIG. 28 illustrates a configuration of a main window displayed on a display device when a scenario editor is activated.
FIG. 29 is an explanatory diagram showing a state of a main window when a branch scene on a scene development screen is activated.
FIG. 30 illustrates a flow of a screen operation for editing a scenario property.
FIG. 31 illustrates a flow of a screen operation for selecting a screen configuration to be displayed on the agent display screen.
FIG. 32 illustrates a flow of a screen operation for editing a character motion (agent operation) instruction.
FIG. 33 is an explanatory diagram of a voice editing memo window shown when the dialogue editing button is selected in the main window.
FIG. 34 is an explanatory diagram of a voice editing main screen.
FIG. 35 illustrates a flow of a screen operation for editing a speech recognition dictionary.
FIG. 36 shows a flow of a screen operation for compiling the created scenario into a format of a real machine format usable for navigation.
FIG. 37 is an explanatory diagram showing a modified example of the playback state after interruption in the quality mode.
[Explanation of symbols]
1 agent device
2 Scenario creation device
3 server
(1) Central processing unit
(2) Display device
(3) Audio output device
(4) Voice input device
(5) Input device
(6) Various situation detection devices
(7) Various in-vehicle devices
(8) Communication control device
(9) Communication device
(10) External storage device
(200) Control unit
(210) Input device
(220) Output device
(230) Communication control device
(240) Storage device
(250) Storage medium drive
(260) Input / output I / F

Claims (5)

キャラクタの基本姿勢状態から表現内容を示す所定姿勢状態までの開始動画、前記所定姿勢状態を保持する保持動画、前記所定姿勢状態から基本姿勢状態までの終了動画の少なくとも３つの動画段階で規定されるキャラクタの動作表現を記憶する動作表現記憶手段と、
前記キャラクタの動作表現を含む表示内容、処理内容の少なくとも１つが定義された画面要素を１画面要素とし、該画面要素を組み合わせて構成された画面要素推移体を記憶する画面要素推移記憶手段と、
前記画面要素推移体を実行する画面要素推移体実行手段と、
前記画面要素推移体の１画面要素の実行中に、車載装置又は使用者から所定の指示があった場合、実行中の動画段階を中断して次の画面要素を実行する即応モードと、実行中の動作表現が終了した後、次の画面要素を実行する品質モードと、を判断するモード判断手段と、
を備えることを特徴とする車載装置。The moving image is defined by at least three moving image stages: a starting moving image from the basic posture state of the character to a predetermined posture state indicating the expression content, a holding moving image holding the predetermined posture state, and an ending moving image from the predetermined posture state to the basic posture state. A motion expression storage means for storing a motion expression of the character;
Screen element transition storage means for storing a screen element in which at least one of display contents and processing contents including the motion expression of the character is defined as one screen element and storing a screen element transition body configured by combining the screen elements;
Screen element transition body executing means for executing the screen element transition body,
During execution of one screen element of the screen element transition body, if there is a predetermined instruction from the in-vehicle device or the user, a responsive mode in which the moving image stage being executed is interrupted and the next screen element is executed, A mode determining means for determining a quality mode for executing the next screen element after the operation expression of
An in-vehicle device comprising: 前記モード判断手段は、車載装置又は使用者から所定指示があった場合、実行中の動作表現の画面要素で規定されているモードから、即応モードか品質モードかを判断する
ことを特徴とする請求項１に記載の車載装置。The mode determining means, when receiving a predetermined instruction from an in-vehicle device or a user, determines whether the mode is a responsive mode or a quality mode from a mode defined by a screen element of a motion expression being executed. Item 2. An in-vehicle device according to item 1. 前記モード判断手段は、車載装置又は使用者から所定指示があった場合、装置に規定されたテーブルに応じて、即応モードか品質モードかを判断する、
ことを特徴とする請求項１に記載の車載装置。The mode determining means, when given a predetermined instruction from the in-vehicle device or the user, according to a table defined in the device, determines whether the response mode or the quality mode,
The in-vehicle device according to claim 1, wherein: キャラクタの動作表現を含む表示内容、処理内容の少なくとも１つが規定された画面要素を作成する画面要素作成手段と、
前記画面要素作成手段で作成された１つの画面要素から次の画面要素に移行するための移行条件を設定する移行条件設定手段と、
前記画面要素及び前記移行条件に基づき車載装置で実行される画面要素推移体を作成する画面要素推移体作成手段とを備え、
前記画面要素作成手段は、前記画面要素を実行中、使用者又は車載装置からの所定指示がなされた場合に、キャラクタの動作表現を中断するか否かを設定する動作中断設定手段を更に備える
ことを特徴とするデータ作成装置。Screen element creation means for creating a screen element in which at least one of display contents including a motion expression of a character and processing contents is defined;
Transition condition setting means for setting transition conditions for transitioning from one screen element created by the screen element creation means to the next screen element;
Screen element transition body creating means for creating a screen element transition body executed in the in-vehicle device based on the screen element and the transition condition,
The screen element creation unit may further include an operation interruption setting unit configured to set whether or not to interrupt the operation expression of the character when a predetermined instruction is given from a user or an in-vehicle device during execution of the screen element. A data creation device characterized by the following. 前記動作中断設定手段は、実行中の動作段階を終了して次の画面要素を実行する即応モード、実行中の動作表現を継続した後に次の画面要素を実行する品質モード、車載装置側の自動判断のいずれか１を設定する、
ことを特徴とする請求項４に記載のデータ作成装置。The operation interruption setting means includes: a response mode for ending the operation step being executed and executing the next screen element; a quality mode for executing the next screen element after continuing the operation expression being executed; Set one of the judgments,
5. The data creation device according to claim 4, wherein:
JP2003139671A 2003-05-16 2003-05-16 In-vehicle device and data creation device Expired - Fee Related JP4206818B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003139671A JP4206818B2 (en) 2003-05-16 2003-05-16 In-vehicle device and data creation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003139671A JP4206818B2 (en) 2003-05-16 2003-05-16 In-vehicle device and data creation device

Publications (2)

Publication Number Publication Date
JP2004340836A true JP2004340836A (en) 2004-12-02
JP4206818B2 JP4206818B2 (en) 2009-01-14

Family

ID=33528641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003139671A Expired - Fee Related JP4206818B2 (en) 2003-05-16 2003-05-16 In-vehicle device and data creation device

Country Status (1)

Country Link
JP (1) JP4206818B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018208A (en) * 2005-07-07 2007-01-25 Matsushita Electric Ind Co Ltd Control unit for automatic vending machine
JP2018163158A (en) * 2018-05-02 2018-10-18 株式会社ユピテル System and program
JP7104210B1 (en) * 2021-04-27 2022-07-20 ビジョン ブイアール インク How to provide interactive virtual reality content and equipment
JP7510042B2 (en) 2020-01-27 2024-07-03 株式会社Mixi Information processing system, terminal device, terminal device control method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018208A (en) * 2005-07-07 2007-01-25 Matsushita Electric Ind Co Ltd Control unit for automatic vending machine
JP2018163158A (en) * 2018-05-02 2018-10-18 株式会社ユピテル System and program
JP7510042B2 (en) 2020-01-27 2024-07-03 株式会社Mixi Information processing system, terminal device, terminal device control method, and program
JP7104210B1 (en) * 2021-04-27 2022-07-20 ビジョン ブイアール インク How to provide interactive virtual reality content and equipment

Also Published As

Publication number Publication date
JP4206818B2 (en) 2009-01-14

Similar Documents

Publication Publication Date Title
JP6670350B2 (en) System and method for integrating a third party service with a digital assistant
EP1462317A1 (en) Data creation apparatus
JP5019145B2 (en) Driver information collection device
CN105190607B (en) Pass through the user training of intelligent digital assistant
US20240168606A1 (en) Vehicle Systems And Interfaces and Related Methods
JPH11259446A (en) Agent device
JP4259054B2 (en) In-vehicle device
JP2005293587A (en) Agent device
WO2020255767A1 (en) Information processing system, information processing method, and recording medium
JP4258607B2 (en) In-vehicle device
JP2004037953A (en) On-vehicle device, and device and program for data creation
JP2004054883A (en) Onboard agent system and interactive operation control system
JP2005190192A (en) Onboard system
JP4356450B2 (en) In-vehicle device
JP4206818B2 (en) In-vehicle device and data creation device
JP2000186942A (en) Agent mental model preparing method, and agent device
JP2003157489A (en) Operation control device
JP2004053251A (en) In-vehicle device, data creating device and data creation program
JP2004301651A (en) Vehicle-mounted device and data preparation device
JP2004050975A (en) In-vehicle device, data preparation device, and data preparation program
JP2004302904A (en) Data preparing device
JP4449446B2 (en) In-vehicle device and data creation device
JP2004061252A (en) On-vehicle device, data generation device and data generation program
JP4059019B2 (en) In-vehicle device and data creation device
JP2003106846A (en) Agent apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060324

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080924

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081007

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111031

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121031

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131031

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees