JP2021009434A - ブラウザ装置、情報出力方法及び情報出力プログラム - Google Patents

Abstract

【課題】動作の円滑化を図り、ユーザが心地よく使用可能なブラウザ装置、情報出力方法及び情報出力プログラムを提供する。【解決手段】ブラウザ装置は、ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶する記憶部と、記憶部とは異なる外部記憶部に記憶されるシナリオを外部シナリオとして取得する取得部と、質問項目を出力する出力部と、ユーザの感情情報を検出する感情認識部と、感情認識部の検出結果に基づいて、内部シナリオ及び外部シナリオのうち少なくとも一方のシナリオを選択し、選択したシナリオに基づいて複数の質問項目を出力部に出力させる制御部とを備える。【選択図】図２

Description

本発明は、ブラウザ装置、情報出力方法及び情報出力プログラムに関する。

インターネット等のネットワークに接続し、予め設定された複数の質問項目をユーザに対して予め設定された順序（シナリオ）で出力するブラウザ装置が知られている（例えば、特許文献１参照）。

特開２００５−３７６６２号公報

上記のブラウザ装置では、一連のシナリオをダウンロードするか、またはダウンロードしておいたシナリオを利用して情報提供する。しかしながら、全てシナリオどおりに動作するため、ダウンロードする情報量が多く、また保存する場合に保存するデータ量が多くなり、ダウンロード時間が長くなるため、円滑な動作が困難となる。また、近年、ユーザとの間で人同士のコミュニケーションに近い形でのやり取りを行うことで、ユーザが心地よく使用可能なブラウザ装置が求められている。

本発明は、上記に鑑みてなされたものであり、動作の円滑化を図り、ユーザが心地よく使用可能なブラウザ装置、情報出力方法及び情報出力プログラムを提供することを目的とする。

本発明に係るブラウザ装置は、ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶する記憶部と、前記記憶部とは異なる外部記憶部に記憶されるシナリオを外部シナリオとして取得する取得部と、前記質問項目を出力する出力部と、ユーザの感情情報を検出する感情認識部と、前記感情認識部の検出結果に基づいて、前記内部シナリオ及び前記外部シナリオのうち少なくとも一方のシナリオを選択し、選択した前記シナリオに基づいて複数の前記質問項目を前記出力部に出力させる制御部とを備える。

本発明に係る情報出力方法は、ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶部に記憶することと、前記記憶部とは異なる外部記憶部に記憶されるシナリオを外部シナリオとして取得することと、ユーザの感情情報を検出することと、検出結果に基づいて、前記内部シナリオ及び前記外部シナリオのうち少なくとも一方のシナリオを選択し、選択した前記シナリオに基づいて複数の前記質問項目を出力部に出力させることとを含む。

本発明に係る情報出力プログラムは、ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶部に記憶する処理と、前記記憶部とは異なる外部記憶部に記憶されるシナリオを外部シナリオとして取得する処理と、ユーザの感情情報を検出する処理と、検出結果に基づいて、前記内部シナリオ及び前記外部シナリオのうち少なくとも一方のシナリオを選択し、選択した前記シナリオに基づいて複数の前記質問項目を出力部に出力させる処理とをコンピュータに実行させる。

本発明によれば、動作の円滑化を図り、ユーザが心地よく使用可能なブラウザ装置、情報出力方法及び情報出力プログラムを提供することができる。

図１は、本実施形態に係るブラウザ装置の一例を示す模式図である。 図２は、ブラウザ装置の制御部の一例を示す機能ブロック図である。 図３は、シナリオデータのデータ構成の一例を示す図である。 図４は、本実施形態に係るブラウザ装置の基本動作の一例を示すフローチャートである。 図５は、内部シナリオを用いて会話を行う処理の一例を示すフローチャートである。 図６は、図５に示すステップＳ２０４を実行する処理の一例を示すフローチャートである。 図７は、図４に示すステップＳ１０３の挨拶動作の一例を示すフローチャートである。 図８は、図４に示すステップＳ１０８の処理の一例を示すフローチャートである。 図９は、図８に示すステップＳ５０７の処理の一例を示すフローチャートである。 図１０は、図８に示すステップＳ５１５の情報表示を実行する場合の動作の一例を示すフローチャートである。 図１１は、シナリオをユーザに提示する処理の一例を示すフローチャートである。 図１２は、ブラウザ装置の表示部に顔画像が表示される場合の例を示す図である。 図１３は、ブラウザ装置の表示部に顔画像が表示される場合の例を示す図である。 図１４は、ブラウザ装置の一例を示す図である。

以下、本発明に係るブラウザ装置、情報出力方法及び情報出力プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

図１は、本実施形態に係るブラウザ装置１００の一例を示す模式図である。図１に示すブラウザ装置１００は、筐体１０と、表示部２０と、音声入力部３０と、音声出力部４０と、タッチパネル入力部５０と、通信部６０（通信部のうちの接続線）と、制御部７０とを備える。ブラウザ装置１００としては、例えばスマートフォン、タブレット型コンピュータ、ノート型コンピュータ、デスクトップ型コンピュータ等、各種の通信可能な電子機器が挙げられる。

筐体１０は、表示部２０、音声入力部３０、音声出力部４０、タッチパネル入力部５０、通信部６０（通信部のうちの接続線）及び制御部７０の各部を保持する。表示部２０は、画像、映像等の情報を表示可能であり、例えば液晶ディスプレイ等の表示パネルにより構成される。音声入力部３０は、例えばマイク等から構成される。音声出力部４０は、例えばスピーカ等から構成される。タッチパネル入力部５０は、表示部２０上に配置され、表示部２０に表示された情報から選択したい場合に使用する。例えば、表示部に表示されたＵＲＬにおいて、ジャンプできる関連情報のホームページが複数ある場合に、候補を表示部２０に表示し、表示部２０上のタッチパネル入力部５０をタッチすることにより選択することも可能である。通信部６０は、ネットワークＮＷとの間で情報の送信及び受信を行う。ネットワークＮＷとしては、インターネット、イントラネット等の各種のネットワーク等が挙げられる。

図２は、ブラウザ装置１００の制御部７０の一例を示す機能ブロック図である。制御部７０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて構成され、ブラウザ装置１００の全体の制御を行う。

制御部７０は、演算処理部７１と、表示制御部７２と、音声認識部７３と、音声合成部７４と、感情認識部７５と、シナリオ選択部７６と、シナリオ発生部７７と、タイミング発生部７８と、タイマ７９と、ＨＴＭＬ解析部８１と、記憶部８３とを有する。

演算処理部７１は、各種の演算を行う。演算処理部７１は、後述するように、感情認識部７５の検出結果に応じたＵＲＬを記憶部８３から選択する選択部としての機能を有する。表示制御部７２は、表示部２０の表示動作を制御する。音声認識部７３は、音声入力部３０から入力された音声データを認識し、所定の言葉を判別する。音声認識部７３は、例えば音声認識ソフトウェア、認識辞書データ等を有する。音声合成部７４は、音声合成ソフトウェア、音声データ等を有する。音声合成部７４は、例えば人間が話す声を合成可能である。

感情認識部７５は、音声入力部３０から入力された音声により、感情情報を検出する。感情認識部７５は、音声入力部３０に入力される音声信号から韻律的特徴量を検出し、検出された韻律的特徴量に基づいて、喜怒哀楽、驚き等の度合いを数値で出力することが可能である。本実施形態において、感情認識部７５は、喜び、悲しみ、及び怒り等の感情を検出するものとする。感情認識部７５において検出される感情情報は、例えば、感情の種類（喜び、悲しみ、怒り）と、感情の種類ごとの感情の度合いの値と、を含む。感情の具体的な検出方法については、公知の技術を適宜用いることができる。

シナリオ選択部７６は、感情認識部７５の検出結果に基づいて、内部シナリオ及び外部シナリオのうち少なくとも一方のシナリオを選択し、選択したシナリオに基づいて複数の質問項目を出力部に出力させる。本実施形態において、シナリオは、ユーザに対する複数の質問項目及び質問項目の質問順を設定したものである。内部シナリオは、記憶部８３に記憶される所定のシナリオである。内部シナリオとしては、例えば挨拶、確認事項等のように使用頻度、汎用性が高く、簡単で基本的なシナリオ等が挙げられる。外部シナリオは、記憶部８３とは異なる外部記憶部に記憶されるシナリオである。外部シナリオは、記憶部８３に保存することができる。記憶部８３に保存される内部シナリオ及び外部シナリオは、使用頻度、保存されてからの期間等に応じて、適宜更新されてもよい。本実施形態において、外部記憶部の一例として、情報提供サーバ９０が挙げられる。シナリオ発生部７７は、会話の内容を選択し、検索したい内容を調べるためのシナリオを発生させる。

シナリオ選択部７６は、外部シナリオ選択フラグを設定する。外部シナリオ選択フラグは、シナリオ選択部７６がシナリオを選択する際、外部シナリオを取得するか否かを判定するためのフラグである。外部シナリオ選択フラグが「１」の場合、シナリオ選択部７６は、シナリオを選択する際に、外部シナリオを取得する。この場合、シナリオ選択部７６は、内部シナリオ及び外部シナリオのうち少なくとも一方を選択可能となる。また、外部シナリオ選択フラグが「０」の場合、シナリオ選択部７６は、シナリオを選択する際に、外部シナリオを取得しない。この場合、シナリオ選択部７６は、内部シナリオのみを選択可能となる。このように、シナリオ選択部７６が例えばユーザの感情の種類及び感情の度合い等に応じてシナリオを変更できるため、ブラウザ装置１００は、ユーザが心地よく使用可能となっている。

タイミング発生部７８は、例えばタイマ７９を用いて時間を計測する。タイミング発生部７８は、音声入力部３０によるユーザの声の取得が無い時間をタイマ７９に計測させ、所定時間以上取得が無い場合に、ユーザに対して音声入力部３０に音声を入力するように案内する案内情報を表示部２０及び音声出力部４０の少なくとも一方に出力する。具体的には、タイミング発生部７８は、ユーザからブラウザ装置１００に対して話しかけが無い場合に、音声出力部４０及び表示部２０の少なくとも一方を介して、挨拶や話題を提供するためのタイミングを発生させる。

図３は、シナリオについてのデータ（シナリオデータ）のデータ構成の一例を示す図である。図３に示すシナリオデータＤは、複数（Ｎ個）のシナリオステップを有する。シナリオステップは、例えばシナリオを構成する一の会話単位を示している。当該シナリオデータＤにおいて、総ステップ数データは、シナリオステップの総数を示す。ステップ番号データは、シナリオステップのステップ番号を示す。従属シナリオフラグは、シナリオの終了後に他のシナリオが従属するか否かを示し、例えば他のシナリオが従属する場合には「１」、従属しない場合には「０」となる。従属シナリオは、例えば従属元のシナリオにおける選択結果に応じて、質問事項、質問順が変更される場合のシナリオを含む。従属シナリオを設定可能とすることにより、シナリオを柔軟に変更することが可能となる。

表示画像データは、表示部２０に表示させる画像に関するデータである。表示画像データとしては、例えばユーザとの会話に対応した顔画像、顔動画等が挙げられる。表示画像データは、静止画及び動画等の画像データを含む。例えば記憶部８３に予め保存された画像データを用いる場合、表示画像データは、当該記憶部８３に保存された画像データのファイル名等のコードを含む。この場合、シナリオデータのデータ量を少なくすることができるため、処理時間の短縮化を図ることができる。

発語データは、音声出力部４０から出力される会話等の内容を示すデータであり、例えば文字データである。内部シナリオフラグは、シナリオ選択部７６により内部シナリオとして選択されるか否かを示し、内部シナリオとして選択される場合には「１」、選択されない場合には「０」となる。例えば定型の挨拶等、汎用性が高いシナリオについては、内部シナリオフラグ「１」とすることができる。内部シナリオのアドレスデータは、記憶部８３に保存される内部シナリオのデータの番号（アドレス）を示す。また、外部シナリオを記憶部８３に保存した場合、当該記憶部８３に保存した外部シナリオにおいては、内部シナリオフラグは「０」である。一方、この内部シナリオフラグを「０」から「１」にすることにより、情報提供サーバ９０から取得した外部シナリオを内部シナリオとして保存することができる。出現の可能性の高いシナリオを内部シナリオとして記憶部８３に保存することにより、外部シナリオのダウンロードを少なくすることができ、通信時間の短縮化を図ることができる。このため、ブラウザ装置１００の動作の円滑化を図ることができる。

選択データ受信フラグは、選択データを受信するか否かを示すデータである。選択データは、ユーザが回答した音声を認識してデータ化するための、語彙情報の文字データである。選択データ受信フラグが「０」の場合、選択データの受信は不要である。また、選択データ受信フラグは「１」の場合、選択データの受信が必要である。選択データ受信フラグが「１」となる場合の例としては、例えば直前の質問事項に対するユーザの回答内容により選択肢を変更する必要がある場合等が挙げられる。具体例については、図１１の説明において後述する。また、選択データ総数は、選択データの総数を示す。以降、次のステップ番号について同様のデータ構造が繰り返される。

図４は、本実施形態に係るブラウザ装置１００の基本動作の一例を示すフローチャートである。図４に示すように、ブラウザ装置１００を起動した場合、シナリオ選択部７６は、記憶部８３に保存されている内部シナリオにより挨拶動作を行うように制御する（ステップＳ１０１）。この場合、表示制御部７２は、例えば無表情の顔映像をモニタに出力する（ステップＳ１０２）。次に、音声認識部７３は、音声入力部３０において音声入力の有無をチェックする（ステップＳ１０３）。ステップＳ１０３の詳細については、後述する。音声認識部７３は、例えば、「検索」という言葉を認識した場合、この「検索」の言葉に対応したコードを記憶部８３に保存し、音声入力ありとする（ステップＳ１０４のＹｅｓ）。ユーザの音声が入力された場合、感情認識部７５では、音声入力に基づいて、ユーザの感情の種類及び感情の度合いを認識する。

一方、音声認識部７３において音声入力が検出されない場合（ステップＳ１０４のＮｏ）、ユーザがブラウザ装置１００に対して要求をしていないことになる。この場合において、制御部７０は、例えばブラウザ装置１００とユーザとの親密性を増加させ、ユーザがより感情移入可能となるように、ユーザに話しかけるトリガを発生するタイミングをチェックする（ステップＳ１０５）。ステップＳ１０５において、制御部７０は、例えば直近に会話が終了してからの経過時間をタイマ７９で計測し、タイミング発生部７８によりタイミングを発生する。シナリオ発生部７７は、タイマ７９での計測時間が所定値以上になった場合、会話のタイミングが到達したと判定し（ステップＳ１０６のＹｅｓ）、記憶部８３に保存されている会話の内部シナリオを開始する。また、タイマ７９での計測時間が所定値未満の場合、ステップＳ１０２以降の処理を繰り返し行う。

ステップＳ１０４のＹｅｓ又はステップＳ１０６のＹｅｓが選択された場合、シナリオ選択部７６は、ユーザが検索したい内容のジャンルを調べるためのシナリオを設定する（ステップＳ１０７）。ステップＳ１０７において、シナリオ選択部７６は、ユーザの要求に対応可能なシナリオが記憶部８３に保存されているか否かを検出する。このとき、シナリオ選択部７６は、感情認識部７５の検出結果により、内部シナリオのみを使用するか、内部シナリオ及び外部シナリオを選択するかを選択する。この場合、シナリオ選択部７６は、感情認識部７５の検出結果に応じて、外部シナリオ選択フラグを設定する。シナリオ選択部７６は、感情認識部７５の検出結果においてユーザの感情の高ぶりが所定の基準よりも低い場合には、外部シナリオ選択フラグを「０」とし、内部シナリオのみを選択するようにする。また、シナリオ選択部７６は、感情認識部７５の検出結果においてユーザの感情の高ぶりが所定の基準よりも高い場合には、外部シナリオ選択フラグを「１」とし、内部シナリオ及び外部シナリオの少なくとも一方を選択可能とする。なお、感情認識部７５の検出結果においてユーザの感情の高ぶりが所定の基準よりも高い場合、シナリオ選択部７６は、少なくとも外部シナリオを選択するように設定することができる。なお、ユーザの感情の高ぶりが大きいと判定される場合、シナリオ選択部７６は、ユーザを平静にさせるようなシナリオを表示部２０に表示可能である。

ユーザの入手したい情報が、「旅行」、「商品購入」、「天気」、「路線検索」などである場合、シナリオ選択部７６は、通信部６０を介して、これらに対応したコードを情報提供サーバ９０に送信する。情報提供サーバ９０は、このコードに対応する外部シナリオのシナリオデータ、ＨＴＭＬデータ、発語データなどをブラウザ装置１００に送信する。ブラウザ装置１００は、通信部６０を介して、これらのデータを取得する。なお、情報提供サーバ９０では、上記入手したい情報を取得した後のシナリオを発展させて、選択肢を増やしたシナリオをブラウザ装置１００に送信してもよい。このようにして、外部記憶部である情報提供サーバ９０から外部シナリオを取得することができる。

シナリオを設定した後、シナリオ選択部７６は、設定したシナリオを実行する（ステップＳ１０８）。ステップＳ１０８の詳細については、後述する。

次に、シナリオ選択部７６は、設定したシナリオデータに含まれる従属シナリオフラグが１であるか０であるかを検出する（ステップＳ１０９）。シナリオ選択部７６は、従属シナリオフラグが「１」である場合、外部シナリオ選択フラグを確認し（ステップＳ１１３）、外部シナリオ選択フラグが１である場合（ステップＳ１１４のＹｅｓ）、シナリオ選択部７６は、通信部６０を介して、情報提供サーバ９０から外部シナリオを取得する（ステップＳ１１５）。また、外部シナリオ選択フラグが０である場合（ステップＳ１１４のＮｏ）、外部シナリオを取得せずに、ステップＳ１０８以降の処理を繰り返し行う。

また、従属シナリオフラグが０である場合（ステップＳ１０９のＮｏ）、内部シナリオを用いて全体を終了するか否かを確認する（ステップＳ１１０）。全体を終了しない場合（ステップＳ１１１のＮｏ）、ステップＳ１０２以降の処理を繰り返し行う。全体を終了する場合、内部シナリオを用いて終了時の挨拶の会話等を行う（ステップＳ１１２）。例えば、表示制御部７２は、頭を下げる顔映像を表示部２０に表示し、音声出力部４０から「さようなら」等の音声を出力する。

図５は、内部シナリオを用いて会話を行う処理の一例を示すフローチャートである。例えば、感情認識部７５の認識結果においてユーザの感情の高ぶりが小さいと判定される場合、シナリオ選択部７６は、内部シナリオを選択することができる。この場合、図５に示すように、シナリオ選択部７６は、会話内容に応じた内部シナリオのシナリオデータを選択する（ステップＳ２０１）。シナリオデータのデータ構造は、例えば内部データフラグが１、選択データ受信フラグが０であり、内部シナリオを用いる設定となっている。

次に、シナリオデータの総ステップ数を設定する（Ｓ２０２）。次に、シナリオステップカウンタを１とする（ステップＳ２０３）。なお、シナリオステップカウンタは、例えば制御部７０のＲＡＭ等に配置することができる。

次に、シナリオステップを実行する（ステップＳ２０４）。ステップＳ２０４の詳細については、後述する。シナリオステップを実行した後、シナリオステップカウンタのカウント数が所定の値に到達したか否かを検出し、到達していればシナリオステップの実行を終了し（ステップＳ２０５のＹｅｓ）、ユーザに対する返答内容が確定となる（ステップＳ２０７）。また、到達していなければ、シナリオステップを引き続き行い（ステップＳ２０５のＮｏ）、シナリオステップカウンタのカウント値を＋１として（ステップＳ２０６）、ステップＳ２０４以降の処理を繰り返し行う。

図６は、図５に示すステップＳ２０４を実行する処理の一例を示すフローチャートである。図６に示すように、表示制御部７２は、シナリオデータに基づいてブラウザ装置１００の表示部２０に画像を表示する（ステップＳ３０１）。この処理により、ブラウザ装置１００において、会話の場合には表示部２０に顔画像が表示される。また、ブラウザ装置１００において、メニューから選択する場合にはメニュー画像となる。

次に、発語データによる発語を行う（ステップＳ３０２）。発語は、発語データ（文字データ）を音声合成することにより実現する。発語内容としては、例えばユーザに対する質問内容又は選択を促す内容等が挙げられる。次に、表示制御部７２は、ユーザの声を聞くような表情の顔画像を表示する（ステップ３０３）。

また、音声入力部３０は、ユーザの反応の音声を入力する（ステップＳ３０４）。音声認識部７３は、音声入力部３０から入力されたユーザの音声を認識する（ステップＳ３０５）。音声認識部７３は、入力される語彙を判定し、記憶部８３に記憶される語彙の集合の中から最も発音が近い選択データが選ばれる。これにより、音声認識の認識率を高めることができる。また、必要最低限の語彙情報で安定なシステムを構築することが可能である。このようにして、音声入力された内容を決定する（ステップＳ３０６）。

図７は、図４に示すステップＳ１０１の挨拶動作の一例を示すフローチャートである。図７に示すように、タイマ７９により現在時刻を取得する（ステップＳ４０１）。次に、表示制御部７２は、ユーザに対して話しかける（口が動いている）顔画像を表示部２０に表示する（ステップＳ４０２）。次に、音声合成部７４は、時刻に対応させて、例えば午前５〜午前１０時なら「おはようございます」、午前１０〜午後６時なら「こんにちは」、午後６〜午前５時なら「こんばんは」、等と音声合成により発話させる（ステップＳ４０３）。次に、制御部７０は、タイマ７９を用いてタイムアウトのタイミングとなる時刻を設定する（ステップＳ４０４）。次に、表示制御部７２は、ユーザに対して話しかける顔映像から、ユーザの声を聞いている様子（口が動いていない）の顔映像を出力する（ステップＳ４０５）。そして、制御部７０は、ユーザからの返答を待つために、音声入力をチェックする（ステップＳ４０６）。音声認識部７３は、ユーザからの返事が検出されたか否かを判定し、返事が検出された場合（ステップＳ４０７のＹｅｓ）、処理を終了する。また、返事が検出されない場合（ステップＳ４０７のＮｏ）、設定されたタイムアウトのタイミングを検出し、所定時間経過していない場合（ステップＳ４０７のＹｅｓ）、Ｓ４０６以降の動作を繰り返し行わせる。また、所定のタイムアウトのタイミングが到達した場合（ステップＳ４０８のＹｅｓ）、待機状態を中断して処理を終了する。

図８は、図４に示すステップＳ１０８の処理の一例を示すフローチャートである。図８に示すように、まず、制御部７０のＲＡＭ等に保存される外部シナリオ選択フラグを検出する（ステップＳ５０１）。外部シナリオ選択フラグが「１」である場合（ステップＳ５０１のＹｅｓ）、制御部７０は、通信部６０を介して外部シナリオデータを情報提供サーバから取得する（ステップＳ５０２）。また、シナリオ選択部７６は、外部シナリオデータ選択する（ステップＳ５０３）。外部シナリオ選択フラグが「０」である場合（ステップＳ５０２のＮｏ）、シナリオ選択部７６は、内部シナリオデータ選択する（ステップＳ５０４）。

次に、シナリオ選択部７６は、図３に示すシナリオデータの総ステップ数を検出し、当該総ステップ数を設定する（ステップＳ５０５）。そして、制御部７０は、シナリオステップカウンタを１にする（ステップＳ５０６）。このシナリオステップカウンタの値が、実行するシナリオステップ番号になる。次に、シナリオ選択部７６は、シナリオステップのうちの最初のステップ１のシナリオデータを読み込み、シナリオステップを実行し、必要なデータ等を取得する（ステップＳ５０７）。ステップＳ５０７の詳細については、後述する。

次に、シナリオ選択部７６は、シナリオステップカウンタのカウント値がシナリオデータの総ステップ数と一致するか否かを判定し、シナリオの終了を確認する（ステップＳ５０８）。シナリオを終了しない場合（ステップＳ５０８のＮｏ）、シナリオステップカウンタのカウント値を＋１として、ステップＳ５０７以降の処理を繰り返し行う。

シナリオを終了する場合（ステップＳ５０８のＹｅｓ）、シナリオ選択部７６は、記憶部８３に記憶される内部シナリオにより、例えば「これで良いですか」等の内容確認をユーザに対して行う（ステップＳ５１０）。ステップＳ５１０において、音声合成部７４は、上記質問事項を音声出力部４０から出力させてもよい。表示制御部７２は、上記質問事項に対応した顔画像を表示部２０に表示させてもよい。

次に、音声認識部７３によってユーザから例えば「いいえ」等の了承しない旨の返事が得られた場合（ステップＳ５１１のＮｏ）、シナリオ選択部７６は、内部シナリオを選択し、シナリオ全体の終了を確認する（ステップＳ５１２）。音声認識部７３によってユーザから終了する旨の返答が得られた場合（ステップＳ５１３のＹｅｓ）、処理を終了する。また、音声認識部７３によってユーザから終了しない旨の返答が得られた場合（ステップＳ５１３のＮｏ）、ステップＳ５０７以降の処理を繰り返し行う。

また、音声認識部７３によってユーザから例えば「はい」等の了承する旨の返事が得られた場合（ステップＳ５１１のＹｅｓ）、ＨＴＭＬ解析部８１は、当該情報を情報提供サーバ９０から取得するためのＵＲＬを設定する（ステップＳ５１４）。また、表示制御部７２は、設定されたＵＲＬの情報を表示する（ステップＳ５１５）。

図９に、図８に示すステップＳ５０７の処理の一例を示すフローチャートである。図９に示すように、まず、表示制御部７２は、シナリオデータに基づいて、表示部２０に画像を表示する（ステップＳ６０１）。表示制御部７２は、当該画像として、例えば会話の場合には顔画像を表示し、メニュー選択の場合にはメニュー画像を表示する。顔画像は、口が動いて話しかけているようなものが望ましい。メニュー画像は、画像そのものでも良いし、ＨＴＭＬで構成されても良い。

次に、シナリオ選択部７６は、内部シナリオフラグが１であるか否かを判定する（ステップＳ６０２）。内部シナリオフラグが「０」の場合（ステップＳ６０２のＹｅｓ）、内部シナリオフラグが「１」の場合、シナリオ選択部７６は、シナリオデータにおけるステップ番号に基づいて、内部シナリオのシナリオステップを順次読み出す（ステップＳ６０３）。

また、内部シナリオフラグが「０」の場合（ステップＳ６０２のＮｏ）、選択データ受信フラグが１であるか否かを判定する（ステップＳ６０４）。ステップＳ６０４において、選択データ受信フラグが１である、つまり、選択データの受信が必要であると判定された場合（ステップＳ６０４のＹｅｓ）、情報提供サーバ９０から選択データを受信する（ステップＳ６０５）。選択データ受信フラグが０である場合、ステップＳ６０５を飛ばしてステップＳ６０６以降の処理を行う。なお、選択データ受信フラグが０となる場合として、例えばシナリオ中で選択肢変更の必要が無く、予め全ての選択データを受信可能な場合等が挙げられる。

次に、音声合成部７４は、発語データによる発語を行う（ステップＳ６０６）。ステップＳ６０６の発語は、発語データ（文字データ）を音声合成することにより実現する。これは、質問や選択促しなどを行う。次に、表示制御部７２は、ユーザの声を聞くような表情の顔画像を表示部２０に表示する（ステップＳ６０７）。

次に、音声入力部３０は、ユーザの返答による音声の入力を受け付ける（ステップＳ６０８）。入力された音声は、音声認識部７３により認識され（ステップＳ６０９）、認識結果に基づいて選択データが生成される。これにより、音声認識の認識率を高めることができる。また、必要最低限の語彙情報で安定なシステムを構築することが可能である。

次に、シナリオ選択部７６は、選ばれた選択データをコード化する（ステップＳ６１０）。例えば、シナリオ選択部７６は、シナリオデータの選択データ番号を割り付ければよい。次に、このコードをサーバに送り返す（ステップＳ６１１）。これで、選択が完了する。

なお、ステップＳ６１１において、情報提供サーバ９０に送り返す情報が時間等の数値である場合には、数値を情報提供サーバ９０に送信すればよいので、内部の語彙情報で済み、選択データは不要となる。また、情報提供サーバ９０には数字列を送信すればよい。また、メニュー画面による選択の場合には、メニュー画面を表示した後、メニューの選択を促す音声を合成し、反応語を認識して、情報提供サーバ９０に送信してもよい。

図１０は、図８に示すステップＳ５１５の情報表示を実行する場合の動作の一例を示すフローチャートである。情報表示を実行する場合において、ＨＴＭＬ解析部８１は、ネットワークＮＷよりハイパーテキストを取得し、記憶部８３に蓄積する（ステップＳ７０１）。次に、ＨＴＭＬ解析部８１は、蓄積したハイパーテキストのＨＴＭＬを解析する（ステップＳ７０２）。音声合成部７４及び表示制御部７２は、解析結果に従って、文字、画像、映像、音声などを出力する（ステップＳ７０３）。

図１１は、シナリオをユーザに提示する処理の一例を示すフローチャートである。図１１に示す例は、ユーザが天気予報を調べる場合の、ユーザに対する質問事項及び質問順示すシナリオである。当該シナリオにおいて、シナリオステップの総ステップ数は５である。

まず、表示制御部７２は、天気予報を調べたい場所を特定するため、対象となる地方の入力を促すための表示を行う（ステップＳ８０１）。ステップＳ６０１において、表示制御部７２は、記憶部８３に保存された口が動く画像のコードを読み込んで対応している顔画像を表示させる。顔画像は、ユーザの言葉を聞いている様子の画像である。発語データは、例えば「どのちほうの、てんきですか」等である。この場合、シナリオデータに含まれる選択データとしては、例えば「ほっかいどう」、「とうほく」、「かんとう」、「ちゅうぶ」、「きんき」、「ちゅうごく」、「しこく」、「きゅうしゅう」となる。この場合の選択データの総数は、８である。ユーザは、この８つの選択データのうちどれかを答えることになる。したがって、音声認識部７３は、この８つの選択データに対応する語彙を音声認識して、その地方に対応した選択データの番号を情報提供サーバ９０に送信する。

ステップＳ８０１の後、表示制御部７２は、回答のあった地方における具体的な県名の入力を促すための表示を行う（ステップＳ８０２）。シナリオデータにおいては、回答される地方に応じた選択データを読み込む必要があるので、選択データの受信フラグは１となっている。この場合、ステップ１で「かんとう”を選択したとすると、選択データは、「とうきょう」、「かながわ」、「さいたま」、「とちぎ」、「いばらき」、「ちば」、「ぐんま」となり、総選択データ数は７となる。同様に、表示制御部７２は、回答のあった県における具体的な市町村名の選択を促す（ステップＳ８０３）。

次に、表示制御部７２は、日にちの入力を促すための表示を行う（ステップＳ８０４）。この場合、年、月、日を順番に、ユーザに発語してもらう形となる。入力は数値となるため、選択データは不要で選択データ受信フラグは０である。装置内部の数字語彙データをもとに音声認識すればよい。ステップＳ８０４の後、表示制御部７２は、対象となる日にちにおける具体的な時間の入力を促すための表示を行う（ステップＳ８０５）。ステップＳ８０５では、上記同様に、時間データを入力する。

図１２及び図１３は、ブラウザ装置１００の表示部２０に顔画像が表示される場合の例を示す図である。図１２に示すように、表示部２０に目と口のみが表示されてもよい。この場合、目と口を強調することができる。また、図１３に示すように、表示部２０に顔の輪郭を含めた状態で表示されてもよい。この場合、ユーザは、ブラウザ装置１００との会話が実際の会話の状態に近い感覚となり、感情移入しやすい。なお、顔画像の表示態様は、上記の２種類に限定されず、他の態様であってもよい。表示制御部７２が会話の動作においてこのような顔画像の表示態様を切り替えることにより、使いやすく、楽しいブラウザ装置１００を実現できる。

図１４は、ブラウザ装置１００の一例を示す図である。図１４に示すように、ブラウザ装置１００において、表示部２０には天気予報についてのホームページが表示され、音声出力部４０から天気予報の情報が出力されている。この状態で、ユーザがタッチパネル入力部５０を操作することで、異なるホームページにアクセスすることが可能となっている。

以上のように、本実施形態に係るブラウザ装置１００は、ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶する記憶部８３と、記憶部８３とは異なる情報提供サーバ９０に記憶されるシナリオを外部シナリオとして取得する通信部６０と、質問項目を出力する表示部２０及び音声出力部４０と、ユーザの感情情報を検出する感情認識部７５と、感情認識部７５の検出結果に基づいて、内部シナリオ及び外部シナリオのうち少なくとも一方のシナリオを選択し、選択したシナリオに基づいて複数の質問項目を出力部に出力させる制御部７０とを備える。

本実施形態に係る情報出力方法は、ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶部８３に記憶することと、記憶部８３とは異なる情報提供サーバ９０に記憶されるシナリオを外部シナリオとして取得することと、ユーザの感情情報を検出することと、検出結果に基づいて、内部シナリオ及び外部シナリオのうち少なくとも一方のシナリオを選択し、選択したシナリオに基づいて複数の質問項目を表示部２０及び音声出力部４０に出力させることとを含む。

本実施形態に係る情報出力プログラムは、ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶部８３に記憶する処理と、記憶部８３とは異なる情報提供サーバ９０に記憶されるシナリオを外部シナリオとして取得する処理と、ユーザの感情情報を検出する処理と、検出結果に基づいて、内部シナリオ及び外部シナリオのうち少なくとも一方のシナリオを選択し、選択したシナリオに基づいて複数の質問項目を表示部２０及び音声出力部４０に出力させる処理とをコンピュータに実行させる。

この構成によれば、記憶部に内部シナリオが予め保存されているため、シナリオのダウンロードを抑制することができる。また、シナリオ選択部７６が、ユーザの感情情報に応じて、内部シナリオと外部シナリオとを変更することができるため、ユーザとの間で人同士のコミュニケーションに近い形でのやり取りを行うことが可能となる。以上の点により、動作の円滑化を図り、ユーザが心地よくブラウザ装置１００を使用可能となる。また、シナリオを自律的に変更することにより、タイミングによって会話内容が変化するため、シナリオの画一化を抑制できる。

本実施形態に係るブラウザ装置１００において、制御部７０は、感情認識部７５の検出結果においてユーザの感情の高ぶりが所定の基準よりも低い場合には、内部シナリオを選択する。これにより、ユーザの感情の高ぶりが低い場合には、内部シナリオを提示して通信時間を抑制し、動作の円滑化を図ることができる。

本実施形態に係るブラウザ装置１００において、制御部７０は、感情認識部７５の検出結果においてユーザの感情の高ぶりが所定の基準よりも高い場合には、少なくとも外部シナリオを選択する。これにより、ユーザの感情の高ぶりが高い場合には、外部シナリオを提示してユーザに心地よくブラウザ装置１００を使用させることができる。

本実施形態に係るブラウザ装置１００において、制御部７０は、情報提供サーバ９０から取得した外部シナリオを記憶部８３に記憶させることで内部シナリオとする。これにより、使用頻度の高い外部シナリオを内部シナリオとしてユーザに提示することが可能となるため、外部との通信を抑制し、動作の円滑化を図ることができる。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、感情認識部７５がユーザの音声情報に基づいてユーザの感情情報を認識する構成を例に挙げて説明したが、これに限定されない。例えば、ブラウザ装置１００が不図示の撮像部を備え、撮像部によってユーザの顔の表情等を撮像し、撮像結果に基づいてユーザの感情情報を認識する構成であってもよい。

また、上記実施形態においては、外部記憶部として情報提供サーバ９０を例に挙げて説明したが、これに限定されない。外部記憶部としては、例えばブラウザ装置１００に対して着脱可能な記憶媒体等であってもよい。

Ｄ…シナリオデータ、ＮＷ…ネットワーク、１０…筐体、２０…表示部、３０…音声入力部、４０…音声出力部、５０…タッチパネル入力部、６０…通信部、７０…制御部、７１…演算処理部、７２…表示制御部、７３…音声認識部、７４…音声合成部、７５…感情認識部、７６…シナリオ選択部、７７…シナリオ発生部、７８…タイミング発生部、７９…タイマ、８１…ＨＴＭＬ解析部、８３…記憶部、９０…情報提供サーバ、１００…ブラウザ装置

Claims (6)

1. ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶する記憶部と、
   前記記憶部とは異なる外部記憶部に記憶されるシナリオを外部シナリオとして取得する取得部と、
   前記質問項目を出力する出力部と、
   ユーザの感情情報を検出する感情認識部と、
   前記感情認識部の検出結果に基づいて、前記内部シナリオ及び前記外部シナリオのうち少なくとも一方のシナリオを選択し、選択した前記シナリオに基づいて複数の前記質問項目を前記出力部に出力させる制御部と
   を備えるブラウザ装置。
2. 前記制御部は、前記感情認識部の検出結果において前記ユーザの感情の高ぶりが所定の基準よりも低い場合には、前記内部シナリオを選択する
   請求項１に記載のブラウザ装置。
3. 前記制御部は、前記感情認識部の検出結果において前記ユーザの感情の高ぶりが所定の基準よりも高い場合には、少なくとも前記外部シナリオを選択する
   請求項１又は請求項２に記載のブラウザ装置。
4. 前記制御部は、前記外部記憶部から取得した前記外部シナリオを前記記憶部に記憶させることで前記内部シナリオとする
   請求項１から請求項３のいずれか一項に記載のブラウザ装置。
5. ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶部に記憶することと、
   前記記憶部とは異なる外部記憶部に記憶されるシナリオを外部シナリオとして取得することと、
   ユーザの感情情報を検出することと、
   検出結果に基づいて、前記内部シナリオ及び前記外部シナリオのうち少なくとも一方のシナリオを選択し、選択した前記シナリオに基づいて複数の前記質問項目を出力部に出力させることと
   を含む情報出力方法。
6. ユーザに対する複数の質問項目及び当該質問項目の質問順を設定したシナリオを内部シナリオとして記憶部に記憶する処理と、
   前記記憶部とは異なる外部記憶部に記憶されるシナリオを外部シナリオとして取得する処理と、
   ユーザの感情情報を検出する処理と、
   検出結果に基づいて、前記内部シナリオ及び前記外部シナリオのうち少なくとも一方のシナリオを選択し、選択した前記シナリオに基づいて複数の前記質問項目を出力部に出力させる処理と
   をコンピュータに実行させる情報出力プログラム。

Images