JP2015114527A - ユーザのデータ入力に応じて情報提供を行うための端末装置、プログラム、記録媒体および方法 - Google Patents

Abstract

【課題】ユーザが発話に適さない状況下に置かれていても、ユーザが音声エージェントシステムの利便性を享受することを可能とする手段を提供する。【解決手段】ユーザが端末装置に対し音声により指示を行うと、当該音声が表す指示文が音声認識処理により認識され、認識された指示文に応じた処理が特定される。端末装置は特定された処理を実行するとともに、例えばユーザの操作に従い、指示文を示す指示文データを記憶する。ユーザが端末装置に所定の操作を行うと、端末装置は記憶している指示文データが示す指示文を表示し、ユーザはそれらの指示文のいずれかを選択する操作により、端末装置に対し、音声による指示と同様の指示を行うことができる。【選択図】図１１

Description

本発明は、ユーザが端末装置に対し行うデータ入力に応じて、当該ユーザに情報を提供する仕組みに関する。

端末装置のユーザが、キーワードを端末装置に入力することにより、知りたい情報を端末装置に表示させる技術がある。ユーザは、端末装置に現在表示されている情報に関連する新たな情報を知りたい、と思う場合がある。この場合、ユーザがキーワードを端末装置に入力する手間を軽減する技術が提案されている。

例えば、特許文献１には、一定期間において検索頻度が急上昇したクエリであるバーストクエリの検索頻度が急上昇した理由を示すイベント情報と、バーストクエリと共に入力されたクエリである第１共起クエリとを対応付けて記憶しておき、新たなバーストクエリが生じた場合、新たなバーストクエリと共に入力されたクエリである第２共起クエリを特定し、第２共起クエリと類似する第１共起クエリと対応付けて記憶されているイベント情報を、新たなバーストクエリの検索頻度の上昇の理由となるイベントを示す情報として特定し、特定したイベント情報を、新たなバーストクエリに関連する関連検索キーワードとしてユーザに提示する仕組みが開示されている。

特許文献１に開示の仕組みによれば、ユーザが同時期に他のユーザによって高頻度で使用されているクエリを使用した場合、そのクエリが他のユーザによって高頻度で使用されている理由となるイベント情報が関連検索キーワードとしてユーザに提示される。そのため、ユーザは提示される関連検索キーワードを選択することにより、クエリの入力により端末装置に表示させた情報に関連する情報を高い確率で端末装置に表示させることができる。

特開２０１３−０３７４０４号公報

ユーザが知りたい情報を端末装置に表示させる際に、端末装置に対する指示を音声により行うことを可能とする仕組み（以下、この仕組みを「音声エージェントシステム」という）がある。音声エージェントシステムにおいて、例えばユーザが「近くのカレー屋に行きたい」と発話すると、音声認識処理によりユーザの音声が示す指示内容が認識され、認識された指示内容に従い、ユーザの現在位置から所定距離以内のカレー屋の情報が端末装置に表示される。

音声エージェントシステムによれば、ユーザは発話により端末装置に対し知りたい情報の表示を指示することができるが、ユーザは常に発話が可能な状況下にあるとは限らない。例えば、公共の場においては周囲の人に迷惑をかけないように、という思いから発話が憚られる。また、仮に周りに人がいなくても、騒音のために発話の内容が正しく認識されない場合もある。このように、音声エージェントシステムが利用可能であるにもかかわらず、ユーザは置かれた状況によって音声エージェントシステムの利便性を享受できない場合がある。

本発明は上記の事情に鑑み、ユーザが発話に適さない状況下に置かれていても、ユーザが音声エージェントシステムの利便性を享受することを可能とする手段を提供することを目的とする。

上述した課題を解決するため、本発明は、ユーザの音声を示す音声データを取得する音声データ取得手段と、前記音声データが表す指示文を示す指示文データを取得する指示文データ取得手段と、前記指示文データを記憶装置に記憶させる記憶指示手段と、前記指示文データが示す指示文に応じた処理を識別する第１の処理識別データを取得する第１の処理識別データ取得手段と、前記第１の処理識別データにより識別される処理を実行する処理実行手段と、前記記憶装置に記憶されている１以上の指示文データが示す１以上の指示文の表示を表示装置に指示する表示指示手段と、前記ユーザが行った操作を示す操作データを取得する操作データ取得手段と、前記表示装置により表示される前記１以上の指示文のうち前記操作データ取得手段が取得した操作データにより特定される指示文に応じた処理を識別する第２の処理識別データを取得する第２の処理識別データ取得手段とを備え、前記処理実行手段は、前記第２の処理識別データにより識別される処理を実行する端末装置を提供する。

上記の端末装置において、前記音声データをサーバ装置に送信する送信手段を備え、前記指示文データ取得手段は、前記送信手段による音声データの送信に対する応答として前記サーバ装置から送信されてくる指示文データを受信し、前記第１の処理識別データ取得手段は、前記送信手段による音声データの送信に対する応答として前記サーバ装置から送信されてくる処理識別データを受信する、という構成が採用されてもよい。

また、上記の端末装置において、前記表示指示手段は、前記記憶装置に記憶されている１以上の指示文データを予め定められた規則に従い１以上のグループに区分し、前記１以上のグループの各々に区分した指示文データの数に基づき前記１以上のグループの中から１以上のグループを選択し、当該選択した１以上のグループの各々に応じた指示文の表示を前記表示装置に指示する、という構成が採用されてもよい。

また、上記の端末装置において、時刻を示す時刻データを取得する時刻データ取得手段を備え、前記記憶指示手段は、指示文データに対応付けて、前記時刻データ取得手段が取得した時刻データであって、当該指示文データに応じた音声データを前記音声データ取得手段が取得したときの時刻を示す時刻データを前記記憶装置に記憶させ、前記表示指示手段は、指示文データに対応付けて前記記憶装置に記憶されている時刻データが示す時刻と、前記時刻データ取得手段が取得した時刻データが示す現在の時刻とに基づき、前記記憶装置に記憶されている１以上の指示文データの中から１以上の指示文データを選択し、当該選択した１以上の指示文データが示す指示文の表示を前記表示装置に指示する、という構成が採用されてもよい。

また、上記の端末装置において、前記ユーザの位置を示す位置データを取得する位置データ取得手段を備え、前記記憶指示手段は、指示文データに対応付けて、前記位置データ取得手段が取得した位置データであって、当該指示文データに応じた音声データを前記音声データ取得手段が取得したときの前記ユーザの位置を示す位置データを前記記憶装置に記憶させ、前記表示指示手段は、指示文データに対応付けて前記記憶装置に記憶されている位置データが示す位置と、前記位置データ取得手段が取得した位置データが示す現在の前記ユーザの位置とに基づき、前記記憶装置に記憶されている１以上の指示文データの中から１以上の指示文データを選択し、当該選択した１以上の指示文データが示す指示文の表示を前記表示装置に指示する、という構成が採用されてもよい。

また、上記の端末装置において、前記表示指示手段は、前記記憶装置に記憶されている１以上の指示文データを予め定められた規則に従い１以上のグループに区分し、当該１以上のグループ毎に指示文の表示を前記表示装置に指示する、という構成が採用されてもよい。

また、上記の端末装置において、前記処理実行手段は、前記第２の処理識別データに対し、前記操作データ取得手段が取得した操作データにより特定される変更を加えた後の処理識別データにより識別される処理を実行する、という構成が採用されてもよい。

また、本発明は、コンピュータに、ユーザの音声を示す音声データを取得する処理と、前記音声データが表す指示文を示す指示文データを取得する処理と、前記指示文データを記憶装置に記憶させる処理と、前記指示文データが示す指示文に応じた処理を識別する第１の処理識別データを取得する処理と、前記第１の処理識別データにより識別される処理と、前記記憶装置に記憶されている１以上の指示文データが示す１以上の指示文の表示を表示装置に指示する処理と、前記表示装置が１以上の指示文の表示を行っているときに前記ユーザが行った操作を示す操作データを取得する処理と、前記表示装置により表示される前記１以上の指示文のうち前記操作データにより特定される指示文に応じた処理を識別する第２の処理識別データを取得する処理と、前記第２の処理識別データにより識別される処理とを実行させるためのプログラムを提供する。

また、本発明は、コンピュータに、ユーザの音声を示す音声データを取得する処理と、前記音声データが表す指示文を示す指示文データを取得する処理と、前記指示文データを記憶装置に記憶させる処理と、前記指示文データが示す指示文に応じた処理を識別する第１の処理識別データを取得する処理と、前記第１の処理識別データにより識別される処理と、前記記憶装置に記憶されている１以上の指示文データが示す１以上の指示文の表示を表示装置に指示する処理と、前記表示装置が１以上の指示文の表示を行っているときに前記ユーザが行った操作を示す操作データを取得する処理と、前記表示装置により表示される前記１以上の指示文のうち前記操作データにより特定される指示文に応じた処理を識別する第２の処理識別データを取得する処理と、前記第２の処理識別データにより識別される処理とを実行させるためのプログラムをコンピュータ読取可能に持続的に記録した記録媒体を提供する。

また、本発明は、端末装置が、ユーザの音声を示す音声データを取得するステップと、前記端末装置が、前記音声データが表す指示文を示す指示文データを取得するステップと、前記端末装置が、前記指示文データを記憶装置に記憶させるステップと、前記端末装置が、前記指示文データが示す指示文に応じた処理を識別する第１の処理識別データを取得するステップと、前記端末装置が、前記第１の処理識別データにより識別される処理を実行するステップと、前記端末装置が、前記記憶装置に記憶されている１以上の指示文データが示す１以上の指示文の表示を表示装置に指示するステップと、前記端末装置が、前記表示装置が１以上の指示文の表示を行っているときに前記ユーザが行った操作を示す操作データを取得するステップと、前記端末装置が、前記表示装置により表示される前記１以上の指示文のうち前記操作データにより特定される指示文に応じた処理を識別する第２の処理識別データを取得するステップと、前記端末装置が、前記第２の処理識別データにより識別される処理を実行するステップとを備える方法を提供する。

本発明によれば、ユーザが過去に端末装置に対し発話により行った指示に応じた指示文が表示装置に一覧表示され、ユーザは一覧表示される指示文の中からいずれかの指示文を選択することにより、端末装置に対し、発話を行うことなく発話と同様の指示を与えることができる。その結果、ユーザは発話に適さない状況下に置かれていても、音声エージェントシステムの利便性を享受することができる。

一実施形態にかかる音声エージェントシステムの全体構成を示した図である。 一実施形態にかかる端末装置のハードウェア構成を示した図である。 一実施形態にかかる端末装置の機能構成を示した図である。 一実施形態にかかるサーバ装置のハードウェア構成を示した図である。 一実施形態にかかるサーバ装置の機能構成を示した図である。 一実施形態にかかるサーバ装置が用いる同義語データベースの構成例を示した図である。 一実施形態にかかるサーバ装置が用いる関連性データベースの構成例を示した図である。 一実施形態にかかる端末装置のディスプレイに表示される画面を例示した図である。 一実施形態にかかる音声エージェントシステムが行う処理のシーケンスを示した図である。 一実施形態にかかる端末装置が用いるブックマークテーブルの構成例を示した図である。 一実施形態にかかる端末装置のディスプレイに表示される画面を例示した図である。 一実施形態にかかる音声エージェントシステムが行う処理のシーケンスを示した図である。 一変形例にかかる音声エージェントシステムが行う処理のシーケンスを示した図である。 一変形例にかかる音声エージェントシステムが行う処理のシーケンスを示した図である。 一変形例にかかる音声エージェントシステムが行う処理のシーケンスを示した図である。 一変形例にかかる端末装置が用いるブックマークテーブルの構成例を示した図である。 一変形例にかかる端末装置が用いる位置データの構成例を示した図である。 一変形例にかかる音声エージェントシステムが行う処理のシーケンスを示した図である。 一変形例にかかる端末装置のディスプレイに表示される画面を例示した図である。 一変形例にかかる音声エージェントシステムが行う処理のシーケンスを示した図である。 一変形例にかかる端末装置が用いるデータの構成例を示した図である。 一変形例にかかる端末装置のディスプレイに表示される画面を例示した図である。 一変形例にかかるサーバ装置が用いるパラメータ管理データベースの構成例を示した図である。 一変形例にかかる端末装置が用いるブックマークテーブルの構成例を示した図である。

［実施形態］
以下に、本発明の一実施形態にかかる音声エージェントシステム１を説明する。図１は、音声エージェントシステム１の全体構成を示した図である。音声エージェントシステム１は、ユーザが携帯する端末装置１１と、サーバ装置１２を備えている。サーバ装置１２は、ユーザが端末装置１１に対し音声による指示（以下、「音声指示」という）を行った場合、その音声の意図解釈を行い、端末装置１１に対し実行すべき処理を指示する。端末装置１１とサーバ装置１２は通信ネットワーク１９を介して互いにデータ通信を行うことができる。

なお、図１においては、端末装置１１は１つのみ例示されているが、実際には端末装置１１の数は音声エージェントシステム１を利用するユーザの数に応じて任意に変化する。また、図１においては、サーバ装置１２は１つの装置として示されているが、例えば互いに連係動作する複数の装置によりサーバ装置１２が構成されてもよい。

端末装置１１のハードウェア構成は、例えば、タッチディスプレイを備えた一般的なスレートデバイス型のパーソナルコンピュータのハードウェア構成と同じであるが、他の形式のコンピュータであってもよい。図２は、端末装置１１のハードウェア構成の例として、スレートデバイス型のパーソナルコンピュータのハードウェア構成を示した図である。図２に例示の端末装置１１は、ハードウェア構成として、メモリ１０１と、プロセッサ１０２と、通信ＩＦ（Interface）１０３と、タッチディスプレイ１０４と、マイク１０５と、クロック１０６と、ＧＰＳユニット（Global Positioning System）１０７とを備えている。また、これらの構成部はバス１０９を介して互いに接続されている。

メモリ１０１は揮発性半導体メモリや不揮発性半導体メモリ等を有する記憶装置であり、ＯＳ（Operation System）、アプリケーションプログラム、ユーザデータ等の各種データを記憶するとともに、プロセッサ１０２によるデータ処理における作業領域として利用される。プロセッサ１０２はＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の処理装置である。通信ＩＦ１０３は無線通信により通信ネットワーク１９を介して、サーバ装置１２との間で各種データ通信を行うインタフェースである。

タッチディスプレイ１０４は、ディスプレイ１０４１とタッチパネル１０４２を有している。ディスプレイ１０４１は、例えば液晶ディスプレイ等の表示装置であり、文字、図形、写真等を表示する。タッチパネル１０４２は、例えば静電容量方式のタッチパネルであり、指等のポインタが接触または近接した場合、当該接触または近接の位置を特定することによりユーザの操作を受け付ける入力デバイスである。なお、以下の説明において、接触または近接を便宜的に単に「接触」という。

ディスプレイ１０４１とタッチパネル１０４２は積層配置されており、ディスプレイ１０４１に表示されている画像に対しユーザがポインタを接触させる動作を行うと、実際にはタッチパネル１０４２にポインタが接触し、その位置が特定される。プロセッサ１０２は、ＯＳやアプリケーションプログラムに従い、タッチパネル１０４２により特定された位置に基づき、当該ポインタの接触によるユーザの意図した操作の内容を特定する。

マイク１０５は音を拾音して音データを生成する拾音装置である。音声エージェントシステム１においては、マイク１０５はユーザの音声を拾音し、音声データを生成する。クロック１０６は基準時刻からの経過時間を継続的に計測し、現在時刻を示す時刻データを生成する装置である。ＧＰＳユニット１０７は、複数の衛星からの信号を受信し、受信した信号に基づき端末装置１１の現在の位置（すなわちユーザの現在の位置）を特定し、特定した位置を示す位置データを生成する装置である。

上記のハードウェア構成を備える端末装置１１は、プロセッサ１０２がメモリ１０１に記憶されているプログラムに従う処理を行うことにより、図３に示す機能構成を備える装置として動作する。すなわち、端末装置１１は、機能構成として、マイク１０５により生成されたユーザの音声を示す音声データを取得する音声データ取得手段１１１と、音声データ取得手段１１１が取得した音声データをサーバ装置１２に送信する送信手段１１２を備える。

端末装置１１は、さらに、送信手段１１２による音声データの送信に対する応答としてサーバ装置１２から送信されてくる、指示文データと処理識別データを受信する受信手段１１３を備える。指示文データは、音声データが表す指示の内容（以下、「指示内容」という）を文章（指示文）で示すデータであり、処理識別データは指示文データが示す指示文に応じた処理を識別するデータである。

本実施形態において、処理は機能とパラメータの組み合わせにより特定される。機能とは、例えば、レストラン検索、乗換案内、等々の、ユーザの目的に応じた一連の情報提供の種別を示す。パラメータは、機能の実行において、具体的な処理を特定するために必要なデータであり、例えば、レストラン検索における料理名やユーザ（端末装置１１）の現在位置、乗換案内におけるユーザ（端末装置１１）の現在位置や行き先の駅名、等々がパラメータに該当する。

端末装置１１は、さらに、受信手段１１３が受信した指示文データをメモリ１０１に記憶させる記憶指示手段１１４と、受信手段１１３が受信した処理識別データにより識別される処理を実行する処理実行手段１１５と、ユーザによる操作（例えば、タッチパネル１０４２に対する操作）を示す操作データを取得する操作データ取得手段１１６と、メモリ１０１に記憶されている１以上の指示文データを読み出して、それらの指示文データが示す１以上の指示文の一覧表示をディスプレイ１０４１に指示する表示指示手段１１７を備える。

端末装置１１は、さらに、クロック１０６から現在時刻を示す時刻データを取得する時刻データ取得手段１１８と、ＧＰＳユニット１０７から現在のユーザの位置を示す位置データを取得する位置データ取得手段１１９を備える。

サーバ装置１２のハードウェア構成は、外部の装置との間で通信ネットワーク１９を介したデータ通信が可能な一般的なコンピュータのハードウェア構成と同じである。図４は、サーバ装置１２のハードウェア構成を示した図である。すなわち、サーバ装置１２は、ハードウェア構成として、メモリ２０１と、プロセッサ２０２と、通信ＩＦ２０３を備えている。また、これらの構成部はバス２０９を介して互いに接続されている。

メモリ２０１は揮発性半導体メモリや不揮発性半導体メモリ等を有する記憶装置であり、ＯＳ、アプリケーションプログラム、ユーザデータ等の各種データを記憶するとともに、プロセッサ２０２によるデータ処理における作業領域として利用される。プロセッサ２０２はＣＰＵ、ＧＰＵ等の処理装置である。通信ＩＦ２０３は通信ネットワーク１９を介して他の装置との間で各種データ通信を行うインタフェースである。

サーバ装置１２は、メモリ２０１に記憶されているプログラムに従う処理を行うことにより、図５に示す機能構成を備える装置として動作する。すなわち、サーバ装置１２は、機能構成として、まず、端末装置１１から音声データを受信する受信手段１２１と、受信手段１２１により受信された音声データが表わす音声の内容を認識し、認識した内容（指示内容）を文章で示す指示文データを生成する音声認識手段１２２と、音声認識手段１２２により生成された指示文データに応じた処理を特定し、特定した処理を識別する処理識別データを生成する処理識別データ生成手段１２３と、処理識別データ生成手段１２３が生成した処理識別データを音声認識手段１２２が生成した指示文データとともに端末装置１１に送信する送信手段１２４を備えている。

なお、音声認識手段１２２が行う処理は既知の音声認識処理であるため、その説明を省略する。

処理識別データ生成手段１２３は、指示文データに応じた処理を特定するために、様々なキーワードの同義語を示す同義語データと、様々なキーワードと端末装置１１が実行可能な様々な処理との関連性の高低を示すデータである関連性データを利用する。同義語データと関連性データはメモリ２０１に記憶されており、処理識別データ生成手段１２３はメモリ２０１からこれらのデータを読み出して用いる。

図６は同義語データを格納するデータベースである同義語データベースの構成例を示した図である。同義語データベースは、様々な基本となるキーワード（基本キーワード）の各々に応じたデータレコードの集まりである。同義語データベースに含まれるデータレコードの各々は、データフィールドとして［基本キーワード］、［同義キーワード］を有している。なお、以下、［（データフィールド名）］は、データフィールド名で特定されるデータフィールドを示す。

［基本キーワード］には基本キーワードが格納される。［同義キーワード］には基本キーワードと同義のキーワードが格納される。なお、１つのデータレコードにおいて、［基本キーワード］に格納されるキーワード数は１つであり、［同義キーワード］に格納されるキーワード数は同義語の数に応じて異なる。

図７は関連性データを格納するデータベースである関連性データベースの構成例を示した図である。関連性データベースは、様々なキーワードの各々に応じたデータレコードの集まりである。関連性データベースに含まれるデータレコードの各々は、データフィールドとして［キーワード］、［種別］、［機能ＩＤ］、［機能名］、［パラメータ］、［スコア］を有している。

［キーワード］には、キーワード（同義語データベースに格納されるいずれかの基本キーワード）を示すテキストデータが格納される。［種別］には、キーワードの種別（複数可）を示すテキストデータが格納される。例えば、図７の第１のデータレコードの［種別］には、キーワード「ラーメン」の種別として「料理名」が格納されている。

［機能ＩＤ］には、機能を識別する機能ＩＤが格納される。［機能名］には、機能の名称を示すテキストデータが格納される。なお、以下、個々の機能を示す場合、機能「（機能名）」のようにいう。

［パラメータ］には、機能において用いられるパラメータの種別を示すテキストデータが格納される。例えば、図７の第１のデータレコードの［パラメータ］に格納されている「料理名、現在位置」というデータは、機能「レストラン検索」において、種別が「料理名」であるキーワードと、現在位置が用いられることを示す。

［スコア］には、キーワードと機能の関連性の高低を示す数値データであるスコアが格納される。なお、関連性データベースの各々のデータレコードは、［機能ＩＤ］、［機能名］、［パラメータ］、［スコア］に複数組のデータを格納することができる。

上記の構成を備える音声エージェントシステム１によれば、ユーザは端末装置１１に対し過去に行った音声指示と同様の指示を、音声によらずに行うことができる。以下に、まず、ユーザが音声指示を行う場合に音声エージェントシステム１が行う処理を説明する。

図８は、ユーザが音声指示を行う場合に端末装置１１のディスプレイ１０４１に表示される画面を例示した図である。また、図９は、ユーザが音声指示を行う場合に音声エージェントシステム１が行う処理のシーケンスを示した図である。

まず、ユーザは端末装置１１に対し所定の操作を行い、ディスプレイ１０４１に図８（ａ）に示す対話画面を表示させる。対話画面は、端末装置１１がユーザからの音声指示を待機している間に表示する画面である。対話画面が表示されている状態でユーザが音声指示を行うと、マイク１０５はユーザの音声を示す音声データを生成する。音声データ取得手段１１１はマイク１０５が生成した音声データを取得する（ステップＳ１０１）。以下、図８（ｂ）に示すように、ユーザは対話画面が表示されている状態で端末装置１１に対し「新宿駅はどこ？」と発話した場合を例として説明を続ける。

続いて、送信手段１１２は音声データ取得手段１１１が取得した音声データをサーバ装置１２に送信し（ステップＳ１０２）、サーバ装置１２の受信手段１２１は端末装置１１から送信されてくる音声データを受信する（ステップＳ１０３）。

音声認識手段１２２は、受信手段１２１が端末装置１１から受信した音声データが表す音声の内容を認識して、認識した内容を文章で示す発話文データ（同義語の変換が行われる前の指示文を示す指示文データ）を生成する（ステップＳ１０４）。この具体例では、「新宿駅はどこ？」という文章を示す発話文データが生成される。

続いて、処理識別データ生成手段１２３は、音声認識手段１２２が生成した発話文データが示す文章に含まれるキーワード（同義キーワード）を、同義語データベース（図６）に格納されている同義語データに従い基本キーワードに変換し、変換後の文章（指示文）を示す指示文データを生成する（ステップＳ１０５）。この具体例では、例えば、同義語キーワード「どこ？」が基本キーワード「どこですか？」に変換されて、「新宿駅はどこですか？」という文章を示す指示文データが生成される。

続いて、処理識別データ生成手段１２３は、ステップＳ１０５において生成した指示文データが示す指示文に応じた処理を特定し、特定した処理を識別する処理識別データを生成する（ステップＳ１０６）。具体的には、処理識別データ生成手段１２３は、まず、指示文データが示す指示文に含まれるキーワードを抽出する。続いて、処理識別データ生成手段１２３は抽出したキーワードの各々に関し、当該キーワードを［キーワード］に格納するデータレコードを関連性データベース（図７）から抽出する。続いて、処理識別データ生成手段１２３は抽出した１以上のデータレコードの［機能ＩＤ］に格納されている機能ＩＤ毎に、［スコア］に格納されているスコアを合算する。

この具体例では、処理識別データ生成手段１２３は指示文データが示す「新宿駅はどこですか？」からキーワードとして「新宿駅」と「どこですか？」を抽出する。続いて、処理識別データ生成手段１２３は関連性データベースから［キーワード］に「新宿駅」を格納するデータレコード（図７の第４のデータレコード）と、［キーワード］に「どこですか？」を格納するデータレコード（図７の第５のデータレコード）を抽出する。そして、処理識別データ生成手段１２３は抽出したこれらのデータレコードの［機能ＩＤ］に格納される「Ｆ０３５６」、「Ｆ２５２７」、・・・の各々に関し、［スコア］に格納されている数値を合算する。その結果、例えば、機能ＩＤ「Ｆ０３５６」で識別される機能「乗換案内」のスコアが「１４」、機能ＩＤ「Ｆ２５２７」で識別される機能「マップ表示」のスコアが「１８」、・・・という具合に、指示文に応じた各機能のスコアが特定される。

処理識別データ生成手段１２３は、上記のように特定したスコアが最も大きい機能を、指示文データが示す指示文に応じた機能として特定する。続いて、処理識別データ生成手段１２３は、指示文データから抽出したキーワードの中から、特定した機能に対応する関連性データの［パラメータ］に格納される種別のキーワードを抽出する。そして、処理識別データ生成手段１２３は、上記のように特定した機能を識別する機能ＩＤを含み、また、抽出したキーワード（もしあれば）をパラメータとして含む処理識別データを生成する。この具体例では、処理識別データ生成手段１２３は機能「マップ表示」と、パラメータ「新宿駅」を含む処理識別データが生成される。

送信手段１２４は、処理識別データ生成手段１２３がステップＳ１０５において生成した指示文データと、ステップＳ１０６において生成した処理識別データを、受信手段１２１がステップＳ１０３において受信した音声データに対する応答として端末装置１１に対し送信する（ステップＳ１０７）。端末装置１１の受信手段１１３は、サーバ装置１２から送信されてくる指示文データと処理識別データを受信する（ステップＳ１０８）。

処理実行手段１１５は、受信手段１１３が受信した処理識別データにより識別される処理を実行する（ステップＳ１０９）。図８（ｃ）は、処理実行手段１１５が処理識別データにより識別される処理を実行した場合にディスプレイ１０４１に表示される処理実行画面を例示した図である。なお、端末装置１１はステップＳ１０９の処理において、必要に応じて、Ｗｅｂサーバ装置等（図１において図示略）から必要なデータを取得して用いたり、時刻データ取得手段１１８が取得した時刻データや位置データ取得手段１１９が取得した位置データを用いたりする。

図８（ｃ）に例示されるように、処理実行画面には指示文データが示す指示文が吹き出しＡ０１として表示される。また、処理実行画面がユーザの音声指示に従い表示された場合、吹き出しＡ０１の右にボタンＡ０２が表示される。このボタンＡ０２は、指示文データを将来の利用のために登録するためのボタンである。

ユーザがボタンＡ０２に対しタッチ操作等を行うと、操作データ取得手段１１６はタッチパネル１０４２からユーザの操作を示す操作データを取得する（ステップＳ１１０）。この操作データは、指示文データの登録を指示する操作を示す操作データである。記憶指示手段１１４は、この操作データに従い、時刻データ取得手段１１８からその時点の時刻を示す時刻データを受け取り、ステップＳ１０８において受信手段１１３が受信した指示文データ（吹き出しＡ０１に表示されている指示文を示すデータ）と処理識別データを、時刻データ取得手段１１８から受け取った時刻データとともに、メモリ１０１に記憶させる（ステップＳ１１１）。以下、ステップＳ１１１においてメモリ１０１に記憶される、互いに対応付けられた指示文データ、処理識別データ、および時刻データを「ブックマークデータ」と呼ぶ。

図１０は、メモリ１０１に記憶されるブックマークデータのテーブル（以下、「ブックマークテーブル」という）を例示した図である。

なお、ユーザはブックマークデータの登録を希望しない場合、ボタンＡ０２に対する操作を行う必要はない。その場合、ステップＳ１１０およびＳ１１１の処理は行われない。

以上が、ユーザが音声指示を行う場合に音声エージェントシステム１が行う処理の説明である。続いて、ユーザが音声によらずに指示を行う場合に音声エージェントシステム１が行う処理を説明する。図１１は、ユーザが音声によらずに指示を行う場合に端末装置１１のディスプレイ１０４１に表示される画面を例示した図である。また、図１２は、ユーザが音声によらずに指示を行う場合に音声エージェントシステム１が行う処理のシーケンスを示した図である。

まず、ユーザは端末装置１１を操作して、図１１（ａ）に示す対話画面をディスプレイ１０４１に表示させる。図１１（ａ）の対話画面は、図８（ａ）に示したものと同じものである。ユーザは、公共の場にいるなどの理由で発話による指示を行いたくない場合、発話に代えて、対話画面に配置されているボタンＡ０３に対しタッチ操作等を行う。操作データ取得手段１１６はタッチパネル１０４２からユーザの操作を示す操作データを取得する（ステップＳ２０１）。この操作データは、登録済みの指示内容の一覧表示を指示する操作を示す操作データである。

表示指示手段１１７は、この操作データに従い、メモリ１０１からブックマークテーブル（図１０）を読み出し、ブックマークテーブルに格納されている指示文データが示す指示内容を、対応する時刻データが示す時刻が新しい順に所定数、ディスプレイ１０４１に表示させる（ステップＳ２０２）。図１１（ｂ）は、ステップＳ２０２においてディスプレイ１０４１に表示されるブックマーク一覧画面を例示した図である。ブックマーク一覧画面の領域Ａ０４には複数のテキストボックスが配置され、それらのテキストボックスには、過去にユーザが行った音声指示に応じた指示文のうちユーザが登録を指示したものが登録の新しいもの程上に表示される。また、これらのテキストボックスの各々には、表示されている指示文データに応じた処理識別データ（ブックマークテーブルにおいて指示文データに対応付けられている処理識別データ）がリンクされている。

ユーザが領域Ａ０４に表示されるいずれかのテキストボックスに対しタッチ操作等を行うと、操作データ取得手段１１６はタッチパネル１０４２からユーザの操作を示す操作データを取得する（ステップＳ２０３）。処理実行手段１１５は、ステップＳ２０３において操作データ取得手段１１６が取得した操作データが示すユーザが選択したテキストボックスにリンクされている処理識別データにより識別される処理を実行する（ステップＳ２０４）。

ステップＳ２０４の処理により、ディスプレイ１０４１には図１１（ｃ）に示す処理実行画面が表示される。なお、図１１（ｃ）の処理実行画面は、ユーザがブックマーク一覧画面（図１１（ｂ））において、「新宿駅はどこですか？」という指示文のテキストボックスをタッチ操作等により指定した場合に表示される処理実行画面であり、ユーザが音声により同じ内容の指示を行った場合に表示される処理実行画面（図８（ｃ））と同じものである。

上述したように、音声エージェントシステム１によれば、ユーザは過去に行った音声指示に応じた指示文の中から希望するものを、例えばタッチ操作等の音声によらない方法で指定することによって、音声指示と同様の指示を端末装置１１に対し与えることができる。従って、ユーザは音声指示を行うことが相応しくない状況下においても、音声エージェントシステム１により提供される利便性を享受することができる。

［変形例］
上述した音声エージェントシステム１は本発明の一実施形態であって、本発明の技術的思想の範囲内において様々に変形することができる。以下にそれらの変形の例を示す。以下の変形例の説明において、変形例が上述した実施形態と異なる部分を主に説明し、実施形態と同様の構成や動作については適宜、その説明を省略する。また、以下の変形例にかかる音声エージェントシステムが備える構成部のうち、上述した実施形態にかかる音声エージェントシステム１が備える構成部と共通もしくは対応する構成部には、上述した実施形態において用いた符号と同じ符号を用いる。なお、上述した実施形態および下記の変形例は適宜組み合わされてもよい。

［第１変形例］
上述した実施形態においては、ユーザが処理実行画面（図８（ｃ））においてボタンＡ０２をタッチ操作等することにより、ブックマークデータの登録が行われる。これに対し、本変形例においては、ユーザが行った音声指示の内容を示す指示文データを含むブックマークデータが自動的にブックマークテーブルに登録される。そして、ブックマークテーブルに基づき、ユーザが行った指示が多い順に所定数（例えば１０個）の指示文が、ブックマーク一覧画面（図１１（ｂ））に表示される。

図１３は、上記の実施形態において音声エージェントシステム１が行う図９に示した処理に代えて、本変形例において音声エージェントシステム１が行う処理のシーケンスを示した図である。本変形例においては、ステップＳ１０８において端末装置１１の受信手段１１３がサーバ装置１２から指示文データと処理識別データを受信すると、処理実行手段１１５による処理識別データに従う処理の実行（ステップＳ１０９）と並行して、記憶指示手段１１４によりブックマークデータ（指示文データ、処理識別データ、時刻データ）の記憶がメモリ１０１に対し指示される（ステップＳ３０１）。

このように、本変形例においては、ユーザによる指示文データの登録の操作（ステップＳ１１０）は不要であり、ステップＳ３０１において、ユーザの音声指示に応じて生成される全ての指示文データが、処理識別データおよび時刻データとともに、ブックマークデータとしてブックマークテーブル（図１０）に登録される。

図１４は、本変形例において、表示指示手段１１７がブックマーク一覧画面をディスプレイ１０４１に表示させるステップＳ２０２（図１２）において行う処理のシーケンスを示した図である。表示指示手段１１７は、ステップＳ２０２において、まず、メモリ１０１からブックマークテーブルを読み出す（ステップＳ４０１）。続いて、表示指示手段１１７は、読み出したブックマークテーブルに含まれるブックマークデータを、［処理識別データ］に格納されている処理識別データが同一のもの毎にグループに区分する（ステップＳ４０２）。

続いて、表示指示手段１１７は、区分したグループ毎に、ブックマークデータの数を数える（ステップＳ４０３）。続いて、表示指示手段１１７は、ステップＳ４０３において数えた数が多い順に所定数のグループを選択する（ステップＳ４０４）。表示指示手段１１７は、ステップＳ４０４において選択したグループのブックマークレコードのうち、例えば［時刻］に格納されている時刻データが示す時刻が最も古いブックマークレコードの[指示文］に格納されている指示文データが示す指示文を、ステップＳ４０３において数えた数が多い順に配置したブックマーク一覧画面を、ディスプレイ１０４１に表示させる（ステップＳ４０５）。

本変形例によれば、ユーザは指示文データの登録操作を行う手間を要さない。

なお、表示指示手段１１７はステップＳ４０２において、ブックマークテーブルに含まれる全てのブックマークデータをグループ化の対象としなくてもよい。例えば、［時刻］に格納される時刻データが過去の所定の期間内の時刻を示すブックマークデータのみをグループ化の対象とする構成や、時刻データが示す時刻が新しいものから順に所定数のブックマークデータのみをグループ化の対象とする構成などが採用されてもよい。

また、表示指示手段１１７はステップＳ４０４において、ステップＳ４０３において数えた数が多い順に所定数のグループを選択する代わりに、もしくはその条件の選択に加えて、例えば、ステップＳ４０３において数えた数が所定の閾値以上のグループを選択するなど、他の選択方法が採用されてもよい。

また、表示指示手段１１７は、各グループに属するブックマークレコードのうちのいずれか１つ（例えば、時刻が最も古いもの）の[指示文］に格納されている指示文データが示す指示文をリスト表示するブックマーク一覧画面をディスプレイ１０４１に表示させる代わりに、処理識別データに応じた定型の指示文をリスト表示するブックマーク一覧画面をディスプレイ１０４１に表示させる構成が採用されてもよい。この場合、サーバ装置１２は、機能ＩＤ毎に指示文の雛形を示す雛形指示文データを格納する雛形指示文データベースを予め記憶している。そして、サーバ装置１２は、例えばステップＳ１０６の処理において生成した処理識別データに含まれる機能ＩＤに応じた雛形指示文データを雛形指示文データベースから検索する。続いて、サーバ装置１２は、検索した雛形指示文データが示す指示文の雛形に対し、同じくステップＳ１０６において生成した処理識別データに含まれるパラメータを適用して、処理に応じた定型の指示文（以下、「定型指示文」という）を示す定型指示文データを生成する。サーバ装置１２は、ステップＳ１０７において、指示文データに加えて、もしくは代えて、定型指示文データを端末装置１１に対し送信する。そして、端末装置１１の表示指示手段１１７は、サーバ装置１２から受信した定型指示文データが示す定型指示文をリスト表示するブックマーク一覧画面をディスプレイ１０４１に表示させる。その結果、ブックマーク一覧画面に表示される指示文が、より適切に処理の内容を示すものとなる。

［第２変形例］
本変形例においては、ブックマーク一覧画面に表示される内容が、その時点の時刻に応じて変化する。

図１５は、本変形例において、表示指示手段１１７がブックマーク一覧画面をディスプレイ１０４１に表示させるステップＳ２０２（図１２）において行う処理のシーケンスを示した図である。表示指示手段１１７は、ステップＳ２０２において、まず、メモリ１０１からブックマークテーブルを読み出す（ステップＳ５０１）。なお、本変形例において、ブックマークテーブルは、上述した実施形態におけるようにユーザによる登録操作に従い登録されたブックマークデータを格納する構成であっても、上述した第１変形例におけるようにユーザの登録操作によらず自動的に登録されたブックマークデータを格納する構成であってもよい。ただし、以下においては例として、後者（ブックマークテーブルは自動的に登録されたブックマークデータを格納）であるものとして説明を行う。

続いて、表示指示手段１１７は、時刻データ取得手段１１８からその時点の現在時刻を示す時刻データを受け取り、受け取った時刻データに基づき、現在の時間帯を特定する（ステップＳ５０２）。なお、時間帯は、例えば、０：００〜２：００、２：００〜４：００、・・・のように所定時間長毎に区分した時間帯が採用されてもよいし、早朝：４：００〜７：００、午前中：７：００〜１２：００、・・・のように任意の時間長で区分した時間帯が採用されてもよい。

続いて、表示指示手段１１７は、ブックマークテーブル（図１０）から、［時刻］に格納される時刻データが示す時刻が、ステップＳ５０２において特定した現在の時間帯に含まれるブックマークデータを抽出（全て選択）する（ステップＳ５０３）。

続いて、表示指示手段１１７は、ステップＳ５０３において抽出したブックマークデータを、処理識別データが同一のブックマークデータ毎にグループ化し（ステップＳ５０４）、各グループのブックマークデータの数を数え（ステップＳ５０５）、属するブックマークデータの数が多いものから順に所定数のグループを選択し（ステップＳ５０６）、選択したグループに属するブックマークデータのいずれか（例えば、時刻が最も古いもの）の指示文データが示す指示文を一覧表示するブックマーク一覧画面をディスプレイ１０４１に表示させる（ステップＳ５０７）。なお、ステップＳ５０４〜Ｓ５０７の処理は、上述した第１変形例におけるステップＳ４０２〜４０５（図１４）と同様の処理である。

本変形例によれば、ブックマーク一覧画面に一覧表示される指示文は、現在と同じ時間帯に過去に行われた音声指示に応じたものとなる。従って、ユーザの毎日の生活サイクルに応じた指示文がブックマーク一覧画面に表示されることになり、望ましい。

なお、上述した第２変形例において、どのような時間帯を採用するかは様々に変更可能である。例えば、平日と休日とを異なる時間帯として扱う構成が採用されてもよい。

［第３変形例］
本変形例においては、ブックマーク一覧画面に表示される内容が、その時のユーザのいる場所（位置）に応じて変化する。

図１６は、本変形例においてメモリ１０１に記憶されるブックマークテーブルの構成を示した図である。図１６に示されるように、本変形例におけるブックマークテーブルは、上述の実施形態または第１変形例におけるブックマークテーブル（図１０）が備えるデータフィールド［指示内容］および［時刻］に加え、データフィールド［位置］を備えている。本変形例において、記憶指示手段１１４は、ステップＳ１１０（図９）またはステップＳ３０１（図１３）におけるブックマークデータの登録の際、位置データ取得手段１１９からその時点のユーザの位置を示す位置データを受け取り、指示文データ、処理識別データおよび時刻データとともにブックマークテーブルに記憶させる。

また、本変形例において、メモリ１０１には図１７に示すような、特定の場所の位置（例えば、経度、緯度）を示す位置データが記憶されている。図１７では、例として、ユーザの自宅の位置と、勤務先の位置を各々示す位置データが記憶されている。以下、自宅の位置を示す位置データを「自宅位置データ」と呼び、勤務先の位置を示す位置データを「勤務先位置データ」と呼ぶ。これらのデータは、例えばユーザが自宅および勤務先において所定の操作を行った際に、位置データ取得手段１１９により生成され登録されたものである。

図１８は、本変形例において、表示指示手段１１７がブックマーク一覧画面をディスプレイ１０４１に表示させるステップＳ２０２（図１２）において行う処理のシーケンスを示した図である。本変形例において、表示指示手段１１７がステップＳ２０２（図１２）において行う処理（ステップＳ６０１〜Ｓ６０７）のうち、ステップＳ６０１およびＳ６０４〜Ｓ６０７は、上述した第２変形例において表示指示手段１１７が行うステップＳ５０１およびＳ５０４〜Ｓ５０７と同じである。

表示指示手段１１７は、メモリ１０１からブックマークテーブル（図１６）を読み出した後（ステップＳ６０１）、位置データ取得手段１１９からその時点のユーザの位置を示す位置データを受け取り、受け取った位置データと、メモリ１０１に記憶されている自宅位置データおよび勤務先位置データ（図１７）とに基づき、ユーザが自宅、勤務先、その他のいずれのエリアにいるかを特定する（ステップＳ６０２）。

具体的には、表示指示手段１１７は、位置データ取得手段１１９から受け取った位置データが示すユーザの現在の位置と、自宅位置データが示す自宅の位置との距離が所定の閾値以下であるか否かに基づき、ユーザが現在、自宅およびその近辺のエリア（以下、「自宅エリア」という）にいるか否かを判定する。また、表示指示手段１１７は、位置データ取得手段１１９から受け取った位置データが示すユーザの現在の位置と、勤務先位置データが示す勤務先の位置との距離が所定の閾値以下であるか否かに基づき、ユーザが現在、勤務先およびその近辺のエリア（以下、「勤務先エリア」という）にいるか否かを判定する。表示指示手段１１７は、これらの判定結果に基づき、ユーザが現在、自宅エリア、勤務先エリア、それ以外のエリア、のいずれにいるかを特定する。

続いて、表示指示手段１１７は、ブックマークテーブル（図１６）から、［位置］に格納されている位置データが示す位置が、ステップＳ６０２において特定したエリアに含まれるブックマークデータを抽出（全て選択）する（ステップＳ６０３）。

その後、表示指示手段１１７は、ステップＳ６０３において抽出したブックマークデータを用いてブックマーク一覧画面に表示する指示文の選択および順序を決定し、ディスプレイ１０４１にブックマーク一覧画面を表示させる（ステップＳ６０４〜Ｓ６０７）。

本変形例によれば、ブックマーク一覧画面に一覧表示される指示文は、ユーザが現在いるエリアにおいて過去に行われた音声指示に応じたものとなる。従って、ユーザの居場所に応じた指示文がブックマーク一覧画面に表示されることになり、望ましい。

なお、上述した第３変形例において、どのようなエリアを採用するかは様々に変更可能である。例えば、自宅および勤務先に加え、もしくはそれらに代えて、友人宅等の他の種別の場所の位置をメモリ１０１に登録しておき、それらの位置およびその周辺のエリアを１つのエリアとして扱う構成が採用されてもよい。また、表示指示手段１１７が、ユーザの現在位置から所定距離以内のエリアをユーザの現在いるエリアとして特定し、ユーザの現在いるエリアにおいて過去に行われた音声指示に応じたブックマークを用いて、ブックマーク一覧画面に表示する指示文の選択および順序を決定する構成が採用されてもよい。

［第４変形例］
本変形例においては、上述した第１変形例においては、ブックマーク一覧画面において、指示文が複数のグループに区分されて表示される。

区分の基準としては、例えば指示文に応じた機能毎、時間帯毎、エリア毎等、様々なものが採用可能であり、これらのいずれかをユーザが選択可能としてもよい。また、ブックマーク一覧画面において、複数のグループに区分された指示文が１つのページに表示されてもよいし、例えばグループ毎に異なるページに表示されてもよい。ただし、以下においては例として、指示文は機能毎に区分されて、グループ毎に異なるページに表示されるものとして説明を行う。

また、本変形例において、ブックマークテーブルは、上述した実施形態におけるようにユーザによる登録操作に従い登録されたブックマークデータを格納する構成であっても、上述した第１変形例におけるようにユーザの登録操作によらず自動的に登録されたブックマークデータを格納する構成であってもよい。ただし、以下においては例として、後者（ブックマークテーブルは自動的に登録されたブックマークデータを格納）であるものとして説明を行う。

図１９は、本変形例におけるブックマーク一覧画面を説明するための図である。ユーザが対話画面（図１９（ａ））において、「ブックマーク」ボタンに対しタッチ操作等を行うと、ディスプレイ１０４１には図１９（ｂ）に示す画面（以下、「ブックマークグループ選択画面」という）が表示される。ユーザがブックマークグループ選択画面においていずれかのボタンに対しタッチ操作等の操作を行うと、操作されたボタンに応じたグループの指示文がブックマーク一覧画面に表示される。図１９（ｃ）は、ユーザにより「マップ表示」ボタンがタッチ操作等された場合にディスプレイ１０４１に表示されるブックマーク一覧画面を例示した図である。

図２０は、対話画面（図１９（ａ））においてユーザが「ブックマーク」ボタンに対する操作を行った場合に表示指示手段１１７が行う処理のシーケンスを示した図である。図２０に示す処理のうちステップＳ７０１〜Ｓ７０３は、図１４に示した第１変形例において表示指示手段１１７が行うステップＳ４０１〜Ｓ４０３と同様である。ステップＳ７０３の処理に続いて、表示指示手段１１７は機能ＩＤ毎にブックマークデータのグループをさらにグループ化する。

図２１は、ステップＳ７０３とステップＳ７０４において表示指示手段１１７が用いるデータの構成例を示した図である。ステップＳ７０３において、表示指示手段１１７は処理識別データ、すなわち、機能ＩＤとパラメータの組み合わせが同じブックマークデータのカウントを行う。その結果、図２１（ａ）に示す構成のデータが生成される。続くステップＳ７０４において、表示指示手段１１７は、ステップＳ７０３において生成したデータを、処理識別データに含まれる機能ＩＤが同じデータレコード毎にグループ化する。その結果、図２１（ｂ）に示す構成のデータが生成される。

続いて、表示指示手段１１７は、ステップＳ６０４において生成したグループのうちデータレコードの数が所定数（例えば、１０以上）のグループの機能名を付したボタンと、「その他」ボタンを配置したブックマークグループ選択画面（図１９（ｂ））をディスプレイ１０４１に表示させる（ステップＳ６０５）。

ブックマークグループ選択画面においてユーザがいずれかのボタンに対しタッチ操作等の操作を行うと、表示指示手段１１７はステップＳ６０４において生成したデータ（図２１（ｂ））から、ユーザにより操作されたボタンに対応するグループのデータを用いて、例えば数が多い順にソートした指示文の一覧を含むブックマーク一覧画面（図１９（ｃ））をディスプレイ１０４１に表示させる（ステップＳ６０６）。

本変形例によれば、ブックマークテーブルに登録されているブックマークデータの数が増加しても、それらのブックマークデータが種別毎（機能毎、時間帯毎等）に自動的にグループ化されるため、ユーザはブックマークとして登録されている多数の指示文の中から希望する指示文を容易に探し出すことができる。

［第５変形例］
本変形例においては、ブックマーク一覧画面に表示される指示文のいずれかに応じた処理を端末装置１１に実行させる際、ユーザが指示文に含まれるキーワード（パラメータ）を自由に変更することができる。図２２は、本変形例においてユーザが指示文のキーワードを変更する際にディスプレイ１０４１に表示される画面を示した図である。

ブックマーク一覧画面（図２２（ａ））において、ユーザは希望する指示に近い内容を示す指示文に対し、例えば長押し等の所定の操作を行う。この操作に応じて、ディスプレイ１０４１には、図２２（ｂ）に示す指示文編集画面が表示される。指示文編集画面には、ユーザにより長押し等の操作が行われた指示文が、編集が許可されるキーワード部分が枠で囲まれた状態で表示される。なお、指示文編集画面において、指示文のうち編集が許可される部分と許可されない部分とを区別して表示する態様は、枠で囲む態様に限られず、例えば下線を付す態様や、異なる色で表示する態様等、いずれの態様が採用されてもよい。また、図２２（ｂ）の例では、編集が許可されるキーワード部分は１つであるが、指示文の内容（指示文に対応する機能）に応じて、編集が許可されるキーワード部分の数は変化する。

指示文編集画面において、ユーザが指示文の枠で囲まれている部分に対しタッチ操作等を行うと、指示文編集画面には、図２２（ｃ）に示すように、ユーザにより操作されたキーワードの代替キーワードが所定数（図２２（ｃ）の例では３つ）、表示される。また、これらの代替キーワードに加え、指示文編集画面には、ユーザが自由にキーワードを入力するための入力ボックスが表示される。

図２２（ｃ）に示す指示文編集画面においてユーザに提示される代替キーワードはサーバ装置１２において特定され、サーバ装置１２から端末装置１１に送信される。そのため、サーバ装置１２は様々なユーザの端末装置１１から送信されてくる音声データに関しステップＳ１０６（図９）において生成した処理識別データに基づき、図２３に示すパラメータ管理データベースを管理している。パラメータ管理データベースは、機能ＩＤ毎のテーブルを含み、各テーブルにはデータフィールド［パラメータ種別］、［パラメータ］、［数］が設けられている。［パラメータ種別］には機能ＩＤにより識別される機能において用いられるパラメータの種別を示すデータが格納される。［パラメータ］には、様々なユーザの端末装置１１から送信されてきた音声データに応じて生成された処理識別データ（テーブルに対応する機能ＩＤを含むもの）に含まれるパラメータ（キーワード）が格納される。なお、通常、１つのパラメータ種別に応じた複数のパラメータが［パラメータ］に格納される。［数］には、［パラメータ］に格納されているパラメータ毎に、処理識別データ（テーブルに対応する機能ＩＤを含むもの）に当該パラメータが含まれていた回数が格納される。

サーバ装置１２は、新たに端末装置１１から受信した音声データに応じた指示文データおよび処理識別データを端末装置１１に送信する際（図９、ステップＳ１０７）、パラメータ管理データベース（図２３）から当該処理識別データに含まれる機能ＩＤに応じたテーブルを読み出し、パラメータ種別毎に数が多い順に所定数（例えば、３個）、パラメータを選択し、選択したそれらのパラメータを代替キーワードとして端末装置１１に送信する。

図２４は、図１０に示したブックマークテーブルに代えて、本変形例において端末装置１１が用いるブックマークテーブルのデータ構成を示した図である。図２４に示すように、本変形例においては、ブックマークテーブルにデータフィールド［代替キーワード］が設けられており、端末装置１１が指示文データおよび処理識別データとともにサーバ装置１２から受信（図９、ステップ１０８）した代替キーワードがブックマークテーブルに記憶される。端末装置１１は、指示文編集画面（図２２（ｃ））において、ブックマークテーブルに記憶されている代替キーワードをユーザに提示する。

図２２（ｃ）に示す指示文編集画面において、ユーザは提示された代替キーワードのいずれかをタッチ操作等により選択するか、もしくは、入力ボックスにキーワードを入力することにより、指示文を編集する。ユーザによる指示文の編集が完了すると、ディスプレイ１０４１には図２２（ｄ）に示す確認画面が表示される。ユーザが確認画面において「ＯＫ」ボタンをタッチ操作等すると、処理実行手段１１５により、編集後の指示文に応じた機能ＩＤおよびパラメータに従う処理が行われる。

本変形例によれば、ブックマークとして登録されている指示文がユーザの希望する指示文と一致していなくても、登録されている指示文の一部をユーザが編集することにより、端末装置１１に対し希望する処理の指示を行うことができる。

［第６変形例］
上述した実施形態においては、音声認識処理はサーバ装置１２において行われる（図９、ステップＳ１０４）。本変形例においては、音声認識処理はサーバ装置１２ではなく、端末装置１１において行われる。

本変形例においては、サーバ装置１２は音声認識手段１２２を備えず、端末装置１１が音声認識手段１２２と同様の処理を行う音声認識手段を備える。端末装置１１の音声データ取得手段１１１によりマイク１０５から取得された音声データは端末装置１１の音声認識手段に引き渡され、指示文データの生成に用いられる。端末装置１１の送信手段１１２は、端末装置１１の音声認識手段が生成した指示文データをサーバ装置１２に送信する。また、記憶指示手段１１４は、端末装置１１の音声認識手段が生成した指示文データをメモリ１０１の指示内容テーブルに記憶させる。

サーバ装置１２の受信手段１２１は端末装置１１から送信されてくる指示文データを受信すると、処理識別データ生成手段１２３に引き渡す。処理識別データ生成手段１２３は受信手段１２１から引き渡された指示文データに応じた処理識別データを生成し、送信手段１２４に引き渡す。送信手段１２４は処理識別データ生成手段１２３から引き渡された処理識別データを端末装置１１に送信する。端末装置１１の受信手段１１３は、サーバ装置１２から送信されてくる処理識別データを受信し、処理実行手段１１５に引き渡す。

上記のような構成の音声エージェントシステム１によっても、上述した実施形態と同様に、ユーザは過去に行った音声指示と同様の指示を、タッチ操作等により音声によらずに行うことができる。また、本変形例によれば、音声認識処理が個々の端末装置１１において行われるため、サーバ装置１２に音声認識処理の処理が集中しない。

［第７変形例］
上述した実施形態においては、指示文に応じた処理の特定はサーバ装置１２において行われる（図９、ステップＳ１０６）。本変形例においては、指示文に応じた処理の特定はサーバ装置１２ではなく、端末装置１１において行われる。

本変形例においては、サーバ装置１２は処理識別データ生成手段１２３を備えず、端末装置１１が処理識別データ生成手段１２３と同様の処理を行う処理識別データ生成手段を備える。また、指示文に応じた処理の特定に用いられる関連性データベース（図７）は、サーバ装置１２のメモリ２０１にではなく、端末装置１１のメモリ１０１に記憶され、端末装置１１の処理識別データ生成手段により用いられる。

本変形例において、サーバ装置１２の音声認識手段１２２が生成した指示文データは送信手段１２４に引き渡され、送信手段１２４から端末装置１１へと送信される。端末装置１１の受信手段１１３は、サーバ装置１２から送信されてくる指示文データを受信すると、受信した指示文データを端末装置１１の処理識別データ生成手段に引き渡す。端末装置１１の処理識別データ生成手段は、受信手段１１３から受け取った指示文データに応じた処理識別データを生成し、処理実行手段１１５に引き渡す。

また、記憶指示手段１１４は、受信手段１１３がサーバ装置１２から受信した指示文データをメモリ１０１の指示内容テーブルに記憶させる。

上記のような構成の音声エージェントシステム１によっても、上述した実施形態と同様に、ユーザは過去に行った音声指示と同様の指示を、タッチ操作等により音声によらずに行うことができる。また、本変形例によれば、指示内容に応じた処理の特定の処理が個々の端末装置１１において行われるため、指示文に応じた処理の特定のための処理がサーバ装置１２に集中しない。

［その他の変形例］
（１）上述した実施形態および変形例においては、音声エージェントシステム１は端末装置１１とサーバ装置１２を備える。これに代えて、１つの装置が端末装置１１とサーバ装置１２の役割を備える構成が採用されてもよい。この変形例においては、端末装置１１とサーバ装置１２との間で通信ネットワーク１９を介したデータの送受信は不要となる。

（２）上述した変形例において、表示指示手段１１７がブックマークテーブル内のブックマークデータを同じ処理毎にグループ化し、各グループに区分されたブックマークデータの数を数える際、全てのブックマークデータを一律に「１」と数えて加算するのではなく、ブックマークデータに含まれる時刻データや位置データ等に基づき、ウェイトを乗じた数を加算する構成としてもよい。例えば、ブックマークデータをカウントする際、時刻データが示す時刻が古いもの程、「１」に小さいウェイトを乗じた数（例えば、１ヶ月未満のものは「１」、１ヶ月以上３ヶ月未満のものは「０．７」、３ヶ月以上６ヶ月未満のものは「０．５」、・・・等）を加算する構成としてもよい。この変形例によれば、ユーザが最近行った音声指示に応じた指示文が優先的にブックマーク一覧画面に表示される。また、例えば、ブックマークデータをカウントする際、位置データが示す位置がユーザの現在位置から遠い程、「１」に小さいウェイトを乗じた数（例えば、現在位置からの距離が１００ｍ未満のものは「１」、１００ｍ以上かつ５００ｍ未満のものは「０．７」、５００ｍ以上３ｋｍ未満のものは「０．５」、・・・等）を加算する構成としてもよい。この変形例によれば、ユーザの現在位置に近い場所で過去に行った音声指示に応じた指示文が優先的にブックマーク一覧画面に表示される。

（３）上述した実施形態または変形例において、端末装置１１（またはサーバ装置１２）が現在の時刻やユーザのいる位置等の情報に基づきユーザの置かれている状況を判断し、判断結果に基づき、ブックマーク一覧画面に表示する指示文を選択する構成が採用されてもよい。

本変形例において、例えば、メモリ１０１には、ユーザの置かれている状況（例えば、「在宅」、「在勤」、「外出中」等）を判定するための条件を示す状況判定条件データが予め記憶されている。状況判定条件データとは、例えば、「現在時刻＝平日（労働日）の９：００〜１７：００、かつ、現在位置＝勤務先エリア内」といった条件を示すデータである。

また、本変形例において、例えば、メモリ１０１には、指示文に含まれる可能性のある様々なキーワードに関し、当該キーワードがユーザの置かれている状況（「在宅」、「在勤」、「外出中」等）の各々において使用されることが妥当と思われる程度を示す使用妥当性指標データが予め記憶されている。例えば、キーワード「遊び」に関する使用妥当性指標データは、「在宅：１０、在勤：１、外出中：８」（数が大きい程、使用妥当性が高い）のようなデータである。この使用妥当性指標データは、「遊び」というキーワードは、在宅中に指示に用いられても問題ないが、在勤中に指示に用いられるのは好ましくないことを示している。

表示指示手段１１７は、ブックマーク一覧画面に表示する指示文の候補を選択した後、時刻データ取得手段１１８が取得した時刻データにより示される現在時刻や、位置データ取得手段１１９が取得した位置データにより示されるユーザの現在位置等に基づき、状況判定条件データに従い、ユーザが現在置かれている状況を判定する。

続いて、表示指示手段１１７は、ブックマーク一覧画面に表示する指示文の候補の各々に関し、使用妥当性指標データに従い、ユーザの現在置かれている状況下における、指示文に含まれるキーワードの使用妥当性指標を特定する。

表示指示手段１１７は、ブックマーク一覧画面に表示する指示文の候補の各々に関し、当該指示文から抽出したキーワードの各々について上記のように特定した使用妥当性指標を合算する。この合算により得られる数値は、現在のユーザの置かれている状況において指示文が使用されても問題がない程度を示す指標である。

表示指示手段１１７は、上記のように算出した指標が、例えば所定の閾値以上である指示文をブックマーク一覧画面に表示する指示文として選択し、ディスプレイ１０４１に表示させる。

本変形例によれば、例えば、「遊びに行きたい」という指示文は、ユーザが勤務中においてはブックマーク一覧画面に表示されず、在宅中においてはに表示される、という具合に、状況に応じた指示文がブックマーク一覧画面に表示される。

（４）時刻および位置に加え、またはこれらに代えて、例えば、ユーザの動きの有無やその程度を示すデータ等の他の種類のデータが、ブックマーク一覧画面に表示される指示文の選択において用いられてもよい。例えば、端末装置１１が、ユーザが身に付けた加速度センサ（または端末装置１１に内蔵された加速度センサ）により生成されたユーザの動きを示すモーションデータを取得可能であれば、モーションデータを指示文データに対応付けてブックマークテーブルに記憶しておき、ブックマーク一覧画面に表示する指示文の選択において用いることが考えられる。モーションデータによれば、例えば、ユーザが徒歩で移動中であるか否か、といった判定が可能となる。従って、ユーザがいま徒歩で移動中であれば、ブックマーク一覧画面にも過去にユーザが徒歩で移動中に行った音声指示に応じた指示文を優先的に表示する、といった構成が採用されてもよい。

（５）上述した実施形態および変形例においては、ディスプレイ１０４１に例示される表示装置、タッチパネル１０４２に例示される入力デバイス、マイク１０５に例示される拾音装置は全て、端末装置１１に内蔵される構成が採用されているが、これらのうちの１以上が端末装置１１とは異なる外部の装置として構成されてもよい。また、上述した実施形態および変形例においては、指示内容テーブル等のデータは端末装置１１に内蔵されるメモリ１０１に記憶される構成が採用されているが、指示内容テーブル等のデータが、外部の記憶装置に記憶される構成が採用されてもよい。

（６）上述した実施形態および変形例においては、端末装置１１はブックマークテーブルに指示文データとともに処理識別データを記憶し、ブックマーク一覧画面においてユーザがいずれかの指示文を選択した場合、端末装置１１はブックマークテーブルに格納されている処理識別データにより、実行すべき処理を識別する。これに代えて、端末装置１１はブックマークテーブルに処理識別データを記憶せず、ブックマーク一覧画面においてユーザがいずれかの指示文を選択した場合、端末装置１１がユーザにより選択された指示文を示す指示文データをサーバ装置１２に送信し、その応答としてサーバ装置１２から処理識別データを受信することにより、実行すべき処理を識別する構成が採用されてもよい。この場合、サーバ装置１２は端末装置１１から受信した指示文データに関し、図９のステップＳ１０６における処理と同様の処理を行って処理識別データを生成し、端末装置１１に送信する。

（７）上述した実施形態および変形例においては、ブックマークテーブル（図１０、図２４）は端末装置１１において管理され、サーバ装置１２は個々の端末装置１１のブックマークテーブルを管理しない。これに代えて、サーバ装置１２が個々の端末装置１１のブックマークテーブルを管理する構成が採用されてもよい。例えば、上述した第１変形例を以下のように変形することができる。

まず、サーバ装置１２は、様々なユーザの端末装置１１の各々に応じたブックマークテーブルを管理しており、端末装置１１はブックマークテーブルを管理しない。サーバ装置１２は、端末装置１１から送信されてくる音声データに応じた指示文データおよび処理識別データの送信（図９、ステップＳ１０７）において、音声データの送信元の端末装置１１のブックマークテーブルに基づきブックマーク一覧画面の表示を指示する表示指示データを生成し、端末装置１１に送信する。端末装置１１は、サーバ装置１２から受信する表示指示データに従い、ブックマーク一覧画面を表示する。

サーバ装置１２は、ステップＳ１０７において指示文データ、処理識別データ、およびブックマーク一覧画面の表示指示データを端末装置１１に送信した後、送信した指示文データおよび処理識別データに基づき、これらのデータの送信先の端末装置１１に応じたブックマークテーブルの更新を行う。

（８）上述した実施形態および変形例においては、端末装置１１およびサーバ装置１２は一般的なコンピュータに、本発明にかかるプログラムに従った処理を実行させることにより実現される構成が採用されている。これに代えて、端末装置１１およびサーバ装置１２の一方または両方が、いわゆる専用機として構成されてもよい。

本発明は、上述した音声エージェントシステムに例示されるシステム、当該システムを構成する端末装置およびサーバ装置、これらの装置が行う処理の方法、コンピュータをこれらの装置として機能させるためのプログラム、当該プログラムをコンピュータ読取可能に持続的に記録した記録媒体、といった形態で把握される。なお、本発明にかかるプログラムは、記録媒体を介する他、インターネットなどのネットワークを介してコンピュータに提供されてもよい。

１…音声エージェントシステム、１１…端末装置、１２…サーバ装置、１９…通信ネットワーク、１０１…メモリ、１０２…プロセッサ、１０３…通信ＩＦ、１０４…タッチディスプレイ、１０５…マイク、１０６…クロック、１０７…ＧＰＳユニット、１０９…バス、１１１…音声データ取得手段、１１２…送信手段、１１３…受信手段、１１４…記憶指示手段、１１５…処理実行手段、１１６…操作データ取得手段、１１７…表示指示手段、１１８…時刻データ取得手段、１１８…位置データ取得手段、１１８…音声認識手段、１１９…位置データ取得手段、１２１…受信手段、１２２…音声認識手段、１２３…処理識別データ生成手段、１２４…送信手段、２０１…メモリ、２０２…プロセッサ、２０３…通信ＩＦ、２０９…バス、１０４１…ディスプレイ、１０４２…タッチパネル

Claims (10)

1. ユーザの音声を示す音声データを取得する音声データ取得手段と、
   前記音声データが表す指示文を示す指示文データを取得する指示文データ取得手段と、
   前記指示文データを記憶装置に記憶させる記憶指示手段と、
   前記指示文データが示す指示文に応じた処理を識別する第１の処理識別データを取得する第１の処理識別データ取得手段と、
   前記第１の処理識別データにより識別される処理を実行する処理実行手段と、
   前記記憶装置に記憶されている１以上の指示文データが示す１以上の指示文の表示を表示装置に指示する表示指示手段と、
   前記ユーザが行った操作を示す操作データを取得する操作データ取得手段と、
   前記表示装置により表示される前記１以上の指示文のうち前記操作データ取得手段が取得した操作データにより特定される指示文に応じた処理を識別する第２の処理識別データを取得する第２の処理識別データ取得手段と
   を備え、
   前記処理実行手段は、前記第２の処理識別データにより識別される処理を実行する
   端末装置。
2. 前記音声データをサーバ装置に送信する送信手段
   を備え、
   前記指示文データ取得手段は、前記送信手段による音声データの送信に対する応答として前記サーバ装置から送信されてくる指示文データを受信し、
   前記第１の処理識別データ取得手段は、前記送信手段による音声データの送信に対する応答として前記サーバ装置から送信されてくる処理識別データを受信する
   請求項１に記載の端末装置。
3. 前記表示指示手段は、前記記憶装置に記憶されている１以上の指示文データを予め定められた規則に従い１以上のグループに区分し、前記１以上のグループの各々に区分した指示文データの数に基づき前記１以上のグループの中から１以上のグループを選択し、当該選択した１以上のグループの各々に応じた指示文の表示を前記表示装置に指示する
   請求項１または２に記載の端末装置。
4. 時刻を示す時刻データを取得する時刻データ取得手段
   を備え、
   前記記憶指示手段は、指示文データに対応付けて、前記時刻データ取得手段が取得した時刻データであって、当該指示文データに応じた音声データを前記音声データ取得手段が取得したときの時刻を示す時刻データを前記記憶装置に記憶させ、
   前記表示指示手段は、指示文データに対応付けて前記記憶装置に記憶されている時刻データが示す時刻と、前記時刻データ取得手段が取得した時刻データが示す現在の時刻とに基づき、前記記憶装置に記憶されている１以上の指示文データの中から１以上の指示文データを選択し、当該選択した１以上の指示文データが示す指示文の表示を前記表示装置に指示する
   請求項１乃至３のいずれか１項に記載の端末装置。
5. 前記ユーザの位置を示す位置データを取得する位置データ取得手段
   を備え、
   前記記憶指示手段は、指示文データに対応付けて、前記位置データ取得手段が取得した位置データであって、当該指示文データに応じた音声データを前記音声データ取得手段が取得したときの前記ユーザの位置を示す位置データを前記記憶装置に記憶させ、
   前記表示指示手段は、指示文データに対応付けて前記記憶装置に記憶されている位置データが示す位置と、前記位置データ取得手段が取得した位置データが示す現在の前記ユーザの位置とに基づき、前記記憶装置に記憶されている１以上の指示文データの中から１以上の指示文データを選択し、当該選択した１以上の指示文データが示す指示文の表示を前記表示装置に指示する
   請求項１乃至４のいずれか１項に記載の端末装置。
6. 前記表示指示手段は、前記記憶装置に記憶されている１以上の指示文データを予め定められた規則に従い１以上のグループに区分し、当該１以上のグループ毎に指示文の表示を前記表示装置に指示する
   請求項１乃至５のいずれか１項に記載の端末装置。
7. 前記処理実行手段は、前記第２の処理識別データに対し、前記操作データ取得手段が取得した操作データにより特定される変更を加えた後の処理識別データにより識別される処理を実行する
   請求項１乃至６のいずれか１項に記載の端末装置。
8. コンピュータに、
   ユーザの音声を示す音声データを取得する処理と、
   前記音声データが表す指示文を示す指示文データを取得する処理と、
   前記指示文データを記憶装置に記憶させる処理と、
   前記指示文データが示す指示文に応じた処理を識別する第１の処理識別データを取得する処理と、
   前記第１の処理識別データにより識別される処理と、
   前記記憶装置に記憶されている１以上の指示文データが示す１以上の指示文の表示を表示装置に指示する処理と、
   前記表示装置が１以上の指示文の表示を行っているときに前記ユーザが行った操作を示す操作データを取得する処理と、
   前記表示装置により表示される前記１以上の指示文のうち前記操作データにより特定される指示文に応じた処理を識別する第２の処理識別データを取得する処理と、
   前記第２の処理識別データにより識別される処理と
   を実行させるためのプログラム。
9. コンピュータに、
   ユーザの音声を示す音声データを取得する処理と、
   前記音声データが表す指示文を示す指示文データを取得する処理と、
   前記指示文データを記憶装置に記憶させる処理と、
   前記指示文データが示す指示文に応じた処理を識別する第１の処理識別データを取得する処理と、
   前記第１の処理識別データにより識別される処理と、
   前記記憶装置に記憶されている１以上の指示文データが示す１以上の指示文の表示を表示装置に指示する処理と、
   前記表示装置が１以上の指示文の表示を行っているときに前記ユーザが行った操作を示す操作データを取得する処理と、
   前記表示装置により表示される前記１以上の指示文のうち前記操作データにより特定される指示文に応じた処理を識別する第２の処理識別データを取得する処理と、
   前記第２の処理識別データにより識別される処理と
   を実行させるためのプログラムをコンピュータ読取可能に持続的に記録した記録媒体。
10. 端末装置が、ユーザの音声を示す音声データを取得するステップと、
    前記端末装置が、前記音声データが表す指示文を示す指示文データを取得するステップと、
    前記端末装置が、前記指示文データを記憶装置に記憶させるステップと、
    前記端末装置が、前記指示文データが示す指示文に応じた処理を識別する第１の処理識別データを取得するステップと、
    前記端末装置が、前記第１の処理識別データにより識別される処理を実行するステップと、
    前記端末装置が、前記記憶装置に記憶されている１以上の指示文データが示す１以上の指示文の表示を表示装置に指示するステップと、
    前記端末装置が、前記表示装置が１以上の指示文の表示を行っているときに前記ユーザが行った操作を示す操作データを取得するステップと、
    前記端末装置が、前記表示装置により表示される前記１以上の指示文のうち前記操作データにより特定される指示文に応じた処理を識別する第２の処理識別データを取得するステップと、
    前記端末装置が、前記第２の処理識別データにより識別される処理を実行するステップと
    を備える方法。

Images