JP2015060391A - ユーザのデータ入力に応じて情報提供を行うためのサーバ装置、端末装置、プログラム、システムおよび方法 - Google Patents

ユーザのデータ入力に応じて情報提供を行うためのサーバ装置、端末装置、プログラム、システムおよび方法 Download PDF

Info

Publication number
JP2015060391A
JP2015060391A JP2013193361A JP2013193361A JP2015060391A JP 2015060391 A JP2015060391 A JP 2015060391A JP 2013193361 A JP2013193361 A JP 2013193361A JP 2013193361 A JP2013193361 A JP 2013193361A JP 2015060391 A JP2015060391 A JP 2015060391A
Authority
JP
Japan
Prior art keywords
data
terminal device
attribute
keyword
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013193361A
Other languages
English (en)
Other versions
JP6162009B2 (ja
Inventor
俊治 栗栖
Toshiharu Kurisu
俊治 栗栖
結旗 柘植
Yuki Tsuge
結旗 柘植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2013193361A priority Critical patent/JP6162009B2/ja
Publication of JP2015060391A publication Critical patent/JP2015060391A/ja
Application granted granted Critical
Publication of JP6162009B2 publication Critical patent/JP6162009B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ユーザが端末装置に対し行うデータの入力に応じて、当該データに応じた機能の実行を指示することにより当該ユーザに情報を提供する仕組みにおいて、ユーザの意図にそぐわない機能が実行される頻度を低減する仕組みを提供する。
【解決手段】端末装置はユーザの音声を表わす音声データを音声認識サーバに送信する。音声認識サーバ装置は音声データが表わす音声を認識し、キーワードを抽出する。音声認識サーバ装置は、キーワードと機能の関連性の高低を示す関連性データに従い、抽出したキーワードに関連性が高い順に第1〜第4の機能を特定する。その際、音声認識サーバは、現在時刻や端末装置の現在位置に応じた関連性データを取得し、機能の特定に用いる。端末装置は第1の機能を実行するとともに、第2〜第4の機能の実行指示を促すボタンを表示する。
【選択図】図12

Description

本発明は、ユーザが端末装置に対し行うデータ入力に応じて、当該ユーザに情報を提供する仕組みに関する。
端末装置を介してユーザが知りたい情報を提供する技術において、提供する情報を現在時刻や当該ユーザの現在位置、現在の天気等に応じたより適切なものとする仕組みが提案されている。
例えば、特許文献1には、情報検索サーバに、ユーザが過去に行った検索において当該検索に用いられたキーワードを、当該検索が行われた時に携帯端末装置が居たエリア毎に登録しておき、情報検索サーバが携帯端末装置から現在位置情報を受信した場合、情報検索サーバが当該現在位置情報により示される位置を含むエリアに関し登録されているキーワードを携帯端末装置に送信し、携帯端末装置が当該キーワードを表示する、という仕組みが提案されている。
また、端末装置を介してユーザが知りたい情報を提供する技術において、音声認識技術を利用することにより、ユーザがキーワードを端末装置に入力する手間を軽減する仕組みがある。この仕組みによれば、ユーザが端末装置に対し発話を行うと、端末装置が当該発話の内容に応じた処理を実行する。
例えば、非特許文献1には、ユーザがスマートフォンに話しかけると、スマートフォンがユーザの意図に沿った情報を提供する、という仕組みが紹介されている。この仕組みによれば、例えばユーザがスマートフォンに「この辺のタクシーを探して!」と話しかけると、スマートフォンはユーザの現在位置でタクシーを呼べるタクシー会社の情報を表示する。
非特許文献1に紹介されている仕組みによれば、ユーザは発話により、例えば「タクシー会社の検索」といった一連の処理を端末装置に実行させることができる。本願において、「タクシー会社の検索」に例示されるような、端末装置において実行される一連の処理の種別を「機能」という。
特開2010−287048号公報
株式会社エヌ・ティ・ティ・ドコモ、"しゃべってコンシェルでできること"、[online]、[平成25年9月13日検索]、インターネット〈URL:http://www.nttdocomo.co.jp/service/information/shabette_concier/feature/index.html〉
非特許文献1に紹介されているような、ユーザの発話に応じて端末装置がユーザの希望する機能を実行する仕組み(以下、この仕組みを「音声エージェントシステム」という)において、例えばユーザが「カレーを食べたい」と発話したとする。この場合、このユーザは「カレー屋に行ってカレーを食べたい」のか、それとも、「自分でカレーを作って食べたい」のか、一概に判断することはできない。そこで、音声エージェントシステムは何らかの基準に従いユーザのニーズを推定し、ユーザのニーズが「カレー屋に行ってカレーを食べたい」ということであると推定した場合はカレー屋を検索するための「レストラン検索」機能を実行し、一方、ユーザのニーズが「自分でカレーを作って食べたい」ということであると推定した場合はカレーの材料を買う店を検索するための「ショップ検索」機能を実行する。
しかしながら、音声エージェントシステムが行う推定は必ずしも当たるとは限らないため、ユーザが望まない機能が実行される場合がある。例えば、上記の例において、カレーを作って食べたいユーザに対し「レストラン検索」が実行されたり、カレー屋に行きたいユーザに対し「ショップ検索」が実行されたりすることがあり、望ましくない。
本発明は上記の事情に鑑み、ユーザが端末装置に対し行うデータの入力に応じて、当該データに応じた機能を実行することにより当該ユーザに情報を提供する仕組みにおいて、ユーザの意図にそぐわない機能が実行される頻度を低減する仕組みを提供することを目的とする。
上述した課題を解決するため、本発明は、端末装置の属性、前記端末装置のユーザの属性および前記端末装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する属性データ取得手段と、複数のキーワードの各々と、前記端末装置において実行され得る一連の処理の種別である複数の機能の各々との関連性の高低を示す関連性データであって、前記属性データにより表わされる属性に応じて異なる関連性データを取得する関連性データ取得手段と、前記端末装置から、ユーザにより入力された入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータを受信する受信手段と、前記入力データが表わすキーワード、もしくは前記キーワードデータが表わすキーワードに関し、前記属性データにより表わされる属性に応じた前記関連性データが示す関連性の高低に基づき、前記複数の機能の中から1以上の機能を特定する機能特定手段と、前記機能特定手段により特定された1以上の機能を各々識別する1以上の機能識別データを前記端末装置に送信する送信手段とを備えるサーバ装置を提供する。
上記のサーバ装置において、前記受信手段は前記ユーザの音声を表わす前記入力データを受信し、前記入力データが表わす音声が示す文章を表わす文章データを生成する文章データ生成手段と、前記文章データ生成手段により生成された文章データが表わす文章に含まれるキーワードを表わすキーワードデータを、前記機能特定手段により使用される前記キーワードデータとして生成するキーワードデータ生成手段とを備える、という構成が採用されてもよい。
また、上記のサーバ装置において、前記属性データ取得手段は、前記端末装置の現在位置を示す現在位置データ、前記端末装置の過去の移動経路を示す移動経路データ、現在時刻を示す現在時刻データ、および前記端末装置においてユーザに使用された機能の履歴を示す履歴データのうちの少なくとも1つを前記属性データとして取得する、という構成が採用されてもよい。
また、本発明は、端末装置との間でデータ通信を行う通信手段を備えるコンピュータに、端末装置の属性、前記端末装置のユーザの属性および前記端末装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する処理と、複数のキーワードの各々と、前記端末装置において実行され得る一連の処理の種別である複数の機能の各々との関連性の高低を示す関連性データであって、前記属性データにより表わされる属性に応じて異なる関連性データを取得する処理と、前記端末装置から、ユーザにより入力された入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータを受信する処理と、前記入力データが表わすキーワード、もしくは前記キーワードデータが表わすキーワードに関し、前記属性データにより表わされる属性に応じた前記関連性データが示す関連性の高低に基づき、前記複数の機能の中から1以上の機能を特定する処理と、前記特定した1以上の機能を各々識別する1以上の機能識別データを前記端末装置に送信する処理とを実行させるプログラムを提供する。
また、本発明は、処理を実行する処理実行手段と、ユーザにより入力された入力データを取得する入力データ取得手段と、自装置の属性、前記ユーザの属性および自装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する属性データ取得手段と、前記入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータと、前記属性データとをサーバ装置に送信する送信手段と、前記サーバ装置から、前記送信手段による前記入力データもしくは前記キーワードデータと前記属性データとの送信に対する応答として送信されてくる、前記処理実行手段により実行され得る一連の処理の種別である複数の機能のうちの1以上の機能を各々識別する1以上の機能識別データを受信する受信手段とを備え、前記処理実行手段は、前記受信手段により受信された前記1以上の機能識別データのうちの一の機能識別データにより識別される機能を実行する端末装置を提供する。
上記の端末装置において、前記入力データ取得手段は前記ユーザの音声を表わす前記入力データを取得し、前記入力データが表わす音声が示す文章を表わす文章データを生成する文章データ生成手段と、前記文章データ生成手段により生成された文章データが表わす文章に含まれるキーワードを表わすキーワードデータを、前記送信手段により前記サーバ装置に送信される前記キーワードデータとして生成するキーワードデータ生成手段とを備える、という構成が採用されてもよい。
また、上記の端末装置において、前記処理実行手段により前記一の機能識別データにより識別される機能が実行されている間、前記1以上の機能識別データのうちの前記一の機能識別データ以外の機能識別データにより識別される機能の各々に関し、当該機能の実行指示をユーザに促す表示を表示装置に指示する表示指示手段を備える、という構成が採用されてもよい。
また、本発明は、サーバ装置との間でデータ通信を行う通信手段を備えるコンピュータに、ユーザにより入力された入力データを取得する処理と、前記コンピュータの属性、前記ユーザの属性および前記コンピュータがおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する処理と、前記入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータと、前記属性データとを前記サーバ装置に送信する処理と、前記サーバ装置から、前記入力データもしくは前記キーワードデータと前記属性データとの送信に対する応答として送信されてくる、一連の処理の種別である複数の機能のうちの1以上の機能を各々識別する1以上の機能識別データを受信する処理と、前記1以上の機能識別データのうちの一の機能識別データにより識別される機能を実行する処理とを実行させるプログラムを提供する。
また、本発明は、サーバ装置と端末装置を備え、前記端末装置は、ユーザにより入力された入力データを取得する入力データ取得手段と、前記入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータを前記サーバ装置に送信する送信手段とを備え、前記サーバ装置は、前記端末装置の属性、前記端末装置のユーザの属性および前記端末装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する属性データ取得手段と、複数のキーワードの各々と、前記端末装置において実行され得る一連の処理の種別である複数の機能の各々との関連性の高低を示す関連性データであって、前記属性データにより表わされる属性に応じて異なる関連性データを取得する関連性データ取得手段と、前記端末装置から前記入力データ、もしくは前記キーワードデータを受信する受信手段と、前記入力データが表わすキーワード、もしくは前記キーワードデータが表わすキーワードに関し、前記属性データにより表わされる属性に応じた前記関連性データが示す関連性の高低に基づき、前記複数の機能の中から1以上の機能を特定する機能特定手段と、前記機能特定手段により特定された1以上の機能を各々識別する1以上の機能識別データを前記端末装置に送信する送信手段とを備え、前記端末装置は、前記サーバ装置から前記1以上の機能識別データを受信する受信手段と、前記1以上の機能識別データのうちの一の機能識別データにより識別される機能を実行する処理実行手段とを備えるシステムを提供する。
また、本発明は、端末装置が、ユーザにより入力された入力データを取得するステップと、前記端末装置が、前記入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータをサーバ装置に送信するステップと、前記サーバ装置が、前記端末装置の属性、前記端末装置のユーザの属性および前記端末装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得するステップと、前記サーバ装置が、複数のキーワードの各々と、前記端末装置において実行され得る一連の処理の種別である複数の機能の各々との関連性の高低を示す関連性データであって、前記属性データにより表わされる属性に応じて異なる関連性データを取得するステップと、前記サーバ装置が、前記入力データが表わすキーワード、もしくは前記キーワードデータが表わすキーワードに関し、前記属性データにより表わされる属性に応じた前記関連性データが示す関連性の高低に基づき、前記複数の機能の中から1以上の機能を特定するステップと、前記サーバ装置が、前記特定した1以上の機能を各々識別する1以上の機能識別データを前記端末装置に送信するステップと、前記端末装置が、前記1以上の機能識別データのうちの一の機能識別データにより識別される機能を実行するステップとを備える方法を提供する。
本発明によれば、ユーザが行ったデータの入力に応じてユーザの意図にそぐわない機能が端末装置において実行される頻度を低減することができる。
一実施形態にかかる音声エージェントシステムの全体構成を示した図である。 一実施形態にかかる端末装置のハードウェア構成を示した図である。 一実施形態にかかる端末装置の機能構成を示した図である。 一実施形態にかかる音声認識サーバ装置および情報提供サーバ装置のハードウェア構成を示した図である。 一実施形態にかかる音声認識サーバ装置の機能構成を示した図である。 一実施形態にかかる基本関連性データの構成例を示した図である。 一実施形態にかかるキーワードグループデータの構成例を示した図である。 一実施形態にかかるウェイト条件データの構成例を示した図である。 一実施形態にかかる自宅位置データの構成例を示した図である。 一実施形態にかかる情報提供サーバ装置の機能構成を示した図である。 一実施形態にかかる音声エージェントシステムの動作を示したシーケンスチャートである。 一実施形態にかかる端末装置のディスプレイに表示される画面を例示した図である。 一変形例にかかる履歴DBの構成例を示した図である。 一変形例にかかる自宅/オフィス位置データの構成例を示した図である。
[実施形態]
以下に、本発明の一実施形態にかかる音声エージェントシステム1を説明する。図1は、音声エージェントシステム1の全体構成を示した図である。音声エージェントシステム1は、ユーザが携帯する端末装置である端末装置11と、音声認識サーバ装置12と、情報提供サーバ装置13を備えている。音声認識サーバ装置12は、ユーザが端末装置11に対し音声による指示を行った場合、その意図解釈を行い、端末装置11に対し実行すべき機能を指示する。情報提供サーバ装置13はWebサーバ装置等の各種サーバ装置であり、端末装置11に対し各種情報の提供を行う。端末装置11と音声認識サーバ装置12、端末装置11と情報提供サーバ装置13は各々、通信ネットワーク19を介して互いにデータ通信を行うことができる。
なお、図1においては、端末装置11は1つのみ例示されているが、実際には端末装置11の数は音声エージェントシステム1を利用するユーザの数に応じて任意に変化する。また、図1においては、音声認識サーバ装置12は1つの装置として示されているが、例えば互いに連係動作する複数の装置により音声認識サーバ装置12が構成されてもよい。また、図1においては、情報提供サーバ装置13は1つのみ例示されているが、実際には情報提供サーバ装置13は多数である。
端末装置11のハードウェア構成は、タッチディスプレイを備えた一般的なスレートデバイス型のパーソナルコンピュータのハードウェア構成と同じである。図2は、端末装置11のハードウェア構成を示した図である。すなわち、端末装置11は、ハードウェア構成として、メモリ101と、プロセッサ102と、通信IF(Interface)103と、タッチディスプレイ104と、マイク105と、GPSユニット(Global Positioning System)106と、クロック107を備えている。また、これらの構成部はバス109を介して互いに接続されている。
メモリ101は揮発性半導体メモリや不揮発性半導体メモリ等を有し、OS(Operation System)、アプリケーションプログラム、ユーザデータ等の各種データを記憶するとともに、プロセッサ102によるデータ処理における作業領域として利用される。プロセッサ102はCPU(Central Processing Unit)、GPU(Graphics Processing Unit)等の処理装置である。通信IF103は無線通信により通信ネットワーク19を介して、音声認識サーバ装置12および情報提供サーバ装置13との間で各種データ通信を行うインタフェースである。
タッチディスプレイ104は、ディスプレイ1041とタッチパネル1042を有している。ディスプレイ1041は、例えば液晶ディスプレイであり、文字、図形、写真等を表示する。タッチパネル1042は、例えば静電容量方式のタッチパネルであり、指等のポインタが接触した場合、当該接触の位置を特定する。
ディスプレイ1041とタッチパネル1042は積層配置されており、ディスプレイ1041に表示されている画像に対しユーザがポインタを接触させる動作を行うと、実際にはタッチパネル1042にポインタが接触し、その位置が特定される。プロセッサ102は、タッチパネル1042により特定された位置に基づき、ディスプレイ1041により表示されている画像のどの部分に対しポインタの接触の動作が行われたかを特定することで、ユーザの意図した操作の内容を特定する。
マイク105は音を拾音し拾音した音を表わす音データを生成する装置である。音声エージェントシステム1においては、マイク105はユーザの音声を拾音し、音声データを生成する。GPSユニット106は、複数の衛星からの信号を受信し、受信した信号に基づき端末装置11の現在位置を特定し、特定した現在位置を示す現在位置データを生成する装置である。クロック107は基準時刻からの経過時間を継続的に計測し、現在時刻を示す現在時刻データを生成する装置である。
上記のハードウェア構成を備える端末装置11は、メモリ101に記憶されているプログラムに従う処理を行うことにより、図3に示す機能構成を備える装置として動作する。すなわち、端末装置11は、機能構成として、ユーザの音声をマイク105により録音して得られる音声データを、ユーザにより入力された入力データとして取得する入力データ取得手段111と、GPSユニット106により生成される現在位置データを、端末装置11の属性もしくは端末装置11がおかれている環境の属性を示す属性データとして取得する属性データ取得手段112と、入力データ取得手段111が取得した音声データおよび属性データ取得手段112が取得した現在位置データを音声認識サーバ装置12に送信する送信手段113を備える。
さらに、端末装置11は、端末装置11において実行可能な複数の機能のうち特定の機能を識別する機能識別データを音声認識サーバ装置12から受信する受信手段114と、受信手段114により受信された機能識別データにより識別される機能を実行する処理実行手段115と、受信手段114により受信された機能識別データにより識別される機能の実行指示をユーザに促すボタンの表示をディスプレイ1041に指示する表示指示手段116を備える。
音声認識サーバ装置12および情報提供サーバ装置13のハードウェア構成は、外部の装置との間で通信ネットワーク19を介したデータ通信が可能な一般的なコンピュータのハードウェア構成と同じである。図4は、音声認識サーバ装置12および情報提供サーバ装置13のハードウェア構成を示した図である。すなわち、音声認識サーバ装置12および情報提供サーバ装置13は、ハードウェア構成として、メモリ201と、プロセッサ202と、通信IF203と、クロック204を備えている。また、これらの構成部はバス209を介して互いに接続されている。
メモリ201は揮発性半導体メモリや不揮発性半導体メモリ等を有し、OS、アプリケーションプログラム、ユーザデータ等の各種データを記憶するとともに、プロセッサ202によるデータ処理における作業領域として利用される。プロセッサ202はCPU、GPU等の処理装置である。通信IF203は通信ネットワーク19を介して他の装置との間で各種データ通信を行うインタフェースである。クロック204は基準時刻からの経過時間を継続的に計測し、現在時刻を示す現在時刻データを生成する装置である。
音声認識サーバ装置12は、自機のメモリ201に記憶されているプログラムに従う処理を行うことにより、図5に示す機能構成を備える装置として動作する。すなわち、音声認識サーバ装置12は、機能構成として、まず、端末装置11から音声データを受信する受信手段121と、受信手段121により受信された音声データが表わす音声が示す文章を認識し、認識した文章データを生成する文章データ生成手段122と、文章データ生成手段122により生成された文章データが表わす文章に含まれるキーワードを抽出し、抽出したキーワードを示すキーワードデータを生成するキーワードデータ生成手段123を備える。
なお、文章データ生成手段122が行う文章の認識の処理は、既知の音声認識処理であるため、その説明を省略する。また、キーワードデータ生成手段123は、文章データが表わす文章の中から、後述する基本関連性データ(図6)のデータフィールド「キーワード」に含まれるキーワードと一致する言葉をキーワードとして抽出する。
また、音声認識サーバ装置12は、端末装置11の現在位置を示す現在位置データと現在時刻を示す現在時刻データを取得する属性データ取得手段124を備える。属性データ取得手段124は、端末装置11の現在位置を示す現在位置データを、受信手段121を介して端末装置11から取得する。また、属性データ取得手段124は、現在時刻データをクロック204から取得する。現在位置データが示す端末装置11の現在位置および現在時刻データが示す現在時刻は、端末装置11の属性もしくは端末装置11がおかれている環境の属性の一例である。
また、音声認識サーバ装置12は、複数のキーワードの各々と、端末装置11が実行可能な複数の機能の各々との関連性の高低をスコアとして示す関連性データを取得する関連性データ取得手段125を備える。本実施形態において、関連性データ取得手段125は、自機のメモリ201等(メモリ201、音声認識サーバ装置12に接続された外部の記憶装置、通信ネットワーク19を介して音声認識サーバ装置12からアクセス可能な外部のサーバ装置等)に予め記憶されている基本関連性データに示されるスコアに対し、端末装置11の現在位置や現在時刻に応じて特定されるウェイトを乗じて修正関連性データを生成する。関連性データ取得手段125はそのように生成した修正関連性データを、後述する機能特定手段126が機能の特定に用いる関連性データとして取得する。
関連性データ取得手段125は、修正関連性データを生成するために、まずメモリ201等から基本関連性データを読み出す。図6は、基本関連性データの構成例を示した図である。基本関連性データは、端末装置11において実行可能な複数の機能の各々に応じたデータレコードを複数含むデータベースであり、各データレコードはデータフィールドとして「機能ID」、「機能名」、「キーワード」、「スコア」を有している。データフィールド「機能ID」には、機能を識別する機能識別データである識別IDが格納される。データフィールド「機能名」には機能の名称を示すテキストデータが格納される。データフィールド「キーワード」にはキーワードを示すテキストデータが格納される。データフィールド「スコア」には、キーワードと機能の関連性の高低を示す数値データであるスコアが格納される。1つのデータレコードは、データフィールド「キーワード」および「スコア」に複数セットのデータを格納することができる。
例えば、図6に例示の第1行のデータは、「レストラン検索」という機能と「食べたい」というキーワードの関連性を示すスコアが「10」であることを示している。また、図6に例示の第2行のデータは、「レストラン検索」という機能と「G(料理)」というキーワードの関連性を示すスコアが「5」であることを示している。ここで、データフィールド「キーワード」に格納されている「G( )」という形式のデータは、キーワードそのものではなく、キーワードグループを示すデータである。例えば、「G(料理)」はキーワードグループ「料理」を示している。
個々のキーワードグループは、メモリ201等に記憶されているキーワードグループデータにより特定される。図7は、キーワードグループ「料理」に関するキーワードグループデータの構成例を示した図である。
関連性データ取得手段125は、基本関連性データにより示されるスコアに対し、メモリ201に予め記憶されているウェイト条件データに従い特定されるウェイトを乗じることにより修正関連性データを生成する。
図8は、ウェイト条件データの構成例を示した図である。ウェイト条件データは、端末装置11において実行可能な複数の機能の各々に応じたデータレコードを複数含むデータベースであり、各データレコードはデータフィールドとして「機能ID」、「機能名」、「条件」、「ウェイト」を有している。データフィールド「機能ID」および「機能名」には、識別IDおよび機能の名称を示すテキストデータが格納される。1つのデータレコードは、データフィールド「条件」および「ウェイト」に複数セットのデータを格納することができる。
データフィールド「条件」には、端末装置11の現在位置もしくは現在時刻に関する条件を示すテキストデータが格納される。データフィールド「ウェイト」には、データフィールド「条件」に示される条件が満たされた場合にスコアに乗じるウェイトが格納される。例えば、図8に例示の第1行のデータは、端末装置11の現在位置と端末装置11のユーザの自宅の間の距離が20km以上である場合、基本関連性データ(図6)により示される「レストラン検索」に対応するスコアに乗じるウェイトが「1.5」である、ということを示している。この場合のウェイト「1.5」が適用されるスコアは、図6における機能ID「F1025」に応じた全てのスコア、すなわち、キーワード「食べたい」に応じたスコア「10」、キーワード「G(料理)」に応じたスコア「5」等である。
上記のように、ウェイト条件データに示される条件には端末装置11のユーザの自宅位置に関する条件が含まれるため、メモリ201等には端末装置11の各々のユーザの自宅位置を示す自宅位置データが予め記憶されている。図9は、自宅位置データの構成例を示した図である。自宅位置データは、ユーザが携帯する端末装置11を識別する端末IDと、当該ユーザの自宅の位置を示す自宅位置データを互いに対応付けたデータである。なお、音声認識サーバ装置12は、例えば端末装置11との通信を開始する際に端末装置11から端末IDを受信し、その後の端末装置11との通信において端末装置11を識別する。
関連性データ取得手段125は、属性データ取得手段124により取得された現在位置データが示す端末装置11の現在位置と、自宅位置データが示す端末装置11のユーザの自宅位置と、属性データ取得手段124により取得された現在時刻データが示す現在時刻とを用いて、ウェイト条件データに示される条件のいずれが満たされるかを特定し、満たされる条件に応じたウェイトを、基本関連性データ(図6)の対応する機能に応じたスコアに乗じる。その結果、関連性データ取得手段125はウェイトが反映された関連性データである修正関連性データを取得する。
図5に戻り、音声認識サーバ装置12の機能構成の説明を続ける。音声認識サーバ装置12は、端末装置11において実行されるべき機能および端末装置11においてボタンの表示が行われるべき機能を特定する機能特定手段126を備える。
機能特定手段126は、関連性データ取得手段125により生成された修正関連性データが示すスコアの中から、キーワードデータ生成手段123により生成されたキーワードデータが示すキーワードに応じたスコア(ウェイトが乗じられたもの)を抽出し、抽出したそれらのスコアを機能毎に合算する。続いて、機能特定手段126は合算後のスコアが高い順に所定数の機能を特定する。本実施形態において、機能特定手段126が特定する機能の数は4つであり、以下、それらの機能をスコアが高い順に「第1の機能」、「第2の機能」、「第3の機能」、「第4の機能」という。
また、音声認識サーバ装置12は、機能特定手段126により特定された第1の機能において用いられるパラメータを示すパラメータデータを生成するパラメータデータ生成手段127を備える。パラメータデータ生成手段127は、文章データ生成手段122により生成される文章データが表わす文章の意図解釈を行い、キーワードデータ生成手段123により生成されたキーワードデータが示すキーワードのうち、第1の機能において用いられるパラメータに適するものを特定する。
例えば、第1の機能が「乗換案内」であり、ユーザにより発話された文章が「銀座に行きたい」であれば、パラメータデータ生成手段127はユーザにより発話された文章に含まれるキーワード「銀座」が目的地を示すことを意図解釈により特定し、銀座(エリア)の最寄り駅が銀座駅であることを特定する。そして、パラメータデータ生成手段127は「目的駅=銀座駅」というデータをパラメータデータとして生成する。
なお、パラメータデータ生成手段127が行う文章の意図解釈の処理や、ある場所の最寄り駅を特定する処理等は既知の処理であるため、その説明を省略する。
音声認識サーバ装置12は、さらに、機能特定手段126により特定された第1の機能〜第4の機能を各々識別する機能ID(以下、例えば第1の機能の機能IDを「第1の機能ID」のようにいう)と、パラメータデータ生成手段127により生成されたパラメータデータを端末装置11に送信する送信手段128を備える。以上が音声認識サーバ装置12の機能構成である。
情報提供サーバ装置13は、自機のメモリ201に記憶されているプログラムに従う処理を行うことにより、図10に示す機能構成を備える装置として動作する。すなわち、情報提供サーバ装置13は、機能構成として、端末装置11からデータ処理の要求を示す要求データを受信する受信手段131と、受信手段131により受信された要求データに従いデータ処理を実行する処理実行手段132と、処理実行手段132により実行されたデータ処理の結果を示す結果データを端末装置11に送信する送信手段133を備える。以上が音声エージェントシステム1の構成の説明である。
続いて、ユーザが音声により端末装置11に対し機能の実行指示を行う場合の音声エージェントシステム1の動作を説明する。図11は、音声エージェントシステム1の動作を示したシーケンスチャートである。また、図12は、図11のシーケンスに従った動作において端末装置11のディスプレイ1041に表示される画面を例示した図である。
まず、ユーザが端末装置11を操作して図12(a)の画面をディスプレイ1041に表示させた状態で、例えば「カレーを食べたい」といった発話を行うと、端末装置11は当該発話の音声を録音、すなわち当該音声を表わす音声データの生成を行う(ステップS101)。
続いて、端末装置11はステップS101で生成した音声データを、GPSユニット106により生成された端末装置11の現在位置を示す現在位置データとともに、音声認識サーバ装置12に送信する(ステップS102)。音声認識サーバ装置12は端末装置11から音声データと現在位置データを受信する(ステップS103)。続いて、音声認識サーバ装置12はステップS103において受信した音声データが表わす音声を認識、すなわち当該音声が示す文章を特定し、特定した文章を表わす文章データを生成する(ステップS104)。
続いて、音声認識サーバ装置12はステップS104において生成した文章データが表わす文章からキーワードを抽出し、それらのキーワードを示すキーワードデータを生成する(ステップS105)。続いて、音声認識サーバ装置12は、修正関連性データを生成する(ステップS106)。
続いて、音声認識サーバ装置12はステップS106において生成した修正関連性データと、ステップS105において生成したキーワードデータに基づき、第1の機能〜第4の機能を特定する(ステップS107)。続いて、音声認識サーバ装置12は、ステップS104において生成した文章データが示す文章の意図解釈を行い、ステップS107において特定した第1の機能に応じたパラメータを特定する(ステップS108)。
続いて、音声認識サーバ装置12は、ステップS107において特定した第1の機能〜第4の機能を各々識別する第1の機能ID〜第4の機能IDと、ステップS108において特定したパラメータを示すパラメータデータを端末装置11に送信する(ステップS109)。端末装置11はそれらのデータを受信する(ステップS110)。
端末装置11は、ステップS110において受信した第1の機能IDにより識別される機能を実行する(ステップS111)。その際、端末装置11はステップS110において受信したパラメータデータを用いる。また、ステップS111において、端末装置11は必要に応じて情報提供サーバ装置13とデータ通信を行い、第1の機能の実行において必要なデータを取得する。
端末装置11は第1の機能の実行(ステップS111)と同時に、ステップS110において受信した第2の機能ID〜第4の機能IDにより識別される機能に応じたボタンを表示する(ステップS112)。
図12(b)は、例えばユーザが平日のランチタイムに自宅から遠く離れた場所で図12(a)の画面を表示している端末装置11に対し「カレーを食べたい」と発話した場合に、ステップS112が完了した時点で端末装置11に表示される画面を例示している。また、図12(c)は、例えばユーザが休日の午後3時頃に自宅で図12(a)の画面を表示している端末装置11に対し「カレーを食べたい」と発話した場合に、ステップS112が完了した時点で端末装置11に表示される画面を例示している。
図12(b)および(c)の画面において、領域A01には第1の機能の実行に伴う情報が表示され、領域A02には第2の機能〜第4の機能に応じたボタンが表示される。図12(b)においては「レストラン検索」が第1の機能として実行され、その情報が領域A01に表示されている。また、図12(b)においては、「レシピ検索」、「カロリー計算」、「用語検索」の各機能の実行指示を促すボタンが領域A02に表示されている。一方、図12(c)においては「レシピ検索」が第1の機能として実行され、その情報が領域A01に表示されている。また、図12(c)においては、「レストラン検索」、「カロリー計算」、「用語検索」の各機能の実行指示を促すボタンが領域A02に表示されている。
図12(b)および(c)に示されるように、図12(a)の画面を表示している端末装置11に対しユーザが同じ発話を行っても、現在時刻や端末装置11の現在位置に応じて、端末装置11により実行される機能(第1の機能)やボタン表示される機能(第2の機能〜第4の機能)が異なり得る。これは、現在時刻や端末装置11の現在位置に応じて異なる修正関連性データが生成され、第1の機能〜第4の機能に用いられるためである。
以上説明したように、音声エージェントシステム1によれば、ユーザが音声により端末装置11に対し機能の実行を指示した場合、現在時刻や端末装置11の現在位置といった端末装置の属性、ユーザの属性、もしくは端末装置がおかれている環境の属性等に応じて最も適切と推定される機能が自動的に実行される。そのため、それらの属性が考慮されることなく機能の選択および実行が行われる場合と比較し、ユーザの発話の意図にそぐわない機能が端末装置11において実行されてしまう、という不都合が低減される。
また、音声エージェントシステム1によれば、ユーザが音声により端末装置11に対し機能の実行を指示した場合、現在時刻や端末装置11の現在位置に応じて2番目〜4番目に適切と推定される機能の実行指示を促すボタンが表示される。そのため、仮に最も適切と推定されて自動的に実行された機能がユーザの発話の意図にそぐわないものであったとしても、多くの場合、ユーザはそれらのボタンのいずれかをタッチ操作等することにより意図する機能を端末装置11に実行させることができる。
[変形例]
上述した音声エージェントシステム1は本発明の一実施形態であって、本発明の技術的思想の範囲内において様々に変形することができる。以下にそれらの変形の例を示す。なお、上述した実施形態および下記の変形例は適宜組み合わされてもよい。
[第1変形例]
上述した実施形態においては、基本関連性データ(図6)が示すスコアに対し、ウェイト条件データ(図8)に示される条件のうち満たされる条件に応じたウェイトを乗じることにより、修正関連性データが生成される構成が採用されている。第1変形例においては、これに代えて、もしくは加えて、ユーザが過去に使用した機能の履歴を示す履歴データに基づき算出されるウェイトを、基本関連性データが示すスコアに対し乗じることにより、修正関連性データの生成が行われる。
履歴データの生成のため、第1変形例において、端末装置11はユーザが使用した機能を特定する。端末装置11は、例えば以下のように、ユーザが使用した機能を特定する。
まず、ユーザが音声により端末装置11に対し機能の実行指示を行った後、端末装置11のディスプレイ1041に表示される画面において、第1の機能に関する情報が領域A01に表示された後、第1の機能に関する何らかの操作(例えば、パラメータの変更や表示されている情報のスクロール等)が行われた場合、端末装置11はユーザが第1の機能を使用したと判定し、第1の機能を実際に使用された機能として特定する。
また、第1の機能に関する情報が領域A01に表示された後、その表示が所定時間(例えば20秒間)以上維持された場合、ユーザが第1の機能に関する情報を閲覧していたものと推定されるため、端末装置11は第1の機能を実際に使用された機能として特定する。
また、第1の機能に関する情報が領域A01に表示された後、上記の所定時間(例えば20秒間)が経過する前に第1の機能ではない機能の実行指示がユーザにより行われた場合、第1の機能はユーザが意図していた機能ではなかったと推定されるため、端末装置11はユーザにより実行指示が行われた機能を使用された機能として特定する。例えば、ユーザが発話の後、ディスプレイ1041に表示される画面において速やかに第2の機能〜第4の機能のボタンのいずれかをタッチ操作した場合、端末装置11はユーザによりタッチ操作の行われた機能を使用された機能として特定する。
端末装置11は、上記のように特定した機能の機能IDを、その時点においてGPSユニット106により生成された現在位置データとともに、音声認識サーバ装置12に送信する。音声認識サーバ装置12は、端末装置11から受信した機能ID(使用された機能を識別する識別ID)と現在位置データ、および、その時点においてクロック204により生成された現在時刻データに基づき、履歴データを生成する。
図13は、音声認識サーバ装置12が生成した履歴データを管理するためのデータベースである履歴DB(Database)の構成例を示した図である。履歴DBは端末装置11の各々に応じたデータテーブルの集まりであり、各データテーブルは、過去の所定期間(例えば、6か月間)に使用された機能の実行前にユーザにより発話された文章に含まれるキーワードの各々に応じたデータレコードが含まれている。履歴DBに含まれるデータレコードは、データフィールドとして、「日付」、「時間帯」、「休日/平日」、「場所」、「キーワード」、「機能ID」を有している。
データフィールド「日付」は、機能が実行された日付を示すデータを格納する。データフィールド「時間帯」は、機能が実行された時間帯を示す「午前」、「ランチタイム」、「午後」、「ディナータイム」、「夜間」のいずれかを格納する。なお、例えば「午前」は5:00〜11:00、「ランチタイム」は11:00〜13:30、のように、互いに重複する時間帯を持たないように定義されている。
データフィールド「平日/休日」は、機能が実行された日が平日であることを示す「へ実」と、機能が実行された日が休日であることを示す「休日」のいずれかを格納する。データフィールド「場所」は、機能が実行された時に端末装置11が配置されていた場所を示す「自宅」、「オフィス」、「自宅/オフィス以外」、「不明」のいずれかを格納する。なお、「不明」とは、例えば端末装置11においてGPSユニット106がOFFされている、もしくは端末装置11が地下等の測位不能な場所にある、といった理由でGPSユニット106により現在位置データの生成が行われず、音声認識サーバ装置12が端末装置11から現在位置データを受信できなかったことを示す。
データフィールド「キーワード」は、ユーザにより発話された文章に含まれるキーワードを示すテキストデータを格納する。なお、1つのデータレコードのデータフィールド「キーワード」には1つのキーワードが格納される。従って、例えばユーザが「カレーを食べたい」と発話した場合、キーワード「カレー」に応じたデータレコードと、キーワード「食べたい」に応じたデータレコードの2つが履歴DBの端末装置11のデータテーブルに追加されることになる。データフィールド「機能ID」は、使用された機能の機能IDを格納する。
音声認識サーバ装置12は、現在時刻データに基づきデータフィールド「日付」および「時間帯」に格納すべきデータを生成し格納する。また、音声認識サーバ装置12は、予めメモリ201等に記憶されているカレンダーデータ(平日と休日の別を示すデータ)と現在時刻データに基づきデータフィールド「平日/休日」に格納すべきデータを生成し格納する。なお、カレンダーデータは端末装置11毎に管理され、祝日等に加え、端末装置11のユーザの定期的な休日(例えば、日曜日と水曜日が毎週休日である、等)を示す。
音声認識サーバ装置12は、端末装置11の各々のユーザに関し当該ユーザの自宅の位置およびオフィスの位置を示す自宅/オフィス位置データと端末装置11から受信した現在位置データに基づき、データフィールド「場所」に格納すべきデータを生成し格納する。図14は、上述した実施形態において使用される自宅位置データ(図9)に代えてメモリ201等に記憶されている自宅/オフィス位置データの構成例を示した図である。自宅/オフィス位置データは、ユーザが携帯する端末装置11を識別する端末IDと、当該ユーザの自宅の位置を示す自宅位置データと、当該ユーザのオフィスの位置を示すオフィス位置データを互いに対応付けたデータである。
音声認識サーバ装置12は、端末装置11から使用された機能の機能IDを受信した時点において直前に端末装置11から受信した音声データが表わす音声が示す文章に含まれるキーワードを示すキーワードデータ(図11のステップS105において生成したデータ)をデータフィールド「キーワード」に格納する。ただし、キーワードデータが示すキーワードが例えば「カレー」である場合、音声認識サーバ装置12はこのキーワードが属するキーワードグループ「G(料理)」をデータフィールド「キーワード」に格納する。また、キーワードデータが複数のキーワードを示す場合、音声認識サーバ装置12はそれらのキーワードの各々に応じたデータレコードを生成し、それらのデータレコードのデータフィールド「キーワード」に各キーワードを示すデータを格納する。また、それらのデータレコードの「キーワード」以外のデータフィールドにはデータレコード間で同じデータが格納される。
音声認識サーバ装置12は、端末装置11から受信した使用された機能の機能IDをデータフィールド「機能ID」に格納する。以上が履歴DBの説明である。
第1変形例において、音声認識サーバ装置12の関連性データ取得手段125は、図11のステップS106において、上述した履歴DBに含まれる履歴データを用いて例えば以下のようにウェイトを算出し、基本関連性データが示すスコアに乗じることにより、修正関連性データを生成する。
まず、関連性データ取得手段125はその時点でクロック204により生成された現在時刻データに基づき、現在の時間帯を特定する。また、関連性データ取得手段125は、現在時刻データおよびカレンダーデータに基づき、平日/休日の別を特定する。また、関連性データ取得手段125は、自宅/オフィス位置データとステップS103において端末装置11から受信した現在位置データに基づき、現在の端末装置11の位置が自宅、オフィス、自宅/オフィス以外、不明のいずれであるかを特定する。
続いて、関連性データ取得手段125は、上記のように特定した時間帯、平日/休日、場所と、ステップS105においてキーワードデータ生成手段123により生成されたキーワードデータが示すキーワードの各々とに応じたデータレコードを履歴DB(図13)から抽出し、抽出したデータレコードをデータフィールド「機能ID」毎にグループ化し、各機能IDに応じたデータレコードの数をカウントする。
例えば、端末装置11に対しユーザが平日のランチタイムにオフィスにて「カレーが食べたい」と発話した場合、関連性データ取得手段125は履歴DBから、「時間帯=ランチタイム and 平日/休日=平日 and 場所=オフィス and (キーワード=G(料理) or 食べたい)」という検索条件を満たすデータレコードを抽出し、抽出したデータレコードを「機能ID」毎にグループ化してその数をカウントする。その結果、例えば「レストラン検索」機能を識別する機能ID「F1025」のデータレコードの数は8個、「レシピ検索」機能を識別する機能ID「F0103」は25個といった具合に、機能ID毎のデータレコード数が特定される。
続いて、関連性データ取得手段125は、上記のように機能ID毎に特定したデータレコード数に所定数(例えば0.01)を乗じた数を1に加算して、機能ID毎のウェイトを算出する。例えば、機能ID「F1025」のデータレコード数が8個である場合、機能ID「F1025」のウェイトは「1.08」(1+8×0.01=1.08)となる。また、機能ID「F0103」のデータレコード数が50個である場合、機能ID「F0103」のウェイトは「1.5」(1+50×0.01=1.5)となる。
関連性データ取得手段125は、上記のように機能ID毎に算出したウェイトを、基本関連性データ(図6)が示す当該機能IDに応じたスコアの各々に乗じることにより、修正関連性データを生成する。
例えば、機能ID「F1025」のウェイトが「1.08」である場合、図6に例示されている機能ID「F1025」とキーワード「食べたい」の組み合わせに応じたスコア「10」はウェイト「1.08」が乗じられて「10.8」に修正され、機能ID「F1025」とキーワード「G(料理)」の組み合わせに応じたスコア「5」はウェイト「1.08」が乗じられて「5.4」に修正される。
また、例えば、機能ID「F0103」のウェイトが「1.5」である場合、図6に例示されている機能ID「F0103」とキーワード「食べたい」の組み合わせに応じたスコア「8」はウェイト「1.5」が乗じられて「12」に修正され、機能ID「F1025」とキーワード「G(料理)」の組み合わせに応じたスコア「5」はウェイト「1.5」が乗じられて「7.5」に修正される。
第1変形例においては、上記のように生成される修正関連性データが機能の特定(図11のステップS107)において用いられる。従って、例えば、端末装置11の使用が開始されたばかりであり、まだ履歴DBに1つも履歴データが格納されていない状態で、ユーザが平日のランチタイムにオフィスにて「カレーが食べたい」と発話した場合、基本関連性データがそのまま機能の特定に用いられて、端末装置11には図12(b)に示す画面(「レストラン検索」機能が第1の機能として実行された画面)が表示される。
一方、ユーザが過去の所定期間(例えば、6か月間)に、平日のランチタイムにオフィスにて「○○が食べたい」(ただし、「○○」は料理名)と発話した後、「レストラン検索」機能は8回に対し「レシピ検索」機能は50回、という具合に「レシピ検索」機能をより高い頻度で使用した場合、履歴データが反映された修正関連性データが機能の特定に用いられて、端末装置11には図12(c)に示す画面(「レシピ検索」機能が第1の機能として実行された画面)が表示される。
上記のように、第1変形例によれば、ユーザが端末装置11に対し音声により機能の実行指示を行った場合、ユーザが過去に使用した機能の履歴に応じた適切な機能が端末装置11において実行される。
[その他の変形例]
(1)上述した実施形態および変形例においては、関連性データ取得手段125は、基本関連性データが示すスコアにウェイトを乗じて生成した修正関連性データを、機能特定手段126により用いられる関連性データとして取得する。このウェイトを乗じる方法は、現在時刻や端末装置11の現在位置、ユーザが使用した機能の履歴等の属性に応じて異なる関連性データを取得する方法の一例であって、例えば、自宅用の関連性データと自宅以外用の関連性データのように属性毎に異なる関連性データを予めメモリ201等に記憶しておき、関連性データ取得手段125がこれらの関連性データを読み出すことにより取得する構成が採用されてもよい。
(2)上述した実施形態においては、機能の特定に用いられる関連性データが、現在時刻および端末装置11の現在位置に応じて異なる構成が採用されている。また、上述した第1変形例においては、機能の特定に用いられる関連性データが、使用された機能の履歴に応じて異なる構成が採用されている。現在時刻、端末装置11の現在位置および使用された機能の履歴は、機能の特定に用いられる関連性データに反映されるべき属性の例であって、端末装置11の属性、端末装置11のユーザの属性、もしくは端末装置11がおかれている環境の属性であれば、他の属性が関連性データに反映されるべき属性として採用されてもよい。
例えば、過去の所定期間(例えば1時間)にGPSユニット106により生成された現在位置データを時系列的に並べたものを移動経路データとして記憶しておき、移動経路データに基づき、端末装置11が現在、自宅に向かっているか否かを判定し、その判定結果に応じて異なる関連性データを機能の特定に用いる構成が採用されてもよい。この場合、例えば端末装置11が自宅に向かって移動している場合には「レストラン検索」機能よりも「レシピ検索」機能を優先的に第1の機能として実行する、といった動作を端末装置11に行わせることができる。
(3)上述した基本関連性データ(図6)およびウェイト条件データ(図8)の少なくとも一方を、例えば全てのユーザが過去の所定期間内に使用した機能の履歴に基づき修正する構成が採用されてもよい。
(4)上述した実施形態および変形例においては、端末装置11の現在位置はGPSユニット106により特定される。これに代えて、例えば端末装置11が無線通信を行うために接続する無線基地局の位置を示す位置データを用いる等、他の種別の位置データが用いられてもよい。
(5)上述した実施形態および変形例においては、端末装置11が音声認識サーバ装置12に対し音声データを送信し、音声認識サーバ装置12において音声データが表わす音声が示す文章の特定(音声認識)が行われる。これに代えて、端末装置11が文章データ生成手段122と同様の構成部を備え、端末装置11において文章の特定が行われる構成が採用されてもよい。この場合、端末装置11から音声認識サーバ装置12に対し、文章データが送信されることになる。
さらに、端末装置11がキーワードデータ生成手段123と同様の構成部を備え、端末装置11において文章からキーワードの抽出が行われる構成が採用されてもよい。この場合、端末装置11から音声認識サーバ装置12に対し、キーワードデータが送信されることになる。
(6)上述した第1変形例において採用されているウェイトの算出方法は例示であって、他のウェイトの算出方法が採用されてもよい。例えば、履歴DB(図13)のデータフィールド「日付」のデータに基づき、例えば過去1か月以内に使用された機能に関するデータレコードの数には0.015を乗じ、1か月前〜3か月前までの期間に使用された機能に関するデータレコードの数には0.012を乗じ、3か月前〜6か月前までの期間に使用された機能に関するデータレコードの数には0.010を乗じて、それらの合算値を1に加算することによってウェイトを算出する、といった構成が採用されてもよい。この場合、最近に使用された機能の数が、かなり前に使用された機能の数よりもより強く、ユーザの音声に従い新たに実行もしくはボタン表示される機能の特定に反映されることになる。
(7)上述した実施形態および変形例においては、ユーザは第1の機能を指定するためのデータ入力として、端末装置11のマイク105に対し発話を行い、当該発話の音声を示す音声データが入力データとして利用される。ユーザが第1の機能を指定するために端末装置11にデータを入力する方法は発話に限られず、また、入力データの形式も音声データに限られない。例えば、ユーザが発話に代えて、端末装置11に対し、キーボード(タッチディスプレイ104に表示される仮想的なキーボード、端末装置11に接続された機械的なキーボード等)等の入力デバイスを用いて文書を入力し、当該文章を示す文章データが入力データとして用いられてもよい。この場合、音声認識サーバ装置12に相当するサーバ装置は、文章データ生成手段122を要さず、キーワードデータ生成手段123が受信手段121により受信された文章データを用いてキーワードデータを生成するように構成されることになる。
(8)上述した実施形態および変形例においては、端末装置11、音声認識サーバ装置12および情報提供サーバ装置13は一般的なコンピュータに、本発明にかかるプログラムに従った処理を実行させることにより、実現されるものとした。これに代えて、端末装置11、音声認識サーバ装置12および情報提供サーバ装置13うちの1以上を、いわゆる専用機として構成してもよい。
本発明は、上述した音声エージェントシステムに例示されるシステム、当該システムを構成する端末装置および音声認識サーバ装置に例示されるサーバ装置、これらの装置が行なう処理の方法、コンピュータをこれらの装置として機能させるためのプログラム、当該プログラムをコンピュータ読取可能に記録した不揮発性の記録媒体、といった形態で把握される。なお、本発明にかかるプログラムは、記録媒体を介する他、インターネットなどのネットワークを介してコンピュータに提供されてもよい。
1…音声エージェントシステム、11…端末装置、12…音声認識サーバ装置、13…情報提供サーバ装置、19…通信ネットワーク、101…メモリ、102…プロセッサ、103…通信IF、104…タッチディスプレイ、105…マイク、106…GPSユニット、107…クロック、109…バス、111…入力データ取得手段、112…属性データ取得手段、113…送信手段、114…受信手段、115…処理実行手段、116…表示指示手段、121…受信手段、122…文章データ生成手段、123…キーワードデータ生成手段、124…属性データ取得手段、125…関連性データ取得手段、126…機能特定手段、127…パラメータデータ生成手段、128…送信手段、131…受信手段、132…処理実行手段、133…送信手段、201…メモリ、202…プロセッサ、203…通信IF、204…クロック、209…バス、1041…ディスプレイ、1042…タッチパネル

Claims (10)

  1. 端末装置の属性、前記端末装置のユーザの属性および前記端末装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する属性データ取得手段と、
    複数のキーワードの各々と、前記端末装置において実行され得る一連の処理の種別である複数の機能の各々との関連性の高低を示す関連性データであって、前記属性データにより表わされる属性に応じて異なる関連性データを取得する関連性データ取得手段と、
    前記端末装置から、ユーザにより入力された入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータを受信する受信手段と、
    前記入力データが表わすキーワード、もしくは前記キーワードデータが表わすキーワードに関し、前記属性データにより表わされる属性に応じた前記関連性データが示す関連性の高低に基づき、前記複数の機能の中から1以上の機能を特定する機能特定手段と、
    前記機能特定手段により特定された1以上の機能を各々識別する1以上の機能識別データを前記端末装置に送信する送信手段と
    を備えるサーバ装置。
  2. 前記受信手段は前記ユーザの音声を表わす前記入力データを受信し、
    前記入力データが表わす音声が示す文章を表わす文章データを生成する文章データ生成手段と、
    前記文章データ生成手段により生成された文章データが表わす文章に含まれるキーワードを表わすキーワードデータを、前記機能特定手段により使用される前記キーワードデータとして生成するキーワードデータ生成手段と
    を備える請求項1に記載のサーバ装置。
  3. 前記属性データ取得手段は、前記端末装置の現在位置を示す現在位置データ、前記端末装置の過去の移動経路を示す移動経路データ、現在時刻を示す現在時刻データ、および前記端末装置においてユーザに使用された機能の履歴を示す履歴データのうちの少なくとも1つを前記属性データとして取得する
    請求項1または2に記載のサーバ装置。
  4. 端末装置との間でデータ通信を行う通信手段を備えるコンピュータに、
    端末装置の属性、前記端末装置のユーザの属性および前記端末装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する処理と、
    複数のキーワードの各々と、前記端末装置において実行され得る一連の処理の種別である複数の機能の各々との関連性の高低を示す関連性データであって、前記属性データにより表わされる属性に応じて異なる関連性データを取得する処理と、
    前記端末装置から、ユーザにより入力された入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータを受信する処理と、
    前記入力データが表わすキーワード、もしくは前記キーワードデータが表わすキーワードに関し、前記属性データにより表わされる属性に応じた前記関連性データが示す関連性の高低に基づき、前記複数の機能の中から1以上の機能を特定する処理と、
    前記特定した1以上の機能を各々識別する1以上の機能識別データを前記端末装置に送信する処理と
    を実行させるプログラム。
  5. 処理を実行する処理実行手段と、
    ユーザにより入力された入力データを取得する入力データ取得手段と、
    自装置の属性、前記ユーザの属性および自装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する属性データ取得手段と、
    前記入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータと、前記属性データとをサーバ装置に送信する送信手段と、
    前記サーバ装置から、前記送信手段による前記入力データもしくは前記キーワードデータと前記属性データとの送信に対する応答として送信されてくる、前記処理実行手段により実行され得る一連の処理の種別である複数の機能のうちの1以上の機能を各々識別する1以上の機能識別データを受信する受信手段と
    を備え、
    前記処理実行手段は、前記受信手段により受信された前記1以上の機能識別データのうちの一の機能識別データにより識別される機能を実行する
    端末装置。
  6. 前記入力データ取得手段は前記ユーザの音声を表わす前記入力データを取得し、
    前記入力データが表わす音声が示す文章を表わす文章データを生成する文章データ生成手段と、
    前記文章データ生成手段により生成された文章データが表わす文章に含まれるキーワードを表わすキーワードデータを、前記送信手段により前記サーバ装置に送信される前記キーワードデータとして生成するキーワードデータ生成手段と
    を備える請求項5に記載の端末装置。
  7. 前記処理実行手段により前記一の機能識別データにより識別される機能が実行されている間、前記1以上の機能識別データのうちの前記一の機能識別データ以外の機能識別データにより識別される機能の各々に関し、当該機能の実行指示をユーザに促す表示を表示装置に指示する表示指示手段
    を備える請求項5または6に記載の端末装置。
  8. サーバ装置との間でデータ通信を行う通信手段を備えるコンピュータに、
    ユーザにより入力された入力データを取得する処理と、
    前記コンピュータの属性、前記ユーザの属性および前記コンピュータがおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する処理と、
    前記入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータと、前記属性データとを前記サーバ装置に送信する処理と、
    前記サーバ装置から、前記入力データもしくは前記キーワードデータと前記属性データとの送信に対する応答として送信されてくる、一連の処理の種別である複数の機能のうちの1以上の機能を各々識別する1以上の機能識別データを受信する処理と、
    前記1以上の機能識別データのうちの一の機能識別データにより識別される機能を実行する処理と
    を実行させるプログラム。
  9. サーバ装置と端末装置を備え、
    前記端末装置は、
    ユーザにより入力された入力データを取得する入力データ取得手段と、
    前記入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータを前記サーバ装置に送信する送信手段と
    を備え、
    前記サーバ装置は、
    前記端末装置の属性、前記端末装置のユーザの属性および前記端末装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得する属性データ取得手段と、
    複数のキーワードの各々と、前記端末装置において実行され得る一連の処理の種別である複数の機能の各々との関連性の高低を示す関連性データであって、前記属性データにより表わされる属性に応じて異なる関連性データを取得する関連性データ取得手段と、
    前記端末装置から前記入力データ、もしくは前記キーワードデータを受信する受信手段と、
    前記入力データが表わすキーワード、もしくは前記キーワードデータが表わすキーワードに関し、前記属性データにより表わされる属性に応じた前記関連性データが示す関連性の高低に基づき、前記複数の機能の中から1以上の機能を特定する機能特定手段と、
    前記機能特定手段により特定された1以上の機能を各々識別する1以上の機能識別データを前記端末装置に送信する送信手段と
    を備え、
    前記端末装置は、
    前記サーバ装置から前記1以上の機能識別データを受信する受信手段と、
    前記1以上の機能識別データのうちの一の機能識別データにより識別される機能を実行する処理実行手段と
    を備える
    システム。
  10. 端末装置が、ユーザにより入力された入力データを取得するステップと、
    前記端末装置が、前記入力データ、もしくは前記入力データが表わすキーワードを表わすキーワードデータをサーバ装置に送信するステップと、
    前記サーバ装置が、前記端末装置の属性、前記端末装置のユーザの属性および前記端末装置がおかれている環境の属性のうちの少なくとも1つを表わす属性データを取得するステップと、
    前記サーバ装置が、複数のキーワードの各々と、前記端末装置において実行され得る一連の処理の種別である複数の機能の各々との関連性の高低を示す関連性データであって、前記属性データにより表わされる属性に応じて異なる関連性データを取得するステップと、
    前記サーバ装置が、前記入力データが表わすキーワード、もしくは前記キーワードデータが表わすキーワードに関し、前記属性データにより表わされる属性に応じた前記関連性データが示す関連性の高低に基づき、前記複数の機能の中から1以上の機能を特定するステップと、
    前記サーバ装置が、前記特定した1以上の機能を各々識別する1以上の機能識別データを前記端末装置に送信するステップと、
    前記端末装置が、前記1以上の機能識別データのうちの一の機能識別データにより識別される機能を実行するステップと
    を備える方法。
JP2013193361A 2013-09-18 2013-09-18 ユーザのデータ入力に応じて情報提供を行うためのサーバ装置、プログラム、システムおよび方法 Active JP6162009B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013193361A JP6162009B2 (ja) 2013-09-18 2013-09-18 ユーザのデータ入力に応じて情報提供を行うためのサーバ装置、プログラム、システムおよび方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013193361A JP6162009B2 (ja) 2013-09-18 2013-09-18 ユーザのデータ入力に応じて情報提供を行うためのサーバ装置、プログラム、システムおよび方法

Publications (2)

Publication Number Publication Date
JP2015060391A true JP2015060391A (ja) 2015-03-30
JP6162009B2 JP6162009B2 (ja) 2017-07-12

Family

ID=52817867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013193361A Active JP6162009B2 (ja) 2013-09-18 2013-09-18 ユーザのデータ入力に応じて情報提供を行うためのサーバ装置、プログラム、システムおよび方法

Country Status (1)

Country Link
JP (1) JP6162009B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009199A (ja) * 2014-06-20 2016-01-18 Necパーソナルコンピュータ株式会社 情報処理装置
KR101777392B1 (ko) * 2016-07-04 2017-09-11 주식회사 케이티 중앙 서버 및 이에 의한 사용자 음성 처리 방법
CN108710485A (zh) * 2018-04-19 2018-10-26 珠海格力电器股份有限公司 一种信息输出方法、终端设备及可读存储介质
JP2020016960A (ja) * 2018-07-23 2020-01-30 Zホールディングス株式会社 推定装置、推定方法及び推定プログラム
JP2020042784A (ja) * 2018-09-10 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド インテリジェント端末操作用の方法及び装置
US10650816B2 (en) 2017-01-16 2020-05-12 Kt Corporation Performing tasks and returning audio and visual feedbacks based on voice command
US10726836B2 (en) 2016-08-12 2020-07-28 Kt Corporation Providing audio and video feedback with character based on voice command
JP2020526812A (ja) * 2017-07-03 2020-08-31 グーグル エルエルシー 複数のコーパスからの応答情報取得
WO2020226413A1 (en) * 2019-05-08 2020-11-12 Samsung Electronics Co., Ltd. Display apparatus and method for controlling thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020760A (ja) * 2007-07-12 2009-01-29 Hitachi Ltd ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム
JP2012248016A (ja) * 2011-05-27 2012-12-13 Ntt Docomo Inc 機能提示システム、端末装置、サーバ装置、プログラム及び機能提示方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020760A (ja) * 2007-07-12 2009-01-29 Hitachi Ltd ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム
JP2012248016A (ja) * 2011-05-27 2012-12-13 Ntt Docomo Inc 機能提示システム、端末装置、サーバ装置、プログラム及び機能提示方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016009199A (ja) * 2014-06-20 2016-01-18 Necパーソナルコンピュータ株式会社 情報処理装置
KR101777392B1 (ko) * 2016-07-04 2017-09-11 주식회사 케이티 중앙 서버 및 이에 의한 사용자 음성 처리 방법
US10311877B2 (en) 2016-07-04 2019-06-04 Kt Corporation Performing tasks and returning audio and visual answers based on voice command
US10726836B2 (en) 2016-08-12 2020-07-28 Kt Corporation Providing audio and video feedback with character based on voice command
US10650816B2 (en) 2017-01-16 2020-05-12 Kt Corporation Performing tasks and returning audio and visual feedbacks based on voice command
JP2020526812A (ja) * 2017-07-03 2020-08-31 グーグル エルエルシー 複数のコーパスからの応答情報取得
US11017037B2 (en) 2017-07-03 2021-05-25 Google Llc Obtaining responsive information from multiple corpora
CN108710485A (zh) * 2018-04-19 2018-10-26 珠海格力电器股份有限公司 一种信息输出方法、终端设备及可读存储介质
JP2020016960A (ja) * 2018-07-23 2020-01-30 Zホールディングス株式会社 推定装置、推定方法及び推定プログラム
JP7174551B2 (ja) 2018-07-23 2022-11-17 ヤフー株式会社 推定装置、推定方法及び推定プログラム
JP2020042784A (ja) * 2018-09-10 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド インテリジェント端末操作用の方法及び装置
WO2020226413A1 (en) * 2019-05-08 2020-11-12 Samsung Electronics Co., Ltd. Display apparatus and method for controlling thereof

Also Published As

Publication number Publication date
JP6162009B2 (ja) 2017-07-12

Similar Documents

Publication Publication Date Title
JP6162009B2 (ja) ユーザのデータ入力に応じて情報提供を行うためのサーバ装置、プログラム、システムおよび方法
JP6922057B2 (ja) 実行するタスクを表すタスク項目の生成及び処理
JP6974152B2 (ja) 情報処理装置及び情報処理方法
US9917904B1 (en) Identifying non-search actions based on a search-query
KR101758302B1 (ko) 컨텍스트에 기초한 음성 인식 문법 선택
US10446009B2 (en) Contextual notification engine
RU2637874C2 (ru) Генерирование диалоговых рекомендаций для чатовых информационных систем
CN103080927B (zh) 使用搜索结果的自动路由
JP2020025272A (ja) 音声コマンドによって開始される緊急電話のためのシステム及び方法
CN109324732B (zh) 可采取操作的提醒条目
KR20160137556A (ko) 유저의 명시적 선언에 기초한 개인맞춤된 추천 기법
KR20110081863A (ko) 개인 정보를 주소좌표로 변환
US20180032585A1 (en) Systems and methods for context-based contact suggestion
US20170004829A1 (en) Terminal apparatus, program, and server apparatus for providing information according to user data input
KR20160016526A (ko) 정보 제공하는 방법 및 이를 위한 전자기기
JP6110264B2 (ja) ユーザのデータ入力に応じて情報提供を行うためのサーバ装置、プログラム、システムおよび方法
KR102370373B1 (ko) 정보 제공하는 방법 및 이를 위한 전자기기
JP2018190468A (ja) 算出装置、算出方法及び算出プログラム
US20230153364A1 (en) Information processing apparatus and method
JP2012058987A (ja) ユーザにアプリケーションを推薦する配信サーバ及び配信方法
JP2015114527A (ja) ユーザのデータ入力に応じて情報提供を行うための端末装置、プログラム、記録媒体および方法
JP2018190302A (ja) 判定装置、判定方法及び判定プログラム
CN117099077A (zh) 具有用户视图上下文和多模态输入支持的支持语音助手的客户端应用

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170614

R150 Certificate of patent or registration of utility model

Ref document number: 6162009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250