JP2005011089A - 対話装置 - Google Patents

対話装置 Download PDF

Info

Publication number
JP2005011089A
JP2005011089A JP2003174997A JP2003174997A JP2005011089A JP 2005011089 A JP2005011089 A JP 2005011089A JP 2003174997 A JP2003174997 A JP 2003174997A JP 2003174997 A JP2003174997 A JP 2003174997A JP 2005011089 A JP2005011089 A JP 2005011089A
Authority
JP
Japan
Prior art keywords
task execution
user
execution information
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003174997A
Other languages
English (en)
Other versions
JP4144443B2 (ja
Inventor
Takahiro Kii
隆弘 紀伊
Takuo Ikeda
拓郎 池田
Tomonori Iketani
智則 池谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2003174997A priority Critical patent/JP4144443B2/ja
Publication of JP2005011089A publication Critical patent/JP2005011089A/ja
Application granted granted Critical
Publication of JP4144443B2 publication Critical patent/JP4144443B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】従来の対話装置では、対話装置の保持する対話シナリオに沿って対話装置と対話をする過程で所望する検索結果情報を得ていた。しかしながら、対話装置の対話シナリオに沿って固定化した対話をする事は、ユーザにとって、冗長であり、煩わしい作業であった。
【解決手段】本発明の対話装置は、ユーザから接続された際、ユーザ識別子を取得し、当該ユーザ識別子に対応するタスク及びスロットに対応するスロット値を含むタスク実行情報を予め登録しておく事により、固定化した対話を対話シナリオに沿ってする事無く当該タスク実行情報に基づく検索結果情報を自動的に取得して、ユーザに提供する事を可能にする。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、テキストデータや音声データ等のデータのやりとり、即ち対話をユーザと行う事で、ユーザの所望する情報をユーザに提供する対話装置に関する。例えば、音声を用いてユーザと対話する対話装置に関する。
【0002】
【従来の技術】
対話装置では、例えば、「天気予報」や「野球速報」等のタスク毎に対応するスロット及びスロットに対応するスロット値を規定している。対話装置は、タスク、スロット及びスロット値をユーザに提示する。ユーザは、対話装置が提供した情報に対して応答をする。この対話装置の情報提供及びユーザの応答から成り立つ対話を通して、対話装置は、タスクを実行する為に必要な属性情報であるスロットに対応したスロット値の取得を行う。スロットとは、例えば、「日時」や「地域」等の情報の事であり、スロット値は、スロットの具体的な値の事である。対話装置は、ユーザとの対話の過程で、ユーザの発話したタスク及びスロットに対応したスロット値の取得を行う。そして、タスク及びスロットに対応したスロット値を基にして、データベース等への問い合わせを行い、その結果をユーザに提供する。
【0003】
具体的な対話例を以下に示す。ここで示す例は、対話の手段として音声を用いたものである。
【0004】
システム発話:「お知りになりたい情報を指定してください。
【0005】
天気予報、 野球速報、・・・・・。」<タスクの提示>
ユーザ発話 :「天気予報」。 <タスクの確定>
システム発話:「地域を指定してくだい。
【0006】
神戸、大阪、・・・・・。」 <スロットの提示>
ユーザ発話 :「神戸」 <スロットに対応するスロット値の確定>
システム発話:「日にちを指定してください。
【0007】
今日、明日、・・・・・。」 <スロットの提示>
ユーザ発話 :「今日」 <スロットに対応するスロット値の確定>
システム発話:「神戸の今日の天気は、晴れのち曇り。降水確率は30%です。」
<タスク及びスロットに対応するスロット値に基づく情報の提示>
上記の様に、対話装置が、ユーザに質問を行い、ユーザがその質問に応答する事で、対話装置は、必要なタスク及びスロットに対応したスロット値を取得する。尚、上記に示した対話装置では、ユーザが選択出来るタスク及びスロットに対応したスロット値を列挙してユーザに提示している。タスク及びスロットに対応したスロット値を列挙せずに質問文のみユーザに提示する対話装置も存在するが、上記対話装置と同様の処理を行っている。
【0008】
上記のような対話装置を用いて、所望する情報を得るユーザによっては、例えば、「今日の神戸の天気予報」等、毎回利用するタスク及びスロットに対応したスロット値が固定化している場合がある。
【0009】
特許文献1記載の公報には、繰り返し対話装置を利用するユーザの入力効率を高くする為、ユーザの利用履歴を用いて、ユーザが利用する頻度の高い選択肢から順に音声対話装置に発話させる事が開示されている。
【0010】
【特許文献1】
特開2002−169589号公報
【0011】
【発明が解決しようとする課題】
しかしながら、ユーザの利用頻度に応じて選択肢を並び替えてユーザに提示したとしても、結局、対話装置の提示する一定のメニューの経路に従って、ユーザは、所望する情報を得る為に自らタスク及びスロットに対応したスロット値を発話する必要がある。それ故、対話過程におけるタスク及びスロットに対応したスロット値の選択は、毎回利用する情報が固定化してしまっているユーザにとって冗長な作業となる。
【0012】
一方、上記の対話例の後に、例えば、「明日の神戸の天気予報」を知りたい場合には、ユーザは、対話装置と最初から対話を行う事で、最初からタスク及びスロットに対応したスロット値を組み立て直す必要がある。このような対話装置との対話は、ユーザにとって煩わしい作業である。
【0013】
このように、従来の対話装置を用いてユーザが所望する情報を得る為には、対話装置の提示する一定の手順に従った対話の過程で、タスク及びスロットに対応するスロット値を確定する必要があった。
【0014】
本発明は、このような課題に鑑みなされたものであって、対話装置の提示する一定の手順に従った対話を行わずとも、ユーザが所望する情報を得る事の出来る対話装置を提供する事を目的とする。
【0015】
【課題を解決する為の手段】
上記の課題を解決する為に、本発明の対話システムは、ユーザから接続された際、ユーザ識別子を取得し、当該ユーザ識別子に対応するタスク及びスロットに対応するスロット値を含むタスク実行情報に基づく検索結果情報を取得し、ユーザに提供する。
【0016】
即ち、本発明の対話装置は、タスク及びスロットに対応したスロット値を含むタスク実行情報と検索結果情報とが対応付けられて格納されているタスク実行用データベースと、ユーザの入力する入力データを受信するデータ受信部と、タスク実行情報に基づき前記タスク実行用データベースから検索結果情報を取得するデータベース管理部と、出力データをユーザに送出するデータ送出部と、ユーザとの対話を制御し、前記データ受信部で受信した入力データに基づきタスク実行情報を組み立て、前記データベース管理部から当該タスク実行情報に対応した検索結果情報を取得し、当該検索結果情報に基づき出力データを組み立て、当該出力データを前記データ送出部に送出する対話制御部とを備えた対話装置において、ユーザ識別子とタスク実行情報とが対応付けられて格納されているタスク実行情報格納部と、ユーザから入力されたユーザ識別子を取得するユーザ識別子入力部と、前記ユーザ識別子入力部で取得したユーザ識別子に対応したタスク実行情報を前記タスク実行情報格納部から取得し、当該タスク実行情報を前記データベース管理部に渡すユーザ情報管理部とを備える事を特徴とする。
【0017】
本発明は、上記のような構成により、ユーザ識別子入力部において、ユーザ識別子の取得を行う事で、ユーザに予め登録されたタスク実行情報に基づき、検索結果情報の取得をデータベース管理部に依頼する為、ユーザは、対話装置に接続するだけで、所望する情報を取得する事が可能となる。
【0018】
更に、本発明の対話装置は、ユーザに提供した情報の基となるタスク実行情報を保持しており、ユーザに情報を提供後、スロット値を入力される事で、当該タスク実行情報のスロット値を変更したタスク実行情報に基づいた情報をユーザに提供する事が出来る。
【0019】
また、本発明の対話装置は、ユーザに提供した情報の基となるタスク実行情報の履歴を管理しており、当該タスク実行情報の実行回数が閾値を超えると、自動的にタスク実行情報格納部にタスク実行情報を格納する事が出来る。
【0020】
また、本発明の対話装置は、ユーザが予め定めたキーワードを入力する事で、キーワードに対応するタスク実行情報に基づいた情報をユーザに提供する事が出来る。
【0021】
上記の構成により、スロット値やキーワードをユーザが入力するだけで対話装置は、自動的にタスク実行情報を組み立てて、当該タスク実行情報に基づいた情報をユーザに提供する為、ユーザは、対話装置との固定化してしまう冗長なデータのやりとり、即ち対話を行う必要が無くなり、煩わしい手順を踏む事無く、所望する情報を取得する事が出来る。
【0022】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
(実施の形態1)
本発明の実施の形態に係る対話装置の処理態様を、図1乃至図6を用いて簡単に説明する。
【0023】
本実施の形態は、入力データとして音声データを用いた例である。入力データに音声データを用いた場合、対話装置の備えるデータ受信部及びデータ送出部は、夫々音声認識部及び音声出力部を備える。本実施の形態においては、データ受信部及びデータ送出部を夫々音声認識部及び音声出力部として説明をする。尚、入力データとしてテキストデータを用いる場合には、データ受信部及びデータ送出部は、夫々音声認識部及び音声出力部を備える必要は無い。更に、ユーザと対話装置との間で入出力データを送受信する場合、ユーザは、パーソナルコンピュータ等の一般的な情報処理端末を用いる事になる。この場合、対話装置へデータを送信する時には、ユーザは、情報処理端末の備えるキーボードやマウス等の入力装置を用いて、データの入力を行う。また、対話装置からデータを受信する時には、情報処理端末の備えるディスプレイやプリンタ等の出力装置に受信したデータの出力を行う事になる。
【0024】
図1は、本発明の実施の形態に係る対話装置の概要を示す全体構成図である。
【0025】
図1は、ネットワーク15に接続された電話機13又はパーソナルコンピュータ14をユーザが用いて、対話装置1と音声対話を行う例を示している。
【0026】
ネットワーク15は、電話回線、インターネット網、仮想閉域網(Virtual Private Network)、LAN(Local Area Network)、WAN(Wide Area Network)等、専用回線、公衆回線を問わず、通信が可能であれば、如何なる通信ネットワークでも構わない。また、電話機13は、電話回線に接続してユーザ同士で会話をする事の出来る一般的な電話機、携帯電話機、PHS(Personal Handyphone System)及びIP(Internet Protocol)ネットワーク網で用いるIP電話端末を用いても良い。更に、パーソナルコンピュータ14は、入出力デバイスを備えた一般的なパーソナルコンピュータであり、ユーザはスピーカ及びマイクを用いて対話装置1と対話を行う事が出来る。
【0027】
対話装置1は、入出力制御部2、音声認識部3、音声出力部4、ユーザ識別子入力部5、タスク実行情報登録部6、対話制御部7、ユーザ情報管理部8、データベース管理部9、タスク実行情報格納部10、タスク実行対話シナリオ格納部11及びタスク実行用データベース12で構成されている。
【0028】
タスク実行対話シナリオ格納部11は、入力データに基づき提供する出力データの内容を記述した、即ちユーザとの対話順を規定した対話シナリオを格納している。対話シナリオは、タスク毎に記述されており、対話装置1の管理者が処理単位毎に予め登録している。対話シナリオは、VoiceXML(Voice eXtensible Markup Language)等の音声対話用の記述言語を用いて記述されている。
【0029】
ここで、タスク、スロット及びスロット値について説明を行う。
【0030】
図2にタスク、スロット及びスロット値の関連について例示する。
【0031】
図2に示すように、タスクは、「天気予報」や「野球速報」等、処理単位毎に定められたものである。通常、スロットは、タスクに必要な属性情報であり、1つのタスクに少なくとも1つのスロットが対応付けられている。例えば図2では、タスクが「天気予報」であれば、「地域」及び「日時」がスロットとなる。更にスロット値は、スロットに対応した具体的な値が格納される。例えば図2では、タスクが「天気予報」であれば、そのスロットの「日時」に対応するスロット値は、「今日」、「明日」及び「あさって」等から1つ選択される事になる。また、スロットとスロット値は、1対1の対応関係となっている。これまで、タスクに対して必ずスロットが存在する事を説明してきたが、タスクに対応するスロットが無い場合も存在する。本実施の形態における対話装置1は、対応するスロットが無いタスクに関しても処理を行う事が出来るものである。
【0032】
このように、対話装置は、タスク及びスロットに対応するスロット値を出力データとしてユーザに音声データで提供して、ユーザの発話を入力データとして処理して、タスク及びスロットに対応するスロット値の決定を行う。対話装置は、ユーザと対話する過程で、タスク及びスロットに対応するスロット値を決定する事で、ユーザの所望する情報を得る事が出来る。
【0033】
本実施の形態では、タスクに対応するスロット、スロットに対応するスロット値の説明をした。しかしながら、スロット値に対して更にスロット値を対応付ける事も出来る。例えば、タスクが「天気予報」であり、スロット「地域」に対応するスロット値が「神戸」である場合、「神戸」にも詳細な地域があり、対応付けが必要であるとする。このような場合、スロット値「神戸」をスロットとして定義付けしておき、「神戸」というスロットのスロット値として、「三ノ宮」や「六甲」等を対応付ける事も可能である。即ち、タスク「天気予報」のスロット「地域」に対応するスロット値は、「神戸」であるが、スロット値である「神戸」を更にスロットとして定義し、スロット「神戸」のスロット値として「三ノ宮」や「六甲」等を対応付ける事が可能である。また、タスク「天気予報」のスロットとして、「市名」、「町名」を対応付けて、スロット「市名」のスロット値と「町名」のスロット値とを関連付ける事も可能である。例えば、スロット「市名」にスロット値「神戸」を選択すると、スロット「町名」のスロット値は、スロット「市名」及びスロット値「神戸」に対応付けられた「三ノ宮」、「六甲」等から選択されるようにする事も可能である。
【0034】
本発明に係る実施の形態では、タスクに対応付けられたスロット及びスロットに対応付けられたスロット値を纏めてタスク実行情報として説明を行う。
【0035】
タスク実行用データベース12は、一般的なデータベースであり、タスク、スロット及びスロット値に対応した多様な検索結果情報が登録されている。例えば、タスクが「天気予報」、スロットが「地域」、「日時」、スロットに対応するスロット値が夫々「神戸」、「今日」であるタスク実行情報に基づきタスク実行用データベース12の検索を行うと、「晴れ」という検索結果情報を返すものである。本実施の形態では、タスク実行用データベース12を対話装置1に設けた例で説明しているが、これに限定するものではなく、ネットワーク15に接続出来る装置上に構成する事で、ネットワーク15を介して後述するデータベース管理部9から検索出来るようにしても良い。また、本実施の形態では、タスク実行用データベース12を一つのデータベースとして説明しているが、タスク毎に異なるデータベースとして構成する事も可能であり、一つのデータベースで構成する事に限定するものではない。
【0036】
データベース管理部9は、タスク実行情報に対応する検索結果情報をタスク実行用データベース8に問い合わせるものである。
【0037】
入出力制御部2は、電話機13及びパーソナルコンピュータ14と対話装置1との間におけるデータの送受信を制御するものである。
【0038】
音声認識部3は、入出力制御部2で受信したユーザの発話した音声データをテキストデータに変換するものである。このテキストデータに変換する音声認識は、公知技術である為、説明を省略する。また、如何なる音声認識技術を用いても良い。
【0039】
音声出力部4は、後述する対話制御部7から受け取ったテキストデータを音声データに変換するものである。この変換方法に関しては、公知技術である為、説明を省略する。また、如何なる変換技術を用いても良い。
【0040】
対話制御部7は、音声認識部3、音声出力部4、データベース管理部9及びタスク実行対話シナリオ格納部11を制御するものである。タスク実行対話シナリオ格納部11に格納した対話シナリオに従い、音声認識部3及び音声出力部4とテキストデータのやりとりをする事でユーザとの対話の制御を行うものである。具体的には、音声認識部3から取得したテキストデータからタスク及びスロットに対応したスロット値の抽出を行う。抽出とは、例えば、ユーザがスロット値として「えー明日」と発話した際、「明日」という単語を文章中から切り出す事である。そして、タスク及びスロットに対応したスロット値を基にして、データベース管理部9に検索依頼を行う。更に、データベース管理部9から受け取った検索結果を文章として組み立てて、テキストデータとして音声出力部4に送出する。ここで、タスク及びスロットに対応したスロット値の抽出を音声認識部3で行い、抽出したタスク及びスロットに対応したスロット値をテキストデータとして受け取るように構成しても良い。
【0041】
タスク実行情報格納部10は、予めユーザが登録したタスク、スロット及びスロット値を含むタスク実行情報を格納するものである。
【0042】
タスク実行情報登録部6は、ユーザ識別子毎にタスク実行情報をタスク実行情報格納部10に格納するものである。
【0043】
ユーザ識別子入力部5は、ユーザが電話機13又はパーソナルコンピュータ14を用いて対話装置1に接続した際、ユーザ識別子の取得を行うものである。
【0044】
ユーザ情報管理部8は、ユーザ識別子入力部5で取得したユーザ識別子に対応するタスク実行情報がタスク実行情報格納部10に登録されているか否か判定を行い、登録がなされていれば、当該タスク実行情報を基にして、データベース管理部9に検索依頼を行うものである。
【0045】
次に、ユーザが電話機13を用いて対話装置1と対話を行い、ユーザが所望する情報を取得する際の手順について説明をする。
【0046】
図3及び図4は、ユーザが電話機13を用いて対話装置1と対話を行う際の処理をフローチャートに示したものである。図3は、ユーザが対話装置1に接続してから、予め登録されているタスク実行情報に対応した検索結果情報を取得してユーザに提供するまでの対話装置における処理を示している。また、図4は、対話シナリオに従い、ユーザと対話を行う事で、ユーザの所望する情報を取得してユーザに提供するまでの対話装置における処理を示している。
【0047】
ユーザは、電話機13を用いて電話装置1に電話をかける。ここで用いる電話機13は、上記のように、電話をかける事が出来、音声会話が可能なものであれば何でも構わない。また、本実施の形態では、電話装置1に電話を行う例で示しているが、ユーザが、スピーカ及びマイク等の入出力装置を備えたパーソナルコンピュータ14を用いて同様の手順を実施する事も可能である。更に、パーソナルコンピュータ14の備えたキーボート等入力デバイスを用いてキャラクタベースで対話を行う事も可能であるが、上記のように、この場合には、データ受信部及びデータ送出部に夫々音声認識部3及び音声出力部4を備える必要が無い。
【0048】
ユーザと電話装置1が何らかの回線で接続出来た状態が、図3に示したフローチャートの開始である。
【0049】
電話機13と対話装置1とが接続されると、ユーザ識別子入力部5においてユーザ識別子の取得が行われる(ステップ3−1)。ユーザ識別子取得処理は、電話機13が備えるプッシュダイアルへユーザが自らの識別番号を入力する操作、ユーザが自らの識別番号を発話する事、ユーザの使用する電話回線に割り当てられた電話番号を自動的に取得する事、ユーザの発話から識別子を取得する事等でユーザ識別子を取得する。ユーザがパーソナルコンピュータ14を用いて接続した場合には、パーソナルコンピュータ14が備えるキーボードへの入力でユーザ識別子取得処理を行う事も可能である。また、ユーザ識別子は、対話装置1に接続する為のログオンID等と同一のものとしても良いし、異なるものとしても良い。ユーザ識別子取得処理に関しては、公知技術を用いている為、ここでは詳細な説明は省略する。
【0050】
ユーザ識別子入力部5におけるユーザ識別子取得処理にユーザの認証を行う機能を設ける事も可能である。例えば、認証に失敗したユーザの接続を切断して、対話装置1との音声対話を許可しない等の処理を組み込む事が出来る。これは、対話装置1における情報提供をサービス化した場合に有効な手段であり、対話装置1における情報提供サービスの契約者のみサービスの利用が出来る事になる。本実施の形態では、認証をせずに、ユーザ識別子の取得に失敗した場合、図3における処理を終了させ、図4における処理へ遷移させる。
【0051】
ユーザ識別子入力部5におけるユーザ識別子取得処理に成功すると、ユーザ情報管理部8は、タスク実行情報格納部10を参照して、取得したユーザ識別子に対応するタスク実行情報が登録されているか否か判定する(ステップ3−2)。
【0052】
ここで、タスク実行情報格納部10の構成例を図5に示す。
【0053】
図5に例示したタスク実行情報格納部10は、ユーザ識別子フィールド、タスクフィールド、スロットフィールド及びスロット値フィールドから構成されている。
【0054】
尚、図5に示した構成例は、本発明を説明するのに必要最低限のフィールドについてのみ例示しており、この項目に限定するものではない。
【0055】
ユーザ識別子フィールドには、ユーザを一意に識別する識別子が登録される。
【0056】
タスクフィールドには、ユーザが予め定めたタスクが、ユーザ識別子フィールドに対応付けられて登録される。
【0057】
スロットフィールドには、タスク毎に定められたスロットが登録されており、このスロットに対応するスロット値がユーザによりスロット値フィールドに登録される。
【0058】
タスク実行情報格納部10に格納されたタスク実行情報は、ユーザによって予め登録されるものである。ここで、ユーザが、タスク実行情報格納部10にタスク実行情報を格納する方法について簡単に説明する。
【0059】
ユーザが電話機13を用いて対話装置1に接続した際、タスク実行情報登録部6を起動する事で、タスク実行情報格納部10にタスク実行情報を格納する事が出来る。例えば、ユーザ識別子入力部5でユーザ識別子の取得後、ユーザが「登録」等と発話する事でタスク実行情報登録部6が起動するようにしても良い。タスク実行情報登録部6が起動すると、ユーザは、対話装置1と対話する過程でタスク実行情報格納部10にタスク実行情報を格納する事が出来る。例えば、
システム発話 「タスク実行情報の登録を行います。登録したいタスクを選択してください。天気予報。競馬情報。野球速報・・・」
ユーザ発話 「天気予報」
システム発話 「地域を選択してください。神戸。大阪。奈良。京都・・・・」
ユーザ発話 「神戸」
システム発話 「日時を選択してください。今日。明日。あさって・・・・」
ユーザ発話 「今日」
システム発話 「タスク実行情報の登録を行いました。」
上記のように、ユーザは、対話装置1と対話を行う事でタスク実行情報格納部10にタスク実行情報を格納する事が出来る。
【0060】
また、ユーザは、パーソナルコンピュータ14を用いてタスク実行情報格納部10にタスク実行情報を格納する事も出来る。
【0061】
パーソナルコンピュータ14を用いて対話装置1に接続後、タスク実行情報登録処理を選択する事で、タスク実行情報登録部6は、パーソナルコンピュータ14の備える出力装置上に図6に例示するようなタスク実行情報登録画面を表示する。
【0062】
タスク実行情報登録画面は、タスク選択領域とスロット選択領域から構成されている。
【0063】
タスク選択領域は、選択可能なタスクを全て表示しており、ユーザが一つのタスクを選択する事で、そのタスクに対応したスロットがスロット選択領域に表示される。また、スロットに対応したスロット値がリストから選択出来るようになっている。ユーザは、このリストからスロット値を選択する事でタスク実行情報を登録する事が出来る。これらの選択は、パーソナルコンピュータ14に備えたマウス等のポインティングデバイスを用いて行う。
【0064】
図6に例示した表示例は本実施の形態における一例であって、これに限定するものではない。
【0065】
上記の電話機13及びパーソナルコンピュータ14を用いて、タスク実行情報格納部10にタスク実行情報を格納する例では、タスク「天気予報」、スロット「地域」及び「日時」、スロット値「神戸」及び「今日」がタスク実行情報としてタスク実行情報格納部10に格納される事になる。
【0066】
例えば、タスク実行情報登録処理を行ったユーザが「ユーザA」だとすると、図5に例示するように、ユーザ識別子が「ユーザA」のタスク実行情報がタスク実行情報格納部10に格納される事になる。
【0067】
ステップ3−2では、タスク実行情報格納部10を参照して、ユーザに対応したタスク実行情報が登録されているか否か判定を行っている。本実施の形態では、ユーザを「ユーザA」として説明を行う。
【0068】
タスク実行情報格納部10を参照すると、「ユーザA」のタスク実行情報が既に登録されている事が分かる。そこで、登録されている「ユーザA」のタスク実行情報をユーザ情報管理部8の処理で取得する(ステップ3−3)。
【0069】
次に、タスク実行情報を取得したユーザ情報管理部8は、タスク、スロット及びスロット値に対応する検索結果情報を得る為、データベース管理部9に検索依頼を行う。
【0070】
データベース管理部9は、タスク実行用データベース12をタスク実行情報に基づき検索して、取得した検索結果情報を対話制御部7に送出する。対話制御部7では、データベース管理部9から受け取った検索結果情報が例えば「晴れ」であったとすると、タスク及びスロット値を用いて文章を組み立てる(ステップ3−4)。例えば、本実施の形態においては、タスク「天気予報」、スロット値「神戸」及び「今日」である為、「今日の神戸の天気は晴れです。」という文章が組み立てられる事になる。そして、対話制御部7は、組み立てた文章をテキストデータとして音声出力部4に送出する。
【0071】
音声出力部4では、対話制御部7から受け取ったテキストデータを音声データに変換して、「今日の神戸の天気は晴れです。」という音声データをユーザに送出する事で情報を提供する(ステップ3−5)。
【0072】
ステップ3−2で、タスク実行情報格納部10にユーザに対応するタスク実行情報が存在しない場合には、図4の処理に遷移する事になる。
【0073】
次に、タスク実行情報格納部10にユーザが予め登録したタスク実行情報が他に存在するか否か判定する(ステップ3−6)。他にタスク実行情報が登録されている時は、ステップ3−3の処理の実行を更に行う。タスク実行情報が存在しない場合には、図4の処理に遷移する事になる。また、本実施の形態では、ステップ3−6をステップ3−5の後処理として説明しているが、ステップ3−6をステップ3−3の後処理とする事も可能である。この場合、タスク実行情報格納部10からユーザ識別子に対応するタスク実行情報を一括して全て取得する事になり、取得した全てのタスク実行情報をデータベース管理部9に送出する事になる。全てのタスク実行情報を受け取ったデータベース管理部9では、個々のタスク実行情報に対応した検索結果情報を対話制御部7に送出する事で、ステップ3−4の処理を行う事になる。
【0074】
ここで、上記のように、「今日の神戸の天気は晴れです。」という情報を対話装置1から提供されたユーザは、「明日」と対話装置1に発話する事が出来る。
【0075】
この時、ユーザに提供した「今日の神戸の天気は晴れです。」という情報の基となるタスク実行情報のスロット「日時」に対応するスロット値に変更がなされたと対話制御部7は検知する事が出来る。スロット値の変更を検知した際、対話制御部7は、基となるタスク実行情報の変更対象となるスロット値を変更して、タスク「天気予報」、スロット「場所」及び「日時」、スロット値「神戸」及び「明日」というタスク実行情報を新たに組み立てて、データベース管理部9に検索依頼を行う。例えば、この時の検索結果情報が「雨後曇」であれば、対話装置1は、「明日の神戸の天気は雨後曇です。」と新たな情報をユーザに提供する事になる。更に、ユーザは、「奈良」と発話する事も可能であり、この時、スロット「場所」に対応するスロット値を「奈良」に変更したタスク実行情報に基づき検索依頼をデータベース管理部9にする事になる。
【0076】
また、対話制御部7は、上記のように直前に実行したタスク実行情報だけでなく、複数の実行したタスク実行情報を保持する事が出来る。例えば、「今日の神戸の天気は晴れです。」、「今日のアカシーズは負けです。」という情報をユーザに提供したとする。この時、ユーザが「大阪」と発話したものとする。対話制御部7は、「大阪」というスロット値を持つスロットの特定を行い、このスロットを持つタスク実行情報の選択を行う。この場合、「大阪」というスロット値のスロットは、「地域」であり、スロット「地域」を持つタスク実行情報は、「今日の神戸の天気は晴れです。」の基となるタスク実行情報だけである。この為、このスロット「地域」のスロット値を「大阪」に変更して、タスク実行情報を新たに組み立てて、データベース管理部9に検索依頼を行う。更に、この場合、ユーザが「明日」と発話したものとする。上記に説明したスロットを特定する手順では、両者ともにスロット「日時」を持つ為、タスク実行情報の特定が出来ない。この場合は、スロットが特定された複数のタスク実行情報を新たに組み立てて、データベース管理部9に複数の検索依頼を行い、ユーザに対して複数の情報を提供するようにしても良い。また、ユーザにどのタスク実行情報を新たに組み立てるか提示し、ユーザに選択されたタスク実行情報を新たに組み立てて、データベース管理部9に検索依頼を行い、ユーザに対して情報の提供をするようにしても良い。
【0077】
このように、既にユーザに提供した情報の基となるタスク実行情報のスロット値をユーザが発話する事で、異なる情報をユーザは得る事が出来る。その為、ユーザは、対話装置1から情報を提供された後に、関連する情報を所望する際、始めからタスク実行情報を組み立てる必要が無い。
【0078】
図4は、対話装置1とユーザとが対話シナリオに従い、対話を行う際の処理の手順を示したものである。
【0079】
タスク実行情報格納部10にユーザが予めタスク実行情報を登録していない場合、又は、ユーザが予め登録したタスク実行情報に対応した検索結果情報を全てユーザに送出した場合、即ち図3における終了処理後にこの図4に示す処理が行われる。この図4に示す処理は、従来の対話装置における処理と同様のものである。
【0080】
処理が開始されると、対話制御部7は、タスク実行対話シナリオ格納部11に格納した対話シナリオに従いユーザに提供する文章を組み立て、音声出力部4に出力データを送出する。音声出力部4は、対話制御部7から受け取った出力データ、即ちテキストデータを音声データに変換して、入出力制御部2を介して音声データをユーザに提供する(ステップ4−1)。ステップ4−1でなされた対話装置1の発話に対してユーザは、発話して対話を行う(ステップ4−2)。
【0081】
ユーザの発話した音声データは、入出力制御部2を介して音声認識部3でテキストデータ、即ち入力データに変換され、対話制御部7に送出される。入力データを受け取った対話制御部7は、入力データを受け取る直前にユーザに提供した出力データに対応する入力情報が入力データ中に含まれているか否か判定して、入力データから抽出を行う。例えば、ユーザに提供した出力データが、「地域を指定してください。神戸、大阪、和歌山、・・・・」であり、ユーザからの入力データが「神戸です。」であった場合、対話制御部7は、入力データから「神戸」を抽出する。また、ユーザからの入力データが「野球速報」であった場合、ユーザに提供した出力データに対応する入力データでない為、もう一度ユーザに提供した出力データをユーザに提供する。即ち、タスク及びタスクに対応するスロットのスロット値を決定する旨をユーザに出力データとして提供し、ユーザからその具体的値を入力データとして受け取り、その入力データを基にして、タスク実行情報を組み立てるのである。
【0082】
このように、タスクに対応するスロットのスロット値が全て揃うまで対話シナリオに従い対話制御部7は、ステップ4−1乃至ステップ4−2を繰り返し行う(ステップ4−3)。
【0083】
ここで、タスクに必要なスロット値が全て揃った際、対話制御部7は、タスク実行情報に基づきデータベース管理部9に検索依頼を行い、データベース管理部9は、タスク実行用データベース12を検索して、取得した検索結果情報を対話制御部7に送出する(ステップ4−4)。
【0084】
検索結果情報を受け取った対話制御部7は、検索結果情報を基にユーザに送出する出力データを組み立て、音声出力部4に送出する。音声出力部4は、受け取った出力データ、即ちテキストデータを音声データに変換する。このようにして、対話装置1は、ユーザに情報を提供する事になる(ステップ4−5)。
【0085】
この時、上記のようにスロット値のみユーザが発話する事で、既に組み立てたタスク実行情報のスロットに対応するスロット値の変更を行う事も可能である。
【0086】
このように、ユーザは、予めタスク実行情報格納部9にタスク実行情報を格納しておく事で、対話装置1に接続すると自動的に所望する情報を取得する事が出来る。この為、ユーザは、冗長な手順を踏む事無く所望する情報を取得する事が出来る。
【0087】
また、対話装置1は、既にユーザに対して情報の提供が行われている場合、提供した情報の基となるタスク実行情報のスロットに対応するスロット値をユーザが発話する事で、スロット値のみ変更したタスク実行情報を組み立て、それに基づいた情報を提供する事が出来る。この為、既に提供された情報に関連する情報をユーザが所望した時に、最初からタスク実行情報を組み立てるというような煩わしい手順を行う事無く、所望する情報を取得する事が出来る。
(実施の形態2)
以下、対話装置の他の実施の形態について、図7乃至図9を用いて簡単に説明する。
【0088】
本発明に係る全体構成は、実施の形態1と同様である為、ここでは説明を省略する。
【0089】
実施の形態1における対話装置1は、予めユーザの定めたタスク実行情報をタスク実行情報格納部10に格納しておき、ユーザ識別子入力部5におけるユーザ識別子取得処理でユーザ識別子を取得すると、ユーザ識別子に対応するタスク実行情報に基づき自動的に検索結果情報の取得を行い、ユーザに検索結果情報の提供をするものであった。
【0090】
本実施の形態では、ユーザと対話装置1との対話の履歴を基にタスク実行情報をタスク実行情報格納部10に自動的に登録する処理に関して簡単に説明する。
【0091】
上記の処理を実現する為に、本実施の形態における対話装置1は図7に示す構成となる。
【0092】
対話装置1の全体構成は図1に示した構成と同様である為、図7では省略している。
【0093】
本実施の形態における対話装置1は、対話履歴制御部7−1及び対話履歴格納部7−2を備えた事が図1に示した対話装置1と異なっている。
【0094】
対話履歴格納部7−2は、ユーザ識別子、タスク実行情報、実行回数及び最終使用日を格納している。
【0095】
対話履歴制御部7−1は、対話制御部7がデータベース管理部9から検索結果情報を取得した際、ユーザ識別子と取得した検索結果情報の基となるタスク実行情報と実行回数と最終使用日とを夫々対応付けて対話履歴格納部7−2に格納するものである。更に、タスク実行情報に対応する実行回数及び最終使用日を参照して、タスク実行情報格納部10に格納されているタスク実行情報の登録及び削除を行うものである。
【0096】
次に、実施の形態1で示したように、ユーザが電話機13を用いて対話装置1と対話を行う事で所望する情報を得る際、ユーザと対話装置1との対話の過程で組み立てられたタスク実行情報の履歴管理処理の手順について簡単に説明する。
【0097】
ここでは、実施の形態1と同様に、「ユーザA」が電話機13を用いて対話装置1と対話を行い、タスク「天気予報」、スロット「地域」及び「日時」、スロット値「大阪」及び「明日」というタスク実行情報を組み立てたものとして説明を行う。
【0098】
図8は、本実施の形態におけるタスク実行情報の履歴管理処理をフローチャートで示したものである。
【0099】
図8における開始は、対話制御部7がデータベース管理部9から検索結果情報の取得をしたところである。この為、ユーザ識別子入力部5のユーザ識別子取得処理後に自動的に実行されるタスク実行情報や対話シナリオに従い組み立てられたタスク実行情報共に同一処理で履歴の管理を行う事が可能である。ここで、既にタスク実行情報格納部10に格納したタスク実行情報の履歴の管理を行うか否かはどちらでも良く、対話履歴制御部7−1に設定する事で管理を行うか否か制御する事が出来る。
【0100】
対話制御部7は、データベース管理部9から検索結果情報を取得すると、データベース管理部9に検索依頼をした基となるタスク実行情報と共に検索依頼があった旨を対話履歴制御部7−1に通知する。対話履歴制御部7−1は、取得したタスク実行情報が対話履歴格納部7−2に格納されているか否か判定する(ステップ8−1)。
【0101】
ここで、対話履歴格納部7−2の構成例を図9に示す。
【0102】
図9に例示した対話履歴格納部7−2は、ユーザ識別子フィールド、タスクフィールド、スロットフィールド、スロット値フィールド、実行回数フィールド及び最終使用日フィールドで構成されている。
【0103】
尚、図9に示した構成例は、本発明を説明するのに必要最低限のフィールドについてのみ例示しており、この項目に限定するものではない。
【0104】
ユーザ識別子フィールド、タスクフィールド、スロットフィールド及びスロット値フィールドに関しては、実施の形態1で示したタスク実行情報格納部10と同様のものである為、説明を省略する。
【0105】
実行回数フィールドは、ユーザ識別子に対応するタスク実行情報の使用回数を記録するフィールドである。
【0106】
最終使用日フィールドは、ユーザ識別子に対応するタスク実行情報の最後の使用日を記録するフィールドである。
【0107】
図9の例では、例えば、「ユーザB」は、タスク「野球速報」、スロット「チーム名」及び「日時」及び「情報」、スロット値「アカシーズ」及び「今日」及び「試合結果」の情報を対話装置1からこれまでに「5」回提供されており、「2003/5/4」に最後に情報の提供を受けた事になっている。
【0108】
本実施の形態では、「ユーザA」は、タスク「天気予報」、スロット「地域」及び「日時」、スロット値「大阪」及び「明日」というタスク実行情報を組み立てたものとして説明を行っている。図9の例では、このタスク実行情報の履歴が存在する事になる為、ステップ8−2に処理は遷移する。
【0109】
次に、対話履歴制御部7−1は、該当するレコードの実行回数及び最終使用日を変更する。本実施の形態では、「ユーザA」のタスク「天気予報」、スロット「地域」及び「日時」、スロット値「大阪」及び「明日」というタスク実行情報に対応する実行回数が「40」である為、1カウントして「41」に変更して、本日の日付を取得して最終使用日を変更する(ステップ8−2)。
【0110】
更に、実行回数を参照して、予め定められた登録実行回数と等しいか否か判定する(ステップ8−4)。
【0111】
ここで、予め定められた登録実行回数は、予め対話装置1の管理者が登録したものであり、本実施の形態では、「41」と登録されているものとして説明を行う。
【0112】
また、登録実行回数の登録は、対話装置1の管理者がパーソナルコンピュータ14で動作するWebブラウザ等を用いて登録する事が出来、基本的に対話シナリオの更新等を行う時に登録するものであるが、ここでは詳細な説明は省略する。
【0113】
「ユーザA」のタスク「天気予報」、スロット「地域」及び「日時」、スロット値「大阪」及び「明日」というタスク実行情報に対応する実行回数は、「41」となった為、登録実行回数と等しい事になる。そこで、対話履歴制御部7−1は、ユーザ識別子「ユーザA」と前記タスク実行情報を対応付けてタスク実行情報格納部10に格納する(ステップ8−5)。
【0114】
図5に示したタスク実行情報格納部10の構成例に、「ユーザA」のタスク「天気予報」、スロット「地域」及び「日時」、スロット値「大阪」及び「明日」というレコードが新規に追加される事になる。この時、タスク実行情報格納部10に新規にタスク実行情報を追加した際、対話履歴格納部7−2に格納してある基となるタスク実行情報の削除を行っても良いし、対応する実行回数を「0」にする等の処理を行っても良い。また、対話履歴格納部7−2にタスク実行情報格納部10に既に格納されているタスク実行情報の履歴を格納している場合には、登録実行回数と等しいか否かの判定後、タスク実行情報格納部10に対象となるタスク実行情報の存在有無を確認する処理を追加しても良い。
【0115】
また、ステップ8−1において、該当するタスク実行情報の履歴が対話履歴格納部7−2に格納されていない場合には、実行回数「1」及び最終使用日を本日の日付として新規にレコードを追加する事になる(ステップ8−3)。
【0116】
対話履歴制御部7−2は、更に、一定期間参照されていないタスク実行情報を対話履歴格納部7−2から割り出して、タスク実行情報格納部10に格納されている当該タスク実行情報の削除を行う事が出来る。この際、対話履歴制御部7−2は、削除基準となる削除対象期間を参照するが、この削除対象期間も登録実行回数と同様に予め対話装置1の管理者が登録するものである。
【0117】
例えば、削除対象期間を「1ヶ月」とし、上記例で示した「ユーザA」のタスク「天気予報」、スロット「地域」及び「日時」、スロット値「大阪」及び「明日」というタスク実行情報の最終使用日が「2003/5/15」であり、本日日付が「2003/7/15」であるとする。
【0118】
この時、対話履歴制御部7−1は、タスク実行情報格納部10から「ユーザA」のタスク「天気予報」、スロット「地域」及び「日時」、スロット値「大阪」及び「明日」というタスク実行情報を検索し、存在すればこのレコードを削除する。また、同時に対話履歴格納部7−2に登録したレコードを削除するようにしても良い。この削除処理は、タスク実行情報格納部10に格納したタスク実行情報の履歴を対話履歴格納部7−2において管理している時に有効である。
【0119】
タスク実行情報格納部10に格納したタスク実行情報の削除を行う処理は、月次、日次、年次で行っても構わず、これに限定するものではない。
【0120】
このように、本実施の形態では、ユーザが使用したタスク実行情報の履歴を管理して、ユーザの実行回数により、タスク実行情報をタスク実行情報格納部10に自動的に格納する事が出来る。この為、ユーザは、頻繁に用いるタスク実行情報の検索結果を、対話装置1に接続する事で自動的に得る事が出来る。
(実施の形態3)
以下、対話装置の他の実施の形態について、図10乃至図12を用いて簡単に説明する。
【0121】
本発明に係る全体構成は、実施の形態1と同様である為、ここでは説明を省略する。
【0122】
本実施の形態では、キーワードの入力がされた際、キーワードに対応付けられたタスク実行情報に基づいて取得した検索結果情報をユーザに提供する対話装置の処理に関して簡単に説明する。
【0123】
上記の処理を実現する為に、本実施の形態における対話装置1は図10に示す構成となる。
【0124】
対話装置1の全体構成は、図1に示した構成と同様である為、図10では省略している。
【0125】
本実施の形態における対話装置1は、キーワード制御部10−1及びキーワード格納部10−2を備えた事が図1に示した対話装置1と異なっている。
【0126】
キーワード格納部10−2は、ユーザ識別子とキーワードに対応付けられたタスク実行情報が登録されるものである。
【0127】
キーワード制御部10−1は、ユーザが用いる電話機13又はパーソナルコンピュータ14からキーワード登録依頼を受信した際、キーワード格納部10−2にユーザ識別子及びキーワードと共にタスク実行情報を登録するものである。また、対話制御部7から入力データを取得した際、キーワード格納部10−2からユーザ識別子及び入力データに対応するタスク実行情報を検索して対話制御部7に送出するものである。
【0128】
キーワードはユーザによって予め登録されるものである。ここで、キーワードの登録方法について簡単に説明する。
【0129】
ユーザが電話機13を用いて対話装置1に接続した際、キーワード制御部10−1を起動する事でキーワードを登録する事が出来る。例えば、ユーザ識別子入力部5でユーザ識別子を取得後、ユーザの「キーワード登録」等という発話を契機にキーワード制御部10−1を起動するようにしても良い。キーワード制御部10−1が起動されると、ユーザは、対話装置1と対話する過程でキーワードを登録する事が出来る。例えば、
システム発話 「キーワードの登録を行います。キーワードの名称を発話してください。」
ユーザ発話 「いつもの」
システム発話 「キーワードに対応させて、登録したいタスクを選択してください。天気予報。競馬情報。野球速報・・・」
ユーザ発話 「天気予報」
システム発話 「地域を選択してください。神戸。大阪。奈良。京都・・・」
ユーザ発話 「大阪」
システム発話 「日時を選択してください。今日。明日。あさって・・・・」
ユーザ発話 「明日」
システム発話 「キーワードの登録を行いました。」
上記のように、ユーザは、対話装置1と対話を行う事でキーワードの登録を行う事が出来る。
【0130】
また、ユーザは、パーソナルコンピュータ14を用いてキーワードの登録を行う事も出来る。
【0131】
パーソナルコンピュータ14を用いて対話装置1に接続後、キーワード登録処理を選択する事で、キーワード制御部10−1は、パーソナルコンピュータ14の備える出力装置上に図12に例示するようなキーワード登録画面を表示する。
【0132】
キーワード登録画面は、キーワード入力領域、タスク選択領域及びスロット選択領域から構成されている。
【0133】
キーワード入力領域は、ユーザがキーワードを入力するフィールドである。
【0134】
タスク選択領域は、選択可能なタスクを全て表示しており、ユーザが一つのタスクを選択する事で、そのタスクに対応したスロットが表示される。また、スロット選択領域では、スロットに対応したスロット値がリストから選択出来るようになっている。ユーザは、このリストからスロット値を選択する事でキーワードに対応したタスク実行情報の登録をする事が出来る。
【0135】
図12に例示した表示例は本実施の形態における一例であって、これに限定するものではない。
【0136】
ここで、キーワード入力領域は、パーソナルコンピュータ13に備えたキーボードを用いてユーザが入力する事も出来るが、パーソナルコンピュータ13に備えたマイクに発話する事で登録する事も可能である。
【0137】
上記の電話機13及びパーソナルコンピュータ14を用いてタスク実行情報を登録する例では、キーワード「いつもの」、タスク「天気予報」、スロット「地域」及び「日時」、スロット値「神戸」及び「今日」がキーワード情報としてキーワード格納部10−2に格納される。
【0138】
ここで、キーワード格納部10−2の構成例を図11に示す。
【0139】
図11に例示したキーワード格納部10−2は、ユーザ識別子フィールド、キーワードフィールド、タスクフィールド、スロットフィールド及びスロット値フィールドで構成されている。
【0140】
尚、図11に示した構成例は、本発明を説明するのに必要最低限のフィールドについてのみ例示しており、この項目に限定するものではない。
【0141】
ユーザ識別子フィールド、タスクフィールド、スロットフィールド及びスロット値フィールドに関しては、実施の形態1で示したタスク実行情報格納部10と同様である為、説明を省略する。
【0142】
キーワードフィールドは、ユーザが定めたキーワードがユーザ識別子に対応付けられて記録されるフィールドである。
【0143】
上記のキーワード登録処理例では、キーワード登録処理を行ったユーザを「ユーザA」だとすると、図11に例示するように、ユーザ識別子が「ユーザA」、キーワードが「いつもの」のタスク実行情報がキーワード格納部10−2に格納される事になる。
【0144】
また、図11に例示するユーザ識別子が「ユーザB」、キーワードが「いつもの」に対応するタスク実行情報は2つ登録されている。このように、1つのユーザ識別子及びキーワードに対応するタスク実行情報を複数登録する事も可能である。
【0145】
次に、「ユーザA」が対話装置1に接続後、キーワードを発話した際の処理について簡単に説明する。
【0146】
「ユーザA」と対話装置1とが接続され、ユーザ識別子取得処理でユーザ識別子を取得後、上記キーワード登録処理例で登録した「いつもの」というキーワードを「ユーザA」が発話したとする。
【0147】
「いつもの」という音声データは、音声認識部3でテキストデータに変換され、対話制御部7に送出される。対話制御部7は、受信したテキストデータをキーワード処理部10−1に送出する。
【0148】
キーワード制御部10−1は、テキストデータをキーワードとして処理を行い、キーワード格納部10−2を参照して、ユーザ識別子及びキーワードを検索条件として、該当するタスク実行情報を検索する。図11に例示したキーワード格納部10−2の内容で、ユーザ識別及びキーワードを夫々「ユーザA」及び「いつもの」として検索すると、タスク「天気予報」、スロット「地域」及び「日時」、スロット値「大阪」及び「明日」というタスク実行情報が検索される。キーワード制御部10−1は、該当するタスク実行情報を対話制御部7に送出する。タスク実行情報を取得した対話制御部7は、取得したタスク実行情報を基にデータベース管理部9に検索依頼を行い、検索結果情報を取得して、実施の形態1で説明したように「ユーザA」に情報を提供する。ここで、ユーザ識別子及びキーワードに対応するタスク実行情報がキーワード格納部10−2に存在しない場合は、対話制御部7における処理を行い、図4に示す通常の音声対話処理を行う事になる。
【0149】
更に、ユーザ識別子及びキーワードに対応するタスク実行情報がキーワード格納部10−2に複数存在する場合には、夫々のタスク実行情報に対応する検索結果情報の取得を行い、ユーザに夫々の情報を提供する事になる。
【0150】
上記のように、ユーザは、キーワードを発話するだけで、所望する情報を取得する事が出来る。
【0151】
更に、キーワードは、対話装置1を制御する処理に対しても設定する事が出来る。例えば、ユーザが「終了」や「切断」と発話すれば、対話装置1との接続を切断する等の設定をする事が出来、「キー登録」や「キーワード」と発話すれば、キーワード登録処理、「タスク登録」と発話すれば、タスク実行情報登録処理、「最初」と発話すれば、対話シナリオとの対話の最初の処理にジャンプする等、対話装置1を制御する処理の設定をする事が可能である。
【0152】
このように、ユーザは、タスク実行情報にキーワードを対応付けて登録する事が出来、ユーザがキーワードを発話する事で所望する情報を得る事が出来る。実施の形態1では、ユーザが対話装置1に接続した際、ユーザは、必ず予め登録したタスク実行情報に対応した情報を取得する事が出来たが、本実施の形態では、ユーザがキーワードを発話しない限りは情報を取得する事が出来ない。この為、必ず利用する情報、必ずとは限らないがよく利用する情報を取得する時に使い分けて登録する事が可能となる。
(実施の形態4)
以下、対話装置の他の実施の形態について簡単に説明する。
【0153】
本実施の形態に係る対話装置1は、実施の形態1における対話装置1と同様であるが、ユーザ識別子入力部5、タスク実行情報登録部6、ユーザ情報管理部8及びタスク実行情報格納部10を備えていない。即ち、本実施の形態に係る対話装置1は、入出力制御部2、データ受信部3、データ送出部4、対話制御部7、データベース管理部9、タスク実行対話シナリオ11及びタスク実行用データベース12で構成される。
【0154】
上記のように構成される対話装置1は、実施の形態1で説明したように、タスク実行対話シナリオ11に格納した対話シナリオに従い、ユーザと対話を行う過程で、タスク実行情報を取得し、タスク実行情報に対応した検索結果情報をタスク実行用データベース12から取得し、対話制御部7で検索結果情報を組み立て、ユーザに情報を提供するものである。そして、実施の形態1と同様に、ユーザに検索結果情報を提供した後、ユーザによりスロット値の発話がなされた場合、対話制御部7においてタスク実行情報を組み立て、タスク実行情報に対応した検索結果情報を取得し、ユーザに提供する。
【0155】
本実施の形態は、ユーザ毎に予め定めたタスク実行情報に対応した検索結果情報をユーザに提示するのでなく、スロット値のみ変更する事の出来る構成を示したものである。
【0156】
その為、ユーザは、対話装置1に接続後、対話シナリオに従い対話装置1と対話を行い、対話装置1から検索結果情報を提供された後、スロット値のみ発話する事で、所望する情報を得る事が出来る。
【0157】
(付記1) タスク及びスロットに対応したスロット値を含むタスク実行情報と検索結果情報とが対応付けられて格納されているタスク実行用データベースと、ユーザの入力する入力データを受信するデータ受信部と、タスク実行情報に基づき前記タスク実行用データベースから検索結果情報を取得するデータベース管理部と、出力データをユーザに送出するデータ送出部と、ユーザとの対話を制御し、前記データ受信部で受信した入力データに基づきタスク実行情報を組み立て、前記データベース管理部から当該タスク実行情報に対応した検索結果情報を取得し、当該検索結果情報に基づき出力データを組み立て、当該出力データを前記データ送出部に送出する対話制御部とを備えた対話装置において、
ユーザ識別子とタスク実行情報とが対応付けられて格納されているタスク実行情報格納部と、
ユーザから入力されたユーザ識別子を取得するユーザ識別子入力部と、
前記ユーザ識別子入力部で取得したユーザ識別子に対応したタスク実行情報を前記タスク実行情報格納部から取得し、当該タスク実行情報を前記データベース管理部に渡すユーザ情報管理部とを備える事を特徴とする対話装置。
(付記2) 前記データ受信部は、更に、
前記入力データとして音声データを受信して、当該音声データを音声認識し、テキストデータに変換する音声認識部を備え、
前記データ送出部は、更に、
前記対話制御部から受け取った出力データを音声データに変換する音声出力部を備える事を特徴とする付記1記載の対話装置。
【0158】
(付記3) 前記タスク実行情報は更に、タスクに対応したスロットを含み、前記対話制御部は、ユーザに前記検索結果情報の提供後も前記検索結果情報に対応するタスク実行情報を1又は複数保持しており、ユーザからスロット値を受信した際、当該スロット値に対応するスロットを含むタスク実行情報を特定し、当該タスク実行情報に含まれる当該スロットに対応するスロット値を入力されたスロット値に変更して組み立てたタスク実行情報に対応した検索結果情報をデータベース管理部に取得させる事を特徴とする付記1又は付記2記載の対話装置。
【0159】
(付記4) 前記対話装置は、更に、
ユーザ識別子及びタスク実行情報毎に実行回数を対話履歴として格納する対話履歴格納部と、
前記対話制御部がタスク実行情報を取得して組み立てた後、当該検索結果情報に対応するタスク実行情報がユーザ識別子に対応付けられて前記対話履歴格納部に格納されているか検索し、格納されていれば、実行回数を計数して更新し、当該実行回数が予め定められた条件を満たせば、ユーザ識別子と当該タスク実行情報とを対応付けて前記タスク実行情報格納部に格納し、格納されていなければ、ユーザ識別子、当該タスク実行情報及び実行回数を夫々対応付けて対話履歴格納部に格納する対話履歴制御部とを備える事を特徴とする付記1乃至付記2記載の対話装置。
【0160】
(付記5) 前記対話装置は、更に、
ユーザ識別子及び予めユーザに定められたキーワード毎にタスク実行情報を格納するキーワード格納部と、
ユーザ識別子とキーワードとタスク実行情報とを夫々対応付けて前記キーワード格納部に格納し、ユーザから入力された入力データを前記対話制御部が前記データ受信部から受け取った際、当該入力データが当該ユーザのユーザ識別子に対応するキーワードとして前記キーワード格納部に格納されているか否か検索し、格納されていれば、当該ユーザ識別子及び当該キーワードに対応付けられたタスク実行情報を取得して、前記対話制御部に送出するキーワード制御部とを備える事を特徴とする付記1乃至付記4記載の対話装置。
【0161】
(付記6)前記対話装置は、更に、
ユーザからタスク実行情報を新たに登録する要求を受信した事を契機として、タスク実行情報を新たに登録するタスク実行情報入力手段をユーザに提供し、ユーザから入力されたタスク実行情報を前記タスク実行情報格納部に格納するタスク実行情報登録部を備える事を特徴とする付記1乃至付記5記載の対話装置。
【0162】
(付記7) タスク及びスロットに対応したスロット値を含むタスク実行情報と検索結果情報とが対応付けられて格納されているタスク実行用データベースからタスク実行情報に基づき検索結果情報を取得するデータベース管理ステップと、ユーザの入力する入力データを受信するデータ受信ステップと、出力データをユーザに送出するデータ送出ステップと、ユーザとの対話を制御し、前記データ受信ステップで受信した入力データに基づきタスク実行情報を組み立て、前記データベース管理ステップから当該タスク実行情報に対応した検索結果情報を取得し、当該検索結果情報に基づき出力データを組み立て、当該出力データを前記データ送出ステップに送出する対話制御ステップとをコンピュータに読み込ませて実行する対話プログラムにおいて、
ユーザから入力されたユーザ識別子を取得するユーザ識別子入力ステップと、前記ユーザ識別子入力ステップで取得したユーザ識別子に基づき、ユーザ識別子とタスク実行情報とが対応付けられて予め格納されているタスク実行情報格納部を検索し、当該ユーザ識別子に対応したタスク実行情報が存在するか否か判定し、存在すると判定した場合、対応する全てのタスク実行情報に基づいた検索結果情報の取得を前記データベース管理ステップに依頼するユーザ情報管理ステップとを含み、コンピュータに読み出させて実行する為の対話プログラム。
【0163】
(付記8) タスク、タスクに対応したスロット及びスロットに対応したスロット値を含むタスク実行情報と検索結果情報とが対応付けられて格納されているタスク実行用データベースと、ユーザの入力する入力データを受信するデータ受信部と、タスク実行情報に基づき前記タスク実行用データベースから検索結果情報を取得するデータベース管理部と、出力データをユーザに送出するデータ送出部と、ユーザとの対話を制御し、前記データ受信部で受信した入力データに基づきタスク実行情報を組み立て、前記データベース管理部から当該タスク実行情報に対応した検索結果情報を取得し、当該検索結果情報に基づき出力データを組み立て、当該出力データを前記データ送出部に送出する対話制御部とを備えた対話装置において、
前記対話制御部は、ユーザに前記検索結果情報の提供後も前記検索結果情報に対応するタスク実行情報を1又は複数保持しており、ユーザからスロット値を受信した際、当該スロット値に対応するスロットを含むタスク実行情報を特定し、当該タスク実行情報に含まれる当該スロットに対応するスロット値を入力されたスロット値に変更して組み立てたタスク実行情報に対応した検索結果情報をデータベース管理部に取得させる事を特徴とする対話装置。
【0164】
【発明の効果】
以上に説明したように、本発明の対話装置によれば、ユーザが対話装置に接続した際、ユーザにより予め登録されたタスク実行情報に基づき検索結果情報の取得を行い、ユーザに検索結果情報を自動的に提供する事を可能とする。また、ユーザに検索結果情報を提供後、スロット値をユーザが発話するだけで対話装置は、自動的にタスク実行情報を組み立てて、検索結果情報の取得を行い、ユーザに検索結果情報を提供する事を可能とする。その為、ユーザは、対話装置の提示する一定の手順に従った対話を行わずとも所望する検索結果情報を取得する事が出来る。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る対話装置の概要を示す全体構成図である。
【図2】タスク、スロット及びスロット値の関連を示す図である。
【図3】ユーザが対話装置1に接続してから、予め登録されているタスク実行情報に対応した検索結果情報を取得してユーザに提供するまでの対話装置における処理のフローチャートである。
【図4】対話シナリオに従い、ユーザと対話を行う事で、ユーザの所望する情報を取得してユーザに提供するまでの対話装置における処理のフローチャートである。
【図5】タスク実行情報格納部のレコード構成例を示す図である。
【図6】タスク実行情報登録画面の表示例を示す図である。
【図7】実施の形態2に係る対話装置の概要を示す構成図である。
【図8】対話履歴格納部の情報を基にタスク実行情報格納部にタスク実行情報を格納する処理のフローチャートである。
【図9】実施の形態2に係る対話履歴格納部のレコード構成例を示す図である。
【図10】実施の形態3に係る対話装置の概要を示す構成図である。
【図11】実施の形態3に係るキーワード格納部のレコード構成例を示す図である。
【図12】実施の形態3に係るキーワード登録画面の表示例を示す図である。

Claims (4)

  1. タスク及びスロットに対応したスロット値を含むタスク実行情報と検索結果情報とが対応付けられて格納されているタスク実行用データベースと、ユーザの入力する入力データを受信するデータ受信部と、タスク実行情報に基づき前記タスク実行用データベースから検索結果情報を取得するデータベース管理部と、出力データをユーザに送出するデータ送出部と、ユーザとの対話を制御し、前記データ受信部で受信した入力データに基づきタスク実行情報を組み立て、前記データベース管理部から当該タスク実行情報に対応した検索結果情報を取得し、当該検索結果情報に基づき出力データを組み立て、当該出力データを前記データ送出部に送出する対話制御部とを備えた対話装置において、
    ユーザ識別子とタスク実行情報とが対応付けられて格納されているタスク実行情報格納部と、
    ユーザから入力されたユーザ識別子を取得するユーザ識別子入力部と、
    前記ユーザ識別子入力部で取得したユーザ識別子に対応したタスク実行情報を前記タスク実行情報格納部から取得し、当該タスク実行情報を前記データベース管理部に渡すユーザ情報管理部とを備える事を特徴とする対話装置。
  2. 前記対話装置は、更に、
    ユーザ識別子及びタスク実行情報毎に実行回数を対話履歴として格納する対話履歴格納部と、
    前記対話制御部がタスク実行情報を取得して組み立てた後、当該検索結果情報に対応するタスク実行情報がユーザ識別子に対応付けられて前記対話履歴格納部に格納されているか検索し、格納されていれば、実行回数を計数して更新し、当該実行回数が予め定められた条件を満たせば、ユーザ識別子と当該タスク実行情報とを対応付けて前記タスク実行情報格納部に格納し、格納されていなければ、ユーザ識別子、当該タスク実行情報及び実行回数を夫々対応付けて対話履歴格納部に格納する対話履歴制御部とを備える事を特徴とする請求項1乃至請求項2記載の対話装置。
  3. 前記対話装置は、更に、
    ユーザ識別子及び予めユーザに定められたキーワード毎にタスク実行情報を格納するキーワード格納部と、
    ユーザ識別子とキーワードとタスク実行情報とを夫々対応付けて前記キーワード格納部に格納し、ユーザから入力された入力データを前記対話制御部が前記データ受信部から受け取った際、当該入力データが当該ユーザのユーザ識別子に対応するキーワードとして前記キーワード格納部に格納されているか否か検索し、格納されていれば、当該ユーザ識別子及び当該キーワードに対応付けられたタスク実行情報を取得して、前記対話制御部に送出するキーワード制御部とを備える事を特徴とする請求項1乃至請求項3記載の対話装置。
  4. タスク、タスクに対応したスロット及びスロットに対応したスロット値を含むタスク実行情報と検索結果情報とが対応付けられて格納されているタスク実行用データベースと、ユーザの入力する入力データを受信するデータ受信部と、タスク実行情報に基づき前記タスク実行用データベースから検索結果情報を取得するデータベース管理部と、出力データをユーザに送出するデータ送出部と、ユーザとの対話を制御し、前記データ受信部で受信した入力データに基づきタスク実行情報を組み立て、前記データベース管理部から当該タスク実行情報に対応した検索結果情報を取得し、当該検索結果情報に基づき出力データを組み立て、当該出力データを前記データ送出部に送出する対話制御部とを備えた対話装置において、
    前記対話制御部は、ユーザに前記検索結果情報の提供後も前記検索結果情報に対応するタスク実行情報を1又は複数保持しており、ユーザからスロット値を受信した際、当該スロット値に対応するスロットを含むタスク実行情報を特定し、当該タスク実行情報に含まれる当該スロットに対応するスロット値を入力されたスロット値に変更して組み立てたタスク実行情報に対応した検索結果情報をデータベース管理部に取得させる事を特徴とする対話装置。
JP2003174997A 2003-06-19 2003-06-19 対話装置 Expired - Fee Related JP4144443B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003174997A JP4144443B2 (ja) 2003-06-19 2003-06-19 対話装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003174997A JP4144443B2 (ja) 2003-06-19 2003-06-19 対話装置

Publications (2)

Publication Number Publication Date
JP2005011089A true JP2005011089A (ja) 2005-01-13
JP4144443B2 JP4144443B2 (ja) 2008-09-03

Family

ID=34098326

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003174997A Expired - Fee Related JP4144443B2 (ja) 2003-06-19 2003-06-19 対話装置

Country Status (1)

Country Link
JP (1) JP4144443B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052043A (ja) * 2005-08-15 2007-03-01 Nippon Telegr & Teleph Corp <Ntt> 音声対話シナリオ作成方法、装置、音声対話シナリオ作成プログラム、記録媒体
JPWO2013190956A1 (ja) * 2012-06-19 2016-05-26 株式会社Nttドコモ 機能実行指示システム、機能実行指示方法及び機能実行指示プログラム
JP2017083997A (ja) * 2015-10-26 2017-05-18 シャープ株式会社 ネットワークシステム、サーバ、プログラム、および端末
WO2017141502A1 (ja) * 2016-02-18 2017-08-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2018524676A (ja) * 2015-06-01 2018-08-30 Line株式会社 メッセンジャー基盤サービス提供装置、及びそれを利用した方法
JP2019046459A (ja) * 2017-09-05 2019-03-22 サウンドハウンド,インコーポレイテッド ドメイン間の文法スロットによる分類
JP2019105685A (ja) * 2017-12-11 2019-06-27 トヨタ自動車株式会社 対話管理装置及びプログラム
JP2020173818A (ja) * 2015-10-26 2020-10-22 シャープ株式会社 ネットワークシステム、サーバ、プログラム、および端末
JP2020204930A (ja) * 2019-06-18 2020-12-24 セイコーエプソン株式会社 印刷システム、印刷方法、情報処理装置、及び、情報処理プログラム
JP2021105636A (ja) * 2019-12-26 2021-07-26 本田技研工業株式会社 エージェントシステム、エージェント方法、及びプログラム
JP2022539675A (ja) * 2019-10-15 2022-09-13 グーグル エルエルシー 自動アシスタントによって応答アクションをトリガするためのホットコマンドの検出および/または登録
JP7409147B2 (ja) 2020-02-21 2024-01-09 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052043A (ja) * 2005-08-15 2007-03-01 Nippon Telegr & Teleph Corp <Ntt> 音声対話シナリオ作成方法、装置、音声対話シナリオ作成プログラム、記録媒体
JP4634889B2 (ja) * 2005-08-15 2011-02-16 日本電信電話株式会社 音声対話シナリオ作成方法、装置、音声対話シナリオ作成プログラム、記録媒体
JPWO2013190956A1 (ja) * 2012-06-19 2016-05-26 株式会社Nttドコモ 機能実行指示システム、機能実行指示方法及び機能実行指示プログラム
US10984187B2 (en) 2015-06-01 2021-04-20 Line Corporation Device for providing messenger-based service and method using same
JP2018524676A (ja) * 2015-06-01 2018-08-30 Line株式会社 メッセンジャー基盤サービス提供装置、及びそれを利用した方法
JP2017083997A (ja) * 2015-10-26 2017-05-18 シャープ株式会社 ネットワークシステム、サーバ、プログラム、および端末
JP2020173818A (ja) * 2015-10-26 2020-10-22 シャープ株式会社 ネットワークシステム、サーバ、プログラム、および端末
KR102041063B1 (ko) 2016-02-18 2019-11-05 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2017141502A1 (ja) * 2016-02-18 2017-08-24 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JPWO2017141502A1 (ja) * 2016-02-18 2018-11-08 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2019057297A (ja) * 2016-02-18 2019-04-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20180100131A (ko) * 2016-02-18 2018-09-07 소니 주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
CN108604176A (zh) * 2016-02-18 2018-09-28 索尼公司 信息处理装置、信息处理方法及程序
US10514881B2 (en) 2016-02-18 2019-12-24 Sony Corporation Information processing device, information processing method, and program
JP2019046459A (ja) * 2017-09-05 2019-03-22 サウンドハウンド,インコーポレイテッド ドメイン間の文法スロットによる分類
US11935029B2 (en) 2017-09-05 2024-03-19 Soundhound, Inc. Classification by natural language grammar slots across domains
JP2019105685A (ja) * 2017-12-11 2019-06-27 トヨタ自動車株式会社 対話管理装置及びプログラム
JP2020204930A (ja) * 2019-06-18 2020-12-24 セイコーエプソン株式会社 印刷システム、印刷方法、情報処理装置、及び、情報処理プログラム
JP7310346B2 (ja) 2019-06-18 2023-07-19 セイコーエプソン株式会社 印刷システム、印刷方法、情報処理装置、及び、情報処理プログラム
JP2022539675A (ja) * 2019-10-15 2022-09-13 グーグル エルエルシー 自動アシスタントによって応答アクションをトリガするためのホットコマンドの検出および/または登録
JP7354301B2 (ja) 2019-10-15 2023-10-02 グーグル エルエルシー 自動アシスタントによって応答アクションをトリガするためのホットコマンドの検出および/または登録
US11948556B2 (en) 2019-10-15 2024-04-02 Google Llc Detection and/or enrollment of hot commands to trigger responsive action by automated assistant
JP2021105636A (ja) * 2019-12-26 2021-07-26 本田技研工業株式会社 エージェントシステム、エージェント方法、及びプログラム
JP7254689B2 (ja) 2019-12-26 2023-04-10 本田技研工業株式会社 エージェントシステム、エージェント方法、及びプログラム
JP7409147B2 (ja) 2020-02-21 2024-01-09 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
JP4144443B2 (ja) 2008-09-03

Similar Documents

Publication Publication Date Title
US8537980B2 (en) Conversation support
US8328089B2 (en) Hands free contact database information entry at a communication device
US8223932B2 (en) Appending content to a telephone communication
KR101980173B1 (ko) 서드 파티 테스크 공급자들의 서비스 제공을 대행하는 협력적 퍼스널 어시스턴트 시스템 및 그에 따른 방법
US8239198B2 (en) Method and system for creation of voice training profiles with multiple methods with uniform server mechanism using heterogeneous devices
US8000452B2 (en) Method and system for predictive interactive voice recognition
JP4155854B2 (ja) 対話制御システム及び方法
US20100106500A1 (en) Method and system for enhancing verbal communication sessions
JP4144443B2 (ja) 対話装置
JP2008504607A (ja) 拡張可能な音声コマンド
US7555533B2 (en) System for communicating information from a server via a mobile communication device
US20090228280A1 (en) Text-based search query facilitated speech recognition
JP3141833B2 (ja) ネットワークアクセスシステム
JP2015115844A (ja) 取次支援システム、取次支援方法、およびプログラム
US20060182242A1 (en) Method and device for obtaining data related to the presence and/or availability of a user
US20170270103A1 (en) Systems and methods for establishing a language translation setting for a telephony communication
KR100803900B1 (ko) 음성 인식 ars 서비스 방법 및 시스템
JP4809010B2 (ja) 情報検索システム
JP2006279156A (ja) 電話帳検索システムと方法、制御システム、携帯電話機、及びプログラム
JP2010182191A (ja) 帳票入力装置、帳票入力システム、帳票入力方法、及びプログラム
JP4015513B2 (ja) 案内仲介装置及び案内仲介方法
JP2003202890A (ja) 音声認識装置及びその方法、プログラム
KR20190033750A (ko) 컨퍼런스 시스템 및 상기 시스템에서의 이종 컨퍼런스간 참석자 정보 연계 장치 및 방법
KR102050377B1 (ko) 서드 파티 테스크 공급자들의 서비스 제공을 대행하는 협력적 퍼스널 어시스턴트 시스템 및 그에 따른 방법
KR100844494B1 (ko) 이동통신 단말기의 특정인별 데이터 관리 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050802

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070531

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080609

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees