JP2004178087A - 対話システムに用いられる対話事例データ収集方法 - Google Patents
対話システムに用いられる対話事例データ収集方法 Download PDFInfo
- Publication number
- JP2004178087A JP2004178087A JP2002341297A JP2002341297A JP2004178087A JP 2004178087 A JP2004178087 A JP 2004178087A JP 2002341297 A JP2002341297 A JP 2002341297A JP 2002341297 A JP2002341297 A JP 2002341297A JP 2004178087 A JP2004178087 A JP 2004178087A
- Authority
- JP
- Japan
- Prior art keywords
- search
- pseudo
- dialogue
- user
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】この発明は、対話事例データベースとして用いられる対話事例データの収集が容易となるとともに、実際の対話システムに適応した対話事例データが収集しやすくなる、対話システムに用いられる対話事例データ収集方法を提供することを目的とする。
【解決手段】ユーザからの検索の要求を伴う発話に対して、オペーレータが疑似対話装置を操作することによって、ユーザの発話に対応した検索式を疑似対話装置に生成させるとともに疑似対話装置に検索を実行させ、疑似対話装置によって得られた検索結果を参照して、オペーレータが疑似対話装置を操作することによって、ユーザに対する応答発話テキストを疑似対話装置に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにした。
【選択図】 図３
【解決手段】ユーザからの検索の要求を伴う発話に対して、オペーレータが疑似対話装置を操作することによって、ユーザの発話に対応した検索式を疑似対話装置に生成させるとともに疑似対話装置に検索を実行させ、疑似対話装置によって得られた検索結果を参照して、オペーレータが疑似対話装置を操作することによって、ユーザに対する応答発話テキストを疑似対話装置に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにした。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
この発明は、対話システムに用いられる対話事例データ収集方法に関する。
【０００２】
【従来の技術】
人間のオペレータが情報データベースを検索し、ユーザに対して情報を提供する状況での、オペレータとユーザ間の対話は、図１に示すようにモデル化することができる。
【０００３】
以下、図１を参照して、オペレータとユーザ間の対話について説明する。
【０００４】
〔１〕要求
ユーザの要求発話を受けたオペレータは、現在の対話コンテキストを参照しながら、検索式を生成する。検索式の生成は、一般にはコンピュータなどの検索用ツールを操作することによって行われる。
【０００５】
〔２〕補足情報要求
検索式生成に必要な情報が不足している場合には、オペレータは補足情報をユーザに対して要求する。
【０００６】
〔３〕補足情報回答
ユーザは、補足情報要求への回答を行う。
【０００７】
〔４〕検索
生成された検索式により、検索が実行される。
【０００８】
〔５〕検索結果
検索結果が生成される。
【０００９】
〔６〕応答
オペレータは、検索結果と対話コンテキストに基づいて応答を行う。
【００１０】
〔７〕追加要求
応答を受けたユーザは、追加質問を行ったり、別の要求を発したりする。
【００１１】
以上のような対話において、オペレータは対話進行のために、次の２つの判断を行っている。
判断１： ユーザの発話を受け検索式を生成する。
判断２： 検索結果を受け、応答を生成する。
【００１２】
熟練したオペレータは、過去の経験や知識などを利用し、発話に現れる表層的な情報以外の種々の情報を援用した「判断」を行い、ユーザの目的に合った検索を行っていると考えられる。
【００１３】
本発明者らは、このような対話を進行するための「判断」を、熟練した人間のオペレータが行った行動事例を参照して行うことが有効と考えている。そして、本発明者らは、情報検索システムを利用した人間どうしの対話と、その際に行われた検索操作を蓄積し、それを利用して入力発話に対する検索操作を決定するような音声対話システムを開発した。
【００１４】
図２は、本発明者らが開発した音声対話システムの構成を示している。
【００１５】
音声認識部１は、入力発話を認識してテキストに変換する。音声認識部１によって得られたテキストは、類似事例抽出部２に送られる。類似事例抽出部２は、対話事例データベース３を備えている。対話事例データベース３には、ユーザとオペレータとの実際の対話に基づいて作成されている。具体的には、ユーザの発話テキスト、検索式、検索結果およびオペレータの発話テキストのセットからなる。
【００１６】
類似事例抽出部２は、入力テキストに基づいて検索式生成のための類似事例を対話事例データベース３から抽出して、検索式修正部４に与える。検索式修正部４は、類似事例中の検索式を、入力テキストに応じて修正した後、情報検索部５に与える。情報検索部５は検索式に基づいて、検索を実行する。なお、情報検索部５は、図示しない情報データベースを備えている。
【００１７】
情報検索部５によって得られた検索結果は、類似事例抽出部２に与えられる。類似事例抽出部２は、与えられた検索結果の内容および件数ならびに入力テキストに基づいて、応答発話テキストを生成するための類似事例を対話事例データベース３から抽出して、応答発話修正部６に与える。応答発話修正部６は、入力テキストに応じて、応答発話テキストを修正した後、音声合成部７に与える。音声合成部７は応答発話テキストから合成音声を生成する。生成された合成音声はスピーカ８から出力される。
【００１８】
【非特許文献１】「対話事例を利用した音声対話システムの提案」 日本音響学会講演論文集 Ｐ４７〜Ｐ４８ ２０００年９月
【非特許文献２】「対話事例を利用した音声対話システム」 信学技法
社団法人 電子情報通信学会 ＳＰ２０００−１０８（２０００−１２）
【００１９】
【発明が解決しようとする課題】
【００２０】
対話事例データベース３として用いられる対話事例データは、従来は、ユーザとオペレータとの実際の対話に基づいて、次のようにして収集されている。ユーザと発話内容（ユーザ発話内容およびオペレータ発話内容）については、録音しておいて書き起こす。また、検索式および検索結果については、事後的に人手で収集して作成する。このように、従来においては、対話事例データを収集するためには、検索式および検索結果を人手で作成しなければならず、手間がかかるという問題がある。
【００２１】
また、実際の対話システムでは、ユーザと機械との間で対話が行われるのに対し、従来の対話事例データの収集方法では、ユーザとオペレータとの間での対話、つまり人間と人間との間での対話に基づいて、対話事例データを収集しているため、得られた対話事例データを人間対機械の対話状況に適合するように編集する必要性が高かった。
【００２２】
この発明は、対話事例データベースとして用いられる対話事例データの収集が容易となるとともに、実際の対話システムに適応した対話事例データが収集しやすくなる、対話システムに用いられる対話事例データ収集方法を提供することを目的とする。
【００２３】
【課題を解決するための手段】
請求項１に記載の発明は、検索式を生成して検索を実行するための検索機能と、応答発話テキストを生成するための応答生成機能と、応答発話テキストを合成音声に変換するための音声合成機能と、操作ログを保存するための操作ログ保存機能とを備えた疑似対話装置を用意しておき、ユーザからの検索の要求を伴う発話に対して、オペーレータが疑似対話装置を操作することによって、ユーザの発話に対応した検索式を疑似対話装置に生成させるとともに疑似対話装置に検索を実行させ、疑似対話装置によって得られた検索結果を参照して、オペーレータが疑似対話装置を操作することによって、ユーザに対する応答発話テキストを疑似対話装置に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにしたことを特徴とする。
【００２４】
請求項２に記載の発明は、ユーザの発話を音声認識する機能、検索式を自動的に生成して検索を自動的に実行するための検索機能と、応答発話テキストを生成するための応答生成機能と、応答発話テキストを合成音声に変換するための音声合成機能と、操作ログを保存するための操作ログ保存機能とを備えた疑似対話装置を用意しておき、ユーザからの検索の要求を伴う発話に対応する音声認識結果に基づいて、ユーザの発話に対応した検索式を疑似対話装置に自動的に生成させるとともに疑似対話装置に検索を自動的に実行させ、疑似対話装置によって得られた検索結果およびユーザからの上記発話を参照して、オペーレータが疑似対話装置を操作することによって、ユーザに対する応答発話テキストを疑似対話装置に自動的に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにしたことを特徴とする。
【００２５】
請求項３に記載の発明は、ユーザの発話を音声認識する機能、検索式を生成して検索を実行するための検索機能と、応答発話テキストを自動的に生成するための応答生成機能と、応答発話テキストを合成音声に変換するための音声合成機能と、操作ログを保存するための操作ログ保存機能とを備えた疑似対話装置を用意しておき、ユーザからの検索の要求を伴う発話に対して、オペーレータが疑似対話装置を操作することによって、ユーザの発話に対応した検索式を疑似対話装置に生成させるとともに疑似対話装置に検索を実行させ、疑似対話装置によって得られた検索結果およびユーザの上記発話に対応する音声認識結果に基づいて、ユーザに対する応答発話テキストを疑似対話装置に自動的に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにしたことを特徴とする。
【００２６】
請求項４に記載の発明は、請求項１乃至３に記載の対話システムに用いられる対話事例データ収集方法において、疑似対話装置が上記検索式および検索結果の他、上記応答発話テキストを含む操作ログを保存するようにしたことを特徴とする。
【００２７】
【発明の実施の形態】
以下、図３〜図８を参照して、この発明の実施の形態について説明する。
【００２８】
図３は、図２の対話シテスムにおける対話事例データベース３として利用される対話事例データを収集するためのシステムを示している。
【００２９】
対話事例データ収集システムは、オペレータによって操作される疑似対話装置２０を備えている。疑似対話装置２０は、検索式を生成して検索を実行するための検索機能（検索手段）と、応答発話テキストを生成するための応答生成機能（応答生成手段）と、応答発話テキストを合成音声に変換するための音声合成機能（音声合成手段）と、操作ログを保存するための操作ログ保存機能（操作ログ保存手段）とを備えている。疑似対話装置２０は、ＰＣによって実現されている。
【００３０】
図４は、疑似対話装置２０の機能的構成を示している。
【００３１】
疑似対話装置２０は、操作部（キーボード，マウス等）２１、検索機能を実現するための情報検索部２２、応答生成機能を実現するための応答生成部２３、音声合成機能を実現するための音声合成部２４、スピーカ２５、表示部（モニタ）２６および操作ログを蓄積するための事例蓄積部（ハードディスク等）２７を備えている。
【００３２】
このシステムを用いて対話事例データを収集する際の手順について説明する。このシステムでは、ユーザの発話はオペレータによって聞き取られるが、オペレータからユーザへの発話内容は、疑似対話装置２０から合成音声として出力される。したがって、ユーザとしては、疑似対話装置２０と対話しているという感触をもつ。
【００３３】
まず、ユーザは、疑似対話装置２０に対して要求発話を発声する。ユーザの要求発話は、実際には、疑似対話装置２０によって聞き取られるのではなく、オペレータによって聞き取られる。ユーザの要求発話を受けたオペレータは、疑似対話装置２０の検索機能を利用して検索式を生成する。そして、疑似対話装置２０の検索機能を利用して、検索結果を得る。
【００３４】
オペレータは、検索結果に基づいて、疑似対話装置２０の応答生成機能を利用して、応答発話テキストを作成する。作成された応答発話テキストは、疑似対話装置２０の音声合成機能によって合成音声に変換されて出力される。なお、検索式および検索結果を含む疑似対話装置２０の操作ログは、疑似対話装置２０に保存される。
【００３５】
以上のような検索を伴うユーザ対疑似対話装置２０の対話から、次のようにして、対話事例データを生成する。つまり、ユーザの要求発話内容と疑似対話装置２０から出力される合成音声の内容（オペレータの応答発話内容）とは、録音されており、録音内容に基づいてそれらを書き下ろすことによって作成される。一方、検索式および検索結果を含む操作ログは疑似対話装置２０に保存されている。したがって、書き下ろしによって作成されたユーザおよびオペレータの発話内容と、疑似対話装置２０に保存されている検索式および検索結果を含む操作ログとから、対話事例データを生成する。
【００３６】
以下、対話事例データ収集システムを用いた対話事例データ収集方法について、より具体的に説明する。
【００３７】
ここでは、自動車の運転席にユーザが座っており、後部座席に疑似対話装置２０が設置されているとともにオペレータが座っているものとする。また、自動車の現在位置は、図示しない装置によって測定され、疑似対話装置２０に与えられているものとする。
【００３８】
まず、ユーザが「喫茶店に行きたい」という内容の要求発話を行ったとする。
これに対して、オペレータは、疑似対話装置２０の応答生成機能を利用して、「はい 喫茶店ですね」という内容の応答発話テキストを作成する。応答発話テキストの作成にあたっては、オペレータは疑似対話装置２０に応答発話テキスト生成画面を表示させ、応答発話テキスト生成画面上で応答発話テキストを作成する。応答発話テキスト生成画面には、例えば、応答発話テキストの複数のテンプレートを表示できるようなものであってもよいし、複数の単語ボタンを表示するよなものであってもよい。応答発話テキスト生成画面の具体例については、後述する。作成された応答発話テキストは、疑似対話装置２０の音声合成機能によって合成音声に変換されて出力される。
【００３９】
そして、オペレータは、疑似対話装置２０の検索機能を利用して検索式を生成するとともに、疑似対話装置２０の検索機能を利用して、検索結果を得る。検索式の生成および検索にあたっては、オペレータは疑似対話装置２０に検索画面を表示させ、検索画面上で検索式の生成および検索実行の指示を行う。
【００４０】
図５は、検索画面の一例を示している。
【００４１】
検索画面は、画面下半分の検索結果表示部４１、画面上半分内の左側部の第１のキーワードボタン表示部４２、画面上半分内の第１のキーワードボタン表示部４２の右側上部の検索式等表示部４３、画面上半分内の第１のキーワードボタン表示部４２の右側下部の第２のキーワードボタン表示部４４からなる。
【００４２】
第１のキーワードボタン表示部４２には、複数のキーワードボタンが左右２列に配置されている。左列に配置された複数のキーワードボタンは、最上階層のキーワードを選択させるためのキーワードボタン（以下、最上位階層キーワードボタンという）であり、この例では、「店名」、「食事ジャンル」「食事５０音」、「ショッピング５０音」、「店名５０音」等のボタンが配置されている。
【００４３】
右列には、左列に配置されかつ現在選択されている最上位階層キーワードボタンの下位の階層のキーワードを表すボタン（以下、中階層キーワードボタンという）が表示される。図５に示すように、左列の「店名」に対応する最上位階層キーワードボタンが選択されている場合には、右列には、「ガソリンスタンド」、「銀行」、「コンビニ」、「ファミリーレストラン」、「ファーストフード」、「テパート」等の中階層キーワードボタンが表示される。
【００４４】
第２のキーワードボタン表示部４４には、第１のキーワードボタン表示部４２の右列に配置されかつ現在選択されている中階層キーワードボタンの下位の階層のキーワードを表すボタン（以下、最下位階層キーワードボタンという）が表示される。図５の例では、「ファーストフード」に対応する中階層キーワードボタンが選択されているので、第２のキーワードボタン表示部４４には、「ファーストフード」に対応する最下位階層キーワードボタンの他、各種ファーストフードの店名に対応する最下位階層キーワードボタンが表示される。
【００４５】
検索式等表示部４３には、優先度順位を決定するための要素を表すボタン、検索式表示部、応答発話テキスト生成画面を表示させるための応答パートボタン、検索を実行させるための実行ボタン等が表示されている。
【００４６】
優先度順位を決定するための要素を表すボタンとしては、この例では、「ＮＯＮＥ」、「人気度」、「近い」および「もっとも近い」に対応した４つのキーが設けられている。
【００４７】
図５の例では、最上位階層キーワードボタンとして「店名」に対応するボタンが選択され、中階層キーワードボタンとして「ファーストフード」に対応するボタンが選択され、優先度順位を決定するための要素を表すボタンとして「近い」に対応するボタンが選択されている。このため、検索式表示部に表示されているように、ファーストフードの店名を検索して近いものから順に並べるといった検索条件を表す「Ｓｅａｃｈ ＡＬＬ ＩＴＥＭ ＮＥＡＲ ” ファーストフード” 」という検索式が生成されて、検索式表示部に表示されている。
【００４８】
なお、図６は、他の検索条件が選択されている場合の例を示している。図６の例では、最上位階層キーワードボタンとして「食事ジャンル」に対応するボタンが選択され、中階層キーワードボタンとして「喫茶」に対応するボタンが選択され、優先度順位を決定するための要素を表すボタンとして「近い」に対応するボタンが選択されている。このため、検索式表示部に表示されているように、喫茶店を検索して近いものから順に並べるといった検索条件を表す「Ｓｅａｃｈ ＡＬＬ ＩＴＥＭＮＥＡＲ ” 喫茶” 」という検索式が生成されて、検索式表示部に表示されている。
【００４９】
この具体例では、オペレータは、図６に示すように、最上位階層キーワードボタンとして「食事ジャンル」に対応するボタンを選択し、中階層キーワードボタンとして「喫茶」に対応するボタンを選択し、優先度順位を決定するための要素を表すボタンとして「近い」に対応するボタンを選択することによって、「Ｓｅａｃｈ ＡＬＬ ＩＴＥＭ ＮＥＡＲ ” 喫茶” 」という検索式を生成して、検索を実行したとする。そして、図６に示すように、複数の喫茶店が近い順に検索されたとする。
【００５０】
オペレータは、疑似対話装置２０の応答生成機能を利用して、検索結果から、「近くに、カフェ・ダウニー日赤イースト店とカフェアレグロがございます」という内容の応答発話テキストを作成する。作成された応答発話テキストは、疑似対話装置２０の音声合成機能によって合成音声に変換されて出力される。
【００５１】
この応答発話（合成音声出力）に対して、ユーザが、「カフェアレグロでいい」という回答発話を行ったとする。オペレータは、疑似対話装置２０の応答生成機能を利用して、「かしこまりました。それではカフェアレグロへご案内いたします」という内容の応答発話テキストを作成する。作成された応答発話テキストは、疑似対話装置２０の音声合成機能によって合成音声に変換されて出力される。
【００５２】
ユーザの発話内容と疑似対話装置２０の合成音声出力（オーペレータの発話内容）とは、録音されている。図７は、その録音結果から得られた対話書き起こし結果を示している。
【００５３】
１行目の「００１０−００：５４：７９３−００：５５：９９５ Ｕ」について説明する。「００１０」は文番号を表す。「００：５４：７９３−００：５５：９９５」は２行目および３行目の発話が行われた時刻を示す。この例では、対話開始時刻を基準として、５４．７９３秒経過時点から５５．９９５秒経過時点までの間の時刻を示している。「Ｕ」は２行目および３行目の発話がユーザの発話であることを示している。
【００５４】
４行目の「００１１−００：５８：５８５−０１：００：０５４ Ｏ」について説明する。「００１１」は文番号を表す。「００：５８：５８５−０１：００：０５４」は５行目および６行目の発話が行われた時刻を示す。この例では、対話開始時刻を基準として、５８．５８５秒経過時点から１分０．０５４秒経過時点までの間の時刻を示している。「Ｏ」は５行目および６行目の発話が合成音声出力（オペレータの発話）であることを示している。
【００５５】
図８は、上記具体例に対応する疑似対話装置２０のログファイルの内容を示している。
【００５６】
１行目は、生成された応答発話テキストの内容と、それが生成された年月日時刻とを示している。２行目は、生成された検索式と、それが生成された年月日時刻とを示している。３行目は、検索結果と、それが得られた年月日時刻とを示している。３行目において、「２６」、「１２６：０」等の数字は、検索結果である店名を示している。４行目〜１４行目は、生成された応答発話テキストの内容と、それが生成された年月日時刻とを示している。
【００５７】
図７に示す対話書き起こし結果と図８に示すログファイルとから、図２の対話事例データベース３に利用する対話事例データを生成する。なお、対話書き起こし結果とログファイルとの対応付けは、対話書き起こし結果の時刻情報とログファイルの時刻情報とに基づいて行われる。
【００５８】
応答発話テキスト生成画面の具体例について説明する。応答発話テキストの生成は、この実施の形態では、単語や文節などの単位（以下、説明の便宜上、これらの単位を単に「単語」ということにする）が表示された単語ボタン群からオペレータが所望のものを選択して押すことによって行われる。
【００５９】
単語ボタン群から１つの単語ボタンが押されることによってある単語が選択されたときに、次に表示される単語ボタン群は、単語間の連接頻度情報を利用して決定する。単語ボタン群から１つの単語ボタンが押されることによってある単語が選択されたときに、次に表示されるボタン群においては、選択された単語に後続する頻度が高い順に単語ボタンが配置される。
【００６０】
単語間の連接頻度情報は、予め収集した応答発話データに基づいて決定しておく。店名などの固有名詞、軒数、距離、時間などの情報は、単語ごとではなく〔名称〕、〔軒数〕などのような包括的な情報（単語クラス情報）を単位として頻度情報を求めておく。また、文頭に現れやすい単語は、単語がないことを意味する＜文頭＞という仮想的な単語に後続する頻度の高い単語であると考えることにより、頻度情報を求める。
【００６１】
なお、連接頻度情報は、この実施の形態では、２単語間の情報のみを使用しているが、３単語、４単語とさらに長い単語の組の連接頻度情報を使用してもよい。２単語の連鎖の例としては、「近くに」の後には「〔名称〕」が続く頻度が最も高いといった例が挙げられる。３単語の連鎖の例としては、”「はい」「近くに」”の後には「〔名称〕」が続く頻度が最も高いといった例が挙げられる。４単語連鎖の例としては、”＜文頭＞「はい」「近くに」”の後には「〔名称〕」が続く頻度が最も高いといった例が挙げられる。
【００６２】
連接頻度情報は、次のようにして求められる。予め応答発話の例を収集する。収集した文を単語や文節といった単位（単に単語という）に分け、連接頻度を計算する。例えば、２単語の連接頻度情報を求める場合には、各単語毎に、その単語とそれに後続する単語の各組み合わせについて、頻度を計算する。たとえば、図９に示すように、「近くに」という単語とそれに後続する単語の各組み合わせについて、頻度を計算する。なお、図９において、＜Ｅ＞は文末を表している。
【００６３】
上記対話の具体例で示された「近くに、カフェ・ダウニー日赤イースト店とカフェアレグロがございます」という応答発話テキストを生成する場合の応答発話テキスト生成画面例について説明する。
【００６４】
図１０は、図６の検索画面（検索結果が得られた画面）において、応答パートボタンが押されたときに表示される応答発話テキスト生成画面（応答発話テキスト生成画面の初期画面）の一例を示している。
【００６５】
応答発話テキスト生成画面においても、検索画面と同様に、１画面が４つの表示部４１〜４４に分割されている。ただし、応答発話テキスト生成画面においては、検索画面における検索式等表示部４３は、応答文等を表示する応答文等表示部４３として用いられ、検索画面の第２のキーワードボタン表示部４４は、単語ボタン群が表示される単語ボタン群表示部４４として用いられる。
【００６６】
応答文等表示部４３には、使用される頻度の高い「の」、「はい」、「ですね」等の１２個の単語に対応する単語ボタン、生成された応答文（生成過程の応答文を含む）を表示するための応答文表示部、検索画面を表示させるための入力パートボタン、生成された応答文を再生（音声出力）させるための再生ボタン等が表示される。単語ボタン群表示部４４には、応答発話テキスト生成画面の初期画面では、文頭に現れやすい単語に対応する単語ボタン群が表示される。
【００６７】
この例では、オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「近くに」という単語に対応する単語ボタンを選択する。すると、図１１に示すように、応答文等表示部４３内の応答文表示部に「近くに」の文字が表示されるとともに、単語ボタン群表示部４４には、単語「近くに」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「〔名称〕」という単語に対応する単語ボタンを選択する。
【００６８】
すると、図１２に示すように、検索されている喫茶店の名称からなる単語ボタン群が、別窓４５として表示される。この別窓４５においては、各単語ボタンは、検索優先順位の高い順番で配置されている。オペレータは、この別窓４５に表示された単語ボタン群から、「カフェ・ダウニー日赤イースト店」という単語に対応する単語ボタンを選択する。
【００６９】
すると、図１３に示すように、別窓が閉じられるとともに、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店」の文字が表示される。また、単語ボタン群表示部４４には、単語「〔名称〕」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「と」という単語に対応する単語ボタンを選択する。
【００７０】
すると、図１４に示すように、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店と」の文字が表示されるとともに、単語ボタン群表示部４４には、単語「と」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「〔名称〕」という単語に対応する単語ボタンを選択する。
【００７１】
すると、図１５に示すように、検索されている喫茶店の名称からなる単語ボタン群が、別窓４５として表示される。この別窓４５においては、各単語ボタンは、検索優先順位の高い順番で配置されている。オペレータは、この別窓４５に表示された単語ボタン群から、「カフェアレグロ」という単語に対応する単語ボタンを選択する。
【００７２】
すると、図１６に示すように、別窓が閉じられるとともに、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店とカフェアレグロ」の文字が表示される。また、単語ボタン群表示部４４には、単語「〔名称〕」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「が」という単語に対応する単語ボタンを選択する。
【００７３】
すると、図１７に示すように、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店とカフェアレグロが」の文字が表示されるとともに、単語ボタン群表示部４４には、単語「が」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「ごさいます」という単語に対応する単語ボタンを選択する。
【００７４】
すると、図１８に示すように、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店とカフェアレグロがごさいます」の文字が表示されるとともに、単語ボタン群表示部４４には、単語「ごさいます」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。この例では文末を表す＜Ｅ＞に対応する単語ボタンが表示されている。
【００７５】
このようにして、「近くに カフェ・ダウニー日赤イースト店とカフェアレグロがごさいます」という応答発話テキストが生成されると、オペレータは再生ボタンを押す。すると、「近くに カフェ・ダウニー日赤イースト店とカフェアレグロがごさいます」という応答発話テキストが合成音声に変換されて出力される。
【００７６】
上記実施の形態による対話事例データの収集方法では、従来は事後的に人手で収集していた検索式、検索結果が、ログファイルとして保存されいるため、検索式、検索結果の収集が簡単となる。さらに、この実施の形態では、オペレータが生成した応答発話テキストも、ログファイルとして保存されているため、応答発話テキストの収集も簡単となる。
【００７７】
また、この実施の形態による対話事例データの収集方法では、ユーザは、オペレータと対話するのではなく、あたかも疑似対話装置２０と対話しているように感じるため、実際の対話システム（図２参照）の使用環境により近い状況下、つまり人間対機械の対話に近い状況下で対話事例が収集できる。このため、実際の対話システムに適した対話事例が収集しやすくなる。
【００７８】
なお、疑似対話装置２０に、ユーザの発話を認識してテキストに変換するための音声認識手段を設けるようにしてもよい。そして、ログファイルに、音声認識手段によって認識されたユーザの発話内容（テキスト）を含めるようにしてもよい。ログファイルに音声認識手段によって認識されたユーザの発話内容（音声認識結果）を含めるようにした場合には、ユーザの発話内容の書き起こしを省くことも可能である。あるいは、音声認識結果から認識誤りを修正して、事例データベース中の入力発話テキストとして用いることによって、ユーザの発話内容の書き起こしの手間を軽減するようにしてもよい。
【００７９】
また、上記実施の形態では、検索式の生成および検索の実行と、応答発話テキストの生成とは、共にオペレータが疑似対話装置２０を操作することによって行われているが、いずれか一方を疑似対話装置２０に自動的に行わせるようにしてもよい。
【００８０】
検索式の生成および検索の実行を、疑似対話装置２０に自動的に行わせる場合には、図２の対話システムにおける音声認識部１、類似事例抽出部２、対話事例データベース３、検索式修正部４および情報検索部５に対応する手段を、疑似対話装置２０に設ければよい。
【００８１】
応答発話テキストの生成を、疑似対話装置２０に自動的に行わせる場合には、図２の対話システムにおける音声認識部１、類似事例抽出部２、対話事例データベース３および応答発話修正部６に対応する手段を、疑似対話装置２０に設ければよい。
【００８２】
【発明の効果】
この発明によれば、対話事例データベースとして用いられる対話事例データの収集が容易となるとともに、実際の対話システムに適応した対話事例データが収集しやすくなる。
【図面の簡単な説明】
【図１】オペレータとユーザ間の対話のモデルを示す模式図である。
【図２】本発明者らが開発した音声対話システムの構成を示すブロック図である。
【図３】図２の対話シテスムにおける対話事例データベース３として利用される対話事例データを収集するためのシステムを示す模式図である。
【図４】疑似対話装置２０の機能的構成を示すブロック図である。
【図５】検索画面の一例を示す模式図である。
【図６】選択されたキーワードが図５と異なる場合の検索画面のを示す模式図である。
【図７】具体例のユーザの発話内容と疑似対話装置２０の合成音声出力（オーペレータの発話内容）との録音結果から得られた対話書き起こし結果を示す模式図である。
【図８】具体例に対応する疑似対話装置２０のログファイルの内容を示している。
【図９】連接頻度情報の求め方を説明するための模式図である。
【図１０】応答発話テキスト生成画面の例を示す模式図である。
【図１１】応答発話テキスト生成画面の例を示す模式図である。
【図１２】応答発話テキスト生成画面の例を示す模式図である。
【図１３】応答発話テキスト生成画面の例を示す模式図である。
【図１４】応答発話テキスト生成画面の例を示す模式図である。
【図１５】応答発話テキスト生成画面の例を示す模式図である。
【図１６】応答発話テキスト生成画面の例を示す模式図である。
【図１７】応答発話テキスト生成画面の例を示す模式図である。
【図１８】応答発話テキスト生成画面の例を示す模式図である。
【符号の説明】
２０ 疑似対話装置
２１ 操作部
２２ 情報検索部
２３ 応答生成部
２４ 音声合成部
２５ スピーカ
２６ 表示部
２７ 事例蓄積部
【発明の属する技術分野】
この発明は、対話システムに用いられる対話事例データ収集方法に関する。
【０００２】
【従来の技術】
人間のオペレータが情報データベースを検索し、ユーザに対して情報を提供する状況での、オペレータとユーザ間の対話は、図１に示すようにモデル化することができる。
【０００３】
以下、図１を参照して、オペレータとユーザ間の対話について説明する。
【０００４】
〔１〕要求
ユーザの要求発話を受けたオペレータは、現在の対話コンテキストを参照しながら、検索式を生成する。検索式の生成は、一般にはコンピュータなどの検索用ツールを操作することによって行われる。
【０００５】
〔２〕補足情報要求
検索式生成に必要な情報が不足している場合には、オペレータは補足情報をユーザに対して要求する。
【０００６】
〔３〕補足情報回答
ユーザは、補足情報要求への回答を行う。
【０００７】
〔４〕検索
生成された検索式により、検索が実行される。
【０００８】
〔５〕検索結果
検索結果が生成される。
【０００９】
〔６〕応答
オペレータは、検索結果と対話コンテキストに基づいて応答を行う。
【００１０】
〔７〕追加要求
応答を受けたユーザは、追加質問を行ったり、別の要求を発したりする。
【００１１】
以上のような対話において、オペレータは対話進行のために、次の２つの判断を行っている。
判断１： ユーザの発話を受け検索式を生成する。
判断２： 検索結果を受け、応答を生成する。
【００１２】
熟練したオペレータは、過去の経験や知識などを利用し、発話に現れる表層的な情報以外の種々の情報を援用した「判断」を行い、ユーザの目的に合った検索を行っていると考えられる。
【００１３】
本発明者らは、このような対話を進行するための「判断」を、熟練した人間のオペレータが行った行動事例を参照して行うことが有効と考えている。そして、本発明者らは、情報検索システムを利用した人間どうしの対話と、その際に行われた検索操作を蓄積し、それを利用して入力発話に対する検索操作を決定するような音声対話システムを開発した。
【００１４】
図２は、本発明者らが開発した音声対話システムの構成を示している。
【００１５】
音声認識部１は、入力発話を認識してテキストに変換する。音声認識部１によって得られたテキストは、類似事例抽出部２に送られる。類似事例抽出部２は、対話事例データベース３を備えている。対話事例データベース３には、ユーザとオペレータとの実際の対話に基づいて作成されている。具体的には、ユーザの発話テキスト、検索式、検索結果およびオペレータの発話テキストのセットからなる。
【００１６】
類似事例抽出部２は、入力テキストに基づいて検索式生成のための類似事例を対話事例データベース３から抽出して、検索式修正部４に与える。検索式修正部４は、類似事例中の検索式を、入力テキストに応じて修正した後、情報検索部５に与える。情報検索部５は検索式に基づいて、検索を実行する。なお、情報検索部５は、図示しない情報データベースを備えている。
【００１７】
情報検索部５によって得られた検索結果は、類似事例抽出部２に与えられる。類似事例抽出部２は、与えられた検索結果の内容および件数ならびに入力テキストに基づいて、応答発話テキストを生成するための類似事例を対話事例データベース３から抽出して、応答発話修正部６に与える。応答発話修正部６は、入力テキストに応じて、応答発話テキストを修正した後、音声合成部７に与える。音声合成部７は応答発話テキストから合成音声を生成する。生成された合成音声はスピーカ８から出力される。
【００１８】
【非特許文献１】「対話事例を利用した音声対話システムの提案」 日本音響学会講演論文集 Ｐ４７〜Ｐ４８ ２０００年９月
【非特許文献２】「対話事例を利用した音声対話システム」 信学技法
社団法人 電子情報通信学会 ＳＰ２０００−１０８（２０００−１２）
【００１９】
【発明が解決しようとする課題】
【００２０】
対話事例データベース３として用いられる対話事例データは、従来は、ユーザとオペレータとの実際の対話に基づいて、次のようにして収集されている。ユーザと発話内容（ユーザ発話内容およびオペレータ発話内容）については、録音しておいて書き起こす。また、検索式および検索結果については、事後的に人手で収集して作成する。このように、従来においては、対話事例データを収集するためには、検索式および検索結果を人手で作成しなければならず、手間がかかるという問題がある。
【００２１】
また、実際の対話システムでは、ユーザと機械との間で対話が行われるのに対し、従来の対話事例データの収集方法では、ユーザとオペレータとの間での対話、つまり人間と人間との間での対話に基づいて、対話事例データを収集しているため、得られた対話事例データを人間対機械の対話状況に適合するように編集する必要性が高かった。
【００２２】
この発明は、対話事例データベースとして用いられる対話事例データの収集が容易となるとともに、実際の対話システムに適応した対話事例データが収集しやすくなる、対話システムに用いられる対話事例データ収集方法を提供することを目的とする。
【００２３】
【課題を解決するための手段】
請求項１に記載の発明は、検索式を生成して検索を実行するための検索機能と、応答発話テキストを生成するための応答生成機能と、応答発話テキストを合成音声に変換するための音声合成機能と、操作ログを保存するための操作ログ保存機能とを備えた疑似対話装置を用意しておき、ユーザからの検索の要求を伴う発話に対して、オペーレータが疑似対話装置を操作することによって、ユーザの発話に対応した検索式を疑似対話装置に生成させるとともに疑似対話装置に検索を実行させ、疑似対話装置によって得られた検索結果を参照して、オペーレータが疑似対話装置を操作することによって、ユーザに対する応答発話テキストを疑似対話装置に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにしたことを特徴とする。
【００２４】
請求項２に記載の発明は、ユーザの発話を音声認識する機能、検索式を自動的に生成して検索を自動的に実行するための検索機能と、応答発話テキストを生成するための応答生成機能と、応答発話テキストを合成音声に変換するための音声合成機能と、操作ログを保存するための操作ログ保存機能とを備えた疑似対話装置を用意しておき、ユーザからの検索の要求を伴う発話に対応する音声認識結果に基づいて、ユーザの発話に対応した検索式を疑似対話装置に自動的に生成させるとともに疑似対話装置に検索を自動的に実行させ、疑似対話装置によって得られた検索結果およびユーザからの上記発話を参照して、オペーレータが疑似対話装置を操作することによって、ユーザに対する応答発話テキストを疑似対話装置に自動的に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにしたことを特徴とする。
【００２５】
請求項３に記載の発明は、ユーザの発話を音声認識する機能、検索式を生成して検索を実行するための検索機能と、応答発話テキストを自動的に生成するための応答生成機能と、応答発話テキストを合成音声に変換するための音声合成機能と、操作ログを保存するための操作ログ保存機能とを備えた疑似対話装置を用意しておき、ユーザからの検索の要求を伴う発話に対して、オペーレータが疑似対話装置を操作することによって、ユーザの発話に対応した検索式を疑似対話装置に生成させるとともに疑似対話装置に検索を実行させ、疑似対話装置によって得られた検索結果およびユーザの上記発話に対応する音声認識結果に基づいて、ユーザに対する応答発話テキストを疑似対話装置に自動的に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにしたことを特徴とする。
【００２６】
請求項４に記載の発明は、請求項１乃至３に記載の対話システムに用いられる対話事例データ収集方法において、疑似対話装置が上記検索式および検索結果の他、上記応答発話テキストを含む操作ログを保存するようにしたことを特徴とする。
【００２７】
【発明の実施の形態】
以下、図３〜図８を参照して、この発明の実施の形態について説明する。
【００２８】
図３は、図２の対話シテスムにおける対話事例データベース３として利用される対話事例データを収集するためのシステムを示している。
【００２９】
対話事例データ収集システムは、オペレータによって操作される疑似対話装置２０を備えている。疑似対話装置２０は、検索式を生成して検索を実行するための検索機能（検索手段）と、応答発話テキストを生成するための応答生成機能（応答生成手段）と、応答発話テキストを合成音声に変換するための音声合成機能（音声合成手段）と、操作ログを保存するための操作ログ保存機能（操作ログ保存手段）とを備えている。疑似対話装置２０は、ＰＣによって実現されている。
【００３０】
図４は、疑似対話装置２０の機能的構成を示している。
【００３１】
疑似対話装置２０は、操作部（キーボード，マウス等）２１、検索機能を実現するための情報検索部２２、応答生成機能を実現するための応答生成部２３、音声合成機能を実現するための音声合成部２４、スピーカ２５、表示部（モニタ）２６および操作ログを蓄積するための事例蓄積部（ハードディスク等）２７を備えている。
【００３２】
このシステムを用いて対話事例データを収集する際の手順について説明する。このシステムでは、ユーザの発話はオペレータによって聞き取られるが、オペレータからユーザへの発話内容は、疑似対話装置２０から合成音声として出力される。したがって、ユーザとしては、疑似対話装置２０と対話しているという感触をもつ。
【００３３】
まず、ユーザは、疑似対話装置２０に対して要求発話を発声する。ユーザの要求発話は、実際には、疑似対話装置２０によって聞き取られるのではなく、オペレータによって聞き取られる。ユーザの要求発話を受けたオペレータは、疑似対話装置２０の検索機能を利用して検索式を生成する。そして、疑似対話装置２０の検索機能を利用して、検索結果を得る。
【００３４】
オペレータは、検索結果に基づいて、疑似対話装置２０の応答生成機能を利用して、応答発話テキストを作成する。作成された応答発話テキストは、疑似対話装置２０の音声合成機能によって合成音声に変換されて出力される。なお、検索式および検索結果を含む疑似対話装置２０の操作ログは、疑似対話装置２０に保存される。
【００３５】
以上のような検索を伴うユーザ対疑似対話装置２０の対話から、次のようにして、対話事例データを生成する。つまり、ユーザの要求発話内容と疑似対話装置２０から出力される合成音声の内容（オペレータの応答発話内容）とは、録音されており、録音内容に基づいてそれらを書き下ろすことによって作成される。一方、検索式および検索結果を含む操作ログは疑似対話装置２０に保存されている。したがって、書き下ろしによって作成されたユーザおよびオペレータの発話内容と、疑似対話装置２０に保存されている検索式および検索結果を含む操作ログとから、対話事例データを生成する。
【００３６】
以下、対話事例データ収集システムを用いた対話事例データ収集方法について、より具体的に説明する。
【００３７】
ここでは、自動車の運転席にユーザが座っており、後部座席に疑似対話装置２０が設置されているとともにオペレータが座っているものとする。また、自動車の現在位置は、図示しない装置によって測定され、疑似対話装置２０に与えられているものとする。
【００３８】
まず、ユーザが「喫茶店に行きたい」という内容の要求発話を行ったとする。
これに対して、オペレータは、疑似対話装置２０の応答生成機能を利用して、「はい 喫茶店ですね」という内容の応答発話テキストを作成する。応答発話テキストの作成にあたっては、オペレータは疑似対話装置２０に応答発話テキスト生成画面を表示させ、応答発話テキスト生成画面上で応答発話テキストを作成する。応答発話テキスト生成画面には、例えば、応答発話テキストの複数のテンプレートを表示できるようなものであってもよいし、複数の単語ボタンを表示するよなものであってもよい。応答発話テキスト生成画面の具体例については、後述する。作成された応答発話テキストは、疑似対話装置２０の音声合成機能によって合成音声に変換されて出力される。
【００３９】
そして、オペレータは、疑似対話装置２０の検索機能を利用して検索式を生成するとともに、疑似対話装置２０の検索機能を利用して、検索結果を得る。検索式の生成および検索にあたっては、オペレータは疑似対話装置２０に検索画面を表示させ、検索画面上で検索式の生成および検索実行の指示を行う。
【００４０】
図５は、検索画面の一例を示している。
【００４１】
検索画面は、画面下半分の検索結果表示部４１、画面上半分内の左側部の第１のキーワードボタン表示部４２、画面上半分内の第１のキーワードボタン表示部４２の右側上部の検索式等表示部４３、画面上半分内の第１のキーワードボタン表示部４２の右側下部の第２のキーワードボタン表示部４４からなる。
【００４２】
第１のキーワードボタン表示部４２には、複数のキーワードボタンが左右２列に配置されている。左列に配置された複数のキーワードボタンは、最上階層のキーワードを選択させるためのキーワードボタン（以下、最上位階層キーワードボタンという）であり、この例では、「店名」、「食事ジャンル」「食事５０音」、「ショッピング５０音」、「店名５０音」等のボタンが配置されている。
【００４３】
右列には、左列に配置されかつ現在選択されている最上位階層キーワードボタンの下位の階層のキーワードを表すボタン（以下、中階層キーワードボタンという）が表示される。図５に示すように、左列の「店名」に対応する最上位階層キーワードボタンが選択されている場合には、右列には、「ガソリンスタンド」、「銀行」、「コンビニ」、「ファミリーレストラン」、「ファーストフード」、「テパート」等の中階層キーワードボタンが表示される。
【００４４】
第２のキーワードボタン表示部４４には、第１のキーワードボタン表示部４２の右列に配置されかつ現在選択されている中階層キーワードボタンの下位の階層のキーワードを表すボタン（以下、最下位階層キーワードボタンという）が表示される。図５の例では、「ファーストフード」に対応する中階層キーワードボタンが選択されているので、第２のキーワードボタン表示部４４には、「ファーストフード」に対応する最下位階層キーワードボタンの他、各種ファーストフードの店名に対応する最下位階層キーワードボタンが表示される。
【００４５】
検索式等表示部４３には、優先度順位を決定するための要素を表すボタン、検索式表示部、応答発話テキスト生成画面を表示させるための応答パートボタン、検索を実行させるための実行ボタン等が表示されている。
【００４６】
優先度順位を決定するための要素を表すボタンとしては、この例では、「ＮＯＮＥ」、「人気度」、「近い」および「もっとも近い」に対応した４つのキーが設けられている。
【００４７】
図５の例では、最上位階層キーワードボタンとして「店名」に対応するボタンが選択され、中階層キーワードボタンとして「ファーストフード」に対応するボタンが選択され、優先度順位を決定するための要素を表すボタンとして「近い」に対応するボタンが選択されている。このため、検索式表示部に表示されているように、ファーストフードの店名を検索して近いものから順に並べるといった検索条件を表す「Ｓｅａｃｈ ＡＬＬ ＩＴＥＭ ＮＥＡＲ ” ファーストフード” 」という検索式が生成されて、検索式表示部に表示されている。
【００４８】
なお、図６は、他の検索条件が選択されている場合の例を示している。図６の例では、最上位階層キーワードボタンとして「食事ジャンル」に対応するボタンが選択され、中階層キーワードボタンとして「喫茶」に対応するボタンが選択され、優先度順位を決定するための要素を表すボタンとして「近い」に対応するボタンが選択されている。このため、検索式表示部に表示されているように、喫茶店を検索して近いものから順に並べるといった検索条件を表す「Ｓｅａｃｈ ＡＬＬ ＩＴＥＭＮＥＡＲ ” 喫茶” 」という検索式が生成されて、検索式表示部に表示されている。
【００４９】
この具体例では、オペレータは、図６に示すように、最上位階層キーワードボタンとして「食事ジャンル」に対応するボタンを選択し、中階層キーワードボタンとして「喫茶」に対応するボタンを選択し、優先度順位を決定するための要素を表すボタンとして「近い」に対応するボタンを選択することによって、「Ｓｅａｃｈ ＡＬＬ ＩＴＥＭ ＮＥＡＲ ” 喫茶” 」という検索式を生成して、検索を実行したとする。そして、図６に示すように、複数の喫茶店が近い順に検索されたとする。
【００５０】
オペレータは、疑似対話装置２０の応答生成機能を利用して、検索結果から、「近くに、カフェ・ダウニー日赤イースト店とカフェアレグロがございます」という内容の応答発話テキストを作成する。作成された応答発話テキストは、疑似対話装置２０の音声合成機能によって合成音声に変換されて出力される。
【００５１】
この応答発話（合成音声出力）に対して、ユーザが、「カフェアレグロでいい」という回答発話を行ったとする。オペレータは、疑似対話装置２０の応答生成機能を利用して、「かしこまりました。それではカフェアレグロへご案内いたします」という内容の応答発話テキストを作成する。作成された応答発話テキストは、疑似対話装置２０の音声合成機能によって合成音声に変換されて出力される。
【００５２】
ユーザの発話内容と疑似対話装置２０の合成音声出力（オーペレータの発話内容）とは、録音されている。図７は、その録音結果から得られた対話書き起こし結果を示している。
【００５３】
１行目の「００１０−００：５４：７９３−００：５５：９９５ Ｕ」について説明する。「００１０」は文番号を表す。「００：５４：７９３−００：５５：９９５」は２行目および３行目の発話が行われた時刻を示す。この例では、対話開始時刻を基準として、５４．７９３秒経過時点から５５．９９５秒経過時点までの間の時刻を示している。「Ｕ」は２行目および３行目の発話がユーザの発話であることを示している。
【００５４】
４行目の「００１１−００：５８：５８５−０１：００：０５４ Ｏ」について説明する。「００１１」は文番号を表す。「００：５８：５８５−０１：００：０５４」は５行目および６行目の発話が行われた時刻を示す。この例では、対話開始時刻を基準として、５８．５８５秒経過時点から１分０．０５４秒経過時点までの間の時刻を示している。「Ｏ」は５行目および６行目の発話が合成音声出力（オペレータの発話）であることを示している。
【００５５】
図８は、上記具体例に対応する疑似対話装置２０のログファイルの内容を示している。
【００５６】
１行目は、生成された応答発話テキストの内容と、それが生成された年月日時刻とを示している。２行目は、生成された検索式と、それが生成された年月日時刻とを示している。３行目は、検索結果と、それが得られた年月日時刻とを示している。３行目において、「２６」、「１２６：０」等の数字は、検索結果である店名を示している。４行目〜１４行目は、生成された応答発話テキストの内容と、それが生成された年月日時刻とを示している。
【００５７】
図７に示す対話書き起こし結果と図８に示すログファイルとから、図２の対話事例データベース３に利用する対話事例データを生成する。なお、対話書き起こし結果とログファイルとの対応付けは、対話書き起こし結果の時刻情報とログファイルの時刻情報とに基づいて行われる。
【００５８】
応答発話テキスト生成画面の具体例について説明する。応答発話テキストの生成は、この実施の形態では、単語や文節などの単位（以下、説明の便宜上、これらの単位を単に「単語」ということにする）が表示された単語ボタン群からオペレータが所望のものを選択して押すことによって行われる。
【００５９】
単語ボタン群から１つの単語ボタンが押されることによってある単語が選択されたときに、次に表示される単語ボタン群は、単語間の連接頻度情報を利用して決定する。単語ボタン群から１つの単語ボタンが押されることによってある単語が選択されたときに、次に表示されるボタン群においては、選択された単語に後続する頻度が高い順に単語ボタンが配置される。
【００６０】
単語間の連接頻度情報は、予め収集した応答発話データに基づいて決定しておく。店名などの固有名詞、軒数、距離、時間などの情報は、単語ごとではなく〔名称〕、〔軒数〕などのような包括的な情報（単語クラス情報）を単位として頻度情報を求めておく。また、文頭に現れやすい単語は、単語がないことを意味する＜文頭＞という仮想的な単語に後続する頻度の高い単語であると考えることにより、頻度情報を求める。
【００６１】
なお、連接頻度情報は、この実施の形態では、２単語間の情報のみを使用しているが、３単語、４単語とさらに長い単語の組の連接頻度情報を使用してもよい。２単語の連鎖の例としては、「近くに」の後には「〔名称〕」が続く頻度が最も高いといった例が挙げられる。３単語の連鎖の例としては、”「はい」「近くに」”の後には「〔名称〕」が続く頻度が最も高いといった例が挙げられる。４単語連鎖の例としては、”＜文頭＞「はい」「近くに」”の後には「〔名称〕」が続く頻度が最も高いといった例が挙げられる。
【００６２】
連接頻度情報は、次のようにして求められる。予め応答発話の例を収集する。収集した文を単語や文節といった単位（単に単語という）に分け、連接頻度を計算する。例えば、２単語の連接頻度情報を求める場合には、各単語毎に、その単語とそれに後続する単語の各組み合わせについて、頻度を計算する。たとえば、図９に示すように、「近くに」という単語とそれに後続する単語の各組み合わせについて、頻度を計算する。なお、図９において、＜Ｅ＞は文末を表している。
【００６３】
上記対話の具体例で示された「近くに、カフェ・ダウニー日赤イースト店とカフェアレグロがございます」という応答発話テキストを生成する場合の応答発話テキスト生成画面例について説明する。
【００６４】
図１０は、図６の検索画面（検索結果が得られた画面）において、応答パートボタンが押されたときに表示される応答発話テキスト生成画面（応答発話テキスト生成画面の初期画面）の一例を示している。
【００６５】
応答発話テキスト生成画面においても、検索画面と同様に、１画面が４つの表示部４１〜４４に分割されている。ただし、応答発話テキスト生成画面においては、検索画面における検索式等表示部４３は、応答文等を表示する応答文等表示部４３として用いられ、検索画面の第２のキーワードボタン表示部４４は、単語ボタン群が表示される単語ボタン群表示部４４として用いられる。
【００６６】
応答文等表示部４３には、使用される頻度の高い「の」、「はい」、「ですね」等の１２個の単語に対応する単語ボタン、生成された応答文（生成過程の応答文を含む）を表示するための応答文表示部、検索画面を表示させるための入力パートボタン、生成された応答文を再生（音声出力）させるための再生ボタン等が表示される。単語ボタン群表示部４４には、応答発話テキスト生成画面の初期画面では、文頭に現れやすい単語に対応する単語ボタン群が表示される。
【００６７】
この例では、オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「近くに」という単語に対応する単語ボタンを選択する。すると、図１１に示すように、応答文等表示部４３内の応答文表示部に「近くに」の文字が表示されるとともに、単語ボタン群表示部４４には、単語「近くに」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「〔名称〕」という単語に対応する単語ボタンを選択する。
【００６８】
すると、図１２に示すように、検索されている喫茶店の名称からなる単語ボタン群が、別窓４５として表示される。この別窓４５においては、各単語ボタンは、検索優先順位の高い順番で配置されている。オペレータは、この別窓４５に表示された単語ボタン群から、「カフェ・ダウニー日赤イースト店」という単語に対応する単語ボタンを選択する。
【００６９】
すると、図１３に示すように、別窓が閉じられるとともに、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店」の文字が表示される。また、単語ボタン群表示部４４には、単語「〔名称〕」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「と」という単語に対応する単語ボタンを選択する。
【００７０】
すると、図１４に示すように、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店と」の文字が表示されるとともに、単語ボタン群表示部４４には、単語「と」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「〔名称〕」という単語に対応する単語ボタンを選択する。
【００７１】
すると、図１５に示すように、検索されている喫茶店の名称からなる単語ボタン群が、別窓４５として表示される。この別窓４５においては、各単語ボタンは、検索優先順位の高い順番で配置されている。オペレータは、この別窓４５に表示された単語ボタン群から、「カフェアレグロ」という単語に対応する単語ボタンを選択する。
【００７２】
すると、図１６に示すように、別窓が閉じられるとともに、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店とカフェアレグロ」の文字が表示される。また、単語ボタン群表示部４４には、単語「〔名称〕」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「が」という単語に対応する単語ボタンを選択する。
【００７３】
すると、図１７に示すように、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店とカフェアレグロが」の文字が表示されるとともに、単語ボタン群表示部４４には、単語「が」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。オペレータは、単語ボタン群表示部４４に表示された単語ボタン群から、「ごさいます」という単語に対応する単語ボタンを選択する。
【００７４】
すると、図１８に示すように、応答文等表示部４３内の応答文表示部に「近くに カフェ・ダウニー日赤イースト店とカフェアレグロがごさいます」の文字が表示されるとともに、単語ボタン群表示部４４には、単語「ごさいます」に後続する可能性がある単語に対応する単語ボタンが、頻度が高い順に配置されて表示される。この例では文末を表す＜Ｅ＞に対応する単語ボタンが表示されている。
【００７５】
このようにして、「近くに カフェ・ダウニー日赤イースト店とカフェアレグロがごさいます」という応答発話テキストが生成されると、オペレータは再生ボタンを押す。すると、「近くに カフェ・ダウニー日赤イースト店とカフェアレグロがごさいます」という応答発話テキストが合成音声に変換されて出力される。
【００７６】
上記実施の形態による対話事例データの収集方法では、従来は事後的に人手で収集していた検索式、検索結果が、ログファイルとして保存されいるため、検索式、検索結果の収集が簡単となる。さらに、この実施の形態では、オペレータが生成した応答発話テキストも、ログファイルとして保存されているため、応答発話テキストの収集も簡単となる。
【００７７】
また、この実施の形態による対話事例データの収集方法では、ユーザは、オペレータと対話するのではなく、あたかも疑似対話装置２０と対話しているように感じるため、実際の対話システム（図２参照）の使用環境により近い状況下、つまり人間対機械の対話に近い状況下で対話事例が収集できる。このため、実際の対話システムに適した対話事例が収集しやすくなる。
【００７８】
なお、疑似対話装置２０に、ユーザの発話を認識してテキストに変換するための音声認識手段を設けるようにしてもよい。そして、ログファイルに、音声認識手段によって認識されたユーザの発話内容（テキスト）を含めるようにしてもよい。ログファイルに音声認識手段によって認識されたユーザの発話内容（音声認識結果）を含めるようにした場合には、ユーザの発話内容の書き起こしを省くことも可能である。あるいは、音声認識結果から認識誤りを修正して、事例データベース中の入力発話テキストとして用いることによって、ユーザの発話内容の書き起こしの手間を軽減するようにしてもよい。
【００７９】
また、上記実施の形態では、検索式の生成および検索の実行と、応答発話テキストの生成とは、共にオペレータが疑似対話装置２０を操作することによって行われているが、いずれか一方を疑似対話装置２０に自動的に行わせるようにしてもよい。
【００８０】
検索式の生成および検索の実行を、疑似対話装置２０に自動的に行わせる場合には、図２の対話システムにおける音声認識部１、類似事例抽出部２、対話事例データベース３、検索式修正部４および情報検索部５に対応する手段を、疑似対話装置２０に設ければよい。
【００８１】
応答発話テキストの生成を、疑似対話装置２０に自動的に行わせる場合には、図２の対話システムにおける音声認識部１、類似事例抽出部２、対話事例データベース３および応答発話修正部６に対応する手段を、疑似対話装置２０に設ければよい。
【００８２】
【発明の効果】
この発明によれば、対話事例データベースとして用いられる対話事例データの収集が容易となるとともに、実際の対話システムに適応した対話事例データが収集しやすくなる。
【図面の簡単な説明】
【図１】オペレータとユーザ間の対話のモデルを示す模式図である。
【図２】本発明者らが開発した音声対話システムの構成を示すブロック図である。
【図３】図２の対話シテスムにおける対話事例データベース３として利用される対話事例データを収集するためのシステムを示す模式図である。
【図４】疑似対話装置２０の機能的構成を示すブロック図である。
【図５】検索画面の一例を示す模式図である。
【図６】選択されたキーワードが図５と異なる場合の検索画面のを示す模式図である。
【図７】具体例のユーザの発話内容と疑似対話装置２０の合成音声出力（オーペレータの発話内容）との録音結果から得られた対話書き起こし結果を示す模式図である。
【図８】具体例に対応する疑似対話装置２０のログファイルの内容を示している。
【図９】連接頻度情報の求め方を説明するための模式図である。
【図１０】応答発話テキスト生成画面の例を示す模式図である。
【図１１】応答発話テキスト生成画面の例を示す模式図である。
【図１２】応答発話テキスト生成画面の例を示す模式図である。
【図１３】応答発話テキスト生成画面の例を示す模式図である。
【図１４】応答発話テキスト生成画面の例を示す模式図である。
【図１５】応答発話テキスト生成画面の例を示す模式図である。
【図１６】応答発話テキスト生成画面の例を示す模式図である。
【図１７】応答発話テキスト生成画面の例を示す模式図である。
【図１８】応答発話テキスト生成画面の例を示す模式図である。
【符号の説明】
２０ 疑似対話装置
２１ 操作部
２２ 情報検索部
２３ 応答生成部
２４ 音声合成部
２５ スピーカ
２６ 表示部
２７ 事例蓄積部
Claims (4)
- 検索式を生成して検索を実行するための検索機能と、応答発話テキストを生成するための応答生成機能と、応答発話テキストを合成音声に変換するための音声合成機能と、操作ログを保存するための操作ログ保存機能とを備えた疑似対話装置を用意しておき、ユーザからの検索の要求を伴う発話に対して、オペーレータが疑似対話装置を操作することによって、ユーザの発話に対応した検索式を疑似対話装置に生成させるとともに疑似対話装置に検索を実行させ、疑似対話装置によって得られた検索結果を参照して、オペーレータが疑似対話装置を操作することによって、ユーザに対する応答発話テキストを疑似対話装置に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにした対話システムに用いられる対話事例データ収集方法。
- ユーザの発話を音声認識する機能、検索式を自動的に生成して検索を自動的に実行するための検索機能と、応答発話テキストを生成するための応答生成機能と、応答発話テキストを合成音声に変換するための音声合成機能と、操作ログを保存するための操作ログ保存機能とを備えた疑似対話装置を用意しておき、ユーザからの検索の要求を伴う発話に対応する音声認識結果に基づいて、ユーザの発話に対応した検索式を疑似対話装置に自動的に生成させるとともに疑似対話装置に検索を自動的に実行させ、疑似対話装置によって得られた検索結果およびユーザからの上記発話を参照して、オペーレータが疑似対話装置を操作することによって、ユーザに対する応答発話テキストを疑似対話装置に自動的に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにした対話システムに用いられる対話事例データ収集方法。
- ユーザの発話を音声認識する機能、検索式を生成して検索を実行するための検索機能と、応答発話テキストを自動的に生成するための応答生成機能と、応答発話テキストを合成音声に変換するための音声合成機能と、操作ログを保存するための操作ログ保存機能とを備えた疑似対話装置を用意しておき、ユーザからの検索の要求を伴う発話に対して、オペーレータが疑似対話装置を操作することによって、ユーザの発話に対応した検索式を疑似対話装置に生成させるとともに疑似対話装置に検索を実行させ、疑似対話装置によって得られた検索結果およびユーザの上記発話に対応する音声認識結果に基づいて、ユーザに対する応答発話テキストを疑似対話装置に自動的に生成させ、生成した応答発話テキストを疑似対話装置によって合成音声に変換させて出力させ、疑似対話装置が上記検索式および上記検索結果を含む操作ログを保存するようにした対話システムに用いられる対話事例データ収集方法。
- 疑似対話装置が上記検索式および検索結果の他、上記応答発話テキストを含む操作ログを保存するようにした請求項１、２および３のいずれかに記載の対話システムに用いられる対話事例データ収集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002341297A JP2004178087A (ja) | 2002-11-25 | 2002-11-25 | 対話システムに用いられる対話事例データ収集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002341297A JP2004178087A (ja) | 2002-11-25 | 2002-11-25 | 対話システムに用いられる対話事例データ収集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004178087A true JP2004178087A (ja) | 2004-06-24 |
Family
ID=32703703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002341297A Pending JP2004178087A (ja) | 2002-11-25 | 2002-11-25 | 対話システムに用いられる対話事例データ収集方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004178087A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017062749A (ja) * | 2015-09-25 | 2017-03-30 | 株式会社アニモ | 情報処理方法及び装置 |
| JP2019074865A (ja) * | 2017-10-13 | 2019-05-16 | ロボットスタート株式会社 | 会話収集装置、会話収集システム及び会話収集方法 |
-
2002
- 2002-11-25 JP JP2002341297A patent/JP2004178087A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017062749A (ja) * | 2015-09-25 | 2017-03-30 | 株式会社アニモ | 情報処理方法及び装置 |
| JP2019074865A (ja) * | 2017-10-13 | 2019-05-16 | ロボットスタート株式会社 | 会話収集装置、会話収集システム及び会話収集方法 |
| JP7055327B2 (ja) | 2017-10-13 | 2022-04-18 | ロボットスタート株式会社 | 会話収集装置、会話収集システム及び会話収集方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9478219B2 (en) | Audio synchronization for document narration with user-selected playback | |
| JP5193473B2 (ja) | オーディオファイルをスピーチ駆動の選択するシステムおよび方法 | |
| US8359202B2 (en) | Character models for document narration | |
| US8793133B2 (en) | Systems and methods document narration | |
| US20120016671A1 (en) | Tool and method for enhanced human machine collaboration for rapid and accurate transcriptions | |
| US20170300182A9 (en) | Systems and methods for multiple voice document narration | |
| US20080255835A1 (en) | User directed adaptation of spoken language grammer | |
| CN101504643A (zh) | 声音处理系统、声音处理程序以及声音处理方法 | |
| JP2002007014A (ja) | 情報処理装置及び該情報処理装置を備えた楽器 | |
| US9355634B2 (en) | Voice synthesis device, voice synthesis method, and recording medium having a voice synthesis program stored thereon | |
| JP2001188777A (ja) | 音声をテキストに関連付ける方法、音声をテキストに関連付けるコンピュータ、コンピュータで文書を生成し読み上げる方法、文書を生成し読み上げるコンピュータ、コンピュータでテキスト文書の音声再生を行う方法、テキスト文書の音声再生を行うコンピュータ、及び、文書内のテキストを編集し評価する方法 | |
| JP2010160316A (ja) | 情報処理装置及びテキスト読み上げ方法 | |
| JP5753769B2 (ja) | 音声データ検索システムおよびそのためのプログラム | |
| CN106448636A (zh) | 一种可录音与评分的互联网智能语音钢琴系统 | |
| CN106652979A (zh) | 一种可评分与视频的智能语音钢琴系统 | |
| CN106448633A (zh) | 一种可提示键位的智能语音钢琴系统 | |
| JP3936351B2 (ja) | 音声応答サービス装置 | |
| JP2004178087A (ja) | 対話システムに用いられる対話事例データ収集方法 | |
| JP3707872B2 (ja) | 音声出力装置及びその方法 | |
| JP2005031150A (ja) | 音声処理装置および方法 | |
| Luz et al. | Interface design strategies for computer-assisted speech transcription | |
| KR102274275B1 (ko) | 음성파일이 연동된 텍스트 링크 생성 어플리케이션 및 방법 | |
| JP2005038014A (ja) | 情報提示装置及び情報提示方法 | |
| CN106652980A (zh) | 一种可录音与评分的智能语音钢琴系统 | |
| JP3760420B2 (ja) | 音声応答サービス装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051013 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081218 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20090317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090709 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090907 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100311 |