JP2016009091A - 複数の異なる対話制御部を同時に用いて応答文を再生する端末、プログラム及びシステム - Google Patents

Abstract

【課題】ユーザとの対話の中で、応答時間とその応答内容の信頼度との間のトレードオフを考慮して応答文を再生する端末等を提供する。
【解決手段】ユーザの発話文の入力後、第１の応答文を出力する第１の対話制御手段と、第１の対話制御手段よりも、応答時間が長く且つその応答内容の信頼度が高い第２の応答文を出力する第２の対話制御手段と、対話制御手段の両方に、ユーザの発話文を入力する発話文入力手段と、第１の対話制御手段から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２の対話制御手段から第２の応答文が出力された場合、第１の応答文と第２の応答文との間の類似度を算出する応答文類似度算出手段と、類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する応答文再生手段とを有する。
【選択図】図２

Description

本発明は、ユーザからの発話文に対して応答文を出力する対話システムの技術に関する。

人間に対して自然な対話を実現した対話システムが、特にスマートフォンやタブレットのような端末で、一般的に普及しつつある。対話システムとしては、ユーザとの対話内容に沿った適切な語彙のみが、認識対象語彙として対話制御処理に入力される技術がある（例えば特許文献１参照）。この技術によれば、認識対象語彙として必要最小限度の語彙のみを記憶している。ユーザの発話文から未登録の語彙を抽出し、その語彙を追加的に登録していく。これによって、メモリ容量の削減と、語彙検索の高速化とを可能としつつ、自然な対話処理を実現することができる。

また、対話のドメインを限定した対話制御部を、携帯端末内に実装する技術もある（例えば非特許文献１参照）。この技術によれば、ユーザの発話文からその意図を抽出する意図推定処理と、抽出された意図に対して対話応答を決定する対話制御処理とを、携帯端末内で実行することができる。

更に、複数の音声対話装置を用いる技術もある（例えば特許文献２参照）。この技術によれば、第１の音声対話装置は、ユーザの発話文の言語理解に失敗した場合、ユーザの直前の発話文を処理した第２の音声対話装置へ言語理解失敗を送信する。第２の音声対話装置は、言語理解失敗を受信した際に、生成済みの理解状態の下で、言語理解規則を逆解析した発話内容を、第１の音声対話装置へ送信する。このように、第１の音声対話装置及び第２の音声対話装置が、相互に協調してユーザの発話文を解析し、対話を進行することができる。

更に、情報提供型、情報獲得型、質問応答型及び情報受理型の４種類の対話制御システムを用いた技術もある（例えば特許文献３参照）。この技術によれば、ユーザの無入力時間と、入力された発話文の内容が要求か又は質問かとによって、対話型を分類する。その分類に適した型の複数の対話制御システムを用いることにより、比較的複雑で且つ広範囲の対話ドメインに対しても、ユーザに適切な応答文を出力し、対話のユーザ満足度を向上させることができる。

特開２００２−１４９６４５号公報 特開２００４−２４０２２５号公報 特開２００９−１９８６１４号公報

ＫＤＤＩ研究所、「マルチデバイス連携が可能なスマートフォン用対話プラットフォームの開発」、[online]、［平成２６年５月２０日検索］、インターネット＜http://www.kddilabs.jp/press/2013/1010.html＞

しかしながら、特許文献１や非特許文献１に記載の技術によれば、対話の応答時間を短縮できるものの、認識対象となる語彙やタスクの数が限られており、応答内容の信頼度が低くならざるを得ない。
一方で、特許文献２や特許文献３に記載の技術によれば、複数の対話制御装置を用いるために、対話の応答時間が長くならざるを得ない。
このように、対話システムによれば、対話における応答時間とその応答内容の信頼度との間には、トレードオフの関係がある。応答時間が長くなっても、その応答内容の信頼度が低くなってもいずれも、ユーザに対して対話のストレスをかけることとなる。

そこで、本発明は、ユーザとの対話の中で、応答時間とその応答内容の信頼度との間のトレードオフを考慮して応答文を再生する端末、プログラム及びシステムを提供することを目的とする。

本発明によれば、音声で対話可能なユーザインタフェースを有する端末において、
ユーザの発話文の入力後、第１の応答文を出力する第１の対話制御手段と、
ユーザの発話文の入力後、第１の対話制御手段よりも、応答時間が長く且つその応答内容の信頼度が高い第２の応答文を出力する第２の対話制御手段と、
第１の対話制御手段及び第２の対話制御手段の両方に、ユーザの発話文を入力する発話文入力手段と、
第１の対話制御手段から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２の対話制御手段から第２の応答文が出力された場合、第１の応答文と第２の応答文との間の類似度を算出する応答文類似度算出手段と、
類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する応答文再生手段と
を有することを特徴とする。

本発明の端末における他の実施形態によれば、
「接続語」を記憶した接続語記憶手段を更に有し、
応答文再生手段は、類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、接続語を再生し、第２の応答文の再生を開始する
ことも好ましい。

本発明の端末における他の実施形態によれば、
接続語記憶手段は、類似度が、第１の閾値以下であって、且つ、高い方から低い方へ複数の所定範囲に区分されており、当該類似度の所定範囲毎に「接続語」が対応付けて記憶されており、
応答文再生手段は、接続語記憶手段を用いて類似度に対応する接続語を選択することも好ましい。

本発明の端末における他の実施形態によれば、
接続語記憶手段は、類似度が、第１の閾値Th1以下であって、且つ、高い方から低い方へ３段階の所定範囲に区分されており、以下のように接続語を対応付けて記憶する
類似度＞第１の閾値Th1 ：第２の応答文を再生しない
第１の閾値Th1≧類似度＞第２の閾値Th1 ：累加の接続語
第２の閾値Th2≧類似度＞第３の閾値Th3 ：逆接の接続語
第３の閾値Th3≧類似度 ：転換の接続語
ことも好ましい。

本発明の端末における他の実施形態によれば、
応答文類似度算出手段は、再生時間中として
（１）音声による第１の応答文の再生が完了するまで
（２）音声による第１の応答文の再生後、ユーザからの発話文が検出されるまで
であることも好ましい。

本発明の端末における他の実施形態によれば、
第１の対話制御手段及び第２の対話制御手段は、シナリオ型又は統計型の対話制御機能であることも好ましい。

本発明の端末における他の実施形態によれば、
第２の対話制御手段は、複数、備えられており、
応答文類似度算出手段は、第１の対話制御手段から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、複数の第２の対話制御手段から第２の応答文が出力された場合、応答内容の信頼度が最も高い第２の対話制御手段から出力された第２の応答文と第１の応答文との間の類似度を算出する
を有することも好ましい。

本発明の端末における他の実施形態によれば、
第１の対話制御手段及び第２の対話制御手段における信頼度Ｐsは、平均対話正解率Ｐとリアルタイム制御信頼度スコアＣとに基づいて算出されるものである
ことも好ましい。

本発明の端末における他の実施形態によれば、
応答文類似度算出手段は、第１の応答文及び第２の応答文について形態素解析によって複数の単語を抽出し、第１の応答文の単語と第２の応答文の単語との間の品詞又は意味を解析したベクトルを算出し、これらベクトルのコサイン類似度を算出する
ことも好ましい。

本発明によれば、音声で対話可能なユーザインタフェースを有する端末に搭載されたコンピュータを機能させるプログラムにおいて、
ユーザの発話文の入力後、第１の応答文を出力する第１の対話制御手段と、
ユーザの発話文の入力後、第１の対話制御手段よりも、応答時間が長く且つその応答内容の信頼度が高い第２の応答文を出力する第２の対話制御手段と、
第１の対話制御手段及び第２の対話制御手段の両方に、ユーザの発話文を入力する発話文入力手段と、
第１の対話制御手段から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２の対話制御手段から第２の応答文が出力された場合、第１の応答文と第２の応答文との間の類似度を算出する応答文類似度算出手段と、
類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する応答文再生手段と
してコンピュータを機能させることを特徴とする。

本発明によれば、音声で対話可能なユーザインタフェースを有する端末と、対話制御サーバとがネットワークを介して接続されたシステムにおいて、
端末は、ユーザの発話文の入力後、第１の応答文を出力する第１の対話制御手段を有し、
サーバは、ユーザの発話文の入力後、第１の対話制御手段よりも、応答時間が長く且つその応答内容の信頼度が高い第２の応答文を出力する第２の対話制御手段を有し、
端末は、
ユーザの発話文を、第１の対話制御手段へ入力すると共に、サーバの第２の対話制御手段へ送信する発話文入力手段と、
第１の対話制御手段から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２の対話制御手段から第２の応答文が受信された場合、第１の応答文と第２の応答文との間の類似度を算出する応答文類似度算出手段と、
類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する応答文再生手段と
を有することを特徴とする。

本発明によれば、音声で対話可能なユーザインタフェースを有する端末と、複数の対話制御サーバとがネットワークを介して接続されたシステムにおいて、
ユーザの発話文の受信後、第１の応答文を返信する第１の対話制御サーバと、
ユーザの発話文の受信後、第１の対話制御サーバよりも、応答時間が長く且つその応答内容の信頼度が高い第２の応答文を出力する第２の対話制御サーバと
を有し、
端末は、
第１の対話制御サーバと第２の対話制御サーバとの両方へ、ユーザの発話文を送信する発話文入力手段と、
第１の対話制御サーバから受信した第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２の対話制御サーバから第２の応答文が受信された場合、第１の応答文と第２の応答文との間の類似度を算出する応答文類似度算出手段と、
類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する応答文再生手段と
を有することを特徴とする。

本発明の端末、プログラム及びシステムによれば、ユーザとの対話の中で、応答時間とその応答内容の信頼度との間のトレードオフを考慮して応答文を再生することができる。

本発明における端末の機能構成図である。 応答文の第１の具体的な再生タイミングを表す説明図である。 応答文の第２の具体的な再生タイミングを表す説明図である。 応答文の第３の具体的な再生タイミングを表す説明図である。 本発明における第１のシステム構成図である。 本発明における第２のシステム構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、本発明における端末の機能構成図である。

図１によれば、端末１は、スマートフォンやタブレットのようなものであって、音声で対話可能なユーザインタフェースを有する。入力デバイスがマイクである場合、入力音声処理部１０１は、マイクによって取得された音声信号を発話文に変換し、その発話文を対話制御部へ入力する。また、出力デバイスがスピーカである場合、出力音声処理部１０２は、対話制御部から出力された応答文を音声信号に変換し、その音声信号をスピーカへ出力する。

図１によれば、端末１は、発話文入力部１１１と、応答文類似度算出部１１２と、応答文再生部１１３と、接続語記憶部１１４と、第１の対話制御部１２１と、第２の対話制御部１２２とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

［第１の対話制御部１２１・第２の対話制御部１２２］
対話制御部は、人同士の間の対話と同様に、人とシステムとの間で対話を成立させるものである。対話制御部は、自然言語の発話文を認識し、それに対して適切な応答文を出力する対話ロジックを有する。対話制御機能としては、例えば以下のような２種類がある。
シナリオ型の対話制御機能
統計型の対話制御機能

シナリオ型の対話制御機能は、人手によって予め記述された固定的なシナリオで対話を進行する。タスク指向型であって、何らかの達成したいタスク（目的）が明確となっている用途に適する。固定的なシナリオは、事前の対話経験やシステムノウハウに基づいて予め設計されたものであって、対話ノード（又はノード群）間の遷移が固定となっている。

統計型の対話制御機能は、対話ノードを大量に蓄積し、現在の対話ノードに対して遷移確率が最大となる次の対話ノードへ遷移することによって、自然な対話を進行する。具体的なタスクを持たず、他の対話ノードへの遷移は前後の遷移確率によって決定される。この遷移確率は、機械学習によって、自動的に逐次更新されていく。

対話制御機能はそれぞれ、その特性に応じて、同じ発話文が入力されたとしても、異なる応答文を出力する。対話制御部における応答文の応答内容の信頼度Ｐsは、平均対話正解率Ｐとリアルタイム制御信頼度スコアＣとに基づいて、以下のように算出される。
Ｐs(N)＝Ｐ(N)・Ｃ(N)
Ｐ(N)：対話制御Nの平均対話正解率
Ｃ(N)：対話制御Nからの応答文のリアルタイム制御信頼度スコア

平均対話正解率Ｐ(N)は、予め用意された対話テストデータを当該対話制御部へ入力し、その応答文と事前作成の正解文とを比較して算出された比率である。
平均対話正解率Ｐ(N)＝正解文数／全応答文数

リアルタイム制御信頼度スコアＣ(N)は、対話制御機能から出力された応答文に対して、リアルタイム計算された信頼できる尺度をいう。シナリオ型の対話制御について、Ｃ(N)は、ユーザの対話入力に対する意図理解の信頼度となる。例えば意図理解の統計モデルはサポートベクタマシン(ＳＶＭ：Support Vector Machines)によって学習された場合に、意図理解の結果がＳＶＭの分離平面からの距離を信頼度とする。また、統計型の対話制御機能については、機械学習手法による大量対話例文から確立した統計モデルに基づき、Ｃ(N)は、選択された応答文の最大遷移確率である。

［発話文入力部１１１］
発話文入力部１１１は、入力音声処理部１０１から出力されたユーザの発話文を、第１の対話制御部１２１及び第２の対話制御部１２２の両方に入力する。

［応答文類似度算出部１１２］
応答文類似度算出部１１２は、第１の対話制御部１２１から出力された第１の応答文を、ユーザに対して音声で再生している「再生時間中」に、第２の対話制御部１２２から第２の応答文が出力された場合、第１の応答文と第２の応答文との間の「類似度」を算出する。応答文類似度算出部１１２は、第１の応答文の音声の「再生時間中」であることを、応答文再生部１１３と連携して認識する。

ここで、「再生時間中」として、以下の２つのパターンがある。
（１）音声による第１の応答文の再生が完了するまで
（２）音声による第１の応答文の再生後、ユーザからの発話文が検出されるまで
即ち、第１の応答文に対して、ユーザが反応して発話しない限りは、できる限り信頼度の高い応答文を出力するようにする。

尚、第１の対話制御部１２１の信頼度Ｐsよりも、第２の対話制御部１２２の信頼度Ｐsの方が低い場合、第１の応答文の再生時間中に、第２の対話制御部１２２から第２の応答文が出力されても、応答文類似度算出部１１２は、類似度を算出することなく無視する。第１の応答文よりも信頼度の低い第２の応答文を、あえて再生する必要は無いためである。

応答文類似度算出部１１２は、「類似度」について、最初に、第１の応答文及び第２の応答文から形態素解析によって複数の単語を抽出する。そして、応答文類似度算出部１１２は、第１の応答文の単語と第２の応答文の単語との間の品詞又は意味を解析したベクトルを算出し、これらベクトルのコサイン類似度（Bag of wordsベース）を算出する。勿論、各応答文に対して、対話コーパスにおける出現頻度が高い重要語（名詞）を蓄積した重要語辞書を用いて、重要語を検出するものであってもよい。コサイン距離は、各応答文の中から抽出された単語及びその名詞種別に応じて算出される。例えば以下の概念式で算出される。
第１の応答文の単語の特徴ベクトル：Ｄ
第２の応答文の単語の特徴ベクトル：Ｅ
２つの文の類似度：sim(Ｄ,Ｅ)
sim(Ｄ,Ｅ)＝cosθ＝（Ｄ・Ｅ）／(|Ｄ||Ｅ|)
コサイン距離は、同じ単語同士である場合には類似度重みを１とし、同じカテゴリ同士である場合にも類似度重みを１とする。勿論、同じ単語カテゴリの類似度重みは、０〜１の間の値で設定可能である。

［応答文再生部１１３］
応答文再生部１１３は、類似度が第１の閾値以下の場合（類似度が低い場合）、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する（後述する図２参照）。
また、応答文再生部１１３は、第１の応答文の音声による再生終了後に、第２の対話制御部１２２から第２の応答文が出力された場合、あえて、第２の応答文は再生されない（後述する図３参照）。
更に、応答文再生部１１３は、類似度が第１の閾値よりも高い場合（類似度が高い場合）、あえて、第２の応答文は再生されない（後述する図４参照）。

［接続語記憶部１１４］
接続語記憶部１１４は、「接続語」を記憶したものである。応答文再生部１１３は、第１の応答文の再生が終了した直後に連続して、接続語を再生し、第２の応答文の再生を開始するものであってもよい。当該類似度の所定範囲毎に対応付けられた「接続語」を、接続語記憶部１１４が記憶する。

図２は、応答文の第１の具体的な再生タイミングを表す説明図である。

第１の対話制御部１２１及び第２の対話制御部１２２は、以下のようなトレードオフの関係にあるとする。
第１の対話制御部１２１：対話の応答時間が短いものの、応答内容の信頼度が低い
第２の対話制御部１２２：対話の応答時間が長いものの、応答内容の信頼度が高い
信頼度は、例えば以下のように決定される。
第１の対話制御部１２１：平均応答時間＝０．７秒
平均対話正解率Ｐ(1)＝０．６５
システム信頼度Ｃ(1)＝０．７０
信頼度Ｐs(1)＝Ｃ(1)×Ｐ(1)＝０．４５５
第２の対話制御部１２２：平均応答時間＝１．０秒
平均対話正解率Ｐ(2)＝０．８５
システム信頼度Ｃ(2)＝０．７０
信頼度Ｐs(2)＝Ｃ(2)×Ｐ(2)＝０．５９５
即ち、第１の対話制御部は、第２の対話制御部と比較して、対話の応答時間が短いものの、応答内容の信頼度が低いとする。

（Ｓ２１）ユーザが、マイクに向かって「明日の天気はどうですか？」と発話したとする。これに対し、入力音声処理部１０１は、音声認識によってその発話文を、発話文入力部１１１へ出力する。これに対し、発話文入力部１１１は、以下の発話文を、第１の対話制御部１２１及び第２の対話制御部１２２の両方へ入力する。
「明日の天気はどうですか？」

（Ｓ２２１）これに対し、応答時間が短い第１の対話制御部１２１が、最初に、応答類似度算出部１１２へ、以下の応答文を出力したとする。
「明日予定はありません」
第１の対話制御部１１１は、応答時間が短いものの、応答内容の信頼度が比較的低いために、天気を問われているのに対し、予定を問われたと誤って判断したとする。
（Ｓ２２２）これに対し、応答類似度算出部１１２は、その応答文をそのまま、応答文再生部１１３へ出力する。
「明日予定はありません」
（Ｓ２２３）応答文再生部１１３は、出力音声処理部１０２に対して、以下のように順次発声し、スピーカからユーザへ応答する。
”あ”す”よ”て”い”は”あ”り”ま”せ”ん”
（この音声の発声には、例えば１．６秒の時間を要する）

（Ｓ２３１）次に、応答時間が長い第２の対話制御部１２２が、応答類似度算出部１１２へ、以下の応答文を出力したとする。ここで、この応答文は、Ｓ２２３によって応答再生部１１３が第１の応答文を発声し始めてから、１．６秒以内であるとする。
「明日天気は晴れです」

（Ｓ２３２）応答文類似度算出部１１２は、第１の対話制御部１２１から出力された第１の応答文「明日予定はありません」を、ユーザに対して音声で再生している再生時間中であること認識している。この再生時間中に、第２の対話制御部１２２から第２の応答文「明日天気は晴れです」が出力された場合、第１の応答文と第２の応答文との間の類似度を算出する。
第１の応答文「明日予定はありません」
ベクトルとして検出される単語：「明日」「予定」「ない」
第２の応答文「明日天気は晴れです」
ベクトルとして検出される単語：「明日」「天気」「晴れ」
この場合、第１の応答文と第２の応答文とのコサイン距離は０．３３となる。

図２によれば、このコサイン距離が、第１の閾値Th1以下となり、第２の応答文を再生すべきと判定されたとする。このとき、応答文再生部１１３は、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始するものとする。

（Ｓ２３３）接続語記憶部１１４は、類似度が、第１の閾値以下であって、且つ、高い方から低い方へ複数の所定範囲に区分されている。応答文再生部１１３は、接続語記憶部１１４の類似度の範囲に対応して、接続語を選択して再生する。

接続語記憶部１１４は、類似度が、第１の閾値Th1以下であって、且つ、高い方から低い方へ３段階の所定範囲に区分されており、以下のように接続語を対応付けて記憶する。
類似度＞第１の閾値Th1 ：第２の応答文を再生しない
第１の閾値Th1≧類似度＞第２の閾値Th1 ：「累加」の接続語
「累加」->「さらに」「そのうえ」
第２の閾値Th2≧類似度＞第３の閾値Th3 ：「逆接」の接続語
「逆接」->「しかし」「けれども」「と言いたいですが」「だからといって」
第３の閾値Th3≧類似度 ：「転換」の接続語
「転換」->「ところで」「さて」「先ほどと別の事ですが」
例えば、Th1＝0.8、Th2＝0.5、Th3＝0.3と設定してもよい。類似度が低くなるほど、話を転換する接続語が選択される。
図２によれば、応答文再生部１１３は、第１の応答文と第２の応答文との間のコサイン距離が例えば０．３３である場合、逆接の接続語「けれども」が選択される。

（Ｓ２３４）応答文再生部１１３は、以下のように再生する。
”あ”す”よ”て”い”は”あ”り”ま”せ”ん”（１．６秒）
”け”れ”ど”も”（０．５秒）

（Ｓ２３５）応答文類似度算出部１１２は、第２の応答文「明日天気は晴れです」を、応答文再生部１１３へ出力する。
（Ｓ２３６）応答文再生部１１３は、以下のように再生する。
”あ”す”よ”て”い”は”あ”り”ま”せ”ん”（１．６秒）
”け”れ”ど”も”（０．５秒）
”あ”す”あ”す”の”て”ん”き”は”は”れ”で”す”（１．９秒）

図２から明らかなとおり、応答時間が短く且つ信頼度が低い第１の対話制御部から出力された第１の応答文を再生し、その再生時間中に、応答時間が長く且つ信頼度が高い第２の対話制御部から第２の応答文が出力された場合、第１の応答文に第２の応答文を連続して再生する。また、第１の応答文と第２の応答文との間の類似度が第１の閾値よりも低い場合、その類似度に応じた接続語を、第１の応答文と第２の応答文との間に挿入して接続することによって、できる限り、ユーザに不自然さを感じさせないように応答することができる。

図３は、応答文の第２の具体的な再生タイミングを表す説明図である。

図３によれば、応答文再生部１１３は、第１の応答文「明日予定はありません」の音声による再生終了後に、第２の対話制御部１２２から第２の応答文「明日天気は晴れです」が出力された場合、あえて、第２の応答文は再生されない。通常、応答文の再生が一旦途切れた後、ユーザは直ぐ反応しようとする。第１の応答文「明日予定はありません」を再生した後、一旦途切れ、その後、第２の応答文「明日天気は晴れです」を再生しまうと、ユーザの発話とぶつかる可能性が高いためである。

図４は、応答文の第３の具体的な再生タイミングを表す説明図である。

図４によれば、応答文再生部１１３は、類似度が第１の閾値よりも高い場合（類似度が高い場合）、あえて、第２の応答文は再生されない。類似度が高いということは、同じ意味合いの応答文を２回連続して再生することになるためである。

図５は、本発明における第１のシステム構成図である。

図５によれば、第１の対話制御部１２１は、端末１内に備えられ、第２の対話制御部１２２は、ネットワークを介して外部サーバに備えられている。端末１は、一般に、少ないメモリ量と低い演算処理能力であるために、対話の応答時間は短いが、応答内容の信頼度が低い軽量の対話制御部しか搭載できない。一方で、外部サーバは、大きいメモリ量と高い演算処理能力であるために、対話の応答時間は長いものの、応答内容の信頼度が高い対話制御部を搭載することができる。

図６は、本発明における第２のシステム構成図である。

図６によれば、第１の対話制御部１２１及び第２の対話制御部１２２の両方とも、ネットワークを介して外部サーバに備えられている。端末１には、対話制御機能を備えないために、応答時間は比較的長くなるものの、外部サーバの多様な対話制御機能を用いることができる。

＜３つ以上の対話制御部＞
前述した実施形態によれば、２つの対話制御部について説明したが、勿論、３つ以上搭載されたものであってもよい。対話制御部それぞれについて、対話の応答時間や、応答内容の信頼度に差が生じる。具体的には、第１の対話制御部１２１を基準として、複数の異なる種類の第２の対話制御部１２２を搭載するものであってもよい。

例えば以下のように、対話制御部毎に、以下のように信頼度が設定されているとする。
第１の対話制御部１２１ ：信頼度Ｐs(1)＝０．４５５
第１の応答文 「明日予定はありません」
第２１の対話制御部１２２：信頼度Ｐs(2)＝０．５９５
第２１の応答文「明日天気は晴れです」
第２２の対話制御部１２２：信頼度Ｐs(3)＝０．７２０
第２２の応答文「明日の降水確率は２０％です」

応答文類似度算出部１１２は、第１の対話制御部１２１から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２１の対話制御部１２２と第２２の対話制御部１２３からそれぞれ第２の応答文が出力された場合、応答内容の信頼度Ｐsが最も高い第２２の対話制御部１２３から出力された第２の応答文と第１の応答文との間の類似度を算出する。ここで、第１の応答文と第２２の応答文との間のコサイン距離が例えば０．２９であるとする。

これに対し、応答文再生部１１３は、逆接の接続語「ところで」が選択される。最終的に、応答文再生部１１３は、以下のように再生する。
”あ”す”よ”て”い”は”あ”り”ま”せ”ん”（１．６秒）
”と”こ”ろ”で”（０．５秒）
”あ”す”の”こ”う”す”い”か”く”り”つ”は”に”じゅ”っ”ぱ”―”せ”ん”と”で”す”（２．７秒）

以上、詳細に説明したように、本発明の端末、プログラム及びシステムによれば、ユーザとの対話の中で、応答時間とその応答内容の信頼度との間のトレードオフを考慮して応答文を再生することができる。特に、ユーザの発話文に対して応答時間が短くなると共に、一連の応答文の中で、最終的にできる限り信頼度の高い応答文を再生することができる。

尚、本発明は、ユーザ操作に基づく端末のディスプレイに「キャラクタ・エージェント」を表示し、ユーザとエージェントとが音声による対話を進める、音声対話システムに適する。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 端末
１１１ 発話文入力部
１１２ 応答文類似度算出部
１１３ 応答文再生部
１１４ 接続語記憶部
１２１ 第１の対話制御部
１２２ 第２の対話制御部
２１、２２ サーバ

Claims (12)

1. 音声で対話可能なユーザインタフェースを有する端末において、
   ユーザの発話文の入力後、第１の応答文を出力する第１の対話制御手段と、
   ユーザの発話文の入力後、第１の対話制御手段よりも、応答時間が長く且つその応答内容の信頼度が高い第２の応答文を出力する第２の対話制御手段と、
   第１の対話制御手段及び第２の対話制御手段の両方に、ユーザの発話文を入力する発話文入力手段と、
   第１の対話制御手段から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２の対話制御手段から第２の応答文が出力された場合、第１の応答文と第２の応答文との間の類似度を算出する応答文類似度算出手段と、
   前記類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する応答文再生手段と
   を有することを特徴とする端末。
2. 「接続語」を記憶した接続語記憶手段を更に有し、
   前記応答文再生手段は、前記類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、前記接続語を再生し、第２の応答文の再生を開始する
   ことを特徴とする請求項１に記載の端末。
3. 前記接続語記憶手段は、前記類似度が、第１の閾値以下であって、且つ、高い方から低い方へ複数の所定範囲に区分されており、当該類似度の所定範囲毎に「接続語」が対応付けて記憶されており、
   前記応答文再生手段は、前記接続語記憶手段を用いて前記類似度に対応する接続語を選択する
   ことを特徴とする請求項２に記載の端末。
4. 前記接続語記憶手段は、前記類似度が、第１の閾値Th1以下であって、且つ、高い方から低い方へ３段階の所定範囲に区分されており、以下のように接続語を対応付けて記憶する
   類似度＞第１の閾値Th1 ：第２の応答文を再生しない
   第１の閾値Th1≧類似度＞第２の閾値Th1 ：累加の接続語
   第２の閾値Th2≧類似度＞第３の閾値Th3 ：逆接の接続語
   第３の閾値Th3≧類似度 ：転換の接続語
   ことを特徴とする請求項３に記載の端末。
5. 前記応答文類似度算出手段は、前記再生時間中として
   （１）音声による第１の応答文の再生が完了するまで
   （２）音声による第１の応答文の再生後、ユーザからの発話文が検出されるまで
   であることを特徴とする請求項１から４のいずれか１項に記載の端末。
6. 第１の対話制御手段及び第２の対話制御手段は、シナリオ型又は統計型の対話制御機能であることを特徴とする請求項１から５のいずれか１項に記載の端末。
7. 第２の対話制御手段は、複数、備えられており、
   前記応答文類似度算出手段は、第１の対話制御手段から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、複数の第２の対話制御手段から第２の応答文が出力された場合、応答内容の信頼度が最も高い第２の対話制御手段から出力された第２の応答文と第１の応答文との間の類似度を算出する
   を有することを特徴とする請求項１から６のいずれか１項に記載の端末。
8. 第１の対話制御手段及び第２の対話制御手段における前記信頼度Ｐsは、平均対話正解率Ｐとリアルタイム制御信頼度スコアＣとに基づいて算出されるものである
   ことを特徴とする請求項１から７のいずれか１項に記載の端末。
9. 前記応答文類似度算出手段は、第１の応答文及び第２の応答文について形態素解析によって複数の単語を抽出し、第１の応答文の単語と第２の応答文の単語との間の品詞又は意味を解析したベクトルを算出し、これらベクトルのコサイン類似度を算出する
   ことを特徴とする請求項１から８のいずれか１項に記載の端末。
10. 音声で対話可能なユーザインタフェースを有する端末に搭載されたコンピュータを機能させるプログラムにおいて、
    ユーザの発話文の入力後、第１の応答文を出力する第１の対話制御手段と、
    ユーザの発話文の入力後、第１の対話制御手段よりも、応答時間が長く且つその応答内容の信頼度が高い第２の応答文を出力する第２の対話制御手段と、
    第１の対話制御手段及び第２の対話制御手段の両方に、ユーザの発話文を入力する発話文入力手段と、
    第１の対話制御手段から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２の対話制御手段から第２の応答文が出力された場合、第１の応答文と第２の応答文との間の類似度を算出する応答文類似度算出手段と、
    前記類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する応答文再生手段と
    してコンピュータを機能させることを特徴とするプログラム。
11. 音声で対話可能なユーザインタフェースを有する端末と、対話制御サーバとがネットワークを介して接続されたシステムにおいて、
    前記端末は、ユーザの発話文の入力後、第１の応答文を出力する第１の対話制御手段を有し、
    前記サーバは、ユーザの発話文の入力後、第１の対話制御手段よりも、応答時間が長く且つその応答内容の信頼度が高い第２の応答文を出力する第２の対話制御手段を有し、
    前記端末は、
    ユーザの発話文を、第１の対話制御手段へ入力すると共に、前記サーバの第２の対話制御手段へ送信する発話文入力手段と、
    第１の対話制御手段から出力された第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２の対話制御手段から第２の応答文が受信された場合、第１の応答文と第２の応答文との間の類似度を算出する応答文類似度算出手段と、
    前記類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する応答文再生手段と
    を有することを特徴とするシステム。
12. 音声で対話可能なユーザインタフェースを有する端末と、複数の対話制御サーバとがネットワークを介して接続されたシステムにおいて、
    ユーザの発話文の受信後、第１の応答文を返信する第１の対話制御サーバと、
    ユーザの発話文の受信後、第１の対話制御サーバよりも、応答時間が長く且つその応答内容の信頼度が高い第２の応答文を出力する第２の対話制御サーバと
    を有し、
    前記端末は、
    第１の対話制御サーバと第２の対話制御サーバとの両方へ、ユーザの発話文を送信する発話文入力手段と、
    第１の対話制御サーバから受信した第１の応答文を、ユーザに対して音声で再生している再生時間中に、第２の対話制御サーバから第２の応答文が受信された場合、第１の応答文と第２の応答文との間の類似度を算出する応答文類似度算出手段と、
    前記類似度が第１の閾値以下で類似しない場合、第１の応答文の再生が終了した直後に連続して、第２の応答文の再生を開始する応答文再生手段と
    を有することを特徴とするシステム。

Images