JP2008033198A

JP2008033198A - 音声対話システム、音声対話方法、音声入力装置、プログラム

Info

Publication number: JP2008033198A
Application number: JP2006209428A
Authority: JP
Inventors: Masakazu Ishida; 雅一石田
Original assignee: NEC System Technologies Ltd
Current assignee: NEC Solution Innovators Ltd
Priority date: 2006-08-01
Filing date: 2006-08-01
Publication date: 2008-02-14

Abstract

【課題】ユーザの操作や他のセンサデバイスの情報を参照して誤認識を確認対話無しに自動的に棄却できる音声対話システム、音声対話方法、音声入力装置、プログラムを提供する。
【解決手段】認識結果評価手段３３０は、音声認識結果を受け取ると、利用状態取得手段３３０１により、利用者が利用状態にあるか否かを利用状態検出手段３１０から取得し、利用状態でなければ雑音による誤認識と判断し、棄却手段３３０２により自動的に音声認識結果を棄却する。
【選択図】図１

Description

本発明は音声を用いて利用者とシステムが対話を行うことにより、利用者にサービスを提供する音声対話システム、音声対話方法、音声入力装置、プログラムに関し、特に音声の誤認識を自動的に検出して棄却できる機能を持つ音声対話システム、音声対話方法、音声入力装置、プログラムに関する。

従来の音声対話システムの一例が、特許文献１に記載されている。特許文献１の音声対話システムでは、音声認識結果が誤認識かどうかを利用者に確認するための確認発話において、確認発話時の音声認識ルールを過去の対話進行状況を元に動的に生成し適切に確認発話を行う技術を開示している。

また特許文献２では、確認発話において、「はい」「いいえ」以外の応答を利用者が行った場合、音声特徴量（発話時間、パワー、ピッチ、韻律）の情報を利用してどちらの意思表示が行われているかを推定する技術を述べている。

また、誤認識として利用者の発話以外に周囲の人の声や物音といった周囲雑音を認識してしまう場合があるが、従来の音声対話システムの一例として、特許文献３には、周囲の雑音を信号処理によって低減する方法を述べている。

また、特許文献４には、雑音であることを積極的に認識させるために雑音に応答する認識辞書を使う方法を述べている。

特開２００５−３１６２４７号公報特開２００１−２３６０９１号公報特開２００４−０６９７７２号公報特開２００２−３７２９８８号公報

音声認識を用いる対話では、誤認識が必ず発生する。誤認識を発生させる要因としては、利用者の不明瞭な発話の仕方や、類似語彙を多く含む認識ルールがある。

誤認識を完全に防ぐことはできないので、上記特許文献１、２は、誤認識が発生した後の誤り訂正の方法に関し、誤りを利用者に指摘してもらう確認発話を行う方法を提案している。

しかし、実行されるサービスがショッピングやチケット予約といった金銭的な対価を伴うような確実な実行を求められる場合には、確認発話が必要であるが、ロボット型の音声対話装置の中には、ペットロボットやパートナーロボットやホームロボットといった、毎回確認発話をすることが適さないカジュアルなサービスを提供するものもある。

特許文献１、２は、これらのサービスにおいて、確認発話を伴わずに誤認識を適切に検出し棄却する機能を提案していない。このため、利用者は、期待するサービスが開始されるまで何度も発話したり、期待と違うサービスが開始される度に中断操作を行ったりしなければならないという課題がある。

また、特許文献３は、誤認識を発生させるもう一つの要因である周囲雑音について、音声データを信号処理して周囲雑音を低減させ、誤認識の発生頻度を下げているが、誤認識を充分には除去できないという課題がある。

さらに、雑音を積極的に雑音辞書に認識させる上記特許文献４の技術は、より多くの雑音を認識させようとすると、雑音と認識パターンが類似した本来認識すべき語句が認識しにくくなるため、認識ルール（認識したい語句のリスト）に応じて雑音辞書を最適な状態に調整しなければならず、辞書作成に手間がかかるという課題がある。

本発明の目的は、上記課題を解決すべく、誤認識を自動的に棄却できる音声対話システム、音声対話方法、音声入力装置、プログラムを提供することにある。また、本発明の他の目的は、周囲の雑音を誤認識した場合や確認発話をしない対話において従来よりも高い棄却能力を有する音声対話システム、音声対話方法、音声入力装置、プログラムを提供することにある。

本発明の音声入力装置は、利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状況または利用意向を把握検出する利用状態検出手段と、音声認識結果を利用状態に応じて評価する認識結果評価手段とを備え、認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段を有することを特徴とする。

本発明の音声入力装置は、利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、補正結果に基づいて音声認識結果を評価する認識結果評価手段とを備え、サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を認識履歴記憶部に登録する手段を有し、認識結果評価手段は、次回の音声認識結果取得時に認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段を有することを特徴とする。

本発明の音声入力装置は、利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状況または利用意向を把握検出する利用状態検出手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、利用者の利用状態または尤度の補正結果に基づいて音声認識結果を評価する認識結果評価手段とを備え、サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を認識履歴記憶部に登録する手段を有し、認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段と、次回以降の音声認識では採用しない候補として認識語を認識履歴記憶部に登録し、次回の音声認識結果取得時に認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段とを有することを特徴とする。

認識結果評価手段は、利用状態検出手段から利用者の利用状態の検出結果を取得する利用状態取得手段を有することを特徴とする。

認識結果評価手段は、認識履歴記憶部に同一の認識語があるか否かを照合する問い合わせ手段と、同一の認識語があるとき尤度補正手段に対して尤度を低く補正させる尤度低補正手段と、閾値と、尤度補正手段で補正した補正値と閾値とを比較する補正値／閾値比較手段とを有することを特徴とする。

認識履歴記憶部は、誤認識である可能性が高い語彙を記憶する認識語彙記憶手段と、認識語彙に対応する尤度補正値を記憶する尤度補正値記憶手段とを有することを特徴とする。

認識結果評価手段は、利用状態検出手段から利用者の利用状態の検出結果を取得する利用状態取得手段と、認識履歴記憶部に同一の認識語があるか否かを照合する問い合わせ手段と、同一の認識語があるとき尤度補正手段に対して尤度を低く補正させる尤度低補正手段と、閾値と、尤度補正手段で補正した補正値と閾値とを比較する補正値／閾値比較手段とを有することを特徴とする。

本発明の音声対話システムは、音声入力装置と音声出力装置とを有する音声対話システムにおいて、音声入力装置は、利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状態を検出する利用状態検出手段と、音声認識結果を利用状態に応じて評価する認識結果評価手段とを備え、認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段を有し、音声出力装置は、発声のための音声データを生成する音声合成手段と、対話のため音声データを出力する音声出力部とを有することを特徴とする。

利用状態検出手段は、利用者の現在の利用状況を検出する利用有無検出手段と、利用意向を検出する利用意志有無検出手段とを有することを特徴とする。

本発明の音声対話システムは、音声入力装置と音声出力装置とを有する音声対話システムにおいて、音声入力装置は、利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、補正結果に基づいて音声認識結果を評価する認識結果評価手段とを備え、サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を認識履歴記憶部に登録する手段を有し、認識結果評価手段は、次回の音声認識結果取得時に認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段を有し、音声出力装置は、発声のための音声データを生成する音声合成手段と、対話のため音声データを出力する音声出力部とを有することを特徴とする。

本発明の音声対話システムは、音声入力装置と音声出力装置とを有する音声対話システムにおいて、音声入力装置は、利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状況または利用意向を把握検出する利用状態検出手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、利用者の利用状態または尤度の補正結果に基づいて音声認識結果を評価する認識結果評価手段とを備え、サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を認識履歴記憶部に登録する手段を有し、認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段と、次回の音声認識結果取得時に認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段とを有し、音声出力装置は、発声のための音声データを生成する音声合成手段と、対話のため音声データを出力する音声出力部とを有することを特徴とする。

本発明の音声対話方法は、音声入力装置と音声出力装置とを有する音声対話方法において、音声入力装置は、音声入力部により利用者の音声を入力するステップと、音声認識手段により音声認識を行うステップと、対話制御手段により対話シナリオを選択し実行するステップと、利用状態検出手段により利用者の現在の利用状態を検出するステップと、認識結果評価手段により音声認識結果を利用状態に応じて評価するステップとを備え、認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却するステップを有し、音声出力装置は、音声合成手段により発声のための音声データを生成するステップと、音声出力部により対話のため音声データを出力するステップとを有することを特徴とする。

本発明の音声対話方法は、音声入力装置と音声出力装置とを有する音声対話方法において、音声入力装置は、音声入力部により利用者の音声を入力するステップと、音声認識手段により音声認識を行うステップと、対話制御手段により対話シナリオを選択し実行するステップと、サービス中断手段により利用者が任意のタイミングでサービスの中断を指示するステップと、誤認識である可能性が高い語彙を認識履歴記憶部に記憶するステップと、尤度補正手段により認識履歴記憶部に登録している認識語の尤度を補正するステップと、補正結果に基づいて認識結果評価手段により音声認識結果を評価するステップとを備え、サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を認識履歴記憶部に登録するステップを有し、認識結果評価手段は、次回の音声認識結果取得時に認識履歴記憶部に同一の認識語があるか否かを照合するステップと、一致するものがあれば尤度低補正手段により尤度補正手段に対して尤度を低く補正させるステップと、尤度補正手段で補正した補正値と閾値とを比較するステップと、補正値が閾値を下回っていれば誤認識と判断して音声認識結果を棄却するステップとを有し、音声出力装置は、音声合成手段により発声のための音声データを生成するステップと、音声出力部により対話のため音声データを出力するステップとを有することを特徴とする。

本発明の音声対話方法は、音声入力装置と音声出力装置とを有する音声対話方法において、音声入力装置は、音声入力部により利用者の音声を入力するステップと、音声認識手段により音声認識を行うステップと、対話制御手段により対話シナリオを選択し実行するステップと、利用状態検出手段により利用者の現在の利用状況または利用意向を把握検出するステップと、サービス中断手段により利用者が任意のタイミングでサービスの中断を指示するステップと、誤認識である可能性が高い語彙を認識履歴記憶部に記憶するステップと、尤度補正手段により認識履歴記憶部に登録している認識語の尤度を補正するステップと、認識結果評価手段により利用者の利用状態または尤度の補正結果に基づいて音声認識結果を評価するステップとを備え、サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を認識履歴記憶部に登録するステップを有し、認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却するステップと、次回の音声認識結果取得時に認識履歴記憶部に同一の認識語があるか否かを照合するステップと、一致するものがあれば尤度低補正手段により尤度補正手段に対して尤度を低く補正させるステップと、前記尤度補正手段で補正した補正値と閾値とを比較するステップと、補正値が閾値を下回っていれば誤認識と判断して音声認識結果を棄却するステップとを有し、音声出力装置は、音声合成手段により発声のための音声データを生成するステップと、音声出力部により対話のため音声データを出力するステップとを有することを特徴とする音声対話方法。

本発明のプログラムは、音声入力装置と音声出力装置とを有する音声対話システム用のプログラムであって、音声入力装置を、音声入力部から利用者の音声を入力する手段と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状況または利用意向を把握検出する利用状態検出手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、利用者の利用状態または尤度の補正結果に基づいて音声認識結果を評価する認識結果評価手段として機能させ、サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を認識履歴記憶部に登録する手段として機能させ、認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段と、次回の音声認識結果取得時に認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段として機能させ、音声出力装置を、発声のための音声データを生成する音声合成手段と、対話のため音声データを出力する音声出力部として機能させることを特徴とする。

認識結果評価手段は、利用状態検出手段から利用者の利用状態の検出結果を取得する利用状態取得手段と、認識履歴記憶部に同一の前記認識語があるか否かを照合する問い合わせ手段と、同一の前記認識語があるとき尤度補正手段に対して尤度を低く補正させる尤度低補正手段と、尤度補正手段で補正した補正値と閾値とを比較する補正値／閾値比較手段として機能させることを特徴とするプログラム。

本発明の音声対話システム、音声対話方法、音声入力装置、プログラムによれば、誤認識を自動的に棄却できるという効果がある。

その理由は、利用者の利用者の現在の利用状況または利用意向を検出する利用状態検出手段、または、利用者がサービスを中断したとき誤認識があったと判断するサービス中断手段を音声入力装置に設けているためである。

次に、本発明を実施するための最良の形態について詳細に説明する。

本発明の第１実施例の音声対話システム１０について、図面を参照して説明する。

図１は、本発明の音声対話システム１０を示す概略構成ブロック図、図２は、図１中の利用状態検出手段３１０を示す構成ブロック図、図３は、図１中の認識結果評価手段３３０を示す構成ブロック図である。

図１を参照すると、音声対話システム１０は、音声入力装置１１と、音声出力装置１２とで構成する。

音声出力装置１２は、対話のための音声を出力する音声出力部１１０と、音声対話システム１０が発声するための音声データを生成する音声合成手段２１０とを備える。

音声入力装置１１は、利用者の音声を入力する音声入力部１００と、利用者が発話した音声を認識する音声認識手段２００と、対話シナリオを選択し対話の進行を制御する対話制御手段２２０と、利用者の現在の利用状態を把握検出する利用状態検出手段３１０と、音声認識結果を利用状態に応じて評価する認識結果評価手段３３０とを備える。

また、音声入力装置１１は、磁気ディスク装置を備え、磁気ディスク装置は、対話シナリオを記憶する対話シナリオ記憶部２３０と、語彙をルールごとにまとめて記憶する音声認識ルール記憶部２４０とを備える。なお、磁気ディスク装置の設置台数は、１台、複数台の何れでもよい。対話シナリオ記憶部２３０は、対話制御手段２２０で使用する対話の進行に関する情報を記憶する。音声認識ルール記憶部２４０は、発話を認識するために利用する語彙をデータベースとして格納する。音声認識手段２００は、音声認識ルール記憶部２４０を使用する。

図２を参照すると、利用状態検出手段３１０は、利用者の現在の利用状況を検出する利用有無検出手段３１０１と、利用意向を検出する利用意志有無検出手段３１０２とを備える。従って、利用有無検出手段３１０１は、利用者が音声対話システム１０を利用しているか否かを検出し、利用意志有無検出手段３１０２は、利用者が音声対話システム１０を利用する意思があるか否かを検出する。

図３を参照すると、認識結果評価手段３３０は、利用状態検出手段３１０から利用者の利用状態の検出結果を取得する利用状態取得手段３３０１と、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する棄却手段３３０２とを備える。認識結果評価手段３３０は、音声認識手段２００が求めた認識結果を利用状態検出手段３１０の検出情報を元に評価し、対話制御手段２２０に評価結果を伝え、対話制御手段２２０が、対話の進行を制御する。

次に、上述のように構成した音声対話システム１０の動作について、図面を参照して説明する。

図４は、音声対話システム１０の動作を説明するためのフローチャートである。

まず対話制御手段２２０は、実行する対話を対話シナリオ記憶部２３０から読み出して選択する（Ｓ４１）。

音声合成手段２１０は、選択した対話に基づいて質問発話の音声データを生成する（Ｓ４２）。

質問に対する利用者の応答発話を聞き取るために、音声認識手段２００は、適切な認識ルールを音声認識ルール記憶部２４０から読み出す（Ｓ４３）。

音声入力部１００は、利用者の応答発話音声を音声対話システム１０内に取り込む（Ｓ４４）。

音声認識手段２００は、取り込んだ利用者の応答発話音声データの音声認識を行う（Ｓ４５）。

音声認識手段２００は、認識結果を認識結果評価手段３３０に渡し、認識結果評価手段３３０は、利用状態検出手段３１０から現在の利用者の利用状態を取得する（Ｓ４６）。

認識結果評価手段３３０は、利用有無検出手段３１０１により利用状態がＯＦＦ（オフ）状態を検出したとき、雑音による誤認識が行われたと見做し認識結果を棄却する（Ｓ４７）。

認識結果評価手段３３０は、評価結果を対話制御手段２２０に通知し、次の対話状態に遷移する。

次に、図１中の利用状態検出手段３１０の具体例について、以下に説明する。

利用者が利用しているまたは利用の意思があることを検知するために、利用状態検出手段３１０は、何らかのセンサまたは認識を行う必要がある。利用意志有無検出手段３１０２は、例えばカメラで人物を観察し、顔が音声対話システム１０側を向いている、または視線が音声対話システム１０側を向いている、話しかけている、またはジェスチャを行っているなどを認識し、利用者の利用意思を検出する。

ロボット型の音声対話システム１０においては、様々なセンサを搭載していることが多く、これらをうまく使うことで目的が達成できる可能性が高い。利用状態検出手段３１０は、例えば超音波センサ、赤外線センサ、近接センサ、ＩＤタグを単独で、もしくは複数組み合わせることで利用者が音声対話システム１０と相対していることを検知し、利用中であることを検出できる。

以上説明したように、音声対話システム１０は、利用者の利用意思を取得する機能を設けることで、周囲雑音か利用者の発話かの弁別をより高い信頼度で行うことができ、周囲雑音を棄却できるという効果がある。

次に、第２実施例の音声対話システム２０について、図面を参照して説明する。

図５は、本発明の音声対話システム２０を示す概略構成ブロック図、図６は、図５中のサービス中断手段３００を示す構成ブロック図、図７は、図１中の認識結果評価手段３４０を示す構成ブロック図、図８は、図５中の認識履歴記憶部４００を示す構成ブロック図である。なお、図１に示す音声対話システム１０と同一構成要素は、同一符号で表示する。

図５を参照すると、音声対話システム２０は、音声入力装置２１と、音声出力装置１２とで構成する。

音声出力装置１２、音声入力部１００、音声認識手段２００、対話制御手段２２０、対話シナリオ記憶部２３０、音声認識ルール記憶部２４０は、実施例１と同じ構成要素である。

図６を参照すると、サービス中断手段３００は、誤認識判断手段３００１と、認識語登録手段３００２とを備え、利用者がサービスを任意のタイミングで中断指示できる手段を提供する。

図５、８を参照すると、認識履歴記憶部４００は、認識語彙記憶手段４００１と、尤度補正値記憶手段４００２とを備える。認識語彙記憶手段４００１は、過去にサービスを中断した認識語を記憶する。ここに記憶している認識語は、サービスを中断したものであるから利用者の意図と違う（つまり誤認識）可能性が高い語彙といえる。このような語彙を再度選ぶ（利用者が発話する）可能性は低いので、当該語彙の尤度は、他の認識語彙よりも低く評価する。尤度補正値記憶手段４００２は、各認識語彙に対応する尤度補正値を記憶する。

尤度補正手段３２０は、認識履歴記憶部４００に記憶されている語彙について尤度を低く補正する手段を提供する。

図５、７を参照すると、認識結果評価手段３４０は、認識履歴記憶部４００に同一の認識語があるか否かを照合する問い合わせ手段３４０１と、尤度補正手段３２０に対して尤度を低く補正させる尤度低補正手段３４０２と、閾値３４０４と、尤度補正手段３２０で補正した補正値と閾値３４０４とを比較する補正値／閾値比較手段３４０３と、棄却手段３４０５とを備える。尤度低補正手段３４０２は、同一の認識語があるとき尤度補正手段３２０に対して尤度を低く補正させる。棄却手段３４０５は、補正値が閾値３４０４を下回っていれば誤認識と判断して音声認識結果を棄却する。

次に、上述のように構成した音声対話システム２０の動作について、図面を参照して説明する。

図９は、音声対話システム２０の動作を説明するためのフローチャートである。

図９を参照すると、（Ｓ５１）〜（Ｓ５５）までは、図４に示す実施例１の（Ｓ４１）〜（Ｓ４５）と同じである故、説明を省略する。

音声認識手段２００は、認識結果を認識結果評価手段３４０に渡し、認識結果評価手段３４０は、認識履歴記憶部４００に同じ認識語が無いか否かを問い合わせる（Ｓ５６）。

認識結果評価手段３４０は、同じ認識語が存在する場合、誤認識の可能性が高いため尤度補正手段３２０に対して尤度を低く補正させる（Ｓ５７）。

認識結果評価手段３４０は、補正値／閾値比較手段３４０３により補正値と閾値３４０４とを比較する（Ｓ５８）。

比較結果、補正値が閾値３４０４を下回っていれば、認識結果評価手段３４０は、棄却手段３４０５により誤認識と判断して音声認識結果を棄却し、上記（Ｓ５４）に戻る。

比較結果、補正値が閾値３４０４以上のとき、認識結果評価手段３４０は、認識結果に基づいて対応するサービスを開始する（Ｓ５９）。

サービス中断手段３００は、サービス開始後に利用者が中断要求をしたか否かを判断する（Ｓ６０）。サービス中断手段３００は、中断要求を検出すると、利用者が期待しないサービス（誤認識）であったと判断し、認識履歴記憶部４００に語彙を記憶させ（Ｓ６１）、サービスを終了する（Ｓ６２）。なお、認識結果評価手段３４０は、補正する尤度をサービス実行を繰り返す度にだんだん小さくし、逆に同じ語彙が重ねて記憶される場合は補正する尤度をだんだん大きくするようにすることで影響を及ぼす時間の範囲を制御できる。

次に、図５中のサービス中断手段３００の具体例について、以下に説明する。

サービス中断手段３００は、中断要求信号を伝達する方法として、図５中に示す物理的なＯＮ／ＯＦＦを２値で検出できるスイッチやリモコンなどの電気信号を利用する。また、サービス中断手段３００は、例えば静電容量素子のように連続的アナログ値を検出し閾値３４０４でＯＮ／ＯＦＦ（オン／オフ）を判定する。さらに、サービス中断手段３００は、マイクを用いて音圧や音量などを利用し、利用者が大声を出したり、手を叩くなどの特徴的な動作を検出したり、カメラで人物の動作（ジェスチャ）を認識して意思を検出する。

次に、図５中の認識履歴記憶部４００と尤度補正手段３２０との具体的動作について、図１０を参照して説明する。

図１０を参照すると、認識履歴記憶部４００は、過去に誤認識の可能性が高いと判断した認識語彙と各認識語彙に対応する尤度補正値との２種類のデータを保持している。認識履歴記憶部４００は、最初は何も認識を行っていないため、何も登録していない（状態０）。

ここで利用者が「おもしろい」と発話し、音声認識結果（例０）を得ると、「おはよう」が尤度１位であるので対話制御手段２２０は、「おはよう」に応答するサービス行動を開始する。サービスとしては、例えば今日の天気予報やニュースを知らせるようなサービスがある。

このサービス開始後に利用者が何らかの方法（例えば停止スイッチを押す）で中断の意思表示をした場合、サービス中断手段３００は、認識履歴記憶部４００に「おはよう」が誤認識であった可能性が高いとして尤度補正値の初期値「−３０」で登録を行い、認識履歴記憶部４００は、（状態１）になる。

この状態で利用者が再び「おもしろい」と発話し、認識結果評価手段３４０が認識結果（例１）を受け取ったとすると、認識結果評価手段３４０は、認識履歴記憶部４００に登録している「おはよう」という認識語彙とその尤度補正値「−３０」を取り出し、尤度補正手段３２０に引き渡す。

尤度補正手段３２０は、認識結果（例１）に格納されている「おはよう」の尤度「９０」と、「おはよう」に対する現在の尤度補正値「−３０」を合わせて尤度を「６０」とする。この結果、認識結果（例１）における尤度の最も高い認識語彙は、「おもしろい」となる。

１度評価が終わると、認識結果評価手段３３０は、認識履歴記憶部４００に登録している全ての認識語彙の尤度補正値に「１０」を加えて補正を弱め、認識履歴記憶部４００は、（状態２）になる。補正を弱めた結果、尤度補正値が０になった認識語彙は、登録から抹消する。

ここで、認識結果評価手段３４０は、利用者が「ハロー」と発話して音声認識結果（例２）を受け取ると、今度は「おはよう」は、尤度が補正の結果「４５」になるが、ここで閾値３４０４を５０に設定しているとすると、尤度が閾値３４０４を下回るため「おはよう」を棄却する。その結果、認識結果評価手段３４０は、「ハロー」を選択する。なお、音声認識結果は、各発話に対して独立事象である。

認識結果評価手段３４０は、評価が終わると、１回目と同様に認識履歴記憶部４００の尤度補正値に全て「１０」を加え、認識履歴記憶部４００は、（状態３）になる。

認識結果評価手段３４０は、引き続き今度は周囲雑音のため音声認識結果（例３）を受け取る。サービス中断手段３００は、「けってい」に応答するサービスを開始後に利用者が中断すると、同様に「けってい」を誤認識と判断して認識履歴記憶部４００に登録し（状態４）になる。

周囲雑音により再度同じ音声認識結果（例４）を受け取ると、認識結果評価手段３４０は、尤度補正手段３２０によって「けってい」の尤度を「３０」に補正し、尤度「３０」が閾値３４０４の「５０」を下回るため棄却する。

認識結果評価手段３４０は、評価が終わると、認識履歴記憶部４００の尤度補正値に全て「１０」を加え、認識履歴記憶部４００は、（状態５）になる。

このようにして、ユーザの発話や周囲雑音による誤認識を一定時間漸減的に低く評価することにより、自動的に認識語彙を棄却し、より正確な認識結果を得ることができる。

以上説明したように、音声対話システム２０は、利用者がサービスを中断した場合は誤認識があったと判断し、その認識語彙を記憶して次回音声認識時に尤度を補正する機能を設けることで、利用者に確認対話を行わなくても誤認識を推測できるという効果がある。

また、音声対話システム２０は、記憶した誤認識を推測する認識語彙のリストが雑音辞書の一部代替として機能するため、辞書作成の手間を軽減できるという効果がある。

次に、第３実施例の音声対話システム３０について、図面を参照して説明する。

図１１は、音声対話システム３０を示す概略構成ブロック図、図１２は、図１１中の認識結果評価手段３５０を示す構成ブロック図である。なお、図１、図５に各々示す音声対話システム１０、音声対話システム２０と同一構成要素は、同一符号で表示する。

図１１を参照すると、音声対話システム３０は、音声入力装置３１と、音声出力装置１２とで構成する。

音声出力装置１２、音声入力部１００、音声認識手段２００、対話制御手段２２０、対話シナリオ記憶部２３０、音声認識ルール記憶部２４０、利用状態検出手段３１０は、実施例１の音声対話システム１０と同じ構成要素である。また、サービス中断手段３００、尤度補正手段３２０、認識履歴記憶部４００は、実施例２の音声対話システム２０と同じ構成要素である。

上述の如く、音声対話システム３０は、音声対話システム１０と音声対話システム２０とを組み合わせた構成である。従って、認識結果評価手段３５０は、図１２に示すように、認識結果評価手段３３０と、認識結果評価手段３４０との両方の構成要素を備える。

以上のように、音声対話システム３０は、既述の音声対話システム１０と音声対話システム２０とを組み合わせたものであり、説明を省略する。

本発明によれば、家庭向けパーソナルロボットや情報家電製品、車載用ナビゲーションシステムといった用途に適用できる。また、街頭に置かれるＫＩＯＳＫ端末や自動販売機、企業や官公庁で使われるオフィス機器といった用途にも適用可能である。

本発明の音声対話システムの第１実施例を示す概略構成ブロック図である。図１中の利用状態検出手段を示す構成ブロック図である。図１中の認識結果評価手段を示す構成ブロック図である。本発明の第１実施例の音声対話システムの動作を説明するためのフローチャートである。本発明の音声対話システムの第２実施例を示す概略構成ブロック図である。図５中のサービス中断手段を示す構成ブロック図である。図５中の認識結果評価手段を示す構成ブロック図である。図５中の認識履歴記憶部を示す構成ブロック図である本発明の第２実施例の音声対話システムの動作を説明するためのフローチャートである。図５中の認識履歴記憶部と尤度補正手段との動作を説明するための図である。本発明の音声対話システムの第３実施例を示す概略構成ブロック図である。図１１中の認識結果評価手段を示す構成ブロック図である。

符号の説明

１０音声対話システム
１１音声入力装置
１２音声出力装置
２０音声対話システム
２１音声入力装置
３０音声対話システム
３１音声入力装置
１００音声入力部
１１０音声出力部
２００音声認識手段
２１０音声合成手段
２２０対話制御手段
２３０対話シナリオ記憶部
２４０音声認識ルール記憶部
３００サービス中断手段
３００１誤認識判断手段
３００２認識語登録手段
３１０利用状態検出手段
３１０１利用有無検出手段
３１０２利用意志有無検出手段
３２０尤度補正手段
３３０認識結果評価手段
３３０１利用状態取得手段
３３０２棄却手段
３４０認識結果評価手段
３４０１問い合わせ手段
３４０２尤度低補正手段
３４０３補正値／閾値比較手段
３４０４閾値
３４０５棄却手段
３５０認識結果評価手段
４００認識履歴記憶部
４００１認識語彙記憶手段
４００２尤度補正値記憶手段

Claims

利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状況または利用意向を把握検出する利用状態検出手段と、音声認識結果を利用状態に応じて評価する認識結果評価手段とを備え、前記認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段を有することを特徴とする音声入力装置。
利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、前記認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、補正結果に基づいて音声認識結果を評価する認識結果評価手段とを備え、前記サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を前記認識履歴記憶部に登録する手段を有し、前記認識結果評価手段は、次回の音声認識結果取得時に前記認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段を有することを特徴とする音声入力装置。
利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状況または利用意向を把握検出する利用状態検出手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、前記認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、利用者の利用状態または尤度の補正結果に基づいて音声認識結果を評価する認識結果評価手段とを備え、前記サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を前記認識履歴記憶部に登録する手段を有し、前記認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段と、次回以降の音声認識では採用しない候補として認識語を前記認識履歴記憶部に登録し、次回の音声認識結果取得時に前記認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段とを有することを特徴とする音声入力装置。
前記認識結果評価手段は、前記利用状態検出手段から利用者の利用状態の検出結果を取得する利用状態取得手段を有することを特徴とする請求項１記載の音声入力装置。
前記認識結果評価手段は、前記認識履歴記憶部に同一の前記認識語があるか否かを照合する問い合わせ手段と、同一の前記認識語があるとき前記尤度補正手段に対して尤度を低く補正させる尤度低補正手段と、閾値と、前記尤度補正手段で補正した補正値と前記閾値とを比較する補正値／閾値比較手段とを有することを特徴とする請求項２記載の音声入力装置。
前記認識履歴記憶部は、誤認識である可能性が高い語彙を記憶する認識語彙記憶手段と、認識語彙に対応する尤度補正値を記憶する尤度補正値記憶手段とを有することを特徴とする請求項２または５記載の音声入力装置。
前記認識結果評価手段は、前記利用状態検出手段から利用者の利用状態の検出結果を取得する利用状態取得手段と、前記認識履歴記憶部に同一の前記認識語があるか否かを照合する問い合わせ手段と、同一の前記認識語があるとき前記尤度補正手段に対して尤度を低く補正させる尤度低補正手段と、閾値と、前記尤度補正手段で補正した補正値と前記閾値とを比較する補正値／閾値比較手段とを有することを特徴とする請求項３記載の音声入力装置。
音声入力装置と音声出力装置とを有する音声対話システムにおいて、前記音声入力装置は、利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状態を検出する利用状態検出手段と、音声認識結果を利用状態に応じて評価する認識結果評価手段とを備え、前記認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段を有し、前記音声出力装置は、発声のための音声データを生成する音声合成手段と、対話のため前記音声データを出力する音声出力部とを有することを特徴とする音声対話システム。
前記利用状態検出手段は、利用者の現在の利用状況を検出する利用有無検出手段と、利用意向を検出する利用意志有無検出手段とを有することを特徴とする請求項８記載の音声対話システム。
前記認識結果評価手段は、前記利用状態検出手段から利用者の利用状態の検出結果を取得する利用状態取得手段を有することを特徴とする請求項８記載の音声対話システム。
音声入力装置と音声出力装置とを有する音声対話システムにおいて、前記音声入力装置は、利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、前記認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、補正結果に基づいて音声認識結果を評価する認識結果評価手段とを備え、前記サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を前記認識履歴記憶部に登録する手段を有し、前記認識結果評価手段は、次回の音声認識結果取得時に前記認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段を有し、前記音声出力装置は、発声のための音声データを生成する音声合成手段と、対話のため前記音声データを出力する音声出力部とを有することを特徴とする音声対話システム。
前記認識結果評価手段は、前記認識履歴記憶部に同一の前記認識語があるか否かを照合する問い合わせ手段と、同一の前記認識語があるとき前記尤度補正手段に対して尤度を低く補正させる尤度低補正手段と、閾値と、前記尤度補正手段で補正した補正値と前記閾値とを比較する補正値／閾値比較手段とを有することを特徴とする請求項１１記載の音声対話システム。
前記認識履歴記憶部は、誤認識である可能性が高い語彙を記憶する認識語彙記憶手段と、認識語彙に対応する尤度補正値を記憶する尤度補正値記憶手段とを有することを特徴とする請求項１１または１２記載の音声対話システム。
音声入力装置と音声出力装置とを有する音声対話システムにおいて、前記音声入力装置は、利用者の音声を入力する音声入力部と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状況または利用意向を把握検出する利用状態検出手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、前記認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、利用者の利用状態または尤度の補正結果に基づいて音声認識結果を評価する認識結果評価手段とを備え、前記サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を前記認識履歴記憶部に登録する手段を有し、前記認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段と、次回の音声認識結果取得時に前記認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段とを有し、前記音声出力装置は、発声のための音声データを生成する音声合成手段と、対話のため前記音声データを出力する音声出力部とを有することを特徴とする音声対話システム。
前記認識結果評価手段は、前記利用状態検出手段から利用者の利用状態の検出結果を取得する利用状態取得手段と、前記認識履歴記憶部に同一の前記認識語があるか否かを照合する問い合わせ手段と、同一の前記認識語があるとき前記尤度補正手段に対して尤度を低く補正させる尤度低補正手段と、閾値と、前記尤度補正手段で補正した補正値と前記閾値とを比較する補正値／閾値比較手段とを有することを特徴とする請求項１４記載の音声対話システム。
音声入力装置と音声出力装置とを有する音声対話方法において、前記音声入力装置は、音声入力部により利用者の音声を入力するステップと、音声認識手段により音声認識を行うステップと、対話制御手段により対話シナリオを選択し実行するステップと、利用状態検出手段により利用者の現在の利用状態を検出するステップと、認識結果評価手段により音声認識結果を利用状態に応じて評価するステップとを備え、前記認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却するステップを有し、前記音声出力装置は、音声合成手段により発声のための音声データを生成するステップと、音声出力部により対話のため前記音声データを出力するステップとを有することを特徴とする音声対話方法。
音声入力装置と音声出力装置とを有する音声対話方法において、前記音声入力装置は、音声入力部により利用者の音声を入力するステップと、音声認識手段により音声認識を行うステップと、対話制御手段により対話シナリオを選択し実行するステップと、サービス中断手段により利用者が任意のタイミングでサービスの中断を指示するステップと、誤認識である可能性が高い語彙を認識履歴記憶部に記憶するステップと、尤度補正手段により前記認識履歴記憶部に登録している認識語の尤度を補正するステップと、補正結果に基づいて認識結果評価手段により音声認識結果を評価するステップとを備え、前記サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を前記認識履歴記憶部に登録するステップを有し、前記認識結果評価手段は、次回の音声認識結果取得時に前記認識履歴記憶部に同一の前記認識語があるか否かを照合するステップと、一致するものがあれば尤度低補正手段により前記尤度補正手段に対して尤度を低く補正させるステップと、前記尤度補正手段で補正した補正値と閾値とを比較するステップと、補正値が閾値を下回っていれば誤認識と判断して音声認識結果を棄却するステップとを有し、前記音声出力装置は、音声合成手段により発声のための音声データを生成するステップと、音声出力部により対話のため前記音声データを出力するステップとを有することを特徴とする音声対話方法。
音声入力装置と音声出力装置とを有する音声対話方法において、前記音声入力装置は、音声入力部により利用者の音声を入力するステップと、音声認識手段により音声認識を行うステップと、対話制御手段により対話シナリオを選択し実行するステップと、利用状態検出手段により利用者の現在の利用状況または利用意向を把握検出するステップと、サービス中断手段により利用者が任意のタイミングでサービスの中断を指示するステップと、誤認識である可能性が高い語彙を認識履歴記憶部に記憶するステップと、尤度補正手段により前記認識履歴記憶部に登録している認識語の尤度を補正するステップと、認識結果評価手段により利用者の利用状態または尤度の補正結果に基づいて音声認識結果を評価するステップとを備え、前記サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を前記認識履歴記憶部に登録するステップを有し、前記認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却するステップと、次回の音声認識結果取得時に前記認識履歴記憶部に同一の前記認識語があるか否かを照合するステップと、一致するものがあれば尤度低補正手段により前記尤度補正手段に対して尤度を低く補正させるステップと、前記尤度補正手段で補正した補正値と閾値とを比較するステップと、補正値が閾値を下回っていれば誤認識と判断して音声認識結果を棄却するステップとを有し、前記音声出力装置は、音声合成手段により発声のための音声データを生成するステップと、音声出力部により対話のため前記音声データを出力するステップとを有することを特徴とする音声対話方法。
音声入力装置と音声出力装置とを有する音声対話システム用のプログラムであって、前記音声入力装置を、音声入力部から利用者の音声を入力する手段と、音声認識を行う音声認識手段と、対話シナリオを選択し実行する対話制御手段と、利用者の現在の利用状況または利用意向を把握検出する利用状態検出手段と、利用者が任意のタイミングでサービスの中断を指示するサービス中断手段と、誤認識である可能性が高い語彙を記憶する認識履歴記憶部と、前記認識履歴記憶部に登録している認識語の尤度を補正する尤度補正手段と、利用者の利用状態または尤度の補正結果に基づいて音声認識結果を評価する認識結果評価手段として機能させ、前記サービス中断手段は、音声認識結果が得られサービスの実行を開始したときに利用者が中断を指示した場合、音声認識結果は誤認識であった可能性が高いと判断し、次回以降の音声認識では採用しない候補として認識語を前記認識履歴記憶部に登録する手段として機能させ、前記認識結果評価手段は、音声認識結果が得られた時点で利用者が利用していなければ周囲雑音による誤認識と判断して音声認識結果を棄却する手段と、次回の音声認識結果取得時に前記認識履歴記憶部に照合し、一致するものがあれば尤度補正手段によって尤度を補正した上で、閾値を下回っていれば誤認識と判断して音声認識結果を棄却する手段として機能させ、前記音声出力装置を、発声のための音声データを生成する音声合成手段と、対話のため前記音声データを出力する音声出力部として機能させるためのプログラム。
前記認識結果評価手段は、前記利用状態検出手段から利用者の利用状態の検出結果を取得する利用状態取得手段と、前記認識履歴記憶部に同一の前記認識語があるか否かを照合する問い合わせ手段と、同一の前記認識語があるとき前記尤度補正手段に対して尤度を低く補正させる尤度低補正手段と、前記尤度補正手段で補正した補正値と前記閾値とを比較する補正値／閾値比較手段として機能させるための請求項１９記載のプログラム。