JP2007272123A

JP2007272123A - 音声操作システム

Info

Publication number: JP2007272123A
Application number: JP2006100540A
Authority: JP
Inventors: Kinichi Wada; 錦一和田; Tsukasa Shimizu; 司清水; Hiroyuki Hoshino; 博之星野; Hiroaki Sekiyama; 博昭関山; Toshiyuki Nanba; 利行難波; Shinji Sugiyama; 真治杉山
Original assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Priority date: 2006-03-31
Filing date: 2006-03-31
Publication date: 2007-10-18

Abstract

【課題】オペレータを呼び出すか否かをシステムの利用開始時の最初の発話の入力から容易に判断することができ、誤応答を低減することができる音声操作システムを提供する。
【解決手段】音声操作システム１０を、利用者の発話による音声を入力する音声入力部１２と、該入力された音声を認識してテキスト変換する音声認識部１４と、該入力された音声及び前記変換されたテキストの少なくとも一方に基づいて、システムが正しい応答情報を生成できるか否かを判定する発話判定部１８と、正しい応答情報を生成できると判定されたときに、発話の内容に適した応答情報を生成して応答するシステム応答部２０と、正しい応答情報を生成できないと判定されたときに、オペレータを呼び出すオペレータ呼出部と、を含めて構成する。
【選択図】図１

Description

本発明は、音声操作システムに係り、特に、音声認識技術を用い、音声で操作可能な音声操作システムに関する。

近年、音声認識技術を利用した対話操作が可能なシステムが、カーナビゲーションシステムなどに広く用いられている。しかしながら、音声認識に誤りがあったり、音声認識の結果は正しいが発話内容が複雑であったりすると、システムの誤応答が生じる。

そこで、利用者がシステムに対して対話的に操作を進めていく途中で、操作不能になったことをトリガとしてオペレータを呼び出す音声対話システムが知られている（例えば、特許文献１参照。）。

このシステムでは、利用者が特定の単語音声（例：オペレータ）を入力した場合や、利用者が物理的にオペレータ呼び出しボタンを押した場合、発話に対応する応答をシステムが有するデータベースから探し出すことができなかった回数が限界回数を超えた場合などにオペレータを呼び出すようにしている。

さらにまた、このシステムでは、利用者毎の対話履歴を予め記録しておき、この対話履歴に基づいてオペレータを呼び出すか否かを判断している。具体的には、記録しておいた対話履歴に基づいて算出した利用者の応答ごとの平均反応時間が長すぎるか短すぎる場合、記録しておいた対話履歴に基づいて算出した利用者の入力音声の音質の評価値が高すぎるか低すぎる場合、記録しておいた対話履歴に基づいて求めた利用者がシステムと対話を開始してからの対話時間と対話数による対話進捗度が著しく低い場合などに、オペレータを呼び出すようにしている。
特開２００２−２０２８８２号公報

しかしながら、上記従来の音声対話システムでは、システムとの対話が開始されてから時間がある程度経過してからオペレータを呼び出すか否かを判定している。すなわち、対話の最初から判定するわけではないため、最初の段階でシステムとの対話が何度も失敗するような事態も生じ得る。特に、システムに不慣れな利用者がそのシステムを利用した場合には、最初の段階でシステムが許容できないような発話をする可能性が高く、結果として何度も失敗した後でオペレータを呼び出すことになる。すなわち、ある程度対話が進んだところでシステムが誤応答し、最初から全てやり直すような事態が生じる場合もある。

これではシステムとの間で正しいやりとりを行えるようになるまで時間がかかり、利用者にとって非常に使い勝手が悪く、利便性に劣る。

また、従来の音声対話システムでは、利用者毎の過去の対話履歴を用いてオペレータを呼び出すか否かを判断しているため、システムが複雑化する、という問題もある。

本発明は上述した問題を解決するためになされたものであり、オペレータを呼び出すか否かをシステムの利用開始時の最初の発話の入力から容易に判断することができ、誤応答を低減することができる音声操作システムを提供することを目的とする。

上記目的を達成するために、本発明の音声操作システムは、利用者の発話による音声を入力する音声入力手段と、前記入力された音声を認識してテキスト変換する音声認識手段と、前記入力された音声及び前記変換されたテキストの少なくとも一方に基づいて、システムが正しい応答情報を生成できるか否かを判定する判定手段と、前記判定手段で正しい応答情報を生成できると判定されたときに、前記発話の内容に適した応答情報を生成して応答する応答手段と、前記判定手段で正しい応答情報を生成できないと判定されたときに、オペレータを呼び出す呼出手段と、を含んで構成されている。

このように、入力された音声及び音声から変換されたテキストの少なくとも一方に基づいて、システムが正しい応答情報を生成できるか否かを判定し、正しい応答情報を生成できると判定したときには発話の内容に適した応答情報を生成して応答し、正しい応答情報を生成できないと判定したときにはオペレータを呼び出すようにしたため、オペレータを呼び出すか否かをシステムの利用開始時の最初の発話の入力から容易に判断することができ、誤応答を低減することができる。また、利用者毎の過去の対話履歴は用いないため、簡易にシステムを構築できる。

なお、前記判定手段は、前記入力された音声の時間長が閾値を超える場合、前記変換されたテキストが示す単音節の個数が閾値を超える場合、及び正しい応答情報を生成できないと判定すべき予め定められた文字列が前記変換されたテキストに含まれている場合、の少なくとも１つの場合に、正しい応答情報を生成できないと判定することができる。

これにより、システムが正しい応答情報を生成できるか否かを極めて容易に判定できる。

以上説明したように、本発明によれば、オペレータを呼び出すか否かをシステムの利用開始時の最初の発話の入力から容易に判断することができ、誤応答を低減することができる、という優れた効果を奏する。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。

図１は、本発明の実施の形態に係る音声操作システム１０の概略的な構成を示すブロック図である。

音声操作システム１０は、利用者の発話による音声を入力するマイク等の音声入力部１２と、入力された音声を認識してテキスト変換する音声認識部１４と、音声認識辞書を記憶した音声認識データベース（ＤＢ）１６とを備えている。

音声認識部１４は、音声入力部１２に入力された音声について、音声認識データベース１６に記憶されている音声認識辞書を用いて音声認識処理を行い、この音声認識処理によって音声から変換したテキストを音声認識結果として発話判定部１８に出力する。

発話判定部１８は、音声入力部１２に入力された音声及び音声認識部１４で変換されたテキストに基づいて、発話が簡潔か否か、すなわち発話の内容に対してシステム応答部２０で正しい応答情報を生成できるか否かを判定する。

発話判定部１８は、発話が簡潔でシステム応答部２０で正しい応答情報を生成できると判定した場合には、システム応答部２０に音声認識部１４で変換されたテキストを出力する。また、発話判定部１８は、発話が簡潔でなくシステム応答部２０で正しい応答情報を生成できないと判定した場合には、オペレータ呼出部２２を介してオペレータを呼び出すと共に音声入力部１２から入力された音声をオペレータに出力する。

システム応答部２０は、ＧＰＳセンサを用いてＧＰＳ電波を受信して現在位置を検出したり、目的地の検索やルート探索を行ったりするカーナビゲーションシステム（カーナビシステム）２６、液晶表示板からなる表示パネル上にタッチパネルが重ねられたユーザインタフェースとしてのタッチパネルディスプレイ２４、及び音声等を出力するスピーカ２８に接続されている。

システム応答部２０は、発話判定部１８を介して入力されたテキストを解釈し、そのテキストの内容に適した応答情報を生成する。例えば、そのテキストの内容が目的地までのルートの検索を指示する内容であれば、カーナビシステム２６から情報を取得して、目的地までのルートに関する情報を応答情報として生成し、この応答情報に基づいてタッチパネルディスプレイ２４に画像を表示することにより目的地までのルートを提示したり、スピーカ２８から音声で出力したりする。

また、例えば、テキストの内容が、この音声操作システム１０或いはこの音声操作システム１０を搭載した装置において実行可能な何らかの操作を実行するという内容であれば、その操作を実行するための応答情報を生成して、該応答情報に基づいて利用者が自らその動作を実行できるような案内をタッチパネルディスプレイ２４やスピーカ２８から出力したり、或いはその操作を装置側で自動的に実行するように制御したりする。なお、何らかの操作とは、例えば、音声操作システム１０のシャットダウンの操作や、タッチパネルディスプレイ２４にメニュー画面を表示させるための操作等をいう。

オペレータ呼出部２２は、無線通信制御回路を備え、発話判定部１８からオペレータの呼出指令が入力されたときに、遠隔地で待機するオペレータを無線通信で呼び出し、その後、発話判定部１８から入力された音声をオペレータに出力する。またオペレータから受信した音声をスピーカ２８に出力する。すなわち、オペレータ呼出部２２は、オペレータとの音声による通信を制御する。これにより、利用者はオペレータとの間で音声によるやりとりを行うことができる。

以下、この音声操作システム１０における音声操作の流れを説明する。

まず、システムの利用者は、音声でシステムを操作するために発話音声を発する。音声入力部１２は、この音声を入力すると、音声認識部１４及び発話判定部１８に出力する。音声認識部１４は、音声をテキスト変換して発話判定部１８に出力する。

図２は、発話判定部１８で実行される発話判定処理ルーチンを示すフローチャートである。

ステップ１００では、音声入力部１２から音声が入力されると共に音声認識部１４から音声認識結果（変換されたテキスト）が入力されたか否かを判断する。

音声及びテキストの双方が入力されたと判断した場合には、ステップ１０２で、音声の時間長が閾値ＴＨ１以下であるか否かを判断する。

一般的な音声認識技術では、音声の時間長（発声時間）が長いほど、音声認識の誤りは多くなり誤応答する確率が高くなる。

従って、ステップ１０２で、音声の時間長が予め定められた閾値ＴＨ１を超えたと判断した場合には、発話は簡潔でなく、このシステムのシステム応答部２０でこの発話に対して正しく応答情報を生成することはできないと判定し、ステップ１１０に移行する。

ステップ１１０では、オペレータ呼出部２２に対してオペレータを呼び出すための呼出指令を出力すると共に、音声入力部１２から入力された音声を出力する。オペレータ呼出部２２は、呼出指令を受信すると、無線通信によりオペレータを呼び出すと共に、オペレータに利用者の音声を送信し、オペレータとの音声による通信を開始する。以後は、オペレータと利用者とが直接会話をすることができるため、オペレータは利用者が求める情報を提示する、あるいは利用者が希望する操作を実行することができる。

一方、ステップ１０２で、音声の時間長が予め定められた閾値ＴＨ１以下であると判断した場合には、ステップ１０４に移行し、音声認識部１４で変換されたテキストを全てひらがな読みにしたときの単音節数が、予め定められた閾値ＴＨ２以下か否かを判断する。

単音節数が多いということは、利用者が一度に多くのことを話したことを意味する。従って、この場合には、発話が複雑になる傾向が高く、システムが正しく応答情報を生成できない確率が高い。加えて、音声の時間長も長くなるので、音声認識の誤りから誤応答する確率が高くなる。

従って、ステップ１０４で、単音節数が予め定められた閾値ＴＨ２を超えたと判断した場合には、発話は簡潔でなく、このシステムのシステム応答部２０でこの発話に対して正しく応答情報を生成することはできないと判定し、ステップ１１０に移行する。

一方、ステップ１０４で、単音節数が予め定められた閾値ＴＨ２以下であると判断した場合には、ステップ１０６に移行し、テキストの中に予め定められた文字列が含まれているか否かを判断する。

例えば、テキストに「ので」「けど」「から」のように、原因や状況を述べる際に付随する言い回しの語尾や、「とか」「ような」など、あいまいな語尾を含む場合には、発話が簡潔でなく、複雑になる傾向が高く、システムが内容を理解にしくい場合が多いため、システムが正しく応答情報を生成できない確率が高い。

より具体的には、例えば、「今日は天気が良いので、どこかに出かけたいんだけど、秋だから、栗とか、マツタケとか、そういうものが美味しいところはどこかにないかな？」のような複雑な発話では、出かけることが目的なのか、美味しいものが食べられるお店を探すことが目的なのかを判断することは困難であるため、システムが誤応答する可能性が高い。

従って、この音声操作システム１０では、「ので」「けど」「から」「とか」など、内容や目的が理解しにくくなるような文字列を予め不図示のメモリに記憶しておき、これら文字列の少なくとも１つがテキストに含まれているか否かを判断する。

ステップ１０６で、テキストの中に予め定められた文字列が含まれていると判断した場合には、発話は簡潔でなく、このシステムのシステム応答部２０でこの発話に対して正しく応答情報を生成することはできないと判定し、ステップ１１０に移行する。

一方、ステップ１０６で、テキストの中に予め定められた文字列は含まれていないと判断した場合には、発話は簡潔であり、このシステムのシステム応答部２０でこの発話に対して正しく応答情報を生成することができると判定し、ステップ１０８に移行する。

ステップ１０８では、システム応答部２０に音声認識部１４で変換されたテキストを出力する。テキストを受信したシステム応答部２０では、該テキストを解釈し、そのテキストの内容に適した応答情報を生成し、タッチパネルディスプレイ２４に画像を表示することにより提示したり、スピーカ２８から音声で出力したりする。

一連の応答が終了した後は本処理ルーチンを終了し、リセットした後、再び本処理ルーチンを起動して利用者からの発話音声を受け付けるため待機する。以後、システムはこの一連の流れを繰り返す。

以上説明したように、入力された音声及び音声から変換されたテキストの少なくとも一方に基づいて、システムが正しい応答情報を生成できるか否かを判定し、正しい応答情報を生成できると判定したときには、システム応答部２０で発話の内容に適した応答情報を生成して応答するように上記変換されたテキストを出力し、正しい応答情報を生成できないと判定したときには、オペレータ呼出部２２を介してオペレータを呼び出し、オペレータと直接会話できるようにしたため、オペレータを呼び出すか否かをシステムの利用開始時の最初の発話の入力から容易に判断することができ、誤応答を低減することができる。従って、従来の対話的なシステムのように対話が進んだ最後にシステムが誤応答し、全てやり直すという不具合は発生せず、利用者の利便性が格段に向上する。また、利用者毎の過去の対話履歴は用いないため、簡易にシステムを構築できる。

本発明の実施の形態に係る音声操作システムの概略的な構成を示すブロック図である。発話判定部で実行される発話判定処理処理ルーチンを示すフローチャートである。

符号の説明

１０音声操作システム
１２音声入力部
１４音声認識部
１６音声認識データベース
１８発話判定部
２０システム応答部
２２オペレータ呼出部
２４タッチパネルディスプレイ
２６カーナビシステム
２８スピーカ

Claims

利用者の発話による音声を入力する音声入力手段と、
前記入力された音声を認識してテキスト変換する音声認識手段と、
前記入力された音声及び前記変換されたテキストの少なくとも一方に基づいて、システムが正しい応答情報を生成できるか否かを判定する判定手段と、
前記判定手段で正しい応答情報を生成できると判定されたときに、前記発話の内容に適した応答情報を生成して応答する応答手段と、
前記判定手段で正しい応答情報を生成できないと判定されたときに、オペレータを呼び出す呼出手段と、
を含む音声操作システム。
前記判定手段は、前記入力された音声の時間長が閾値を超える場合、前記変換されたテキストが示す単音節の個数が閾値を超える場合、及び正しい応答情報を生成できないと判定すべき予め定められた文字列が前記変換されたテキストに含まれている場合、の少なくとも１つの場合に、正しい応答情報を生成できないと判定する請求項１記載の音声操作システム。