JP2008157987A - 対話制御装置、対話制御方法及び対話制御プログラム - Google Patents

対話制御装置、対話制御方法及び対話制御プログラム Download PDF

Info

Publication number
JP2008157987A
JP2008157987A JP2006343145A JP2006343145A JP2008157987A JP 2008157987 A JP2008157987 A JP 2008157987A JP 2006343145 A JP2006343145 A JP 2006343145A JP 2006343145 A JP2006343145 A JP 2006343145A JP 2008157987 A JP2008157987 A JP 2008157987A
Authority
JP
Japan
Prior art keywords
voice
user
contradiction
voice guidance
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006343145A
Other languages
English (en)
Other versions
JP5074759B2 (ja
Inventor
Shinji Sugiyama
真治 杉山
Hiroaki Sekiyama
博昭 関山
Toshiyuki Nanba
利行 難波
Jitsunashi Fujishiro
実奈子 藤城
Yasuhiko Fujita
泰彦 藤田
Emi Otani
恵美 大谷
Masahiro Nii
真裕 二位
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Advanced Media Inc
Original Assignee
Toyota Motor Corp
Advanced Media Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Advanced Media Inc filed Critical Toyota Motor Corp
Priority to JP2006343145A priority Critical patent/JP5074759B2/ja
Publication of JP2008157987A publication Critical patent/JP2008157987A/ja
Application granted granted Critical
Publication of JP5074759B2 publication Critical patent/JP5074759B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】音声案内と音声案内の途中に認識したユーザ発話内容との間に矛盾が存在する場合にその矛盾を指摘することでユーザとの間の自然な対話を実現させる対話制御装置を提供すること。
【解決手段】音声案内を音声出力し該音声案内に応答するユーザの発話内容に応じて対話を制御する対話制御装置100は、音声案内の途中にユーザが発した音声を認識する音声認識手段10と、音声認識手段10の認識結果に基づいてユーザ発話内容を特定するユーザ発話内容特定手段11と、音声案内とユーザ発話内容との間に矛盾が存在するか否かを判定する矛盾判定手段14と、矛盾判定手段14により矛盾が存在すると判定された場合に矛盾内容を音声出力する矛盾指摘手段15と、を備える。
【選択図】図1

Description

本発明は、対話制御装置、対話制御方法及び対話制御プログラムに関し、特に、音声案内と音声案内の途中に認識したユーザ発話内容との間に矛盾が存在する場合にその矛盾を指摘することでユーザとの間の自然な対話を実現させる対話制御装置、対話制御方法及び対話制御プログラムに関する。
従来、音声情報をユーザに提供し、ユーザからの応答に基づき処理を遂行する音声対話システムであって、所定のシナリオに沿って順次発話する音声情報の発話途中にユーザが応答する場合(以下、この応答行為を「Barge−In(バージイン)」という。)であっても、ユーザの応答内容を認識できる音声対話システムが知られている(例えば、特許文献1参照。)。
この音声対話システムは、音声情報に含まれる単語とこれに応答したユーザ発話との間の時間間隔、ユーザの発話の強さ又はユーザの発話の速さ等のバージインの状況に対応させて予め登録しておいた認識辞書中の語彙の重み付けを変更し、ユーザがこの認識辞書中のどの語彙を発話したかの認識率、ひいては、ユーザがどの選択肢を選択したか、或いは、ユーザがどのような指示をしたかの認識率を向上させる。
このように、音声対話システムは、ユーザ発話に含まれるキーワードをより正確に認識することができる。
特開2003−177788号公報
しかしながら、特許文献1に記載の音声対話システムは、ユーザが実際に発話する発話内容と音声対話システムが期待する発話内容とが合致しないような場合に対応できず、この場合、ユーザの発話内容が認識辞書中のどの語彙にも該当しないとしてユーザの発話を無視してしまう。
上述の点に鑑み、本発明は、音声案内と音声案内の途中に認識したユーザ発話内容との間に矛盾が存在する場合にその矛盾を指摘することでユーザとの間の自然な対話を実現させる対話制御装置、対話制御方法及び対話制御プログラムを提供することを目的とする。
上述の目的を達成するために、第一の発明に係る対話制御装置は、音声案内を音声出力し該音声案内に応答するユーザの発話内容に応じて対話を制御する対話制御装置であって、音声案内の途中にユーザが発した音声を認識する音声認識手段と、前記音声認識手段の認識結果に基づいてユーザ発話内容を特定するユーザ発話内容特定手段と、音声案内と前記ユーザ発話内容特定手段が特定したユーザ発話内容との間に矛盾が存在するか否かを判定する矛盾判定手段と、前記矛盾判定手段により矛盾が存在すると判定された場合に矛盾内容を音声出力する矛盾指摘手段と、を備えることを特徴とする。
また、第二の発明は、第一の発明に係る対話制御装置であって、前記矛盾判定手段は、時期的な矛盾が存在するか否かを判定することを特徴とする。
また、第三の発明は、第一又は第二の発明に係る対話制御装置であって、前記矛盾判定手段は、内容的な矛盾が存在するか否かを判定することを特徴とする。
また、第四の発明に係る対話制御方法は、音声案内を音声出力し該音声案内に応答するユーザの発話内容に応じて対話を制御する対話制御方法であって、音声案内の途中にユーザが発した音声を認識する音声認識ステップと、前記音声認識ステップにおける認識結果に基づいてユーザ発話内容を特定するユーザ発話内容特定ステップと、音声案内と前記ユーザ発話内容特定ステップにおいて特定されたユーザ発話内容との間に矛盾が存在するか否かを判定する矛盾判定ステップと、前記矛盾判定ステップにおいて矛盾が存在すると判定された場合に矛盾内容を音声出力する矛盾指摘ステップと、を備えることを特徴とする。
また、第五の発明は、第四の発明に係る対話制御方法であって、前記矛盾判定ステップにおいて時期的な矛盾が存在するか否かを判定することを特徴とする。
また、第六の発明は、第四又は第五の発明に係る対話制御方法であって、前記矛盾判定ステップにおいて内容的な矛盾が存在するか否かを判定することを特徴とする。
また、第七の発明に係る対話制御プログラムは、第四乃至第六の何れかの発明に係る対話制御方法をコンピュータに実行させることを特徴とする。
上述の手段により、本発明は、音声案内と音声案内の途中に認識したユーザ発話内容との間に矛盾が存在する場合にその矛盾を指摘することでユーザとの間の自然な対話を実現させる対話制御装置、対話制御方法及び対話制御プログラムを提供することができる。
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
図1は、本発明に係る対話制御装置100の構成例を示すブロック図である。対話制御装置100は、制御部1、音声取得部2、記憶部3及び音声出力部4から構成され、所定のシナリオに沿って記憶部3に記憶された音声案内データを読み出して音声出力部4からその音声案内データを音声出力し、ユーザとの間の対話が自然に推移するよう、音声取得部2を介して取得したユーザ音声に応じて次の音声出力を制御する。
対話制御装置100は、例えば、車輌に搭載され、カーナビゲーションシステムにおけるルート案内や施設案内で利用される。なお、対話制御装置100は、エアコン、カーオーディオ、灯火類等の各種車載装置を操作するために利用されてもよい。
制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備えたコンピュータであり、音声認識手段10、ユーザ発話内容特定手段11、登録発話内容取得手段12、音声案内制御手段13、矛盾判定手段14及び矛盾指摘手段15に対応するプログラムをROMに記憶し、それらプログラムをRAM上に展開して対応する処理をCPUに実行させる。
音声取得部2は、ユーザが発する音声を取得するための装置であり、例えば、車輌を運転するドライバの音声を確実に認識できるよう指向性を備えたマイクが用いられる。
また、音声取得部2は、入力音検知機能を備え、定常雑音以外の音をユーザの発話による音声として取得してもよく、音量や音の長さに基づいて取得する音声を取捨選択してもよい。また、音声取得部2は、発話検出機能を備え、入力される音声のうち人の発話部分のみを検出して取得するようにしてもよい。なお、音声取得部2は、取得したユーザの音声を制御部1に出力する。
記憶部3は、対話制御装置100が必要とする各種情報を記憶するための装置であり、例えば、音声案内データと音声案内データを起動させる起動条件と登録発話内容とを体系的に記憶する音声案内データベース30を格納するハードディスクである。
音声出力部4は、音声案内データを音声出力するための装置であり、例えば、制御部1から出力される音声案内データを音声出力する車載スピーカである。
ここで、「登録発話内容」とは、音声案内に対するユーザからの応答として期待される予め登録された発話内容であり、「ユーザ発話内容」は、音声取得部2が実際に取得するユーザ音声の発話内容である。また、「発話内容」とは、発話の意味を表現する属性であり、ユーザ発話内容は、例えば、予め登録されたキーワード、キーフレーズ、又は、それらの組み合わせ等(以下、「キーワード等」という。)をユーザ音声から抽出することによって特定される。
図2は、音声案内とバージイン(音声案内の途中にユーザが発話する行為を言う。)の発生タイミングとの間の関係を説明するための図であり、音声案内「○○のお勧めは、AとBとCとがあるけれどどれにする?」を音声出力する間に(1)〜(6)の何れかのタイミングでバージインが発生した状態を示す。
また、図3は、図2の音声案内データに関する発話内容とキーワードとの間の対応関係を説明するための図であり、ユーザがキーワード「それ」又は「そいつ」を発話した場合に、発話内容「間接的選択」(指示代名詞によって選択されたことを意味する。)が特定されることを示す。
同様に、ユーザがキーワード「A」、「B」又は「C」を発話した場合に、発話内容「直接的選択」(選択肢の語そのものによって選択されたことを意味する。)が特定され、ユーザがキーワード「他」又は「別」を発話した場合に、発話内容「別の選択肢要求」(案内された選択肢以外の選択肢が要求されたことを意味する。)が特定され、ユーザがキーワード「どちら」、「どっち」、「どうしよう」を発話した場合に、発話内容「迷い」(ユーザが選択肢の選択に迷っていることを意味する。)が特定され、ユーザがキーワード「うん」、「はい」又は「ええ」を発話した場合に、発話内容「相槌」(ユーザが音声案内の内容を理解していることを意味する。)が特定され、ユーザがキーワード「D」を発話した場合に、発話内容「直接的選択(無効)」(選択肢にない語によって選択されたことを意味する。)が特定される。
また、図4は、図2の音声案内データに関する登録発話内容を説明するための図であり、例えば、タイミング(3)においてバージインが発生した場合に、現在の音声案内を継続させる発話内容として発話内容「別の選択肢要求」及び「相槌」を登録し、現在の音声案内を別の音声案内に遷移させる発話内容として発話内容「間接的選択」及び「直接的選択」を登録し、ユーザの発話内容が音声案内に矛盾するとして現在の音声案内を中断し矛盾を指摘する音声案内を出力させる発話内容として発話内容「迷い」及び「直接的選択(無効)」を登録する。
また、図5は、ユーザの発話内容が図2の音声案内に矛盾する場合に対話制御装置100が音声出力する音声案内の内容を説明するための図であり、例えば、タイミング(1)において発話内容「相槌」以外の発話内容が特定された場合に、現在の音声案内の内容が未だ不明であるにもかかわらずバージインが行われたとして、音声案内「まだ言ってないよ」が音声出力されることを示す。
次に、制御部1が有する各種手段について詳細に説明する。
音声認識手段10は、ユーザ音声をテキストデータとして認識するための手段であり、例えば、音声取得部2を介して取得したユーザ音声をテキストデータに変換し、形態素解析等によりテキストデータを形態素に分割する。
また、音声認識手段10は、ユーザ音声をテキストデータとして認識するばかりでなく、認識結果の信頼度、ユーザ音声の長さ(語数又は時間)、ユーザ音声の発話速度若しくは発話速度変化、又は、ユーザ音声の発話音量等の特徴を検出し、それら特徴をテキストデータに関連付けて記憶するようにしてもよい。
これにより、対話制御装置100は、テキストデータのみから得られる情報を使用する場合に比べ、後述する発話内容の取得をより柔軟に実行することができる。
ユーザ発話内容特定手段11は、音声認識手段10が認識したテキストデータに基づいてユーザ発話内容を特定するための手段であり、例えば、形態素に分割されたテキストデータから予め登録されたキーワードに合致又は類似する語を抽出し、抽出された語又は語の組み合わせに基づいてユーザ発話内容を特定する。
登録発話内容取得手段12は、各音声案内データに対応付けられた登録発話内容を取得するための手段であり、例えば、図4に示すように現在発話中の音声案内の各タイミングに対応付けられた発話内容を記憶部3の音声案内データベース30から読み出して取得する。
音声案内制御手段13は、音声出力部4で音声出力させる音声案内データを制御するための手段であり、例えば、ユーザ発話内容特定手段11が特定したユーザ発話内容と登録発話内容取得手段12が取得した登録発話内容とに基づいて現在の音声案内を継続させたり、一時停止させたり、中止させたり、或いは、別の音声案内データを音声出力させたりする。
また、音声案内制御手段13は、音声取得部2が取得したユーザ音声が所定の音声案内を音声出力している途中のもの(バージイン)であるか否かを判定し、さらに、音声案内のどのタイミングでバージインが行われたかを判定する。
音声案内制御手段13は、所定の音声案内を音声出力している途中に音声取得部2がユーザ音声を取得した場合にバージインが発生したものと判定するが、そのユーザ音声が所定長(例えば、3秒)以上の場合に限ってバージインが発生したものとしてもよく、そのユーザ音声に所定のキーワードが含まれている場合に限ってバージインが発生したものとしてもよい。
また、音声案内制御手段13は、ユーザ音声の音量、発話速度、発話頻度、発話速度変化、リジェクション(ユーザ音声をテキストとして認識できなかった場合をいう。)の発生、リジェクション回数、又は、音声認識スコア等に基づいてバージインが発生したか否かを判定するようにしてもよい。
なお、音声案内制御手段13は、音声案内毎にバージインを受け入れるか否かを設定するようにしてもよく、バージインを受け入れない設定とした場合、音声案内の途中に取得した全てのユーザ音声を無視することとする。
また、音声案内制御手段13は、バージインが発生した場合に音声出力中の音声案内を一時停止させ、あたかも人間同士の会話で発話が重なった場合にお互いが発話を中断させるような状況を現出させてもよい。
また、音声案内制御手段13は、判定バージイン及び強制バージインの二種類のバージインを使い分けるようにしてもよい。
「判定バージイン」とは、音声案内中にユーザ音声を取得した場合であっても、その音声案内が終了するまで待機し、その音声案内が終了した時点でそのユーザ音声から特定されるユーザ発話内容に基づいて次に音声出力する音声案内を選択させる方法である。
判定バージインが発生した場合、音声案内制御手段13は、ユーザ発話内容特定手段11によりそのユーザ音声に関するユーザ発話内容を特定して記憶しておき、現在の音声案内を継続させる。そして、現在の音声案内が終了した後、特定されたユーザ発話内容に基づいて次に音声出力する音声案内を決定する。
なお、一つの音声案内を音声出力している場合に複数の判定バージインが発生した場合、音声案内制御手段13は、各ユーザ音声に関するユーザ発話内容を特定してそれぞれ記憶しておき、現在の音声案内が終了した時点で、既に記憶された複数のユーザ発話内容に基づいて次に音声出力する音声案内を決定する。
この場合、音声案内制御手段13は、所定の優先度に従い最も優先度の高いユーザ発話内容を採用して次に音声出力する音声案内を決定してもよく、或いは、最初に得られたユーザ発話内容、最後に得られたユーザ発話内容、又は、最も音量の大きいユーザ音声に関するユーザ発話内容を採用して次に音声出力する音声案内を決定してもよい。
また、音声案内制御手段13は、特定したユーザ発話内容に関連するキーワードの品詞に基づいて採用するユーザ発話内容を決定してもよい。「キーワードの品詞に基づいて」とは、例えば、名詞を指示代名詞より優先させたりすることを意味する。
「強制バージイン」とは、音声案内出力中にユーザ音声を取得した場合、現在の音声案内を即座に中断させ、そのユーザ音声から特定されるユーザ発話内容に基づいて次に音声出力する音声案内を決定する方法である。
強制バージインが発生した場合、音声案内制御手段13は、次の音声案内を即座に開始させるが、次の音声案内を開始させる前に、「○○の話をしますか?」といった承諾を求めるための音声案内を音声出力し、中断させた音声案内を再開させる選択肢を残すようにしてもよい。
また、強制バージインが発生する前に判定バージインが発生していた場合、音声案内制御手段13は、判定バージインに関連付けて記憶しておいたユーザ発話内容をクリアして強制バージインを優先させる。但し、このような場合であっても、元の音声案内を再開させた場合には、記憶しておいたユーザ発話内容をクリアすることなく、元の音声案内が終了した時点で、判定バージインに基づく処理を実行させるようにしてもよい。
なお、音声案内制御手段13は、バージインが発生したタイミングとそのときのユーザ発話内容とに基づいて、バージインが判定バージイン又は強制バージインの何れに該当するかを決定し、同じユーザ発話内容であっても、あるタイミングでは判定バージインとしたものを、別のタイミングでは強制バージインとする場合もある。
矛盾判定手段14は、音声案内とユーザ発話内容特定手段11が特定したユーザ発話内容との間に矛盾が存在するか否かを判定するための手段である。なお、ここでいう矛盾には、後述するように、時期的矛盾と内容的矛盾が存在する。
矛盾指摘手段15は、矛盾判定手段14により矛盾が存在すると判定された場合、その矛盾内容を音声出力部4から音声出力させる手段である。
以下、図2乃至図5を参照しながら、矛盾判定手段14が音声案内とユーザ発話内容特定手段11が特定したユーザ発話内容との間に矛盾が存在するか否かを判定し、矛盾が存在する場合に、矛盾指摘手段15がその矛盾を指摘する音声案内を出力する処理について説明する。
音声取得部2がユーザ音声「それにする」を取得した場合を想定する。音声認識手段10は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段11は、指示代名詞である単語「それ」を抽出して発話内容「間接的選択」をユーザ発話内容として特定する(図3の第一行参照。)。
一方、登録発話内容取得手段12は、現在発話中の音声案内に対応付けられた登録発話内容を記憶部3の音声案内データベース30から読み出して取得する。
タイミング(1)又は(2)において音声取得部2がユーザ音声「それにする」を取得した場合、矛盾判定手段14は、時期的な矛盾が存在すると判定する(図4の第一行又第二行を参照。)。未だ選択肢を案内していないにもかかわらず、ユーザが選択肢を指示代名詞によって選択しようとしたからである。
従って、矛盾指摘手段15は、時期的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「まだ言ってないよ」を音声出力させる(図5の第一行又は第二行を参照。)。
また、タイミング(3)、(4)、(5)の何れかにおいて音声取得部2がユーザ音声「それにする」を取得した場合、矛盾判定手段14は、矛盾が存在しないと判定し(図4の第三行〜第五行を参照。)、この場合、音声案内制御手段13は、強制バージインが発生したとして、タイミング(3)の場合に音声案内データ「Aだね、了解」を音声出力させ、同様に、タイミング(4)の場合に「Bだね、了解」、タイミング(5)の場合に「Cだね、了解」を音声出力させる。
また、タイミング(6)において音声取得部2がユーザ音声「それにする」を取得した場合、矛盾判定手段14は、内容的な矛盾が存在すると判定する(図4の第六行を参照。)。選択肢にA、B、Cの三つが案内されているので、指示代名詞「それ」では、どれを指しているか特定できないからである。
従って、矛盾指摘手段15は、このような内容的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「どれ、それでは分からないよ」を音声出力させる(図5の第九行を参照。)。
このようにして、対話制御装置100は、ユーザとの間の自然な対話を継続させることができる。
次に、音声取得部2がユーザ音声「他は?」を取得した場合を想定する。音声認識手段10は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段11は、単語「他」を抽出して発話内容「別の選択肢要求」をユーザ発話内容として特定する(図3の第三行参照。)。
タイミング(1)又は(2)の場合は、ユーザ音声「それにする」を取得した場合と同じなので説明を省略する。
タイミング(3)又は(4)の場合、矛盾判定手段14は、矛盾が存在しないと判定し(図4の第三行又は第四行参照。)、この場合、音声案内制御手段13は、判定バージインが発生したとして、現在の音声案内が終了するまで待機する。未だ全ての選択肢を案内していないからであり、現在の音声案内を継続させることでユーザの要求を満たすことができるからである。
一方、タイミング(5)又は(6)の場合、内容的な矛盾が存在すると判定する(図4の第五行又は第六行参照。)。選択肢を全て案内し終わっており、別の選択肢が存在しないからである。
従って、矛盾指摘手段15は、このような内容的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「これしか知らないんだ、ごめん」を音声出力させる(図5の第六行又は第八行参照。)。
次に、音声取得部2がユーザ音声「A!」を取得した場合を想定する。音声認識手段10は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段11は、単語「A」を抽出して発話内容「直接的選択」をユーザ発話内容として特定する(図3の第二行参照。)。
タイミング(1)又は(2)において音声取得部2がユーザ音声「A!」を取得した場合、矛盾判定手段14は、時期的な矛盾が存在すると判定する。未だ選択肢を案内していないからである(図4の第一行又は第二行参照。)。
なお、未だ選択肢を案内していないが、現在の音声案内に選択肢「A」が含まれることから、矛盾指摘手段15は、時期的な矛盾が存在する場合であっても、音声案内データ「未だ言ってないよ」を音声出力する代わりに、音声案内データ「あたり!」(未だ案内していない選択肢を言い当てたことを意味する。)を音声出力させてもよい。ユーザとの間の対話を自然に継続させるためである。
また、タイミング(3)乃至(6)の何れかにおいて音声取得部2がユーザ音声「A!」を取得した場合、矛盾判定手段14は、矛盾が存在しないと判定し(図4の第三行乃至第六行参照。)、この場合、音声案内制御手段13は、強制バージインが発生したとして、音声案内データ「Aだね、了解」を音声出力させる。
次に、音声取得部2がユーザ音声「どっちにしようかな」を取得した場合を想定する。音声認識手段10は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段11は、単語「どっち」を抽出して発話内容「迷い」をユーザ発話内容として特定する(図3の第四行参照。)。
タイミング(1)又は(2)の場合は、ユーザ音声「それにする」を取得した場合と同じなので説明を省略する。
タイミング(3)において音声取得部2がユーザ音声「どっちにしようかな」を取得した場合、矛盾判定手段14は、時期的な矛盾が存在すると判定する(図4の第三行参照。)。選択肢が一つしか案内されておらず、迷いが生じる余地がないからである。
従って、矛盾指摘手段15は、このような時期的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「まだ一個しか言っていないよ」を音声出力させる(図5の第三行参照。)。
タイミング(4)乃至(6)の場合、矛盾判定手段14は、矛盾が存在しないと判定し(図4の第四行乃至第六行参照。)、この場合、音声案内制御手段13は、判定バージインが発生したとして、現在の音声案内が終了するまで待機する。複数の選択肢が既に案内されたからであり、現在の音声案内を継続させてもユーザの要求に反することがないからである。
次に、音声取得部2がユーザ音声「D!」を取得した場合を想定する。音声認識手段10は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段11は、単語「D」を抽出して発話内容「直接的選択(無効)」をユーザ発話内容として特定する(図3の第六行参照。)。
タイミング(1)又は(2)において音声取得部2がユーザ音声「D!」を取得した場合、矛盾判定手段14は、時期的な矛盾が存在すると判定する(図4の第一行又は第二行参照。)。未だ選択肢を案内していないからである。
従って、矛盾指摘手段15は、時期的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「まだ言ってないよ」を音声出力させる(図5の第一行又は第二行参照。)。
また、ユーザ音声「A!」を取得した場合と異なり、現在の音声案内に選択肢「D」が存在しないことから、矛盾指摘手段15は、時期的な矛盾及び内容的な矛盾が存在するとして音声案内データ「まだ言ってないよ」の代わりに、音声案内データ「Dについてはよく知らないの、ごめんね」を音声出力させてもよい。
また、タイミング(3)乃至(6)の何れかにおいて音声取得部2がユーザ音声「D!」を取得した場合、矛盾判定手段14は、内容的な矛盾が存在すると判定し(図4の第三行又は第六行参照。)、矛盾指摘手段15は、このような内容的な矛盾が存在する場合に音声出力するよう登録された音声案内データ「Dについてはよく知らないの、ごめんね」を音声出力させる(図5の第四行、第五行、第七行又は第十行参照。)。
次に、音声取得部2がユーザ音声「うん」を取得した場合を想定する。音声認識手段10は、このユーザ音声をテキストデータとして認識し、ユーザ発話内容特定手段11は、単語「うん」を抽出して発話内容「相槌」をユーザ発話内容として特定する(図3の第五行参照。)。
何れのタイミングであっても、矛盾判定手段14は、矛盾が存在しないと判定し(図4の第一行乃至第六行参照。)、この場合、音声案内制御手段13は、判定バージインが発生したとして、現在の音声案内が終了するまで待機する。ユーザは相槌を打っているだけで特定の意思を示しておらず、現在の音声案内を継続させることでユーザの要求を満たすことができるからである。
なお、音声取得部2がユーザ音声を取得したがそのユーザ音声をリジェクトした場合も同様である。ユーザの意思が特定できないからである。
次に、図6を参照しながら、対話制御装置100が音声案内を制御する処理の流れについて説明する。なお、図6は、この処理の流れを示すフローチャートであり、この処理は、音声案内が開始すると同時に実行され、音声案内が行われている間中、繰り返し実行されるものとする。
最初に、音声案内制御手段13は、音声案内が終了したか否かを監視し(ステップS1)、音声案内が終了していない場合(ステップS1のNO)、バージインが発生したか否かを監視する(ステップS2)。
音声案内制御手段13は、バージインが発生しなければ(ステップS2のNO)、現在の音声案内をそのまま継続させるが(ステップS10)、バージインが発生した場合には(ステップS2のYES)、音声案内を一時停止させ(ステップS3)、現在出力している音声案内がバージインを受け入れるか否かの設定を確認する(ステップS4)。
バージインを受け入れない設定である場合(ステップS4のNO)、音声案内制御手段13は、現在の音声案内をそのまま継続させる(ステップS10)。
バージインを受け入れる設定である場合(ステップS4のYES)、音声案内制御手段13は、バージインが強制バージイン又は判定バージインの何れに該当するかを判定する(ステップS5)。なお、この判定は、音声取得部2が取得したユーザ音声のユーザ発話内容とバージインの発生タイミングとに基づいて行われる。
強制バージインであると判定された場合(ステップS5のYES)、音声案内制御手段13は、現在の音声案内を中止させ(ステップS6)、矛盾判定手段14により、ユーザ発話内容特定手段11が特定したユーザ発話内容と現在の音声案内との間に矛盾が存在するか否かを判定して、次の音声案内を決定する(ステップS7)。
その後、音声案内制御手段13は、決定された音声案内を音声出力部4から音声出力させて(ステップS8)、処理を終了する。
一方、判定バージインであると判定された場合(ステップS5のNO)、音声案内制御手段13は、そのユーザ発話内容を判定バージイン履歴として記憶部3又はRAMに記憶し(ステップS9)、現在の音声案内をそのまま継続させる(ステップS10)。
その後、音声案内制御手段13は、現在の音声案内が終了したときに(ステップS1のYES)、記憶部3又はRAMに記憶された判定バージイン履歴を参照する(ステップS11)。
判定バージイン履歴が存在する場合(ステップS11のNO)、音声案内制御手段13は、その判定バージイン履歴に基づいて次の音声案内を決定し(ステップS7)、決定された音声案内を音声出力部4から音声出力させて(ステップS8)、処理を終了する。
なお、判定バージイン履歴がない場合(ステップS11のNO)、音声案内制御手段13は、そのまま処理を終了させる。
以上の構成により、対話制御装置100は、音声案内とその音声案内の途中に認識したユーザ発話内容とが矛盾する場合にも自然な対話を継続させることができる。
また、対話制御装置100は、音声案内とユーザの発話内容との間に矛盾が生じた場合であっても、元の音声案内に関するシナリオにユーザを誘導することができる。
また、対話制御装置100は、音声案内とユーザの発話内容との間に時期的な矛盾が生じた場合であっても、その旨を適切にユーザに通知することができる。
また、対話制御装置100は、音声案内とユーザの発話内容との間に内容的な矛盾が生じた場合であっても、その旨を適切にユーザに通知することができる。
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
本発明に係る対話制御装置の構成例を示すブロック図である。 音声案内とバージインの発生タイミングとの間の関係を説明するための図である。 図2の音声案内データに関する発話内容とキーワードとの間の対応関係を説明するための図である。 図2の音声案内データに関する登録発話内容を説明するための図であり ユーザの発話内容が図2の音声案内に矛盾する場合に出力される音声案内の内容を説明するための図である。 対話制御装置が音声案内を制御する処理の流れを示すフローチャートである。
符号の説明
1 制御部
2 音声取得部
3 記憶部
4 音声出力部
10 音声認識手段
11 ユーザ発話内容特定手段
12 登録発話内容取得手段
13 音声案内制御手段
14 矛盾判定手段
15 矛盾指摘手段
30 音声案内データベース
100 対話制御装置

Claims (7)

  1. 音声案内を音声出力し該音声案内に応答するユーザの発話内容に応じて対話を制御する対話制御装置であって、
    音声案内の途中にユーザが発した音声を認識する音声認識手段と、
    前記音声認識手段の認識結果に基づいてユーザ発話内容を特定するユーザ発話内容特定手段と、
    音声案内と前記ユーザ発話内容特定手段が特定したユーザ発話内容との間に矛盾が存在するか否かを判定する矛盾判定手段と、
    前記矛盾判定手段により矛盾が存在すると判定された場合に矛盾内容を音声出力する矛盾指摘手段と、
    を備えることを特徴とする対話制御装置。
  2. 前記矛盾判定手段は、時期的な矛盾が存在するか否かを判定する、
    ことを特徴とする請求項1に記載の対話制御装置。
  3. 前記矛盾判定手段は、内容的な矛盾が存在するか否かを判定する、
    ことを特徴とする請求項1又は2に記載の対話制御装置。
  4. 音声案内を音声出力し該音声案内に応答するユーザの発話内容に応じて対話を制御する対話制御方法であって、
    音声案内の途中にユーザが発した音声を認識する音声認識ステップと、
    前記音声認識ステップにおける認識結果に基づいてユーザ発話内容を特定するユーザ発話内容特定ステップと、
    音声案内と前記ユーザ発話内容特定ステップにおいて特定されたユーザ発話内容との間に矛盾が存在するか否かを判定する矛盾判定ステップと、
    前記矛盾判定ステップにおいて矛盾が存在すると判定された場合に矛盾内容を音声出力する矛盾指摘ステップと、
    を備えることを特徴とする対話制御方法。
  5. 前記矛盾判定ステップにおいて時期的な矛盾が存在するか否かを判定する、
    ことを特徴とする請求項1に記載の対話制御方法。
  6. 前記矛盾判定ステップにおいて内容的な矛盾が存在するか否かを判定する、
    ことを特徴とする請求項1又は2に記載の対話制御方法。
  7. 請求項4乃至6の何れかに記載の対話制御方法をコンピュータに実行させるための対話制御プログラム。
JP2006343145A 2006-12-20 2006-12-20 対話制御装置、対話制御方法及び対話制御プログラム Active JP5074759B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006343145A JP5074759B2 (ja) 2006-12-20 2006-12-20 対話制御装置、対話制御方法及び対話制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006343145A JP5074759B2 (ja) 2006-12-20 2006-12-20 対話制御装置、対話制御方法及び対話制御プログラム

Publications (2)

Publication Number Publication Date
JP2008157987A true JP2008157987A (ja) 2008-07-10
JP5074759B2 JP5074759B2 (ja) 2012-11-14

Family

ID=39658996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006343145A Active JP5074759B2 (ja) 2006-12-20 2006-12-20 対話制御装置、対話制御方法及び対話制御プログラム

Country Status (1)

Country Link
JP (1) JP5074759B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053581A (ja) * 2007-08-29 2009-03-12 Oki Electric Ind Co Ltd 音声出力装置
JP2017049471A (ja) * 2015-09-03 2017-03-09 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
CN109725869A (zh) * 2019-01-02 2019-05-07 百度在线网络技术(北京)有限公司 连续交互控制方法和装置
WO2020195022A1 (ja) * 2019-03-26 2020-10-01 株式会社Nttドコモ 音声対話システム、モデル生成装置、バージイン発話判定モデル及び音声対話プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256035A (ja) * 2001-01-26 2001-09-21 Sumitomo Electric Ind Ltd 音声データ入出力システム
JP2002023783A (ja) * 2000-07-13 2002-01-25 Fujitsu Ltd 対話処理システム
JP2002169750A (ja) * 2000-11-30 2002-06-14 Nec Corp ブラウザ搭載装置
JP2004144791A (ja) * 2002-10-21 2004-05-20 Fujitsu Ltd 音声対話システム及び方法
JP2006113439A (ja) * 2004-10-18 2006-04-27 Ntt Data Corp 音声自動応答装置及びプログラム
JP2006337942A (ja) * 2005-06-06 2006-12-14 Nissan Motor Co Ltd 音声対話装置及び割り込み発話制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023783A (ja) * 2000-07-13 2002-01-25 Fujitsu Ltd 対話処理システム
JP2002169750A (ja) * 2000-11-30 2002-06-14 Nec Corp ブラウザ搭載装置
JP2001256035A (ja) * 2001-01-26 2001-09-21 Sumitomo Electric Ind Ltd 音声データ入出力システム
JP2004144791A (ja) * 2002-10-21 2004-05-20 Fujitsu Ltd 音声対話システム及び方法
JP2006113439A (ja) * 2004-10-18 2006-04-27 Ntt Data Corp 音声自動応答装置及びプログラム
JP2006337942A (ja) * 2005-06-06 2006-12-14 Nissan Motor Co Ltd 音声対話装置及び割り込み発話制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053581A (ja) * 2007-08-29 2009-03-12 Oki Electric Ind Co Ltd 音声出力装置
JP2017049471A (ja) * 2015-09-03 2017-03-09 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
US10388281B2 (en) 2015-09-03 2019-08-20 Casio Computer Co., Ltd. Dialogue control apparatus, dialogue control method, and non-transitory recording medium
CN109725869A (zh) * 2019-01-02 2019-05-07 百度在线网络技术(北京)有限公司 连续交互控制方法和装置
WO2020195022A1 (ja) * 2019-03-26 2020-10-01 株式会社Nttドコモ 音声対話システム、モデル生成装置、バージイン発話判定モデル及び音声対話プログラム

Also Published As

Publication number Publication date
JP5074759B2 (ja) 2012-11-14

Similar Documents

Publication Publication Date Title
US10853031B2 (en) Audio output control
JP4260788B2 (ja) 音声認識機器制御装置
US9384736B2 (en) Method to provide incremental UI response based on multiple asynchronous evidence about user input
JP5195405B2 (ja) 応答生成装置及びプログラム
JP4131978B2 (ja) 音声認識機器制御装置
JP5381988B2 (ja) 対話音声認識システム、対話音声認識方法および対話音声認識用プログラム
JP2008233678A (ja) 音声対話装置、音声対話方法、及び音声対話用プログラム
JP2008009153A (ja) 音声対話システム
JP2006251545A (ja) 音声対話システム及びコンピュータプログラム
EP4285358A1 (en) Instantaneous learning in text-to-speech during dialog
US20240087562A1 (en) Interactive content output
JP5074759B2 (ja) 対話制御装置、対話制御方法及び対話制御プログラム
JP6459330B2 (ja) 音声認識装置、音声認識方法、及び音声認識プログラム
JP2006189730A (ja) 音声対話方法および音声対話装置
JP2010197644A (ja) 音声認識システム
JP2006208486A (ja) 音声入力装置
US20230360633A1 (en) Speech processing techniques
JP4798039B2 (ja) 音声対話装置および方法
JP2007101892A (ja) 音声認識装置
JP2004301875A (ja) 音声認識装置
US11735178B1 (en) Speech-processing system
JP2011175304A (ja) 音声対話装置および方法
JP2007183516A (ja) 音声対話装置及び音声認識方法
JP2005309185A (ja) 音声入力装置、および音声入力方法
US11893984B1 (en) Speech processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120824

R151 Written notification of patent or utility model registration

Ref document number: 5074759

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250