JP2009025517A - 車載用情報提供対話装置 - Google Patents

Abstract

【課題】手詰まり状態を解消できる車載用情報提供対話装置を提供することにある。
【解決手段】
本発明の車載用情報提供対話装置は、ユーザがマイク１０１に入力した情報に基づいて、所定のタスクを達成する制御部３１０と、タスクの進捗状況に基づいて、ユーザに手詰まり状態が発生したか判断する判定部３１３と、手詰まり状態が発生したとの判断に基づいて、オペレータ１１０側の通信装置１０９１とハンドオーバ接続する通信装置１０７とを備えている。
【選択図】図３

Description

本発明は、ナビゲーションシステムなどに使用される車載用情報提供対話装置に関する。

車載ナビゲーションシステムなどの車載機器の入力インタフェースとして音声認識装置が用いられている。

このような音声認識装置の具備する認識語彙が限られるという問題や、ユーザの発音やアクセントの癖などの発話上の問題があるために、音声認識装置がユーザの発話した言葉を正確に認識できないという問題があった。

音声認識装置に誤認識があって、ユーザが再度認識させるために発話しても誤認識が複数回連続してしまうと、ユーザがどのような言葉を発話して良いのか判断できずに、ユーザの手詰まり状態が発生していた。そこで、従来、ユーザの発話がない状態が一定時間以上経過した場合、システムが自発的に発話をすることで、ユーザの発話を促すことができる音声対話装置（特許文献１参照）が提案されている。
特開２００２−１９６７８９号公報

しかしながら、特許文献１に示した従来の音声対話装置でも、ユーザに手詰まり状態が発生し無発話状態が一定時間以上経過して、音声対話装置が自動応答文を出力して会話を自発的に行ったとしても、ユーザの発話の全て対して最適な応答文を準備できるものではなく、ユーザが当該手詰まり状態を解消できない場合もあるという問題があった。

本発明は、こうした問題に鑑みてなされたものであり、手詰まり状態を解消できる車載用情報提供対話装置を提供することを目的とする。

上記目的達成のため、本発明に係る車載用情報提供対話装置では、ユーザが入力手段に入力した情報に基づいて、所定のタスクを達成する制御手段と、タスクの進捗状況に基づいて、ユーザに手詰まり状態が発生したか判断する手詰まり状態判断手段と、手詰まり状態が発生したとの判断に基づいて、オペレータ側とハンドオーバ接続する通信手段とを備えることを特徴としている。

本発明により、ユーザに手詰まり状態が発生したと判断した場合、通信手段は自動的に、オペレータ側とハンドオーバ接続するので、ユーザはオペレータと対話することができ、手詰まり状態を確実に解消することができる。

以下に、本発明の実施形態に係る車載用情報提供対話装置について、図１乃至図１０を参照して説明する。本実施形態に係る車載用情報提供対話装置は、ナビゲーションシステムなどに使用されている。

まず、本実施形態に係る車載用情報提供対話装置を含むナビゲーションシステムについて図１を参照して説明する。図１は、本発明の実施形態に係る車載用情報提供対話装置を含むナビゲーションシステム１０の構成図である。図１に示すナビゲーションシステム１０は、車両に搭載された車載用情報提供対話装置と、オペレータ１１０が常駐するオペレーションセンタ１０９とを備えている。更に、車載用情報提供対話装置とオペレーションセンタ１０９を接続する通信網２０を備えている。本実施形態に係る車載用情報提供対話装置は、ユーザが音声認識を開始するための発話スイッチ１００と、ユーザの発話音声を入力する音声入力手段であるマイク１０１と、音声出力を行うためのスピーカ１０２とを備えている。また、ナビゲーション装置１０３と、当該ナビゲーション装置１０３が出力する地図、メニュー画面または音声認識結果を表示するディスプレイ１０４を備えている。更に、ユーザの発話音声（音声データ）を録音するための録音手段である録音装置１０５と、撮影されたユーザの表情を録画するための録画手段である録画装置１０６とを備えている。オペレータ１１０側とハンドオーバ接続するためのオペレータ接続スイッチ１０８と、車外との通信を行うための通信手段である通信装置１０７とを備えている。なお、本実施形態における通信装置１０７は、マルチアクセス機能を備えている。このため、後述する送信データをオペレータ１１０側に送信できる。

また、ナビゲーション装置１０３は、マイク１０１を介して入力された音声を音声データにＡＤ変換するＡ／Ｄコンバータ１０３１と、スピーカ１０２から音声を出力するためにＤＡ変換するＤ／Ａコンバータ１０３２と、出力アンプ１０３３とを備えている。更に、Ａ／Ｄコンバータ１０３１によりＡＤ変換された音声データを音声認識する信号処理装置１０３４と、施設の正式名称および位置を保持するデータベースを有する外部記憶装置１０３５とを備えている。信号処理装置１０３４は、当該音声認識結果の内容に応じて施設や経路を検索して当該検索結果を表示し、または、音声認識結果の内容に応じて応答を返している。なお、図１に示すように、信号処理装置１０３４は、主にＣＰＵ１０３４ａとメモリ１０３４ｂから構成される。また、外部記憶装置１０３５は、ユーザが所定のタスクを選択するメニュー項目を階層構造にしたデータベース、対話履歴保持装置３０１（図２参照）およびキャンセル回数保持装置３０２（図２参照）も備えている。

一方、オペレーションセンタ１０９は、通信装置１０７と通信を行うための通信装置１０９１と、通信装置１０９１を介して送信されたデータを処理するデータ処理部１０９２と、当該データを表示するため、または、検索を行うためのパソコン１０９３と、ユーザと対話を行うための電話１０９４とを備えている。これにより、オペレータ接続スイッチ１０８をユーザが押下した場合、マイク１０１、スピーカ１０２、ナビゲーション装置１０３、通信装置１０７、通信網２０、通信装置１０９１および電話１０９４を介して、ユーザはオペレータ１１０と対話することができる。

また、本実施形態では、タスクの進捗状況に基づいて、ユーザに手詰まり状態が発生したか否か判断する。後述するが、例えば、検索語彙が分からない場合、または、目的とする項目が含まれる階層に到達できない場合、ユーザに手詰まり状態が発生したと判断する。ユーザに手詰まり状態が発生したと判断した場合、ユーザとオペレータ１１０が対話できるように、信号処理装置１０３４からの信号に基づいて、通信装置１０７は、オペレータ１１０側の通信装置１０９１とハンドオーバ接続する。

次に、図１に示した信号処理装置１０３４および外部記憶装置１０３５の内部構成について説明する。図２は、図１に示す信号処理装置１０３４および外部記憶装置１０３５のブロック図である。図２に示すように、信号処理装置１０３４は、Ａ／Ｄコンバータ１０３１によりＡＤ変換された音声データを音声認識する音声認識部３０３を備えている。また、ユーザがマイク１０１に入力した情報（音声データ）に基づいて、所定のタスクを達成する制御部３１０も備えている。一方、外部記憶装置１０３５は、タスクの履歴情報であるユーザとシステム（信号処理装置１０３４の制御処理）の対話履歴（以下、対話履歴保持内容とする。）を保持する対話履歴保持装置３０１を備えている。更に、ユーザがシステムの応答に対してキャンセルした回数（以下、キャンセル回数とする。）を保持するキャンセル回数保持手段であるキャンセル回数保持装置３０２を備える。

ここで、制御部３１０は、対話履歴保持内容を更新する履歴更新手段である対話履歴更新部３１１と、キャンセル回数を更新するキャンセル回数更新手段であるキャンセル回数更新部３１２を備えている。また、キャンセル回数からユーザに手詰まり状態が発生したか否か判断する手詰まり状態判断手段である判定部３１３を備えている。更に、タスクの種類に基づいて、対話履歴保持内容のうち必要なデータを決定する送信データ決定手段である送信データ決定部３１４を備えている。また、送信データ決定部３１４で決定された必要なデータから、オペレータ１１０側に送信する送信データを作成する送信データ作成手段である送信データ作成部３１５を備えている。なお、本実施形態の送信データはテキストデータである。また、ユーザに手詰まり状態が発生したと判定部３１３が判断した場合、通信装置１０７は、制御部３１０により、オペレータ１１０側の通信装置１０９１とハンドオーバ接続する。また、ユーザに手詰まり状態が発生したと判定部３１３が判断した場合、通信装置１０７は、通信網２０、通信装置１０９１を介して、上記送信データをデータ処理部１０９２に送信する。更に、ユーザに手詰まり状態が発生したと判定部３１３が判断した場合、通信装置１０７は、制御部３１０により、録画装置１０６で録画された録画データおよび上記音声データをデータ処理部１０９２に送信する。

次に、図１に示した信号処理装置１０３４の制御処理について説明する。図３は、図１に示す信号処理装置１０３４の制御処理の流れを示すフローチャートである。まず、ユーザが発話スイッチ１００を操作し、発話開始が指示されると（ステップ２０１）、制御部３１０は、上記発話開始の指示を検出して、ユーザの発話音声が入力されたか否かを判断する（ステップ２０２）。具体的には、マイク１０１から入力された発話音声（アナログ信号）はＡ／Ｄコンバータで音声データ（デジタル信号）に変換され、信号処理装置１０３４の制御部３１０に入力される。制御部３１０は、発話スイッチ１００の操作がなされるまでは、無発話音声状態におけるデジタル信号の平均パワーを演算している。発話スイッチ１００が操作された後、音声データの瞬間パワーと上記平均パワーとを比較する。発話スイッチ１００が操作されたにも関わらず、音声データの瞬間パワーが所定値未満である場合、ユーザが発話していないと判断し（ステップ２０２：Ｎｏ）、ステップ２０７に遷移する。一方、制御部３１０は、音声データの瞬間パワーが所定値以上であったとき、ユーザが発話したと判断し（ステップ２０２：Ｙｅｓ）、音声取り込みを開始する。更に、制御部３１０は、取り込んだ音声データを録音装置１０５に録音する。

次に、音声認識部３０３は、上記の取り込んだ音声データに基づいて、メモリ１０３４ｂにある待ち受け文とのマッチングによる音声認識処理を実施する（ステップ２０３）。当該音声認識処理では、上記の取り込んだ音声データと各待ち受け文との音響的な近さである音響尤度が計算され、当該音響尤度が高いものから順に上位Ｎ個（＝Ｎ−ｂｅｓｔ）が音声認識結果の候補となる。更に、音声認識部３０３は、音声認識結果のＮ−ｂｅｓｔに対して信頼度計算を実施する（ステップ２０４）。次に、制御部３１０は、音声認識部３０３における信頼度計算の結果から最適なものを音声認識結果として選択し、応答（システム応答）を生成する（ステップ２０５）。次に、制御部３１０は、当該応答をディスプレイ１０４に表示し、Ｄ／Ａコンバータ１０３２および出力アンプ１０３３を介して、当該応答をスピーカ１０２から出力する（ステップ２０６）。

次に、制御部３１０は、目的地設定などのタスクが完了したか否か判断する（ステップ２０７）。タスクが完了したと判断した場合（ステップ２０７：Ｙｅｓ）、音声認識を終了する（ステップ２１５）。一方、タスクが完了していないと判断した場合（ステップ２０７：Ｎｏ）、当該判断に基づいて、対話履歴更新部３１１は、対話履歴保持装置３０１に保持された対話履歴保持内容を更新する（ステップ２０８）。次に、キャンセル回数更新部３１２は、更新された対話履歴保持内容に基づいて、キャンセル回数を更新する必要があるか否か判断する（ステップ２０９）。ここで、キャンセル回数更新部３１２は、ユーザがシステムの応答に対してユーザがキャンセルした場合に、キャンセル回数を更新する必要があると判断する。上記キャンセルは、ユーザがシステムの「〜ですか？」のような確認型の応答に対して、「いいえ」と答える場合だけでなく、ユーザが思っていた答えが出力されていないシステム応答に対して、ユーザが入力するコマンド全般を意味する。例えば、ユーザが所定のタスクを選択するメニュー項目の階層を上階層に１つ戻る内容のコマンドを意味する「戻る」や、同一階層に複数のリストがある場合において、次のリストを確認するためのコマンドを意味する「次」も含めている。これらの「戻る」および「次」も、システムの応答で提示された情報以外の情報が欲しい場合に用いるコマンドだからである。

次に、キャンセル回数更新部３１２がキャンセル回数を更新する必要がないと判断した場合（ステップ２０９：Ｎｏ）、制御部３１０はユーザの発話音声を再度待つ（ステップ２０２）。一方、キャンセル回数更新部３１２がキャンセル回数を更新する必要があると判断した場合（ステップ２０９：Ｙｅｓ）、キャンセル回数更新部３１２は、キャンセル回数保持装置３０２に保持されたキャンセル回数を１増加する（ステップ２１０）。次に、判定部３１３は、増加されたキャンセル回数と閾値を比較し（ステップ２１１）、ユーザに手詰まり状態が発生したか否か判断する。ここで、判定部３１３はキャンセル回数と比較するための閾値を保持しているが、当該閾値の設定方法は、例えば、「キャンセルは３回まで」のような閾値を固定する形式でも良い。また、「通常時において、キャンセル回数が少ない人は閾値の回数を少なくする」のような使用するごとに学習する形式でも良い。増加されたキャンセル回数が閾値以下であると判定部３１３が判断した場合（ステップ２１１：＜閾値）、すなわち、ユーザに手詰まり状態が発生していない場合、制御部３１０はユーザの発話音声を再度待つ（ステップ２０２）。

一方、増加されたキャンセル回数が閾値を越えたと判定部３１３が判断した場合（ステップ２１１：≧閾値）、すなわち、ユーザに手詰まり状態が発生した場合、送信データ決定部３１４は、タスクの種類に基づいて、ステップ２０８で更新された対話履歴保持内容のうち、送信データとして必要なデータを決定する（ステップ２１２）。次に、送信データ作成部３１５は、送信データ決定部３１４で決定された必要なデータから、オペレータ１１０側に送信する送信データを作成する（ステップ２１３）。これから、送信データがオペレータ１１０にとって理解しやすい最適な形式に整理している。次に、通信装置１０７は、制御部３１０により、オペレータ１１０側の通信装置１０９１とハンドオーバ接続する（ステップ２１４）。また、通信装置１０７は、通信網２０、通信装置１０９１を介して、上記送信データ、録画装置１０６で録画された録画データおよび上記音声データをデータ処理部１０９２に送信する。これより、ユーザが思っていた答えが出力されていないシステム応答に対して入力するコマンドを入力した場合、キャンセル回数を増加させることで、ユーザが欲しい出力結果とシステムの応答の不一致が続くことによる手詰まり状態を確実に検出できる。これから、自動的にハンドオーバ接続することができる。よって、ユーザはオペレータ１１０と対話することができ、手詰まり状態を確実に解消することができる。更に、上記送信データをデータ処理部１０９２に送信することで、オペレータ１１０は、後述する、ハンドオーバ接続発生までのユーザとシステムの対話履歴を見ることができる。これから、ユーザはオペレータ１１０に対して最初から説明する必要がなくなり、オペレータ１１０との対話を短い接続時間で終了することができ、ユーザが選択した目的地設定などのタスクを短時間で完了させることができる。

次に、対話履歴保持装置３０１に保持された対話履歴保持内容について説明する。図４は、対話履歴保持内容４０１の一例を示す図である。図４に示すように、本実施形態に係る対話履歴保持内容４０１は、システムに対してユーザがどのような検索項目を現在行っているかを示す情報を保持している。ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の情報から現在の自車両走行位置の情報を保持している。また、ハンドオーバ接続発生までのユーザとシステムの対話履歴、すなわち、ユーザの発話音声に対する音声認識結果と当該音声認識結果におけるシステムの応答との履歴を保持している。

以下、ユーザに手詰まり状態が発生した場合の具体例として、目的地をジャンルで検索する場合（対話例１）、目的地を周辺施設で検索する場合（対話例２）、目的地を施設名称で検索する場合におけるシステムが誤認識を繰り返す場合（対話例３）の３シーンについて説明する。まず、目的地をジャンルで検索する場合について図５および図６を参照して説明する。図５はユーザとシステムの対話例１を示す図、図６は図５に示す対話例１における対話履歴保持内容６０１と送信データ６０２を示す図である。図５に示すように、ユーザが発話スイッチ１００を押すと（ステップＵ１１）、システムは「検索方法をどうぞ」の案内を行う（ステップＳ１１）。次に、ユーザが「ジャンルで探す」の発話を行うと（ステップＵ１２）、システムは「ジャンル名をどうぞ」の案内を行う（ステップＳ１２）。対話履歴更新部３１１は、対話履歴保持内容６０１の検索中欄に「ジャンル検索中」を記述する。ユーザが「テーマパーク」の発話を行うと（ステップＵ１３）、システムは「県名をどうぞ」の案内を行う（ステップＳ１３）。対話履歴更新部３１１は、対話履歴保持内容６０１の対話履歴欄に「テーマパーク」を記述する。ユーザが「神奈川県」の発話を行うと（ステップＵ１４）と、システムは「神奈川県のテーマパークを提示します。」の案内を行う（ステップＳ１４）。対話履歴更新部３１１は、対話履歴保持内容６０１の対話履歴欄に「神奈川県」を記述する。

次に、ユーザが「戻る」の発話を行うと（ステップＵ１５）、システムは「県名をどうぞ」の案内を行う（ステップＳ１５）。対話履歴更新部３１１は、対話履歴保持内容６０１の対話履歴欄に「モドル」を記述する。キャンセル回数更新部３１２はキャンセル回数を１回増加する。ユーザが「戻る」の発話を行うと（ステップＵ１６）、システムは「ジャンル名をどうぞ」の案内を行う（ステップＳ１６）。対話履歴更新部３１１は、対話履歴保持内容６０１の対話履歴欄に「モドル」を記述する。キャンセル回数更新部３１２はキャンセル回数を１回増加する。ユーザが「飲食店」の発話を行うと（ステップＵ１７）、システムは「県名をどうぞ」の案内を行う（ステップＳ１７）。対話履歴更新部３１１は、対話履歴保持内容６０１の対話履歴欄に「飲食店」を記述する。ユーザが「神奈川県」の発話を行うと（ステップＵ１８）、システムは「神奈川県の飲食店を提示します。」の案内を行う（ステップＳ１８）。対話履歴更新部３１１は、対話履歴保持内容６０１の対話履歴欄に「神奈川県」を記述する。ユーザが「戻る」の発話を行うと（ステップＵ１９）、システムは「申し訳ございません。今すぐオペレータにお繋ぎしてお調べ致します。」の案内を行う（ステップＳ１９）。対話履歴更新部３１１は、対話履歴保持内容６０１の対話履歴欄に「モドル」を記述する。キャンセル回数更新部３１２はキャンセル回数を１回増加する。対話例１では、判定部３１３の閾値が「３回以上」の場合を示している。ステップＳ１９により、キャンセル回数が閾値を越えたので、システムはオペレーションセンタ１０９とハンドオーバ接続をする。

複合型大型施設のような複数の店舗で構成されている場所をジャンル検索する場合、当該施設がどのジャンルに含まれているかを判断することは難しいため、ユーザは当該施設が登録されていると思われるジャンル名を選択し検索を行う。検索を進めて行くなかでユーザが設定したい施設が見つからなかった場合、検索作業を適当な階層まで戻り、再度登録されていると思われるジャンル名で検索を進めて行く。当該検索作業を数回繰り返し施設が見つかる場合は問題ないが、施設が見つからない状態が続くと、ユーザの思いつくジャンル名が果ててしまい手詰まり状態になってしまう。手詰まり状態になった際、異なる情報を用いて名称検索や住所検索、電話番号検索など他の検索方法で検索を行うこともできる。しかし、他の情報を保持していない場合、これ以降どのように検索を行えばよいか分からない。そこで、本実施形態では、ユーザに手詰まり状態が発生した場合、すなわち、キャンセル回数が閾値を超えたと判定部３１３が判断した場合、通信装置１０７は、制御部３１０により、オペレータ１１０側の通信装置１０９１とハンドオーバ接続している。

また、図６に示すように、対話履歴保持内容６０１は、現在ユーザがジャンル検索を行っている状態であること、ユーザが神奈川県横須賀市周辺にいること、ハンドオーバ接続発生までのユーザとシステムの対話履歴を保持している。全ての情報をオペレーションセンタ１０９に送信すると、オペレータ１１０は情報過多で混乱する可能性がある。また、接続料金も情報量に応じて発生するため、オペレータ１１０に送る情報は最低限にすべきである。目的地をジャンルで検索する場合、自車両走行位置の情報をオペレータ１１０に送る必要はない。そこで、送信データ作成部３１５は、対話履歴保持内容６０１をジャンル検索中であること、ハンドオーバ接続発生までのユーザとシステムの対話履歴の２つの情報だけに整理し、送信データ６０２を作成する。通信装置１０７は、通信網２０、通信装置１０９１を介して、送信データ６０２をデータ処理部１０９２に送信する。

次に、目的地を周辺施設で検索する場合について図７および図８を参照して説明する。図７はユーザとシステムの対話例２を示す図、図８は図７に示す対話例２における対話履歴保持内容８０１と送信データ８０２を示す図である。図７では、周辺のガソリンスタンドを検索する場合のユーザとシステムの対話例を示している。まず、ユーザが発話スイッチ１００を押すと（ステップＵ２１）、システムは「検索方法をどうぞ」の案内を行う（ステップＳ２１）。次に、ユーザが「周辺施設で探す」の発話を行うと（ステップＵ２２）、システムは「周辺施設名をどうぞ」の案内を行う（ステップＳ２２）。対話履歴更新部３１１は、対話履歴保持内容８０１の検索中欄に「周辺施設検索中」を記述する。次に、ユーザが「ガソリンスタンド」の発話を行うと（ステップＵ２３）、システムは「周辺のガソリンスタンドを提示します。」の案内を行う（ステップＳ２３）。対話履歴更新部３１１は、対話履歴保持内容８０１の対話履歴欄に「ガソリンスタンド」を記述する。次に、ユーザが「次」の発話を行うと（ステップＵ２４）、システムは「周辺のガソリンスタンドを提示します。」の案内を行う（ステップＳ２４）。対話履歴更新部３１１は、対話履歴保持内容８０１の対話履歴欄に「ツギ」を記述する。キャンセル回数更新部３１２はキャンセル回数を１回増加する。次に、ユーザが「次」の発話を行うと（ステップＵ２５）、システムは「周辺のガソリンスタンドを提示します。」の案内を行う（ステップＳ２５）。対話履歴更新部３１１は、対話履歴保持内容８０１の対話履歴欄に「ツギ」を記述する。キャンセル回数更新部３１２はキャンセル回数を１回増加する。

次に、ユーザが「戻る」の発話を行うと（ステップＵ２６）、システムは「申し訳ございません。今すぐオペレータにお繋ぎしてお調べ致します。」の案内を行う（ステップＳ２６）。対話履歴更新部３１１は、対話履歴保持内容８０１の対話履歴欄に「モドル」を記述する。キャンセル回数更新部３１２はキャンセル回数を１回増加する。対話例２では、対話例１と同様、判定部３１３の閾値が「３回以上」の場合を示している。ステップＳ２６により、キャンセル回数が閾値を越えたので、システムはオペレーションセンタ１０９とハンドオーバ接続をする。

このように、周辺のガソリンスタンドを検索する場合、システムは自車位置周辺のガソリンスタンドを数件提示する。しかし、ガソリンスタンドの場合、ジャンルは同じであっても様々な店舗や業種形態がある。特有のスタンドのポイントカードを持っているため、ポイントカードが使える系列のスタンドにしかいかない、またはセルフのスタンドよりも有人のスタンドに行きたいなど、１つのジャンルの「ガソリンスタンド」でもユーザの意図は様々である。また、このようなことはガソリンスタンドだけでなく、コンビニや駐車場の場合であっても同様である。コンビニではＡＴＭ端末を設置している店舗、店頭で振込が可能な店舗などである。また、駐車場では２４時間入出可能な駐車場、大型車駐車可能な駐車場などである。すなわち、１つのジャンルのキーワードでもユーザが探している条件に含まれる場合と含まれない場合がある。そのため、システムが出力した情報の中にユーザの思っていた情報が含まれていない場合、「次」などのコマンドを入力し、提示されている情報以外の情報を探すこととなる。上記の作業をユーザが欲しい情報が得られるまで繰り返すこととなるが、上記の繰り返し作業を続けることで、ユーザの検索意欲が落ちる。そこで、本実施形態では、ユーザに手詰まり状態が発生した場合、すなわち、キャンセル回数が閾値を超えたと判定部３１３が判断した場合、通信装置１０７は、制御部３１０により、オペレータ１１０側の通信装置１０９１とハンドオーバ接続している。

また、図８に示すように、対話履歴保持内容８０１は、現在ユーザが周辺施設検索を行っている状態であること、ユーザが神奈川県横須賀市周辺にいること、ハンドオーバ接続発生までのユーザとシステムの対話履歴を保持している。目的地を周辺施設で検索する場合、周辺施設検索中であること、自車両走行位置およびハンドオーバ接続発生までのユーザとシステムの対話履歴の３つの情報が必要である。そこで、送信データ作成部３１５は、上記の３つの情報から送信データ８０２を作成する。通信装置１０７は、通信網２０、通信装置１０９１を介して、送信データ８０２をデータ処理部１０９２に送信する。これにより、ユーザがオペレータ１１０に自車両走行位置を伝える必要がなく、スムーズに目的地の検索を行うことができる。

次に、目的地を施設名称で検索する場合におけるシステムが誤認識を繰り返す場合について図９および図１０を参照して説明する。図９はユーザとシステムの対話例３を示す図、図１０は図９に示す対話例３における対話履歴保持内容１００１と送信データ１００２を示す図である。図９に示すように、ユーザが発話スイッチ１００を押すと（ステップＵ３１）、システムは「検索方法をどうぞ」の案内を行う（ステップＳ３１）。次に、ユーザが「名称で探す」の発話を行うと（ステップＵ３２）、システムは「名称をどうぞ」の案内を行う（ステップＳ３２）。対話履歴更新部３１１は、対話履歴保持内容１００１の検索中欄に「名称検索中」を記述する。次に、ユーザが「不入斗運動公園」の発話を行うと（ステップＵ３３）、システムは「○○運動公園ですか。」の案内を行う（ステップＳ３３）。対話履歴更新部３１１は、対話履歴保持内容１００１の検索中欄に「○○運動公園」を記述する。次に、ユーザが「違う」の発話を行うと（ステップＵ３４）、システムは「名称をどうぞ」の案内を行う（ステップＳ３４）。対話履歴更新部３１１は、対話履歴保持内容１００１の検索中欄に「チガウ」を記述する。キャンセル回数更新部３１２はキャンセル回数を１回増加する。

次に、ユーザが「不入斗運動公園」の発話を行うと（ステップＵ３５）、システムは「△△運動場ですか。」の案内を行う（ステップＳ３５）。対話履歴更新部３１１は、対話履歴保持内容１００１の検索中欄に「△△運動場」を記述する。次に、ユーザが「違う」の発話を行うと（ステップＵ３６）、システムは「名称をどうぞ」の案内を行う（ステップＳ３６）。対話履歴更新部３１１は、対話履歴保持内容１００１の検索中欄に「チガウ」を記述する。キャンセル回数更新部３１２はキャンセル回数を１回増加する。次に、ユーザが「不入斗運動公園」の発話を行うと（ステップＵ３７）、システムは「□□□□公園ですか。」の案内を行う（ステップＳ３７）。対話履歴更新部３１１は、対話履歴保持内容１００１の検索中欄に「□□□□公園」を記述する。次に、ユーザが「違う」の発話を行うと（ステップＵ３８）、システムは「申し訳ございません。今すぐオペレータにお繋ぎしてお調べ致します。」の案内を行う（ステップＳ３８）。対話履歴更新部３１１は、対話履歴保持内容１００１の検索中欄に「チガウ」を記述する。キャンセル回数更新部３１２はキャンセル回数を１回増加する。対話例３では、対話例１と同様、判定部３１３の閾値が「３回以上」の場合を示している。ステップＳ３８により、キャンセル回数が閾値を越えたので、システムはオペレーションセンタ１０９にハンドオーバ接続をする。

このように、目的地を施設名称で検索する場合におけるシステムがユーザの発話音声の誤認識を繰り返す場合、ユーザは目的地の検索をどのように進めていいか分からず、手詰まり状態に陥ってしまう。また、上記の場合、ユーザの勘違い、読み間違いの可能性もある。更に、対話例３に用いた施設名称の検索だけでなく、住所検索などを行う場合であっても、同様に手詰まり状態に陥る可能性がある。そこで、本実施形態では、ユーザに手詰まり状態が発生した場合、すなわち、キャンセル回数が閾値を超えたと判定部３１３が判断した場合、通信装置１０７は、制御部３１０により、オペレータ１１０側の通信装置１０９１とハンドオーバ接続している。

また、図１０に示すように、対話履歴保持内容１００１は、現在ユーザが名称検索を行っている状態であること、ユーザが神奈川県横須賀市周辺にいること、ハンドオーバ接続発生時までのユーザとシステムの対話履歴を保持している。全ての情報をオペレーションセンタ１０９に送信すると、オペレータ１１０は情報過多で混乱する可能性がある。また、接続料金も情報量に応じて発生するため、オペレータ１１０に送る情報は最低限にすべきである。目的地を施設名称で検索する場合におけるシステムが誤認識を繰り返す場合、自車両走行位置の情報をオペレータ１１０に送る必要はない。そこで、送信データ作成部３１５は、対話履歴保持内容１００１を名称検索中であること、ハンドオーバ接続発生までのユーザとシステムの対話履歴の２つの情報だけに整理し、送信データ１００２を作成する。通信装置１０７は、通信網２０、通信装置１０９１を介して、送信データ１００２をデータ処理部１０９２に送信する。

以上より、本実施形態に係る車載用情報提供対話装置では、ユーザがマイク１０１に入力した情報に基づいて、目的地設定などの所定のタスクを達成する制御部３１０と、タスクの進捗状況に基づいて、ユーザに手詰まり状態が発生したか判断する判定部３１３とを備える。手詰まり状態が発生したとの判断に基づいて、通信装置１０７は、制御部３１０により、オペレータ１１０側の通信装置１０９１とハンドオーバ接続する。これから、ユーザが欲しい出力結果とシステムの応答の不一致が続くことによる手詰まり状態を確実に検出でき、自動的にハンドオーバ接続することができる。よって、ユーザはオペレータ１１０と対話することができ、手詰まり状態を確実に解消することができる。更に、本実施形態に係る車載用情報提供対話装置は、タスクの進捗状況に基づいて、対話履歴保持内容を更新する対話履歴更新部３１１を備える。手詰まり状態が発生したのと判断に基づいて、マルチアクセス機能を有する通信装置１０７は、対話履歴保持内容に係る送信データをデータ処理部１０９２に送信する。これから、オペレータ１１０は、ハンドオーバ接続発生までのユーザとシステムの対話履歴を見ることができる。よって、オペレータ１１０はユーザとシステムの対話履歴をテキストデータとして確認しながらユーザとの対話を行うことができる。ユーザはオペレータ１１０に対して最初から説明する必要がなくなり、オペレータ１１０との対話を短い接続時間で終了することができ、ユーザが選択した目的地設定などのタスクを短時間で完了させることができる。

また、本実施形態では、タスクの種類に基づいて、対話履歴保持内容のうち必要なデータを決定する送信データ決定部３１４と、送信データ決定部３１４で決定された必要なデータから、オペレータ１１０に送信する送信データを作成する送信データ作成部３１５とを備えている。これから、送信データは必要最低限の情報となり、オペレータ１１０が情報過多で混乱することを防止できる。また、ユーザの発話音声を入力するマイク１０１と、マイク１０１を介して入力された音声を変換した音声データを音声認識する音声認識部３０３をも備えている。これから、音声入力が可能となり、運転中であってもユーザに視線移動など余計な負荷を与えることが無い。よって、システムに対するユーザビリティが向上する。

また、キャンセルした回数を保持するキャンセル回数保持装置３０２と、キャンセル回数を更新するキャンセル回数更新部３１２と、キャンセル回数と閾値を比較し、ユーザに手詰まり状態が発生したか否か判断する判定部３１３とを備える。これより、ユーザが欲しい出力結果とシステムの応答の不一致の回数を制限することができ、システムに対するユーザビリティが向上する。また、本実施形態では、対話例２に示したように、ユーザがタスクを選択するメニュー項目を階層構造にしたデータベースを備え、キャンセル回数更新部３１２は、同一階層でユーザが入力した回数に基づいて、キャンセル回数を増加する。これから、より高い精度で手詰まり状態を検出することができる。更に、本実施形態では、対話例１に示したように、キャンセル回数更新部３１２は、ユーザが上階層に戻る内容の入力をした場合に、キャンセル回数を増加する。これから、より高い精度で手詰まり状態を検出することができる。

なお、以上に述べた実施形態は、本発明の実施の一例であり、本発明の範囲はこれらに限定されるものでなく、特許請求の範囲に記載した範囲内で、他の様々な実施形態に適用可能である。例えば、本実施形態に係る車載用情報提供対話装置では、入力手段としてマイク１０１を用いているが、特にこれに限定されるものでなく、ディスプレイ１０４にタッチパネルの機能を持たせて、ユーザの入力内容が入力されるタッチパネルを有する情報入力手段としても良い。このようにすれば、直接ディスプレイの表示内容を見て簡便に選択入力ができるため、システムに対するユーザビリティを向上できる。

また、本実施形態では、キャンセル回数が閾値を超えた場合、ユーザに手詰まり状態が発生したと判断しているが、特にこれに限定されるものでなく、ユーザが試行錯誤した場合、ユーザに手詰まり状態が発生したと判断しても良い。例えば、ユーザがタスクを選択するメニュー項目を階層構造にしたデータベースにおいて、同一階層における滞在総和時間を計測し、計測した滞在総和時間が所定値以上である場合、ユーザに手詰まり状態が発生したと判断しても良い。また、検索タスクの結果を再度表示する内容の入力をユーザがした場合、ユーザに手詰まり状態が発生したと判断しても良い。このようにすれば、より高い精度で手詰まり状態を検出することができる。

また、本実施形態では、ユーザに手詰まり状態が発生したと判定部３１３が判断した場合、通信装置１０７は、録画装置１０６で録画された録画データおよび録音装置１０５で録音されたユーザの発話音声（音声データ）をデータ処理部１０９２に送信しているが、特にこれに限定されるものでなく、上記録画データと上記音声データを送信しなくても同様の効果を取得できる。また、上記録画データおよび上記音声データからユーザの感情状態を推定する感情推定手段を備え、ユーザに手詰まり状態が発生したと判定部３１３が判断した場合、推定されたユーザの感情状態に係る情報も送信しても良い。例えば、図１１に示すように、制御部３１０に感情推定部３１６を備える。そして、上記録画データ、上記音声データの特徴量（音声の強度、テンポおよび抑揚など）に基づいて、ユーザの感情状態（怒り、悲しみなど）を推定した信号を作成する。なお、感情推定部３１６は、特開２００２−０９１４８２号公報が詳しい。このようにすれば、ユーザの感情状態をオペレータ１１０に伝えることができ、オペレータ１１０はユーザの感情状態に応じた対応を行うことができる。よって、オペレータ１１０はユーザの感情を損ねることなく対応することが可能となる。

また、本実施形態では、制御部３１０は、対話履歴更新部３１１、キャンセル回数更新部３１２、判定部３１３、送信データ決定部３１４および送信データ作成部３１５を含んでいるが、特にこれに限定されるものでなく、制御部３１０を、これらと別個独立に備えても良い。

また、本実施形態では、送信データ決定部３１４および送信データ作成部３１５を備えているが、特にこれに限定されるものでなく、対話履歴保持内容を送信データとして送信するのであれば、送信データ決定部３１４および送信データ作成部３１５は無くても良い。しかし、送信データ決定部３１４および送信データ作成部３１５により、送信データを必要最低限の情報とすることができ、オペレータ１１０が情報過多で混乱することを防止できる。

また、本実施形態では、ディスプレイ１０４、オペレータ接続スイッチ１０８、録音装置１０５および録画装置１０６を備えているが、特にこれに限定されるものでなく、ディスプレイ１０４、オペレータ接続スイッチ１０８、録音装置１０５および録画装置１０６は無くても、同様の効果を取得できる。

また、本実施形態では、図４、図６、図８および図１０に対話履歴保持内容の一例を示しているが、特にこれに限定されるものでなく、対話履歴保持内容は他の形式でも良い。

本発明の実施形態に係る車載用情報提供対話装置を含むナビゲーションシステムの構成図 図１に示す信号処理装置および外部記憶装置のブロック図 図１に示す信号処理装置の制御処理の流れを示すフローチャート 対話履歴保持内容の一例を示す図 ユーザとシステムの対話例１を示す図 図５に示す対話例１における対話履歴保持内容と送信データを示す図 ユーザとシステムの対話例２を示す図 図７に示す対話例２における対話履歴保持内容と送信データを示す図 ユーザとシステムの対話例３を示す図 図９に示す対話例３における対話履歴保持内容と送信データを示す図 本発明の変形例に係る信号処理装置および外部記憶装置のブロック図

符号の説明

１０ ナビゲーションシステム、２０ 通信網、
１００ 発話スイッチ、１０１ 音声入力手段であるマイク、
１０２ スピーカ、１０３ ナビゲーション装置、１０４ ディスプレイ、
１０５ 録音手段である録音装置、１０６ 録画手段である録画装置、
１０７ 通信手段である通信装置、１０８ オペレータ接続スイッチ、
１０９ オペレーションセンタ、１１０ オペレータ、
３０１ 対話履歴保持装置、
３０２ キャンセル回数保持手段であるキャンセル回数保持装置、
３０３ 音声認識部、３１０ 制御手段である制御部、
３１１ 履歴更新手段である対話履歴更新部、
３１２ キャンセル回数更新手段であるキャンセル回数更新部、
３１３ 手詰まり状態判断手段である判定部、
３１４ 送信データ決定手段である送信データ決定部、
３１５ 送信データ作成手段である送信データ作成部、
３１６ 感情推定手段である感情推定部、
４０１、６０１、８０１、１００１ 履歴情報である対話履歴保持内容、
６０２、８０２、１００２ 送信データ、
１０３１ Ａ／Ｄコンバータ、１０３２ Ｄ／Ａコンバータ、
１０３３ 出力アンプ、１０３４ 信号処理装置、１０３４ａ ＣＰＵ、
１０３４ｂ メモリ、１０３５ 外部記憶装置、
１０９１ 通信装置、１０９２ データ処理部、１０９３ パソコン、
１０９４ 電話

Claims (13)

1. ユーザが入力手段に入力した情報に基づいて、所定のタスクを達成する制御手段と、
   前記タスクの進捗状況に基づいて、前記ユーザに手詰まり状態が発生したか判断する手詰まり状態判断手段と、
   前記手詰まり状態が発生したとの判断に基づいて、オペレータ側とハンドオーバ接続する通信手段とを備えることを特徴とする車載用情報提供対話装置。
2. 前記通信手段は、マルチアクセス機能を備えていることを特徴とする請求項１に記載の車載用情報提供対話装置。
3. 前記タスクの進捗状況に基づいて、前記タスクの履歴情報を更新する履歴更新手段を備え、
   前記手詰まり状態が発生したとの判断に基づいて、前記通信手段は、前記履歴情報に係る送信データを前記オペレータに送信することを特徴とする請求項２に記載の車載用情報提供対話装置。
4. 前記タスクの種類に基づいて、前記履歴情報のうち必要なデータを決定する送信データ決定手段と、
   決定された前記必要なデータから前記送信データを作成する送信データ作成手段とを備えることを特徴とする請求項３に記載の車載用情報提供対話装置。
5. 前記入力手段は、前記ユーザの発話音声を入力する音声入力手段であることを特徴とする請求項１乃至４のいずれかに記載の車載用情報提供対話装置。
6. 前記音声データを録音する録音手段と、
   前記ユーザを録画する録画手段と、
   前記録画手段に録画された録画データおよび前記音声データから、前記ユーザの感情状態を推定する感情推定手段とを備え、
   前記通信手段は、前記ハンドオーバ接続時に、前記推定された感情状態を送信することを特徴とする請求項５に記載の車載用情報提供対話装置。
7. 前記入力手段は、前記ユーザの入力内容が入力されるタッチパネルを有する情報入力手段であることを特徴とする請求項１乃至４のいずれかに記載の車載用情報提供対話装置。
8. 前記手詰まり状態判断手段は、前記制御手段に前記タスクを達成させるために、前記ユーザが試行錯誤した場合、前記ユーザに前記手詰まり状態が発生したと判断することを特徴とする請求項１乃至７のいずれかに記載の車載用情報提供対話装置。
9. キャンセル回数を保持するキャンセル回数保持手段と、
   前記キャンセル回数を更新するキャンセル回数更新手段とを備え、
   前記手詰まり状態判断手段は、前記キャンセル回数が閾値より大きい場合、前記ユーザに前記手詰まり状態が発生したと判断することを特徴とする請求項８に記載の車載用情報提供対話装置。
10. 前記ユーザが前記タスクを選択するメニュー項目を階層構造にしたデータベースを備え、
    前記キャンセル回数更新手段は、前記ユーザが同一階層で入力した回数に基づいて、キャンセル回数を増加することを特徴とする請求項９に記載の車載用情報提供対話装置。
11. 前記ユーザが前記タスクを選択するメニュー項目を階層構造にしたデータベースを備え、
    前記キャンセル回数更新手段は、前記ユーザが上階層に戻る内容の入力をした場合に、キャンセル回数を増加することを特徴とする請求項９に記載の車載用情報提供対話装置。
12. 前記ユーザが前記タスクを選択するメニュー項目を階層構造にしたデータベースを備え、
    前記手詰まり状態判断手段は、同一階層における滞在総和時間が所定値以上である場合、前記ユーザに前記手詰まり状態が発生したと判断することを特徴とする請求項８に記載の車載用情報提供対話装置。
13. 検索タスクの結果を再度表示する内容の入力をした場合に、前記手詰まり状態判断手段は、前記ユーザに前記手詰まり状態が発生したと判断することを特徴とする請求項８に記載の車載用情報提供対話装置。

Images