JP2008026621A - 音声対話機能を有する情報処理装置 - Google Patents

Abstract

【課題】複数の音声入出力処理の間の競合を防止する。
【解決手段】音声対話機能を有する情報処理装置は、優先度を有する複数のサービス・シナリオを格納するサービス・シナリオ格納手段40と、そのサービス・シナリオ格納手段における高い優先度のサービス・シナリオに従って次の第１の音声処理のタイミングを推定する通知時間推定手段20と、現時点からその第１の音声処理のタイミングまでの空き時間を推定する空き時間推定手段30と、そのサービス・シナリオ格納手段における低い優先度のサービス・シナリオに従って音声出力を含む第２の音声処理に要する時間長さを推定する対話時間推定手段50と、その第２の音声処理のその推定された時間長さがその推定された空き時間未満である場合に、その空き時間にその低い優先度のサービス・シナリオに従ってその第２の音声処理を行う対話制御手段70と、を具えている。
【選択図】図１

Description

本発明は、音声対話機能を有する情報処理装置または電子機器に関し、特に、カーナビゲーション・システムおよび音声サービス機能を有する情報処理装置において複数のサービスの音声処理の優先度に応じて低い優先度の音声処理を中断させることなく適正なタイミングで異なる優先度の音声処理を実行する技術に関する。

カーナビゲーション・システムおよび車両用のテレマティクス端末においては、ラジオのようにユーザに一方的な情報提供をするだけでなく、ユーザからの音声入力やボタン入力などの入力操作を処理して、対話形式で情報を提供することができる。それによって、ユーザは、経路案内、天気予報およびニュース等の様々な情報提供サービスを利用できる。また、複数のサービスが提供される場合でも、ユーザはサービスメニューの階層をたどってサービスを指定したり、直接サービスを呼び出したりすることによって、応答するサービスを切り替えながら利用することができる。

特に車内でのサービス利用においては、運転を阻害しないという観点から音声インタフェースの利用が重視されている。このために、ユーザへの情報提供およびサービスの操作などを、音声を利用して対話的に行うことができるカーナビゲーション・システムやテレマティクス端末が既に提供されている。

通常の対話型の情報処理システムでは、ユーザの所望のサービスを提供するためのそのシステムの動作が記述されたサービス・シナリオを処理することによって、ユーザに様々なサービスを提供する。一般に、サービス・シナリオは状態遷移モデルで表現され、その各状態にはサービスの出力情報が割り当てられ、各遷移にはユーザの入力情報の候補が割り当てられている。対話型の情報処理システムは、状態遷移モデルにおける現在の状態に割り当てられたサービスの出力情報の内容を出力し、それに応答して入力されたユーザの入力情報に応じて、次の状態へと遷移し、これを繰り返すことによって対話を進行させる。

サービス・シナリオは、例えば、ＶｏｉｃｅＸＭＬのような音声対話記述言語によって記述される。ユーザの入力情報の項目の候補はＳＲＧＳ（Speech Recognition Grammar Specification）のような文法記述言語によって記述される。ＶｏｉｃｅＸＭＬインタプリタはサービス・シナリオを解釈して、ユーザが入力した情報に従って、情報提供、予約および機器操作などを対話的に実行する。

対話型の情報処理システムでは、様々な種類のユーザ入力を扱うことができる。例えば、ユーザの音声入力を受け付けるために音声認識技術が用いられる。音声認識技術では、音声認識モジュール（ＡＳＲ、Automatic Speech Recognition）によって、所定の入力期間において入力されたユーザの入力音声をテキスト情報に変換する。音声認識モジュールは、指定された入力項目の候補を参照して、ユーザ入力が入力候補のいずれかと一致していると推定された場合に、それを認識結果とする。また、システムからユーザに対する音声を出力するために音声合成技術が用いられる。音声合成技術では、音声合成モジュール（ＴＴＳ、Text To Speech）によって、所定の出力期間においてテキスト情報を自動的に出力音声に変換して出力する。ユーザは、対話型システムに直接的に結合された入力装置および出力装置だけでなく、固定電話機、携帯電話機、ＰＤＡ等の移動体通信機器、およびカーナビゲーション装置のような情報処理機器を用いて、通信ネットワークを介して対話型システムに接続して、情報処理サービスを利用することができる。

特開平１０−４７９８４号公報（特許文献１）には、カーナビゲーション装置が記載されている。そのカーナビゲーション装置の経路案内タイミング制御装置は、基準時間Ｔｓを設定するレジスタと、自車が曲がるべき交差点への到達時間Ｔｒを算出する時間間隔Ｔｗを設定するレジスタと、この時間間隔Ｔｗを計算する場合の最小時間単位Ｔｉを設定するレジスタとから構成される。カーナビゲーション装置の経路案内は、自車の走行状態情報と自車の位置情報と案内すべき交差点の位置情報を判断要素として演算を行い、自車が案内すべき交差点に到達する時間を計算し経路案内を出力するタイミングを変化させることにより運転者に経路案内を伝える。それによって、曲がるべき交差点における道路の種類、道路の混雑状態に対応した経路誘導の確実性を向上させる。この方法では、単一のサービスが単一の音声通知だけを行う場合にはうまくいくが、複数のサービスを利用して複数の音声通知が発生する場合は考慮されていない。
特開平１０−４７９８４号公報

特開２０００−３０４５５３号公報（特許文献２）には、路側用通信装置が記載されている。車載機としてのナビゲーション装置からサービス要求の指示入力がなされると、サービス要求が路側へ向けて出力され、路上機としての情報センタから遅延指示の応答があると、ナビゲーション装置は遅延時間内に応答時間が収まる他のサービスを検索し、出力し、その結果を受信する。遅延時間経過後に先に行ったサービス要求に対する応答を受信する。従って、路上機側で処理に時間を必要とするサービスが存在する場合であっても、その遅延時間内に他のサービスや情報の授受が可能となる。それによって、路側と移動体側との間において、より迅速に効率よく情報授受が行われる。この方法では複数のサービスを並列に利用することが可能になるが、システムで時間がかかる処理が発生するたびに別なサービスが動作してしまうので、サービスの中断が頻発してしまう。
特開２０００−３０４５５３号公報

特開２００３−２０２２３３号公報（特許文献３）には、車両に搭載され、テキスト文の内容に基づいて音声合成を行う情報再生方法が記載されている。その情報再生方法は、車両速度および車両位置の状態情報を取得し、この状態情報に基づいて、制限時間を算出し、発声すべき内容のテキスト文のうち、当該制限時間以内で発声可能なテキスト文を、複数の発声内容のテキスト文を格納した所定の格納手段から選択し、その選択されたテキスト文から音声合成パラメータを生成し音声出力する。この方法では、制限時間内におさまる出力が選択されるので、一つの音声出力が中断されることはない。しかし、対話処理は必ずしも一つの通知だけで終了せず、ユーザとの複数回の応答によって構成される場合がある。この方法は、そのような対話のまとまりが中断されずに実行されることを保証するものではない。
特開２００３−２０２２３３号公報

カーナビゲーション・システムまたは車両用のテレマティクス端末において、複数のサービスを切り替えながら並行して利用し、または必要に応じて複数のサービスが自動的に音声通知を行う場合、複数のサービスの音声出力の間に競合が生じることがある。即ち、ユーザが或る音声サービスを利用している間に、他のサービスが音声通知を行おうとして、双方のサービスが音声出力の権利を奪いあうことがある。例えば、ユーザが運転しながらレストラン検索を行っている間に、経路案内サービスから右折すべき交差点の音声案内が割り込んで通知されることがある。

このような場合、ユーザに対してレストラン検索サービスが、検索条件作成のために検索対象を絞り込むための質問をした直後に、右左折案内を通知し、再び同じ質問を出して再度ユーザに音声入力を依頼する、といった手順で対話が進められる。従って、ユーザは、質問に対する回答を音声入力しようとしているときに、右左折案内の音声通知によって思考や回答入力を妨げられるので、レストラン検索サービスとの間で円滑な対話ができなくなる。割り込む音声通知を遅延させることができれば、問題を解決できることもある。しかし、高い優先度の右折や左折の案内のタイミングを遅らせると、経路案内として役に立たない。従って、高い優先度の音声案内を優先的に通知する必要がある。

発明者たちは、複数のサービスの音声処理（音声出力および／または音声入力）の優先度と、複数の音声処理に要する各時間長さとに従って、それぞれの音声処理のタイミングを決定すれば、適正なタイミングで音声処理が行われ、ユーザは円滑に複数のサービスを利用できる、と認識した。

本発明の目的は、複数の音声入出力処理の間の競合を防止することである。

本発明の別の目的は、ユーザに対して複数の音声入出力処理をそれぞれの適正なタイミングで円滑に行うことである。

本発明の特徴によれば、音声対話機能を有する情報処理装置は、分類および優先度を有する複数のサービス・シナリオを格納するサービス・シナリオ格納手段と、そのサービス・シナリオ格納手段における高い優先度のサービス・シナリオに従って次の第１の音声処理のタイミングを推定する通知時間推定手段と、現時点からその第１の音声処理のタイミングまでの空き時間を推定する空き時間推定手段と、そのサービス・シナリオ格納手段における低い優先度のサービス・シナリオに従って音声出力を含む第２の音声処理に要する時間長さを推定する対話時間推定手段と、その第２の音声処理のその推定された時間長さがその推定された空き時間未満である場合に、その空き時間にその低い優先度のサービス・シナリオに従ってその第２の音声処理を行う対話制御手段と、を具えている。

本発明は、また、前記情報処理装置を実現するためのプログラムに関する。

本発明によれば、複数の音声入出力処理の間の競合を防止することができ、ユーザに対して複数の音声入出力処理をそれぞれの適正なタイミングで円滑に行うことができる。

本発明の実施形態を、図面を参照して説明する。図面において、同様の構成要素には同じ参照番号が付されている。

図１は、本発明による、複数の音声サービス４００の音声処理即ち音声出力および音声入力を行う音声対話システム１２を有する情報処理装置または電子機器１０の構成を示している。図１のブロック図は、プロセッサ１００によって実行される音声対話処理のためのフロー図と見ることもできる。情報処理装置または電子機器１０は、例えばカーナビゲーション装置、カーナビゲーション機能を有する情報処理装置またはテレマティクス端末であってもよい。情報処理装置または電子機器１０は、プロセッサ１００、メモリ１０２、ディスプレイ１０４、スピーカおよびマイクロホンを含む音響装置１０６、キーおよびボタンを含む入力装置１０８を有する。典型的には、プロセッサ１００およびメモリ１０２上に音声対話システム１２が実装される。情報処理装置または電子機器１０は、例えば、カーナビゲーション、車両メンテナンス、レストラン検索、施設検索、電子メール、ニュース、オーディオ再生、等のサービス機能を実装している。これらのサービス機能はそれぞれの音声サービス４００を含んでいる。

音声対話システム１２は、複数の音声サービス４００別に設けられていて音声通知を行うべき時刻および時間長さを推定する通知時刻推定部２０、或る時刻に高い優先度の音声通知を行う場合における現在からその音声通知までの残りの空き時間ｔ１を推定しさらに２つの高い優先度の音声通知の間の空き時間ｔ１を推定する空き時間推定部３０、複数の音声サービス４００における複数のサービス・シナリオのそれぞれの対話分類（例えば、通知、回答を要求する質問、回答を要求する質問および回答に対する確認通知）および優先度（例えば、０、１、２、．．．）を含むサービス・シナリオを格納するサービス・シナリオ格納部４０、音声を出力しようとしているサービス・シナリオの対話に要する時間ｔ２を推定する対話時間推定部５０、対話履歴情報、ユーザ応答時間履歴情報および受信テキストを格納する情報格納部６０、実行すべき音声処理を決定する対話制御部７０、入力処理部７２および出力処理部７４を含んでいる。対話時間推定部５０は、入力時間推定部５２および文字数カウンタ５４を含んでいる。構成要素２０、３０、５０、７０、７２および７４の機能は、メモリ１０２に格納されたプログラムに従ってプロセッサ１００上に実装することができる。

通知時刻推定部２０は、空き時間推定部３０とサービス・シナリオ格納部４０とに接続されている。対話時間推定部５０は、サービス・シナリオ格納部４０に接続されている。対話制御部７０は、サービス・シナリオ格納部４０、空き時間推定部３０および対話時間推定部５０に接続され、さらに入力処理部７２および出力処理部７４に接続されている。対話制御部７０は、空き時間推定部３０からの空き時間ｔ１および対話時間推定部５０からの対話時間ｔ２に基づいて、現在実行中の音声サービス４００のいずれのサービス・シナリオを実行すべきかを決定し、その決定されたサービス・シナリオに従って入力処理部７２および出力処理部７４を制御する。

一例として、並行して２つの音声サービスＡおよびＢが動作中であり、その２つの音声サービスの音声処理ａ、ｂは時間的に競合し得るものとする。サービス別の通知時刻推定部２０は、サービス・シナリオ格納部４０の音声サービスＡおよびＢのサービス・シナリオに基づいて、音声サービスＡの時間的に次に発声すべき高い優先度の音声通知ａを行うべき予測時刻ｔｐを推定する。空き時間推定部３０は、予測時刻ｔｐから現在の時刻ｔｃを減算して現在の空き時間ｔ１＝ｔｐ−ｔｃを算出する。対話時間推定部５０は、音声サービスＢにおける次に発声すべき低い優先度の音声処理ｂ（音声通知および入力）に要する時間ｔ２を算出する。その音声処理ｂは、優先度が低く、予測時刻ｔｐより早くまたは遅く実行してもよいものとする。その音声処理ｂは、サービス・シナリオに設定された対話分類（例えば、通知、回答を要求する質問、回答を要求する質問およびその回答に対する確認通知）に基づいて、対話処理単位で行われる。

例えば、音声サービスＢのサービス・シナリオの対話分類が「通知」の場合は、対話処理単位（まとまり）は、通知のテキストの音声合成出力処理である。例えば、音声サービスＢのサービス・シナリオの対話分類が「回答を要求する質問」の場合は、対話処理単位は、質問のテキスト・メッセージの音声合成出力処理と、それに対するユーザの回答メッセージの音声認識処理である。例えば、音声サービスＢのサービス・シナリオの対話分類が「回答を要求する質問および回答に対する確認通知」の場合は、対話処理単位は、質問のテキスト・メッセージの音声合成出力処理と、それに対するユーザの回答メッセージの音声認識処理と、その回答に対する確認テキスト・メッセージの音声合成出力処理とである。

テキスト音声の発声に要する時間は、その文字数またはモーラ数に基づいて計算することができる。回答メッセージに要する時間は、ユーザの応答時間履歴情報、特定の質問に対する一般的なユーザの応答時間データ、サービス・シナリオに予め設定した予測のユーザ応答時間、または可能性ある最長の応答テキスト・メッセージの文字数またはモーラ数に基づいて計算することができる。

対話制御部７０は、サービス・シナリオ格納部４０からのサービス・シナリオに基づいて音声サービスＡにおける高い優先度の音声通知ａまでの空き時間ｔ１と、音声サービスＢにおける低い優先度の音声処理ｂに要する音声処理時間ｔ２とを比較する。音声処理時間ｔ２＜空き時間ｔ１の関係であれば、対話制御部７０は、入力部１２および／または出力部１４を用いて、直ちに音声サービスＢの低い優先度の音声処理ｂを行う。一方、音声処理時間ｔ２≧空き時間ｔ１であれば、対話制御部７０は、音声サービスＢの低い優先度の音声処理ｂを抑止して、直ちにまたは予定された時刻に先に音声サービスＡにおける音声通知ａを行わせる。その後、音声対話システム１２は、音声処理時間ｔ２＜空き時間ｔ１となって音声サービスＢの低い優先度の音声処理ｂが実行されるまで、同様の動作を繰り返す。

並行して３つ以上の音声サービスＡ、Ｂ、Ｃ、．．．を実行する場合にも、同様にそれぞれの音声処理の優先度に従って、音声処理ａ、ｂ、ｃ、．．．を実行することができる。音声サービスＡの音声処理ａが最も高い優先度を有し、音声サービスＢの音声処理ｂが次の高い優先度を有し、音声サービスＣの音声処理ｃが最も低い優先度を有するものとする。この場合、音声サービスＡの音声処理ａは優先的に実行される。

ユーザが音声サービスＢを使用している場合、対話制御部７０は、音声サービスＢの音声処理ｂに要する時間ｔ２を、音声サービスＡの最初の音声処理ａの予測時刻ｔｐの前の空き時間ｔ１と比較し、音声処理時間ｔ２＜空き時間ｔ１の場合に、その空き時間ｔ１に音声サービスＢの音声処理ｂを実行させる。対話制御部７０は、音声処理時間ｔ２≧空き時間ｔ１の場合には、音声サービスＢの音声処理ｂを抑止（禁止）し、先に音声サービスＡの音声処理ａを実行させる。その後、音声処理時間ｔ２＜空き時間ｔ１となって音声サービスＢの音声処理ｂが実行されるまで、その手順が繰り返される。

ユーザが音声サービスＣを使用している場合、対話制御部７０は、音声サービスＣの音声処理ｃに要する時間ｔ２を、音声サービスＡおよびＢの最初の音声処理ａまたはｂの予測時刻ｔｐの前の空き時間ｔ１と比較し、音声処理時間ｔ２＜空き時間ｔ１の場合に、その空き時間ｔ１に音声サービスＣの音声処理ｃを実行させる。対話制御部７０は、音声処理時間ｔ２≧空き時間ｔ１の場合には、音声サービスＣの音声処理ｃを抑止し、先に音声サービスＡまたはＢの最初の音声処理ａまたはｂを実行させる。その後、音声処理時間ｔ２＜空き時間ｔ１となって音声サービスＣの音声処理ｃが実行されるまで、その手順が繰り返される。

図２は、本発明の実施形態による、カーナビゲーション・システムの経路案内サービス４０２および電子メール・サービス４０４の音声処理すなわち音声出力および入力を行う音声対話システム１２を有する情報処理装置または電子機器１０の構成を示している。この場合、車両の位置と、地図データベース、ウェブ・ページまたはテキスト放送の交通情報とによって得られた周囲の環境とに基づいて、経路案内サービス４０２による高い優先度の音声通知が予測される。

情報処理装置または電子機器１０は、カーナビゲーション・システム情報格納部８０を有する。カーナビゲーション・システム情報格納部８０は、経路情報８２、現在位置８４および地図データベース８６を格納している。通知時刻推定部２０は次案内時刻推定部２２を含んでいる。次案内時刻推定部２２は、カーナビゲーション・システム情報格納部８０および車両速度センサ１１２に接続されている。情報処理装置または電子機器１０のその他の構成は図１と同様である。

経路案内サービス４０２は、優先的に音声通知をすべき事項として、渋滞警告、カーブ進入時の速度警告、交通事故多発区間の警告、速度取締区間の警告、路面凍結警告、落下物警告、等を含んでいてもよい。

次案内時刻推定部２２は、経路案内サービス４０２について、例えば、車両速度センサ１１２によって検出された車両速度と、カーナビゲーション・システム情報格納部８０内の経路情報８２とから経路中の通過点（例えば交差点）への到達時刻を推定する。次案内時刻推定部２２は、現在予測される運転状況に基づいて、高い優先度の経路案内サービス４０２の音声通知のイベントを発生すべき予測時刻ｔｐを推定する。空き時間推定部３０は、予測時刻ｔｐから現在の時刻ｔｃを減算して現在の空き時間ｔ１＝ｔｐ−ｔｃを算出する。対話時間推定部５０は、低い優先度の電子メール・サービス４０４の音声処理のイベントを発生するのに要する時間ｔ２を推定する。

通知時刻推定は、計算負荷を減少させるために、所定の条件を満たす場合にだけ実行されるようにしてもよい。例えば、経路案内サービスについての通知時刻推定は、カーナビゲーション・システムにおいて経路が設定されている場合または走行中にだけ実行されるようにすることができる。

図３の（Ａ）、（Ｂ）および（Ｃ）は、図２の情報処理装置または電子機器１０において同時にカーナビゲーション・システムの経路案内サービス４０２および電子メール・サービス４０４を利用する場合における運転状況の予測および経路案内の予想時刻を示している。音声対話システム１２は、その運転状況の予測に基づいて、高い優先度の経路案内サービス４０２による音声通知と、低い優先度の電子メール・サービス４０４による音声案内および入力指示とを行う。

図３（Ａ）上側の運転状況において、経路案内サービス４０２または通知時刻推定部２０は、カーナビゲーション・システム情報格納部８０から取得した目的地までの経路情報（８２）、地図上の周囲の状況（８６）および現在の位置（８４）、および車両速度センサ１１２から取得した車両速度に従って、時間軸に対して、運転状況として、長い時間の直進走行の後、停止して右折し、直進走行することを予測する。通知時刻推定部２０は、経路案内サービス４０２が、走行中、停車の直前にサービス・シナリオに従って「右方向です」という高い優先度の音声通知を発声させ、それを予告するためにその数秒前にサービス・シナリオに従って「この先○○を右です」という高い優先度の音声通知を発声させることを、予測する。経路案内サービス４０２の各音声通知の音声通知のサービス・シナリオには、対話分類と優先度とが付加されている。図３（Ａ）下側の経路案内予想時刻において、空き時間推定部３０は、現時点ｔｃにおける、斜線の陰影で示した「この先○○を右です」という最初の音声通知の予測時刻の前に存在する空き時間ｔ１を算出する。

図３（Ｂ）上側の運転状況において、予測とは違って、車両の走行中に横断歩道の信号機が赤信号になって、ドライバは停止線で車両を停止させ、それと同時に電子メール・サービス４０４を起動する。経路案内サービス４０２または通知時刻推定部２０は、その車両の停止の発生に従って運転状況の予測を修正する。電子メール・サービス４０４の電子メール送信のサービス・シナリオには、対話分類と優先度とが付加されている。この時、空き時間推定部３０は、現時点ｔｃにおける、経路案内サービス４０２による高い優先度の「この先○○を右です」という最初の音声通知の予測時刻ｔｐまでの空き時間ｔ１を算出する。対話時間推定部５０は、その文字数カウンタ５４と入力時間推定部５２を用いて、電子メール・サービス４０４の低い優先度の「送信先はどこですか？」という音声案内のモーラ数に対応する予測所要時間と、その回答としてのユーザによるキー入力または音声入力（「．．．」）およびその音声認識を行う予測所要時間との合計の予測音声処理時間ｔ２を算出する。入力時間推定部５２は、情報格納部６０内の対応するシナリオの対話履歴情報から想定される音声入力の最大文字数に対応する時間に付加時間を加えてその時間を推定してもよい。

対話制御部７０は、低い優先度の音声処理の予測時間ｔ２を、高い優先度の音声処理の空き時間ｔ１と比較する。予測時間ｔ２が空き時間ｔ１未満（ｔ２＜ｔ１）の場合には、対話制御部７０は、電子メール・サービス４０４による「送信先はどこですか？」という低い優先度の音声案内を発声させ、その後で確保された所定時間だけ入力処理部１４を介したユーザによる音響装置１０６を介した音声入力または入力装置１０８を介したキー操作を待つ。図３（Ｂ）の場合、予測時間ｔ２が空き時間ｔ１未満なので、対話制御部７０は、入力処理部１２および出力処理部１４を用いてその音声案内と、ユーザ音声入力およびその音声認識を行わせる。ユーザによる音声入力またはキー操作があれば、入力処理部７２はそれに従って音声認識を含む入力処理を行い、対話制御部７０は次の対話制御を行う。一方、電子メール・サービスの予測時間ｔ２が空き時間ｔ１以上である（ｔ２≧ｔ１）場合には、経路案内サービス４０２によって、先に「この先○○を右です」という高い優先度の音声通知を発声させる。その後、予測時間ｔ２が次の空き時間ｔ１未満となるまで、上述の処理を繰り返す。

図３（Ｃ）上側の運転状況において、ドライバは、上述の停止の後、走行を再開する。経路案内サービス４０２または通知時刻推定部２０は、その走行の再開の発生に従って運転状況の予測を修正する。車両の走行中に、ドライバは、電子メール・サービス４０４において、低い優先度の受信電子メールの音声による読み上げを行うよう入力装置１０８を操作する。電子メール・サービス４０４の電子メール読み上げのサービス・シナリオには、対話分類と優先度とが付加されている。この時、空き時間推定部３０は、「この先○○を右です」という高い優先度の音声通知までの空き時間ｔ１を予測する。対話時間推定部５０は、文字カウンタ５４を用いて、電子メールの文字数（モーラ数）に基づいて電子メールの音声による読み上げに要する予測時間ｔ２を算出する。

対話制御部７０は、低い優先度の音声処理の予測時間ｔ２を、高い優先度の音声処理の空き時間ｔ１と比較する。電子メール・サービスの予測時間ｔ２が空き時間ｔ１未満（ｔ２＜ｔ１）の場合には、対話制御部７０は、出力処理部１４を用いて電子メールの読み上げを行わせる。電子メールの読み上げの予測時間ｔ２が空き時間ｔ１以上である（ｔ２≧ｔ１）の場合には、対話制御部７０は、電子メール・サービス４０４による電子メールの読み上げ動作を抑止し、直ちにまたは予定された所定の時刻に経路案内サービス４０２によって次の「この先○○を右です」という高い優先度の音声通知を発声させる。

その発声の時点において、経路案内サービス４０２の次の「右方向です」という通知までの新たな空き時間ｔ１は図３のｔ１’の値となる。対話制御部７０は、電子メールの音声による読み上げに要する予測時間ｔ２を空き時間ｔ１と比較する。電子メール・サービスの予測時間ｔ２が空き時間ｔ１未満（ｔ２＜ｔ１）の場合には、対話制御部７０は、電子メール・サービス４０４に電子メールの読み上げを行わせる。電子メールの読み上げの予測時間ｔ２が空き時間ｔ１以上である（ｔ２≧ｔ１）の場合には、対話制御部７０は、電子メール・サービス４０４による電子メールの読み上げ動作を抑止し、直ちにまたは予定された所定の時刻に経路案内サービス４０２によって次の「右方向です」という高い優先度の音声通知を発声させる。その後、予測時間ｔ２が次の空き時間ｔ１未満となるまで、上述と同様の処理を繰り返す。

図４は、本発明の実施形態による、燃料警告サービス４０６および近所の施設検索サービス４０８の音声出力および音声入力を行う音声対話システム１２を有する情報処理装置または電子機器１０の構成を示している。この場合、車両の各センサの検知情報に基づいて、燃料警告サービス４０６等による高い優先度の警告の発生が予測される。

通知時刻推定部２０は、燃料センサ１１４に接続された燃料減少率推定部２３と、燃料減少率推定部２３に接続された燃料警告時刻推定部２４とを含んでいる。燃料警告サービス４０６は、燃料センサ１１４を周期的にモニタして、燃料の残量が所定の閾値より少なくなった場合に、サービス・シナリオに従って「燃料を補給して下さい」という高い優先度の音声通知を行う。燃料警告サービス４０６の音声警告のサービス・シナリオには、対話分類と優先度とが付加されている。燃料センサ１１４は、燃料の残量を燃料減少率推定部２３に供給する。燃料減少率推定部２３は、周期的に燃料の残量とその時刻とをメモリに格納し、周期的な各時間における燃料残量の変化に基づいて、燃料の残量が或る所定の閾値より低くなった場合に、燃料減少率を算出して燃料警告時刻推定部２４に供給する。燃料警告時刻推定部２４は、現在の燃料の残量とその燃料減少率とに基づいて、燃料が別の所定の閾値より少なくなって燃料の減少または燃料補給の必要性を警告すべき時刻ｔｐを推定する。近所の施設検索サービス４０８は、入力装置１０８を用いて入力されたユーザの要求に従って、地図データベース８６またはインターネット上で近くの数件のガソリン・スタンドを検索する。

燃料警告サービス４０６の代わりにまたはそれに加えて、各種のセンサに基づく、オイル交換時期の警告、タイヤ交換時期の警告、前方車間距離の警告、タイヤ空気圧の警告、緊急車両接近の警告、歩行者警告、二輪車接近の警告、等のための音声サービスを設けてもよい。

車両の走行中に、ドライバは、近所の施設検索サービス４０８において、低い優先度の近所の施設の検索を行うよう入力装置１０８を操作する。近所の施設検索サービス４０８のガソリン・スタンド選択のサービス・シナリオには、対話分類と優先度とが付加されている。空き時間推定部３０は、現時点ｔｃにおける、燃料警告サービス４０６による「燃料を補給して下さい」という音声通知の予測時刻ｔｐまでの空き時間ｔ１を算出する。近所の施設検索サービス４０８は、検索結果としての近所のガソリン・スタンドのリストを表示し、ユーザにその１つを選択させる。そのために、近所の施設検索サービス４０８は、「ガソリン・スタンドを選択して下さい」という低い優先度の音声案内のモーラ数に対応する予測所要時間と、ユーザによる音声入力およびその音声認識を行う予測所要時間との合計の予測音声処理時間ｔ２を算出する。

対話制御部７０は、予測時間ｔ２を空き時間ｔ１と比較する。予測時間ｔ２が空き時間ｔ１未満（ｔ２＜ｔ１）の場合には、対話制御部７０は、近所の施設検索サービス４０８による「ガソリン・スタンドを選択して下さい」という音声案内を発声させ、確保された所定時間だけ入力処理部１４を介したユーザによる音声入力またはキー入力を待つ。ユーザによる入力があれば、対話制御部７０は、それに従って処理を行う。近所の施設検索サービス４０８の予測時間ｔ２が空き時間ｔ１以上である（ｔ２≧ｔ１）場合には、対話制御部７０は、「ガソリン・スタンドを選択して下さい」という音声案内の発声およびユーザの入力の双方を抑止し、直ちにまたは警告すべきタイミングで燃料警告サービス４０６によって、先に「燃料を補給して下さい」という高い優先度の音声通知を発声させる。その後、予測時間ｔ２が次の空き時間ｔ１未満となるまで、上述の処理を繰り返す。

通知時刻推定部２０は、さらに、例えば車間距離警告サービスについて、ミリ波レーダなどによって検出された自己の車両と前方または後方の他の車両との間の距離とその減少率に基づいて危険車間距離に到達する時刻を推定してもよい。通知時刻推定部２０は、さらに、例えばオイル交換警告サービスおよびタイヤ摩擦警告サービスについて、前回のオイル交換およびタイヤ交換の日付から現在までの走行距離と、車両速度とに基づいてオイル交換警告およびタイヤ摩擦警告の時刻を推定してもよい。

通知時刻推定は、計算負荷を減少させるために、所定の条件を満たす場合にだけ実行されるようにしてもよい。例えば、車間距離警告サービスについての通知時刻推定は、車間距離が１００ｍ以内の場合にだけ実行されるようにすることができる。

図５は、本発明のさらに別の実施形態による、運転時間警告サービス４１０およびレストラン検索サービス４１２の音声出力および音声入力を行う音声対話システム１２を有する情報処理装置または電子機器１０の構成を示している。この場合、推定または検出されたドライバ情報に基づいて、運転時間警告サービス４１０等による高い優先度の警告の発生が予測される。

通知時刻推定部２０は警告時刻推定部２６を含んでいる。警告時刻推定部２６は、運転時間を測定する運転時間タイマ１１６に接続されている。運転時間警告サービス４１０は、例えば１０分未満の連続的エンジン停止時間を除外して連続的に行われている運転時間ｔｄを検出して閾値ｔｈｄを超えたときにサービス・シナリオに従って「ｔｄ時間、連続運転をしています。休憩をとって下さい。」という高い優先度の警告を発声する。運転時間警告サービス４１０の音声警告のサービス・シナリオには、対話分類と優先度とが付加されている。警告時刻推定部２６は、運転時間タイマ１１から受信した連続運転時間ｔｄを閾値ｔｈｄ秒と比較して、それが閾値ｔｈｄを超えた場合に、連続運転を警告すべき時刻ｔｐを推定する。レストラン検索サービス４１２は、入力装置１０８を用いて入力されたユーザの要求に従って、地図データベース８６またはインターネット上で近くの数件のレストランを検索する。

運転時間警告サービス４１０の代わりにまたはそれに加えて、ドライバ居眠り運転警告サービス、等のための音声サービスを設けてもよい。通知時刻推定部２０は、例えば居眠り警告サービスについて、ドライバ用の生体センサで生理的状態を検出し、居眠りの予兆から入眠の時刻を推定する。

車両の走行中に、ドライバは、レストラン検索サービス４１２において、低い優先度のレストラン検索を行うよう入力装置１０８を操作する。レストラン検索サービス４１２のレストラン選択のサービス・シナリオには、対話分類と優先度とが付加されている。空き時間推定部３０は、運転時間警告サービス４１０による「ｔｄ時間、連続運転をしています。休憩をとって下さい。」という音声通知を行う予測時刻ｔｐまでの空き時間ｔ１を算出する。近所の施設検索サービス４０８は、検索結果として近所のレストランのリストを表示し、ユーザにその１つを選択させる。そのために、レストラン検索サービス４１２は、文字数カウンタ５４によって文字数（モーラ数）に基づいて決定された「レストランの種類を選択して下さい」または「レストランを選択して下さい」という音声案内の予測所要時間と、入力時間推定部５２によって情報格納部６０におけるユーザ応答履歴情報に基づいて決定されたユーザによる音声入力およびその音声認識を行う予測所要時間との合計の予測音声処理時間ｔ２を算出する。

対話制御部７０は、予測時間ｔ２を空き時間ｔ１と比較する。予測時間ｔ２が空き時間ｔ１未満（ｔ２＜ｔ１）の場合には、対話制御部７０は、レストラン検索サービス４１２による「レストランの種類を選択して下さい」という音声案内を発声させ、確保された所定時間だけ入力処理部１４を介したユーザによる音声入力またはキー入力を待つ。ユーザによる入力があれば、対話制御部７０は、それに従って処理を行う。レストラン検索サービス４１２の予測時間ｔ２が空き時間ｔ１以上である（ｔ２≧ｔ１）場合には、対話制御部７０は、レストラン検索サービス４１２の音声処理を抑止し、直ちにまたは警告すべきタイミングで運転時間警告サービス４１０によって先に「ｔｄ時間、連続運転をしています。休憩をとって下さい。」という高い優先度の音声通知を発声させる。その後、予測時間ｔ２が次の空き時間ｔ１未満となるまで、上述の処理を繰り返す。

上述の実施形態によれば、例えば、図２の経路案内サービス４０２と図５のレストラン検索サービス４１２を組み合わせた場合、図２の経路案内サービス４０２の音声通知「この先、○○交差点です。」の前に短い空き時間しかない（ｔ２≧ｔ１）場合に、図５のレストラン検索サービス４１２の音声質問「希望するレストランの種類はなんですか？」を発声させようとするとき、それが抑止されて、次のように通知および音声処理が進行する。
−（抑止された質問：希望するレストランの種類はなんですか？）
−（経路案内）この先、○○交差点です。
−（遅延された質問）希望するレストランの種類はなんですか？
−（ユーザ回答）中華
−（確認通知）中華レストランですね。検索します。
従って、音声対話システム１２によって、レストラン検索に関する１つの音声処理単位（質問−回答−確認通知）の音声処理がが、中断されることがなく実行される。

図６は、本発明のさらに別の実施形態による、経路案内サービス４０２、オイル交換警告サービス４１４およびニュース・サービス４１６の音声出力および音声入力を行う音声対話システム１２を有する情報処理装置または電子機器１０の構成を示している。この場合、車両の位置と、地図データベース、ウェブ・ページまたはテキスト放送の交通情報とによって得られた周囲の環境とに基づいて、経路案内サービス４０２による最も高い優先度の音声通知の予測が行われ、さらに、車両の各センサの検知情報に基づいて、オイル交換警告サービス４１４等による次に高い優先度の警告の発生が予測される。

オイル交換警告サービス４１４は、オイル・センサ１１８を周期的にモニタして、オイル劣化率が所定の閾値より高くなった場合に、サービス・シナリオに従って「オイルを交換して下さい」という音声通知を行う。オイル交換警告サービス４１４の音声警告のサービス・シナリオには、対話分類と優先度とが付加されている。通知時刻推定部２０は、図１の次案内時刻推定部２２と、オイル・センサ１１８に接続されたオイル劣化率推定部２７と、オイル劣化率推定部２７に接続されたオイル警告時刻推定部２８とを含んでいる。オイル・センサ１１８は、オイルの劣化率をオイル劣化率推定部２７に供給する。

オイル劣化率推定部２７は、周期的にオイルの劣化率とその時刻とをメモリに格納し、周期的な各時間におけるオイル劣化率の変化に基づいて、オイルの劣化率が或る所定の閾値より高くなった場合に、オイル劣化率をオイル警告時刻推定部２８に供給する。

車両の走行中に、ドライバは、ニュース・サービス４１６において、低い優先度のニュースの音声による読み上げを行うよう入力装置１０８を操作する。ニュース・サービス４１６は、入力されたユーザの要求に従って、受信したテキスト形式のニュースを読み上げる。ニュース・サービス４１６の音声による読み上げのサービス・シナリオには、対話分類と優先度とが付加されている。オイル警告時刻推定部２８は、現在のオイルの劣化率に基づいて、オイルの交換の必要性を警告すべき時刻ｔｐ１を推定する。経路案内サービス４０２については、図２に関して説明したのと同様に、次案内時刻推定部２２は、予測される運転状況に基づいて、音声通知すべき予測時刻ｔｐ２を推定する。空き時間推定部３０は、予測時刻ｔｐ１およびｔｐ２のうちのいずれか早い時刻ｔｐ＝ｔｐ１またはｔｐ２から現在の時刻ｔｃを減算して現在の空き時間ｔ１＝ｔｐ−ｔｃを算出する。対話時間推定部５０は、文字カウンタ５４を用いて、ニュースの文字数（モーラ数）に基づいてニュースの音声による読み上げに要する予測時間ｔ２を算出する。

対話制御部７０は、ニュースの読み上げの予測時間ｔ２を空き時間ｔ１と比較する。予測時間ｔ２が空き時間ｔ１未満（ｔ２＜ｔ１）の場合には、対話制御部７０は、出力処理部１４を用いてニュースの読み上げを行わせる。

予測時間ｔ２が空き時間ｔ１以上である（ｔ２≧ｔ１）場合には、対話制御部７０は、ニュース・サービス４１６によるニュースの読み上げを抑止し、直ちにまたは警告すべきタイミングで先に経路案内サービス４２の最も高い優先度の音声通知またはオイル交換警告サービス４１４の次に高い優先度の音声警告を発生させる。その後、予測時間ｔ２が次の空き時間ｔ１未満となるまで、上述の処理を繰り返す。

さらに、経路案内サービス４２の最も高い優先度の音声通知の予測時刻における所要の時間期間と、オイル交換警告サービス４１４の次に高い優先度の音声警告の予測時刻における時間期間とに重なりが生じた場合に、対話制御部７０は、オイル交換警告サービス４１４の次に高い優先度の音声警告の予測時間ｔ２を、経路案内サービス４２の最も高い優先度の音声通知の空き時間ｔ１と比較する。予測時間ｔ２が空き時間ｔ１未満（ｔ２＜ｔ１）の場合には、対話制御部７０は、オイル交換警告サービス４１４による警告を行わせる。予測時間ｔ２が空き時間ｔ１以上である（ｔ２≧ｔ１）場合には、対話制御部７０は、オイル交換警告サービス４１４による警告を抑止し、直ちにまたは予定された所定の時刻に先に経路案内サービス４２の最も高い優先度の音声通知を行わせる。

このように、本発明の実施形態によれば、実行中の複数の音声サービスに関して、それぞれの音声サービスの複数の音声入出力処理の間の競合を防止することができ、複数の音声入出力処理を、不適正なタイミングで中断されることなく、ユーザに対してそれぞれの適正なタイミングで行うことができ、ユーザの思考や音声入力または入力操作を妨げることがない。

以上説明した実施形態では音声サービスについて説明したが、本発明は、ユーザに対する異なる優先度の表示出力および操作入出処理の間の競合を防止するのに適用することもできる。

以上説明した実施形態は典型例として挙げたに過ぎず、その各実施形態の構成要素を組み合わせること、その変形およびバリエーションは当業者にとって明らかであり、当業者であれば本発明の原理および請求の範囲に記載した発明の範囲を逸脱することなく上述の実施形態の種々の変形を行えることは明らかである。

以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
（付記１） 音声対話機能を有する情報処理装置であって、
優先度を有する複数のサービス・シナリオを格納するサービス・シナリオ格納手段と、
前記サービス・シナリオ格納手段における高い優先度のサービス・シナリオに従って次の第１の音声処理のタイミングを推定する通知時間推定手段と、
現時点から前記第１の音声処理のタイミングまでの空き時間を推定する空き時間推定手段と、
前記サービス・シナリオ格納手段における低い優先度のサービス・シナリオに従って音声出力を含む第２の音声処理に要する時間長さを推定する対話時間推定手段と、
前記第２の音声処理の前記推定された時間長さが前記推定された空き時間未満である場合に、前記空き時間に前記低い優先度のサービス・シナリオに従って前記第２の音声処理を行う対話制御手段と、
を具えることを特徴とする、情報処理装置。
（付記２） 前記第２の音声処理の前記推定された時間長さが前記推定された空き時間以上である場合に、前記対話制御手段は、前記低い優先度のサービス・シナリオに従った前記第２の音声処理を抑止して、前記高い優先度のサービス・シナリオに従って前記第１の音声処理を行うものであることを特徴とする、付記１に記載の情報処理装置。
（付記３） さらに、前記対話時間推定手段は、ユーザによる入力に要する時間長さを推定する入力時間推定手段と、テキストの文字数に基づいて音声出力する時間を推定する手段とを含むものであることを特徴とする、付記１に記載の情報処理装置。
（付記４） さらに情報格納部を具え、
前記対話時間推定手段は、前記情報格納部に格納された対話履歴情報、ユーザ応答時間履歴情報またはテキスト・データに基づいて、前記低い優先度のサービス・シナリオによる前記第２の音声処理に要する時間を推定するものであることを特徴とする、付記１に記載の情報処理装置。
（付記５） 前記高い優先度のサービス・シナリオがカーナビゲーション・システムの経路案内サービスであり、
前記通知時間推定手段は、前記カーナビゲーション・システムの経路情報、現在位置情報および地図データベースに基づいて前記第１の音声処理のタイミングを推定するものであることを特徴とする、付記１に記載の情報処理装置。
（付記６） 前記通知時間推定手段は、センサに接続されていて前記センサからの検出情報に基づいて前記第１の音声処理のタイミングを推定するものであることを特徴とする、付記１に記載の情報処理装置。
（付記７） 前記第１の音声処理は音声通知を含み、前記第２の音声処理は、音声質問、ユーザの回答入力音声の音声認識および回答の音声確認を含むことを特徴とする、付記１に記載の情報処理装置。
（付記８） 分類および優先度を有する複数のサービス・シナリオを格納するサービス・シナリオ格納手段を有し、音声対話機能を有する情報処理装置用の音声対話を行うプログラムであって、
前記サービス・シナリオ格納手段における高い優先度のサービス・シナリオに従って次の第１の音声処理のタイミングを推定するステップと、
現時点から前記第１の音声処理のタイミングまでの空き時間を推定するステップと、
前記サービス・シナリオ格納手段における低い優先度のサービス・シナリオに従って音声出力を含む第２の音声処理に要する時間長さを推定するステップと、
前記第２の音声処理の前記推定された時間長さが前記推定された空き時間未満である場合に、前記空き時間に前記低い優先度のサービス・シナリオに従って前記第２の音声処理を行うステップと、
を実行させるよう動作可能なプログラム。

図１は、本発明による、複数の音声サービスの音声出力および音声入力を行う音声対話システムを有する情報処理装置または電子機器の構成を示している。 図２は、本発明の実施形態による、カーナビゲーション・システムの経路案内サービスおよび電子メール・サービスの音声処理すなわち音声出力および音声入力を行う音声対話システムを有する情報処理装置または電子機器の構成を示している。 図３の（Ａ）、（Ｂ）および（Ｃ）は、図２の情報処理装置または電子機器において同時にカーナビゲーション・システムの経路案内サービスおよび電子メール・サービスを利用する場合における運転状況の予測および経路案内の予想時刻を示している。 図４は、本発明の実施形態による、燃料警告サービスおよび近所の施設検索サービスの音声出力および音声入力を行う音声対話システムを有する情報処理装置または電子機器の構成を示している。 図５は、本発明のさらに別の実施形態による、運転時間警告サービスおよびレストラン検索サービスの音声出力および音声入力を行う音声対話システムを有する情報処理装置または電子機器の構成を示している。 図６は、本発明のさらに別の実施形態による、経路案内サービス、オイル交換警告サービスおよびニュース・サービスの音声出力および音声入力を行う音声対話システムを有する情報処理装置または電子機器の構成を示している。

符号の説明

１０ 情報処理装置または電子機器
１２ 音声対話システム
２０ 通知時刻推定部
３０ 空き時間推定部
４０ サービス・シナリオ格納部
５０ 対話時間推定部
６０ 情報格納部
７０ 対話制御部
７２ 入力処理部
７４ 出力処理部

Claims (5)

1. 音声対話機能を有する情報処理装置であって、
   優先度を有する複数のサービス・シナリオを格納するサービス・シナリオ格納手段と、
   前記サービス・シナリオ格納手段における高い優先度のサービス・シナリオに従って次の第１の音声処理のタイミングを推定する通知時間推定手段と、
   現時点から前記第１の音声処理のタイミングまでの空き時間を推定する空き時間推定手段と、
   前記サービス・シナリオ格納手段における低い優先度のサービス・シナリオに従って音声出力を含む第２の音声処理に要する時間長さを推定する対話時間推定手段と、
   前記第２の音声処理の前記推定された時間長さが前記推定された空き時間未満である場合に、前記空き時間に前記低い優先度のサービス・シナリオに従って前記第２の音声処理を行う対話制御手段と、
   を具えることを特徴とする、情報処理装置。
2. 前記第２の音声処理の前記推定された時間長さが前記推定された空き時間以上である場合に、前記対話制御手段は、前記低い優先度のサービス・シナリオに従った前記第２の音声処理を抑止して、前記高い優先度のサービス・シナリオに従って前記第１の音声処理を行うものであることを特徴とする、請求項１に記載の情報処理装置。
3. さらに、前記対話時間推定手段は、ユーザによる入力に要する時間長さを推定する入力時間推定手段と、テキストの文字数に基づいて音声出力する時間を推定する手段とを含むものであることを特徴とする、請求項１に記載の情報処理装置。
4. さらに情報格納部を具え、
   前記対話時間推定手段は、前記情報格納部に格納された対話履歴情報、ユーザ応答時間履歴情報またはテキスト・データに基づいて、前記低い優先度のサービス・シナリオによる前記第２の音声処理に要する時間を推定するものであることを特徴とする、請求項１に記載の情報処理装置。
5. 前記高い優先度のサービス・シナリオがカーナビゲーション・システムの経路案内サービスであり、
   前記通知時間推定手段は、前記カーナビゲーション・システムの経路情報、現在位置情報および地図データベースに基づいて前記第１の音声処理のタイミングを推定するものであることを特徴とする、請求項１に記載の情報処理装置。

Images