JP2004253895A

JP2004253895A - Mobile terminal and information center

Info

Publication number: JP2004253895A
Application number: JP2003039796A
Authority: JP
Inventors: Shinichi Tomiyama; 伸一富山; Masashi Satomura; 昌史里村; Yoichi Kitano; 陽一北野; Masayuki Takahashi; 真之高橋; Norihiko Maeda; 典彦前田
Original assignee: Honda Motor Co Ltd; Nippon Telegraph and Telephone Corp
Current assignee: Honda Motor Co Ltd; Nippon Telegraph and Telephone Corp
Priority date: 2003-02-18
Filing date: 2003-02-18
Publication date: 2004-09-09
Anticipated expiration: 2023-02-18
Also published as: JP3720329B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a mobile terminal and an information center which recovers an interrupted voice conversation through a communication means at an adequate stage. <P>SOLUTION: The controller 16 of the mobile terminal 1 connects a line to the information center 2 to execute a conversation communication process between a user and a conversation system of the information center 2, and decides whether the communication is interrupted while storing vehicle point information based on the present position taken from an own vehicle position detector 21 and time information thereat. If the communication is interrupted, the controller 16 stores scenario information of the present voice conversation and starts the reconnection of the line to the information center 2. When the reconnection of the line to the center 2 can be made, a continuation decider 19 compares the stored vehicle point information with the present vehicle position information and, if the distance between both is decided to be far from a set value, the controller 16 transmits a correction command for the scenario of the voice conversation, the vehicle point information of the present position, and present scenario information to the information center 2. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、通信網を介して、対話システムにより通信を行う移動体端末装置及び情報センタに関する。
【０００２】
【従来の技術】
従来、音声入力を用いて動作を制御する音声対話装置には、音声対話が中断した場合でも、その後に円滑な音声対話を継続することができるものがある。
例えば、このような装置は、車載用のナビゲーション装置を音声入力を用いて操作するような場合に使用され、音声対話装置の指示に従ってユーザが音声入力を行うことにより、例えば目的地等の情報を装置に認識させることができる。しかし、何等かの理由で音声対話が中断し、ユーザが対話の内容を忘れてしまう場合があるので、この装置では、入力音声と応答内容とを対話履歴として記憶するメモリを備え、対話の中断を検出した後に対話の再開が検出された場合には、中断前の対話内容を示す音声を出力する（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平１１−１２６０８９号公報
【０００４】
【発明が解決しようとする課題】
ところで、特許文献１に記載されているような従来の装置では、今まで進めてきたシナリオをそのまま継続させるように、中断した時点から音声対話を再開することができるものの、情報センタと車両側とを無線通信により接続し、情報センタと車両側との間で音声対話による入力を行うような場合、通信の頻繁な切断により音声対話の中断が発生すると、通信の再接続のたびに、車両側では必要がない情報を入手してしまい、通信の効率が悪くなるという問題があった。一方、最初から音声対話をやり直す場合、今まで入力した情報が無駄になるという問題があった。
【０００５】
本発明は、上記課題に鑑みてなされたもので、通信を介して音声対話を行う際に、中断した音声対話を適切な段階から復帰することが可能な移動体端末装置及び情報センタを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１の発明に係る移動体端末装置は、移動体に備えられると共に、通信網を介して情報センタに備えられた対話システムと対話を行う移動体端末装置であって、前記移動体の位置を検出する位置検出手段（例えば実施の形態の自車位置検出部２１）と、前記情報センタとの通信の中断を判定する通信中断判定手段（例えば実施の形態のステップＳ７）と、通信が中断した際に、前記移動体の位置を判定する通信中断位置判定手段（例えば実施の形態のステップＳ５）と、前記情報センタとの通信の復帰を判定する通信復帰判定手段（例えば実施の形態のステップＳ１０）と、通信が復帰した際に、前記移動体の位置を判定する通信復帰位置判定手段（例えば実施の形態のステップＳ１３、及びステップＳ１６）と、通信が中断した際の前記移動体の位置と、通信が復帰した際の前記移動体の位置とに基づいて、対話の再開を制御する対話再開制御手段（例えば実施の形態のステップＳ１４、ステップＳ１７、ステップＳ１８、及びステップＳ１９）とを備えたことを特徴とする。
【０００７】
以上の構成を備えた移動体端末装置は、通信中断判定手段が情報センタとの通信の中断を判定すると、位置検出手段が検出する移動体の位置に基づいて、通信中断位置判定手段が、情報センタとの通信が中断した際の移動体の位置を判定する。一方、通信復帰判定手段が情報センタとの通信の復帰を判定すると、位置検出手段が検出する移動体の位置に基づいて、通信復帰位置判定手段が、情報センタとの通信が復帰した際の移動体の位置を判定する。これにより、対話再開制御手段は、通信が中断した際の移動体の位置と通信が復帰した際の移動体の位置とに基づいて、対話の再開を制御することができる。
【０００８】
請求項２の発明に係る情報センタは、通信網を介して移動体に備えられた移動体端末装置と対話を行う対話システムを備えた情報センタであって、前記移動体端末装置から該移動体の位置を取得する位置取得手段と、前記移動体端末装置との通信の中断を判定する通信中断判定手段と、通信が中断した際に、前記移動体の位置を判定する通信中断位置判定手段と、前記移動体端末装置との通信の復帰を判定する通信復帰判定手段と、通信が復帰した際に、前記移動体の位置を判定する通信復帰位置判定手段と、通信が中断した際の前記移動体の位置と、通信が復帰した際の前記移動体の位置とに基づいて、対話の再開を制御する対話再開制御手段とを備えたことを特徴とする。
【０００９】
以上の構成を備えた情報センタは、通信中断判定手段が移動体端末装置との通信の中断を判定すると、位置取得手段が移動体端末装置から取得する移動体の位置に基づいて、通信中断位置判定手段が、移動体端末装置との通信が中断した際の移動体の位置を判定する。一方、通信復帰判定手段が移動体端末装置との通信の復帰を判定すると、位置取得手段が移動体端末装置から取得する移動体の位置に基づいて、通信復帰位置判定手段が、移動体端末装置との通信が復帰した際の移動体の位置を判定する。これにより、対話再開制御手段は、通信が中断した際の移動体の位置と通信が復帰した際の移動体の位置とに基づいて、対話の再開を制御することができる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態の移動体端末装置及び情報センタにより構成する音声対話通信システムを示すブロック図である。
図１において、符号１は本実施の形態の移動体端末装置であって、対話システムを備えた情報センタ２と無線通信による回線網３を介して接続される。
【００１１】
まず、移動体端末装置１について詳細を説明すると、ユーザの音声を入力するマイク１１から入力された音声信号は、エンコード部１２においてデジタル符号化されて圧縮される。
また、デコード部１３は、情報センタから送られる圧縮音声データを音声信号に変換する処理部であって、デコード部１３により圧縮音声データから変換された音声は、スピーカ１４から再生される。
【００１２】
一方、通信制御部１５では、移動体通信装置２０を用いた情報センタ２との間の音声データのストリーミング送受信とコマンド送受信の制御を行い、制御部１６では、移動体端末装置１と情報センタ２との間の通信制御と、ユーザに対して通信内容や操作内容を表示するディスプレイ１７の表示制御と、ユーザからの入力を受け付ける操作部１８の制御と、更には音声の制御を行い、移動体端末装置１側でのユーザとの対話処理を行う。
【００１３】
また、制御部１６に接続された継続判定部１９では、車両地点情報と時間情報とにより、中断した音声対話をどの段階から継続させるかの判定を行う。
なお、移動体通信装置２０は、携帯電話などの移動体用通信機器であって、情報センタ２と無線通信により回線を接続できるものであれば、何を用いても良い。
また、移動体端末装置１は、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）等を用いた自車位置検出部２１を備え、制御部１６ではいつでも自車両の位置が把握できる。
また、車両から送信される音声データは、音声認識装置（図示しない）を車両に搭載しマイク１１から入力された音声信号を音声認識したテキストデータにて送信するようにしてもよい。
【００１４】
次に、情報センタ２について詳細を説明すると、情報センタ２では、移動体端末装置１のマイク１１から入力された音声と、移動体端末装置１の操作部１８での入力とを回線網３を介して受信し、対話システムによる音声と表示を、移動体端末装置１へ回線網３を介して送信し、移動体端末装置１のスピーカ１４とディスプレイ１７に出力する制御を行う。
【００１５】
移動体端末装置１からの圧縮音声データ入力は、通信装置３１、通信制御部３２を経由してデコード部３３で復調され、音声認識部３４により音声認識される。ここで、通信装置３１は、移動体端末装置１の移動体通信装置２０と、無線通信により回線を接続できる通信装置である。また、通信制御部３２では、通信装置３１を用いた移動体端末装置１との間の音声データのストリーミング送受信とコマンド送受信の制御を行う。
【００１６】
一方、移動体端末装置１への音声出力は、合成音声・録音音声出力部３５で作成した、音声合成された合成音声または生の録音音声の音声波形を、エンコード部３６においてデジタル化及び圧縮することにより、データ化して端末に送信する。なお、送信された音声は、移動体端末装置１側ではリアルタイムにデコードして音声再生される。また、高音質化の為に、音声信号をエンコード・デコード処理する手法を用いることが好ましいが、音声合成の手法でテキストデータを送信するようにしても良い。
【００１７】
また、対話制御部３７は、音声対話の順序を記憶したシナリオ３８を用いて、移動体端末装置１を操作するユーザとの音声対話を制御すると共に、音声認識部３４、通信制御部３２、合成音声・録音音声出力部３５を制御する。
またシナリオ３８について詳細に説明すると、シナリオ３８は、音声対話に用いるシナリオコード列やシナリオ情報を記憶した記憶部であって、一例としてレストラン検索のシナリオコード列の例を表１に、交通情報検索のシナリオコード列の例を表２に示す。
【００１８】
【表１】

【００１９】
【表２】

【００２０】
次に、本実施の形態の移動体端末装置１における通信処理の動作について、図面を参照して説明する。図２及び図３は、本実施の形態の移動体端末装置１における通信処理の動作を示すフローチャートである。
図２において、まず移動体端末装置１の制御部１６は、通信制御部１５を制御し、移動体通信装置２０を用いて情報センタ２に回線を接続する（ステップＳ１）。
次に、制御部１６が、情報センタ２へ、音声対話の開始シナリオは、シナリオのトップであることを送信し（ステップＳ２）、ユーザと情報センタ２の対話システムとの対話通信処理を行う（ステップＳ３）と共に、音声対話に伴う画面表示の更新を行う（ステップＳ４）。
【００２１】
また、制御部１６は音声対話を実行しながら、自車位置検出部２１から取得した現在地に基づく車両地点情報（例えば現在地情報、ルート情報、現在地の１ｋｍ先の周辺エリア情報等）を情報センタ２に送信すると共に、継続判定部１９は送信した車両地点情報とその時の時間情報とを記憶する（ステップＳ５）。
更に、制御部１６は音声対話を実行しながら、ユーザまたは情報センタ２による対話終了が発生したか否かを判定し（ステップＳ６）、対話終了が発生していない場合（ステップＳ６のＮＯ）、通信が中断したか否かを判定する（ステップＳ７）。
【００２２】
もし、ステップＳ７において、通信の中断が発生していない場合（ステップＳ７のＮＯ）、ステップＳ３へ戻り、上述の動作を繰り返す。
また、ステップＳ７において、通信の中断が発生している場合（ステップＳ７のＹＥＳ）、制御部１６は、まず現在の音声対話のシナリオ情報を記憶（対話シナリオの段階情報として、シナリオの進捗に対応した、表１，２の分類レベル、内容、例示の段階が記憶される。）し（ステップＳ８）、次に情報センタ２への回線の再接続を開始する（ステップＳ９）。
そして、図３のステップＳ１０へ進み、情報センタ２へ回線を接続できたか否かを判定し（ステップＳ１０）、回線を接続できない場合（ステップＳ１０のＮＯ）、制御部１６は、ユーザによる再接続中止操作が入力されたか否かを判定する（ステップＳ１１）。
【００２３】
ステップＳ１１において、ユーザによる再接続中止操作が入力されていない場合（ステップＳ１１のＮＯ）、制御部１６は、通信が中断している時間が長いか否かを判定する（ステップＳ１２）。
ステップＳ１２において、通信が中断している時間が短い場合（ステップＳ１２のＮＯ）、継続判定部１９は、記憶している車両地点情報と現在の車両地点情報とを比較し、通信の再接続を中止するか否かを判定する（ステップＳ１３）。ステップＳ１３において、通信の再接続を中止しない場合（ステップＳ１３のＮＯ）、ステップＳ１０へ戻り、上述の動作を繰り返す。
【００２４】
一方、ステップＳ１１において、ユーザによる再接続中止操作が入力されている場合（ステップＳ１１のＹＥＳ）、あるいはステップＳ１２において、通信が中断している時間が長い場合（ステップＳ１２のＹＥＳ）、あるいはステップＳ１３において、通信の再接続を中止する場合（ステップＳ１３のＹＥＳ）、更には前述のステップＳ６において、ユーザまたは情報センタ２による対話終了が発生した場合（ステップＳ６のＹＥＳ）のいずれかの場合、制御部１６は、情報センタ２との接続を終了し（ステップＳ１４）、移動体端末装置１における通信処理の動作を終了する。
【００２５】
また、ステップＳ１０において、情報センタ２へ回線を接続できたか否かを判定し、回線を接続できた場合（ステップＳ１０のＹＥＳ）、制御部１６は情報センタ２へ車両情報を送信すると共に、継続判定部１９は、通信中断前の音声対話のシナリオが車両地点情報を使用していたか否かを判定する（ステップＳ１５）。なお、通信の中断復帰時に移動体端末装置１から情報センタ２へ送信される車両情報には、例えば車両ＩＤや位置座標、音声対話の状態番号、音声対話における入力済みの内容、正常終了後の接続または異常終了後の接続か、前回接続時の時間、入力手法が音声または操作部か、入力されたボタン位置、更には入力音声等が含まれる。
【００２６】
もし、ステップＳ１５において、通信中断前の音声対話のシナリオが車両地点情報を使用していた場合（ステップＳ１５のＹＥＳ）、制御部１６が現在の車両地点情報を自車位置検出部２１から取得すると共に、継続判定部１９は、記憶している車両地点情報と現在の車両地点情報とを比較し（ステップＳ１６）、両者の間の距離が設定値よりも離れているか否かを判定する（ステップＳ１７）。
また、ステップＳ１７において、記憶している車両地点情報と現在の車両地点情報との間の距離は、設定値よりも離れていると判定した場合（ステップＳ１７のＹＥＳ）、継続判定部１９は、制御部１６に音声対話のシナリオの修正コマンド、現在地での車両地点情報、現在のシナリオ情報を情報センタ２へ送信させる（ステップＳ１８）。そして、図２のステップＳ３へ戻り、上述の動作を繰り返す。
この結果、音声対話のシナリオは、中断した時点とは異なる状態で復帰した時点で適切な状態（分類レベル、内容などにより適切な状態まで遡った状態）から再開される。
【００２７】
一方、もしステップＳ１５において、通信中断前の音声対話のシナリオが車両地点情報を使用していない場合（ステップＳ１５のＮＯ）、あるいはステップＳ１７において、継続判定部１９が、記憶している車両地点情報と現在の車両地点情報との間の距離は、設定値よりも離れていないと判定した場合（ステップＳ１７のＮＯ）のいずれかの場合、制御部１６は、現在のシナリオ情報を情報センタ２へ送信する（ステップＳ１９）。そして、図２のステップＳ３へ戻り、上述の動作を繰り返す。
この結果、音声対話のシナリオは、中断した直前の時点から再開される。
【００２８】
なお、本実施の形態では、移動体端末装置１の制御部１６及び継続判定部１９が、通信中断判定手段と、通信中断位置判定手段と、通信復帰判定手段と、通信復帰位置判定手段と、対話再開制御手段とを含んでいる。
より具体的には、図２のステップＳ７が通信中断判定手段に相当し、図２のステップＳ５が通信中断位置判定手段に相当する。また、図３のステップＳ１０が通信復帰判定手段に相当し、図３のステップＳ１３及びステップＳ１６が通信復帰位置判定手段に相当し、図３のステップＳ１４、ステップＳ１７、ステップＳ１８、及びステップＳ１９が対話再開制御手段に相当する。
【００２９】
以上説明したように、本実施の形態の移動体端末装置１は、制御部１６の通信中断判定手段が情報センタ２との通信の中断を判定すると、自車位置検出部２１が検出する車両の位置に基づいて、継続判定部１９の通信中断位置判定手段が、情報センタ２との通信が中断した際の車両地点情報を判定する。一方、制御部１６の通信復帰判定手段が情報センタ２との通信の復帰を判定すると、自車位置検出部２１が検出する車両の位置に基づいて、継続判定部１９の通信復帰位置判定手段が、情報センタ２との通信が復帰した際の車両の位置を判定する。これにより、継続判定部１９の対話再開制御手段は、通信が中断した際の車両の位置と通信が復帰した際の車両の位置とに基づいて、対話の再開を制御することができる。
【００３０】
従って、通信を介して音声対話を行う際に、移動体端末装置１は、不要な情報を情報センタ２から何度も受信せずに、入力済みの情報を保存しながら、有効な音声対話について、車両の移動距離を判断しつつ、適切な段階から再開することができるという効果が得られる。
【００３１】
（第２の実施の形態）
次に、本発明の第２の実施の形態の移動体端末装置及び情報センタについて説明する。第２の実施の形態は、第１の実施の形態が移動体端末装置において音声対話の再開制御を実行していたのに対し、音声対話の再開制御を情報センタ２側で行う場合である。
図４は、本実施の形態の移動体端末装置及び情報センタにより構成する音声対話通信システムを示すブロック図である。
図４において、図１と同一の符号を付与した構成要素は、第１の実施の形態で説明した構成要素と同一の動作を行う構成要素であるので、ここでは説明を省略する。
【００３２】
図４において、図１に示した移動体端末装置１の継続判定部１９は、音声対話の再開制御を情報センタ２側で行うので削除される。
また、情報センタ２の対話制御部３７に接続された継続判定部３９は、音声対話の再開制御を情報センタ２側で行う場合の処理部であって、回線が中断した際の再接続時には、新しい現在地に基づいて求めた車両地点情報を移動体端末装置１から受信し、継続判定部３９で記憶している古い車両地点情報と、移動体端末装置１から受信した回線復帰時の現在地に基づいて求めた車両地点情報とを比較することにより、その違いによって対話内容が影響されるか否かを判定する。
【００３３】
次に、本実施の形態の情報センタ２における通信処理の動作について説明すると、本実施の形態の場合、移動体端末装置１と情報センタ２との間の通信が中断したか否か、あるいは中断した通信が復帰したか否かについては、対話制御部３７の通信中断判定手段と通信復帰判定手段とが判定する。
情報センタ２では、移動体端末装置１から受信した車両地点情報を、継続判定部３９が常に保存しながら、対話制御部３７の通信中断判定手段が、移動体端末装置１との通信の中断の有無を判定する。一方、対話制御部３７の通信中断判定手段が、移動体端末装置１との通信の中断を判定すると、回線の再接続が開始されるので、対話制御部３７の通信復帰判定手段において回線が再接続され、通信が復帰したと判定されたら、継続判定部３９の通信復帰位置判定手段が、移動体端末装置１との通信が復帰した際の車両の位置を判定する。
【００３４】
もし、通信中断前の音声対話のシナリオが車両地点情報を使用している場合、継続判定部３９の対話再開制御手段が、通信が中断した際の車両地点情報と通信が復帰した際の車両地点情報とを比較し、両者の間の距離が設定値よりも離れているか否かを判定する。
そして、記憶している車両地点情報と現在の車両地点情報との間の距離が、設定値よりも離れていると判定された場合、継続判定部３９の対話再開制御手段は、通信制御部３２を介して、移動体端末装置１に音声対話のシナリオの修正コマンド、現在地での車両地点情報、現在のシナリオ情報を情報センタ２へ送信させる。なお、この場合、情報センタ２から移動体端末装置１に、音声対話のシナリオの修正コマンドを送信しても良い。
【００３５】
以上説明したように、本実施の形態の情報センタ２は、対話制御部３７の通信中断判定手段が移動体端末装置１との通信の中断を判定すると、通信制御部３２が移動体端末装置１から受信した車両の位置に基づいて、継続判定部３９の通信中断位置判定手段が、移動体端末装置１との通信が中断した際の車両地点情報を判定する。一方、対話制御部３７の通信復帰判定手段が移動体端末装置１との通信の復帰を判定すると、通信制御部３２が移動体端末装置１から受信した車両の位置に基づいて、継続判定部３９の通信復帰位置判定手段が、移動体端末装置１との通信が復帰した際の車両の位置を判定する。これにより、継続判定部３９の対話再開制御手段は、通信が中断した際の車両の位置と通信が復帰した際の車両の位置とに基づいて、対話の再開を制御することができる。
【００３６】
従って、通信を介して音声対話を行う際に、情報センタ２は、移動体端末装置１に負担をかけずに音声対話の中断を判断し、不要な情報を何度も移動体端末装置１へ送信することなく、移動体端末装置１において、入力済みの情報を保存しながら、有効な音声対話について、車両の移動距離を判断しつつ、適切な段階から再開することができるという効果が得られる。
【００３７】
【発明の効果】
以上の如く、請求項１に記載の移動体端末装置によれば、移動体端末装置において、情報センタとの通信が中断した際の移動体の位置と、情報センタとの通信が復帰した際の移動体の位置とを判定し、通信が中断した際の移動体の位置と通信が復帰した際の移動体の位置とに基づいて、対話の再開を制御することができる。
従って、移動体端末装置は、不要な情報を情報センタから何度も受信せずに、入力済みの情報を保存しながら、有効な音声対話について、車両の移動距離を判断しつつ、適切な段階から再開することができるという効果が得られる。
【００３８】
請求項２に記載の情報センタによれば、情報センタにおいて、移動体端末装置との通信が中断した際の移動体の位置と、情報センタとの通信が復帰した際の移動体の位置とを判定し、通信が中断した際の移動体の位置と通信が復帰した際の移動体の位置とに基づいて、対話の再開を制御することができる。
従って、情報センタは、移動体端末装置に負担をかけずに音声対話の中断を判断し、不要な情報を何度も移動体端末装置へ送信することなく、移動体端末装置において、入力済みの情報を保存しながら、有効な音声対話について、車両の移動距離を判断しつつ、適切な段階から再開することができるという効果が得られる。
【図面の簡単な説明】
【図１】第１の実施の形態の移動体端末装置及び情報センタにより構成する音声対話通信システムを示すブロック図である。
【図２】同実施の形態の移動体端末装置における通信処理の動作を示すフローチャートである。
【図３】同実施の形態の移動体端末装置における通信処理の動作を示すフローチャートである。
【図４】第２の実施の形態の移動体端末装置及び情報センタにより構成する音声対話通信システムを示すブロック図である。
【符号の説明】
１移動体端末装置
２情報センタ
３回線網
１１マイク
１２エンコード部
１３デコード部
１４スピーカ
１５通信制御部
１６制御部
１７ディスプレイ
１８操作部
１９継続判定部
２０移動体通信装置
２１自車位置検出部
３１通信装置
３２通信制御部
３３デコード部
３４音声認識部
３５合成音声・録音音声出力部
３６エンコード部
３７対話制御部
３８シナリオ
３９継続判定部
Ｓ５通信中断位置判定手段
Ｓ７通信中断判定手段
Ｓ１０通信復帰判定手段
Ｓ１３、Ｓ１６通信復帰位置判定手段
Ｓ１４、Ｓ１７、Ｓ１８対話再開制御手段[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a mobile terminal device and an information center that perform communication by a dialogue system via a communication network.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, there is a voice interaction device that controls an operation using a voice input, even if the voice interaction is interrupted, after which a smooth voice interaction can be continued.
For example, such a device is used in a case where an in-vehicle navigation device is operated by using voice input, and a user performs voice input according to an instruction of a voice interactive device to thereby obtain information such as a destination. The device can be recognized. However, there is a case where the voice dialogue is interrupted for some reason and the user forgets the content of the dialogue. Therefore, this apparatus is provided with a memory for storing the input voice and the response content as a dialogue history. If the restart of the dialogue is detected after the detection of, a sound indicating the content of the dialogue before the interruption is output (for example, see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-11-126089
[Problems to be solved by the invention]
By the way, in the conventional device as described in Patent Literature 1, the voice dialogue can be resumed from the point of interruption so that the scenario that has been proceeded can be continued as it is. Is connected by wireless communication and voice communication is performed between the information center and the vehicle side.If the communication is interrupted due to frequent disconnection of the communication, the vehicle side Then, there is a problem that unnecessary information is obtained and communication efficiency is deteriorated. On the other hand, if the speech dialogue is restarted from the beginning, there is a problem that the information input so far is wasted.
[0005]
The present invention has been made in view of the above problems, and provides a mobile terminal device and an information center capable of returning an interrupted voice conversation from an appropriate stage when performing a voice dialogue via communication. The purpose is to:
[0006]
[Means for Solving the Problems]
In order to solve the above problem, a mobile terminal device according to the invention of claim 1 is a mobile terminal device that is provided in a mobile body and that interacts with a dialog system provided in an information center via a communication network. A position detecting means (for example, the vehicle position detecting unit 21 of the embodiment) for detecting a position of the moving body, and a communication interruption determining means (for example, of the embodiment) for determining interruption of communication with the information center. Step S7), communication interruption position determination means (for example, step S5 of the embodiment) for determining the position of the mobile body when communication is interrupted, and communication return determination for determining return of communication with the information center. Means (for example, step S10 in the embodiment) and communication return position determining means (for example, step S13 and step S16 in the embodiment) for determining the position of the moving body when communication is restored. Dialog restart control means for controlling restart of a dialog based on the position of the mobile when communication is interrupted and the position of the mobile when communication is restored (for example, step S14 of the embodiment, Step S17, Step S18, and Step S19).
[0007]
In the mobile terminal device having the above configuration, when the communication interruption determining unit determines that the communication with the information center is interrupted, the communication interruption position determining unit determines the information based on the position of the moving object detected by the position detecting unit. The position of the moving object when communication with the center is interrupted is determined. On the other hand, when the communication return determination means determines that communication with the information center has returned, the communication return position determination means determines the movement when the communication with the information center returns based on the position of the moving object detected by the position detection means. Determine body position. Thus, the dialogue resumption control means can control the resumption of the dialogue based on the position of the mobile when the communication is interrupted and the position of the mobile when the communication is restored.
[0008]
The information center according to the invention of claim 2 is an information center provided with a dialogue system for performing a dialogue with a mobile terminal device provided in a mobile unit via a communication network, wherein the mobile terminal device transmits the information to the mobile unit. Position acquisition means for acquiring the position of, communication interruption determination means for determining the interruption of communication with the mobile terminal device, and communication interruption position determination means for determining the position of the mobile when communication is interrupted, Communication return determining means for determining the return of communication with the mobile terminal device, communication return position determining means for determining the position of the mobile body when the communication is recovered, and the communication when the communication is interrupted. A dialogue resumption control means for controlling the resumption of the dialogue based on the position of the body and the position of the mobile body when the communication is restored.
[0009]
The information center having the above configuration, when the communication interruption determination unit determines that the communication with the mobile terminal device is interrupted, the communication interruption position based on the position of the mobile object acquired from the mobile terminal device by the position acquisition unit. The determining means determines the position of the mobile when communication with the mobile terminal is interrupted. On the other hand, when the communication return determination means determines that communication with the mobile terminal device has been recovered, the communication return position determination means determines whether or not the communication return position is determined based on the position of the mobile object acquired from the mobile terminal device by the position acquisition device. The position of the moving object when communication with the mobile terminal is restored is determined. Thus, the dialogue resumption control means can control the resumption of the dialogue based on the position of the mobile when the communication is interrupted and the position of the mobile when the communication is restored.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First Embodiment)
FIG. 1 is a block diagram showing a voice communication system constituted by a mobile terminal device and an information center according to a first embodiment of the present invention.
In FIG. 1, reference numeral 1 denotes a mobile terminal device according to the present embodiment, which is connected to an information center 2 having an interactive system via a wireless communication network 3.
[0011]
First, the mobile terminal device 1 will be described in detail. An audio signal input from a microphone 11 for inputting a user's voice is digitally encoded and compressed in an encoding unit 12.
The decoding unit 13 is a processing unit that converts the compressed audio data sent from the information center into an audio signal, and the audio converted from the compressed audio data by the decoding unit 13 is reproduced from the speaker 14.
[0012]
On the other hand, the communication control unit 15 controls streaming transmission / reception of audio data and command transmission / reception with the information center 2 using the mobile communication device 20, and the control unit 16 controls the mobile terminal device 1 and the information center 2 Control of the display unit 17 for displaying communication contents and operation contents to the user, control of the operation unit 18 for receiving an input from the user, and further control of the voice. The terminal device 1 performs a dialogue process with the user.
[0013]
The continuation determination unit 19 connected to the control unit 16 determines from which stage the interrupted voice dialogue is to be continued based on the vehicle point information and the time information.
The mobile communication device 20 is a mobile communication device such as a mobile phone, and any device can be used as long as it can connect to the information center 2 by wireless communication.
In addition, the mobile terminal device 1 includes a vehicle position detection unit 21 using a GPS (Global Positioning System) or the like, and the control unit 16 can always grasp the position of the vehicle.
The voice data transmitted from the vehicle may be transmitted as text data in which a voice recognition device (not shown) is mounted on the vehicle and a voice signal input from the microphone 11 is voice-recognized.
[0014]
Next, the information center 2 will be described in detail. In the information center 2, the voice input from the microphone 11 of the mobile terminal device 1 and the input from the operation unit 18 of the mobile terminal device 1 are transmitted through the line network 3. The mobile terminal 1 controls the mobile terminal 1 to receive the voice and display from the mobile terminal 1 via the network 3 and output them to the speaker 14 and the display 17 of the mobile terminal 1.
[0015]
The compressed voice data input from the mobile terminal device 1 is demodulated by the decoding unit 33 via the communication device 31 and the communication control unit 32, and the voice is recognized by the voice recognition unit 34. Here, the communication device 31 is a communication device that can connect to the mobile communication device 20 of the mobile terminal device 1 by wireless communication. Further, the communication control unit 32 controls streaming transmission / reception of voice data and command transmission / reception with the mobile terminal device 1 using the communication device 31.
[0016]
On the other hand, the audio output to the mobile terminal device 1 is digitized and compressed in the encoding unit 36 in the audio waveform of the synthesized voice or the live recorded voice created by the synthesized voice / recorded voice output unit 35. Thereby, it is converted into data and transmitted to the terminal. The transmitted voice is decoded and reproduced in real time on the mobile terminal device 1 side. It is preferable to use a method of encoding and decoding an audio signal in order to improve the sound quality, but text data may be transmitted by an audio synthesis method.
[0017]
Further, the dialog control unit 37 controls the voice dialog with the user operating the mobile terminal device 1 using the scenario 38 in which the sequence of the voice dialog is stored, and also controls the voice recognition unit 34, the communication control unit 32, and the synthesis. The voice / recorded voice output unit 35 is controlled.
Further, the scenario 38 will be described in detail. The scenario 38 is a storage unit that stores a scenario code string and scenario information used for voice dialogue. As an example, Table 1 shows an example of a scenario code string for restaurant search. Table 2 shows an example of the scenario code sequence.
[0018]
[Table 1]

[0019]
[Table 2]

[0020]
Next, an operation of communication processing in mobile terminal device 1 of the present embodiment will be described with reference to the drawings. FIG. 2 and FIG. 3 are flowcharts showing the operation of the communication processing in the mobile terminal device 1 of the present embodiment.
In FIG. 2, first, the control unit 16 of the mobile terminal device 1 controls the communication control unit 15 to connect a line to the information center 2 using the mobile communication device 20 (step S1).
Next, the control unit 16 transmits to the information center 2 that the start scenario of the voice conversation is the top of the scenario (step S2), and performs a dialog communication process between the user and the dialog system of the information center 2 (step S2). Along with step S3), the screen display is updated along with the voice interaction (step S4).
[0021]
Further, the control unit 16 transmits the vehicle location information (for example, the current location information, the route information, the surrounding area information 1 km away from the current location, etc.) based on the current location acquired from the own vehicle location detection unit 21 while executing the voice dialogue, while the information center 2 performs the dialogue. And the continuation determining unit 19 stores the transmitted vehicle point information and the time information at that time (step S5).
Further, the control unit 16 determines whether or not the user or the information center 2 has ended the dialogue while executing the voice dialogue (Step S6). If the dialogue has not ended (NO in Step S6), It is determined whether the communication has been interrupted (step S7).
[0022]
If the interruption of the communication has not occurred in step S7 (NO in step S7), the process returns to step S3, and the above-described operation is repeated.
If the communication has been interrupted in step S7 (YES in step S7), the control unit 16 first stores the scenario information of the current voice dialog (corresponds to the progress of the scenario as the step information of the dialog scenario). Then, the classification levels, contents, and example stages of Tables 1 and 2 are stored (step S8), and then reconnection of the line to the information center 2 is started (step S9).
Then, the process proceeds to step S10 in FIG. 3, and it is determined whether or not the line can be connected to the information center 2 (step S10). If the line cannot be connected (NO in step S10), the control unit 16 reconnects by the user. It is determined whether a stop operation has been input (step S11).
[0023]
In step S11, when the user does not input the reconnection stop operation (NO in step S11), the control unit 16 determines whether the time during which the communication is interrupted is long (step S12).
In step S12, when the time during which the communication is interrupted is short (NO in step S12), the continuation determining unit 19 compares the stored vehicle point information with the current vehicle point information, and reconnects the communication. It is determined whether or not to cancel (step S13). If the reconnection of the communication is not stopped in step S13 (NO in step S13), the process returns to step S10, and the above operation is repeated.
[0024]
On the other hand, in step S11, when the user has input a reconnection stop operation (YES in step S11), or in step S12, when the communication has been interrupted for a long time (YES in step S12), or in step S13. In the case where the reconnection of the communication is interrupted (YES in step S13), and further in the above-described step S6, when the end of the dialogue by the user or the information center 2 occurs (YES in step S6), the control is performed. The unit 16 terminates the connection with the information center 2 (step S14), and terminates the operation of the communication processing in the mobile terminal device 1.
[0025]
In step S10, it is determined whether or not a line can be connected to the information center 2. If the line can be connected (YES in step S10), the control unit 16 transmits the vehicle information to the information center 2 and continues. The determination unit 19 determines whether or not the scenario of the voice dialogue before the communication interruption uses the vehicle point information (step S15). Note that the vehicle information transmitted from the mobile terminal device 1 to the information center 2 when the communication is interrupted and returned includes, for example, a vehicle ID and position coordinates, a state number of a voice dialogue, contents already input in the voice dialogue, and information after a normal end. It includes the connection after connection or abnormal termination, the time of the previous connection, whether the input method is voice or the operation unit, the position of the input button, and the input voice.
[0026]
If, in step S15, the scenario of the voice dialogue before the interruption of communication uses the vehicle point information (YES in step S15), the control unit 16 acquires the current vehicle point information from the vehicle position detection unit 21. At the same time, the continuation determination unit 19 compares the stored vehicle point information with the current vehicle point information (Step S16), and determines whether or not the distance between the two is greater than a set value (Step S16). S17).
Further, in step S17, when it is determined that the distance between the stored vehicle point information and the current vehicle point information is longer than the set value (YES in step S17), the continuation determining unit 19 The control unit 16 is caused to transmit the voice dialogue scenario modification command, the vehicle location information at the current location, and the current scenario information to the information center 2 (step S18). Then, the process returns to step S3 in FIG. 2, and the above operation is repeated.
As a result, the scenario of the voice dialogue is resumed from an appropriate state (a state that has been traced back to an appropriate state depending on the classification level, the contents, and the like) when the scenario is returned in a state different from the state at the time of interruption.
[0027]
On the other hand, if it is determined in step S15 that the scenario of the voice dialogue before the communication interruption does not use the vehicle point information (NO in step S15), or in step S17, the continuation determination unit 19 stores the vehicle point information stored in the scenario. If it is determined that the distance between the current scenario information and the current vehicle point information is not greater than the set value (NO in step S17), the control unit 16 sends the current scenario information to the information center 2. It transmits (step S19). Then, the process returns to step S3 in FIG. 2, and the above operation is repeated.
As a result, the voice dialogue scenario is resumed from the point immediately before the interruption.
[0028]
In the present embodiment, the control unit 16 and the continuation determination unit 19 of the mobile terminal device 1 include a communication interruption determination unit, a communication interruption position determination unit, a communication recovery determination unit, a communication recovery position determination unit, Dialog restart control means.
More specifically, step S7 in FIG. 2 corresponds to a communication interruption determination unit, and step S5 in FIG. 2 corresponds to a communication interruption position determination unit. Step S10 in FIG. 3 corresponds to the communication return determination unit, steps S13 and S16 in FIG. 3 correspond to the communication return position determination unit, and steps S14, S17, S18, and S19 in FIG. This corresponds to a dialogue resumption control unit.
[0029]
As described above, the mobile terminal device 1 according to the present embodiment, when the communication interruption determination unit of the control unit 16 determines that the communication with the information center 2 is interrupted, the vehicle position detected by the vehicle position detection unit 21 Based on the position, the communication interruption position determination unit of the continuation determination unit 19 determines vehicle point information when communication with the information center 2 is interrupted. On the other hand, when the communication return determination unit of the control unit 16 determines that the communication with the information center 2 has returned, the communication return position determination unit of the continuation determination unit 19 determines based on the vehicle position detected by the host vehicle position detection unit 21. The position of the vehicle when communication with the information center 2 is restored is determined. Thereby, the dialogue resumption control means of the continuation determination unit 19 can control the restart of the dialogue based on the position of the vehicle when the communication is interrupted and the position of the vehicle when the communication is restored.
[0030]
Therefore, when performing a voice dialogue via communication, the mobile terminal device 1 does not receive unnecessary information from the information center 2 many times, and saves the already input information. Thus, an effect is obtained that the vehicle can be restarted from an appropriate stage while judging the moving distance of the vehicle.
[0031]
(Second embodiment)
Next, a mobile terminal device and an information center according to a second embodiment of the present invention will be described. The second embodiment is a case where the information center 2 performs the restart control of the voice dialogue while the first embodiment executes the restart control of the voice talk in the mobile terminal device.
FIG. 4 is a block diagram showing a voice interactive communication system configured by the mobile terminal device and the information center according to the present embodiment.
In FIG. 4, components denoted by the same reference numerals as those in FIG. 1 perform the same operations as the components described in the first embodiment, and a description thereof will not be repeated.
[0032]
In FIG. 4, the continuation determination unit 19 of the mobile terminal device 1 shown in FIG. 1 is deleted because the information center 2 controls the restart of the voice conversation.
Further, the continuation determining unit 39 connected to the dialogue control unit 37 of the information center 2 is a processing unit for performing the resumption control of the voice dialogue on the information center 2 side, and when reconnecting when the line is interrupted, The vehicle location information obtained based on the new current location is received from the mobile terminal device 1, and based on the old vehicle location information stored in the continuation determination unit 39 and the current location at the time of the line return received from the mobile terminal device 1. By comparing the obtained vehicle point information with the vehicle point information, it is determined whether or not the difference affects the content of the dialogue.
[0033]
Next, the operation of the communication processing in the information center 2 according to the present embodiment will be described. In the case of the present embodiment, whether or not communication between the mobile terminal 1 and the information center 2 has been interrupted, or The communication interruption determination means and the communication recovery determination means of the dialogue control unit 37 determine whether or not the communication has returned.
In the information center 2, while the vehicle point information received from the mobile terminal device 1 is always stored by the continuation determination unit 39, the communication interruption determination unit of the dialogue control unit 37 determines whether or not the communication with the mobile terminal device 1 is interrupted. Determine the presence or absence. On the other hand, when the communication interruption determination unit of the dialog control unit 37 determines that the communication with the mobile terminal device 1 is interrupted, reconnection of the line is started. If it is determined that the connection has been established and the communication has been restored, the communication return position determining means of the continuation determining unit 39 determines the position of the vehicle when the communication with the mobile terminal device 1 has been restored.
[0034]
If the scenario of the voice dialogue before the communication interruption uses the vehicle point information, the dialogue resumption control means of the continuation determining unit 39 determines the vehicle point information when the communication is interrupted and the vehicle point information when the communication is restored. By comparing the information with the information, it is determined whether or not the distance between the two is greater than a set value.
Then, when it is determined that the distance between the stored vehicle point information and the current vehicle point information is longer than the set value, the dialogue resumption control unit of the continuation determination unit 39 sets the communication control unit 32 , The mobile terminal device 1 transmits to the information center 2 the command for modifying the scenario of the voice dialogue, the vehicle location information at the current location, and the current scenario information. In this case, the information center 2 may transmit a command for modifying the scenario of the voice conversation to the mobile terminal device 1.
[0035]
As described above, in the information center 2 of the present embodiment, when the communication interruption determination unit of the dialog control unit 37 determines that the communication with the mobile terminal device 1 is interrupted, the communication control unit 32 The communication interruption position determination means of the continuation determination unit 39 determines vehicle point information when communication with the mobile terminal device 1 is interrupted based on the position of the vehicle received from the mobile terminal device 1. On the other hand, when the communication return determination unit of the dialog control unit 37 determines that the communication with the mobile terminal device 1 has returned, the communication control unit 32 determines the continuation determination unit 39 based on the position of the vehicle received from the mobile terminal device 1. The communication return position determination means determines the position of the vehicle when communication with the mobile terminal device 1 has returned. Thereby, the dialogue resumption control means of the continuation determination unit 39 can control the restart of the dialogue based on the position of the vehicle when the communication is interrupted and the position of the vehicle when the communication is restored.
[0036]
Therefore, when performing a voice dialogue via communication, the information center 2 determines interruption of the voice dialogue without imposing a load on the mobile terminal device 1 and sends unnecessary information to the mobile terminal device 1 many times. Without transmitting, in the mobile terminal device 1, it is possible to obtain an effect that an effective voice conversation can be restarted from an appropriate stage while judging the moving distance of the vehicle while preserving the inputted information. .
[0037]
【The invention's effect】
As described above, according to the mobile terminal device of the first aspect, in the mobile terminal device, the position of the mobile unit when communication with the information center is interrupted and the position of the mobile unit when communication with the information center is restored. The position of the moving object is determined, and the restart of the dialog can be controlled based on the position of the moving object when the communication is interrupted and the position of the moving object when the communication is restored.
Therefore, the mobile terminal device does not receive unnecessary information from the information center many times, saves the inputted information, and determines the moving distance of the vehicle for an effective voice conversation while determining the moving distance of the vehicle. The effect of being able to restart from is obtained.
[0038]
According to the information center according to claim 2, in the information center, the position of the mobile unit when communication with the mobile terminal device is interrupted and the position of the mobile unit when communication with the information center is restored are determined. It is possible to determine and control the restart of the dialog based on the position of the moving object when the communication is interrupted and the position of the moving object when the communication is restored.
Therefore, the information center determines the interruption of the voice conversation without burdening the mobile terminal device, and transmits the unnecessary information to the mobile terminal device without sending unnecessary information to the mobile terminal device many times. The effect is obtained that the effective speech dialogue can be restarted from an appropriate stage while judging the moving distance of the vehicle while saving the information.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a voice communication system configured by a mobile terminal device and an information center according to a first embodiment.
FIG. 2 is a flowchart showing an operation of a communication process in the mobile terminal device of the embodiment.
FIG. 3 is a flowchart showing an operation of a communication process in the mobile terminal device of the embodiment.
FIG. 4 is a block diagram illustrating a voice communication system configured by a mobile terminal device and an information center according to a second embodiment;
[Explanation of symbols]
REFERENCE SIGNS LIST 1 mobile terminal device 2 information center 3 line network 11 microphone 12 encoding unit 13 decoding unit 14 speaker 15 communication control unit 16 control unit 17 display 18 operation unit 19 continuation determination unit 20 mobile communication device 21 own vehicle position detection unit 31 communication Device 32 Communication control unit 33 Decoding unit 34 Voice recognition unit 35 Synthesized voice / recorded voice output unit 36 Encoding unit 37 Dialogue control unit 38 Scenario 39 Continuation determination unit S5 Communication interruption position determination unit S7 Communication interruption determination unit S10 Communication recovery determination unit S13 , S16 Communication return position determination means S14, S17, S18 Dialogue restart control means

Claims

A mobile terminal device that is provided in a mobile body and performs a dialogue with a dialogue system provided in an information center via a communication network,
Position detection means for detecting the position of the moving body,
Communication interruption determination means for determining the interruption of communication with the information center;
When communication is interrupted, communication interrupted position determining means for determining the position of the moving object,
Communication return determination means for determining return of communication with the information center;
When the communication is restored, the communication return position determining means for determining the position of the moving object, based on the position of the moving object when the communication is interrupted, and the position of the moving object when the communication is restored And a dialogue restart control means for controlling restart of the dialogue.

An information center having a dialogue system for performing a dialogue with a mobile terminal device provided in a mobile through a communication network,
Position acquisition means for acquiring the position of the moving object from the mobile terminal device,
Communication interruption determination means for determining the interruption of communication with the mobile terminal device,
When communication is interrupted, communication interrupted position determining means for determining the position of the moving object,
Communication return determination means for determining return of communication with the mobile terminal device,
When communication returns, communication return position determination means for determining the position of the moving object,
An information center comprising: a dialogue resumption control means for controlling resumption of a dialogue based on a position of the mobile body when communication is interrupted and a position of the mobile body when communication is restored. .