JP2004029456A - 端末通信システム、連携サーバ、音声対話サーバ、音声対話処理方法および音声対話処理プログラム - Google Patents
端末通信システム、連携サーバ、音声対話サーバ、音声対話処理方法および音声対話処理プログラム Download PDFInfo
- Publication number
- JP2004029456A JP2004029456A JP2002186649A JP2002186649A JP2004029456A JP 2004029456 A JP2004029456 A JP 2004029456A JP 2002186649 A JP2002186649 A JP 2002186649A JP 2002186649 A JP2002186649 A JP 2002186649A JP 2004029456 A JP2004029456 A JP 2004029456A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- result information
- terminal device
- interaction
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
【課題】音声対話処理の処理結果を早期に表示内容などに反映させる。
【解決手段】音声対話処理において、音声対話制御部は、「駅名を発声してください。」との音声ガイダンスを示す音声データを出力し、ユーザからの音声データが入力すると、音声認識処理を実行して音声認識結果データを音声対話結果データとして仮決定する。次いで、入力確認のための「新宿でよろしいですか」との音声ガイダンスを示す音声データを出力し、ユーザからの音声データが入力すると、音声認識処理を実行して音声認識結果が適正か否かを確認する。適正であれば、仮決定状態の音声対話結果データを音声対話結果データとして確定させてコンテンツサーバに出力する。その後、音声対話処理を終了することを報知するための「了解しました。終了いたします。」との音声ガイダンスを示す音声データを出力する。よって、音声対話結果を早期に反映させることができる。
【選択図】 図５
【解決手段】音声対話処理において、音声対話制御部は、「駅名を発声してください。」との音声ガイダンスを示す音声データを出力し、ユーザからの音声データが入力すると、音声認識処理を実行して音声認識結果データを音声対話結果データとして仮決定する。次いで、入力確認のための「新宿でよろしいですか」との音声ガイダンスを示す音声データを出力し、ユーザからの音声データが入力すると、音声認識処理を実行して音声認識結果が適正か否かを確認する。適正であれば、仮決定状態の音声対話結果データを音声対話結果データとして確定させてコンテンツサーバに出力する。その後、音声対話処理を終了することを報知するための「了解しました。終了いたします。」との音声ガイダンスを示す音声データを出力する。よって、音声対話結果を早期に反映させることができる。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、音声対話処理によって入力された情報を、Ｗｅｂページの表示内容に早期に反映させることができるとともに、音声対話処理に用いられていた通信回線が切断された場合であってもＷｅｂページの表示内容に反映させることができる端末通信システム、連携サーバ、音声対話サーバ、音声対話処理方法、および音声対話処理プログラムに関する。
【０００２】
【従来の技術】
従来から、インターネットなどのデータ通信ネットワークに接続されているＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバによるＷｅｂページの表示を利用した表示サービスと、一般公衆電話回線網などの音通信ネットワークに接続されている音声対話サーバによる音声対話機能を用いた音声サービスとを連携させたシステムが利用されている。
【０００３】
表示サービスと音声サービスとを連携させたシステムには、例えば特開２００２−２６８２４１に開示されている無線携帯端末通信システムがある。この無線携帯端末通信システムは、ブラウザ機能および通話機能を備えた携帯電話端末と、表示サービスを実行するコンテンツサーバと音声サービスを実行する音声対話サーバとを含むセンタとで構成される。この無線携帯端末通信システムによれば、センタは、コンテンツサーバによる表示サービスによって携帯電話端末が備える表示装置に表示されている情報入力領域への情報入力を、音声対話処理による音声入力によって受け付ける連携サービスを提供している。具体的には、音声対話処理にて入力した音声情報にもとづく文字列情報を音声認識処理によって取得し、携帯電話端末が備える表示装置に表示されている情報入力領域に、音声認識結果を示す文字列情報にもとづく表示を行うための処理が実行される。
【０００４】
【発明が解決しようとする課題】
音声対話処理における音声認識処理では、携帯電話端末のユーザの発声方法に癖があったりすることから、携帯電話端末から入力した音や音声がユーザが意図する内容として常に正確に認識されているとは限らない。このため、一般に、音声対話処理では、音声認識結果を示す音声を発声するための処理を行うなどすることで、音声認識結果が適正であるか否かを携帯電話端末のユーザに対して問い合わせるための確認処理が実行される。この確認処理が実行されると、確認処理によってユーザから適正であることの確認がとれた音声認識結果を示す文字列情報が、音声対話結果情報として取り扱うことに確定され、確定された音声対話結果情報が音声対話サーバからコンテンツサーバに送信される。そして、コンテンツサーバは、受信した音声対話結果情報にもとづく連携情報を生成し、携帯電話端末に送信する。すると、携帯電話端末の表示装置の表示画面に、連携情報にもとづいて、ユーザによって発声された音声の内容が反映された表示がなされるようになる。
【０００５】
ところが、音声対話処理における確認処理が完了する前に、例えば携帯電話端末を携帯しているユーザが音声対話処理中に電波の届かない場所に移動してしまった場合などの何らかの原因によって、音声対話処理に用いられていた通信回線が切断してしまい、音声認識結果を示す文字列情報が音声対話結果情報に確定される前に音声対話処理が中途終了してしまった場合には、未確定の音声対話結果情報は破棄され、その後の情報入力領域への表示などの処理がなされない。このように、ユーザが音声入力を行ったあとであっても、確認処理が終了する前に音声対話処理が中途終了してしまった場合には、ユーザによって発声された音声が情報入力領域の入力情報として反映されず、音声対話処理を最初からやり直さなければならない。上記のように、音声対話処理が完了する前に音声対話処理に用いられていた通信回線が切断してしまうと、既に音声入力された情報があっても、その情報が反映されることなく音声対話処理が中途終了してしまうという問題があった。
【０００６】
また、音声対話処理が完了したあと、確定された音声対話結果情報が音声対話サーバからコンテンツサーバに送信されるが、データ通信ネットワーク上で多くのデータが伝送され通信回線が混雑している場合には、音声対話結果情報の伝送期間が長くなってしまい、音声対話結果情報がコンテンツサーバに取得される時期が遅延することになってしまう。コンテンツサーバが音声対話結果情報を取得する時期が遅れると、携帯電話端末の表示装置の表示画面に連携情報にもとづく表示を行うことができる時期が遅延してしまうので、音通信を終えたあと直ぐに音声対話処理結果を反映させた表示を行うことができない。このように、音声対話処理が完了したあと直ぐに音声対話処理結果を反映させた表示を行うことができず、迅速に音声対話処理の結果を携帯電話端末の表示内容などに反映させることができないという問題があった。
【０００７】
本発明は上述した問題を解消し、音声対話処理の処理結果をより早期に表示内容などに反映させることができるようにするとともに、音声対話処理が完了していなくても音声対話処理にて音声入力された情報を表示内容などに反映させることができるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
上記の問題を解決するために、本発明の端末通信システムは、音声通信機能およびパケット通信機能を有する端末装置（例えば無線携帯端末２０）と、端末装置との間で音声通話を行う音声制御部（例えば音声対話制御部３２）と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部（例えば音声認識部３４）と、音声通話の回線情報を監視し音声通話の中断を検出する回線情報検出部（例えば音声通信情報検出部３１）と、音声通話による音声対話終了時もしくは回線情報検出部にて音声通話（例えば音声対話処理）の中断が検出されたときに、音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報（例えば音声対話結果データ）をパケット通信により端末装置に送信するパケット制御部（例えばコンテンツ制御部４２）とを有するセンタとを備えたことを特徴とする。
【０００９】
上記の構成としたことで、音声通話が中断して音声対話処理が中途終了していまっても、音声対話結果データとしての音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報を、端末装置に提供することができるようになる。
【００１０】
また、本発明の端末通信システムは、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報が得られる毎に、パケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とする。
【００１１】
上記の構成としたことで、音声対話結果データとしての音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報が得られる毎に、音声対話の終了を示す報知が行われる前に、迅速に端末装置に提供することができる。
【００１２】
また、本発明の端末通信システムは、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声通話の回線情報を監視し前記音声通話の中断を検出する回線情報検出部と、音声認識部にて得られる認識結果もしくは当該認識結果にもとづく情報の所定の一単位が得られた時点で、パケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とする。
【００１３】
上記の構成としたことで、音声対話の終了を示す報知を行う前に、音声対話結果データとしての音声認識部にて得られた複数の認識結果もしくは当該認識結果にもとづく複数の情報を端末装置に提供することができるようになる。
【００１４】
また、本発明の端末通信システム（例えば無線携帯端末システム１０）は、通話機能およびデータ通信機能を有する端末装置（例えば無線携帯端末２０）と、端末装置との間で通信ネットワーク（例えば一般公衆回線網）を介して音声対話処理を行うとともに音声対話処理の結果にもとづく連携結果情報を通信ネットワーク（例えばインターネット５０）を介して端末装置に提供する連携サーバ（例えば音声対話サーバ３０およびコンテンツサーバ４０を含むセンタ）とを備えた端末通信システムであって、連携サーバは、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部（例えば音声認識部３４）と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部（例えば音声対話制御部３２）と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部（例えば音声通信情報検出部３１）と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報（例えば、音声認識結果が適正であることの確認が取られたことによって、今後の処理に使用されることが確定された音声対話結果データ）にもとづく連携結果情報（例えば、音声対話結果データ自体の他、音声対話結果データにもとづいて生成された情報、音声対話結果データにもとづいて抽出された情報など、音声対話結果データにもとづく情報を含む）を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部（例えばコンテンツ制御部４２およびインターネット通信部４１）とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報（例えば仮決定状態の音声対話結果データ）を確定音声対話結果情報とすることに決定することを特徴とする。
【００１５】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【００１６】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されていてもよい。
【００１７】
上記の構成としたことで、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。
【００１８】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされていてもよい。
【００１９】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができる。
【００２０】
また、本発明の端末通信システムは、通話機能およびデータ通信機能を有する端末装置と、端末装置との間で通信ネットワークを介して音声対話処理を行うとともに音声対話処理の結果にもとづく連携結果情報を通信ネットワークを介して端末装置に提供する連携サーバとを備えた端末通信システムであって、連携サーバは、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、音声認識処理部によって音声認識結果情報が得られる毎に、音声認識結果情報を確定音声対話結果情報とすることに決定し、連携結果情報提供部は、確定音声対話結果情報とすることが決定される毎に、当該確定音声対話結果情報にもとづく連携結果情報を端末装置に提供することを特徴とするものである。
【００２１】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前に、確定音声対話結果情報とすることが決定される毎に迅速に連携結果情報を端末装置に提供することができる。
【００２２】
連携サーバが、端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行う音声対話サーバと、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバとを含み、音声対話サーバとコンテンツサーバを用いて確定音声対話結果情報にもとづく連携結果情報を端末装置に提供するように構成されていてもよい。
【００２３】
上記の構成としたことで、音声対話処理などを実行するサーバとＷｅｂページを用いた情報の提供などを実行するサーバとが別個に備えられているシステムにおいて、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【００２４】
端末装置と連携サーバとで行われるデータ通信は、パケット通信により行われるように構成されていてもよい。
【００２５】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前にパケット通信によって音声対話結果情報が送信されるので、パケット通信が行われる通信ネットワークが混雑していても、遅延することなく連携結果情報を端末装置に提供することができる。
【００２６】
連携結果情報は、確定音声対話結果情報が反映されたＷｅｂページデータ、または確定音声対話結果情報にもとづいて選択された選択データである構成とされていてもよい。
【００２７】
上記の構成としたことで、確定音声対話結果情報が反映されたＷｅｂページデータにもとづくＷｅｂページを端末装置に表示させることができる。また、確定音声対話結果情報にもとづいて選択された選択データ（例えば着信時に着信音として再生される着信メロディなどの表示されないデータ）を端末装置に提供することができる。
【００２８】
また、本発明の連携サーバは、通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音声対話処理を行うとともに音声対話処理の結果にもとづく連携結果情報を通信ネットワークを介して端末装置に提供する連携サーバであって、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするものである。
【００２９】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【００３０】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されていてもよい。
【００３１】
上記の構成としたことで、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。
【００３２】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされていてもよい。
【００３３】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができる。
【００３４】
また、本発明の音声対話サーバは、通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行うとともに、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバに対して音声対話処理の結果にもとづく連携結果情報を端末装置に提供することを依頼する音声対話サーバであって、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行う確定音声対話結果情報送信部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするものである。
【００３５】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【００３６】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されていてもよい。
【００３７】
上記の構成としたことで、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができるようになる。
【００３８】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされていてもよい。
【００３９】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【００４０】
また、本発明の音声対話処理方法は、通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行うとともに、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバに対して音声対話処理の結果にもとづく連携結果情報を端末装置に提供することを依頼するための音声対話処理方法であって、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを含み、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするものである。
【００４１】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【００４２】
さらに、本発明の音声対話処理プログラムは、通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行うとともに、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバに対して音声対話処理の結果にもとづく連携結果情報を端末装置に提供することを依頼するための音声対話処理プログラムであって、コンピュータに、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを実行させ、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定させることを特徴とするものである。
【００４３】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【００４４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の一実施形態である端末通信システム１０の構成の例を示すブロック図である。端末通信システム１０は、無線携帯端末２０と、音声対話サーバ３０と、コンテンツサーバ４０とを含む。無線携帯端末２０は、無線基地局５１を介してインターネット５０に接続され、無線基地局６１を介して一般公衆回線網６０に接続される。また、音声対話サーバ３０およびコンテンツサーバ４０は、それぞれ、インターネット５０に接続される。さらに、音声対話サーバ３０は、一般公衆回線網６０に接続される。なお、以下の説明において、インターネット５０と一般公衆回線網６０とを含めて通信ネットワークということがある。
【００４５】
無線携帯端末２０は、例えばＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）規格に準拠したディジタル携帯電話などの携帯電話端末によって構成される。無線携帯端末２０は、一般公衆回線網６０を介して接続先との間で音声通話を行うための通話機能を有するとともに、自己が備える例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置にＷｅｂページを表示したり、自己が備える入力装置を用いてＷｅｂページ上で文字入力や情報選択を行うためのブラウザ機能とを有している。無線携帯端末が有する２０ブラウザ機能には、インターネット５０上にＷｅｂサイトを開設しているＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバとの間で各種のデータを送受するデータ通信機能が含まれるものとする。なお、本例では、無線携帯端末が有するデータ通信機能によって、パケット通信によるデータ通信が実行される。無線携帯端末２０は、インターネット５０への接続や、インターネット５０を利用した情報の送受などを行うことができる環境（例えばブラウザなどのソフトウェアや、ハードウェアなどにおける環境）を備えている。
【００４６】
音声対話サーバ３０は、音声通信情報検出部３１と、音声対話制御部３２と、音声対話情報記憶部３３と、音声認識部３４と、音声ガイダンス生成部３５と、インターネット通信部３６とを含み、一般公衆回線網６０を介して入力した音データが示す音や音声を認識する音声認識機能と、発声しようとする言葉を示す文字情報にもとづいて音声合成して音声データの出力を行う音声合成機能とを有する。音声対話サーバ３０は、音声認識機能と音声合成機能とを用いて、音声による情報の伝達や情報の取得を行う音声対話処理を実行する。
【００４７】
音声通信情報検出部３１は、音声対話サーバ３０での音声通話に用いられる通信回線の使用状態を示す回線情報を監視し、通信回線が使用状態から切断された状態に変化したことを検出して、その検出結果を音声対話制御部３２に通知する。具体的には、例えば、音声通信情報検出部３１は、回線情報として通信回線の使用状態を示す信号を監視し、その信号が回線使用状態を示すレベルから回線切断状態を示すレベルに変化したことを検出したときに、通信回線が使用状態から切断状態に変化したことを示す回線切断検出信号を音声対話制御部３２に対して出力する。
【００４８】
音声対話制御部３２は、音声対話サーバ３０内の各部を制御する機能を有する。例えば、音声対話制御部３２は、音声対話情報記憶部３３に記憶されている後述する音声対話処理プログラムに従って、音声認識部３４や音声ガイダンス生成部３５などを制御し、音声認識処理や音声出力処理を実行させることで、音声対話処理を実行させる。また、例えば、音声対話制御部３２は、音声対話処理プログラムに従って、インターネット通信部３６などを制御し、音声対話処理によって得られた音声対話結果データをコンテンツサーバ４０に向けて出力させる。
【００４９】
音声対話情報記憶部３３には、音声対話処理の処理内容を指定した音声対話処理プログラム、音声認識処理や音声合成処理で用いられる辞書データ、音声出力を行う際に使用される音声データが格納された音声ファイルなど、音声対話処理を実行するために用いられる各種の情報があらかじめ記憶される。なお、音声対話処理プログラムは、例えば、ｖｏｉｃｅＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などの音声対話処理の処理内容を指定するための音声対話処理用言語によって作成されたプログラムである。
【００５０】
音声認識部３４は、音声対話制御部３２の指示に従って、一般公衆回線網６０を介して入力した音データが示す音や音声を認識する音声認識処理を実行し、音声認識結果を音声対話制御部３２に対して送信する処理を実行する。
【００５１】
音声ガイダンス生成部３５は、音声対話制御部３２の指示に従って、音声合成機能もしくはあらかじめ用意された音声ファイルなどを用いて、音声対話処理にて発せられるガイダンスなどを示す音声データが含まれた音声ファイルを生成する。また、音声ガイダンス生成部３５は、生成した音声ファイルを音声対話制御部３５に送信する処理を実行する。
【００５２】
インターネット通信部３６は、インターネット５０に向けて情報を送信する処理や、インターネット５０からの情報を受信する処理を実行する。この例では、インターネット通信部３６は、音声対話制御部３２からの音声対話処理の結果を示す音声対話結果データをコンテンツサーバ４０に向けて送信する処理などを実行する。
【００５３】
コンテンツサーバ４０は、インターネット通信部４１と、コンテンツ制御部４２と、コンテンツ情報記憶部４３とを含む。コンテンツサーバ４０は、例えばＷＷＷサーバなどの情報処理装置により構成される。コンテンツサーバ４０は、例えばＣ−ＨＴＭＬ（Ｃｏｍｐａｃｔ ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのマークアップ言語により作成されたＷｅｂページデータを管理し、Ｗｅｂページデータにもとづいて表示されるＷｅｂページを用いて、各種のコンテンツ（アプリケーションを作成する素材を意味するだけでなく、アプリケーションやサービスを含む概念である）の提供や情報の取得を行う機能を有している。Ｗｅｂページには、例えば、商品の受注を行うためのものや、特定の情報を検索するためのものや、アンケートの回収を行うためのものなどがある。
【００５４】
インターネット通信部４１は、コンテンツ制御部４２の制御に従って、インターネット５０に向けて情報を送信する処理や、インターネット５０からの情報を受信する処理を実行する。
【００５５】
コンテンツ制御部４２は、コンテンツ情報記憶部４３の記憶内容に従って、インターネット上にコンテンツサーバ４０が開設しているＷｅｂサイトの制御を行う。
【００５６】
コンテンツ情報記憶部４３は、各種のＷｅｂページデータなど、コンテンツサーバ４０が開設しているＷｅｂサイトの運営に必要な情報が格納されている。なお、本例では、コンテンツ情報記憶部４３に、本システムにユーザ登録されている各無線携帯端末についてのユーザ登録情報や後述する履歴情報なども格納される。
【００５７】
次に、本例の無線携帯端末システム１０の動作について図面を参照して説明する。図２は、本例の無線携帯端末システム１０における表示・音声連携処理および処理タイミングの一例を示すタイミングチャートである。
【００５８】
本例では、無線携帯端末２０は、本システム１０を管理するシステム管理者に対して、ユーザ登録を済ましているものとする。この例では、システム管理者は、音声対話サーバ３０およびコンテンツサーバ４０の双方を管理し、音声対話サーバ３０とコンテンツサーバ４０とを連携させたサービスを提供する。ユーザ登録の際に、本例では、無線携帯端末の電話番号を示す電話番号データ、無線携帯端末を管理しているユーザ名などの無線携帯端末に関する各種の情報がコンテンツ情報記憶部４３に登録される。
【００５９】
また、本例では、ユーザ登録済の各無線携帯端末について、音声対話サーバ３０やコンテンツサーバ４０からサービスを受けたときのサービス内容を示す履歴情報がコンテンツ情報記憶部４３に登録される。履歴情報は、具体的には、例えば、音声対話サーバ３０との間で実行された音声対話処理の結果を示す音声対話結果情報や、コンテンツサーバ４０から取得したＷｅｂページデータや無線携帯端末による入力情報などの情報である。履歴情報は、該当する無線携帯端末の電話番号を示す電話番号データに対応付けされた状態でコンテンツ情報記憶部４３に格納される。従って、音声対話サーバ３０およびコンテンツサーバ４０は、電話番号データを確認することで、どの無線携帯端末によって、どのＷｅｂページデータが取得されてどのような入力がなされたのかや、どのような音声対話処理結果が得られたのかなどを特定することができる。なお、ユーザ登録の際に登録された情報や履歴情報などが格納されるデータベースは、コンテンツサーバ４０に限らず、例えば音声対話サーバ３０が備えるようにしても、あるいは所定のデータベースサーバが備えることにしてもよく、システム１０内のどこに設置されていてもよい。
【００６０】
表示・音声連携処理において、先ず、無線携帯端末２０は、ユーザの操作に応じて、インターネット５０を介してコンテンツサーバ４０にアクセスする（ステップＳ１０１）。例えば、コンテンツサーバ４０が提供しているＷｅｂページのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を指定することでアクセスする。
【００６１】
無線携帯端末２０からのアクセスがあり、Ｗｅｂページを表示するためのＷｅｂページデータの取得要求があった場合には、コンテンツサーバ４０は、取得要求に応じて、無線携帯端末２０に向けてＷｅｂページデータをインターネット５０を介して送信する（ステップＳ１０２）。なお、この例では、送信されるＷｅｂページデータには、音声対話サーバ３０の電話番号を示す電話番号データが含まれている。
【００６２】
この例では、Ｗｅｂページデータには、音声対話サーバ３０との音声対話によって情報入力を行う処理を選択するための音声対話選択領域をＷｅｂページ上に表示するための音声対話選択領域表示データと、音声対話サーバ３０に向けて発呼するための電話番号を示す電話番号データとが、互いに関連付けされた状態で含まれている。すなわち、音声対話選択領域表示データと電話番号データとが、マークアップ言語によってＷｅｂページデータ内に表記されている。また、Ｗｅｂページデータ内に、マークアップ言語によって、音声対話選択領域表示データが示す音声対話選択領域が選択されると、電話番号データが示す電話番号を用いて発呼を行うように指示する記述がなされている。すなわち、Ｗｅｂページデータに、無線携帯端末２０においてｐｈｏｎｅ−ｔｏ機能（音声対話選択領域が選択されたことに応じて特定の相手に発呼する機能）が実現されるようにするための記述がなされている。
【００６３】
無線携帯端末２０は、Ｗｅｂページデータを受信すると、ブラウザ機能によって、受信したＷｅｂページデータにもとづくＷｅｂページを自己が備える表示装置に表示する（ステップＳ１０３）。
【００６４】
図３は、無線携帯端末２０に表示されるＷｅｂページの表示状態の例を示す説明図である。ここでは、コンテンツサーバ４０が、電車の駅に関する各種の情報（例えば、その駅の時刻表、駅周辺の地図や案内、駅構内の地図や案内など）を紹介するサービスを提供している場合を例に説明する。図３には、電車の駅に関する各種の情報を取得するためのＷｅｂページの表示状態の例が示されている。図３に示すように、Ｗｅｂページには、ガイダンスを表示するガイダンス表示領域７１と、駅名を入力するための入力領域７２と、音声対話によって情報入力を行うときに選択される音声対話選択領域７３と、入力領域７２に入力された駅についての情報検索を指示するときに選択される検索指示選択領域７４とが設けられている。
【００６５】
無線携帯端末２０の操作によってユーザによりＷｅｂページにおいて音声対話選択領域７３が選択されると、無線携帯端末２０のブラウザ機能は、通話機能を呼び出し（ステップＳ１０４）、音声対話選択領域７３を表示させるための音声対話選択領域表示データに関連付けされている電話番号データが示す電話番号を用いて発呼することを指示する。呼び出された通話機能は、ブラウザ機能からの指示に従って、Ｗｅｂページデータ内に設定されている電話番号データが示す電話番号を用いて、音声対話サーバ３０に向けて発呼を行う（ステップＳ１０５）。なお、ステップＳ１０５では、音声対話サーバ３０に対して、無線携帯端末２０の電話番号が通知される。
【００６６】
音声対話サーバ３０の音声対話制御部３２は、無線携帯端末２０からの発呼に応じて一般公衆回線網６０における通信回線を接続状態（通話状態）とし、無線携帯端末２０からの発信者番号通知によって特定される電話番号を示す電話番号データにもとづいて、音声対話処理の実行内容を決定する（ステップＳ１０６）。
【００６７】
ここで、ステップＳ１０６での音声対話処理の内容の決定処理について詳しく説明する。この例では、各無線携帯端末についての履歴情報などをコンテンツサーバ４０が管理しているので、音声対話制御部３２は、先ず、インターネット通信部３６を制御して無線携帯端末２０から受けた電話番号データをコンテンツサーバ４０に送信する。電話番号データを受信すると、コンテンツサーバ４０のコンテンツ制御部４２は、コンテンツ情報記憶部４３の格納情報の中から、無線携帯端末２０の電話番号データに対応付けられている履歴情報（例えば、最近追加された数バイト分のデータなど、履歴情報の一部であってもよい）を探索し、探索した履歴情報の中から無線携帯端末２０に最後に送信されたＷｅｂページデータを特定する。この特定したＷｅｂページデータにもとづいて、無線携帯端末２０がどのＷｅｂページを経由して音声対話サーバ３０に向けて発呼を行ったかを確認することができる。コンテンツ制御部４２は、特定したＷｅｂページデータから、無線携帯端末２０を用いてユーザがどのようなサービスを音声対話によって受けようとしていたかを確認し、インターネット通信部４１を制御して、その確認結果を音声対話サーバ３０に送信する。確認結果を受けると、音声対話制御部３２は、受信した確認結果を示す情報にもとづいて、実行する音声対話処理の内容を決定する。例えば、図３に示したＷｅｂページを経由して音声対話サーバ３０に向けて発呼を行ったことが特定された場合には、駅名の入力を音声対話によって行うための音声対話処理を実行することに決定する。このようにして、ステップＳ１０６にて音声対話処理の実行内容が決定される。
【００６８】
なお、各無線携帯端末についての履歴情報などをデータベースサーバが管理する構成とされている場合には、ステップＳ１０６にて、音声対話サーバ３０がデータベースサーバにアクセスすることで、無線携帯端末２０を用いてどのようなサービスを音声によって受けようとしていたかを確認するようにすればよい。
【００６９】
音声対話処理の実行内容を決定すると、音声対話サーバ３０の音声対話制御部３２は、決定した内容の音声対話処理を実行する。図４は、音声対話処理でやり取りされる対話内容の例を示す説明図である。図５は、音声対話サーバ３０が実行する音声対話処理の例を示すフローチャートである。
【００７０】
ここでは、音声対話サーバ３０と、無線携帯端末２０を使用するユーザとの間で、図４に示す内容の音声対話がなされるものとして説明する。音声対話処理において、音声対話制御部３２は、先ず、音声ガイダンス生成部３５にガイダンスを発声するための音声ファイルを生成させ、図４に示すような「駅名を発声してください。」との音声ガイダンスを出力させるための音声データを、一般公衆回線網６０を介して無線携帯端末２０に向けて出力する（ステップＳ２０１）。無線携帯端末２０は、受信した音声データにもとづいて、自己が備えるスピーカから「駅名を発声してください。」との音声を出力する。
【００７１】
次いで、「駅名を発声してください。」という音声ガイダンスに従ってユーザによって発声された音声を示す音声データが、無線携帯端末２０から一般公衆回線網６０を介して入力すると、音声対話制御部３２は、音声認識部３４を制御して、入力した音声データにもとづく音声認識処理を実行させる（ステップＳ２０２）。ステップＳ２０２では、音声認識部３４によって、駅名を示す音声を音声認識するためにあらかじめ作成されて音声対話情報記憶部３３に記憶されている辞書データである「駅名．ｄｉｃ」を用いて音声認識処理が実行される。ステップＳ２０２の音声認識処理にて辞書データ「駅名．ｄｉｃ」を使用することは、音声対話処理を実行する際に使用される音声対話処理プログラム内に表記されている。この例では、ステップＳ２０２にて、入力した音声データが「新宿」を示すものであるという音声認識結果が得られる。すなわち、音声認識結果を示す音声認識結果データとして、「新宿」を示す文字列データが得られる。本例では、音声対話制御部３２は、ステップＳ２０２にて取得した音声認識結果データを、音声対話結果を示す音声対話結果として仮決定する（ステップＳ２０３）。なお、仮決定された音声対話結果データは、音声対話情報記憶部３３に設けられている仮決定データ格納領域に格納される。
【００７２】
また、音声認識結果が得られると、音声対話制御部３２は、音声認識結果が適正なものかどうかを確認するなどのために、音声ガイダンス生成部３５に入力確認のためのガイダンスを発声するための音声ファイルを生成させ、ここでは「新宿でよろしいですか」との音声ガイダンスを出力させるための音声データを、一般公衆回線網６０を介して無線携帯端末２０に向けて出力する（ステップＳ２０４）。無線携帯端末２０は、受信した音声データにもとづいて、自己が備えるスピーカから「新宿でよろしいですか」との音声を出力する。
【００７３】
次いで、「新宿でよろしいですか」という音声ガイダンスに従ってユーザによって発声された音声を示す音声データが、無線携帯端末２０から一般公衆回線網６０を介して入力すると、音声対話制御部３２は、音声認識部３４を制御して、入力した音声データにもとづく音声認識処理を実行させる（ステップＳ２０５）。ステップＳ２０５では、「はい」、「いいえ」、「ＹＥＳ」、「ＮＯ」などの応答を示す音声を音声認識するためにあらかじめ作成されて音声対話情報記憶部３３に記憶されている辞書データである「ｙｅｓｎｏ．ｄｉｃ」を用いて音声認識処理が実行される。ステップＳ２０５の音声認識処理にて辞書データ「ｙｅｓｎｏ．ｄｉｃ」を使用することは、音声対話処理を実行する際に使用される音声対話処理プログラム内に表記されている。この例では、ステップＳ２０５にて、入力した音声データが「はい」を示すものであるという音声認識結果が得られる。すなわち、音声認識結果を示す音声認識結果データとして、「はい」を示す文字列データが得られる。
【００７４】
「はい」などの肯定的な回答を示す文字列データが得られた場合には（ステップＳ２０６）、音声対話制御部３２は、ステップＳ２０３にて仮決定データ格納領域に格納されている仮決定状態の音声対話結果データを、音声対話結果データとして確定させる。そして、音声対話制御部３２は、インターネット通信部３６を制御して、確定した音声対話結果データと、無線携帯端末２０の電話番号データとを、インターネット５０を介してコンテンツサーバ４０に向けて出力する（ステップＳ２０７、ステップＳ１０７）。なお、ステップＳ２０６にて「いいえ」などの否定的な回答を示す文字列データが得られていた場合には、ステップＳ２０１以降の処理を再度実行する。
【００７５】
音声対話結果データを送信すると、音声対話制御部３２は、音声対話処理を終了することを報知するために、音声ガイダンス生成部３５に処理の終了を報知するためのガイダンスを発声するための音声ファイルを生成させ、「了解しました。終了いたします。」との音声ガイダンスを出力させるための音声データを、インターネット通信部３６を制御して一般公衆回線網６０を介して無線携帯端末２０に向けて出力させる（ステップＳ２０８）。無線携帯端末２０は、受信した音声データにもとづいて、自己が備えるスピーカから「了解しました。終了いたします。」との音声を出力する。そして、音声対話サーバ３０は、通信回線を切断して通話状態を終了させ、音声対話処理を終了させる。
【００７６】
ステップＳ１０７にて送信された音声対話処理結果データおよび電話番号データを受信すると、コンテンツサーバ４０は、コンテンツ情報記憶部４３に格納されている受信した電話番号データと同一の電話番号データに対応付けして、受信した音声対話結果データを保存する（ステップＳ１０８）。
【００７７】
音声対話処理が終了すると、無線携帯端末２０の通話機能は、ブラウザ機能を呼び出す（ステップＳ１０９）。呼び出された無線携帯端末２０のブラウザ機能は、コンテンツサーバ４０に対して、無線携帯端末２０の表示装置に表示されている表示情報の更新を要求する（ステップＳ１１０）。コンテンツサーバ４０は、更新要求に応じて、無線携帯端末２０についての電話番号データに対応付けされている音声対話結果データをコンテンツ情報記憶部４３から読み出して、音声対話処理の結果を反映させたＷｅｂページデータを作成する（ステップＳ１１１）。そして、音声対話処理の結果を反映させたＷｅｂページデータを送信する（ステップＳ１１２）。
【００７８】
Ｗｅｂページデータを受信すると、無線携帯端末２０のブラウザ機能によって、受信したＷｅｂページデータにもとづくＷｅｂページが表示される（ステップＳ１１３）。Ｗｅｂページの更新後の表示内容は、例えば図６に示すように、音声対話処理によって入力された情報の内容が反映された状態となっている。すなわち、図６には、音声対話処理にて音声入力された「新宿」なる駅名が、入力領域７２に文字入力された更新後のＷｅｂページの表示状態が示されている。なお、この状態で検索指示選択領域７４が押下されると、コンテンツサーバ４０にて「新宿」駅についての情報検索が実行される。
【００７９】
上述したように、音声対話サーバ３０が、音声対話処理の終了を報知するための処理を実行する前に、音声対話結果データをコンテンツサーバ４０に向けて送信する構成としたことで、音声対話結果データをコンテンツサーバ４０に送る通信処理を早期に開始することができる。よって、インターネット５０上のパケット通信におけるトラフィック（伝送されているデータ量）が多く通信回線が混雑していてデータ伝送時間が長くなってしまうようなときであっても、コンテンツサーバ４０での音声対話結果データの受信を早期に完了させることができる。従って、音声対話処理の終了後に無線携帯端末２０のブラウザ機能によって表示情報の更新要求がなされるときまでに、コンテンツサーバ４０での音声対話結果データの受信処理が完了した状態とすることができる。
【００８０】
音声対話処理の終了を報知するための処理（ステップＳ２０８）は、相当の期間（本例であれば３〜４秒程度の期間）を要するので、その間に、コンテンツサーバ４０での音声対話結果データの受信処理が完了した状態とすることができるのである。従って、音声対話処理の終了後直ちに無線携帯端末に表示されているＷｅｂページを更新させ、音声入力の結果を表示に反映させることができるようになる。
【００８１】
次に、音声対話処理の実行中に一般公衆回線網６０の通信回線が切断された場合の処理について説明する。ここでは、音声対話サーバ３０と無線携帯端末２０を使用するユーザとの間で図７に示す内容の音声対話がなされるものとして説明する。すなわち、音声認識結果の確認などのためになされるガイダンスの出力中に通信回線が切断された場合を例に説明する。
【００８２】
図８は、音声対話サーバ３０が実行する回線監視処理の例を示すフローチャートである。図９は、音声対話処理において、音声対話処理の実行中に一般公衆回線網６０の音声対話処理に用いられている通信回線が切断された場合の例を示すフローチャートである。
【００８３】
回線監視処理は、例えば、音声対話処理が開始されたときに開始する。回線監視処理において、音声対話サーバ３０の音声通信情報検出部３１は、音声対話処理にて使用している通信回線の接続状態を監視する（ステップＳ３０１）。監視している通信回線が使用状態から切断された状態に変化したことを検出すると（ステップＳ３０１のＹ）、音声通信情報検出部３１は、通信回線が使用状態から切断状態に変化したことを示す回線切断検出信号を音声対話制御部３２に対して出力する。
【００８４】
通信回線の切断は、この例では、無線携帯端末２０を携帯しているユーザが電車などの移動体に乗っていてトンネルなどの無線通信インフラが整備されていない場所に移動したときなどに発生する電波障害が起きたとき、無線携帯端末２０のユーザが自発的に通信回線を切断する操作を行ったとき、あるいは音声対話処理が終了したときに検出される。
【００８５】
回線切断検出信号を受信すると、音声対話制御部３２は、音声対話情報記憶部３３の仮決定データ格納領域に未送信の音声対話結果データが格納されていた場合には（ステップＳ３０２のＹ）、その音声対話結果データをコンテンツサーバ４０に向けて出力するとともに、無線携帯端末２０の電話番号データもコンテンツサーバ４０に向けて出力する（ステップＳ３０３）。すなわち、ユーザからの入力情報として仮決定されている音声対話結果データを、音声対話結果データとして確定させ、確定させた音声対話結果データを送信する。
【００８６】
従って、音声対話処理にて、音声認識結果データが音声対話結果データとして仮決定されたあと、その音声対話結果データとすることに確定されてコンテンツサーバ４０に送信される前に、通信回線が切断されて音声対話処理が中途終了した場合には、仮決定状態の音声対話結果データを今後使用する音声対話結果データとすることに確定され、確定させた音声対話結果データがコンテンツサーバ４０に出力される。すなわち、この例では、図５に示した音声対話処理にて、ステップＳ２０３を終えたあとステップＳ２０７を終える前に通信回線が切断され場合には、音声対話処理が完了していなくても、音声対話結果データが出力される。
【００８７】
例えば、図９に示すように、音声対話処理において、音声対話制御部３２が「新宿でよろしいですか」との音声ガイダンスを出力させるための音声データの出力処理を行っている途中で（ステップＳ２０４参照）通信回線が切断した場合には、音声対話制御部３２によって、音声対話情報記憶部３３の仮決定データ格納領域に格納されている「新宿」を示す仮決定状態の音声対話結果データを用いて今後を制御を行うことが確定され、確定した音声対話結果データとして無線携帯端末２０の電話番号データとともにコンテンツサーバ４０に向けて出力される（ステップＳ１０７ａ）。
【００８８】
上述したように、音声対話処理に用いられている通信回線の接続状態を監視し、その通信回線が切断したときに仮決定状態の音声対話結果データが存在していた場合に、その仮決定状態の音声対話結果データを使用して今後の処理を実行することに確定させ、確定させた音声対話結果データをコンテンツサーバ４０に向けて出力する構成としたので、音声対話処理が中途終了した場合であっても音声対話結果データを出力することができる。
【００８９】
よって、電波障害によって音声対話処理が継続できなくなってしまったときであっても、音声認識処理が行われて音声対話結果データが仮決定されていれば、無線携帯端末２０の表示画面に音声入力された情報の内容を反映させることができるようになる。従って、ユーザは、再度の音声対話処理を行う必要がなくなる。
【００９０】
また、音声対話結果データを仮決定したあと、例えば音声認識結果の確認のためのガイダンスの報知を終える前に、ユーザによって通信回線が切断された場合であっても、音声対話結果データを出力することができる。従って、ユーザは、音声入力により駅名を入力したあと、音声認識結果の確認のためのガイダンスを聞くことなく通信回線を自発的に切断するようにすれば、確認依頼に対する応答（「はい」、「いいえ」などの応答）を行う必要がなく、無線携帯端末２０の表示画面に音声入力した情報の内容を迅速に反映させることができるようになる。よって、ユーザにとっては、情報入力などを行うための音声対話処理を短時間で終了させることができる。
【００９１】
なお、上述した実施の形態では、駅名という１つの情報を得るために音声対話処理が実行されていたが、複数の情報（例えば、住所、氏名などの情報）を得るための音声対話処理が実行されるようにしてもよい。この場合、例えば、複数の音声対話結果データを取得して確定させるための音声対話を実行したあと、コンテンツサーバ４０に確定した複数の音声対話結果データをまとめて送信し、その後に音声対話処理の終了を示すガイダンスを行うようにすればよい。複数の音声対話結果データがまとめて送信されてきた場合には、コンテンツサーバ４０は、複数の音声対話結果データのそれぞれが反映されたＷｅｂページデータを作成して無線携帯端末２０に送信するようにすればよい。
【００９２】
複数の情報を得るための音声対話処理が実行される場合、音声対話結果データに確定するための処理（確認処理）は、複数の仮決定状態の音声対話結果データの全てを取得したあとにその全てについてまとめて行うようにしてもよく、複数の仮決定状態の音声対話結果データの所定の一単位（例えば３つを一単位とする場合には３つ分）が取得される毎にその一単位についてまとめて行うようにしてもよく、仮決定状態の音声対話結果データが取得される毎に順次行うようにしてもよい。また、上記のように、複数の情報を得るための音声対話処理が実行される場合には、複数の情報の一部についての音声入力が終了している状態で通信回線が切断して音声対話処理が中途終了した場合に、音声認識結果が得られている一部の情報については確定した音声対話結果データとしてコンテンツサーバ４０に送信され、無線携帯端末２０の表示情報に反映されるようにすればよい。そして、その後の音声対話処理において、無線携帯端末２０の表示情報に反映されていない情報についてのみ、音声入力するための処理が実行されるようにすればよい。
【００９３】
また、複数の情報（例えば、住所、氏名などの情報）を得るための音声対話処理が実行する場合に、音声認識結果の確認処理を行うことなく、取得した音声認識結果データをそのまま音声対話結果データとして確定させ、コンテンツサーバ４０に順次送信する構成としてもよい。この場合、例えば図１０に示すように、音声認識結果が得られる毎に、音声対話結果データがコンテンツサーバ４０に向けて送信される（ステップＳ１０７ａ、ステップＳ１０７ｂ）。コンテンツサーバ４０は、音声対話結果データを受信する毎に上述したステップＳ１０８と同様にして保存する（ステップＳ１０８ａ、ステップＳ１０８ｂ）。このように構成すれば、コンテンツサーバ４０が早期に音声対話結果データを受信しておくことができ、音声対話処理の完了後直ちにＷｅｂページデータを更新するための処理を実行することができるようになる。なお、コンテンツサーバ４０が、音声対話結果データを受信する毎に、音声対話結果データを反映させたＷｅｂページデータを作成して無線携帯端末２０に送信する構成としてもよい。この場合、無線携帯端末２０は、音声対話処理中に音声入力を終える毎にブラウザ機能を呼び出して表示しているＷｅｂページを更新し、通話機能を呼び出して音声対話処理の続きを実行するようにすればよい。
【００９４】
また、上述した実施の形態では、無線携帯端末２０が携帯電話端末であるものとして説明していたが、ブラウザ機能と通話機能とをともに備えるものであれば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）やパーソナルコンピュータなどの他の端末装置であってもよい。また、無線通信を行う無線携帯端末２０を例にしたが、有線による通信を行う端末であっても本発明を適用することができる。
【００９５】
また、上述した実施の形態では、データ通信をインターネット５０を利用して行う構成としていたが、ＬＡＮなどの他の通信ネットワークによって行う構成とされていてもよい。また、データ通信をパケット通信によって行う構成としていたが、他の通信方法であってもよい。
【００９６】
また、上述した実施の形態において、音声対話サーバ３０とコンテンツサーバ４０とが一つのサーバ（連携サーバ、センタ）として運営されていてもよい。この場合、音声対話サーバ３０とコンテンツサーバ４０とが専用回線などによって接続されるようにしてもよい。
【００９７】
また、上述した実施の形態では、表示画面の情報入力を音声対話処理によって行う構成としていたが、電話の着信音として再生される着信メロディなどの表示されない情報を提供するために音声対話処理を実行する構成としてもよい。この場合、音声対話処理によってユーザが音声入力した情報によって特定されるタイトルの着信メロディを無線携帯端末２０に提供するようにすればよい。
【００９８】
また、上述した実施の形態では、コンテンツサーバ４０が、無線携帯端末２０からのＷｅｂページ取得要求（ステップＳ１１０のＷｅｂページ更新要求）に応じて、音声対話結果データを取得して（ステップＳ１１１）、音声対話結果データが示す音声対話結果を反映させたＷｅｂページデータを送信する構成（ステップＳ１１２）としていたが、音声対話結果データを保存したあと（ステップＳ１０８）に、無線携帯端末２０からのＷｅｂページ取得要求の有無に関わらず、音声対話結果データが示す音声対話結果を反映させたＷｅｂページデータを無線携帯端末２０に送信する構成としてもよい。このように構成すれば、Ｗｅｂページ取得要求を無線携帯端末２０に行わせることなく、音声対話処理の結果を、Ｗｅｂページに反映させることができる。
【００９９】
また、上述した各実施の形態では、Ｗｅｂページデータを生成するための表示用言語として、携帯電話端末のブラウザでＷｅｂページの表示などを行うために広く用いられているＣ−ＨＴＭＬ（Ｃｏｍｐａｃｔ ＨＴＭＬ）を例にしていたが、ＨＴＭＬ、ＨＤＭＬ（Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＷＭＬ（Ｗｉｒｅｌｅｓｓ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などの他のマークアップ言語を用いるようにしてもよい。
【０１００】
さらに、上述した各実施の形態では、音声対話サーバ３０と無線携帯端末２０とが一般公衆回線網６０に接続され、一般公衆回線網６０を介して音声通話を行う構成としていたが、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のＩＰネットワークに接続して音声通信を行う構成としてもよい。また、上述した各実施の形態では、音声対話処理が音声によって行われる構成としていたが、無線携帯端末２０を管理するユーザがＤＴＭＦ（Ｄｕａｌ Ｔｏｎｅ Ｍｕｌｔｉ Ｆｒｅｑｕｅｎｃｙ）信号によって音声入力を行い、音声対話サーバ３０が音声認識処理にて取得したＤＴＭＦ信号に対応するキーを表す文字を取得するようにしてもよい。
【０１０１】
さらに、上述した各実施の形態では、音声対話サーバ３０は、上述した各種の処理を実行するための音声対話処理プログラムにもとづいて動作を行っている。例えば、この音声対話処理プログラムは、音声対話サーバ３０に、無線携帯端末２０から通信ネットワーク６０を介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、無線携帯端末２０との間で通信ネットワーク６０を利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバ４０に送信することで、コンテンツサーバ４０に対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを実行させ、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定させる処理を実行させるプログラムである。なお、コンテンツサーバ４０も、上述した各種の処理を実行するためのデータ処理プログラムにもとづいて動作を行っている。
【０１０２】
【発明の効果】
以上のように、本発明の端末通信システムによれば、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声通話の回線情報を監視し音声通話の中断を検出する回線情報検出部と、音声通話による音声対話終了時もしくは回線情報検出部にて音声通話の中断が検出されたときに、音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報をパケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とするので、音声通話が中断して音声対話処理が中途終了していまっても、音声対話結果データとしての音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報を、端末装置に提供することができるようになる。
【０１０３】
また、本発明の端末通信システムによれば、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報が得られる毎に、パケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とするので、音声対話結果データとしての音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報が得られる毎に、音声対話の終了を示す報知が行われる前に、迅速に端末装置に提供することができる。
【０１０４】
また、本発明の端末通信システムによれば、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声通話の回線情報を監視し前記音声通話の中断を検出する回線情報検出部と、音声認識部にて得られる認識結果もしくは当該認識結果にもとづく情報の所定の一単位が得られた時点で、パケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とするので、音声対話の終了を示す報知を行う前に、音声対話結果データとしての音声認識部にて得られた複数の認識結果もしくは当該認識結果にもとづく複数の情報を端末装置に提供することができるようになる。
【０１０５】
また、本発明の端末通信システムによれば、連携サーバは、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【０１０６】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されている場合には、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。
【０１０７】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされている場合には、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができる。
【０１０８】
また、本発明の端末通信システムによれば、連携サーバが、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、音声認識処理部によって音声認識結果情報が得られる毎に、音声認識結果情報を確定音声対話結果情報とすることに決定し、連携結果情報提供部は、確定音声対話結果情報とすることが決定される毎に、当該確定音声対話結果情報にもとづく連携結果情報を端末装置に提供することを特徴とするので、音声対話処理の終了を示す報知を行う前に、確定音声対話結果情報とすることが決定される毎に迅速に連携結果情報を端末装置に提供することができる。
【０１０９】
連携サーバが、端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行う音声対話サーバと、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバとを含み、音声対話サーバとコンテンツサーバを用いて確定音声対話結果情報にもとづく連携結果情報を端末装置に提供するように構成されている場合には、音声対話処理などを実行するサーバとＷｅｂページを用いた情報の提供などを実行するサーバとが別個に備えられているシステムにおいて、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【０１１０】
端末装置と連携サーバとで行われるデータ通信は、パケット通信により行われるように構成されている場合には、音声対話処理の終了を示す報知を行う前にパケット通信によって音声対話結果情報が送信されるので、パケット通信が行われる通信ネットワークが混雑していても、遅延することなく連携結果情報を端末装置に提供することができる。
【０１１１】
連携結果情報が、確定音声対話結果情報が反映されたＷｅｂページデータ、または確定音声対話結果情報にもとづいて選択された選択データである構成とされている場合には、確定音声対話結果情報が反映されたＷｅｂページデータにもとづくＷｅｂページを端末装置に表示させることができ、あるいは確定音声対話結果情報にもとづいて選択された選択データを端末装置に提供することができる。
【０１１２】
また、本発明の連携サーバによれば、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【０１１３】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されている場合には、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。
【０１１４】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされている場合には、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができる。
【０１１５】
また、本発明の音声対話サーバによれば、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行う確定音声対話結果情報送信部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【０１１６】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されている場合には、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができるようになる。
【０１１７】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされている場合には、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【０１１８】
また、本発明の音声対話処理方法によれば、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを含み、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【０１１９】
さらに、本発明の音声対話処理プログラムによれば、コンピュータに、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを実行させ、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定させることを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【図面の簡単な説明】
【図１】本発明の端末通信システムの一実施の形態における無線携帯端末システムの構成の例を示すブロック図である。
【図２】表示・音声連携処理および処理タイミングの一例を示すタイミングチャートである。
【図３】Ｗｅｂページの表示状態の例を示す説明図である。
【図４】音声対話の内容の例を示す説明図である。
【図５】音声対話処理の例を示すフローチャートである。
【図６】更新後のＷｅｂページの表示状態の例を示す説明図である。
【図７】音声対話の内容の他の例を示す説明図である。
【図８】回線監視処理の例を示すフローチャートである。
【図９】表示・音声連携処理および処理タイミングの他の例を示すタイミングチャートである。
【図１０】表示・音声連携処理および処理タイミングのさらに他の例を示すタイミングチャートである。
【符号の説明】
１０ 無線携帯端末システム
２０ 無線携帯端末
３０ 音声対話サーバ
３１ 音声通信情報検出部
３２ 音声対話制御部
３３ 音声対話情報記憶部
３４ 音声認識部
３５ 音声ガイダンス生成部
３６ インターネット通信部
４０ コンテンツサーバ
４１ インターネット通信部
４２ コンテンツ制御部
４３ コンテンツ情報記憶部
５０ インターネット
６０ 一般公衆回線網
【発明の属する技術分野】
本発明は、例えば、音声対話処理によって入力された情報を、Ｗｅｂページの表示内容に早期に反映させることができるとともに、音声対話処理に用いられていた通信回線が切断された場合であってもＷｅｂページの表示内容に反映させることができる端末通信システム、連携サーバ、音声対話サーバ、音声対話処理方法、および音声対話処理プログラムに関する。
【０００２】
【従来の技術】
従来から、インターネットなどのデータ通信ネットワークに接続されているＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバによるＷｅｂページの表示を利用した表示サービスと、一般公衆電話回線網などの音通信ネットワークに接続されている音声対話サーバによる音声対話機能を用いた音声サービスとを連携させたシステムが利用されている。
【０００３】
表示サービスと音声サービスとを連携させたシステムには、例えば特開２００２−２６８２４１に開示されている無線携帯端末通信システムがある。この無線携帯端末通信システムは、ブラウザ機能および通話機能を備えた携帯電話端末と、表示サービスを実行するコンテンツサーバと音声サービスを実行する音声対話サーバとを含むセンタとで構成される。この無線携帯端末通信システムによれば、センタは、コンテンツサーバによる表示サービスによって携帯電話端末が備える表示装置に表示されている情報入力領域への情報入力を、音声対話処理による音声入力によって受け付ける連携サービスを提供している。具体的には、音声対話処理にて入力した音声情報にもとづく文字列情報を音声認識処理によって取得し、携帯電話端末が備える表示装置に表示されている情報入力領域に、音声認識結果を示す文字列情報にもとづく表示を行うための処理が実行される。
【０００４】
【発明が解決しようとする課題】
音声対話処理における音声認識処理では、携帯電話端末のユーザの発声方法に癖があったりすることから、携帯電話端末から入力した音や音声がユーザが意図する内容として常に正確に認識されているとは限らない。このため、一般に、音声対話処理では、音声認識結果を示す音声を発声するための処理を行うなどすることで、音声認識結果が適正であるか否かを携帯電話端末のユーザに対して問い合わせるための確認処理が実行される。この確認処理が実行されると、確認処理によってユーザから適正であることの確認がとれた音声認識結果を示す文字列情報が、音声対話結果情報として取り扱うことに確定され、確定された音声対話結果情報が音声対話サーバからコンテンツサーバに送信される。そして、コンテンツサーバは、受信した音声対話結果情報にもとづく連携情報を生成し、携帯電話端末に送信する。すると、携帯電話端末の表示装置の表示画面に、連携情報にもとづいて、ユーザによって発声された音声の内容が反映された表示がなされるようになる。
【０００５】
ところが、音声対話処理における確認処理が完了する前に、例えば携帯電話端末を携帯しているユーザが音声対話処理中に電波の届かない場所に移動してしまった場合などの何らかの原因によって、音声対話処理に用いられていた通信回線が切断してしまい、音声認識結果を示す文字列情報が音声対話結果情報に確定される前に音声対話処理が中途終了してしまった場合には、未確定の音声対話結果情報は破棄され、その後の情報入力領域への表示などの処理がなされない。このように、ユーザが音声入力を行ったあとであっても、確認処理が終了する前に音声対話処理が中途終了してしまった場合には、ユーザによって発声された音声が情報入力領域の入力情報として反映されず、音声対話処理を最初からやり直さなければならない。上記のように、音声対話処理が完了する前に音声対話処理に用いられていた通信回線が切断してしまうと、既に音声入力された情報があっても、その情報が反映されることなく音声対話処理が中途終了してしまうという問題があった。
【０００６】
また、音声対話処理が完了したあと、確定された音声対話結果情報が音声対話サーバからコンテンツサーバに送信されるが、データ通信ネットワーク上で多くのデータが伝送され通信回線が混雑している場合には、音声対話結果情報の伝送期間が長くなってしまい、音声対話結果情報がコンテンツサーバに取得される時期が遅延することになってしまう。コンテンツサーバが音声対話結果情報を取得する時期が遅れると、携帯電話端末の表示装置の表示画面に連携情報にもとづく表示を行うことができる時期が遅延してしまうので、音通信を終えたあと直ぐに音声対話処理結果を反映させた表示を行うことができない。このように、音声対話処理が完了したあと直ぐに音声対話処理結果を反映させた表示を行うことができず、迅速に音声対話処理の結果を携帯電話端末の表示内容などに反映させることができないという問題があった。
【０００７】
本発明は上述した問題を解消し、音声対話処理の処理結果をより早期に表示内容などに反映させることができるようにするとともに、音声対話処理が完了していなくても音声対話処理にて音声入力された情報を表示内容などに反映させることができるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
上記の問題を解決するために、本発明の端末通信システムは、音声通信機能およびパケット通信機能を有する端末装置（例えば無線携帯端末２０）と、端末装置との間で音声通話を行う音声制御部（例えば音声対話制御部３２）と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部（例えば音声認識部３４）と、音声通話の回線情報を監視し音声通話の中断を検出する回線情報検出部（例えば音声通信情報検出部３１）と、音声通話による音声対話終了時もしくは回線情報検出部にて音声通話（例えば音声対話処理）の中断が検出されたときに、音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報（例えば音声対話結果データ）をパケット通信により端末装置に送信するパケット制御部（例えばコンテンツ制御部４２）とを有するセンタとを備えたことを特徴とする。
【０００９】
上記の構成としたことで、音声通話が中断して音声対話処理が中途終了していまっても、音声対話結果データとしての音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報を、端末装置に提供することができるようになる。
【００１０】
また、本発明の端末通信システムは、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報が得られる毎に、パケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とする。
【００１１】
上記の構成としたことで、音声対話結果データとしての音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報が得られる毎に、音声対話の終了を示す報知が行われる前に、迅速に端末装置に提供することができる。
【００１２】
また、本発明の端末通信システムは、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声通話の回線情報を監視し前記音声通話の中断を検出する回線情報検出部と、音声認識部にて得られる認識結果もしくは当該認識結果にもとづく情報の所定の一単位が得られた時点で、パケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とする。
【００１３】
上記の構成としたことで、音声対話の終了を示す報知を行う前に、音声対話結果データとしての音声認識部にて得られた複数の認識結果もしくは当該認識結果にもとづく複数の情報を端末装置に提供することができるようになる。
【００１４】
また、本発明の端末通信システム（例えば無線携帯端末システム１０）は、通話機能およびデータ通信機能を有する端末装置（例えば無線携帯端末２０）と、端末装置との間で通信ネットワーク（例えば一般公衆回線網）を介して音声対話処理を行うとともに音声対話処理の結果にもとづく連携結果情報を通信ネットワーク（例えばインターネット５０）を介して端末装置に提供する連携サーバ（例えば音声対話サーバ３０およびコンテンツサーバ４０を含むセンタ）とを備えた端末通信システムであって、連携サーバは、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部（例えば音声認識部３４）と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部（例えば音声対話制御部３２）と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部（例えば音声通信情報検出部３１）と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報（例えば、音声認識結果が適正であることの確認が取られたことによって、今後の処理に使用されることが確定された音声対話結果データ）にもとづく連携結果情報（例えば、音声対話結果データ自体の他、音声対話結果データにもとづいて生成された情報、音声対話結果データにもとづいて抽出された情報など、音声対話結果データにもとづく情報を含む）を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部（例えばコンテンツ制御部４２およびインターネット通信部４１）とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報（例えば仮決定状態の音声対話結果データ）を確定音声対話結果情報とすることに決定することを特徴とする。
【００１５】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【００１６】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されていてもよい。
【００１７】
上記の構成としたことで、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。
【００１８】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされていてもよい。
【００１９】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができる。
【００２０】
また、本発明の端末通信システムは、通話機能およびデータ通信機能を有する端末装置と、端末装置との間で通信ネットワークを介して音声対話処理を行うとともに音声対話処理の結果にもとづく連携結果情報を通信ネットワークを介して端末装置に提供する連携サーバとを備えた端末通信システムであって、連携サーバは、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、音声認識処理部によって音声認識結果情報が得られる毎に、音声認識結果情報を確定音声対話結果情報とすることに決定し、連携結果情報提供部は、確定音声対話結果情報とすることが決定される毎に、当該確定音声対話結果情報にもとづく連携結果情報を端末装置に提供することを特徴とするものである。
【００２１】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前に、確定音声対話結果情報とすることが決定される毎に迅速に連携結果情報を端末装置に提供することができる。
【００２２】
連携サーバが、端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行う音声対話サーバと、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバとを含み、音声対話サーバとコンテンツサーバを用いて確定音声対話結果情報にもとづく連携結果情報を端末装置に提供するように構成されていてもよい。
【００２３】
上記の構成としたことで、音声対話処理などを実行するサーバとＷｅｂページを用いた情報の提供などを実行するサーバとが別個に備えられているシステムにおいて、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【００２４】
端末装置と連携サーバとで行われるデータ通信は、パケット通信により行われるように構成されていてもよい。
【００２５】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前にパケット通信によって音声対話結果情報が送信されるので、パケット通信が行われる通信ネットワークが混雑していても、遅延することなく連携結果情報を端末装置に提供することができる。
【００２６】
連携結果情報は、確定音声対話結果情報が反映されたＷｅｂページデータ、または確定音声対話結果情報にもとづいて選択された選択データである構成とされていてもよい。
【００２７】
上記の構成としたことで、確定音声対話結果情報が反映されたＷｅｂページデータにもとづくＷｅｂページを端末装置に表示させることができる。また、確定音声対話結果情報にもとづいて選択された選択データ（例えば着信時に着信音として再生される着信メロディなどの表示されないデータ）を端末装置に提供することができる。
【００２８】
また、本発明の連携サーバは、通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音声対話処理を行うとともに音声対話処理の結果にもとづく連携結果情報を通信ネットワークを介して端末装置に提供する連携サーバであって、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするものである。
【００２９】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【００３０】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されていてもよい。
【００３１】
上記の構成としたことで、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。
【００３２】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされていてもよい。
【００３３】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができる。
【００３４】
また、本発明の音声対話サーバは、通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行うとともに、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバに対して音声対話処理の結果にもとづく連携結果情報を端末装置に提供することを依頼する音声対話サーバであって、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行う確定音声対話結果情報送信部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするものである。
【００３５】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【００３６】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されていてもよい。
【００３７】
上記の構成としたことで、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができるようになる。
【００３８】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされていてもよい。
【００３９】
上記の構成としたことで、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【００４０】
また、本発明の音声対話処理方法は、通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行うとともに、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバに対して音声対話処理の結果にもとづく連携結果情報を端末装置に提供することを依頼するための音声対話処理方法であって、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを含み、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするものである。
【００４１】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【００４２】
さらに、本発明の音声対話処理プログラムは、通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行うとともに、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバに対して音声対話処理の結果にもとづく連携結果情報を端末装置に提供することを依頼するための音声対話処理プログラムであって、コンピュータに、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを実行させ、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定させることを特徴とするものである。
【００４３】
上記の構成としたことで、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【００４４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の一実施形態である端末通信システム１０の構成の例を示すブロック図である。端末通信システム１０は、無線携帯端末２０と、音声対話サーバ３０と、コンテンツサーバ４０とを含む。無線携帯端末２０は、無線基地局５１を介してインターネット５０に接続され、無線基地局６１を介して一般公衆回線網６０に接続される。また、音声対話サーバ３０およびコンテンツサーバ４０は、それぞれ、インターネット５０に接続される。さらに、音声対話サーバ３０は、一般公衆回線網６０に接続される。なお、以下の説明において、インターネット５０と一般公衆回線網６０とを含めて通信ネットワークということがある。
【００４５】
無線携帯端末２０は、例えばＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）規格に準拠したディジタル携帯電話などの携帯電話端末によって構成される。無線携帯端末２０は、一般公衆回線網６０を介して接続先との間で音声通話を行うための通話機能を有するとともに、自己が備える例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示装置にＷｅｂページを表示したり、自己が備える入力装置を用いてＷｅｂページ上で文字入力や情報選択を行うためのブラウザ機能とを有している。無線携帯端末が有する２０ブラウザ機能には、インターネット５０上にＷｅｂサイトを開設しているＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）サーバとの間で各種のデータを送受するデータ通信機能が含まれるものとする。なお、本例では、無線携帯端末が有するデータ通信機能によって、パケット通信によるデータ通信が実行される。無線携帯端末２０は、インターネット５０への接続や、インターネット５０を利用した情報の送受などを行うことができる環境（例えばブラウザなどのソフトウェアや、ハードウェアなどにおける環境）を備えている。
【００４６】
音声対話サーバ３０は、音声通信情報検出部３１と、音声対話制御部３２と、音声対話情報記憶部３３と、音声認識部３４と、音声ガイダンス生成部３５と、インターネット通信部３６とを含み、一般公衆回線網６０を介して入力した音データが示す音や音声を認識する音声認識機能と、発声しようとする言葉を示す文字情報にもとづいて音声合成して音声データの出力を行う音声合成機能とを有する。音声対話サーバ３０は、音声認識機能と音声合成機能とを用いて、音声による情報の伝達や情報の取得を行う音声対話処理を実行する。
【００４７】
音声通信情報検出部３１は、音声対話サーバ３０での音声通話に用いられる通信回線の使用状態を示す回線情報を監視し、通信回線が使用状態から切断された状態に変化したことを検出して、その検出結果を音声対話制御部３２に通知する。具体的には、例えば、音声通信情報検出部３１は、回線情報として通信回線の使用状態を示す信号を監視し、その信号が回線使用状態を示すレベルから回線切断状態を示すレベルに変化したことを検出したときに、通信回線が使用状態から切断状態に変化したことを示す回線切断検出信号を音声対話制御部３２に対して出力する。
【００４８】
音声対話制御部３２は、音声対話サーバ３０内の各部を制御する機能を有する。例えば、音声対話制御部３２は、音声対話情報記憶部３３に記憶されている後述する音声対話処理プログラムに従って、音声認識部３４や音声ガイダンス生成部３５などを制御し、音声認識処理や音声出力処理を実行させることで、音声対話処理を実行させる。また、例えば、音声対話制御部３２は、音声対話処理プログラムに従って、インターネット通信部３６などを制御し、音声対話処理によって得られた音声対話結果データをコンテンツサーバ４０に向けて出力させる。
【００４９】
音声対話情報記憶部３３には、音声対話処理の処理内容を指定した音声対話処理プログラム、音声認識処理や音声合成処理で用いられる辞書データ、音声出力を行う際に使用される音声データが格納された音声ファイルなど、音声対話処理を実行するために用いられる各種の情報があらかじめ記憶される。なお、音声対話処理プログラムは、例えば、ｖｏｉｃｅＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などの音声対話処理の処理内容を指定するための音声対話処理用言語によって作成されたプログラムである。
【００５０】
音声認識部３４は、音声対話制御部３２の指示に従って、一般公衆回線網６０を介して入力した音データが示す音や音声を認識する音声認識処理を実行し、音声認識結果を音声対話制御部３２に対して送信する処理を実行する。
【００５１】
音声ガイダンス生成部３５は、音声対話制御部３２の指示に従って、音声合成機能もしくはあらかじめ用意された音声ファイルなどを用いて、音声対話処理にて発せられるガイダンスなどを示す音声データが含まれた音声ファイルを生成する。また、音声ガイダンス生成部３５は、生成した音声ファイルを音声対話制御部３５に送信する処理を実行する。
【００５２】
インターネット通信部３６は、インターネット５０に向けて情報を送信する処理や、インターネット５０からの情報を受信する処理を実行する。この例では、インターネット通信部３６は、音声対話制御部３２からの音声対話処理の結果を示す音声対話結果データをコンテンツサーバ４０に向けて送信する処理などを実行する。
【００５３】
コンテンツサーバ４０は、インターネット通信部４１と、コンテンツ制御部４２と、コンテンツ情報記憶部４３とを含む。コンテンツサーバ４０は、例えばＷＷＷサーバなどの情報処理装置により構成される。コンテンツサーバ４０は、例えばＣ−ＨＴＭＬ（Ｃｏｍｐａｃｔ ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などのマークアップ言語により作成されたＷｅｂページデータを管理し、Ｗｅｂページデータにもとづいて表示されるＷｅｂページを用いて、各種のコンテンツ（アプリケーションを作成する素材を意味するだけでなく、アプリケーションやサービスを含む概念である）の提供や情報の取得を行う機能を有している。Ｗｅｂページには、例えば、商品の受注を行うためのものや、特定の情報を検索するためのものや、アンケートの回収を行うためのものなどがある。
【００５４】
インターネット通信部４１は、コンテンツ制御部４２の制御に従って、インターネット５０に向けて情報を送信する処理や、インターネット５０からの情報を受信する処理を実行する。
【００５５】
コンテンツ制御部４２は、コンテンツ情報記憶部４３の記憶内容に従って、インターネット上にコンテンツサーバ４０が開設しているＷｅｂサイトの制御を行う。
【００５６】
コンテンツ情報記憶部４３は、各種のＷｅｂページデータなど、コンテンツサーバ４０が開設しているＷｅｂサイトの運営に必要な情報が格納されている。なお、本例では、コンテンツ情報記憶部４３に、本システムにユーザ登録されている各無線携帯端末についてのユーザ登録情報や後述する履歴情報なども格納される。
【００５７】
次に、本例の無線携帯端末システム１０の動作について図面を参照して説明する。図２は、本例の無線携帯端末システム１０における表示・音声連携処理および処理タイミングの一例を示すタイミングチャートである。
【００５８】
本例では、無線携帯端末２０は、本システム１０を管理するシステム管理者に対して、ユーザ登録を済ましているものとする。この例では、システム管理者は、音声対話サーバ３０およびコンテンツサーバ４０の双方を管理し、音声対話サーバ３０とコンテンツサーバ４０とを連携させたサービスを提供する。ユーザ登録の際に、本例では、無線携帯端末の電話番号を示す電話番号データ、無線携帯端末を管理しているユーザ名などの無線携帯端末に関する各種の情報がコンテンツ情報記憶部４３に登録される。
【００５９】
また、本例では、ユーザ登録済の各無線携帯端末について、音声対話サーバ３０やコンテンツサーバ４０からサービスを受けたときのサービス内容を示す履歴情報がコンテンツ情報記憶部４３に登録される。履歴情報は、具体的には、例えば、音声対話サーバ３０との間で実行された音声対話処理の結果を示す音声対話結果情報や、コンテンツサーバ４０から取得したＷｅｂページデータや無線携帯端末による入力情報などの情報である。履歴情報は、該当する無線携帯端末の電話番号を示す電話番号データに対応付けされた状態でコンテンツ情報記憶部４３に格納される。従って、音声対話サーバ３０およびコンテンツサーバ４０は、電話番号データを確認することで、どの無線携帯端末によって、どのＷｅｂページデータが取得されてどのような入力がなされたのかや、どのような音声対話処理結果が得られたのかなどを特定することができる。なお、ユーザ登録の際に登録された情報や履歴情報などが格納されるデータベースは、コンテンツサーバ４０に限らず、例えば音声対話サーバ３０が備えるようにしても、あるいは所定のデータベースサーバが備えることにしてもよく、システム１０内のどこに設置されていてもよい。
【００６０】
表示・音声連携処理において、先ず、無線携帯端末２０は、ユーザの操作に応じて、インターネット５０を介してコンテンツサーバ４０にアクセスする（ステップＳ１０１）。例えば、コンテンツサーバ４０が提供しているＷｅｂページのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を指定することでアクセスする。
【００６１】
無線携帯端末２０からのアクセスがあり、Ｗｅｂページを表示するためのＷｅｂページデータの取得要求があった場合には、コンテンツサーバ４０は、取得要求に応じて、無線携帯端末２０に向けてＷｅｂページデータをインターネット５０を介して送信する（ステップＳ１０２）。なお、この例では、送信されるＷｅｂページデータには、音声対話サーバ３０の電話番号を示す電話番号データが含まれている。
【００６２】
この例では、Ｗｅｂページデータには、音声対話サーバ３０との音声対話によって情報入力を行う処理を選択するための音声対話選択領域をＷｅｂページ上に表示するための音声対話選択領域表示データと、音声対話サーバ３０に向けて発呼するための電話番号を示す電話番号データとが、互いに関連付けされた状態で含まれている。すなわち、音声対話選択領域表示データと電話番号データとが、マークアップ言語によってＷｅｂページデータ内に表記されている。また、Ｗｅｂページデータ内に、マークアップ言語によって、音声対話選択領域表示データが示す音声対話選択領域が選択されると、電話番号データが示す電話番号を用いて発呼を行うように指示する記述がなされている。すなわち、Ｗｅｂページデータに、無線携帯端末２０においてｐｈｏｎｅ−ｔｏ機能（音声対話選択領域が選択されたことに応じて特定の相手に発呼する機能）が実現されるようにするための記述がなされている。
【００６３】
無線携帯端末２０は、Ｗｅｂページデータを受信すると、ブラウザ機能によって、受信したＷｅｂページデータにもとづくＷｅｂページを自己が備える表示装置に表示する（ステップＳ１０３）。
【００６４】
図３は、無線携帯端末２０に表示されるＷｅｂページの表示状態の例を示す説明図である。ここでは、コンテンツサーバ４０が、電車の駅に関する各種の情報（例えば、その駅の時刻表、駅周辺の地図や案内、駅構内の地図や案内など）を紹介するサービスを提供している場合を例に説明する。図３には、電車の駅に関する各種の情報を取得するためのＷｅｂページの表示状態の例が示されている。図３に示すように、Ｗｅｂページには、ガイダンスを表示するガイダンス表示領域７１と、駅名を入力するための入力領域７２と、音声対話によって情報入力を行うときに選択される音声対話選択領域７３と、入力領域７２に入力された駅についての情報検索を指示するときに選択される検索指示選択領域７４とが設けられている。
【００６５】
無線携帯端末２０の操作によってユーザによりＷｅｂページにおいて音声対話選択領域７３が選択されると、無線携帯端末２０のブラウザ機能は、通話機能を呼び出し（ステップＳ１０４）、音声対話選択領域７３を表示させるための音声対話選択領域表示データに関連付けされている電話番号データが示す電話番号を用いて発呼することを指示する。呼び出された通話機能は、ブラウザ機能からの指示に従って、Ｗｅｂページデータ内に設定されている電話番号データが示す電話番号を用いて、音声対話サーバ３０に向けて発呼を行う（ステップＳ１０５）。なお、ステップＳ１０５では、音声対話サーバ３０に対して、無線携帯端末２０の電話番号が通知される。
【００６６】
音声対話サーバ３０の音声対話制御部３２は、無線携帯端末２０からの発呼に応じて一般公衆回線網６０における通信回線を接続状態（通話状態）とし、無線携帯端末２０からの発信者番号通知によって特定される電話番号を示す電話番号データにもとづいて、音声対話処理の実行内容を決定する（ステップＳ１０６）。
【００６７】
ここで、ステップＳ１０６での音声対話処理の内容の決定処理について詳しく説明する。この例では、各無線携帯端末についての履歴情報などをコンテンツサーバ４０が管理しているので、音声対話制御部３２は、先ず、インターネット通信部３６を制御して無線携帯端末２０から受けた電話番号データをコンテンツサーバ４０に送信する。電話番号データを受信すると、コンテンツサーバ４０のコンテンツ制御部４２は、コンテンツ情報記憶部４３の格納情報の中から、無線携帯端末２０の電話番号データに対応付けられている履歴情報（例えば、最近追加された数バイト分のデータなど、履歴情報の一部であってもよい）を探索し、探索した履歴情報の中から無線携帯端末２０に最後に送信されたＷｅｂページデータを特定する。この特定したＷｅｂページデータにもとづいて、無線携帯端末２０がどのＷｅｂページを経由して音声対話サーバ３０に向けて発呼を行ったかを確認することができる。コンテンツ制御部４２は、特定したＷｅｂページデータから、無線携帯端末２０を用いてユーザがどのようなサービスを音声対話によって受けようとしていたかを確認し、インターネット通信部４１を制御して、その確認結果を音声対話サーバ３０に送信する。確認結果を受けると、音声対話制御部３２は、受信した確認結果を示す情報にもとづいて、実行する音声対話処理の内容を決定する。例えば、図３に示したＷｅｂページを経由して音声対話サーバ３０に向けて発呼を行ったことが特定された場合には、駅名の入力を音声対話によって行うための音声対話処理を実行することに決定する。このようにして、ステップＳ１０６にて音声対話処理の実行内容が決定される。
【００６８】
なお、各無線携帯端末についての履歴情報などをデータベースサーバが管理する構成とされている場合には、ステップＳ１０６にて、音声対話サーバ３０がデータベースサーバにアクセスすることで、無線携帯端末２０を用いてどのようなサービスを音声によって受けようとしていたかを確認するようにすればよい。
【００６９】
音声対話処理の実行内容を決定すると、音声対話サーバ３０の音声対話制御部３２は、決定した内容の音声対話処理を実行する。図４は、音声対話処理でやり取りされる対話内容の例を示す説明図である。図５は、音声対話サーバ３０が実行する音声対話処理の例を示すフローチャートである。
【００７０】
ここでは、音声対話サーバ３０と、無線携帯端末２０を使用するユーザとの間で、図４に示す内容の音声対話がなされるものとして説明する。音声対話処理において、音声対話制御部３２は、先ず、音声ガイダンス生成部３５にガイダンスを発声するための音声ファイルを生成させ、図４に示すような「駅名を発声してください。」との音声ガイダンスを出力させるための音声データを、一般公衆回線網６０を介して無線携帯端末２０に向けて出力する（ステップＳ２０１）。無線携帯端末２０は、受信した音声データにもとづいて、自己が備えるスピーカから「駅名を発声してください。」との音声を出力する。
【００７１】
次いで、「駅名を発声してください。」という音声ガイダンスに従ってユーザによって発声された音声を示す音声データが、無線携帯端末２０から一般公衆回線網６０を介して入力すると、音声対話制御部３２は、音声認識部３４を制御して、入力した音声データにもとづく音声認識処理を実行させる（ステップＳ２０２）。ステップＳ２０２では、音声認識部３４によって、駅名を示す音声を音声認識するためにあらかじめ作成されて音声対話情報記憶部３３に記憶されている辞書データである「駅名．ｄｉｃ」を用いて音声認識処理が実行される。ステップＳ２０２の音声認識処理にて辞書データ「駅名．ｄｉｃ」を使用することは、音声対話処理を実行する際に使用される音声対話処理プログラム内に表記されている。この例では、ステップＳ２０２にて、入力した音声データが「新宿」を示すものであるという音声認識結果が得られる。すなわち、音声認識結果を示す音声認識結果データとして、「新宿」を示す文字列データが得られる。本例では、音声対話制御部３２は、ステップＳ２０２にて取得した音声認識結果データを、音声対話結果を示す音声対話結果として仮決定する（ステップＳ２０３）。なお、仮決定された音声対話結果データは、音声対話情報記憶部３３に設けられている仮決定データ格納領域に格納される。
【００７２】
また、音声認識結果が得られると、音声対話制御部３２は、音声認識結果が適正なものかどうかを確認するなどのために、音声ガイダンス生成部３５に入力確認のためのガイダンスを発声するための音声ファイルを生成させ、ここでは「新宿でよろしいですか」との音声ガイダンスを出力させるための音声データを、一般公衆回線網６０を介して無線携帯端末２０に向けて出力する（ステップＳ２０４）。無線携帯端末２０は、受信した音声データにもとづいて、自己が備えるスピーカから「新宿でよろしいですか」との音声を出力する。
【００７３】
次いで、「新宿でよろしいですか」という音声ガイダンスに従ってユーザによって発声された音声を示す音声データが、無線携帯端末２０から一般公衆回線網６０を介して入力すると、音声対話制御部３２は、音声認識部３４を制御して、入力した音声データにもとづく音声認識処理を実行させる（ステップＳ２０５）。ステップＳ２０５では、「はい」、「いいえ」、「ＹＥＳ」、「ＮＯ」などの応答を示す音声を音声認識するためにあらかじめ作成されて音声対話情報記憶部３３に記憶されている辞書データである「ｙｅｓｎｏ．ｄｉｃ」を用いて音声認識処理が実行される。ステップＳ２０５の音声認識処理にて辞書データ「ｙｅｓｎｏ．ｄｉｃ」を使用することは、音声対話処理を実行する際に使用される音声対話処理プログラム内に表記されている。この例では、ステップＳ２０５にて、入力した音声データが「はい」を示すものであるという音声認識結果が得られる。すなわち、音声認識結果を示す音声認識結果データとして、「はい」を示す文字列データが得られる。
【００７４】
「はい」などの肯定的な回答を示す文字列データが得られた場合には（ステップＳ２０６）、音声対話制御部３２は、ステップＳ２０３にて仮決定データ格納領域に格納されている仮決定状態の音声対話結果データを、音声対話結果データとして確定させる。そして、音声対話制御部３２は、インターネット通信部３６を制御して、確定した音声対話結果データと、無線携帯端末２０の電話番号データとを、インターネット５０を介してコンテンツサーバ４０に向けて出力する（ステップＳ２０７、ステップＳ１０７）。なお、ステップＳ２０６にて「いいえ」などの否定的な回答を示す文字列データが得られていた場合には、ステップＳ２０１以降の処理を再度実行する。
【００７５】
音声対話結果データを送信すると、音声対話制御部３２は、音声対話処理を終了することを報知するために、音声ガイダンス生成部３５に処理の終了を報知するためのガイダンスを発声するための音声ファイルを生成させ、「了解しました。終了いたします。」との音声ガイダンスを出力させるための音声データを、インターネット通信部３６を制御して一般公衆回線網６０を介して無線携帯端末２０に向けて出力させる（ステップＳ２０８）。無線携帯端末２０は、受信した音声データにもとづいて、自己が備えるスピーカから「了解しました。終了いたします。」との音声を出力する。そして、音声対話サーバ３０は、通信回線を切断して通話状態を終了させ、音声対話処理を終了させる。
【００７６】
ステップＳ１０７にて送信された音声対話処理結果データおよび電話番号データを受信すると、コンテンツサーバ４０は、コンテンツ情報記憶部４３に格納されている受信した電話番号データと同一の電話番号データに対応付けして、受信した音声対話結果データを保存する（ステップＳ１０８）。
【００７７】
音声対話処理が終了すると、無線携帯端末２０の通話機能は、ブラウザ機能を呼び出す（ステップＳ１０９）。呼び出された無線携帯端末２０のブラウザ機能は、コンテンツサーバ４０に対して、無線携帯端末２０の表示装置に表示されている表示情報の更新を要求する（ステップＳ１１０）。コンテンツサーバ４０は、更新要求に応じて、無線携帯端末２０についての電話番号データに対応付けされている音声対話結果データをコンテンツ情報記憶部４３から読み出して、音声対話処理の結果を反映させたＷｅｂページデータを作成する（ステップＳ１１１）。そして、音声対話処理の結果を反映させたＷｅｂページデータを送信する（ステップＳ１１２）。
【００７８】
Ｗｅｂページデータを受信すると、無線携帯端末２０のブラウザ機能によって、受信したＷｅｂページデータにもとづくＷｅｂページが表示される（ステップＳ１１３）。Ｗｅｂページの更新後の表示内容は、例えば図６に示すように、音声対話処理によって入力された情報の内容が反映された状態となっている。すなわち、図６には、音声対話処理にて音声入力された「新宿」なる駅名が、入力領域７２に文字入力された更新後のＷｅｂページの表示状態が示されている。なお、この状態で検索指示選択領域７４が押下されると、コンテンツサーバ４０にて「新宿」駅についての情報検索が実行される。
【００７９】
上述したように、音声対話サーバ３０が、音声対話処理の終了を報知するための処理を実行する前に、音声対話結果データをコンテンツサーバ４０に向けて送信する構成としたことで、音声対話結果データをコンテンツサーバ４０に送る通信処理を早期に開始することができる。よって、インターネット５０上のパケット通信におけるトラフィック（伝送されているデータ量）が多く通信回線が混雑していてデータ伝送時間が長くなってしまうようなときであっても、コンテンツサーバ４０での音声対話結果データの受信を早期に完了させることができる。従って、音声対話処理の終了後に無線携帯端末２０のブラウザ機能によって表示情報の更新要求がなされるときまでに、コンテンツサーバ４０での音声対話結果データの受信処理が完了した状態とすることができる。
【００８０】
音声対話処理の終了を報知するための処理（ステップＳ２０８）は、相当の期間（本例であれば３〜４秒程度の期間）を要するので、その間に、コンテンツサーバ４０での音声対話結果データの受信処理が完了した状態とすることができるのである。従って、音声対話処理の終了後直ちに無線携帯端末に表示されているＷｅｂページを更新させ、音声入力の結果を表示に反映させることができるようになる。
【００８１】
次に、音声対話処理の実行中に一般公衆回線網６０の通信回線が切断された場合の処理について説明する。ここでは、音声対話サーバ３０と無線携帯端末２０を使用するユーザとの間で図７に示す内容の音声対話がなされるものとして説明する。すなわち、音声認識結果の確認などのためになされるガイダンスの出力中に通信回線が切断された場合を例に説明する。
【００８２】
図８は、音声対話サーバ３０が実行する回線監視処理の例を示すフローチャートである。図９は、音声対話処理において、音声対話処理の実行中に一般公衆回線網６０の音声対話処理に用いられている通信回線が切断された場合の例を示すフローチャートである。
【００８３】
回線監視処理は、例えば、音声対話処理が開始されたときに開始する。回線監視処理において、音声対話サーバ３０の音声通信情報検出部３１は、音声対話処理にて使用している通信回線の接続状態を監視する（ステップＳ３０１）。監視している通信回線が使用状態から切断された状態に変化したことを検出すると（ステップＳ３０１のＹ）、音声通信情報検出部３１は、通信回線が使用状態から切断状態に変化したことを示す回線切断検出信号を音声対話制御部３２に対して出力する。
【００８４】
通信回線の切断は、この例では、無線携帯端末２０を携帯しているユーザが電車などの移動体に乗っていてトンネルなどの無線通信インフラが整備されていない場所に移動したときなどに発生する電波障害が起きたとき、無線携帯端末２０のユーザが自発的に通信回線を切断する操作を行ったとき、あるいは音声対話処理が終了したときに検出される。
【００８５】
回線切断検出信号を受信すると、音声対話制御部３２は、音声対話情報記憶部３３の仮決定データ格納領域に未送信の音声対話結果データが格納されていた場合には（ステップＳ３０２のＹ）、その音声対話結果データをコンテンツサーバ４０に向けて出力するとともに、無線携帯端末２０の電話番号データもコンテンツサーバ４０に向けて出力する（ステップＳ３０３）。すなわち、ユーザからの入力情報として仮決定されている音声対話結果データを、音声対話結果データとして確定させ、確定させた音声対話結果データを送信する。
【００８６】
従って、音声対話処理にて、音声認識結果データが音声対話結果データとして仮決定されたあと、その音声対話結果データとすることに確定されてコンテンツサーバ４０に送信される前に、通信回線が切断されて音声対話処理が中途終了した場合には、仮決定状態の音声対話結果データを今後使用する音声対話結果データとすることに確定され、確定させた音声対話結果データがコンテンツサーバ４０に出力される。すなわち、この例では、図５に示した音声対話処理にて、ステップＳ２０３を終えたあとステップＳ２０７を終える前に通信回線が切断され場合には、音声対話処理が完了していなくても、音声対話結果データが出力される。
【００８７】
例えば、図９に示すように、音声対話処理において、音声対話制御部３２が「新宿でよろしいですか」との音声ガイダンスを出力させるための音声データの出力処理を行っている途中で（ステップＳ２０４参照）通信回線が切断した場合には、音声対話制御部３２によって、音声対話情報記憶部３３の仮決定データ格納領域に格納されている「新宿」を示す仮決定状態の音声対話結果データを用いて今後を制御を行うことが確定され、確定した音声対話結果データとして無線携帯端末２０の電話番号データとともにコンテンツサーバ４０に向けて出力される（ステップＳ１０７ａ）。
【００８８】
上述したように、音声対話処理に用いられている通信回線の接続状態を監視し、その通信回線が切断したときに仮決定状態の音声対話結果データが存在していた場合に、その仮決定状態の音声対話結果データを使用して今後の処理を実行することに確定させ、確定させた音声対話結果データをコンテンツサーバ４０に向けて出力する構成としたので、音声対話処理が中途終了した場合であっても音声対話結果データを出力することができる。
【００８９】
よって、電波障害によって音声対話処理が継続できなくなってしまったときであっても、音声認識処理が行われて音声対話結果データが仮決定されていれば、無線携帯端末２０の表示画面に音声入力された情報の内容を反映させることができるようになる。従って、ユーザは、再度の音声対話処理を行う必要がなくなる。
【００９０】
また、音声対話結果データを仮決定したあと、例えば音声認識結果の確認のためのガイダンスの報知を終える前に、ユーザによって通信回線が切断された場合であっても、音声対話結果データを出力することができる。従って、ユーザは、音声入力により駅名を入力したあと、音声認識結果の確認のためのガイダンスを聞くことなく通信回線を自発的に切断するようにすれば、確認依頼に対する応答（「はい」、「いいえ」などの応答）を行う必要がなく、無線携帯端末２０の表示画面に音声入力した情報の内容を迅速に反映させることができるようになる。よって、ユーザにとっては、情報入力などを行うための音声対話処理を短時間で終了させることができる。
【００９１】
なお、上述した実施の形態では、駅名という１つの情報を得るために音声対話処理が実行されていたが、複数の情報（例えば、住所、氏名などの情報）を得るための音声対話処理が実行されるようにしてもよい。この場合、例えば、複数の音声対話結果データを取得して確定させるための音声対話を実行したあと、コンテンツサーバ４０に確定した複数の音声対話結果データをまとめて送信し、その後に音声対話処理の終了を示すガイダンスを行うようにすればよい。複数の音声対話結果データがまとめて送信されてきた場合には、コンテンツサーバ４０は、複数の音声対話結果データのそれぞれが反映されたＷｅｂページデータを作成して無線携帯端末２０に送信するようにすればよい。
【００９２】
複数の情報を得るための音声対話処理が実行される場合、音声対話結果データに確定するための処理（確認処理）は、複数の仮決定状態の音声対話結果データの全てを取得したあとにその全てについてまとめて行うようにしてもよく、複数の仮決定状態の音声対話結果データの所定の一単位（例えば３つを一単位とする場合には３つ分）が取得される毎にその一単位についてまとめて行うようにしてもよく、仮決定状態の音声対話結果データが取得される毎に順次行うようにしてもよい。また、上記のように、複数の情報を得るための音声対話処理が実行される場合には、複数の情報の一部についての音声入力が終了している状態で通信回線が切断して音声対話処理が中途終了した場合に、音声認識結果が得られている一部の情報については確定した音声対話結果データとしてコンテンツサーバ４０に送信され、無線携帯端末２０の表示情報に反映されるようにすればよい。そして、その後の音声対話処理において、無線携帯端末２０の表示情報に反映されていない情報についてのみ、音声入力するための処理が実行されるようにすればよい。
【００９３】
また、複数の情報（例えば、住所、氏名などの情報）を得るための音声対話処理が実行する場合に、音声認識結果の確認処理を行うことなく、取得した音声認識結果データをそのまま音声対話結果データとして確定させ、コンテンツサーバ４０に順次送信する構成としてもよい。この場合、例えば図１０に示すように、音声認識結果が得られる毎に、音声対話結果データがコンテンツサーバ４０に向けて送信される（ステップＳ１０７ａ、ステップＳ１０７ｂ）。コンテンツサーバ４０は、音声対話結果データを受信する毎に上述したステップＳ１０８と同様にして保存する（ステップＳ１０８ａ、ステップＳ１０８ｂ）。このように構成すれば、コンテンツサーバ４０が早期に音声対話結果データを受信しておくことができ、音声対話処理の完了後直ちにＷｅｂページデータを更新するための処理を実行することができるようになる。なお、コンテンツサーバ４０が、音声対話結果データを受信する毎に、音声対話結果データを反映させたＷｅｂページデータを作成して無線携帯端末２０に送信する構成としてもよい。この場合、無線携帯端末２０は、音声対話処理中に音声入力を終える毎にブラウザ機能を呼び出して表示しているＷｅｂページを更新し、通話機能を呼び出して音声対話処理の続きを実行するようにすればよい。
【００９４】
また、上述した実施の形態では、無線携帯端末２０が携帯電話端末であるものとして説明していたが、ブラウザ機能と通話機能とをともに備えるものであれば、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）やパーソナルコンピュータなどの他の端末装置であってもよい。また、無線通信を行う無線携帯端末２０を例にしたが、有線による通信を行う端末であっても本発明を適用することができる。
【００９５】
また、上述した実施の形態では、データ通信をインターネット５０を利用して行う構成としていたが、ＬＡＮなどの他の通信ネットワークによって行う構成とされていてもよい。また、データ通信をパケット通信によって行う構成としていたが、他の通信方法であってもよい。
【００９６】
また、上述した実施の形態において、音声対話サーバ３０とコンテンツサーバ４０とが一つのサーバ（連携サーバ、センタ）として運営されていてもよい。この場合、音声対話サーバ３０とコンテンツサーバ４０とが専用回線などによって接続されるようにしてもよい。
【００９７】
また、上述した実施の形態では、表示画面の情報入力を音声対話処理によって行う構成としていたが、電話の着信音として再生される着信メロディなどの表示されない情報を提供するために音声対話処理を実行する構成としてもよい。この場合、音声対話処理によってユーザが音声入力した情報によって特定されるタイトルの着信メロディを無線携帯端末２０に提供するようにすればよい。
【００９８】
また、上述した実施の形態では、コンテンツサーバ４０が、無線携帯端末２０からのＷｅｂページ取得要求（ステップＳ１１０のＷｅｂページ更新要求）に応じて、音声対話結果データを取得して（ステップＳ１１１）、音声対話結果データが示す音声対話結果を反映させたＷｅｂページデータを送信する構成（ステップＳ１１２）としていたが、音声対話結果データを保存したあと（ステップＳ１０８）に、無線携帯端末２０からのＷｅｂページ取得要求の有無に関わらず、音声対話結果データが示す音声対話結果を反映させたＷｅｂページデータを無線携帯端末２０に送信する構成としてもよい。このように構成すれば、Ｗｅｂページ取得要求を無線携帯端末２０に行わせることなく、音声対話処理の結果を、Ｗｅｂページに反映させることができる。
【００９９】
また、上述した各実施の形態では、Ｗｅｂページデータを生成するための表示用言語として、携帯電話端末のブラウザでＷｅｂページの表示などを行うために広く用いられているＣ−ＨＴＭＬ（Ｃｏｍｐａｃｔ ＨＴＭＬ）を例にしていたが、ＨＴＭＬ、ＨＤＭＬ（Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ＷＭＬ（Ｗｉｒｅｌｅｓｓ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）などの他のマークアップ言語を用いるようにしてもよい。
【０１００】
さらに、上述した各実施の形態では、音声対話サーバ３０と無線携帯端末２０とが一般公衆回線網６０に接続され、一般公衆回線網６０を介して音声通話を行う構成としていたが、ＶｏＩＰ（Ｖｏｉｃｅ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）等のＩＰネットワークに接続して音声通信を行う構成としてもよい。また、上述した各実施の形態では、音声対話処理が音声によって行われる構成としていたが、無線携帯端末２０を管理するユーザがＤＴＭＦ（Ｄｕａｌ Ｔｏｎｅ Ｍｕｌｔｉ Ｆｒｅｑｕｅｎｃｙ）信号によって音声入力を行い、音声対話サーバ３０が音声認識処理にて取得したＤＴＭＦ信号に対応するキーを表す文字を取得するようにしてもよい。
【０１０１】
さらに、上述した各実施の形態では、音声対話サーバ３０は、上述した各種の処理を実行するための音声対話処理プログラムにもとづいて動作を行っている。例えば、この音声対話処理プログラムは、音声対話サーバ３０に、無線携帯端末２０から通信ネットワーク６０を介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、無線携帯端末２０との間で通信ネットワーク６０を利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバ４０に送信することで、コンテンツサーバ４０に対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを実行させ、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定させる処理を実行させるプログラムである。なお、コンテンツサーバ４０も、上述した各種の処理を実行するためのデータ処理プログラムにもとづいて動作を行っている。
【０１０２】
【発明の効果】
以上のように、本発明の端末通信システムによれば、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声通話の回線情報を監視し音声通話の中断を検出する回線情報検出部と、音声通話による音声対話終了時もしくは回線情報検出部にて音声通話の中断が検出されたときに、音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報をパケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とするので、音声通話が中断して音声対話処理が中途終了していまっても、音声対話結果データとしての音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報を、端末装置に提供することができるようになる。
【０１０３】
また、本発明の端末通信システムによれば、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報が得られる毎に、パケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とするので、音声対話結果データとしての音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報が得られる毎に、音声対話の終了を示す報知が行われる前に、迅速に端末装置に提供することができる。
【０１０４】
また、本発明の端末通信システムによれば、音声通信機能およびパケット通信機能を有する端末装置と、端末装置との間で音声通話を行う音声制御部と、音声制御部で受信した端末装置からの音声信号を認識し認識結果を出力する音声認識部と、音声通話の回線情報を監視し前記音声通話の中断を検出する回線情報検出部と、音声認識部にて得られる認識結果もしくは当該認識結果にもとづく情報の所定の一単位が得られた時点で、パケット通信により端末装置に送信するパケット制御部とを有するセンタとを備えたことを特徴とするので、音声対話の終了を示す報知を行う前に、音声対話結果データとしての音声認識部にて得られた複数の認識結果もしくは当該認識結果にもとづく複数の情報を端末装置に提供することができるようになる。
【０１０５】
また、本発明の端末通信システムによれば、連携サーバは、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【０１０６】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されている場合には、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。
【０１０７】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされている場合には、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができる。
【０１０８】
また、本発明の端末通信システムによれば、連携サーバが、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、音声認識処理部によって音声認識結果情報が得られる毎に、音声認識結果情報を確定音声対話結果情報とすることに決定し、連携結果情報提供部は、確定音声対話結果情報とすることが決定される毎に、当該確定音声対話結果情報にもとづく連携結果情報を端末装置に提供することを特徴とするので、音声対話処理の終了を示す報知を行う前に、確定音声対話結果情報とすることが決定される毎に迅速に連携結果情報を端末装置に提供することができる。
【０１０９】
連携サーバが、端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行う音声対話サーバと、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバとを含み、音声対話サーバとコンテンツサーバを用いて確定音声対話結果情報にもとづく連携結果情報を端末装置に提供するように構成されている場合には、音声対話処理などを実行するサーバとＷｅｂページを用いた情報の提供などを実行するサーバとが別個に備えられているシステムにおいて、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【０１１０】
端末装置と連携サーバとで行われるデータ通信は、パケット通信により行われるように構成されている場合には、音声対話処理の終了を示す報知を行う前にパケット通信によって音声対話結果情報が送信されるので、パケット通信が行われる通信ネットワークが混雑していても、遅延することなく連携結果情報を端末装置に提供することができる。
【０１１１】
連携結果情報が、確定音声対話結果情報が反映されたＷｅｂページデータ、または確定音声対話結果情報にもとづいて選択された選択データである構成とされている場合には、確定音声対話結果情報が反映されたＷｅｂページデータにもとづくＷｅｂページを端末装置に表示させることができ、あるいは確定音声対話結果情報にもとづいて選択された選択データを端末装置に提供することができる。
【０１１２】
また、本発明の連携サーバによれば、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって端末装置に提供する連携結果情報提供部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。よって、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく連携結果情報を提供することができる。
【０１１３】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されている場合には、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。
【０１１４】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされている場合には、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく連携結果情報を迅速に端末装置に提供することができる。
【０１１５】
また、本発明の音声対話サーバによれば、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、音声認識部による音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行う確定音声対話結果情報送信部とを含み、音声対話処理部は、回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【０１１６】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に音データの音声認識結果を確定音声対話結果情報とすることに決定するように構成されている場合には、通信回線が切断しなかった場合には、音声対話処理の終了を示す報知を行う前に、確認がとれた音声認識結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができ、通信回線が切断した場合には、確認がとれる前の音声対話結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができるようになる。
【０１１７】
音声対話処理部が、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する構成とされている場合には、音声対話処理の終了を示す報知を行う前に、複数の音データの音声認識結果にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【０１１８】
また、本発明の音声対話処理方法によれば、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを含み、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定することを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【０１１９】
さらに、本発明の音声対話処理プログラムによれば、コンピュータに、端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、音声認識結果を利用して、端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報をコンテンツサーバに送信することで、コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを実行させ、音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定させることを特徴とするので、音声対話処理が完了する前に通信回線が切断してしまっても、確定音声対話結果情報をコンテンツサーバに送信することができる。よって、音声対話結果にもとづく連携結果情報を端末装置に提供することができるようになる。また、音声対話処理が完了する前に通信回線が切断してしまっても、音もしくは音声入力されて既に音声認識されている情報があれば、その音声認識結果情報にもとづく確定音声対話結果情報をコンテンツサーバに送信することができる。
【図面の簡単な説明】
【図１】本発明の端末通信システムの一実施の形態における無線携帯端末システムの構成の例を示すブロック図である。
【図２】表示・音声連携処理および処理タイミングの一例を示すタイミングチャートである。
【図３】Ｗｅｂページの表示状態の例を示す説明図である。
【図４】音声対話の内容の例を示す説明図である。
【図５】音声対話処理の例を示すフローチャートである。
【図６】更新後のＷｅｂページの表示状態の例を示す説明図である。
【図７】音声対話の内容の他の例を示す説明図である。
【図８】回線監視処理の例を示すフローチャートである。
【図９】表示・音声連携処理および処理タイミングの他の例を示すタイミングチャートである。
【図１０】表示・音声連携処理および処理タイミングのさらに他の例を示すタイミングチャートである。
【符号の説明】
１０ 無線携帯端末システム
２０ 無線携帯端末
３０ 音声対話サーバ
３１ 音声通信情報検出部
３２ 音声対話制御部
３３ 音声対話情報記憶部
３４ 音声認識部
３５ 音声ガイダンス生成部
３６ インターネット通信部
４０ コンテンツサーバ
４１ インターネット通信部
４２ コンテンツ制御部
４３ コンテンツ情報記憶部
５０ インターネット
６０ 一般公衆回線網
Claims (18)
- 音声通信機能およびパケット通信機能を有する端末装置と、
前記端末装置との間で音声通話を行う音声制御部と、該音声制御部で受信した前記端末装置からの音声信号を認識し認識結果を出力する音声認識部と、前記音声通話の回線情報を監視し前記音声通話の中断を検出する回線情報検出部と、前記音声通話による音声対話終了時もしくは前記回線情報検出部にて音声通話の中断が検出されたときに、前記音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報をパケット通信により前記端末装置に送信するパケット制御部とを有するセンタと
を備えたことを特徴とする端末通信システム。 - 音声通信機能およびパケット通信機能を有する端末装置と、
前記端末装置との間で音声通話を行う音声制御部と、該音声制御部で受信した前記端末装置からの音声信号を認識し認識結果を出力する音声認識部と、前記音声認識部にて得られた認識結果もしくは当該認識結果にもとづく情報が得られる毎に、パケット通信により前記端末装置に送信するパケット制御部とを有するセンタと
を備えたことを特徴とする端末通信システム。 - 音声通信機能およびパケット通信機能を有する端末装置と、
前記端末装置との間で音声通話を行う音声制御部と、該音声制御部で受信した前記端末装置からの音声信号を認識し認識結果を出力する音声認識部と、前記音声通話の回線情報を監視し前記音声通話の中断を検出する回線情報検出部と、前記音声認識部にて得られる認識結果もしくは当該認識結果にもとづく情報の所定の一単位が得られた時点で、パケット通信により前記端末装置に送信するパケット制御部とを有するセンタと
を備えたことを特徴とする端末通信システム。 - 通話機能およびデータ通信機能を有する端末装置と、前記端末装置との間で通信ネットワークを介して音声対話処理を行うとともに音声対話処理の結果にもとづく連携結果情報を通信ネットワークを介して前記端末装置に提供する連携サーバとを備えた端末通信システムであって、
前記連携サーバは、
前記端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、
前記音声認識部による音声認識結果を利用して、前記端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、
前記音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、
前記音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって前記端末装置に提供する連携結果情報提供部とを含み、
前記音声対話処理部は、前記回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている前記音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定する
ことを特徴とする端末通信システム。 - 音声対話処理部は、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に前記音データの音声認識結果を確定音声対話結果情報とすることに決定する
請求項４記載の端末通信システム。 - 音声対話処理部は、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する
請求項４記載の端末通信システム。 - 通話機能およびデータ通信機能を有する端末装置と、前記端末装置との間で通信ネットワークを介して音声対話処理を行うとともに音声対話処理の結果にもとづく連携結果情報を通信ネットワークを介して前記端末装置に提供する連携サーバとを備えた端末通信システムであって、
前記連携サーバは、
前記端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、
前記音声認識部による音声認識結果を利用して、前記端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、
前記音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって前記端末装置に提供する連携結果情報提供部とを含み、
前記音声対話処理部は、前記音声認識処理部によって音声認識結果情報が得られる毎に、前記音声認識結果情報を確定音声対話結果情報とすることに決定し、
前記連携結果情報提供部は、確定音声対話結果情報とすることが決定される毎に、当該確定音声対話結果情報にもとづく連携結果情報を前記端末装置に提供する
ことを特徴とする端末通信システム。 - 連携サーバは、端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行う音声対話サーバと、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバとを含み、前記音声対話サーバと前記コンテンツサーバを用いて確定音声対話結果情報にもとづく連携結果情報を前記端末装置に提供する
請求項４から請求項７のうちいずれかに記載の端末通信システム。 - 端末装置と連携サーバとで行われるデータ通信は、パケット通信により行われる
請求項４から請求項８のうちいずれかに記載の端末通信システム。 - 連携結果情報は、確定音声対話結果情報が反映されたＷｅｂページデータ、または確定音声対話結果情報にもとづいて選択された選択データである
請求項４から請求項９のうちいずれかに記載の端末通信システム。 - 通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音声対話処理を行うとともに音声対話処理の結果にもとづく連携結果情報を通信ネットワークを介して前記端末装置に提供する連携サーバであって、
前記端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、
前記音声認識部による音声認識結果を利用して、前記端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、
前記音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、
前記音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報にもとづく連携結果情報を、通信ネットワークを利用したデータ通信によって前記端末装置に提供する連携結果情報提供部とを含み、
前記音声対話処理部は、前記回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている前記音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定する
ことを特徴とする連携サーバ。 - 音声対話処理部は、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に前記音データの音声認識結果を確定音声対話結果情報とすることに決定する
請求項１１記載の連携サーバ。 - 音声対話処理部は、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する
請求項１１記載の連携サーバ。 - 通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行うとともに、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバに対して音声対話処理の結果にもとづく連携結果情報を前記端末装置に提供することを依頼する音声対話サーバであって、
前記端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識する音声認識部と、
前記音声認識部による音声認識結果を利用して、前記端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行う音声対話処理部と、
前記音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出する回線切断検出部と、
前記音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報を前記コンテンツサーバに送信することで、前記コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行う確定音声対話結果情報送信部とを含み、
前記音声対話処理部は、前記回線切断検出部によって音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている前記音声認識処理部による音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定する
ことを特徴とする音声対話サーバ。 - 音声対話処理部は、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、確認がとれた場合に前記音データの音声認識結果を確定音声対話結果情報とすることに決定する
請求項１４記載の音声対話サーバ。 - 音声対話処理部は、音声認識部による端末装置からの音データの音声認識結果が適正であるか否かを当該端末装置との音声対話処理によって確認し、一単位の音データの音声認識結果についてそれぞれ確認がとれた場合に、当該一単位の音データの音声認識結果をそれぞれ確定音声対話結果情報とすることに決定する
請求項１４記載の音声対話サーバ。 - 通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行うとともに、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバに対して音声対話処理の結果にもとづく連携結果情報を前記端末装置に提供することを依頼するための音声対話処理方法であって、
前記端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、
音声認識結果を利用して、前記端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、
前記音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、
前記音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報を前記コンテンツサーバに送信することで、前記コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを含み、
音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定する
ことを特徴とする音声対話処理方法。 - 通話機能およびデータ通信機能を有する端末装置との間で通信ネットワークを介して音もしくは音声による音通信を行うとともに、Ｗｅｂページを用いて情報の提供や収集を行うコンテンツサーバに対して音声対話処理の結果にもとづく連携結果情報を前記端末装置に提供することを依頼するための音声対話処理プログラムであって、
コンピュータに、
前記端末装置から通信ネットワークを介して受信した音もしくは音声を示す音データを認識するステップと、
音声認識結果を利用して、前記端末装置との間で通信ネットワークを利用した音通信によって音声対話処理を行うステップと、
前記音声対話処理に用いられる通信回線の接続状態を監視し、当該通信回線が切断したことを検出するステップと、
前記音声対話処理にて得られた音声認識結果情報のうち音声対話結果情報として取り扱うことが確定された確定音声対話結果情報を前記コンテンツサーバに送信することで、前記コンテンツサーバに対して確定音声対話結果情報にもとづく連携結果情報の提供依頼を行うステップとを実行させ、
音声対話処理において確定音声対話結果情報が得られる前に通信回線が切断されたことが検出された場合には、既に得られている音声認識結果情報のうち、確定音声対話結果情報とされていない音声認識結果情報を確定音声対話結果情報とすることに決定させる
ことを特徴とする音声対話処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002186649A JP3925326B2 (ja) | 2002-06-26 | 2002-06-26 | 端末通信システム、連携サーバ、音声対話サーバ、音声対話処理方法および音声対話処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002186649A JP3925326B2 (ja) | 2002-06-26 | 2002-06-26 | 端末通信システム、連携サーバ、音声対話サーバ、音声対話処理方法および音声対話処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004029456A true JP2004029456A (ja) | 2004-01-29 |
| JP3925326B2 JP3925326B2 (ja) | 2007-06-06 |
Family
ID=31181942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002186649A Expired - Fee Related JP3925326B2 (ja) | 2002-06-26 | 2002-06-26 | 端末通信システム、連携サーバ、音声対話サーバ、音声対話処理方法および音声対話処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3925326B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109568973A (zh) * | 2017-09-27 | 2019-04-05 | 卡西欧计算机株式会社 | 对话装置、对话方法、服务器装置及计算机可读存储介质 |
| CN111369972A (zh) * | 2018-12-06 | 2020-07-03 | 阿尔派株式会社 | 引导声音输出控制系统及引导声音输出控制方法 |
| CN111369972B (zh) * | 2018-12-06 | 2024-06-07 | 阿尔派株式会社 | 引导声音输出控制系统及引导声音输出控制方法 |
-
2002
- 2002-06-26 JP JP2002186649A patent/JP3925326B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109568973A (zh) * | 2017-09-27 | 2019-04-05 | 卡西欧计算机株式会社 | 对话装置、对话方法、服务器装置及计算机可读存储介质 |
| CN109568973B (zh) * | 2017-09-27 | 2021-02-12 | 卡西欧计算机株式会社 | 对话装置、对话方法、服务器装置及计算机可读存储介质 |
| CN111369972A (zh) * | 2018-12-06 | 2020-07-03 | 阿尔派株式会社 | 引导声音输出控制系统及引导声音输出控制方法 |
| CN111369972B (zh) * | 2018-12-06 | 2024-06-07 | 阿尔派株式会社 | 引导声音输出控制系统及引导声音输出控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3925326B2 (ja) | 2007-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7643846B2 (en) | Retrieving voice-based content in conjunction with wireless application protocol browsing | |
| US6424945B1 (en) | Voice packet data network browsing for mobile terminals system and method using a dual-mode wireless connection | |
| KR101027548B1 (ko) | 통신 시스템용 보이스 브라우저 다이얼로그 인에이블러 | |
| US7103550B2 (en) | Method of using speech recognition to initiate a wireless application protocol (WAP) session | |
| US7739350B2 (en) | Voice enabled network communications | |
| JP2007529916A (ja) | コンピュータでの音声通信 | |
| KR20020071851A (ko) | 로컬 인터럽트 검출을 기반으로한 음성인식 기술 | |
| US8000458B2 (en) | Method and system for verifying incoming telephone numbers | |
| JP2004289803A (ja) | 対話システム、対話制御方法および対話制御プログラム | |
| JP6452165B2 (ja) | 問合せ対応支援装置、システム、方法及びプログラム | |
| JP2002190879A (ja) | 無線携帯端末通信システム | |
| KR100871255B1 (ko) | 무선 인터넷을 이용한 정보 제공 시스템 및 그 방법 | |
| JP3925326B2 (ja) | 端末通信システム、連携サーバ、音声対話サーバ、音声対話処理方法および音声対話処理プログラム | |
| US20020026319A1 (en) | Service mediating apparatus | |
| KR20020057045A (ko) | 음성 인식을 이용한 이동 무선 단말기의 인터넷 검색 방법 | |
| JP2003316803A (ja) | 携帯端末装置およびサービス提供システム | |
| JP4003544B2 (ja) | 表示・音声連携システム、サーバおよび方法 | |
| KR20100072849A (ko) | 통화 연결 수행 방법 및 이를 이용한 휴대 단말기 | |
| JP3862069B2 (ja) | 音声入力装置 | |
| JP3331213B1 (ja) | 音声認識による情報提供サーバならびにその方法 | |
| JP4813798B2 (ja) | ネットワークのオーディオデータを処理する方法およびその方法を実行する装置 | |
| JP2003174511A (ja) | 通信制御装置、および、通信システム | |
| KR100591683B1 (ko) | 휴대용 단말기를 이용한 방송 신청 서비스 방법 및 서비스시스템 | |
| KR101149785B1 (ko) | 통화대기음 설정 방법 및 그 기능을 가지는 이동통신단말기 | |
| JP2002262350A (ja) | 移動体通信よるサービス配信方法、移動体通信によるサービス配信システム、サービス配信装置及び携帯端末 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041014 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20051116 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3925326 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100309 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |