JP2008042386A - 通信端末装置 - Google Patents

Abstract

【課題】回線および端末の負荷を軽減させ、音声による表現を保ち、通話内容を欠如なく相手に伝達可能な通話端末装置の提供。
【解決手段】音声入力部１０２から入力された通話入力を認識し、通話入力を通話内容データに変換する通話内容認識部１１１と、通話内容認識部１１１によって変換された通話内容データを基に通話入力に関連する通話内容補助データを生成する通話内容補助データ生成部１１３と、通話品質レベルが予め設定された基準レベル以下かどうかを判断する通話品質判断部１１０と、通話品質判断部１１０において通話品質レベルが予め設定された基準レベル以下になったと判断されたとき、生成された通話内容補助データを通話中の相手に送信する送信部１０８とを備え、回線や端末の負荷を軽減し、音声による表現や臨場感を保ち、通話内容情報の欠如を防ぐことができる。
【選択図】図１

Description

本発明は、通話機能を有する携帯電話機、テレビ電話機などの通信端末装置に関する。

現在、固定電話機をはじめとして通話機能を有する通信端末装置は、世界で広く使用されている。中でも、携帯電話機を中心とした移動可能な通信端末装置は、いつでもどこでも使用可能なことから急速な勢いで普及している。

このような通信端末装置では、伝えたい内容や音声による表現、臨場感といった通話内容情報を欠如することなく通信相手に送り届けることが最も重要な機能である。

しかしながら、移動可能な通信端末装置では、通信端末装置の位置や周囲の状況などが常に変化するため、通話情報を確実に送り届けるために、通信網側や端末側で種々の工夫がなされている。

例えば、通信網側では、通信端末装置が別の基地局のエリアに移動したとき、そのエリアの基地局に自動的に切替える動作（ハンドオーバー）を利用して通信の瞬断を防止する工夫が知られている（例えば、特許文献１参照）。これによれば、複数の基地局により構成されているエリア内で通信路を保持しながら、その中で受信レベルの最も良い基地局を選択してハンドオーバー動作をスムーズに行える。

また、端末側では、通話内容となる音声データを送信側の通信端末装置においてテキストデータに変換し、パケットデータとして送信する一方、受信側の通信端末装置において、受信したテキストデータを音声読み上げ機能を用いて音声として出力するというような工夫などが知られている（例えば、特許文献２参照）。これによれば、パケット伝送を利用することにより、回線資源使用量およびユーザーによる通信費用の低減を図ることができ、従来の回線交換による音声通話に近い使い勝手の携帯電話機を実現することが可能である。
特開平１１−４４７０号公報 特開２００２−３３８５１号公報

しかしながら、特許文献１に記載されたものは、予め設定した規定受信レベル以上の基地局があれば、その基地局にスムーズにハンドオーバー動作を行うものであるが、通信中に規定受信レベル以上の基地局が見つからなかった場合には、通話内容となる音声データに途切れが生じることがある。また、大量にハンドオーバーが発生した場合には、上記動作によって通信の瞬断を低減することはできたとしても、通話内容となる音声データの途切れを完全に防止することを実現できるものではない。このため、伝えたい通話内容などの情報を欠如なく通信相手に送り届けることが不可能であるという問題点を有する。

また、特許文献２に記載されたものは、パケット回線を用いて回線交換による音声通話に近い使い勝手の携帯電話機を実現しているが、読み上げ機能で用いる音声合成音では、肉声を用いた音声データによる通常通話と比べて、音声による表現や臨場感が欠如する問題点がある。

本発明は上記問題点を解決するものであり、通話中に通話内容認識処理と通話内容補助データを通話データと共に同時伝送する処理を常時行う場合に比べて、回線処理負荷および端末処理負荷を低減させ、音声を用いた通話を中心とすることで音声による表現や臨場感を保ち、通話中に通話内容認識処理を補助的に利用することで通話内容の欠如を防ぐことができ、音声による表現や臨場感および通話内容といった通話内容情報を通話先端末に確実に送り届けることができる通話端末装置を提供するものである。

本発明の通信端末装置は、入力部から入力された通話入力を認識し、通話入力を通話内容データに変換する通話内容認識部と、通話内容認識部によって変換された通話内容データを基に通話入力に関連する通話内容補助データを生成する通話内容補助データ生成部と、通話品質レベルが予め設定された基準レベル以下かどうかを判断する通話品質判断部と、通話品質判断部において通話品質レベルが予め設定された基準レベル以下になったと判断されたとき、生成された通話内容補助データを通話中の相手に送信する送信部とを備えた構成を有する。

この構成により、入力部から入力された通話入力を認識し、それを基に通話内容補助データを生成しておき、通話品質レベルが予め設定された基準レベル以下になると、生成しておいた通話内容補助データが通話中の相手に送信されるため、通話品質が悪くなって通話が困難な状態になっても、通話内容補助データによって通話内容を相手に伝達することができ、通話を継続することが可能になる。したがって、音声通話中は、音声による表現や臨場感を充分に保ち、通話品質が悪くなった場合でも音声による表現や臨場感を出来る限り保つことが可能になる。

また、本発明の通信端末装置は、通話品質判断部において通話品質レベルが予め設定された基準レベル以下になったと判断されたとき、通話内容認識部は、入力部から入力された通話入力を認識し、通話入力を通話内容データに変換し、通話内容補助データ生成部は、通話内容認識部によって変換された通話内容データを基に通話入力に関連する通話内容補助データを生成する構成を有する。

この構成により、通話品質レベルが予め設定された基準レベル以下になると、入力部から入力された通話入力を認識し、それを基に通話内容補助データが生成され、生成された通話内容補助データが通話中の相手に送信されるため、通話品質が悪くなって通話が困難な状態になっても、通話内容補助データによって通話内容を相手に伝達することができ、通話を継続することが可能になる。したがって、音声通話中は、音声による表現や臨場感を充分に保ち、通話品質が悪くなった場合でも音声による表現や臨場感を出来る限り保つことが可能になる。また、通話品質レベルが予め設定した基準レベル以下になったときのみ、入力部からの入力情報の認識を可能にしており、したがって、常時認識を行い、常時通話内容補助データを送信する場合に比べ、装置負荷、回線負荷を極力少なくすることが可能になる。

また、本発明の通信端末装置は、送信部が、入力部からの通話入力を送信する第１送信部と、通話内容補助データ生成部によって生成された通話内容補助データを送信する第２送信部とを備えた構成を有する。

この構成により、第１送信部からは入力部からの通話入力を送信でき、第２送信部からは内容補助データ生成部によって生成された通話内容補助データを送信できる。

また、本発明の通信端末装置は、予め設定された基準レベルとして、第１基準レベルと、第１基準レベルより低い第２基準レベルとを備え、通話品質判断部において、通話品質レベルが第１基準レベル以下になったと判断されたとき、通話内容認識部が入力部から入力された通話入力を認識し、通話入力を通話内容データに変換する動作を開始し、通話内容補助データ生成部が通話内容補助データを生成し、通話品質レベルが第２基準レベル以下になったと判断されたとき、送信部が、生成された通話内容補助データを通話中の相手に送信開始する構成を有する。

この構成により、通話品質レベルが第１基準レベル以下になったとき、入力部からの通話入力を認識し、通話内容データに変換する動作を開始し、通話内容補助データ生成部が通話内容補助データを生成し、第１基準レベルより低い第２基準レベル以下になったとき、生成された通話内容補助データの送信を開始することになり、通話内容補助データの送信を開始する前には、必ず、通話入力の通話内容データへの変換も開始しており、通話内容補助データの送信前に必ず通話内容補助データの変換が行われていることを保証している。

また、本発明の通信端末装置は、予め設定された基準レベルとして、第１基準レベルと、第１基準レベルより低い第２基準レベルとを備え、通話品質判断部において、通話品質レベルが第１基準レベル以下になったと判断されたとき、通話内容認識部が入力部から入力された通話入力を認識し、通話入力を通話内容データに変換する動作を開始し、通話品質レベルが第２基準レベル以下になったと判断されたとき、通話内容補助データ生成部が通話内容補助データを生成し、送信部が、生成された通話内容補助データを通話中の相手に送信開始する構成を有する。

この構成により、通話品質レベルが第１基準レベル以下になったとき、入力部からの通話入力を認識し、通話内容データに変換する動作を開始し、第１基準レベルより低い第２基準レベル以下になったとき、通話内容補助データ生成部が通話内容補助データを生成し、生成された通話内容補助データの送信を開始することになり、通話内容補助データの送信を開始する前には、必ず、通話入力の通話内容データへの変換も開始しており、通話内容補助データの送信前に必ず通話内容補助データの変換が行われていることを保証している。

また、本発明の通信端末装置は、通話内容データを保存する通話内容データバッファを有し、通話内容補助データ生成部が通話内容データバッファに保存された通話内容データを基に通話内容補助データを生成する構成を有する。

この構成により、認識され、変換された通話内容データが通話内容データバッファに保存されており、保存された通話内容データを基に、通話内容補助データを生成することができ、通話内容を欠如することなく相手に伝達することが可能になる。

また、本発明の通信端末装置は、通話品質レベルが第２基準レベル以下になっている状態で、通話品質判断部において、通話品質レベルが予め設定された第３基準レベルを上回ったと判断したとき、通話内容補助データの送信を停止し、通話品質レベルが第１基準レベル以下になっている状態で、通話品質判断部において、通話品質レベルが予め設定された第４基準レベルを上回ったと判断したとき、通話内容認識部による通話入力の通話内容データへの変換を停止する構成を有する。

この構成により、通話品質レベルが予め設定された第３基準レベルおよび第４基準レベルを上回ったときに、それぞれ、通話内容補助データの送信を停止し、また、通話入力の通話内容データへの変換を停止する。したがって、通話入力を通話内容データに変換したり、通話内容データから通話内容補助データを生成し、送信したりするのは、通信品質レベルが予め設定された基準レベル以下である間だけとすることができる。

また、本発明の通信端末装置は、通話内容補助データの送信を停止させるための予め設定された第３基準レベルが第２基準レベルより高く、通話入力の通話内容データへの変換を停止させるための予め設定された第４基準レベルが第１基準レベルより高い構成を有する。

この構成により、通話品質レベルが予め設定された第１基準レベルまたは第２基準レベル以下になった場合には、それぞれそれより高い第３基準レベルまたは第４基準レベルを上回らない限り、それぞれ元の状態に戻らないことになり、動作にヒステリシスを有するため、その動作が安定する。

また、本発明の通信端末装置は、入力部から入力された通話入力が音声入力であり、通話内容認識部による認識が音声認識であり、通話内容補助データがテキストデータである構成を有する。

この構成により、通話は音声で行い、通話品質が悪くなって通話が困難になったときには、テキストデータで通話内容を補助データとして相手に送信することができ、相手はテキストデータを表示部などに表示し、表示部に表示されたテキストデータにより、通話内容を理解することができる。

また、本発明の通信端末装置は、入力部から入力された通話入力が通話入力に関連する画像入力であり、通話内容認識部による認識が画像入力の認識であり、通話内容補助データがテキストデータである構成を有する。

この構成により、音声が聞き取り難い場合でも、口などの動きを認識して、それを基に通話内容補助データを生成し、相手に送信することができ、相手との通話をより安定的に行うことが可能になる。

また、本発明の通信端末装置は、相手から送信された通話内容補助データを受信する受信部と、受信した通話内容補助データを表示する表示部とを更に備えた構成を有する。

この構成により、相手からの通話内容補助データを受信し、それを表示部に表示することができ、相手が何を話しているかを、表示部の表示によって容易に知ることが可能になる。

また、本発明の通信端末装置は、受信部が、通話入力を受信する第１受信部と、通話内容補助データを受信する第２受信部とを備えた構成を有する。

この構成により、第１受信部では通話入力を受信でき、第２受信部では通話内容補助データを受信できる。

また、本発明の通信端末装置は、通話品質レベルが、予め設定された一定時間内のハンドオーバー回数に基づいて得られる構成を有する。

この構成により、一定時間内のハンドオーバー回数が予め定めた所定の回数を超えたとき、通話品質レベルが予め設定された基準レベル以下になったと判断することが可能になる。

また、本発明の通信端末装置は、通話品質レベルが、所定時間内の基地局からの無線電波の平均の受信電界強度に基づいて得られる構成を有する。

この構成により、無線電波の平均受信電界強度が予め定めた所定値以下になったとき、通話品質レベルが予め設定された基準レベル以下になったと判断することが可能になる。

また、本発明の通信端末装置は、送信部は、それぞれ同期をとるためのタイムスタンプが付与された、入力部からの通話入力と、生成された通話内容補助データとを、通話中の相手に送信する構成を有する。

この構成により、受信側でタイムスタンプを利用して、通話入力と通話内容補助データを同期再生することができる。

また、本発明の通信端末装置は、受信部は、相手から送信された通話内容補助データおよび通話入力を受信し、受信した通話内容補助データおよび通話入力を、それぞれそれらに付与されたタイムスタンプに基づいて同期をとる構成を有する。

この構成により、受信部で受信した通話入力および通話内容補助データを同期再生することができる。

また、本発明の通信端末装置は、第１送信部は、回線交換またはパケット交換のいずれか一方によって、第２送信部は、パケット交換によってそれぞれモバイル網にアクセスする構成を有する。

この構成により、通話の送信は回線交換またはパケット交換を、通話内容補助データの送信はパケット交換を利用することで、通話と同時に通話内容補助データの送信を行うことが可能となる。

また、本発明の通信端末装置は、第１送信部および第２送信部の少なくとも一方が、公衆または構内のＩＰネットワークにアクセスする構成を有する。

この構成により、入力部からの通話入力、通話内容補助データ生成部によって生成された通話内容補助データを、共に公衆または構内のＩＰネットワークを通して送信することができる。

また、本発明の通信端末装置は、第１送信部または第２送信部が複数のネットワークの１つに選択的にアクセス可能であり、予め設定した基準レベルがそれぞれのネットワークに対応するように設定されている構成を有する。

この構成により、複数のネットワークの内、いずれが選択された場合も、その選択されたネットワークに対応する基準レベルが予め基準レベルとして設定されているため、第１送信部と第２送信部が選択したネットワーク特性に合わせた基準レベルの設定が可能となる。

また、本発明の通信端末装置は、通話内容補助データを送受信するための通信プロトコルとして、ＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、またはＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）のいずれか１つを用いる構成を有する。

この構成により、携帯電話に搭載された各種ＩＰプロトコルを用いて通話内容補助データの送信を行うことが可能となる。

本発明の通信端末装置は、入力部から入力された通話入力を認識し、通話入力を通話内容データに変換する通話内容認識部と、通話内容認識部によって変換された通話内容データを基に通話入力に関連する通話内容補助データを生成する通話内容補助データ生成部と、通話品質レベルが予め設定された基準レベル以下かどうかを判断する通話品質判断部と、通話品質判断部において通話品質レベルが予め設定された基準レベル以下になったと判断されたとき、生成された通話内容補助データを通話中の相手に送信する送信部とを備えた構成を有することにより、通話品質が悪くなって通話が困難な状態になっても、通話内容補助データによって通話内容を相手に伝達することができ、通話を継続することが可能になる。また、通話品質レベルが予め設定した基準レベル以下になったときに、入力部からの通話入力の認識を可能にしており、常時認識を行い、常時通話内容補助データを送信する場合に比べ、回線負荷、端末負荷などを少なくすることができる。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１における通信端末装置の概略構成を示すブロック図である。

図１に示すように、本発明の実施の形態における通信端末装置１０は、音声を入力するマイクなどの音声入力部１０２と、テレビ電話のための画像を取り込むカメラなどの画像入力部１０３と、これらの入力部１０２、１０３の出力である音声情報、画像情報などをそれぞれ入力とする入力インタフェース部１０４を備えている。

また、通信端末装置１０は、音声通話時には、音声入力部１０２からの音声情報を送信制御し、テレビ電話時には、音声入力部１０２からの音声情報と画像入力部１０３からの画像情報とをそれぞれ多重化して送信制御する通話入力データ送信制御部１０５を備えている。

また、通信端末装置１０は、音声データ、静止画像データ、動画像データ、テキストデータ等のマルチメディアデータの一つまたは複数の送受信を取り扱う、回線方式による第１送受信部１０６およびパケット交換方式による第２送受信部１０７を有する送受信部１０８を備えている。

また、通信端末装置１０は、通話品質の判断要素となる通信品質レベルを送受信部１０８から検知する通信品質検知部１０９を備えている。

本実施の形態においては、通信品質検知部１０９は、通信品質レベルとして基地局からの無線電波の受信電界強度を受信し、単位時間当たりの平均受信電界強度を算出して通話品質レベルを得ている。

また、通信端末装置１０は、通信品質検知部１０９によって検知された通信品質レベルから得られた通話品質レベルを基に現在の通話品質状態を判断し、その通話品質状態の判断結果によって通話内容認識部１１１と通話内容補助データ送信制御部１１４をそれぞれ制御する通話品質判断部１１０を備えている。

本実施の形態においては、通話品質判断部１１０は、通信品質検知部１０９で検知された通信品質レベルを基にして得られた通話品質レベルが、予め定められた基準レベルより大きいか小さいかによって現在の通話品質状態を判断するように構成されている。

したがって、この構成により、通信品質検知部１０９から得られた無線電波の平均受信電界強度が予め定めた値以下になったとき、通話品質レベルが予め設定された基準レベル以下になったと判断することが可能になる。

また、通信端末装置１０は、入力インタフェース部１０４に入力された音声入力部１０２からの音声通話内容を認識してそれぞれ通話内容データに変換する通話内容認識部１１１と、通話内容認識部１１１で認識され変換された通話内容データをそれぞれ保存し管理する通話内容データバッファ１１２とを備えている。

また、通信端末装置１０は、通話内容データバッファ１１２に保存された通話内容データを基に、音声データ、静止画像データ、動画像データ、テキストデータ等のマルチメディアデータの一つまたは複数によって表される、例えば、通話内容の理解を助けるような、通話内容補助データを作成する通話内容補助データ生成部１１３を備えている。

また、通信端末装置１０は、通話内容補助データ生成部１１３で生成された通話内容補助データの送信制御を行う通話内容補助データ送信制御部１１４を備えている。

また、通信端末装置１０は、通話入力データ送信制御部１０５によって送信制御される通話入力データ、または、通話内容補助データ送信制御部１１４によって送信制御される通話内容補助データのそれぞれの宛先情報を保存し管理する宛先情報データベース１１５を備えている。

また、通信端末装置１０は、画像入力部１０３で入力された画像データや送受信部１０８で受信された通話入力データ、通話内容補助データなどが、出力インタフェース部１１８を介してそれぞれ入力され、音声を出力する受話器やスピーカなどの音声出力部１１６と、画像やテキストデータなどを表示する液晶表示器などの表示部１１７とを備えている。

また、通信端末装置１０は、音声通話時には送受信部１０８で受信した音声データを出力インタフェース部１１８を介して音声出力部１１６に出力し、テレビ電話時には送受信部１０８で受信した音声データおよび画像データをそれぞれ出力インタフェース部１１８を介して音声出力部１１６および表示部１１７に出力するように制御する出力制御部１１９を備えている。

また、通信端末装置１０は、各種指令、情報を入力する操作部１２０と、上記の各部を含む通信端末装置全体の制御を行う主制御部１２１とを備えている。

また、第１送受信部１０６および第２送受信部１０７を含む送受信部１０８は、送信、受信を行う部分であり、送信部、受信部をそれぞれが備えていることは言うまでもないことである。

なお、本実施の形態では、上記したように、通信品質検知部１０９が、基地局からの無線電波の受信電界強度に基づいて通話品質レベルを算出し、その算出結果に基づいて通話品質判断部１１０が通話品質状態を判断したが、これ以外に、例えば、通信品質検知手段１０９が、第１送受信部１０６で行われている通話におけるハンドオーバーの発生回数を通信品質レベルとして検出し、単位時間当たりのハンドオーバー発生回数を通話品質レベルとして算出し、その算出結果に基づいて通話品質判断部１１０が通話品質状態を判断することも可能である。

本実施の形態の通信端末装置を用いた通信システムは、通信端末装置１０と同じ構成を有する通信端末装置２０と、通信端末装置１０、２０のそれぞれの第１送受信部１０６の間を繋ぐ第１通信ネットワーク１３０と、通信端末装置１０、２０のそれぞれの第２送受信部１０７の間を繋ぐ第２通信ネットワーク１３１とで構成される。

次に、本実施の形態における通信端末装置について、その動作を説明する。

まず、本実施の形態における通信端末装置１０では、音声通話の場合は、操作部１２０を用いて通話したい相手の電話番号を入力するなどして、通話したい相手を呼出し、通話したい相手が応答すると、音声入力部１０２、音声出力部１１６を用いて通話したい相手と通話することが可能になる。そして、通話が可能になると、例えば、図２の表示部１１７の画面の例に示すように、現在通話中であることを示す表示４０１や、通話時間が何秒であるかを示す表示４０２や、通話中の相手が誰であるかを示す表示４０３などがそれぞれ表示部１１７に表示される。

また、テレビ電話通話の場合は、操作部１２０を用いてテレビ電話したい旨を指定するなどして、通話したい相手とテレビ電話することが可能になる。そして、テレビ電話の場合には、例えば、図３の表示部１１７の画面の例に示すように、表示部１１７に送受信部１０８を介して受信した相手の画像５０１が大きく表示され、更に、画像入力部１０３を用いて入力した自己の画像５０２が小さく表示される。勿論、この場合も、通話中であることの表示５０３や通話時間が何秒であるかの表示５０４は共に行われる。

ここで、上記のようにして、通信端末装置１０と通信端末装置２０が通話中であるとき、通話品質レベルが予め定めた基準レベルを下回ったと判断された場合の、音声認識処理開始に関する動作について、図４に示すフローチャートを用いて説明する。

通信端末装置１０の通信品質検知部１０９は、送受信部１０８において受信した、相手の通信端末装置２０からの通話の無線電波の受信電界強度を通信品質レベルとして検知しており、単位時間当たりの平均受信電界強度として通信品質検知部１０９で算出された通話品質レベルが予め設定された第１基準レベル以下であるかどうかを通話品質判断部１１０において判断する（Ｓ４０１）。

ステップＳ４０１で、通信品質検知部１０９で得られた通話品質レベルが予め設定された第１基準レベル以下であった場合（Ｓ４０１のＹｅｓ）には、通話品質判断部１１０の制御により、通話内容認識部１１１は、入力インタフェース部１０４に入力された音声入力部１０２からの音声情報である通話内容の認識を開始し、通話内容を表す通話内容データに変換する（Ｓ４０２）。そして、変換された通話内容データを通話内容データバッファ１１２に記憶する（Ｓ４０３）。

ステップＳ４０３の後、通話品質判断部１１０は、通信品質検知部１０９で得られた通話品質レベルが予め設定された第１基準レベルより低い第２基準レベル以下かどうかを判断する（Ｓ４０４）。

ステップＳ４０４において、通信品質検知部１０９で得られた通話品質レベルが予め設定された第１基準レベルより低い第２基準レベル以下であった場合（Ｓ４０４のＹｅｓ）には、通話内容補助データ生成部１１３は、通信内容データバッファ１１２に記憶された通話内容データを基に通話内容補助データの生成を開始する（Ｓ４０５）。そして、第２送受信部１０７によるパケット交換での通信が可能か否かを判断し（Ｓ４０６）、可能でなければ（Ｓ４０６のＮｏ）、相手の通信端末装置２０の第２送受信部１０７とのパケット交換による通信を確立する（Ｓ４０７）。

なお、ステップＳ４０４において、通信品質検知部１０９で得られた通話品質レベルが予め設定された第１基準レベルより低い第２基準レベル以下でなかった場合（Ｓ４０４のＮｏ）には、通話品質判断部１１０は、通信品質検知部１０９で得られた通話品質レベルの第２基準レベルとの大小の判断を繰り返す。

ステップＳ４０７の後、通話内容補助データ生成部１１３で生成された通話内容補助データを、通話内容補助データ送信制御部１１４の制御の基で、送受信部１０８から通話中の相手の通信端末装置２０の送受信部１０８に、パケット交換方式により送信開始する（Ｓ４０８）。

ステップＳ４０６で、相手の通信端末装置２０との間ですでにパケット交換方式による通信が確立されている場合は（Ｓ４０６のＹｅｓ）、生成された通話内容補助データを、通話内容補助データ送信制御部１１４の制御の基で、送受信部１０８から通話中の相手の通信端末装置２０の送受信部１０８に、そのまま送信開始する（Ｓ４０８）。

本実施の形態では、ステップＳ４０１で、通信品質検知部１０９で得られた通話品質レベルが予め設定された第１基準レベル以下でない場合（Ｓ４０１のＮｏ）には、この一連の処理を終了し、通話中は常に図４の「スタート」から「エンド」までの動作を所定時間間隔で定期的に繰り返す。

ここで、図５、図６は、音声通話時の通話内容補助データの表示例であり、図５は、相手（「Ａ君」）の音声４０４のみを文字として表示した場合の表示例、図６は、相手（「Ａ君」）の音声４０４に加え、自己の音声４０５をも文字として表示した場合の表示例を示している。

また、図７、図８は、テレビ電話時の通話内容補助データの表示例であり、図７は、図３に示すような自己の画像５０２を表示せず、その部分に相手（「Ａ君」）の音声５０５、自己の音声５０６をそれぞれ文字として表示した場合の表示例、図８は、相手（「Ａ君」）の画像５０１、自己の画像５０２にそれぞれ関連付けて相手の音声５０５、自己の音声５０６をそれぞれ文字として表示した場合の表示例を示している。

したがって、上記のように、通信端末装置１０と通信端末装置２０が通話中であるとき、通話品質レベルが予め定めた基準レベルを下回ったと判断された状況においては、音声通話の場合は、それぞれの通信端末装置１０、２０では、図５および図６に示すように、それぞれの表示部１１７に、受信した通話内容補助データ４０４、４０５が表示される。同様に、テレビ電話通話の場合は、図７および図８に示すように、それぞれの表示部１１７に、受信した通話内容補助データ５０５、５０６が表示される。

次に、上記のように、通信端末装置１０、２０が、通話内容データおよび通話内容補助データを、それぞれ回線交換方式およびパケット交換方式で通信している状態で、通話品質レベルが予め定めた基準レベルを上回ったと判断された場合の、通話内容認識処理の終了に関する動作について、図９に示すフローチャートを用いて説明する。

通信端末装置１０が通話内容補助データを通話中の相手の通信端末装置２０に送信している状態で、通信品質検知部１０９で得られた通話品質レベルが予め設定された第２基準レベルより高い第３基準レベル以上になったと通話品質判断部１１０が判断した場合（Ｓ９０１のＹｅｓ）には、通話品質判断部１１０の制御により、通話内容補助データ生成部１１３で行う通話内容補助データの生成を終了し（Ｓ９０２）、通話内容補助データの送信を終了する（Ｓ９０３）。

ステップＳ９０３の後、通信端末装置１０の通信品質検知部１０９で得られた通話品質レベルが予め定めた第１基準レベルより高い第４基準レベルを上回ったと通話品質判断部１１０が判断した場合（Ｓ９０４のＹｅｓ）、通信端末装置１０は、通話品質判断部１１０の制御により、通話内容認識部１１１での通話内容の認識を終了する（Ｓ９０５）。

ステップＳ９０４で通信品質検知部１０９で得られた通話品質レベルが予め定めた第１基準レベルより高い第４基準レベルを上回っていないと通話品質判断部１１０が判断した場合（Ｓ９０４のＮｏ）は、通話品質判断部１１０の制御により、通信品質検知部１０９で得られた通話品質レベルの第４基準レベルとの大小の判断を繰り返す。

なお、ステップＳ９０１において、通話内容補助データを通話中の相手に送信している状態で、通信品質検知部１０９で得られた通話品質レベルが予め設定された第２基準レベルより高い第３基準レベル以上になっていないと通話品質判断部１１０が判断した場合（Ｓ９０１のＮｏ）には、この一連の処理を終了し、通話内容補助データの送信中は、常に図９の「スタート」から「エンド」までの動作を、所定時間間隔ごとに繰り返す。

このように、本実施の形態によれば、通話品質レベルが第１基準レベル以下になれば、通話内容を表す通話内容を認識し、それを通話内容データに変換して通話内容データバッファ部１１２に蓄積し、第２基準レベル以下になれば、その蓄積された通話内容データを基に通話内容補助データを生成し、通話中の相手に送信するように構成されている。

したがって、本実施の形態によれば、通信品質レベルの検知に基づいた通話品質レベルを判断し、通話品質レベルが低下して、相手の音声が聞き取れなくなるなど通話品質が劣化したと判断した場合、音声通話を継続しながら、それぞれ、図５または図６、或いは、図７または図８に示すように、テキストデータなどの通話内容補助データを用いて、それぞれ相手の音声を文字として表示部１１７に表示することができ、表示部１１７に表示された文字から相手がどのように話しているかなど、通話内容情報を容易に正確に認識することができる。

また、本実施の形態によれば、通話品質レベルが第１基準レベル以下になったとき、音声入力部１０２からの音声情報を認識し、通話内容データに変換して通話内容データバッファ１１２に記憶するようにし、第２基準レベル以下になったとき、通話内容データバッファ１１２に記憶された通話内容データを基に通話内容補助データを生成し、相手に送信するようにしているため、通話品質レベルが第２基準レベル以下に低下して相手の音声が完全に聞こえなくなる前に、音声入力部１０２からの音声を認識し、通話内容データバッファ１１２に記憶しておくことができ、相手の音声が完全に聞こえなくなる前の音声から文字として欠かさず通話内容を表示することができ、互いに相手が何を話しているかを欠如することなく相手に伝えることができる。

なお、本実施の形態によれば、第１、第２の基準レベルの外に、第１、第２の基準レベルよりそれぞれ若干高い第４、第３の基準レベルを用い、通話品質レベルがそれぞれ第４、第３基準レベルより高くなったとき、それぞれ通話内容の認識や通話内容補助データの生成および送信を終了するようにしているが、本発明は、第１と第４の基準レベルが同じであり、また第２と第３の基準レベルが同じであっても同様の効果が得られることは言うまでもない。

また、本実施の形態では、通話品質レベルが第２の基準レベル以下になったときに、通話内容補助データ生成部１１３で通話内容補助データを生成し、送受信部１０８より送信したが、本発明は、通話品質レベルが第１の基準レベル以下になったときに、通話内容認識部１１１で音声入力部１０２からの音声情報を認識し、通話内容を表す通話内容データに変換し、さらに変換された通話内容データから通話内容補助データ生成部１１３で通話内容補助データを生成しておき、通話品質レベルが第２の基準レベル以下になったときに、通話内容補助データを送受信部１０８より送信するようにしても、同様の効果が得られることは言うまでもない。

（実施の形態２）
本発明の実施の形態２における通信端末装置は、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）モバイルネットワークに対応しており、通話内容補助データを送受信するのにパケット通信を用いている。

図１０（Ａ）、（Ｂ）は、本実施の形態において通話内容補助データを送受信するのに用いられるパケット通信のデータ構造を示す図で、図１０（Ａ）は送信要求パケットデータの構造を、図１０（Ｂ）は送信要求応答パケットデータの構造をそれぞれ示している。

通話内容補助データの送信要求パケットデータは、図１０（Ａ）に示すように、ヘッダ部１００１と、ペイロード部１００２とで構成されている。ヘッダ部１００１は、通話内容補助データの送信リクエストに関する命令を指定する通話内容補助データ送信要求指定部分１００３と、通話内容補助データの送信要求といった命令以外の要素全てを指定することができるオプションデータ指定部分１００４とで構成されている。

ペイロード部１００２は、図１に示す通話内容認識部１１１によって認識された通話内容データを基に通話内容補助データ生成部１１３が生成した通話内容補助データが格納される通話内容補助データ部分１００５で構成されている。なお、オプションデータ指定部分１００４は、指定する必要がない場合、指定しなくてもよい。

通話内容補助データの送信要求応答パケットデータは、図１０（Ｂ）に示すように、ヘッダ部１００６のみで構成され、そのヘッダ部１００６は、通話内容補助データの送信リクエストに関する命令を指定する通話内容補助データの送信要求応答指定部分１００７と、通話内容補助データの送信要求応答といった命令以外の要素全てを指定することができるオプションデータ指定部分１００８とで構成されている。なお、オプションデータ指定部分１００８は、指定する必要がない場合、指定しなくてもよい。

次に、本実施の形態における通信端末装置では、Ｗ−ＣＤＭＡモバイルネットワークに対応しているが、その構成は、基本的に、実施の形態１と同じく、図１に示す通りである。

すなわち、本実施の形態では、図１において、通話内容補助データ生成部１１３は、例えば、テキストデータが生成される。通信品質検知部１０９は、例えば、送受信部１０８で発生した、通信品質レベルとしてのハンドオーバーの回数を検知し、一定時間内におけるハンドオーバー発生回数を通話品質レベルとして算出するように構成されている。

通話品質判断部１１０は、本実施の形態では２つの基準レベルを設定している。ここで、２つの基準レベルとは、通話内容認識部１１１によって通話内容を認識し、通話内容データに変換し、変換された通話内容データを通話内容データバッファ１１２に保存しておき、送信に備える予備処理を行う基準となる第１基準レベル（Ｌ１）と、通話内容データバッファ１１２に保存済の通話内容データを基に通話内容補助データ生成部１１３で通話内容補助データを生成し、生成された通話内容補助データを通話内容補助データ送信制御部１１４の制御の基で送受信部１０８を介して送信開始される基準となる第２基準レベル（Ｌ２、ここで、Ｌ１≧Ｌ２）である。

送受信部１０８は、Ｗ−ＣＤＭＡに対応するために、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）で規定されているマルチコール機能を用い、第１送受信部１０６で回線交換による音声通話、第２送受信部１０７でパケット交換によるテキストデータの送受信を行うように構成している。

次に、本実施の形態における通信端末装置の動作について説明する。動作の基本的なフローは図４、図９と同様であるが、本実施の形態ではその詳細を示すシーケンス図を用いて説明する。

図１１〜図１３は、本実施の形態における通信端末装置の音声認識処理の開始に関する動作を示す第１〜第３のシーケンス図である。図１４は、通話内容データバッファ１１２に記憶された通話内容データの例を示した図であり、図１５は、宛先情報データベース１１５に記憶された宛先情報の例を示した図である。図１６〜図１８は、本実施の形態における通信端末装置の通話内容認識処理の終了に関する動作を示す第１〜第３のシーケンス図である。図１９は、本実施の形態における通信端末装置の状態遷移を示す図である。

先ず、図１１〜図１３に示すシーケンス図と、図１９の状態偏移を示す図を用いて、音声認識処理の開始、通話内容補助データとしてのテキストデータの送信、受信データの出力について説明する。

図１１に示すように、２つの通信端末装置１０、２０が、送受信部１０８（図１の第１送受信部１０６）を用いて回線交換方式１１０１で互いに通信制御を行い、通話入力データ送信状態（通常通話状態）１１０２にあるものとする。ここで、通信端末装置１０、２０の状態として、音声通話やテレビ電話などの通話を開始していない状態を、図１９に示すように、待受け状態（初期状態）１１００とすると、現在は、待受け状態（初期状態）１１００から、通話要求となる発信／着信による通話開始１９０２によって、通話入力データ送信状態（通常通話状態）１１０２に遷移した状態と言うことができる。

本実施の形態においては、通信品質検知部１０９は、図１１に示すように、送受信部１０８（図１の第１送受信部１０６）を介して実行されている通信の状態を監視、すなわちハンドオーバー監視１１０３しており、ハンドオーバーを検出１１０４したとき、そのハンドオーバーの発生回数を通信品質レベルとして検出している。さらに、通信品質検出部１０９は、ある一定時間毎のハンドオーバー回数を通話品質レベルとして算出し、これをハンドオーバー通知１１０５として通話品質判断部１１０に通知している。

通話品質判断部１１０は、受信したハンドオーバー通知１１０５によって確認できる通話品質レベルが、通話品質判断部１１０において、予め設定した第１基準レベル（Ｌ１）以下になったと判断したとき、通話内容認識処理の開始決定１１０６を行い、図１２に示すように、通話内容認識処理開始要求１１０８を通話内容認識部１１１に送信する。

この時点では、通信端末装置１０の状態が、図１９において、通話入力データ送信状態（通常通話状態）１１０２から、通信品質レベルが第１基準レベル（Ｌ１）以下１９０３になったことによって、通話入力データ送信および通話内容認識予備処理状態１１０７に遷移した状態である。

通話内容認識処理開始要求１１０８を受信した通話内容認識部１１１は、図１２に示すように、音声認識によって作成される通話内容データを保存するために、通話内容データ保存要求１１０９を通話内容データバッファ１１２に送信する。ここで、通話内容データバッファ１１２は、例えば、話を開始した時刻（発話時刻）および通話内容の認識を行い、図１４に示すように、これらを保存した通話内容データの保存、管理を行う。

通話内容データ保存要求１１０９を受信した通話内容データバッファ１１２は、通話内容データ保存要求応答１１１０を通話内容認識部１１１に返信し、通話内容データ保存要求応答１１１０を受信した通話内容認識部１１１は、通話内容認識処理開始要求１１０８の応答として通話品質判断部１１０に対し通話内容認識処理開始要求応答１１１１を送信する。そして、通話内容認識部１１１は、音声認識を行って通話内容データの保存を開始し、（通話入力データ送信および通話内容認識予備処理状態）１１０７となる。このとき、通話入力データ送信および通話内容認識予備処理状態１１０７が長く続き、通話内容データバッファ１１２における保存通話内容データの不要な増加を防ぐために、通話内容データバッファ１１２は、データ量の管理を行う。

次に、図１２に示すように、通話品質レベルが第１基準レベル（Ｌ１）以下であって、通信端末装置１０が通話入力データ送信および通話内容認識処理状態１１０７であるときに、通信品質検知部１０９からのハンドオーバー通知１１１２によって確認できる通話品質レベルが通話品質判断部１１０において予め設定された第２基準レベル（Ｌ２）以下になった場合、通話品質判断部１１０は、通話内容補助データの送信決定１１１３を行い、図１３に示すように、通話内容補助データ送信制御部１１４に送信制御開始要求１１１５を送信する。

この時点で、通信端末装置１０の状態は、図１９において、通話入力データ送信および通話内容認識予備処理状態１１０７から、通信品質が第２基準レベル（Ｌ２）以下１９０４になったことによって、通話入力データおよび通話内容補助データ送信状態１１１４に遷移した状態にある。

送信制御開始要求１１１５を受信した通話内容補助データ送信制御部１１４は、送信先の宛先情報を得るために、図１３に示すように、宛先情報データベース１１５に宛先情報取得要求１１１６を送信する。

宛先情報データベース１１５は、現在通話中の相手の通信端末装置２０にテキストデータを送信するためのアドレス情報を、例えば、図１５に示すように記憶している。すなわち、アドレス情報として、例えば、相手の電話番号、宛先登録名、Ｅ−ｍａｉｌアドレス、ＳＩＰ−ＵＲＩ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ−Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）などをそれぞれ対応付けた状態で保存、管理している。

したがって、宛先情報取得要求１１１６に対して、宛先情報データベース１１５は、要求された宛先情報を宛先情報取得要求応答１１１７として通話内容補助データ送信制御部１１４に返信する。

宛先情報を取得した通話内容補助データ送信制御部１１４は、送信データの生成を開始するために、通話内容補助データ生成開始要求１１１８を通話内容補助データ生成部１１３に送信する。

通話内容補助データ生成開始要求１１１８を受信した通話内容補助データ生成部１１３は、通話内容補助データを生成するための通話内容データを取得するために、通話内容データバッファ１１２に通話内容データ取得要求１１１９を送信する。通話内容データ取得要求１１１９を受信した通話内容データバッファ１１２は、要求されたテキストデータを通話内容データ取得要求応答１１２０として通話内容補助データ生成部１１３に送信する。

このとき送信する通話内容補助データは、通話内容補助データの送信決定１１１３が行われる直前に変換されていた通話内容データが先頭になる。通話内容データ取得要求応答１１２０を受信した通話内容補助データ生成部１１３は、通話内容補助データを生成し（本実施例では、通話内容補助データとしてテキストデータを生成する）、通話内容補助データ送信制御部１１４に、通話内容補助データ生成開始要求応答１１２１を送信する。

通話内容補助データ送信制御部１１４は、通話内容補助データ生成開始要求応答１１２１を受信すると、通話内容補助データの送信を行うために、通話内容補助データ送信開始要求１１２２を主制御部１２１に送信する。

主制御部１２１は、通話内容補助データであるテキストデータの送信を行うために、パケット回線網セッション開始要求１１２３を送受信部１０８に通知し、送受信部１０８（図１の第２送受信部１０７）が通信端末装置２０の送受信部１０８とパケット交換ネゴシエーション１１２４を行うことで、通信端末装置２０の送受信部１０８との間でパケット交換方式１１２５によるセッションが張られる。セッションが張られると、通信端末装置１０の送受信部１０８がパケット回線網セッション開始要求応答１１２６を主制御部１２１に返信する。

主制御部１２１は、セッション開始を確認すると、通話内容補助データ送信要求１１２７を送受信部１０８に送信する。これにより、通話内容補助データ送信制御部１１４は、通話内容データバッファ１１２に保存済である通話内容データから通話内容補助データ生成部１１３によって生成された通話内容補助データの送信制御を行う。そして、通話内容補助データ送信制御部１１４は、主制御部１２１を介して、通話内容補助データであるテキストデータを、送受信部１０８（図１の第２送受信部１０７）を用いて通信端末装置２０の送受信部１０８へ通話内容補助データ送信１１２８する。

テキストデータを送信すると、通信端末装置１０の送受信部１０８は、通話内容補助データ送信要求応答１１２９を主制御部１２１に返信し、通信端末装置１０は、次の通話内容補助データ送信処理を開始する。

ここで、通話内容補助データを送信するときのパケット構造は、図１０（Ａ）に示す通りであって、本実施の形態では、通信端末装置２０が通話内容補助データ送信１１２８を受信したタイミングで、通話内容補助データであるテキストデータを、通信端末装置２０の出力インタフェース部１１８より出力する。そのため、オプションデータ指定部分１００４には、特別な拡張オプションを指定していない。また、通話内容補助データに対する応答データを送信するときのパケット構造は、図１０（Ｂ）に示す通りであって、この場合も、オプションデータ指定部分１００８には、通話内容補助データの場合と同様、特別な拡張オプションは指定していない。

このようにして、通話内容補助データが送信され、通信端末装置２０の送受信部１０８（図１の第２送受信部１０７）で受信されると、通信端末装置２０の送受信部１０８（図１の第２送受信部１０７）が、出力制御部１１９を介して出力インタフェース部１１８に受信データ出力要求１１３０を通知する。出力インタフェース部１１８が受信データ出力要求１１３０を受信すると、受信した通話内容補助データ（テキストデータ）を表示部１１７において、実施の形態１で説明したように、例えば、図５または図６、或いは、図７または図８のいずれかで画面表示する。

なお、上記動作において、パケット回線網セッション開始要求１１２３からパケット回線網セッション開始要求応答１１２６までの動作については、パケット通信セッションが張られていない場合に限り行う動作であり、パケット通信セッションが張られ、通話入力データおよび通話内容補助データ送信状態１１１４である場合には、これらの動作を除いた通話内容補助データ生成開始要求１１１８から通話内容補助データ送信要求応答１１２９までの動作を繰り返し実行することになる。

次に、図１６〜図１８に示すシーケンス図と図１９の状態偏移を示す図とを用いて、通話内容認識処理の終了、通話内容補助データ送信の終了の動作を説明する。

図１９に示す通話入力データおよび通話内容補助データ送信状態１１１４では、図１６に示すように、通信端末装置１０の送受信部１０８において、通話入力データと通話内容補助データであるテキストデータをそれぞれ回線交換方式１６０１、パケット交換方式１６０２に従い、共に送受信している。そして、この状態でも、通信品質検知部１０９によって通話中におけるハンドオーバー監視１６０３を行い、通信品質レベルとしてのハンドオーバーを検出１６０４する毎に、ある一定時間内に発生したハンドオーバー回数を通話品質レベルとして算出し、これをハンドオーバー通知１６０５として通話品質判断部１１０に送信している。

通話品質判断部１１０において、受信したハンドオーバー通知１６０５によって確認できる通話品質レベルが、予め設定された第２基準レベル（Ｌ２）以上になったと判断した場合、通話内容補助データの送信処理終了の決定１６０６を行い、図１７に示すように、通話内容補助データ送信制御終了要求１６０７を通話内容補助データ送信制御部１１４に送信する。

この時点での通信端末装置１０の状態は、図１９において、通話入力データおよび通話内容補助データ送信状態１１１４から、通信品質レベルが第２基準レベル（Ｌ２）以上１９０５になったことによって、通話入力データ送信および通話内容認識予備処理状態１１０７に遷移した状態にある。

通話内容補助データ送信制御終了要求１６０７を受信した通話内容補助データ送信制御部１１４は、送信データの生成を終了し、テキストデータの送信を終了させるために、通話内容補助データ送信終了要求１６０８を主制御部１２１へ、通話内容補助データ生成終了要求１６０９を通話内容補助データ生成部１１３へ送信する。

なお、このとき、通話内容補助データ送信処理終了決定１６０６が行われるまでに通話内容認識部１１１によって通話内容データに変換され、通話内容データバッファ１１２に保存された通話内容データに関しては、通話内容補助データ生成部１１３によって通話内容補助データとして生成し、すべて送信する。

通話内容補助データ生成終了要求１６０９を受信した通話内容補助データ生成部１１３は、通話内容補助データ生成終了要求応答１６１０を通話品質判断部１１０に送信する。

主制御部１２１は、通話内容補助データ送信終了要求１６０８を受信すると、通話内容補助データの送信を終了するために、通話内容補助データ送信終了要求１６１１を送受信部１０８に送信する。送受信部１０８は、通話内容補助データの送信を終了すると、通話内容補助データ送信終了要求応答１６１２を主制御部１２１に返信し、通話内容補助データであるテキストデータの送信を終了する。

このとき、ハンドオーバー通知１６０５によって確認できる通話品質レベルは、第１基準レベル（Ｌ１）以下であるため、音声認識処理によるテキストデータの保存は引き続き行われ、図１９に示すように、通信端末装置１０は、通話入力データ送信および通話内容認識予備処理状態１１０７にある。

次に、図１７に示すように、通信品質検知部１０９からのハンドオーバー通知１６１３によって確認できる通話品質レベルが、音声認識処理を開始することを判断する第１基準レベル（Ｌ１）以上になったと判断された場合、通話内容認識処理終了決定１６１４を行い、図１８に示すように、通話内容認識処理終了要求１６１５を通話内容認識部１１１に送信する。

この時点の通信端末装置１０の状態は、図１９において、通話入力データ送信および通話内容認識予備処理状態１１０７から通話品質レベルが第１基準レベル（Ｌ１）以上１９０６になったことによって、通話入力データ送信状態（通常通話状態）１１０２に遷移した状態である。

図１８に示すように、通話内容認識処理終了要求１６１５を受信した通話内容認識部１１１は、通話内容データ削除要求１６１６を通話内容データバッファ１１２に送信する。通話内容データの削除を行った通話内容データバッファ１１２は、通話内容データ削除要求１６１６に対する応答として通話内容データ削除要求応答１６１７を通話内容認識部１１１に返信する。通話内容データ削除要求応答１６１７を受信した通話内容認識部１１１は、通話内容認識処理終了要求１６１５の応答として通話内容認識処理終了要求応答１６１８を通話品質判断部１１０に返信し、通話内容認識部１１１による音声認識の終了を行う。

なお、ここで、通話の終了は、上記説明の中の全ての状態から行うことが可能である。すなわち、図１９に示すように、終話処理１９０７は、通話入力データ送信状態（通常通話状態）１１０２、通話入力データ送信および通話内容認識予備処理状態１１０７、通話入力データおよび通話内容補助データ送信状態１１１４のいずれでも行うことができ、終話処理１９０７を行うと、全ての状態を待受け状態（初期状態）１１００に戻すことができる。

以上のように、本実施の形態によれば、送信側の通信端末装置１０において、通話品質状態を予め設定した基準レベルを用いて判断し、通話品質状態が劣化した場合に、第１送受信部１０６を用いて音声通話を行うと共に、第２送受信部１０７を用いて通話内容補助データの送信を行い、受信側の通信端末装置２０において、通話を継続しながら、受信した通話内容補助データを表示部１１７において表示するようにしており、聞き取り難い音声は、通話内容補助データで補うことができ、全体として通話内容を欠如することなく通話することができる。

また、本実施の形態によれば、第１と第２の２つの基準レベルを有し、通話品質レベルが第２基準レベル以下になったとき、通話内容認識処理や通話内容補助データであるテキストデータの送信を行うようにしており、通話内容認識処理や通話内容補助データ送信処理を常時行うものに比べて、回線処理負荷や端末処理負荷を軽減することができる。

また、音声を中心とした通信であるため、音声による表現や臨場感を保つことができ、音途切れが引き起こる状況においても、入力音声データを音声認識し、変換した通話内容データを基に通話内容補助データを通話の補助データとして生成し、送信することで、音途切れによる通話情報の劣化を補完することができるため、音声による表現や臨場感、伝えたい通話内容と言った通話内容情報の欠如を防ぐことができる。

そして、通話品質判断部１１０に２段階の通話品質状態の判断基準を備えることで、通話品質レベルが第２基準レベル以下になったと判断された際に送信する通話内容補助データを、第１基準レベル以下になった時に通話内容認識処理を開始して通話内容データを保存することによって事前に用意することができるため、通話内容補助データの送信決定をした際に送信データをすぐに取り出すことができる。これによって、通話中の通話内容補助データ送信処理切替え時における通話内容補助データのデータ欠如を防ぐことができ、このような通話内容補助データを補助データとして用いることで、通話中の音途切れによる通話情報の劣化を防止することができる。

なお、本実施の形態では、通信ネットワークがＷ−ＣＤＭＡモバイル網に対応するように構成しているが、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｅｌｌｕｌａｒ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、その他のモバイル網や、その他の公衆網や、公衆および構内ＩＰネットワークなどの通信ネットワークであった場合でも、Ｗ−ＣＤＭＡで規定されているマルチコール機能を実現するような代替手段を用いるなどして、これらに対応するように構成しても良い。

また、本実施の形態では、通話内容補助データを送受信する際に、図１０（Ａ）、（Ｂ）に示すようなデータ構造のパケットデータを用いているが、通話内容補助データを送受信する際のデータ構造としては、これに限定されることなく、例えば、ＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）や、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、Ｅ−ｍａｉｌを送信するためのＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）などといった通信プロトコルに合わせたデータ構造、或いは、独自の拡張によって取り決めたデータ構造であってもよい。

また、本実施の形態では、受信側の通信端末装置が受信した通話入力データおよび通話内容補助データは、受信したタイミングでそれぞれ出力および表示するよう構成しているが、送信側において、入力されたデータにタイムスタンプを付与しておき、そのデータを基に通話内容補助データ送信要求データのオプションデータ指定部分１００４に、タイムスタンプを指定したデータ構造として、通話入力データと通話内容補助データにタイムスタンプを付与して送信し、受信側において、通話入力データと通話内容補助データを受信したとき、これらのデータに付与されたタイムスタンプを用いて、これらのデータの同期をとり、出力制御部１１９の制御の基で出力インタフェース部１１８から出力するように構成することでも可能である。このようにすれば、通話入力データと通話内容補助データとをそれぞれ同期をとって出力することができる。

また、本実施の形態では、送信音声データを音声認識によってテキストデータに変換し保存したデータを音声認識が終了する際に削除する構成としているが、通信終了時に削除を行うようにしても良い。

また、本実施の形態では、通話内容補助データを送信することを決定した後で、通信相手先の宛先情報を取得するように構成しているが、通話内容認識の開始後に宛先情報の取得を行うなど、通話内容補助データの送信のための宛先情報取得をいつ行うかは任意に設定しても良い。

また、本実施の形態では、通話内容補助データをテキストデータとして取り扱う構成としているが、通話内容補助データとして、静止画像データ、動画像データ、音声データのようなデータの１つ、または、複数を用いるようにしても良い。

さらに、実施の形態１、２では、第１送受信部１０６として回線交換方式の送受信部、第２送受信部１０７としてパケット交換方式の送受信部をそれぞれ用いているが、これらの送受信部１０６、１０７は、いずれも同種のまたは異種のパケット交換方式の送受信部であってもよい。

また、実施の形態１、２では、通話品質判断部１１０で通話品質レベルが予め設定された基準レベル以下になったと判断したとき、通話内容認識部１１１が通話入力を認識し、通話内容データに変換し、通話内容補助データ生成部１１３で通話内容補助データを生成するように構成しているが、通話内容補助データ生成部１１３で常に通話内容補助データを生成しておき、通話品質判断部１１０で通話品質レベルが予め設定された基準レベル以下になったと判断したとき、生成された通話内容補助データを送受信部１０８から送信するように構成しても良い。

また、実施の形態１、２では、第１送受信部１０６で音声データを取り扱い、通信品質検知部１０９で通話品質の判断要素を検出し、第２送受信部１０７でテキストデータを取り扱うように構成しているが、第２送受信部１０７で音声データを取り扱い、通信品質検知部１０９で通話品質の判断要素を検出し、第１送受信部１０６でテキストデータを取り扱うように構成してもよい。

また、実施の形態１、２では、送受信部１０８を回線交換方式による第１送受信部１０６とパケット交換方式による第２送受信部１０７とで構成しているが、送受信部１０８として、公衆網や、Ｗ−ＣＤＭＡ、ＰＤＣ、ＧＳＭなどのモバイル網や、公衆または構内のＩＰネットワークなどの通信ネットワークに対応した複数の送受信部を設けておき、通信品質検知部１０９や通話内容補助データ送信制御部１１４によって、これらの中から任意の送受信部を選択して使用できるように構成しても良い。

また、実施の形態１、２では、通話品質の判断要素となる通信品質レベルを、基地局からの受信電界強度や、ハンドオーバー回数で検出するようにしているが、その他の通信品質に関わる指標を用いても良い。

また、実施の形態１、２では、通話内容認識部１１１において通話音声に対する音声認識処理を行うようにしているが、人物画像の口などの動きを基に通話内容の認識を行う、例えば、特開２００２−１９７４６５号公報によって開示されている技術などを用いて、画像入力部１０３より得られた人物画像の口の動きから通話内容の認識を行うようにしても良い。

また、実施の形態１、２では、通話入力データの送受信について説明したが、本発明はこれに限ることなく、あらゆる通話情報にも適用される。

本発明の通信端末装置は、通話品質が劣化したと判断した際に、通話入力データと共に通話内容補助データを同時に送信することで、回線および端末の負荷を軽減させ、音声を用いた通話中心として音声による表現や臨場感を保ち、通話内容情報の欠如を防ぐことができるので、通話機能を有する携帯電話機、テレビ電話機などの通信端末装置に有用である。

本発明の実施の形態１における通信端末装置の概略構成を示すブロック図 本発明の実施の形態１における通信端末装置において、音声通話時の通話中画面の一例を示す図 本発明の実施の形態１における通信端末装置において、テレビ電話時の通話中画面の一例を示す図 本発明の実施の形態１における通信端末装置の音声認識処理開始に関する動作を示すフローチャート 本発明の実施の形態１における通信端末装置において、音声通話時の通話内容補助データの第１の表示例を示す図 本発明の実施の形態１における通信端末装置において、音声通話時の通話内容補助データの第２の表示例を示す図 本発明の実施の形態１における通信端末装置において、テレビ電話時の通話内容補助データの第１の表示例を示す図 本発明の実施の形態１における通信端末装置において、テレビ電話時の通話内容補助データの第２の表示例を示す図 本発明の実施の形態１における通信端末装置の通話内容認識処理終了に関する動作を示すフローチャート （Ａ）本発明の実施の形態２における通信端末装置に使用される送信要求パケットデータの構造を示す図（Ｂ）本発明の実施の形態２における通信端末装置に使用される送信要求応答パケットデータの構造を示す図 本発明の実施の形態２における通信端末装置の音声認識処理開始に関する動作を示す第１のシーケンス図 本発明の実施の形態２における通信端末装置の音声認識処理開始に関する動作を示す第２のシーケンス図 本発明の実施の形態２における通信端末装置の音声認識処理開始に関する動作を示す第３のシーケンス図 本発明の実施の形態２における通話内容データバッファに記憶された通話内容データの例を示した図 本発明の実施の形態２における宛先情報データベースに記憶された宛先情報の例を示した図 本発明の実施の形態２における通信端末装置の通話内容認識処理終了に関する動作を示す第１のシーケンス図 本発明の実施の形態２における通信端末装置の通話内容認識処理終了に関する動作を示す第２のシーケンス図 本発明の実施の形態２における通信端末装置の通話内容認識処理終了に関する動作を示す第３のシーケンス図 本発明の実施の形態２における通信端末装置の状態遷移を示す図

符号の説明

１０，２０ 通信端末装置
１０２ 音声入力部
１０３ 画像入力部
１０４ 入力インタフェース部
１０５ 通話入力データ送信制御部
１０６ 第１送受信部
１０７ 第２送受信部
１０８ 送受信部
１０９ 通信品質検知部
１１０ 通話品質判断部
１１１ 通話内容認識部
１１２ 通話内容データバッファ
１１３ 通話内容補助データ生成部
１１４ 通話内容補助データ送信制御部
１１５ 宛先情報データベース
１１６ 音声出力部
１１７ 表示部
１１８ 出力インタフェース部
１１９ 出力制御部
１２０ 操作部
１２１ 主制御部
１３０，１３１ 通信ネットワーク
４０４，４０５，５０５，５０６ 通話内容補助データ

Claims (20)

1. 入力部から入力された通話入力を認識し、前記通話入力を通話内容データに変換する通話内容認識部と、前記通話内容認識部によって変換された前記通話内容データを基に前記通話入力に関連する通話内容補助データを生成する通話内容補助データ生成部と、通話品質レベルが予め設定された基準レベル以下かどうかを判断する通話品質判断部と、前記通話品質判断部において前記通話品質レベルが前記予め設定された基準レベル以下になったと判断されたとき、前記生成された通話内容補助データを通話中の相手に送信する送信部とを備えた通信端末装置。
2. 前記通話品質判断部において前記通話品質レベルが前記予め設定された基準レベル以下になったと判断されたとき、前記通話内容認識部は、前記入力部から入力された通話入力を認識し、前記通話入力を通話内容データに変換し、前記通話内容補助データ生成部は、前記通話内容認識部によって変換された前記通話内容データを基に前記通話入力に関連する通話内容補助データを生成することを特徴とする請求項１記載の通信端末装置。
3. 前記送信部が、前記入力部からの前記通話入力を送信する第１送信部と、前記通話内容補助データ生成部によって生成された前記通話内容補助データを送信する第２送信部とを備えたことを特徴とする請求項１記載の通信端末装置。
4. 前記予め設定された基準レベルとして、第１基準レベルと、前記第１基準レベルより低い第２基準レベルとを備え、前記通話品質判断部において、前記通話品質レベルが前記第１基準レベル以下になったと判断されたとき、前記通話内容認識部が前記入力部から入力された前記通話入力を認識し、前記通話入力を前記通話内容データに変換する動作を開始し、前記通話内容補助データ生成部が前記通話内容補助データを生成し、前記通話品質レベルが前記第２基準レベル以下になったと判断されたとき、前記送信部が、前記生成された通話内容補助データを通話中の相手に送信開始することを特徴とする請求項１記載の通信端末装置。
5. 前記予め設定された基準レベルとして、第１基準レベルと、前記第１基準レベルより低い第２基準レベルとを備え、前記通話品質判断部において、前記通話品質レベルが前記第１基準レベル以下になったと判断されたとき、前記通話内容認識部が前記入力部から入力された前記通話入力を認識し、前記通話入力を前記通話内容データに変換する動作を開始し、前記通話品質レベルが前記第２基準レベル以下になったと判断されたとき、前記通話内容補助データ生成部が前記通話内容補助データを生成し、前記送信部が、前記生成された通話内容補助データを通話中の相手に送信開始することを特徴とする請求項１記載の通信端末装置。
6. 前記通話内容データを保存する通話内容データバッファを有し、前記通話内容補助データ生成部が前記通話内容データバッファに保存された前記通話内容データを基に前記通話内容補助データを生成することを特徴とする請求項１記載の通信端末装置。
7. 前記通話品質レベルが前記第２基準レベル以下になっている状態で、前記通話品質判断部において、前記通話品質レベルが予め設定された第３基準レベルを上回ったと判断したとき、前記通話内容補助データの送信を停止し、前記通話品質レベルが前記第１基準レベル以下になっている状態で、前記通話品質判断部において、前記通話品質レベルが予め設定された第４基準レベルを上回ったと判断したとき、前記通話内容認識部による前記通話入力の前記通話内容データへの変換を停止することを特徴とする請求項４または請求項５記載の通信端末装置。
8. 前記通話内容補助データの送信を停止させるための前記予め設定された第３基準レベルが前記第２基準レベルより高く、前記通話入力の通話内容データへの変換を停止させるための前記予め設定された第４基準レベルが前記第１基準レベルより高いことを特徴とする請求項７記載の通信端末装置。
9. 前記入力部から入力された通話入力が音声入力であり、前記通話内容認識部による認識が音声認識であり、前記通話内容補助データがテキストデータであることを特徴とする請求項１記載の通信端末装置。
10. 前記入力部から入力された通話入力が前記通話入力に関連する画像入力であり、前記通話内容認識部による認識が前記画像入力の認識であり、前記通話内容補助データがテキストデータであることを特徴とする請求項１記載の通信端末装置。
11. 相手から送信された前記通話内容補助データを受信する受信部と、前記受信した通話内容補助データを表示する表示部とを更に備えた請求項１記載の通信端末装置。
12. 前記受信部が、前記通話入力を受信する第１受信部と、前記通話内容補助データを受信する第２受信部とを備えたことを特徴とする請求項１１記載の通信端末装置。
13. 前記通話品質レベルが、予め設定された一定時間内のハンドオーバー回数に基づいて得られることを特徴とする請求項１記載の通信端末装置。
14. 前記通話品質レベルが、所定時間内の基地局からの無線電波の平均の受信電界強度に基づいて得られることを特徴とする請求項１記載の通信端末装置。
15. 前記送信部は、それぞれ同期をとるためのタイムスタンプが付与された、前記入力部からの前記通話入力と、前記生成された通話内容補助データとを、通話中の相手に送信することを特徴とする請求項１記載の通信端末装置。
16. 前記受信部は、相手から送信された前記通話内容補助データおよび前記通話入力を受信し、前記受信した通話内容補助データおよび通話入力を、それぞれそれらに付与されたタイムスタンプに基づいて同期をとることを特徴とする請求項１１記載の通信端末装置。
17. 前記第１送信部は、回線交換またはパケット交換のいずれか一方によって、前記第２送信部は、パケット交換によってそれぞれモバイル網にアクセスするように構成されていることを特徴とする請求項３記載の通信端末装置。
18. 前記第１送信部および前記第２送信部の少なくとも一方が、公衆または構内のＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークにアクセスするように構成されていることを特徴とする請求項３記載の通信端末装置。
19. 前記第１送信部または前記第２送信部が複数のネットワークの１つに選択的にアクセス可能であり、前記予め設定した基準レベルがそれぞれのネットワークに対応するように設定されていることを特徴とする請求項３記載の通信端末装置。
20. 前記通話内容補助データを送受信するための通信プロトコルとして、ＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）、ＨＴＴＰ（Ｈｙｐｅｒ Ｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）、またはＳＭＴＰ（Ｓｉｍｐｌｅ Ｍａｉｌ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）のいずれか１つを用いることを特徴とする請求項１または１１記載の通信端末装置。

Images