JP2008227592A - 移動体通信機、通信システム、及び通信方法 - Google Patents

Abstract

【課題】音声グループ通信において、ユーザが、自分の不参加期間に他のユーザによって話されていた話題を知ることができる技術を提供する。
【解決手段】移動体通信機１００Ａにおいて、表示情報要求部１０９ａが送信部１０１ａを介し、サーバ４００に対して文字データを要求する（ステップＳ１０６）。表示部１０３は、サーバ４００から受信した文字データを表示する（ステップＳ１０８）。ここで、文字データ１０３が表示されている状態で、ユーザが操作部１０６を操作して所望の文字データを選択すると、音声データ要求部１０９ｂは送信部１０１ａを介し、選択された文字データと対応する音声データをサーバ４００に対して要求する（ステップＳ１０９）。再生部１０８は、サーバ４００から受信した音声データを再生する（ステップＳ１１１）。
【選択図】図６

Description

本発明は、サーバを介して複数のユーザ間で音声通信を行う移動体通信システムにおいて通信を行う技術に関する。

従来、複数のユーザでグループを形成し、複数のユーザ間で音声通信を行うグループ通信が知られている。例えば、特許文献１には、ＶｏＩＰ（Voice Over Internet Protocol）を利用することで、パケット交換網を介して複数ユーザ間で音声通信を行うための通信システムが開示されている。
以降、音声によるグループ通信を、音声グループ通信と呼ぶ。

音声グループ通信では、サーバをネットワーク上に配置し、このサーバが複数のユーザから成るグループの管理を行うとともに、音声データの仲介などユーザ間の通信制御を行う。ユーザは各自の移動体通信機を使い、サーバを介して互いに会話を行うものである。
特許公表２００２−５３６９２８号公報

ところで、上述したような音声グループ通信では、他のユーザ間で行われている音声グループ通信にユーザが途中から新たに参加し、会話に加わることがある。
しかしながら、このように会話に途中参加した場合、ユーザは自分が参加していなかった期間に他のユーザが話していた話題が分からないため、会話に参加しづらいという問題がある。

また、音声グループ通信を行っている最中に、ユーザが何らかの理由で通信から抜けることもある。例えば、ユーザが他の用事を片付けるために中座する場合などである。
このようにユーザが音声グループ通信の途中で中座する場合においても、その後ユーザが再度通信に戻ってきたときに、ユーザが中座していた間に他のユーザ間で話されていた話題が分からないため、会話に参加しづらいという問題がある。

そこで、本発明は、音声グループ通信において、ユーザが、自分の不参加期間に他のユーザによって話されていた話題を知ることができる技術を提供することを目的とする。

上記課題を解決するために、本発明の移動体通信機は、複数の移動体通信機から送信される音声データと、当該音声データに関連する表示情報とを記憶するサーバを介して、前記複数の移動体通信機と通信を行うための移動体通信機であって、前記サーバに対して、前記表示情報を要求する表示情報要求手段と、前記表示情報要求手段で要求した表示情報を前記サーバから受信する表示情報受信手段と、前記表示情報受信手段で受信した表示情報を表示する表示手段とを備えることを特徴とする。

また、上記課題を解決するために、本発明の通信システムは、サーバと、当該サーバを介して通信を行う複数の移動体通信機とを含んで成る通信システムであって、前記サーバは、前記通信内で前記複数の移動体通信機から送信される音声データを記憶する音声データ記憶手段と、前記音声データと関連付けて、当該音声データの表示情報を記憶する表示情報記憶手段と、前記複数の移動体通信機から前記表示情報の要求を受けて、前記表示情報を前記複数の移動体通信機に送信する表示情報送信手段と、前記複数の移動体通信機の夫々は、前記サーバに対して、前記表示情報を要求する表示情報要求手段と、前記表示情報要求手段で要求した表示情報を前記サーバから受信する表示情報受信手段と、前記表示情報受信手段で受信した表示情報を表示する表示手段とを備えることを特徴とする。

また、上記課題を解決するために、本発明の通信方法は、複数の移動体通信機から送信される音声データと、当該音声データに関連する表示情報とを記憶するサーバを介して、前記複数の移動体通信機と通信を行うための移動体通信機における通信方法であって、前記サーバに対して、前記表示情報を要求する表示情報要求ステップと、前記表示情報要求ステップで要求した表示情報を前記サーバから受信する表示情報受信ステップと、前記表示情報受信ステップで受信した表示情報を表示する表示ステップとを含むことを特徴とする。

ここで、表示情報は、音声に代わって当該音声の内容を表示する表示物であってユーザが目視可能な情報であり、例えば、音声を音声認識技術により文字化した文字データである。

上記の構成により、本発明によれば、ユーザは、自分が会話に参加していなかった間に話された他者の会話内容を、音声の代わりに表示情報で確認することができる。音声の代わりに表示情報を用いるため、実行中の音声グループ通信での会話に影響を与えることがない。
また、上記移動体通信機は、要求する表示情報を指定する指定操作を受付ける受付け手段を備え、前記表示情報要求手段は、前記受付け手段で受付けた指定操作で指定される表示情報を要求することとしてもよい。

この構成により、例えばユーザが会話に参加していなかった期間における会話内容など、ユーザが確認したい会話内容のみを指定して確認することができる。
また、上記移動体通信機は、前記サーバに対して、前記表示手段に表示された表示情報と関連する音声データを要求する音声データ要求手段と、前記音声データ要求手段で要求した音声データを前記サーバから受信する音声データ受信手段と、前記音声データ受信手段で受信した音声データを再生する再生手段とを備えることとしてもよい。

この構成により、ユーザは、実際に話された音声もユーザが聞くことができるため、例えば、ユーザは、いったん表示情報で会話の内容を確認して会話に参加し、会話終了後に改めて音声で聞き直すといったことができる。また、例えば、表示情報が音声認識技術により生成される文字データである場合、音声認識技術の未熟さによって不完全に生成された文字データがあってユーザが表示情報を見るだけでは理解できない発言があったとしても、音声を聞いて正しく理解することができる。

また、上記移動体通信機において、前記受付け手段は、さらに、前記表示手段に表示された表示情報を指定する指定操作を受付け、前記音声データ要求手段は、前記受付け手段で受付けた指定操作で指定される表示情報と関連する音声データを要求することとしてもよい。
この構成により、実際に話された音声の中でユーザが聞きたい発言について指定して聞けるため、ユーザが聞き直したい発言のみ聞き直すことができる。

また、上記本発明の移動体通信機において、前記サーバは、前記複数の移動体通信機の夫々のユーザの発言毎に音声データと、当該音声データに関連する表示情報とを記憶しているものであり、前記表示手段は、前記ユーザ毎の発言に関連する表示情報を表示し、前記受付け手段は、前記表示手段に表示された表示情報の中から、所望のユーザの発言に関連した表示情報を指定する指定操作を受付けることとしてもよい。

この構成により、ユーザは、各ユーザの発言単位で表示情報を確認し、各ユーザの発言単位で音声データを聞くことができる。
また、上記本発明の移動体通信機において、前記サーバは、音声から文字データを生成する文字データ生成手段を有し、当該文字データ生成手段で生成した文字データを前記表示情報として記憶しているものであり、前記表示情報要求手段は、前記表示情報として文字データを要求し、前記表示手段は、前記サーバから受信した文字データを表示し、前記受付け手段は、前記表示手段に表示された文字データを指定する指定操作を受付け、前記音声データ要求手段は、前記指定操作で指定された文字データと関連する音声データを要求する信号を送信することとしてもよい。

この構成により、ユーザは、音声グループ通信で話された会話内容を、音声の代わりに文字データで確認することができる。
また、上記本発明の移動体通信機は、さらに前記サーバに対して通信への参加を要求する通信参加要求手段を備え、前記サーバは、前記参加の要求に基づいてユーザの通話への参加状態を時間で管理しており、前記表示手段が表示する表示情報は、前記サーバから送られる、ユーザが通信に参加していなかった期間の発言の内容である音声データに関連する表示情報であることとしてもよい。

この構成により、ユーザは、自分が音声グループ通信に参加している間に話された会話内容、すなわちユーザが理解している会話内容は無視して、自分が音声グループ通信に参加していない間に他のユーザが話した会話内容のみを確認することができる。
また、上記本発明の移動体通信機は、さらに前記サーバに対して通信への参加を要求する通信参加要求手段を備え、前記表示情報要求手段は、前記通信参加要求手段が要求を行ったことを契機として、前記表示情報を要求することとしてもよい。

この構成により、ユーザは、音声グループ通信に参加するときに、自分が参加していなかった間に話されていた会話内容を確認することができる。
また、上記本発明の移動体通信機は、さらに通信とは別に音を発生させるような制御を行うプログラムを実行する実行手段を備え、前記表示情報要求手段は、前記実行手段が前記プログラムを実行した後に実行が終了したことを契機として、前記表示情報を要求することとしてもよい。

この構成により、アプリケーションが発する音によって音声グループ通話が妨げられてユーザが会話に参加できなかった場合、ユーザは、このアプリケーションが終了して会話に参加できる状態になったときに、自分が参加できなかった間に話されていた会話内容を確認することができる。
また、上記本発明の移動体通信機は、さらに通信の通信品質を検知する検知手段を備え、前記表示情報要求手段は、前記検知手段で通信品質が所定のレベル未満であることを検知した後に当該所定のレベル以上であることを検知したことを契機として、前記表示情報を要求することとしてもよい。

この構成により、通信品質が悪化したことにより音声グループ通信が妨げられてユーザが会話に参加できなかった場合、ユーザは、通信品質が良くなって会話に参加できる状態になったときに、自分が参加できなかった間に話されていた会話内容を確認することができる。
また、上記本発明の通信システムにおいて、前記サーバは、さらに、前記複数の移動体通信機のうち一の移動体通信機からの要求を受けて、前記表示情報送信手段で表示情報を送信する前に、前記複数の移動体通信機のうち他の移動体通信機へ、前記表示情報の送信の可否を問合せる問合せ手段を備え、前記表示情報送信手段は、前記問合せに応じて前記他の移動体通信機から送られる許可通知を受けた場合にのみ表示情報を送信することとしてもよい。

この構成により、ユーザがサーバに対して表示情報を要求したとき、音声グループ通信に参加する他のユーザの承諾があった場合にのみ、サーバは表示情報を送信する。これにより、表示情報を要求したユーザには知られたくない話題について他のユーザが会話していた場合に、この事情に配慮してサーバは表示情報の送信を控えることができる。

以下、本発明の実施形態について、図面を参照しながら説明する。
＜実施形態１＞
まず、本発明の実施形態１に係る通信システム、移動体通信機について、図１〜３を参照しながら説明する。
（１．構成）
（１−１．システムの構成）
図１は、音声グループ通信を実現するための通信システム１０を示す概略図である。

図１に示すように、通信システム１０は、複数の移動体通信機１００Ａ〜１００Ｃ、基地局２００Ａ〜２００Ｃ、ネットワーク３００、及びサーバ４００を含んで成る。
移動体通信機１００Ａ〜１００Ｃは、それぞれ音声グループ通信が可能な通信機であり、基地局２００Ａ〜２００Ｃを介してネットワーク３００に接続している。
サーバ４００は、音声グループ通信を実現するためのユーザ管理や通信管理を行うサーバであり、移動体通信機１００Ａ〜１００Ｃと同様にネットワーク３００に接続している。

このようにして、移動体通信機１００Ａ〜１００Ｃとサーバ４００とがネットワーク３００を介して接続され、移動体通信機１００Ａ〜１００Ｃはサーバ４００を介して互いに音声グループ通信を行うことができるように構成されている。
なお、本明細書中においては、各移動体通信機は同一の構成を有しているものとし、以後、移動体通信機１００Ａ〜１００Ｃを総称する場合は移動体通信機１００と示す。

また、同様に、各基地局は同一の構成を有しているものとし、以後、基地局２００Ａ〜２００Ｃを総称する場合は基地局２００と示す。
（１−２．移動体通信機の構成）
図２は、移動体通信機１００の構成を示すブロック図である。
図２に示すように、移動体通信機１００は、無線通信部１０１、アンテナ１０２、表示部１０３、マイクロフォン１０４、スピーカ１０５、操作部１０６、記憶部１０７、再生部１０８、及び制御部１０９を備える。

無線通信部１０１は、移動体通信機１００が基地局２００との無線通信を行うための通信部であり、送信部１０１ａと受信部１０１ｂとを含む。送信部１０１ａは、送信対象となるデータを変調し、アンテナ１０２を介して送出するものである。受信部１０１ｂは、アンテナ１０２から入力した信号を復調し、受信対象となるデータを取得するものである。

表示部１０３は、例えば、ＬＣＤ（Liquid Crystal Display）から構成される表示装置であり、移動体通信機１００を使用するにあたって必要となる各種情報を表示するものである。
マイクロフォン１０４は、音を集音して音声信号に変換するもので、例えば、他の通信機と音声グループ通信を行う際に移動体通信機１００のユーザが発する音声を集音する。

スピーカ１０５は、音声信号を音に変換して放音するものであり、例えば、他の通信機と音声グループ通信を行う際に通信相手が発する音声や、受信部１０１ｂで受信した音声データの音声や、再生部１０８で再生される音声や、アラームが鳴動したときのアラーム音を放音する。
操作部１０６は、例えば、押下可能なキー群から成り、ユーザからの操作を受付けるものである。例えば、音声グループ通信への参加を要求する操作や、音声グループ通信からの脱退を要求する操作や、音声グループ通信中にユーザが話し手となって他の通信相手に対する発言を要求する操作を受付ける。

記憶部１０７は、例えば、ＲＡＭ（Random Access Memory）等のメモリーから成り、移動体通信機１００の各種処理に必要な情報を記憶するものである。例えば、サーバ４００のＩＰアドレスを記憶しており、また、受信部１０１ｂがサーバ４００から受信した文字データや音声データを記憶する。
再生部１０８は、音声データを復号してスピーカ１０５に送出することで再生するものである。

制御部１０９は、各構成部１０１〜１０８を制御するものであり、例えばＣＰＵ（Central Processing Unit）で実現される。制御部１０９は特に、表示情報要求部１０９ａ、音声データ要求部１０９ｂ、音声グループ通信参加要求部１０９ｃ、音声グループ通信処理部１０９ｄ、アラームアプリケーション実行部１０９ｅ、及び通信品質検知部１０９ｆを有する。なお、これらの各部はコンピュータプログラムで表現されている。

表示情報要求部１０９ａは、サーバ４００が記憶する文字データ（後述する）をサーバ４００に対して要求する要求信号を生成して、送信部１０１ａに送出するものである。
音声データ要求部１０９ｂは、サーバ４００が記憶する音声データ（後述する）をサーバ４００に対して要求する要求信号を生成して送信部１０１ａに送出するものである。
音声グループ通信参加要求部１０９ｃは、音声グループ通信への参加をサーバ４００に対して要求する要求信号を生成して送信部１０１ａに送出するものであるとともに、音声グループ通信参加中に当該音声グループ通信からの脱退をサーバ４００に対して要求する要求信号を生成して送信部１０１ａに送出するものである。

音声グループ通信処理部１０９ｄは、音声グループ通信を行うための通信処理を行うものである。特に、操作部１０６への操作に応じて、音声グループ通信内で他の通信相手に対して発言を要求する要求信号を生成して送信部１０１ａに送出する。
アラームアプリケーション実行部１０９ｅは、アラームを鳴動させるアプリケーションの実行を行うものである。

通信品質検知部１０９ｆは、無線通信部１０１と基地局２００との間の通信品質を検知するものであり、例えば、ＲＳＳＩ（Received Signal Strength Indicator）値を測定し、測定値が所定のレベル以上であるか未満であるかによって通信品質の状態を検知する。
（１−３．サーバの構成）
図３は、サーバ４００の構成を示すブロック図である。

図３に示すように、サーバ４００は、ネットワークインターフェイス４０１、通信部４０２、録音部４０３、文字生成部４０４、記憶部４０５、及び制御部４０６を備える。
ネットワークインターフェイス４０１は、サーバ４００とネットワーク３００とを有線接続するものであり、例えば、イーサネット（登録商標）規格に準拠したインターフェイスである。

通信部４０２は、送信対象となるデータを符号化してネットワークインターフェイス４０１に送出する。また、ネットワークインターフェイス４０１から入力した信号を復号化して受信対象となるデータを取得する。
録音部４０３は、通信部４０２が受信した音声信号を録音し、音声データを生成して記憶部４０５に記憶するものである。

文字生成部４０４は、通信部４０２で受信した音声信号から当該音声の内容を示す文字データを生成するものである。なお、音声認識技術を用いて音声信号から文字データを生成する技術は既知であるので、本明細書で詳述はしない。
記憶部４０５は、例えばＲＡＭ等のメモリーから成る記憶部であり、音声グループ通信を実現するためのデータを記憶する。特に、音声グループ通信を行う移動体通信機１００の参加状態を管理するためのメンバーリストや、録音部４０３で録音した音声データや、文字生成部４０３で生成した文字データや、音声データと文字データを対応付けて管理するための会話リストを記憶する。なお、メンバーリストや会話リストの詳細は後述する。

制御部４０６は、サーバ４００に備わる各構成部４０１〜４０５を制御するものであり、例えばＣＰＵで実現される。特に、制御部４０６は、表示情報送信処理部４０６ａ、音声データ送信処理部４０６ｂ、メンバー管理部４０６ｃ、及び会話管理部４０６ｄを含む。なお、これら各部はコンピュータプログラムで表現されている。
表示情報送信処理部４０６ａは、記憶部４０５に記憶されている文字データを移動体通信機１００に対して送信する指示を通信部４０２に行うものである。

音声データ送信処理部４０６ｂは、記憶部４０５に記憶されている音声データを移動体通信機１００に対して送信する指示を通信部４０２に行うものである。
メンバー管理部４０６ｃは、音声グループ通信に参加する移動体通信機１００の管理を行い、移動体通信機１００の音声グループ通信への参加に応じて記憶部４０５内のメンバーリストを更新するものである。

会話管理部４０６ｄは、音声グループ通信が行われているときの会話の管理を行う。具体的には、通信部４０２で受信した音声信号を送信元以外の移動体通信機へ送信する処理を行い、録音部４０３に通信部４０２で受信した音声信号の録音を指示するとともに、文字生成部４０４に通信部４０２で受信した音声信号の文字化を指示し、記憶部４０５内の会話リストを更新するものである。
（２．データ）
次に、サーバ４００が記憶部４０４で記憶するメンバーリスト、会話リスト、音声データ、及び文字データについて、図４を参照しながら説明する。

図４は、記憶部４０５内のデータ構造を示す概略図である。
メンバーリスト５００は、移動体通信機１００Ａ〜１００Ｃの各機が音声グループ通信に参加した時間及び音声グループ通信に外れた時間を管理するリストであり、メンバー管理部４０６ｃによって更新される。
ユーザ欄５０１は、どの移動体通信機であるかを示す。

入退室欄５０２は、入室（音声グループ通信への参加）及び退室（音声グループ通信からの脱退）のいずれが行われたかを示す。
時間欄５０３は、入室又は退室が行われた時間を示す。
会話リスト６００は、移動体通信機１００Ａ〜１００Ｃの各機が音声グループ通信を行っているときに、各機から送られて通信部４０２で受信した音声信号（会話）を移動体通信機毎に（ユーザ毎に）管理するリストであり、会話管理部４０６ｄによって更新される。

会話ＩＤ欄６０１は、会話毎に付与する固有のＩＤを示す。
時間欄６０２は、会話がなされた時間、すなわち音声信号を通信部４０２で受信した時間を示す。
ユーザ欄６０３は、会話を行った移動体通信機を示す。
音声データ記憶領域７００には、会話管理部４０６ｄの指示に応じて録音部４０３で録音した音声データが逐次記憶される。このとき、各音声データには会話ＩＤ欄６０１のＩＤが付与される。

文字データ記憶領域８００には、会話管理部４０６ｄの指示に応じて文字生成部４０４で生成した文字データが逐次記憶される。このとき、音声データと同様に、各文字データには会話ＩＤ欄６０１のＩＤが付与される。
（３．動作）
次に、移動体通信機１００とサーバ４００の動作について、図５〜７を参照しながら説明する。
（３−１．サーバの基本動作）
まず、サーバ４００の基本的な動作について、図５を参照しながら説明する。

図５（ａ）は、サーバ４００の基本的な動作であるメンバー管理の動作を示すフローチャートである。
サーバ４００は、音声グループ通信に参加していない移動体通信機１００から音声グループ通信への参加を要求する要求信号を受信すると（ステップＳ１０）、メンバー管理部４０６ｃにより、当該移動体通信機を識別する識別情報（１００Ａ〜１００Ｃ）をユーザ欄５０１に書き込み、入退室欄５０２に入室（音声グループ通信への参加）を書き込み、時間欄５０３に入室した時間を書き込むことでメンバーリスト５０１を更新する（ステップＳ２０）。

また、音声グループ通信に参加中の移動体通信機１００から音声グループ通信からの脱退を要求する要求信号を受けると（ステップＳ３０）、当該移動体通信機を識別する識別情報（１００Ａ〜１００Ｃ）をユーザ欄５０１に書き込み、入退室欄５０２に退室（音声グループ通信からの脱退）を書き込み、時間欄５０３に退室した時間を書き込むことでメンバーリスト５０１を更新する（Ｓ４０）。

ステップＳ１０〜Ｓ４０で示した処理によって、サーバ４０は音声グループ通信に入退室する移動体通信機を管理している。
また、図５（ｂ）は、サーバ４００の基本的な動作である会話管理の動作を示すフローチャートである。
サーバ４００は、音声グループ通信に参加している移動体通信機１００から発言を要求する要求信号を受けると（ステップＳ５０）、当該移動体通信機１００へ発言許可を送信する（ステップＳ６０）。

移動体通信機１００のユーザが発言を行うことで音声信号を受信すると、当該音声（会話）に会話ＩＤを付与して会話ＩＤ欄６０１に書き込み、発信元の移動体通信機を識別する識別情報（１００Ａ〜１００Ｃ）をユーザ欄６０１に書き込み、発言を開始した時間を時間欄６０３に書き込むことで会話リスト６００を更新する（ステップＳ７０）。
また、ステップＳ７０と並行して、ステップＳ６０で受信する音声信号を録音部４０３で録音して会話ＩＤをファイル名として音声データを生成し、音声データ記憶領域７００に記憶するとともに、音声信号を文字生成部４０４で文字化して会話ＩＤをファイル名として文字データを生成し、文字データ記憶領域８００に記憶する（ステップＳ８０）。

さらに、ステップＳ８０と並行して、ステップ６０で受信する音声信号を通信部４０２を介して、音声グループ通信に参加する発言者以外のユーザの移動体通信機へ送信する（ステップＳ９０）。
ステップＳ５０〜Ｓ９０で示した処理によって、サーバ４０は、音声グループ通信中の会話の録音、文字化、仲介を行っている。
（３−２．会話内容の確認動作）
次に、移動体通信機１００が音声グループ通信の会話内容を確認する動作について、図６を参照しながら説明する。

図６は、移動体通信機１００とサーバ４００の動作を示すシーケンス図である。
なお、ここでは、移動体通信機１００Ｂと１００Ｃとの間で行われている音声グループ通信に、移動体通信機１００Ａが新たに参加する例を挙げて説明する。また、サーバ４００は必要に応じて随時ステップＳ１０〜Ｓ９０で示した処理は行っているものとする。
移動体通信機１００Ｂと１００Ｃとの間で音声グループ通信が行われている間、サーバ４００側では、会話管理部４０６が両移動体通信機から送られる音声信号の中継を行うとともに、録音部４０３が音声信号を録音して音声データを音声データ記憶領域７００に記憶していき、文字生成部４０４が文字を生成して文字データ記憶領域８００に記憶していく。

ここで、例えばユーザが操作部１０６から操作入力することで、音声グループ通信参加要求部１０９ｃが送信部１０１ａを介してサーバ４００に入室を要求する（ステップＳ１００）。
サーバ４００が移動体通信機１００Ａの入室要求に対して了解の旨の信号を送ると（ステップＳ１０１）、移動体通信機１００Ａは自機の情報をサーバ４００に送信して入室申請を行う（ステップＳ１０２）
サーバ４００は、移動体通信機１００Ａに対し、入室申請に対して了解の旨の信号を送り（ステップＳ１０３）、移動体通信機１００Ｂ〜１００Ｃに対して、移動体通信機１００Ａが新たに入室した旨の通知信号を送信する（ステップＳ１０４、Ｓ１０５）。

移動体通信機１００Ａが入室すると、表示情報要求部１０９ａが送信部１０１ａを介し、サーバ４００に対して文字データを要求する（ステップＳ１０６）。
サーバ４００は、移動体通信機１００Ａからの要求を受けて、表示情報送信処理部４０６ｂにより記憶部４０５内のメンバーリスト５００及び会話リスト６００を参照し、これらリスト内の情報とともに文字データ記憶領域８００に記憶されている文字データを移動体通信機１００Ａに送信する（ステップＳ１０７）。

移動体通信機１００Ａは、サーバ４００から受信した文字データを表示部１０３に表示する（ステップＳ１０８）。このときの画面表示例を図７に示す。
図７に示すように、表示部１０３には移動体通信機１００Ａ〜１００Ｃが音声グループ通信を開始してからの時間の経緯を示すグラフ１０３ａと、文字データが表示されるテキストフィールド１０３ｂと、カーソル１０３ｃとが表示される。グラフ１０３ａにおいて、音声グループ通信から退室していた期間は斜線で示される。ユーザは操作部１０６を操作してカーソル１０３ｃを動かすことで所望の時間帯に話された会話内容の文字データをテキストフィールド１０３ｂに表示させることができる。例えば、図７（ａ）の状態から図７（ｂ）の状態に遷移させることができる。

ここで、文字データ１０３が表示されている状態で、ユーザが操作部１０６を操作して所望の文字データを選択すると、音声データ要求部１０９ｂは送信部１０１ａを介し、選択された文字データと対応する音声データをサーバ４００に対して要求する（ステップＳ１０９）。
サーバ４００は、記憶部４０５内の会話リスト６００を参照し、要求を受けた文字データと対応する会話ＩＤを持つ音声データを音声データ記憶領域７００から特定して、特定した音声データを移動体通信機１００Ａに送信する（ステップＳ１１０）。

移動体通信機１００Ａは、サーバ４００から受信した音声データを再生部１０８で再生する（ステップＳ１１１）。
以上のように動作することにより、ユーザは、他のユーザ間で行われている音声グループ通信に途中参加したとき、自分が不参加であった期間に他のユーザ間で話されていた会話内容（他のユーザの発言）を文字データで確認することができる。

さらに、ユーザは、確認した文字データの中で、実際に耳で聞いて確認したい発言については、聞くことができる。これは、例えば、音声認識技術の未熟さにより音声信号が正しく文字に変換されず、ユーザが見ても内容がよく分からない文字が表示されてしまった場合に、有効である。
このように移動体通信機１００は会話内容をいったん、一般的に音声データよりも容量の少ない文字データで受信するため、音声データをまとめて送信するよりもネットワーク３００に与える負荷を低減することができる。
＜実施形態２＞
次に、本発明の実施形態２に係る通信システム、移動体通信機について、図８を参照しながら説明する。

実施形態１では、移動体通信機１００から文字データの要求あると（ステップＳ１０６）、サーバ４００は無条件で記憶部４０５内の文字データを送信していた（ステップＳ１０７）。これに対し、本実施形態では、音声グループ通信に参加する他の移動体通信機の許可がなければサーバ４００は文字データを送信しないよう動作する点で異なる。
以降、実施形態１と異なる点についてのみ詳細に説明する。
（１．構成）
（１−１．移動体通信機の構成）
音声グループ通信部１０９ｄは、ユーザの操作に応じて、文字データを他の移動体通信機１００へ送信することの許可又は不許可の旨の信号を生成して送信部１０１ａに送出するものである。
（１−２．サーバの構成）
表示情報送信処理部４０６ａは、文字データの送信の可否を問合せる問合せ信号を移動体通信機１００に送信するよう通信部４０２に指示するものである。また、この問合せに対する移動体通信機１００からの応答に応じて、記憶部４０５内から送信する文字データを選択するものである。
（２．動作）
次に、移動体通信機１００とサーバ４００の動作について、図８を参照しながら説明する。

図８は、移動体通信機１００とサーバ４００の動作を示すシーケンス図である。なお、実施形態１で説明した動作（図６）と同様の動作については詳述しない。
移動体通信機１００Ａが入室後（ステップＳ１００〜Ｓ１０５）、サーバ４００は、移動体通信機１００Ａから文字データ送信の要求を受けると（ステップＳ１０６）、移動体通信機１００Ｂ及び１００Ｃに対して、文字データを移動体通信機１００Ａに送信することの可否を問合せる問合せ信号を送信する（ステップＳ１１２、Ｓ１１３）。

移動体通信機１００Ｂ及び１００Ｃは、ユーザによる操作部１０６への操作に応じて、移動体通信機１００Ａへ文字データの送信を許可するか否かを示す通知をサーバ４００に対して送信する（ステップＳ１１４、Ｓ１１５）。
サーバ４００は、会話リスト６００のユーザ欄６０２を参照し、文字データの送信を許可する旨の通知を送信した移動体通信機（１００Ｂ及び／又は１００Ｃ）に係る文字データを記憶部４０５から選択して、移動体通信機１００Ａに送信する（ステップＳ１１６）。

以上のように動作することにより、音声グループ通信に途中参加したユーザ１００Ａが文字データを要求しても、他のユーザ１００Ｂ及び１００Ｃのうち許可したユーザの発言内容の文字データしか送信されない。これにより、ユーザ１００Ａが不参加の間にユーザ１００Ｂ又は１００Ｃがユーザ１００Ａには知られたくない話題について話をしていた場合、ユーザ１００Ａへ文字データが送信されるのを阻止することができる。
＜実施形態３＞
次に、本発明の実施形態３に係る通信システム、移動体通信機について、図９を参照しながら説明する。

実施形態１では、移動体通信機１００が音声グループ通信に参加した（ステップＳ１００〜Ｓ１０５）ときに、文字データを要求する（ステップＳ１０６）ようになっていた。これに対し、本実施形態では、音声グループ通信の通信品質が悪化した後に復帰した場合に文字データの要求を行うよう動作する点で異なる。
以降、実施形態１と異なる点についてのみ詳細に説明する。
（１．動作）
移動体通信機１００とサーバ４００の動作について、図９を参照しながら説明する。

図９は、移動体通信機１００とサーバ４００の動作を示すシーケンス図である。なお、実施形態１で説明した動作（図６）と同様の動作については詳述しない。
まず、移動体通信機１００Ａが移動体通信機１００Ｂ及び１００Ｃと音声グループ通信を行っている最中に、通信品質検知部１０９ｆが、通信品質が所定レベル未満の状態になったことを検知する（ステップＳ１１７）。

その後、通信品質検知部１０９が通信品質が所定レベル以上の状態に戻ったことを検知すると（ステップＳ１１８）、表示情報要求部１０９が送信部１０１ａを介してサーバ４００に文字データを要求する（ステップＳ１０６）。その後の動作は実施形態１と同様である（ステップＳ１０７〜Ｓ１１１）。
以上のように動作することにより、音声グループ通信中に通信品質が悪化した場合、会話が途切れてしまうことがあるが、通信品質が復帰したときにユーザは、会話が途切れて自分が不参加であった間に他のユーザで話されていた会話内容を文字データで確認することができる。
＜実施形態４＞
次に、本発明の実施形態４に係る通信システム、移動体通信機について、図１０を参照しながら説明する。

実施形態１では、移動体通信機１００が音声グループ通信に参加した（ステップＳ１００〜Ｓ１０５）ときに、文字データを要求する（ステップＳ１０６）ようになっていた。これに対し、本実施形態では、音声グループ通信を妨げ得るアプリケーションを起動後に終了した場合に文字データの要求を行うよう動作する点で異なる。
以降、実施形態１と異なる点についてのみ詳細に説明する。
（１．動作）
移動体通信機１００とサーバ４００の動作について、図１０を参照しながら説明する。

図１０は、移動体通信機１００とサーバ４００の動作を示すシーケンス図である。なお、実施形態１で説明した動作（図６）と同様の動作については詳述しない。
まず、移動体通信機１００Ａが移動体通信機１００Ｂ及び１００Ｃと音声グループ通信を行っている最中に、予め設定していたアラーム鳴動時刻になったことを契機としてアラームアプリケーション実行部１０９ｅがアラームを鳴動させるアプリケーションを実行する（ステップＳ１１９）。

その後、アラームアプリケーション実行部１０９ｅが、ユーザによる操作部１０６への操作に応じて、又は予め設定されているアラーム鳴動時間が経過したことを契機としてアプリケーションを終了すると（ステップＳ１２０）、表示情報要求部１０９が送信部１０１ａを介してサーバ４００に文字データを要求する（ステップＳ１０６）。その後の動作は実施形態１と同様である（ステップＳ１０７〜Ｓ１１１）。

以上のように動作することにより、音声グループ通信中にアラームが鳴動してしまった場合、通信相手（移動体通信機１００Ｂ及び１００Ｃ）の声がかき消されて会話が途切れてしまうことがあるが、アラーム鳴動を終了したときにユーザは、会話が途切れて自分が不参加であった間に他のユーザで話されていた会話内容を文字データで確認することができる。
＜変形例＞
以上、本発明の移動体通信機及び通信システムについて、実施形態１〜４に基づいて説明してきたが、上記実施形態で示した構成及び動作には種々の変形を加えることが可能である。
（１）実施形態１では、サーバ４００は移動体通信機１００からの要求に応じて文字データ記憶領域８００内の文字データを全て送信していた（ステップＳ１０７）が、サーバ４００は、移動体通信機１００が音声グループ通信に不参加であった期間における会話内容に係る文字データのみを送信するようにしてもよい。

この場合、サーバ４００について、表示情報送信処理部４０６ｂは、文字データの要求の発信元である移動体通信機が音声グループ通信に不参加であった期間を、メンバーリスト５００を参照して特定し、特定した期間に話された会話内容である文字データを、会話リスト６００を参照して特定して送信するようにすればよい。
例えば、図６に示す実施形態１の動作に基づき説明すると、ステップＳ１０７において、表示情報送信処理部４０６ｂは、メンバーリスト５００及び会話リスト６００を参照し、移動体通信機１００Ａが不参加であった期間における会話内容に係る文字データのみを、文字データ記憶領域８００から選択して送信する。

このようにすることによって、ユーザは、画面表示された（ステップＳ１０８）文字データからいちいちスクロールして探さなくても、自分が不参加であった間の会話内容をすぐに確認することができる。
（２）また、サーバ４００は移動体通信機１００からの要求に応じて文字データ記憶領域８００内の文字データを全て送信する（ステップＳ１０７）が、移動体通信機１００側で、文字データを表示する際に、移動体通信機１００が音声グループ通信に不参加であった期間における会話内容に係る文字データのみを表示するようにしてもよい。

この場合、サーバ４００について、表示情報送信処理部４０６ａは、文字データを送信する際に、同時にメンバーリスト５００及び会話リスト６００を送信するよう通信部４０２に指示するようにすればよい。
また、移動体通信機１００について、制御部４０６は、文字データの要求の発信元である移動体通信機が音声グループ通信に不参加であった期間を、サーバ４００から受信したメンバーリスト５００を参照して特定し、特定した期間に話された会話内容である文字データを、会話リスト６００を参照して特定して表示するようにすればよい。

例えば、図６に示す実施形態１の動作に基づき説明すると、ステップＳ１０７において、表示情報送信処理部４０６ｂは、文字データとともにメンバーリスト５００及び会話リスト６００を送信する。
ステップＳ１０８では、移動体通信機１００Ａは、受信したメンバーリスト５００及び会話リスト６００を参照し、移動体通信機１００Ａが不参加であった期間における会話内容に係る文字データのみを表示部１０３に表示する。

このようにすることによって、ユーザは、画面表示された（ステップＳ１０８）文字データからいちいちスクロールして探さなくても、自分が不参加であった間の会話内容をすぐに確認することができる。
（３）実施形態１では、各ユーザ（移動体通信機１００Ａ〜１００Ｃ）の発言単位で音声データを録音し、文字データを生成するようにしていたが、これに限定されることはない。

例えば、サーバ４００は、移動体通信機１００の入退室に応じて音声データの録音及び文字データ生成の区切りとしても良い。
この場合、会話管理部４０６ｄは、新たな移動体通信機１００が入室すると新たな会話ＩＤを付与して新たな音声データ及び文字データを生成し、通話中の移動体通信機１００が退室すると新たな会話ＩＤを付与して新たな音声データ及び文字データを生成するよう指示すればよい。

このようにすることによって、サーバ４００が生成する音声データ及び文字データの個数を削減することができる。
（４）実施形態２では、移動体通信機１００は、サーバ４００からの問合せ（ステップＳ１１２、Ｓ１１３）に応答して、自分の発言全部に対する許可又は不許可の通知を通知する（ステップＳ１１４、Ｓ１１５）ようになっていたが、一つ一つの発言毎に許可又は不許可を通知するようにしてもよい。

この場合、サーバ４００について、表示情報送信処理部４０６ａは、文字データの送信の可否を問合せる問合せ信号とともに、会話リスト６００を参照して送信先の移動体通信機１００が発言した会話に係る文字データ送信するよう通信部４０２に指示すればよい。また、表示情報送信処理部４０６ａは、文字データ記憶領域８００から、移動体通信機１００から許可のあった発言に係る文字データを選択して送信すればよい。

また、移動体通信機１００について、表示部１０３は受信した文字データを表示すればよく、操作部１０６は表示された文字データの中から発言単位で所望の文字データを選択する操作を受付ければよく、音声グループ通信部１０９ｄは、選択された文字データを他の移動体通信機１００へ送信することを許可する旨の信号を生成して送信部１０１ａに送出すればよい。

例えば、図８に示す実施形態２の動作に基づき説明すると、ステップＳ１１２において、表示情報送信処理部４０６ｂは、問合せ信号とともに、移動体通信機１００Ｂの発言に係る文字データ送信する。同様に、ステップＳ１１３において、表示情報送信処理部４０６ｂは、問合せ信号とともに、移動体通信機１００Ｃの発言に係る文字データ送信する。
そして、ステップＳ１１４において、移動体通信機１００Ｂは自分の発言の中で移動体通信機１００Ａへの送信を許可する発言に係る文字データを送信する。同様に、ステップＳ１１５において、移動体通信機１００Ｃは自分の発言の中で移動体通信機１００Ａへの送信を許可する発言に係る文字データを送信する。

ステップＳ１１６では、サーバ４００は、ステップＳ１１５で許可の通知が来た発言に係る文字データのみを選択して送信する。
このようにすることによって、ユーザは、１つ１つの発言毎に許可又は不許可を決定できるので、例えば、会話の中で一時的に他のユーザに知られたくない話題について話した場合になどに有効である。
＜補足＞
（１）実施形態１〜４において、文字生成部４０４は、より会話内容を理解しやすい文字データを生成するために、工夫を凝らすことができる。

例えば、文字生成部４０４は、音声信号の音量に応じて生成する文字のフォントを装飾するようにしてもよい。すなわち、音量の大きな発言については太いフォントで文字データを生成し、音量の小さな発言については細いフォントで文字データを生成する、といったことが考えられる。
また、例えば、文字生成部４０４は、音声信号の音調に応じて生成する文字データに疑問符「？」や感嘆符「！」を負荷するようにしてもよい。
（２）実施形態１〜４では、音声グループ通信の一例としてＰＴＴを例に挙げて説明したが、これに限定されるものではなく、本発明は、例えば、移動体通信機上で行うテレビ会議等、サーバを介して複数のメンバー間でグループ通信を行う種々の通信形態に適用可能である。
（３）実施形態１〜４では、表示情報として文字生成部４０４で生成する文字データを例に挙げて説明したが、これに限定されるものではない。会話の内容をユーザが目視して確認できる表示物であれば良く、例えば、会話に出てくるキーワードを認識して当該キーワードを示す画像（アイコン）を生成するようにしてもよい。

本発明は、サーバを介して複数のユーザ間で音声通信を行う移動体通信システムに広く適用可能なものであり、ユーザが、自分が会話に参加していなかった間に話された他者の会話内容を、音声の代わりに表示情報で確認することができる点で有用な技術である。

通信システム１０の構成を示す概略図である。 移動体通信機１００の構成を示すブロック図である。 サーバ４００の構成を示すブロック図である。 サーバ４００が記憶するデータの構造を示す概略図である。 サーバ４００の基本的な動作を示すフローチャートである。 実施形態１に係る移動体通信機１００とサーバ４００の動作を示すシーケンス図である。 表示部１０３に表示される画面表示例を示す概略図である。 実施形態２に係る移動体通信機１００とサーバ４００の動作を示すシーケンス図である。 実施形態３に係る移動体通信機１００とサーバ４００の動作を示すシーケンス図である。 実施形態４に係る移動体通信機１００とサーバ４００の動作を示すシーケンス図である。

符号の説明

１０ 通信システム
１００ 移動体通信機
１０１ 無線通信部
１０１ａ 送信部
１０１ｂ 受信部
１０２ アンテナ
１０３ 表示部
１０４ マイクロフォン
１０５ スピーカ
１０６ 操作部
１０７ 記憶部
１０８ 再生部
１０９ 制御部
１０９ａ 表示情報要求部
１０９ｂ 音声データ要求部
１０９ｃ 音声通信参加要求部
１０９ｄ 音声グループ通信処理部
１０９ｅ アラームアプリケーション実行部
１０９ｆ 通信品質検知部
２００ 基地局
３００ ネットワーク
４００ サーバ
４０１ ネットワークインターフェイス
４０２ 通信部
４０３ 録音部
４０４ 文字生成部
４０５ 記憶部
４０６ 制御部
４０６ａ 表示情報送信処理部
４０６ｂ 音声データ送信処理部
４０６ｃ メンバー管理部
４０６ｄ 会話管理部

Claims (13)

1. 複数の移動体通信機から送信される音声データと、当該音声データに関連する表示情報とを記憶するサーバを介して、前記複数の移動体通信機と通信を行うための移動体通信機であって、
   前記サーバに対して、前記表示情報を要求する表示情報要求手段と、
   前記表示情報要求手段で要求した表示情報を前記サーバから受信する表示情報受信手段と、
   前記表示情報受信手段で受信した表示情報を表示する表示手段とを備える
   ことを特徴とする移動体通信機。
2. 要求する表示情報を指定する指定操作を受付ける受付け手段を備え、
   前記表示情報要求手段は、前記受付け手段で受付けた指定操作で指定される表示情報を要求する
   ことを特徴とする請求項１記載の移動体通信機。
3. 前記サーバに対して、前記表示手段に表示された表示情報と関連する音声データを要求する音声データ要求手段と、
   前記音声データ要求手段で要求した音声データを前記サーバから受信する音声データ受信手段と、
   前記音声データ受信手段で受信した音声データを再生する再生手段とを備える
   ことを特徴とする請求項１又は２記載の移動体通信機。
4. 前記受付け手段は、さらに、前記表示手段に表示された表示情報を指定する指定操作を受付け、
   前記音声データ要求手段は、前記受付け手段で受付けた指定操作で指定される表示情報と関連する音声データを要求する
   ことを特徴とする請求項３記載の移動体通信機。
5. 前記サーバは、前記複数の移動体通信機の夫々のユーザの発言毎に音声データと、当該音声データに関連する表示情報とを記憶しており、
   前記表示手段は、前記ユーザ毎の発言に関連する表示情報を表示し、
   前記受付け手段は、前記表示手段に表示された表示情報の中から、所望のユーザの発言に関連した表示情報を指定する指定操作を受付ける
   ことを特徴とする請求項４記載の移動体通信機。
6. 前記サーバは、音声から文字データを生成する文字データ生成手段を有し、当該文字データ生成手段で生成した文字データを前記表示情報として記憶しており、
   前記表示情報要求手段は、前記表示情報として文字データを要求し、
   前記表示手段は、前記サーバから受信した文字データを表示し、
   前記受付け手段は、前記表示手段に表示された文字データを指定する指定操作を受付け、
   前記音声データ要求手段は、前記指定操作で指定された文字データと関連する音声データを要求する信号を送信する
   ことを特徴とする請求項４記載の移動体通信機。
7. さらに前記サーバに対して通信への参加を要求する通信参加要求手段を備え、
   前記サーバは、前記参加の要求に基づいてユーザの通話への参加状態を時間で管理しており、
   前記表示手段が表示する表示情報は、前記サーバから送られる、ユーザが通信に参加していなかった期間の発言の内容である音声データに関連する表示情報である
   ことを特徴とする請求項１記載の移動体通信機。
8. さらに前記サーバに対して通信への参加を要求する通信参加要求手段を備え、
   前記表示情報要求手段は、前記通信参加要求手段が要求を行ったことを契機として、前記表示情報を要求する
   ことを特徴とする請求項１記載の移動体通信機。
9. さらに通信とは別に音を発生させるような制御を行うプログラムを実行する実行手段を備え、
   前記表示情報要求手段は、前記実行手段が前記プログラムを実行した後に実行が終了したことを契機として、前記表示情報を要求する
   ことを特徴とする請求項１記載の移動体通信機。
10. さらに通信の通信品質を検知する検知手段を備え、
    前記表示情報要求手段は、前記検知手段で通信品質が所定のレベル未満であることを検知した後に当該所定のレベル以上であることを検知したことを契機として、前記表示情報を要求する
    ことを特徴とする請求項１記載の移動体通信機。
11. サーバと、当該サーバを介して通信を行う複数の移動体通信機とを含んで成る通信システムであって、
    前記サーバは、
    前記通信内で前記複数の移動体通信機から送信される音声データを記憶する音声データ記憶手段と、
    前記音声データと関連付けて、当該音声データの表示情報を記憶する表示情報記憶手段と、
    前記複数の移動体通信機から前記表示情報の要求を受けて、前記表示情報を前記複数の移動体通信機に送信する表示情報送信手段と、
    前記複数の移動体通信機の夫々は、
    前記サーバに対して、前記表示情報を要求する表示情報要求手段と、
    前記表示情報要求手段で要求した表示情報を前記サーバから受信する表示情報受信手段と、
    前記表示情報受信手段で受信した表示情報を表示する表示手段とを備える
    ことを特徴とする通信システム。
12. 前記サーバは、さらに、前記複数の移動体通信機のうち一の移動体通信機からの要求を受けて、前記表示情報送信手段で表示情報を送信する前に、前記複数の移動体通信機のうち他の移動体通信機へ、前記表示情報の送信の可否を問合せる問合せ手段を備え、
    前記表示情報送信手段は、前記問合せに応じて前記他の移動体通信機から送られる許可通知を受けた場合にのみ表示情報を送信する
    ことを特徴とする請求項１１記載の通信システム。
13. 複数の移動体通信機から送信される音声データと、当該音声データに関連する表示情報とを記憶するサーバを介して、前記複数の移動体通信機と通信を行うための移動体通信機における通信方法であって、
    前記サーバに対して、前記表示情報を要求する表示情報要求ステップと、
    前記表示情報要求ステップで要求した表示情報を前記サーバから受信する表示情報受信ステップと、
    前記表示情報受信ステップで受信した表示情報を表示する表示ステップとを含む
    ことを特徴とする通信方法。

Images