JP2008099330A - 情報処理装置、携帯電話機 - Google Patents

Abstract

【課題】リアルタイムでのメッセージのやりとりを、パーソナルコンピュータと電話機との間で行うことができるようにする。
【解決手段】システムサーバ１は、複数種類のメディアの端末の間で、リアルタイムでメッセージをやりとりすることができるチャットあるいはリアルタイム電子会議サービスを提供するようになされている。システムサーバ１において、パソコン２または電話機３からのメッセージが、電話機またはパソコンのデータ形式にそれぞれ変換され、電話機３またはパソコン２にそれぞれ送信される。本発明は、このようなリアルタイム電子会議サービスを提供するコンピュータに適用することができる。
【選択図】図１

Description

本発明は、情報処理装置、携帯電話機に関し、特に、リアルタイムでメッセージをやりとりすることができるようにする情報処理装置、携帯電話機に関する。

例えば、電話機によれば、それと同一メディアの端末である、他の電話機との間で、リアルタイムで、音声によるメッセージをやりとりする（会話を行う）ことができる。最近では、２者だけでなく、３者以上であっても、電話機による会話を行うことができるようにするサービスも提供されている。

また、例えばいわゆるパソコン通信などでは、チャット（オンライントーク）やリアルタイム電子会議室と呼ばれるサービスが提供されており、このサービスを利用することにより、２以上のコンピュータどうしの間において、リアルタイムで、テキストによるメッセージをやりとりすることができる。
特開平３−２８３９８５号公報 特開平４−３０２５６１号公報 特開平７−２００４７２号公報

以上のように、従来においては、電話機どうしや、コンピュータどうしなどの同一のメディアの端末どうしでは、リアルタイムでのメッセージのやりとりを行うことができるようになされているが、電話機とコンピュータとの間では、リアルタイムでのメッセージのやりとりを行うことは困難であった。

しかしながら、リアルタイムでのメッセージのやりとりを、電話機とコンピュータとの間などで行うことができれば便利である。

本発明は、このような状況に鑑みてなされたものであり、リアルタイムでのメッセージのやりとりを行うことができるようにするものである。

本発明の情報処理装置は、少なくとも携帯電話機を含む複数の端末とネットワークを介して接続され、前記複数の端末間で音声メッセージをリアルタイムでやりとりするサービスを提供する情報処理装置であって、通信手段と、制御手段と備え、前記制御手段は、前記携帯電話機から発言の開始を要求する第１の要求信号を前記通信手段を介して受信した場合、前記携帯電話機からの音声メッセージを受信し、当該受信した音声メッセージを、音声メッセージをやりとりする相手としての前記複数の端末に送信するように前記通信手段を制御し、前記携帯電話機から発言の終了を要求する第２の要求信号を前記通信手段を介して受信した場合、前記携帯電話機からの音声メッセージを受信することを終了するように前記通信手段を制御することを特徴とする。

前記制御手段は、音声メッセージをやりとりする相手としての前記複数の端末の中にパーソナルコンピュータがある場合、前記携帯電話機からの音声メッセージをテキストデータに変換し、変換して得られたテキストデータを前記パーソナルコンピュータに送信するようにすることができる。

前記携帯電話機においては、それぞれ異なるプッシュボタンが操作されたときに前記第１の要求信号と前記第２の要求信号が送信されるようにすることができる。

音声メッセージをやりとりする相手としての前記複数の端末は同じグループに属し、前記制御手段は、当該グループが前記携帯電話機のユーザにより選択されることによって音声メッセージをやりとりする相手として選択するようにすることができる。

前記制御手段は、グループ選択の前に、音声によるガイダンスを前記通信手段を介して前記携帯電話機に送信するようにすることができる。

本発明の携帯電話機は、情報処理装置とネットワークを介して接続され、音声メッセージをやりとりする相手としての、当該情報処理装置と接続された複数の端末との間でリアルタイムで音声メッセージをやりとりする携帯電話機であって、音声メッセージが入力される音声入力手段と、音声メッセージを出力する音声出力手段と、所定の信号及び前記音声入力手段によって入力された音声メッセージを前記情報処理装置に送信し、かつ、前記複数の端末からの音声メッセージを前記情報処理装置から受信する通信手段とを備え、前記通信手段は、発言の開始を要求する第１の要求信号を前記所定の信号として前記情報処理装置に送信し、前記第１の要求信号を送信した後、前記音声入力手段によって入力された音声メッセージを前記情報処理装置に送信し、発言の終了を要求する第２の要求信号を前記所定の信号として前記情報処理装置に送信し、前記音声出力手段は、前記通信手段により受信された前記複数の端末からの音声メッセージを出力することを特徴とする。

前記通信手段は、それぞれ異なるプッシュボタンが操作されたときに前記第１の要求信号と前記第２の要求信号を送信するようにすることができる。

音声メッセージをやりとりする相手としての前記複数の端末は同じグループに属し、前記通信手段は、さらに、当該グループがユーザにより選択されることに応じて、対応した信号を前記所定の信号として前記情報処理装置に送信するようにすることができる。

本発明の情報処理装置においては、携帯電話機から発言の開始を要求する第１の要求信号が通信手段を介して受信された場合、前記携帯電話機からの音声メッセージが受信され、当該受信された音声メッセージが、音声メッセージをやりとりする相手としての複数の端末に送信するように前記通信手段が制御される。また、前記携帯電話機から発言の終了を要求する第２の要求信号が前記通信手段を介して受信された場合、前記携帯電話機からの音声メッセージを受信することを終了するように前記通信手段が制御される。

本発明の携帯電話機においては、発言の開始を要求する第１の要求信号が前記所定の信号として前記情報処理装置に送信され、前記第１の要求信号が送信された後、音声入力手段によって入力された音声メッセージが前記情報処理装置に送信される。また、発言の終了を要求する第２の要求信号が前記所定の信号として前記情報処理装置に送信される。さらに、前記通信手段により受信された前記複数の端末からの音声メッセージが出力される。

本発明によれば、リアルタイムでのメッセージのやりとりを行うことが可能となる。

図１は、本発明を適用したネットワークシステムの構成例を示している。システムサーバ１は、公衆網７およびコンピュータネットワーク８に接続されており、公衆網７やコンピュータネットワーク８を介してアクセスしてくる端末のうちのいずれかから送信されてくるメッセージを受信し、他の端末すべてに送信するようになされている。これにより、端末どうしでは、リアルタイムで、メッセージのやりとりを行うことができるようになされている。さらに、システムサーバ１は、ある端末Ａからのメッセージを、他の端末Ｂにメッセージを送信する場合に、端末ＡとＢとが異なるメディアのものであるときには、端末Ａからのメッセージを、端末Ｂのメディアのデータ形式に変換してから、その端末Ｂに送信するようになされており、これにより、複数種類のメディアの端末の間であってもメッセージをやりとりすることができるようになされている。

言い換えれば、システムサーバ１は、複数種類のメディアの端末の間で、リアルタイムでメッセージをやりとりすることができるチャットあるいはリアルタイム電子会議サービスを提供するようになされている。従って、システムサーバ１が提供するチャットあるいはリアルタイム電子会議サービスは、いわば、メディアの混在した中でミーティングをすることができるようにするものであるから、メディアミックスミーティング（Media Mix Meeting）サービスということができる。

図１の実施例では、システムサーバ１に対して、ユーザＡ，Ｂ，Ｃ、またはＤそれぞれが、パーソナルコンピュータ（以下、適宜、パソコンという）２、電話機３、携帯電話機４、または５により、公衆網７を介してアクセスしており、これらの端末（パソコン２、電話機３、携帯電話機４、および５）どうしの間で、メッセージのやりとりが行われている。なお、ユーザＡおよびＢは、例えば自宅などから、ユーザＣおよびＤは、移動中の自動車から、システムサーバ１にアクセスしている。

パソコン２は、マイク２Ｂを有しており、ユーザＡが、メッセージを発すると、その音声によるメッセージは、マイク２Ｂにおいて電気信号としての音声信号に変換される。この音声信号は、パソコン２において、コンピュータのデータ形式のものに変換される。即ち、例えば、音声信号は、パソコン２において、Ａ／Ｄ変換され、これによりディジタルの音声信号（音声データ）とされる。さらに、パソコン２では、この音声データに対し、所定の圧縮処理が施され、これにより、コンピュータのデータ形式にされた音声データ（以下、コンピュータ音声データという）が出力される。このコンピュータ音声データは、公衆網７を介して、システムサーバ１に送信される。

システムサーバ１は、メッセージをやりとりしている端末（ここでは、パソコン２、電話機３、携帯電話機４、および５）を管理するために、それらの端末に関する端末情報（幾つの端末の間でメッセージのやりとりが行われているのかや、それらの端末それぞれが、どのようなメディアの端末であるかなど）を記憶しており、パソコン２からコンピュータ音声データの形のメッセージを受信すると、端末情報を参照して、パソコン２以外の端末、即ち、電話機３、携帯電話機４、および５を認識し、これらの端末に、パソコン２からのメッセージを送信する。

但し、この場合、電話機３、携帯電話機４、および５においては、コンピュータ音声データの形では、メッセージを受信することができないため、システムサーバ１では、コンピュータ音声データの形のメッセージが、電話機のデータ形式のメッセージに変換される。即ち、システムサーバ１では、コンピュータ音声データが伸張され、Ｄ／Ａ変換される。これにより、コンピュータ音声データは、電話機のデータ形式の音声データ（音声信号）（以下、適宜、電話機音声データという）に変換され、公衆網７を介して、電話機３、携帯電話機４、および５に送信される。

電話機３、携帯電話機４、および５では、システムサーバ１からの電話機音声データが受信されて出力される。これにより、ユーザＢ乃至Ｄは、ユーザＡが発した音声によるメッセージを聴くことができる。

次に、ユーザＢが、メッセージを音声により発した場合、その音声は、電話機３により音声信号（電話機音声データ）とされ、公衆網７を介して、システムサーバ１に送信される。システムサーバ１は、電話機３から電話機音声データの形のメッセージを受信すると、端末情報を参照して、電話機３以外の端末、即ち、パソコン２、携帯電話機４、および５を認識し、これらの端末に、電話機３からのメッセージを送信する。

但し、この場合、電話機音声データは、携帯電話機４および５においては受信することができるが、パソコン２では受信することができない。そこで、システムサーバ１では、電話機音声データの形のメッセージが、コンピュータ音声データの形に変換される。即ち、システムサーバ１では、電話機音声データがＡ／Ｄ変換され、さらに、所定の圧縮処理が施されることで、コンピュータ音声データとされる。そして、携帯電話機４および５に対しては、電話機３からの電話機音声データが、パソコン２に対しては、その電話機音声データを変換したコンピュータ音声データが、それぞれ公衆網７を介して送信される。

パソコン２では、システムサーバ１からのコンピュータ音声データが受信される。そして、そのコンピュータ音声データは、パソコン２において伸張され、さらにＤ／Ａ変換されることで音声信号とされる。さらに、パソコン２では、この音声信号が、その内蔵するスピーカから出力され、これにより、ユーザＡは、ユーザＢが発した音声によるメッセージを聴くことができる。

ここで、システムサーバ１では、上述のように、コンピュータ音声データと電話機音声データとの間の相互の変換が行われるが、この変換は、例えばボーカルテック（Vocal Tec）社のインターネットフォン（InternetPhone）（商標）における技術などを利用して行われる。

一方、携帯電話機４および５では、システムサーバ１からの電話機音声データが受信されて出力される。これにより、ユーザＣおよびＤは、ユーザＢが発した音声によるメッセージを聴くことができる。

次に、ユーザＣが、メッセージを音声により発した場合、その音声は、携帯電話機４により音声信号（電話機音声データ）とされ、公衆網７を介して、システムサーバ１に送信される。システムサーバ１は、携帯電話機４から電話機音声データの形のメッセージを受信すると、端末情報を参照して、携帯電話機４以外の端末、即ち、パソコン２、電話機３、および携帯電話機５を認識し、これらの端末に、携帯電話機４からのメッセージを送信する。

但し、この場合、電話機音声データは、電話機３および携帯電話機５においては受信することができるが、パソコン２では受信することができない。そこで、システムサーバ１では、電話機音声データの形のメッセージが、上述したように、コンピュータ音声データの形に変換される。そして、電話機３および携帯電話機５に対しては、携帯電話機４からの電話機音声データが、パソコン２に対しては、その電話機音声データを変換したコンピュータ音声データが、それぞれ公衆網７を介して送信される。

従って、ユーザＡ，Ｂ，Ｄは、上述した場合と同様に、ユーザＣが発した音声によるメッセージを聴くことができる。

ユーザＤが、メッセージを音声により発し、この音声が、電話機音声データの形で、携帯電話機５から送信されてきた場合も、システムサーバ１では、携帯電話機４から電話機音声データが送信されてきた場合と同様の処理が行われ、従って、この場合も、ユーザＡ乃至Ｃは、ユーザＤが発した音声によるメッセージを聴くことができる。

以上のようにメディアミックスミーティングサービスによれば、異なるメディアの端末間で、リアルタイムで相互にメッセージのやりとり（以下、適宜、メディアミックスミーティングという）を行うことができる。

ところで、システムサーバ１では、パソコン通信における電子会議室のように、あるテーマごとに、メディアミックスミーティングを行うための共有スペース（以下、ミーティングルームという）が設けられており、各ユーザが、希望するテーマについてのミーティングルームにおいて、そのテーマについてメディアミックスミーティングを行うことができるようになされている。

なお、本実施例では、上述したように音声によるメッセージのやりとりをすることができるので、ミーティングルームは、ボイスミーティングルームということができる。

そして、システムサーバ１は、各ミーティングルーム（ボイスミーティングルーム）において、幾つの端末の間でメッセージのやりとりが行われているのかを、上述した端末情報として記憶するようになされており、この端末情報に基づいて、その端末（ユーザ）の数を認識するようになされている。即ち、システムサーバ１は、各ミーティングルームに、いわば何人のユーザが在室しているのかを認識するようになされている。

さらに、システムサーバ１は、各ミーティングルームに在室している人数を認識する他、そのミーティングルームに在室しているユーザを表すキャラクタ（以下、適宜、ユーザキャラクタという）、さらには、各ユーザが使用している端末のメディアを表す情報などを含む、各ミーティングルームにおける通信状況を表した通信状況画面を生成するようにもなされている。

そして、システムサーバ１は、情報を表示する表示装置を有する端末については、この通信状況画面を送信して表示させるようになされている。

即ち、図１の実施例では、パソコン２は、例えばＣＲＴやＬＣＤなどでなる表示装置２Ａを有しており、従って、この場合、システムサーバ１は、パソコン２に対し、通信状況画面を送信する。この通信状況画面は、パソコン２において受信され、表示装置２Ａにおいて表示される。これにより、ユーザＡは、各ミーティングルームの在室人数や、ミーティングルームにおいてメディアミックスミーティングを行っているユーザの端末などを認識することができる。

なお、電話機３、携帯電話機４、および５が表示装置を有する場合においては、パソコン２における場合と同様に、通信状況画面が表示されるが、表示装置を有していない場合においては、電話機３、携帯電話機４、および５に対しては、システムサーバ１は、必要に応じて、各ミーティングルームに在室している人数を報知するための音声信号を生成して送信するようになされており、従って、ユーザＢ乃至Ｄは、この音声を聴くことで、各ミーティングルームの在室人数を把握することができる。

図１の実施例では、パソコン２の表示装置２Ａに、通信状況画面が表示されており、そこには、テーマ「スキー」、「音楽」、「箱根方面」、「渋谷地区」・・・についてのミーティングルームの在室人数が、それぞれ４人、５人、３人、３人、・・・である旨が表示されている。そして、現在、ユーザＡ乃至Ｄは、テーマ「スキー」についてのミーティングルームに在室しており、通信状況画面には、「スキー」についてのミーティングルームユーザＡ乃至Ｄのユーザキャラクタと、各ユーザが使用している端末（「ＰＣ」または「ＴＥＬ」は、それぞれパソコンまたは電話機を表す）とが表示されている。

また、図１の実施例では、テーマ「スキー」についてのミーティングルームにおいて、例えば、在宅のユーザＡおよびＢが、自動車でスキー場に向かっているユーザＣおよびＤに、スキー場（あるいは、その周辺）の状況を質問し、ユーザＣおよびＤが、その質問に答えている。従って、ユーザＡおよびＢは、在宅の状態で、スキー場の実際の状況を知ることができる。

図２は、図１のシステムサーバ１の構成例を示している。通信部１１および１２（通信手段）は、端末からアクセスがあると、その端末と通信リンクを確立し、その端末との通信を行うために必要な制御を行うようになされている。なお、通信部１１または１２は、それぞれ所定のメディアの端末と通信を行うようになされている。即ち、例えば通信部１１または１２は、パソコンまたは電話機とそれぞれ通信を行うようになされている。従って、パソコン２を有するユーザＡは（後述するパソコン６を有するユーザＥも同様）、通信部１１にアクセスする必要があり、電話機３、携帯電話機４、または５をそれぞれ有するユーザＢ乃至Ｄは、通信部１２にアクセスする必要がある。

ユーザデータベース１３には、各ユーザのユーザ情報と、そのユーザのＩＤおよびパスワードとが対応付けて記憶されている。

即ち、システムサーバ１が提供するメディアミックスミーティングサービスを利用するには契約を結ぶ必要があり、契約を結んだユーザに対しては、ＩＤおよびパスワードが発行される。さらに、ユーザには、契約を結ぶと、通信状況画面に表示するためのユーザキャラクタがユーザ情報として割り当てられるようになされており、ユーザデータベース１３には、以上のようなユーザ情報と、ＩＤおよびパスワードとが対応付けて登録される。

なお、ユーザキャラクタは、システムサーバ１側においてあらかじめ幾つか用意されており、ユーザが、その中から、所望するものを選択することで、ユーザデータベース１３に登録されるが、その他、ユーザは、例えばグラフィック作成用のアプリケーションなどによって、好みのキャラクタを作成し、それを、システムサーバ１に送信して、ユーザデータベース１３に登録することも可能である。即ち、ユーザキャラクタは、ユーザにより設定可能となされている。

制御部１４（制御手段）は、ユーザデータベース１３、端末情報記憶部１５、および必要情報記憶部１７を参照しながら、通信部１１および１２、並びにメディア変換部１６を制御し、これにより、メディアミックスミーティングサービスを提供するようになされている。

端末情報記憶部１５（記憶手段）は、各ミーティングルームにおいて、メッセージをやりとりしている端末に関する端末情報として、その端末を特定するための特定情報（その端末を有するユーザを特定するための情報（例えば、そのユーザのユーザＩＤなど））、そのメディア（ここでは、端末がパソコンであるか、または電話機であるかなど）、その端末を有するユーザのユーザキャラクタなどを記憶するようになされている。

即ち、制御部１４は、端末からミーティングルームへのアクセスがあると、その端末に対し、例えばユニークな番号を付し、それを特定情報として端末情報記憶部１５に出力するようになされている。また、制御部１４は、例えば、端末からのアクセスが、通信部１１または１２のうちのいずれを介して行われたかで、その端末のメディアを認識し（本実施例では、通信部１１または１２を介してアクセスがあった場合、その端末のメディアは、パソコンまたは電話機であると認識される）、その検出結果を、端末情報記憶部１５に出力するようになされている。さらに、制御部１４は、例えばアクセスのあった端末のユーザのユーザキャラクタを、ユーザデータベース１３から読み出し、端末情報記憶部１５に出力するようになされている。端末情報記憶部１５は、以上のような制御部１４の出力を、端末情報として記憶するようになされている。

メディア変換部１６は、制御部１４の制御にしたがって、データを変換するようになされている。即ち、メディア変換部１６は、上述した電話機音声データとコンピュータ音声データとの間の相互の変換を行うようになされている。また、メディア変換部１６は、端末情報記憶部１５に記憶された端末情報を、上述したような通信状況画面や電話機音声データの形に変換するようにもなされている。さらに、メディア変換部１６は、必要情報記憶部１７に記憶されている必要情報を、電話機音声データやコンピュータ音声データの形に変換するようにもなされている。なお、このようなデータのメディアの変換を行う方法については、例えば特公平７−１０５８４８号公報などに、その詳細が開示されている。

必要情報記憶部１７は、メディアミックスミーティングサービスの案内その他のメッセージなど、メディアミックスミーティングサービスの提供に必要な情報（必要情報）を記憶している。

次に、図３のフローチャートを参照して、その動作について説明する。システムサーバ１の通信部１１または１２に対し、端末からアクセスがあると、通信部１１または１２では、ステップＳ１において、その端末との通信リンクが確立される。そして、ステップＳ２に進み、制御部１４において、通信部１１または１２のうちのいずれにおいて通信リンクが確立されたかに基づいて、端末のメディアが検出される。さらに、制御部１４では、ステップＳ３において、端末に対し、そのメディアに対応して、ＩＤおよびパスワードを要求するメッセージが、通信部１１または１２を制御することで送信される。

即ち、端末が電話機またはパソコンである場合、制御部１４は、必要情報記憶部１７から、必要情報として記憶されているＩＤおよびパスワードを要求するメッセージを読み出し、それを、メディア変換部１６を制御することにより、それぞれ電話機音声データまたは表示用のデータに変換させる。そして、このように電話機音声データまたは表示用のデータの形に変換されたメッセージが送信される。

ユーザは、送信されてきたメッセージを聞いて、または見て、契約時に発行されたＩＤおよびパスワードを、端末を操作することにより入力する。このＩＤおよびパスワードは、端末からシステムサーバに送信される。そして、通信部１１または１２において、端末からのＩＤおよびパスワードが受信されると、制御部１４では、ステップＳ４において、そのＩＤおよびパスワードの組合せが、ユーザデータベース１３に登録されているかどうかが判定される。

ステップＳ４において、端末から送信されてきたＩＤおよびパスワードが、ユーザデータベース１３に登録されていないと判定された場合、即ち、例えば契約したユーザからのアクセスではない場合、ステップＳ６に進み、制御部１４は、通信部１１または１２を制御して、例えばメディアミックスミーティングサービスの利用には契約が必要である旨のメッセージを、端末に送信させ、さらにその端末との回線を切断させて、処理を終了する。

一方、ステップＳ４において、端末から送信されてきたＩＤおよびパスワードが、ユーザデータベース１３に登録されていると判定された場合、ステップＳ５に進み、ステップＳ２で検出されたメディアに対応して、メディアミックスミーティングルームサービスの提供に必要な制御が行われる。そして、その後、制御部１４は、端末から、サービスの利用を終了する旨の信号を受信すると、ステップＳ６に進み、その端末との回線を切断して、処理を終了する。

次に、図３のステップＳ５における処理の詳細を、端末がパソコンである場合と、電話機である場合とに分けて説明する。まず、図４のフローチャートを参照して、端末がパソコンである場合について説明する。

なお、ここでは、図１で説明したように、パソコン２を有するユーザＡ、電話機３を有するユーザＢ、携帯電話機４または５をそれぞれ有するユーザＣまたはＤが、後述するテーマ「スキー（湯沢方面）」についてのミーティングルームに在室している状態において、図１に点線で示すように、パソコン２と同様に、表示装置６Ａおよびマイク６Ｂが備えられたパソコン６を有するユーザＥがアクセスしてきたものとする。

この場合、制御部１４では、まず最初に、必要情報記憶部１７から、必要情報として記憶されているミーティングルームの種類（テーマの種類）が読み出されるとともに、端末情報記憶部１５を参照することで、各ミーティングルームに在室しているユーザの人数が認識される。そして、制御部１４は、これらの情報から、通信状況画面の１つであるメニュー画面を構成するデータを生成し、さらに、メディア変換部１６を制御することで、このデータを表示用のデータに変換させる。ステップＳ１１においては、以上のようにして表示用のデータの形にされたメニュー画面が、通信部１１を介して（上述したように、パソコンからのアクセスは、通信部１１で受け付けられるため）、パソコン６に送信される。

パソコン６では、メニュー画面が受信され、これにより、その表示装置６Ａには、例えば図５（Ａ）に示すような、ミーティングルーム（電子会議ルーム）の種類と、そのミーティングルームに在室しているユーザの数が表されたメニュー画面が表示される。

ユーザＥは、このようなメニュー画面を見て、参加を希望するミーティングルームを選択する。即ち、ユーザＥは、例えば、希望するミーティングルームの表示部分を、例えば図示せぬマウスなどをクリックすることなどにより選択する。ユーザＥによってミーティングルームが選択されると、その選択に対応した選択信号が、パソコン６からシステムサーバ１に送信される。

一方、システムサーバ１では、ステップＳ１１においてメニュー画面を送信した後、ステップＳ１２において、ユーザＥによって、ミーティングルーム（会議室）が選択されたかどうかが、制御部１４によって判定される。ステップＳ１２において、ミーティングルームが選択されていないと判定された場合、ステップＳ１２に戻る。また、ステップＳ１２において、ミーティングルームが選択されたと判定された場合、即ち、パソコン６からの選択信号が、通信部１１において受信された場合、ステップＳ１３に進み、制御部１４は、その選択信号に対応するミーティングルーム（ユーザＥが選択したミーティングルーム）における通信状況を表す、通信状況画面として、後述するような会議室画面を、パソコン６に送信するように、通信部１１を制御する。

即ち、制御部１４では、選択信号に対応したミーティングルームに在室しているユーザのユーザキャラクタが、端末情報記憶部１５から読み出される。また、制御部１４では、選択信号に対応したミーティングルームに在室しているユーザが、端末情報記憶部１５に記憶された端末情報を参照することで認識される。さらに、制御部１４では、必要情報記憶部１７に記憶されている必要情報のうち、会議室画面を構成するのに必要な情報が読み出される。そして、制御部１４は、これらの情報に基づいて、会議室画面を構成するデータを生成し、さらに、メディア変換部１６を制御することで、このデータを表示用のデータに変換させる。ステップＳ１３においては、以上のようにして表示用のデータの形にされた会議室画面が、通信部１１を介して、パソコン６に送信される。

パソコン６では、以上のようにして送信されてくる会議室画面が受信され、これにより、表示装置６Ａには、例えば図５（Ｂ）に示すような会議室画面が表示される。

ここで、図５（Ｂ）の会議室画面は、湯沢方面のスキー場についてのミーティングを行うためのミーティングルームのもので、その最上部には、そのことを表す表示「★★★スキー（湯沢方面）」が配置されており、その下部には、ミーティングルームに４人（ここでは、ユーザＡ乃至Ｄ）が在室していることを表す表示「ただいま、４人在室」が表示されている。さらに、その下部には、ユーザＡ乃至Ｄのユーザキャラクタが、それぞれのユーザが使用している端末のメディアを表すキャラクタ（以下、適宜、端末キャラクタという）と組み合わされて表示されている（図５（Ｂ）の実施例では、あるユーザのユーザキャラクタと端末キャラクタとは、点線で区切られている）。

従って、この場合、ユーザＥは、このミーティングルームにどのようなユーザ（ここでは、ユーザＡ乃至Ｄ）が在室し、それぞれがどのようなメディアの端末を使用しているのかを、容易に認識することができる。

会議室画面には、さらに、発言ボタン２１、終了ボタン２２、および枠２３も表示されている。発言ボタン２１は、このミーティングルームで発言をするとき（音声によるメッセージを送信するとき）に操作される（クリックされる）。終了ボタン２２は、ミーティングルームから退室するとき（システムサーバ１との回線を切断するとき）に操作される。枠２３については後述する。

ここで、システムサーバ１では、通信部１１，１２が、端末（ここでは、パソコン２、電話機３、携帯電話機４、および５）からの音声によるメッセージを受信し、制御部１４が、必要に応じて、メディア変換部１６を制御することにより、通信部１１，１２で受信された音声によるメッセージのデータ形式を、上述したように、電話機音声データまたはコンピュータ音声データに変換させる。そして、制御部１４は、端末情報記憶部１５を参照することにより、同一のミーティングルームに在室しているユーザを認識し、そのユーザのうちの、あるユーザの端末から音声によるメッセージを受信した場合には、その音声によるメッセージであって、他のユーザの端末のデータ形式のものを、他のユーザの端末それぞれに送信するように、通信部１１，１２を制御する。これにより、パソコン２、電話機３、携帯電話機４、または５をそれぞれ有するユーザＡ乃至Ｄの間で、相互に音声によるメッセージのやりとりを行うことができるようになされている。

制御部１４は、ステップＳ１３において、ステップＳ１２でミーティングルームの選択信号を受信した端末に対して、会議室画面を送信する他、選択されたミーティングルームに在室しているユーザの端末の音声によるメッセージを、上述した場合と同様にして、通信部１１または１２に送信させるようになされている。従って、ユーザＥは、ステップＳ１２でミーティングルーム（ここでは、ユーザＡ乃至Ｄが在室しているミーティングルーム）を選択することで、そのミーティングルームに在室しているユーザＡ乃至Ｄの発言内容（音声によるメッセージ）を聴くことができる。

なお、パソコン６は、パソコン２と同様に、スピーカを内蔵しており、システムサーバ１から送信されてくる音声は、そのスピーカから出力される。

図５（Ｂ）に示した会議室画面における枠２３は、いま発言をしているユーザのユーザキャラクタおよび端末キャラクタを囲むように表示されるようになされており、この場合、ユーザＡのユーザキャラクタおよび端末キャラクタが、枠２３で囲まれているので、ユーザＡが発言中である（ユーザＡが発言者である）ことがわかる。即ち、スピーカから出力される音声は、ユーザＡが発したものであることがわかる。

ユーザＥは、会議室画面に対応するミーティングルームにおいて、何かを発言しようとするとき、発言ボタン２１を操作する。この操作に対応する信号（以下、適宜、発言信号という）は、パソコン６からシステムサーバ１に送信される。

一方、システムサーバ１では、ステップＳ１３において、会議室画面と、発言内容を送信した後、ステップＳ１４に進み、制御部１４において、発言ボタン２１が操作されたか否かが判定される。ステップＳ１４において、発言ボタン２１が操作されたと判定された場合、即ち、パソコン６から発言信号を受信した場合、ステップＳ１５に進み、ステップＳ１２でミーティングルームの選択がされた後に、パソコン６から発言信号を受信したのが初めてかどうかが、制御部１４によって判定される。ステップＳ１５において、パソコン６から発言信号を受信したのが初めてであると判定された場合、ステップＳ１６に進み、制御部１４において、ユーザＥについての端末情報が端末情報記憶部１５に記憶され、ステップＳ１７に進む。

また、ステップＳ１５において、パソコン６から発言信号を受信したのが初めてでないと判定された場合、ステップＳ１６をスキップして、ステップＳ１７に進み、制御部１４は、必要情報記憶部１７から、必要情報として記憶されている発言画面のデータを読み出し、メディア変換部１６に供給して、表示用のデータに変換させる。さらに、制御部１４は、ステップＳ１７において、その表示用のデータの形にされた発言画面を、通信部１１（パソコンと通信を行うのは、上述したように通信部１１であるため）に送信させる。

発言画面は、パソコン６で受信され、これにより、表示装置６Ａには、例えば図６（Ａ）に示すような発言を促す発言画面が表示される。この発言画面が表示された後、そこに設けられている終了ボタン３１を操作するまでの間、ユーザＥは発言をすることができる。

即ち、この場合、ユーザＥが音声を発すると、その音声は、マイク６Ｂにおいて音声信号に変換され、以下、パソコン２における場合と同様にして、システムサーバ１に送信される。システムサーバ１では、ステップＳ１８において、パソコン６からの音声が、通信部１１により受信され、以下、パソコン２から音声が送信されてきた場合と同様の処理が行われる。即ち、これにより、パソコン６から送信されてきた音声は、他のユーザＡ乃至Ｄが使用しているパソコン２、電話機３、携帯電話機４、または５それぞれのデータ形式で、パソコン２、電話機３、携帯電話機４、または５それぞれに送信される。

その後、制御部１４では、ステップＳ１９において、発言画面（図６（Ａ））の終了ボタン３１が操作されたかどうかが判定される。ステップＳ１９において、終了ボタン３１が操作されていないと判定された場合、ステップＳ１８に戻る。また、ステップＳ１９において、終了ボタン３１が操作されたと判定された場合、ステップＳ１３に戻る。

従って、この場合、システムサーバ１からパソコン６に対しては、会議室画面が、他のユーザの発言内容とともに送信されるが、会議室画面は、上述したように、端末情報記憶部１５に記憶された端末情報を参照することで作成される。よって、ユーザＥがミーティングルームにおいて発言した後は、ユーザＥについての端末情報が端末情報に記憶されるので、ユーザＥの発言後、パソコン６に、ステップＳ１３で送信されてくる会議室画面は、ユーザＥのユーザキャラクタおよび端末キャラクタが新たに加えられた、例えば図６（Ｂ）に示すようなものとなる。

なお、図６（Ｂ）の実施例では、ユーザＣのユーザキャラクタおよび端末キャラクタが、枠２３で囲まれており、従って、発言者が、ユーザＣに変わっていることがわかる。

一方、ステップＳ２０において、会議室画面の終了ボタン２２が操作されたと判定された場合、図３のステップＳ６にリターンし、これにより、回線が切断される。

次に、図７のフローチャートを参照して、図３のステップＳ５における処理の詳細を、端末が電話機である場合について説明する。なお、ここでは、パソコン２を有するユーザＡ、電話機３を有するユーザＢ、携帯電話機４を有するユーザＣが、上述の「スキー（湯沢方面）」についてのミーティングルームに在室している状態において、携帯電話機５を有するユーザＤがアクセスしてきたものとする。

この場合も、制御部１４では、まず最初に、必要情報記憶部１７から、必要情報として記憶されているミーティングルームの種類（テーマの種類）が読み出されるとともに、端末情報記憶部１５を参照することで、各ミーティングルームに在室しているユーザの人数が認識される。そして、制御部１４は、これらの情報をガイダンスするためのメッセージ（以下、適宜、ガイダンスメッセージという）を生成し、さらに、メディア変換部１６を制御することで、ガイダンスメッセージを電話機音声データの形に変換させる。ステップＳ２１においては、以上のようにして電話機音声データの形にされたガイダンスメッセージが、通信部１２を介して（上述したように、電話機からのアクセスは、通信部１２で受け付けられるため）、携帯電話機５に送信される。

携帯電話機５では、システムサーバ１からのガイダンスメッセージが受信され、音声で出力される。即ち、このガイダンスメッセージは、上述のメニュー画面に対応するもので、携帯電話機５からは、例えば音声「ミーティングルーム○○（テーマ）には、××（在室人数）人が在室中です。このミーティングルームを選択する場合には、１＃をダイヤルして下さい。ミーティングルーム○□には、△△人が在室中です。このミーティングルームを選択する場合には、２＃をダイヤルして下さい。・・・」などが出力される。

ユーザＤは、このような音声を聴いて、参加を希望するミーティングルームを選択する。即ち、ユーザＤは、希望するミーティングルームがユーザＡ乃至Ｃが在室する、テーマが「スキー（湯沢方面）」であるとき、そのミーティングルームに対応する番号と、記号＃をダイヤルする（プッシュボタンを操作する）。これにより、携帯電話機５からシステムサーバに対して、ユーザの操作に対応したプッシュボタン信号またはダイヤルパルス（以下、両方含めて、プッシュボタン信号という）が送信される。

一方、システムサーバ１では、ステップＳ２１においてガイダンスメッセージを送信した後、ステップＳ２２において、ユーザＤによって、ミーティングルーム（会議室）が選択されたかどうかが、制御部１４によって判定される。ステップＳ２２において、ミーティングルームが選択されていないと判定された場合、ステップＳ２２に戻る。また、ステップＳ２２において、ミーティングルームが選択されたと判定された場合、即ち、携帯電話機５からのプッシュボタン信号が、通信部１２において受信された場合、ステップＳ２３に進み、制御部１４は、そのプッシュボタン信号に対応するミーティングルーム（ユーザＤが選択したミーティングルーム）における発言内容を、携帯電話機５に送信するように、通信部１２を制御する。

即ち、システムサーバ１では、上述したように、同一のミーティングルームに在室しているユーザのうちの、あるユーザの端末から音声によるメッセージを受信した場合には、その音声によるメッセージが、他のユーザの端末すべてに対し、それぞれの端末に適合したデータ形式で送信されており、ステップＳ２３では、ステップＳ２２でミーティングルームを選択するためのプッシュボタン信号を受信した端末に対しても、選択されたミーティングルームに在室しているユーザの端末の音声によるメッセージを、通信部１１または１２に送信させるようになされている。従って、ユーザＤは、ステップＳ２２でミーティングルーム（ここでは、ユーザＡ乃至Ｃが在室しているミーティングルーム）を選択することで、そのミーティングルームに在室しているユーザＡ乃至Ｃの発言内容（音声によるメッセージ）を聴くことができる。

なお、このとき、システムサーバ１から携帯電話機５に対しては、ミーティングルームにおける発言方法およびミーティングルームからの退出方法を報知するためのメッセージ（以下、適宜、操作方法メッセージという）も送信される。即ち、制御部１４は、必要情報記憶部１７から、必要情報として記憶されている操作方法メッセージとしての、例えば「発言する場合は１＃を、発言を終了する場合には０＃を、ミーティングルームから退出する場合には２＃をダイヤルして下さい。」などを読み出し、メディア変換部１６に供給することで、この操作方法メッセージを、電話機音声データの形に変換させる。そして、制御部１４は、この電話機音声データの形に変換された操作方法メッセージを、通信部１２を制御することにより、携帯電話機５に送信させる。

ユーザＤは、この操作方法メッセージに対応して、選択したミーティングルームにおいて、何かを発言しようとするとき、１＃をダイヤルする。この操作に対応するプッシュボタン信号（以下、適宜、発言プッシュボタン信号という）は、携帯電話機５からシステムサーバ１に送信される。

一方、システムサーバ１では、ステップＳ２３において、ミーティングルームにおける発言内容と、上述したようなメッセージを送信した後、ステップＳ２４に進み、制御部１４において、携帯電話機５からのプッシュボタン信号が受信されたかどうかが判定される。ステップＳ２４において、プッシュボタン信号が受信されたと判定された場合、ステップＳ２５に進み、そのプッシュボタン信号が１＃または２＃のうちのいずれに対応するものであるかが、制御部１４によって判定される。

ステップＳ２５において、携帯電話機５からのプッシュボタン信号が１＃に対応するものであると判定された場合、即ち、ユーザＥが発言しようとしている場合、ステップＳ２６に進み、ステップＳ２２でミーティングルームの選択がされた後に、携帯電話機５からプッシュボタン信号を受信したのが初めてかどうかが、制御部１４によって判定される。ステップＳ２６において、携帯電話機５からプッシュボタン信号を受信したのが初めてであると判定された場合、ステップＳ２７に進み、制御部１４において、ユーザＤについての端末情報が端末情報記憶部１５に記憶され、ステップＳ２８に進む。ここで、パソコン２では、上述した会議室画面が表示されるが、ステップＳ２７で、ユーザＤについての端末情報が端末情報記憶部１５に記憶された場合、パソコン２における会議室画面に、ユーザＤのユーザキャラクタと端末キャラクタが表示される。

一方、ステップＳ２６において、携帯電話機５からプッシュボタン信号を受信したのが初めてでないと判定された場合、ステップＳ２７をスキップして、ステップＳ２８に進み、携帯電話機５から送信されてくる音声が受信される。即ち、システムサーバ１では、１＃に対応するプッシュボタン信号を受信してから、０＃に対応するプッシュボタン信号を受信するまで、ユーザＤの発言内容を受信するようになされている。

つまり、この場合、ユーザＤが音声を発すると、その音声は、携帯電話機５から、電話機音声データの形で、システムサーバ１に送信される。システムサーバ１では、ステップＳ２８において、携帯電話機５からの音声が、通信部１２により受信され、以下、上述したようにして、その音声が他のユーザＡ乃至Ｃが使用しているパソコン２、電話機３、または携帯電話機４それぞれのデータ形式で、パソコン２、電話機３、または携帯電話機４それぞれに送信される。

その後、制御部１４は、ステップＳ２９において、０＃に対応するプッシュボタン信号を受信したかどうかが判定される。ステップＳ２９において、０＃に対応するプッシュボタン信号を受信していないと判定された場合、ステップＳ２８に戻る。また、ステップＳ２９において、０＃に対応するプッシュボタン信号を受信したと判定された場合、ステップＳ２３に戻る。

一方、ステップＳ２５において、２＃に対応するプッシュボタン信号を受信したと判定された場合、図３のステップＳ６にリターンする。

以上、本発明を適用したネットワークグシステムによって提供されるメディアミックスミーティングサービスを、パソコンおよび電話機により利用する場合について説明したが、このサービスは、パソコンおよび電話機の他、例えば通信機能を有するＡＶ機器や、プレイステイション（商標）などのゲーム端末などによっても利用可能である。

なお、本実施例においては、パソコン２には音声でメッセージを入力し、また、パソコン２からは音声でメッセージを出力するようにしたが、パソコン２には文字（テキスト）でメッセージを入力し、また、パソコン２からは文字（テキスト）でメッセージを出力するようにすることも可能である。

即ち、例えばパソコン２および電話機３だけに注目したとすると、システムサーバ１のメディア変換部１６には、パソコン２から送信されてくる、図示せぬキーボードを操作することによりタイプされた文字列によるメッセージを、電話機音声データの形に変換させ、また、電話機３から送信されてくる音声によるメッセージを、コンピュータのテキストデータ（文字列）の形に変換させるようにすることが可能である。

また、本実施例では、システムサーバ１に対して、直接アクセスしてきた端末に対し、メディアミックスミーティングサービスを提供するようにしたが、その他、例えばコンピュータネットワーク８を介してシステムサーバ１にアクセスしてきた端末にも、メディアミックスミーティングサービスを提供するようにすることも可能である。

さらに、コンピュータネットワーク８に、システムサーバ１と同様の機能のサーバを設け、そのサーバに接続された端末と、システムサーバ１に接続された端末との間で、上述したようなメッセージのやりとりを行うようにすることも可能である。

また、ミーティングルームにおける発言については、例えば誰も発言していない状態において、最初に発言を開始したユーザの発言を優先させるようにすることもできるし、あるいは、誰かが発言している最中であっても、その他のユーザの発言を許可するようにすることも可能である。

本発明を適用したネットワークシステムの構成例を示す図である。 図１のシステムサーバ１の構成例を示すブロック図である。 図２のシステムサーバ１の動作を説明するためのフローチャートである。 図３のステップＳ５の詳細を説明するためのフローチャートである。 メニュー画面および会議室画面を示す図である。 発言画面および会議室画面を示す図である。 図３のステップＳ５の詳細を説明するためのフローチャートである。

符号の説明

１ システムサーバ， ２ パーソナルコンピュータ， ３ 電話機， ４，５ 携帯電話機， ６ パーソナルコンピュータ， １１，１２ 通信部， １３ ユーザデータベース， １４ 制御部， １５ 端末情報記憶部， １６ メディア変換部， １７ 必要情報記憶部

Claims (8)

1. 少なくとも携帯電話機を含む複数の端末とネットワークを介して接続され、前記複数の端末間で音声メッセージをリアルタイムでやりとりするサービスを提供する情報処理装置であって、
   通信手段と、
   制御手段と
   備え、
   前記制御手段は、
   前記携帯電話機から発言の開始を要求する第１の要求信号を前記通信手段を介して受信した場合、前記携帯電話機からの音声メッセージを受信し、当該受信した音声メッセージを、音声メッセージをやりとりする相手としての前記複数の端末に送信するように前記通信手段を制御し、
   前記携帯電話機から発言の終了を要求する第２の要求信号を前記通信手段を介して受信した場合、前記携帯電話機からの音声メッセージを受信することを終了するように前記通信手段を制御する
   ことを特徴とする情報処理装置。
2. 前記制御手段は、音声メッセージをやりとりする相手としての前記複数の端末の中にパーソナルコンピュータがある場合、前記携帯電話機からの音声メッセージをテキストデータに変換し、変換して得られたテキストデータを前記パーソナルコンピュータに送信する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記携帯電話機においては、それぞれ異なるプッシュボタンが操作されたときに前記第１の要求信号と前記第２の要求信号が送信される
   ことを特徴とする請求項１に記載の情報処理装置。
4. 音声メッセージをやりとりする相手としての前記複数の端末は同じグループに属し、
   前記制御手段は、当該グループが前記携帯電話機のユーザにより選択されることによって音声メッセージをやりとりする相手として選択する
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記制御手段は、グループ選択の前に、音声によるガイダンスを前記通信手段を介して前記携帯電話機に送信する
   ことを特徴とする請求項４に記載の情報処理装置。
6. 情報処理装置とネットワークを介して接続され、音声メッセージをやりとりする相手としての、当該情報処理装置と接続された複数の端末との間でリアルタイムで音声メッセージをやりとりする携帯電話機であって、
   音声メッセージが入力される音声入力手段と、
   音声メッセージを出力する音声出力手段と、
   所定の信号及び前記音声入力手段によって入力された音声メッセージを前記情報処理装置に送信し、かつ、前記複数の端末からの音声メッセージを前記情報処理装置から受信する通信手段と
   を備え、
   前記通信手段は、
   発言の開始を要求する第１の要求信号を前記所定の信号として前記情報処理装置に送信し、
   前記第１の要求信号を送信した後、前記音声入力手段によって入力された音声メッセージを前記情報処理装置に送信し、
   発言の終了を要求する第２の要求信号を前記所定の信号として前記情報処理装置に送信し、
   前記音声出力手段は、
   前記通信手段により受信された前記複数の端末からの音声メッセージを出力する
   ことを特徴とする携帯電話機。
7. 前記通信手段は、それぞれ異なるプッシュボタンが操作されたときに前記第１の要求信号と前記第２の要求信号を送信する
   ことを特徴とする請求項６に記載の携帯電話機。
8. 音声メッセージをやりとりする相手としての前記複数の端末は同じグループに属し、
   前記通信手段は、さらに、当該グループがユーザにより選択されることに応じて、対応した信号を前記所定の信号として前記情報処理装置に送信する
   ことを特徴とする請求項６に記載の携帯電話機。

Images