JP4193669B2

JP4193669B2 - 通話システム及び画像情報送受信方法

Info

Publication number: JP4193669B2
Application number: JP2003354282A
Authority: JP
Inventors: 元樹中出; 義之國頭
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-10-14
Filing date: 2003-10-14
Publication date: 2008-12-10
Anticipated expiration: 2023-10-14
Also published as: JP2005123748A

Description

本発明はインターネットのようなネットワークに接続されたユーザ端末装置を送信側及び受信側に用いて通話を可能とする通話システム及び通話システムに適用される画像情報送受信方法に関する。

従来、リアルタイムコミュニケーションサービスにおける画像送信を実現する為には、専用の画像配信サーバを開発して設置していた。このため、専用の送信プロトコルも開発して利用する必要があった。

本件出願人により開示された特開２００３−２２３４０７号公報では、複数のユーザ間で画像などのコンテンツを共有しながらリアルタイムコミュニケーションを行うためのコンテンツ共有支援システムが開示されている。このシステムでは、通信網に接続されたコンテンツ共有支援サーバと、通信網を介してコンテンツ共有支援サーバに接続可能な複数のユーザ端末装置とを有している。コンテンツ共有支援サーバは、あるユーザ端末装置から送信された会話情報を受け取り、これを同一のコミュニケーショングループに属する他のユーザ端末装置に宛てて送信する会話中継手段と、あるユーザ端末装置から送信された共有コンテンツのデータを受け取り、これを同一のコミュニケーショングループに属する他のユーザ端末装置に宛てて送信する共用コンテンツ中継手段とを有する。この共用コンテンツ中継手段を有するコンテンツ共有支援サーバは、コンテンツを送受信するために開発された専用のサーバである。

特開２００３−２２３４０７号公報

しかし、上記特許文献１に記載されているような専用の画像配信サーバは運用コストが高くなる。また、専用の画像配信サーバに専用の送信プロトコルを利用すると、開発の難易度が上がり、結果的に開発コストが高くなったり、バージョンアップやサービス機能の拡大がしにくくなる問題点があった。

本発明は、上記実情に鑑みてなされたものであり、リアルタイムコミュニケーションサービスにおける画像送信を、専用のサーバを開発することなく、かつ専用の送信プロトコルを開発することなく、ネットワーク上の標準プロトコルを用いて簡単に且つ低負荷で実現することができる通話システム及び画像情報送受信方法の提供を目的とする。

本発明に係る通話システムは、上記課題を解決するために、ネットワークを介して送信側及び受信側間で音声による双方向通信を行う通話システムにおいて、上記ネットワークに接続されて送信側及び受信側となる複数のユーザ端末装置と、上記ネットワークに接続されて上記複数のユーザ端末装置における送信側及び受信側間のリアルタイム通信を管理する通信管理サーバ装置と、送信側のユーザ端末装置にて選択された画像情報がアップロードされ、かつ受信側のユーザ端末装置からダウンロードされる画像サーバ装置とを備えてなり、受信側のユーザ端末装置に既に表示されている画像情報の一部を送信側のユーザ端末装置の所望によって変更するための画像情報変更処理を、上記送信側のユーザ端末装置によって選択された画像情報を上記画像サーバ装置にアップロードし、当該画像情報の変更と上記画像サーバ装置の上記ネットワーク上の所在を上記受信側のユーザ端末装置に通知し、上記受信側のユーザ端末装置が上記変更と所在の通知を受け取った後に上記画像サーバ装置から当該画像情報をダウンロードし、上記送信側のユーザ端末装置によって選択された画像情報に対応する画像情報に切り替えて表示する。

送信側のユーザ端末装置によって選択された画像情報を画像サーバ装置にアップロードし、当該画像情報の変更と画像サーバ装置のネットワーク上の所在を受信側のユーザ端末装置に通知する。

本発明に係る通話システムは、上記課題を解決するために、ネットワークを介して送信側及び受信側間で音声による双方向通信を行う通話システムにおいて、上記ネットワークに接続されて送信側及び受信側となる複数のユーザ端末装置と、上記ネットワークに接続されて上記複数のユーザ端末装置における送信側及び受信側間のリアルタイム通信を管理する通信管理サーバ装置とを備えてなり、受信側のユーザ端末装置に既に表示されている画像情報の一部を送信側のユーザ端末装置の所望によって変更するための画像情報変更処理を、上記送信側のユーザ端末装置によって選択された画像情報への変更とネットワーク上の上記送信側のユーザ端末装置の所在を上記受信側のユーザ端末装置に通知し、上記受信側のユーザ端末装置が上記変更と所在の通知を受け取った後に上記送信側のユーザ端末装置から当該画像情報をダウンロードし、上記送信側のユーザ端末装置によって選択された画像情報に対応する画像情報に切り替えて表示する。

送信側のユーザ端末装置によって選択された画像情報への変更とネットワーク上の送信側のユーザ端末装置の所在を受信側のユーザ端末装置に通知する。

本発明に係る画像情報送受信方法は、上記課題を解決するために、ネットワークに接続されて送信側及び受信側となる複数のユーザ端末装置と、ネットワークに接続されて上記複数のユーザ端末装置における送信側及び受信側間のリアルタイム通信を管理する通信管理サーバ装置と、送信側のユーザ端末装置にて選択された画像情報がアップロードされ、かつ受信側のユーザ端末装置からダウンロードされる画像サーバ装置とを備えてなる通話システムに適用される画像情報送受信方法であって、受信側のユーザ端末装置に既に表示されている画像情報の一部を送信側のユーザ端末装置の所望によって変更するための画像情報変更処理を、上記送信側のユーザ端末装置によって選択された画像情報を上記画像サーバ装置にアップロードするアップロード工程と、上記画像情報の変更と上記画像サーバ装置の上記ネットワーク上の所在を上記受信側のユーザ端末装置に通知する変更及び所在通知工程と、上記受信側のユーザ端末装置が上記変更と所在の通知を受け取った後に上記画像サーバ装置から当該画像情報をダウンロードし、上記送信側のユーザ端末装置によって選択された画像情報に対応する画像情報に切り替えて表示する工程とにより行う。

アップロード工程が送信側のユーザ端末装置によって選択された画像情報を画像サーバ装置にアップロードし、変更及び所在通知工程が当該画像情報の変更と画像サーバ装置のネットワーク上の所在を受信側のユーザ端末装置に通知する。

本発明に係る画像情報送受信方法は、上記課題を解決するために、ネットワークに接続されて送信側及び受信側となる複数のユーザ端末装置と、ネットワークに接続されて上記複数のユーザ端末装置における送信側及び受信側間のリアルタイム通信を管理する通信管理サーバ装置とを備えてなる通話システムに適用される画像情報送受信方法であって、受信側のユーザ端末装置に既に表示されている画像情報の一部を送信側のユーザ端末装置の所望によって変更するための画像情報変更処理を、上記送信側のユーザ端末装置によって選択された画像情報への変更とネットワーク上の上記送信側のユーザ端末装置の所在を上記受信側のユーザ端末装置に通知する変更及び所在通知工程と、上記受信側のユーザ端末装置が上記変更と所在の通知を受け取った後に上記送信側のユーザ端末装置から当該画像情報をダウンロードし、上記送信側のユーザ端末装置によって選択された画像情報に対応する画像情報に切り替えて表示する工程とにより行う。

変更及び所在通知工程は、送信側のユーザ端末装置によって選択された画像情報への変更とネットワーク上の送信側のユーザ端末装置の所在を受信側のユーザ端末装置に通知する。

本発明の通話システムによれば、リアルタイムコミュニケーションサービスにおける画像送信を、専用のサーバを開発することなく、かつ専用の送信プロトコルを開発することなく、ネットワーク上の標準プロトコルを用いて簡単に且つ低負荷で実現することができる。この画像送信は、通話とは独立で行えるので、通話音の品質には影響を与えることがない。

また、本発明の通話システム及び画像情報送受信方法を用いると、従来からある画像配信用のサーバを利用することによりユーザ端末装置にＵＲＬなどが割り当てられていなくても画像送信が可能になる。またユーザ端末装置にＵＲＬが割り当てられていれば、サーバを利用せずに標準的なＨＴＴＰプロトコルで送信側のユーザ端末装置から受信側のユーザ端末装置へ直接画像を送信することができる。更に、サーバがあるケースとないケースとでの画像受信側の構成が全く同じのため、送信側がどちらかを選べば受信側はソフトウェアを変更する必要がなく、双方混在した形でのサービス運用が可能になり、極めて効率的且つ柔軟性の高いサービスを提供することが可能になる。

以下、本発明を実施するための最良の形態として、ＡＤＳＬなどのブロードバンドネットワークを代表するインターネットを介して送信側及び受信側間で音声による双方向通信を行うインターネット利用通話システムを挙げる。インターネット利用の通話システムの具体例としてはボイス・オーバー・アイピー（Voice over IP：ＶｏＩＰ）と呼ばれるインターネット電話のプロトコルに従ったＶｏＩＰ電話システムがある。

このインターネット利用通話システムは、インターネットに接続された複数のユーザ端末装置間の音声通話とは独立に、受信者側のユーザ端末装置の表示部に既に表示されている送信者の例えば顔写真よりなる画像アイコンを、送信者側のユーザ端末装置の操作によりリアルタイムに変更することができる。以下では、画像情報の送受信の方法にしたがって、実施の形態を第１具体例〜第３具体例に分けて説明する。

第１具体例は、送信側のユーザ端末装置がインターネットに接続されているＨＴＴＰサーバに画像アイコンをアップロードし、そのＨＴＴＰサーバの所在を画像アイコン変更の通知と共に受信側のユーザ端末装置に送り、それを受け取った受信側のユーザ端末装置がその所在通知を基にＨＴＴＰサーバに画像アイコンをダウンロードしに行くという第１の画像情報送受信方法に従っている。

第２具体例は、上記第１具体例にあって、受信側のユーザ端末装置がＨＴＴＰサーバに画像アイコンを取りにきたとき、ＨＴＴＰサーバが認証データベースを用いて認証処理を行い、認証結果に応じて受信側が画像アイコンを受け取ることができるという第２の画像情報送受信方法に従っている。

第３具体例は、送信側のユーザ端末装置自身がＨＴＴＰサーバを内蔵しており、このＨＴＴＰサーバに変更用画像アイコンを格納し、受信側のユーザ端末装置には自らの所在を通知し、それを受け取った受信側のユーザ端末装置が所在通知を基に送信側のユーザ端末装置に画像アイコンを取りに行くという第３の画像情報送受信方法に従っている。

先ず、図１を参照して第１の具体例となるインターネット利用通話システム１について説明する。インターネット利用通話システム１にあって、ユーザＡ側端末装置２は、例えば公衆回線等３によりインターネット４に接続され、同じくインターネット４に接続されている他のユーザＢ側端末装置５と音声による対話のための双方向の通信（対話）、及び表示部２ａ、表示部５ａに表示する画像アイコンのリアルタイム送受信を行う。

インターネット４には、セッション・イニシエーション・プロトコル（Session Initiation Protocol：ＳＩＰ）という電話サービスの呼の制御をするためのプロトコルを基にコミュニケーションを管理するＳＩＰサーバ７と、ハイパー・テキスト・トランスファー・プロトコル（Hypertext Transfer Protocol：ＨＴＴＰ）というインターネットにおける一般的な通信プロトコルにしたがって上記画像アイコンをアップロード及びダウンロードするＨＴＴＰサーバ８も接続されている。

このインターネット利用通話システム１では、ユーザＡ側端末装置２とユーザＢ側端末装置５の二者間の通話を例に挙げるが、ユーザ端末装置は二つに限らず、よって上記通話システム１への参加者は２以上であることはもちろんである。

インターネット４は、一般公衆回線などの通信回線や、情報通信ネットワークを複数接続することによって世界中に拡がったネットワーク環境である。現在、広帯域、高速な通信回線の普及によってブロードバンド伝送（Broadband Transmission）を可能としている。光ファイバー、非対称ディジタル加入者線、無線等を用い、500kbps以上の通信回線でネットワークを構成している。

ユーザ端末装置２、５は、マイクロフォンとスピーカ、又はマイクロフォンとヘッドフォンとをセットにしたヘッドセット６を接続した例えばパーソナルコンピュータ（Personal computer：ＰＣ）である。ＰＣからなるユーザ端末装置２は、ソフトウェアで実現されるＳＩＰクライアント２ｂ、５ｂを例えば内蔵のＨＤＤに実装している。また、ＨＴＴＰクライアント２ｃ、５ｃもＨＤＤに実装している。さらに、ユーザ端末装置２，５は、本発明の画像情報送受信方法にしたがって作成されたアプリケーションソフトウェア２ｄ、５ｄを実装している。このアプリケーションソフトウェア２ｄ、５ｄは、上記第１の画像情報送受信方法にしたがっている。このアプリケーションソフトウェア２ｄ、５ｄにより、送信側、受信側に、各自分及び相手の各を表す画像アイコンが表示される。画像アイコンは、複数の選択肢からユーザが選択でき、選択した画像アイコンが相手のアプリケーション２ｄ及び５ｄにより、表示部２ａ及び５ａに表示される。

ユーザ端末装置２、５は、ＰＣであり、図２に示すハードウェア構成を採る。ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２に記憶されている各種プログラム、または記憶部１８からＲＡＭ（Random Access Memory）１３にロードされた各種プログラムに従って各種の処理を実行する。ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ１１，ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インタフェース１５には、キーボード、マウスなどよりなる入力部１６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ、並びに、ヘッドフォンやスピーカなどよりなる出力部１７、ハードディスクなどより構成される記憶部１８、モデム、ターミナルアダプタなどより構成される通信部１９が接続されている。ヘッドセット６のマイクロフォンは入力部１６に含まれる。また、ヘッドフォンは出力部１７に含まれる。

通信部１９は、インターネット４を介して通信処理を行う。ＣＰＵ１１から提供されたデータを送信する。また通信部１９は通信相手から受信したデータをＣＰＵ１１、ＲＡＭ１３、記憶部１８に出力する。記憶部１８はＣＰＵ１１との間でやり取りし、情報の保存・消去を行う。通信部１９はまた、他のクライアントとの間で、アナログ信号またはデジタル信号の通信処理を行う。

入出力インタフェース１５にはまた、必要に応じてドライブ２０が接続され、磁気ディスク２１、光ディスク２２、光磁気ディスク２３、或いは半導体メモリ２４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１８にインストールされる。

なお、記憶部１８は例えばＨＤＤである。以上のハードウェア構成は、ユーザ端末装置のＰＣ構成を示すとともに、ＳＩＰサーバ７や、ＨＴＴＰサーバ８の構成を示すものでもある。

図３には、ユーザ端末装置２が上記アプリケーションソフト２ｄを実行して、通話先の画像アイコンを変更するときの、上記出力部１７に含まれるディスプレイ（表示部）に表示される、ＧＵＩ（Graphical Use Interface）の詳細を示す。アプリケーションソフト２ｄは、音声による通話とは独立に行われるものであり、ここでは、通話の前に実行される。もちろん、通話中に通話とは独立に行われてもよい。

このＧＵＩは、上記アプリケーションソフト２ｄを実行してすぐに表示されるＴＯＰ画面３０である。ＧＵＩのＴＯＰ画面３０は、日付や天気などの情報が表示される情報表示領域３１と、電話、ミーティング、チャット、ウェブ、メール、アドレスなどに移行するための操作ボタン群３２と、送信者の顔写真などの画像アイコンを表示する本人画像アイコン表示領域３３と、送信者の名前の記入領域３４と、宛先の名前の記入領域３５と、送信ボタン３６とを備えている。

また、ＴＯＰ画面３０は、複数の相手先候補者の顔写真などを画像アイコンとしてリストにして表示している相手先リスト表示領域３７も備える。相手先リスト表示領域３７は、名前（NAME）表示部、現在状態表示部、メッセージ表示部と、相手先画像アイコンとをセットにして、複数人分を表示する。相手先画像アイコンは、相手先画像アイコン表示領域３８に表示される。この例では、スライドスイッチ３９の上下とともに、３人分の相手先リストが表示されるようになっている。現在状態（ステータス）表示部は、相手先候補として登録している人が現在、ユーザ端末装置をオンラインにしているか、オフラインにしているか、あるいは不在かを、ＬＥＤ状の画面上のマークを点灯して示す。

送信者は、自分の顔写真などをユーザ端末装置２の本人画像アイコンとして画像アイコン表示領域３３に表示している。これと同じ画像アイコンは、例えば相手先のユーザ端末装置５の相手先リスト表示領域３７の中の相手先画像アイコン表示領域３８に表示されている。

図４を用いて詳細に説明する。送信者であるユーザＡは、自分の顔写真のような本人画像アイコン４０Ａを、オンライン時に新しい本人画像アイコン４１Ａに変更したい。そこで、この通話システムでは、既にユーザＢや他の相手のユーザ端末装置に登録されている相手先リスト表示領域３７Ｂに表示されている画像アイコン４０Ｂを新しい画像アイコン４１Ｂに変更させる。もちろん、ユーザＢの本人画像アイコン４２Ｂは、ユーザＡの相手先リスト表示領域３７Ａの相手先画像アイコン表示領域３８Ａに相手先画像アイコン４２Ａとして表示されている。

以上に説明したＧＵＩにあって、送信者側のユーザ端末装置２にて画像アイコンを４０Ａから切り替えたときに、この第１具体例は、受信者側のユーザ端末装置５に、図５に示すような処理手順で、変更した画像アイコン４１Ｂを送り、表示させる。この処理手順は、第１の画像情報送受信方法を説明するものである。

まず、ユーザＡのユーザ端末装置２のＣＰＵ１１（図２）が上記アプリケーションソフトウェア２ｄ（図１）を記憶部１８から読み出し、ＲＡＭ１３をワークエリアにして実行する。すると、表示部２ａには、ＧＵＩのＴＯＰ画面３０Ａが表示される。ステップＳ１にてユーザ端末装置２は、入力部１６に属するマウスなどのポインティングデバイスを使って（例えばマウスを右クリックして）画像アイコン選択画面４３を開き、例えばマウスを左クリックして新しい画像アイコンを選択する。

次に、ユーザ端末装置２は、アプリケーションソフトウェア２ｄの基に、ＨＴＴＰクライアント２ｃを用いてＨＴＴＰサーバ８へ選択した画像アイコン４１Ａをアップロードする（ステップＳ２）。実際には、ユーザＡにより、送信ボタン３６が押されたタイミングにて画像アイコン４１ＡをＨＴＴＰサーバ８へアップロードする。

次に、ユーザ端末装置２は、ステップＳ３にて画像アイコンの変更とＨＴＴＰサーバ８の所在を特定するアドレスをユーザＢのユーザ端末装置５に通知する。ユーザ端末装置５もアプリケーションソフトウェア５ｄを実行している。また、ＨＴＴＰクライアント５ｃも実行する。所在を特定するアドレスとしては、ユニフォーム・リソース・ロケータ（Uniform Resourse Locators：ＵＲＬ）を用いる。ＩＰアドレスを使うこともできる。

すると、ユーザ端末装置５は、ＨＴＴＰクライアント５ｃを用いてＨＴＴＰサーバ８に上記ＵＲＬによって特定される所在にある画像アイコンをダウンロードしにいく（ステップＳ４）。ユーザ端末装置５は、ダウンロードした画像アイコン４１Ｂを相手先リスト表示領域の画像アイコン表示領域３８Ｂに表示する。

図６〜図９には、上述した画像アイコンの送受信とは独立に、例えば後に行われる通話の処理手順を示す。ユーザＡは、図６に示すように、相手先リスト表示領域３７を見て、ＮＡＭＥＢのユーザＢの状態（ステータス）がオンラインであり、メッセージが「今暇です。」なので、かねてからのＢさんへの用件を処理すべく、「Ｂ」さんを相手先に選択し、マウスで左クリックする（ステップＳ１１）。すると、リスト中の「Ｂ」さんの領域の色が変わり、選択したことを確認できる。これと同時に相手先の名前記入欄に既に登録済みの相手先氏名が自動入力される。もちろん、このとき、自分の名前も記入欄に自動入力されている。

この状態で、ユーザＡが操作ボタン群３２の中の「電話（ｐｈｏｎｅ）ボタン」をクリックする（ステップＳ１２）と、電話画面５０Ａが図７のように開く。既に表示部５１には、相手先のＢさんの名前と、番号が記入された状態になっている。続いて、ユーザＡが発信ボタン５２をクリックする（ステップＳ１３）と、通信が開始される。なお、ユーザ端末装置２にカメラが装着されていれば、ユーザＡ自身の現在の写真がＴＶ画面６０Ａに表示される。もちろん、ＴＶ画面６０Ａには、ＴＶ電話としてユーザ端末装置を機能させたときに、通話相手のリアルタイムの映像を映し出すことも可能である。あるいは、通話中にＴＶ番組を見ることも、送ることも可能である。また、電話画面５０には、サウンド操作部５３がある。効果音（ACTION）や、背景音（BGM）を選択して、通話音に合成するためのものである。これについては、上記画像アイコンの送受信が通話と独立であるために、通話が高品質で行えるなどの理由により可能となる。詳細は後述する。

通話相手先のユーザＢのユーザ端末装置５では、図８に示すように、表示部５ａにユーザＡさんから着信があることを知らせるためのウインドウが開かれる。ウィンドウ内には、応答、確認、拒否を選択するための操作ボタン群７１が配置されている。ユーザＢが応答ボタンをクリックする（ステップＳ１４）と、ユーザＢ側でも、図９に示すように、ＴＯＰ画面３０Ｂが表示され、さらにＰＨＯＮＥ画面５０Ｂが開かれる。このとき、相手先には、ユーザＡの名前が入っている。また、ユーザＢ自身の映像もＴＶ画面６０Ｂに表示されてもよい。

ここで、ユーザ端末装置２が背景音や効果音の音量レベルを個別に調整できる構成、及び動作について図１０を参照して説明する。ユーザ端末装置２は、例えばＶｏＩＰクライアントプログラムを実行することにより、送信系７０、受信系９０がそれぞれ機能的に以下に説明するように構成される。先ず、送信系７０にあって、マイクロフォン７ａにて収音されて電気信号に変換されたユーザの音声に基づく電気信号はマイクキャプチャー部７１にて取り込まれる。マイクキャプチャー部７１が取り込んだ音声に基づく電気信号には、ユーザが設定するマイク音量レベルであるゲイン係数ｋ１がゲイン調整部７２により乗算される。このゲイン調整部７２の乗算出力は、ミキシングを行うことになる合成部である加算部７３に供給される。

また、ユーザ端末装置２は、例えば、マシンガンの銃声、雷鳴、拍手音、笑い声など、数秒間単位の効果音を例えばＰＣＭデータにしてからそれぞれＭＰ３（MPEG-1 Audio Layer-III）や、MPEG4、あるいはＡＴＲＡＣ（Adaptive Transform Acoustic Coding）等の圧縮技術により予め圧縮し、ファイル単位のＳＥデータとしてＳＥファイル記憶部７４に複数ファイル分記憶している。ＳＥファイル記憶部７４としては、後述するようなハードディスクドライブ（ＨＤＤ）や、ＲＯＭ、光磁気ディスクが挙げられる。

また、ユーザ端末装置２は、例えば、波の音、小鳥のさえずり、或いは様々なジャンルの音楽などよりなる、数分間単位の背景音を例えばＰＣＭデータにしてからそれぞれＭＰ３や、MPEG4、あるいはＡＴＲＡＣ等の圧縮技術により予め圧縮し、ファイル単位のＢＧＭデータとしてＢＧＭファイル記憶部７５に複数ファイル分記憶している。

ＳＥファイル記憶部７４に記憶されているＳＥファイルは、使用者の所望によって選択されるとＳＥファイル読み出し部７６によって図示しないＲＡＭに読み出されながらデコード部７７にてデコードされてＰＣＭデータとなる。デコード部７７のデコード出力（ＰＣＭデータ）には、ユーザが設定するＳＥ音量レベルであるゲイン係数ｋ２がゲイン調整部７８により乗算される。このゲイン調整部７８の乗算出力は、加算部７３に供給される。

ＢＧＭファイル記憶部７５に記憶されているＢＧＭファイルも、使用者の所望によって選択されるとＢＧＭファイル読み出し部７９によって図示しないＲＡＭに読み出されながらデコード部８０にてデコードされてＰＣＭデータとなる。デコード部８０のデコード出力には、ユーザが設定するＢＧＭ音量レベルであるゲイン係数ｋ３がゲイン調整部８１により乗算される。このゲイン調整部８１の乗算出力は、加算部８３に供給される。加算部８３は、３つのゲイン調整部７２、７８、８１の乗算出力を飽和処理をしつつ加算し、加算出力をエンコード部８２に供給する。

エンコード部８２は、加算部８３の加算出力（ＰＣＭデータ）をＭＰ３や、MPEG4、あるいはＡＴＲＡＣ等の圧縮技術により数十ｋbps、例えば６４kbpsに圧縮する。このエンコード部８２が行う、ＭＰ３や、MPEG4、あるいはＡＴＲＡＣ等の圧縮技術は、ＣＤで採用されているＰＣＭオーディオデータ等に対して施される高能率の音響圧縮符号化復号化技術である。よって、パケット化されてからインターネットを介して伝送され、受信側にて再生されたオーディオは、ステレオ２チャンネル化が可能であり、また高音質である。

この圧縮データは、リアルタイム・トランスポート・プロトコル（Real-time Transport Protocol：ＲＴＰ）に従ってデータをパケット化するＲＴＰパケット化（packetize）部８３に供給される。ＲＴＰパケット化部８３は、前記圧縮データをＲＴＰのパケットに入れ、さらにＵＤＰ、ＩＰとパケッタイズする。パケット化されたパケットデータは送信部８４からインターネットに送られる。

受信系９０にあって、インターネット４を介して他のユーザ端末装置５から送信されてきたパケットデータは受信部９１によって受信される。受信部９１で受信されたパケット化データは、ＲＴＰデパケット化（depacketize）部９２にて解かれる。デジッタ（de-jitter）部９３は、ＲＴＰデパケット化部９２にてＩＰ、ＵＤＰから解かれたＲＴＰのタイムスタンプ、シーケンシャルナンバーを基に到着時間の補正を行う。

パケット補償（packet loss compensator）部９４は前記ＲＴＰのタイムスタンプ、シーケンシャルナンバーを基にパケット損失の補償を行い、補償データをデコード部９５に送る。デコード部９５は、到着時間の補正、パケットロスの補償が行われた圧縮データをＰＣＭデータにデコードし、ＰＣＭデータをゲイン調整部９６に送る。ゲイン調整部９６は、前記ＰＣＭデータに使用者が設定する再生音量レベルであるゲイン係数ｋ５を乗算する。このゲイン調整部９６の乗算出力は加算部９７に送られる。また、送信される音声を通話相手と共有するため、ゲイン調整部９８において送信音声データに使用者が設定するループバック音量レベルであるゲイン係数ｋ４を乗算する。ゲイン調整部９８の乗算出力も加算部９７に供給される。

さらに、このユーザ端末装置２は、着信音（Ring Tone）を例えばＰＣＭデータにしてからそれぞれＭＰ３や、MPEG4、あるいはＡＴＲＡＣ等の圧縮技術により予め圧縮し、ファイル単位の着信音データとして着信音ファイル記憶部９９に複数ファイル分記憶している。

着信音ファイル記憶部９９からの着信音ファイルは、使用者の所望によって予め選択されており、着信のタイミングに従ってリングトーン読み出し部１００によって図示しないＲＡＭに読み出され、デコード部１０１にてＰＣＭデータにデコードされる。デコード部１０１のデコード出力は、ゲイン調整部１０２及びゲイン調整部１０３に供給される。ゲイン調整部１０２は、使用者が設定するヘッドフォン着信音量レベルであるゲイン係数ｋ６をリングトーンのデコード出力（ＰＣＭデータ）に乗算して加算部９７に供給する。加算部９７は、ゲイン調整部９６の乗算出力である通話音声と背景音等のミキシング出力（ＰＣＭデータ）にゲイン調整部９８の乗算出力である自分の通話音のＰＣＭデータとを加算し、加算出力をヘッドフォン再生部１０４に供給する。ヘッドフォン再生部１０４は、前記加算出力をアナログ信号に変換してから増幅し、ヘッドフォン７ｂに供給する。ヘッドフォン７ｂは、使用者の耳に前記ミキシング出力を発音する。

また、加算部１０７は、他のユーザ端末装置５からの電話がかかってきたタイミングにて、リングトーンファイル読み出し部１００が読み出したリングトーンファイルのデコード出力（ＰＣＭデータ）に使用者が設定したヘッドフォン着信音量レベルであるゲイン係数ｋ６の乗算されたデータを、ヘッドフォン再生部１０４に供給する。ヘッドフォン再生部１０４は、前記ゲイン係数ｋ６の乗算されたリングトーンデータをアナログ信号に変換してからヘッドフォン７ｂに供給する。よって、ヘッドフォン７ｂは他のユーザ端末装置５からの電話がかかってきたタイミングで、使用者が設定したヘッドフォン着信音量レベルの着信音を使用者の耳に発音する。

ゲイン調整部１０３は、デコード部１０１からのデコード出力であるリングトーンのＰＣＭデータに使用者の設定するスピーカ着信音音量レベルであるゲイン係数ｋ７を乗算し、スピーカ再生部１０５に供給する。スピーカ再生部１０５は、前記乗算出力をアナログ信号に変換してから増幅しスピーカ１０６に供給する。スピーカ１０６は、使用者がスピーカ用に設定したスピーカ着信音音量レベルの着信音を発音する。

以上に説明したように、この第１具体例のインターネット用通話システム１は、リアルタイムコミュニケーションサービスにおける画像アイコンの送受信を、インターネット上の標準プロトコルであるＳＩＰプロトコルと、ＨＴＴＰプロトコルを用い、通話とは独立に、ＳＩＰサーバ７と、ＨＴＴＰサーバ８を使って簡単にかつ低負荷で実現することができる。

図１１には、第２の具体例となるインターネット利用通信システム１１０の構成を示す。このインターネット利用通信システム１１０が、上述した第１の具体例のインターネット利用通信システム１と異なるのは、ユーザＢによる画像アイコンのダウンロード前に、ＨＴＴＰサーバ８が認証用データベース（ＤＢ）１１１を用いてユーザＢの認証を行って、アプリケーション５ｄを実行しているユーザ端末装置５が画像アイコンを受信して良いか否かを確認する点である。認証が確認できればユーザＡから送信された画像アイコンをダウンロードできることになる。アプリケーションソフトウェア２ｄ、５ｄは、第２の画像情報送受信方法に基づいている。

この第２具体例では、セキュリティ強度を高めることができる。いろいろなセキュリティ強度のユーザが混在している状況でも、ある特定のユーザが「私の画像アイコン」を見られる人は認証済みでなければいけないと制限を設けた場合である。例えば、悪意のある第３者が、ユーザ端末装置２からユーザ端末装置５に通知されるＵＲＬやＩＰアドレスを手に入れたとしても、認証が確認されなければ、ＨＴＴＰサーバ８は画像アイコンのダウンロードを許可しないことになる。このため、セキュリティ強度が高められることになる。

この第２具体例でも、送信者側のユーザ端末装置２にて画像アイコンを４０Ａから４１Ａに切り替えたときに、受信者側のユーザ端末装置５に、図１２に示すような処理手順で、変更した画像アイコン４１Ｂを送り、表示させる。この処理手順は、第２の画像情報送受信方法を説明するものである。

まず、ユーザＡのユーザ端末装置２のＣＰＵ１１（図２）がアプリケーションソフトウェア２ｄ（図１）を記憶部１８から読み出し、ＲＡＭ１３をワークエリアにして実行する。すると、表示部２ａには、ＧＵＩのＴＯＰ画面３０Ａが表示される。ステップＳ２１にてユーザ端末装置２は、入力部１６に属するマウスなどのポインティングデバイスを使って（例えばマウスを右クリックして）画像アイコン選択画面４３を開き、例えばマウスを左クリックして新しい画像アイコンを選択する。

次に、ユーザ端末装置２は、アプリケーションソフトウェア２ｄの基に、ＨＴＴＰクライアント２ｃを用いてＨＴＴＰサーバ８へ選択した画像アイコン４１Ａをアップロードする（ステップＳ２２）。実際には、ユーザＡにより、送信ボタン３６が押されたタイミングにて画像アイコン４１ＡをＨＴＴＰサーバ８へアップロードする。

次に、ユーザ端末装置２は、ステップＳ２３にて画像アイコンの変更とＨＴＴＰサーバ８の所在を特定するアドレスをユーザＢのユーザ端末装置５に通知する。ユーザ端末装置５もアプリケーションソフトウェア５ｄを実行している。また、ＨＴＴＰクライアント５ｃも実行する。所在を特定するアドレスとしては、ユニフォーム・リソース・ロケータ（Uniform Resourse Locators：ＵＲＬ）を用いる。ＩＰアドレスを使うこともできる。

ここまでの処理は、上述した第１の具体例と同じである。第２の具体例では、ステップＳ２４にてユーザ端末装置５が画像アイコンを要求すると、この要求を受けたＨＴＴＰサーバ８はユーザＢのユーザ端末装置５について認証用データベース１１１を用いて認証をかける（ステップＳ２５）。認証用データベース１１１上で、ユーザ２はユーザ２の画像アイコンを見ても良いという登録が予めされていれば、ステップＳ２５では認証が確認される。認証が確認されれば、ステップＳ２６にて、ユーザ端末装置５は、ＨＴＴＰクライアント５ｃを用いてＨＴＴＰサーバ８に上記ＵＲＬによって特定される所在にある画像アイコンをダウンロードしにいく。ユーザ端末装置５は、ダウンロードした画像アイコン４１Ｂを相手先リスト表示領域の画像アイコン表示領域３８Ｂに表示する。

以上に説明したように、この第２の具体例のインターネット用通話システム１１０も、リアルタイムコミュニケーションサービスにおける画像アイコンの送受信を、インターネット上の標準プロトコルであるＳＩＰプロトコルと、ＨＴＴＰプロトコルを用い、通話とは独立に、ＳＩＰサーバ７と、ＨＴＴＰサーバ８を使って簡単にかつ低負荷で、さらにセキュリティ強度を高めて実現することができる。

また、この第２の具体例のインターネット用通話システム１１０にあって、ユーザ端末装置２は予め画像アイコンの送信許可先を登録していれば、その後は、上記第１の具体例のシステム１と同様の処理により画像アイコンを送信することができる。また、ユーザ端末装置５も、認証の結果により許可されれば、特別な操作をすることなく、第１の具体例のシステム１と同様の処理により画像アイコンをダウンロードすることができる。よって、第１の具体例と第２の具体例が混在するシステムにおいて、ユーザ端末装置２、ユーザ端末装置５は、画像アイコンの送受信を行うことができる。

図１３には、第３の具体例となるインターネット利用通信システム１２０の構成を示す。このインターネット利用通信システム１２０が、上述した第１の具体例のインターネット利用通信システム１と異なるのは、ユーザ端末装置２側にてＨＴＴＰサーバ１２１を備えている点である。ユーザＡにて選択した画像アイコンをユーザ端末装置２内に設定されたＨＴＴＰサーバ１２１にアップロードしておき、送信先のユーザＢには、自分のＵＲＬ、又はＩＰアドレスを変更の通知と共に送る。ユーザＢのユーザ端末装置５は、送られてきたアドレスに画像アイコンを取りにいく。

このシステム１２０では、ユーザＢのユーザ端末装置５は、画像アイコンを取りに行く先が、ＨＴＴＰサーバ８なのか、或いはユーザＡのユーザ端末装置２なのかを特に区別しないで済む。よって、第１の具体例のシステム１と、システム１２０が混在しているような状況でも、画像アイコンの送受信サービスを受けることができる。

この第３具体例における、処理手順を図１４を参照して説明する。まず、ユーザＡのユーザ端末装置２の表示部２ａには、ＧＵＩのＴＯＰ画面３０Ａが表示される。ステップＳ３１にてユーザ端末装置２は、入力部１６に属するマウスなどのポインティングデバイスを使って（例えばマウスを右クリックして）画像アイコン選択画面４３を開き、例えばマウスを左クリックして新しい画像アイコンを選択する。この処理手順は、第３の画像送受信方法を説明するものである。

次に、ユーザ端末装置２は、ＨＴＴＰクライアント２ｃを用いて設定されたＨＴＴＰサーバ１２１へ選択した画像アイコン４１Ａを格納する。実際には、ユーザＡにより、送信ボタン３６が押されたタイミングにて画像アイコン４１ＡをＨＴＴＰサーバ１２１へ格納する。

次に、ユーザ端末装置２は、ステップＳ３２にて画像アイコンの変更とＨＴＴＰサーバ１２１の所在を特定するアドレスをユーザＢのユーザ端末装置５に通知する。すると、ユーザ端末装置５は、ＨＴＴＰクライアント５ｃを用いてＨＴＴＰサーバ１２１に上記ＵＲＬによって特定される所在にある画像アイコンをダウンロードしにいく。ユーザ端末装置５は、ダウンロードした画像アイコン４１Ｂを相手先リスト表示領域の画像アイコン表示領域３８Ｂに表示する。

以上に説明したように、この第３の具体例のインターネット用通話システム１２０も、リアルタイムコミュニケーションサービスにおける画像アイコンの送受信を、インターネット上の標準プロトコルであるＳＩＰプロトコルと、ＨＴＴＰプロトコルを用い、通話とは独立に、ＳＩＰサーバ７を使って簡単にかつ低負荷で実現できる。また、ユーザＢのユーザ端末装置５は、画像アイコンを取りに行く先が、ＨＴＴＰサーバ８なのか、或いはユーザＡのユーザ端末装置２なのかを特に区別しないので、第１の具体例のシステム１と、システム１２０が混在しているような状況でも、画像アイコンの送受信サービスを受けることができる。

なお、この第３の具体例のシステム１２０にあっても、ユーザ端末装置５側にて認証用ＤＢを用いて相手先、つまり画像アイコンを取りにくる先の認証を行ってもよい。

第１の具体例の構成を示す図である。ユーザ端末装置のブロック図である。ＧＵＩのＴＯＰ画面を示す図である。送信側のユーザ端末装置と受信側のユーザ端末装置におけるＧＵＩを示す図である。第１の具体例の画像アイコン送受信処理手順を示す図である。通話の処理手順を説明するための送信側のＧＵＩのＴＯＰ画面図である。通話の処理手順を説明するための送信側のＧＵＩ図である。通話の処理手順を説明するための受信側のＧＵＩ図である。通話の処理手順を説明するための受信側のＧＵＩ図である。通話機能部の構成図である。第２の具体例の構成を示す図である。第２の具体例の画像アイコン送受信処理手順を示す図である。第３の具体例の構成を示す図である。第３の具体例の画像アイコン送受信処理手順を示す図である。

符号の説明

１，１１０，１２０インターネット利用通話システム、２，５ユーザ利用端末装置、４インターネット、６ヘッドセット、７ＳＩＰサーバ、８ＨＴＴＰサーバ

Claims

ネットワークを介して送信側及び受信側間で音声による双方向通信を行う通話システムにおいて、
上記ネットワークに接続されて送信側及び受信側となる複数のユーザ端末装置と、
上記ネットワークに接続されて上記複数のユーザ端末装置における送信側及び受信側間のリアルタイム通信を管理する通信管理サーバ装置と、
送信側のユーザ端末装置にて選択された画像情報がアップロードされ、かつ受信側のユーザ端末装置からダウンロードされる画像サーバ装置とを備えてなり、
受信側のユーザ端末装置に既に表示されている画像情報の一部を送信側のユーザ端末装置の所望によって変更するための画像情報変更処理を、上記送信側のユーザ端末装置によって選択された画像情報を上記画像サーバ装置にアップロードし、当該画像情報の変更と上記画像サーバ装置の上記ネットワーク上の所在を上記受信側のユーザ端末装置に通知し、上記受信側のユーザ端末装置が上記変更と所在の通知を受け取った後に上記画像サーバ装置から当該画像情報をダウンロードし、上記送信側のユーザ端末装置によって選択された画像情報に対応する画像情報に切り替えて表示することを特徴とする通話システム。
上記音声によるリアルタイム通信とは独立に、上記画像情報変更処理を行うことを特徴とする請求項１記載の通話システム。
上記複数のユーザ端末装置の認証用データを保管している認証データベースをさらに備え、上記受信側のユーザ端末装置が上記変更と所在の通知を受け取った後に上記画像サーバ装置から当該画像情報をダウンロードしようとしたときに、上記受信側のユーザ端末装置に対して上記認証データベースを用いて認証処理を施すことを特徴とする請求項１記載の通話システム。
上記送信側のユーザ端末装置において、複数の画像情報を表示し、表示された複数の画像情報から少なくとも１つの画像情報を選択し、該選択された画像情報により上記受信側のユーザ端末装置に既に表示されている画像情報の一部の変更を行うことを特徴とする請求項１記載の通話システム。
上記送信側で選択された画像情報が上記受信側のユーザ端末装置において表示されていた領域に対応する領域に、上記ダウンロードされた画像情報が表示されることを特徴とする請求項１記載の通話システム。
ネットワークを介して送信側及び受信側間で音声による双方向通信を行う通話システムにおいて、
上記ネットワークに接続されて送信側及び受信側となる複数のユーザ端末装置と、
上記ネットワークに接続されて上記複数のユーザ端末装置における送信側及び受信側間のリアルタイム通信を管理する通信管理サーバ装置とを備えてなり、
受信側のユーザ端末装置に既に表示されている画像情報の一部を送信側のユーザ端末装置の所望によって変更するための画像情報変更処理を、上記送信側のユーザ端末装置によって選択された画像情報への変更とネットワーク上の上記送信側のユーザ端末装置の所在を上記受信側のユーザ端末装置に通知し、上記受信側のユーザ端末装置が上記変更と所在の通知を受け取った後に上記送信側のユーザ端末装置から当該画像情報をダウンロードし、上記送信側のユーザ端末装置によって選択された画像情報に対応する画像情報に切り替えて表示することを特徴とする通話システム。
上記複数のユーザ端末装置の認証用データを保管している認証データベースをさらに備え、上記受信側のユーザ端末装置が上記変更と所在を受け取った後に上記送信側のユーザ端末装置から当該画像情報をダウンロードしようとしたときに、上記受信側のユーザ端末装置に対して上記認証データベースを用いて認証処理を施すことを特徴とする請求項６記載の通話システム。
ネットワークに接続されて送信側及び受信側となる複数のユーザ端末装置と、ネットワークに接続されて上記複数のユーザ端末装置における送信側及び受信側間のリアルタイム通信を管理する通信管理サーバ装置と、送信側のユーザ端末装置にて選択された画像情報がアップロードされ、かつ受信側のユーザ端末装置からダウンロードされる画像サーバ装置とを備えてなる通話システムに適用される画像情報送受信方法であって、
受信側のユーザ端末装置に既に表示されている画像情報の一部を送信側のユーザ端末装置の所望によって変更するための画像情報変更処理を、
上記送信側のユーザ端末装置によって選択された画像情報を上記画像サーバ装置にアップロードするアップロード工程と、
上記画像情報の変更と上記画像サーバ装置の上記ネットワーク上の所在を上記受信側のユーザ端末装置に通知する変更及び所在通知工程と、
上記受信側のユーザ端末装置が上記変更と所在の通知を受け取った後に上記画像サーバ装置から当該画像情報をダウンロードし、上記送信側のユーザ端末装置によって選択された画像情報に対応する画像情報に切り替えて表示する工程とにより行うことを特徴とする画像情報送受信方法。
ネットワークに接続されて送信側及び受信側となる複数のユーザ端末装置と、ネットワークに接続されて上記複数のユーザ端末装置における送信側及び受信側間のリアルタイム通信を管理する通信管理サーバ装置とを備えてなる通話システムに適用される画像情報送受信方法であって、
受信側のユーザ端末装置に既に表示されている画像情報の一部を送信側のユーザ端末装置の所望によって変更するための画像情報変更処理を、
上記送信側のユーザ端末装置によって選択された画像情報への変更とネットワーク上の上記送信側のユーザ端末装置の所在を上記受信側のユーザ端末装置に通知する変更及び所在通知工程と、
上記受信側のユーザ端末装置が上記変更と所在の通知を受け取った後に上記送信側のユーザ端末装置から当該画像情報をダウンロードし、上記送信側のユーザ端末装置によって選択された画像情報に対応する画像情報に切り替えて表示する工程とにより行うことを特徴とする画像情報送受信方法。