JP2007325248A - 通信システム、通信装置、通信プログラム、通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体 - Google Patents

通信システム、通信装置、通信プログラム、通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2007325248A
JP2007325248A JP2006306054A JP2006306054A JP2007325248A JP 2007325248 A JP2007325248 A JP 2007325248A JP 2006306054 A JP2006306054 A JP 2006306054A JP 2006306054 A JP2006306054 A JP 2006306054A JP 2007325248 A JP2007325248 A JP 2007325248A
Authority
JP
Japan
Prior art keywords
communication
video
video data
chat
client device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006306054A
Other languages
English (en)
Other versions
JP4767817B2 (ja
Inventor
Masahiro Fujiwara
雅宏 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2006306054A priority Critical patent/JP4767817B2/ja
Priority to US12/299,207 priority patent/US8621088B2/en
Priority to KR1020087026601A priority patent/KR101001029B1/ko
Priority to PCT/JP2007/059240 priority patent/WO2007129625A1/ja
Publication of JP2007325248A publication Critical patent/JP2007325248A/ja
Application granted granted Critical
Publication of JP4767817B2 publication Critical patent/JP4767817B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148Interfacing a video terminal to a particular transmission medium, e.g. ISDN
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10Multimedia information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/185Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with management of multicast group membership

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】所定の通信グループ内で相互に映像データ及び音声データの送受信を行う通信装置の数が増加しても、伝送効率の低下を抑制可能な通信システムを提供する。
【解決手段】インターネット30に接続され所定の通信グループに属する複数のクライアント装置1は、ビデオカメラ11により撮像された映像に応じた映像データ及びマイクロフォン12により入力された音声に応じた音声データを相互に送受信する。複数のクライアント装置1のうち1つは、当該通信グループに属するクライアント装置1の数を判別し、判別した数に応じて、映像データの送信品質を決定する。当該通信グループに属する複数のクライアント装置1は、当該送信品質に従って、映像データを送信する。
【選択図】図1

Description

本発明は、複数の通信装置間で映像データ及び音声データを送受信する通信システムに用いて好適な技術に関する。
従来より、ネットワークに接続される複数の遠隔会議装置において、音声データと映像データとをリアルタイムで双方向に送受信する遠隔会議システムがある(例えば、特許文献1)。このようなシステムにおいては、ユーザは、リアルタイムで、他のユーザの映像を見ながら会話を行うことができ、遠隔にいながら会議に参加することができる。
特開2001−57672号公報
しかし、このようなシステムにおいては、会議に参加する人数が増える毎に、送受信されるデータの伝送量が増加する可能性がある。このため、データの伝送効率が低下する恐れがある。この結果、映像をスムーズに表示することができず、ユーザの利便性を損ねる恐れがある。
そこで、本発明は上述の課題に鑑みてなされたものであり、複数の通信装置間で映像データ及び音声データを送受信する通信システムにおいて、相互にデータの送受信を行う通信装置の数が増加しても、伝送効率の低下を抑制することが可能な通信システムを提供することを目的とする。
本発明は、ネットワークに接続される複数の通信装置により形成された所定の通信グループに属する1つの通信装置が、撮像手段により撮像された映像に応じた映像データ及び音入力手段により入力された音声に応じた音声データを、前記通信グループに属する他の通信装置に送信すると共に、当該他の通信装置から送信された映像データ及び音声データを受信し、当該映像データによって表される映像を表示手段に表示させると共に、音声データによって表される音声を音声出力手段に出力させる通信システムにおいて、前記通信グループに属する通信装置の数を判別する判別手段と、前記判別手段が判別した数に応じて、前記映像データの送信品質を決定する決定手段とを備え、前記複数の通信装置は、前記決定手段が決定した送信品質に従って、前記映像データを送信することを特徴とする通信システムを提供する。
本発明によれば、所定の通信グループ内で相互に映像データ及び音声データの送受信を行う通信装置の数が増加しても、伝送効率の低下を抑制することができる。
以下、図面を参照して本発明の実施形態について説明する。なお、各図において共通する部分には、同一の符号が付されている。また、かかる実施形態は本発明の一態様を示すものであり、この発明を限定するものではなく、本発明の範囲で任意に変更可能である。
[実施形態]
(1)構成
<AV(Audio Visual)チャットシステムの構成>
図1は、本実施形態に係るAVチャットシステムSYMの概要を示す模式図である。AVチャットシステムSYMは、複数のクライアント装置1A,1B,1Cと、サーバ装置2とを備える。サーバ装置2と、クライアント装置1の各々とは、インターネット30を介して、データ通信を行う。また、複数のクライアント装置1A,1B,1Cは、各々とP2P(peer-to-peer)で通信する。なお、これらのクライアント装置1A,1B,1Cの各ユーザを、ユーザA,B,Cとする。以降、クライアント装置1A,1B,1Cについて、区別して記載する必要がない場合には、単に、クライアント装置1と記載する。また、各クライアント装置を区別して記載する必要があり、各クライアント装置の各構成要素について区別して記載する必要がある場合には、各々符号の後ろにA,B,Cを付記する。
各クライアント装置1には、コントローラ20と、モニタ装置10と、ビデオカメラ11と、マイクロフォン12とが各々図示しない接続ケーブルを介して接続される。コントローラ20は、ユーザにより操作される操作端末であり、ユーザの操作に応じた操作信号をクライアント装置1に供給する。ビデオカメラ11は、撮像した映像に応じた映像信号をクライアント装置1に供給する。マイクロフォン12は、入力された音声に応じた音声信号をクライアント装置1に供給する。モニタ装置10には、クライアント装置1から映像信号が供給される。モニタ装置10は、クライアント装置1から供給された映像信号に基づいて画像を表示する。
上記構成のAVチャットシステムSYMにおいて、AVチャットに参加するユーザのクライアント装置1は、ビデオカメラ11からの映像信号に応じた映像データと、マイクロフォン12からの音声に応じた音声データとをチャットストリーミングデータとして、AVチャットに参加する他のクライアント装置1に送信する。また、クライアント装置1は、AVチャットに参加している他のユーザのクライアント装置1からインターネット30を介して送信されたチャットストリーミングデータを受信する。
<クライアント装置の内部回路構成>
次に、図2を参照しながら、クライアント装置1の主要な内部構成について説明する。図2は、クライアント装置1の主要な内部構成を示すブロック図である。
中央演算処理装置(CPU:Central Processing Unit)41及びその周辺装置等からなる制御系40と、HD(Hard Disc)45と、フレームバッファ53に描画を行なう画像処理装置(GPU:Graphic Processing Unit)52等からなるグラフィックシステム50と、楽音、効果音等を発生する音声処理装置(SPU:Sound Processing Unit)61等からなるサウンドシステム60と、アプリケーションプログラムが記録されている光ディスクの制御を行なう光ディスク制御部70と、通信部80と、インターフェース部90と、上記の各部が接続されているバス等を備えて構成されている。
制御系40は、CPU41と、割り込み制御やダイレクトメモリアクセス(DMA:Direct Memory Access)転送の制御等を行なう周辺装置制御部42と、RAM(Random Access Memory)からなるメインメモリ43と、ROM(Read Only Memory)44とを備えている。
ROM44には、クライアント装置1の各部を制御するためのオペレーティングシステム等のプログラムや、各種機能を実現させるためのアプリケーションプログラムが記憶されている。CPU41は、ROM44に記憶されているオペレーティングシステムをメインメモリ43に読み出し、読み出したオペレーティングシステムを実行することにより、このクライアント装置1の全体を制御する。
HD45には、各種データや、AVチャットを実現させるためのプログラム(以下、AVチャットプログラムという)などの各種アプリケーションプログラムが記憶されている。CPU41は、HD45に記憶されているAVチャットプログラムをメインメモリ43に読み出し、読み出したAVチャットプログラムを実行する。これにより実現される機能については、後述の動作欄において説明する。
サウンドシステム60は、制御系40の制御の下、音声信号を制御するSPU61と、音声再生の際の波形データ等が記録されるサウンドバッファ62と、SPU61によって発生される楽音、効果音等を出力するスピーカ63とを備えている。サウンドシステム60には、マイクロフォン12から出力された音声信号が入力される。サウンドシステム60は、入力された音声信号をデジタル変換し、音声コーデックにより符号化して通信部80に供給する。また、サウンドシステム60には、インターネット30を介して取得された音声データが、通信部80から供給される。サウンドシステム60は、当該音声データを音声コーデックにより復号し、アナログ変換して波形データを生成し、これをサウンドバッファ62に記録し、これをスピーカ63に供給する。
光ディスク制御部70は、光ディスクに記録されたプログラムやデータ等を再生する光ディスク装置71と、例えばエラー訂正符号(ECC:Error Correcting Code)が付加されて記録されているプログラム、データ等を復号するデコーダ72と、光ディスク装置71からのデータを一時的に記憶することにより、光ディスクからのデータの読み出しを高速化するバッファ73とを備えている。上記のデコーダ72には、サブCPU74が接続されている。
インターフェース部90は、パラレルI/Oインターフェース(PIO)91と、シリアルI/Oインターフェース(SIO)92とを備えている。これらは、図示しないメモリカードとクライアント装置1とを接続するためのインターフェースである。
グラフィックシステム50は、ジオメトリトランスファエンジン(GTE:Geometry Transfer Engine)51と、GPU52と、フレームバッファ53と、画像デコーダ54と、表示部3とを備えている。
GTE51は、例えば複数の演算を並列に実行する並列演算機構を備え、上記CPU41からの演算要求に応じて座標変換、光源計算、行列あるいはベクトルなどの演算を高速に行う。そして、制御系40は、GTE51による演算結果に基づいて3角形や4角形などの基本的な単位図形(ポリゴン)の組み合わせとして3次元モデルを定義して3次元像を描画するための各ポリゴンに対応する描画命令をGPU52に送る。
GPU52は、制御系40からの描画命令に従って、フレームバッファ53に対して多角形(ポリゴン)等の描画を行なう。フレームバッファ53は、GPU52により描画された画像を記憶する。このフレームバッファ53は、いわゆるデュアルポートRAMからなり、GPU52からの描画あるいはメインメモリ43からの転送と、表示のための読み出しとを同時に行なうことができる。また、このフレームバッファ53には、ビデオ出力として出力される表示領域の他に、GPU52がポリゴン等の描画を行なう際に参照するカラールックアップテーブル(CLUT:Color Lock Up Table)が記憶されるCLUT領域と、描画時に座標変換されてGPU52によって描画されるポリゴン等の中に挿入(マッピング)される素材(テクスチャ)が記憶されるテクスチャ領域が設けられている。これらのCLUT領域とテクスチャ領域は、表示領域の変更等に従って動的に変更される。
画像デコーダ54は、上記の制御系40からの制御により、静止画あるいは動画の画像の符号化及び復号化や、デジタル変換及びアナログ変換などの各種処理を行う。
このグラフィックシステム50には、ビデオカメラ11から映像信号が供給される。グラフィックシステム50は、この映像信号をデジタル変換し、映像コーデックにより符号化(圧縮)して、通信部80に供給する。また、デジタル変換した映像信号をモニタ装置10に供給する。また、グラフィックシステム50には、インターネット30を介して取得された映像データが通信部80から供給される。グラフィックシステム50は、この映像データを映像コーデックにより復号(伸長)し、これをアナログ変換して、モニタ装置10に供給する。
通信部80は、制御系40の制御の下、インターネット30を介して他の情報処理装置とのデータ通信を制御する。通信部80は、グラフィックシステム50から供給された映像データと、サウンドシステム60から供給された音声データとをチャットストリーミングデータとしてインターネットを介して、AVチャットに参加している他のクライアント装置1へ送信する。また、通信部40は、AVチャットに参加している他のクライアント装置1からインターネット30を介して送信されたチャットストリーミングデータを受信し、につき、映像データをグラフィックシステム50へ供給し、音声データをサウンドシステム60へ供給する。
<サーバ装置の構成>
次に、図3を参照しながら、サーバ装置2の主要な内部構成について説明する。図3は、サーバ装置2の主要な内部構成を示すブロック図である。
サーバ装置2は、CPU200と、ROM210と、RAM220と、HD(Hard Disc)230と、通信部240とから構成され、これらはバスを介して接続される。
ROM210には、サーバ装置2の各部を制御するためのオペレーティングシステムや各種プログラムが記憶されている。CPU200は、サーバ装置2の起動時にROM210に記憶されているオペレーティングシステムをRAM210に読み出し、読み出したオペレーティングシステムを実行することにより、サーバ装置2各部の動作を制御する。
通信部240は、CPU200の制御の下、インターネット30を介したデータ通信を制御する。
HD230には、フレンド管理テーブル230Aが記憶されている。フレンド管理テーブル230Aには、AVチャットシステムSYMを利用可能なユーザのユーザ情報が、フレンド情報と対応付けられて記憶されている。なお、ユーザが、AVチャットシステムSYMを利用するための所定の手続きを予め行うことにより、当該ユーザのユーザ情報がフレンド管理テーブル230Aに記憶される。ここでは、クライアント装置1A,1B,1Cの各ユーザのユーザ情報が予めフレンド管理テーブル230Aに記憶されているものとする。ユーザ情報は、ユーザを識別するための情報であり、例えば、ユーザを一意に識別するためのユーザID、ユーザのメールアドレス、ユーザのニックネーム、ユーザによって選択されたアバタなどの情報を含む。フレンド情報は、ユーザによって友達の登録が予めなされた他のユーザを示すものであり、他のユーザの各ユーザ情報が示される。友達の登録は、例えば以下のようになされる。クライアント装置1のユーザがコントローラ20を介して所定の操作を行うと、当該クライアント装置1が、サーバ装置2と、友達として登録する他のユーザのクライアント装置1との間でデータ通信を行い、当該他のユーザのクライアント装置1から登録を許可する旨のデータを受信することにより、当該他のユーザのユーザ情報がフレンド情報として登録される。
(2)動作
次に、本実施形態に係る動作について説明する。
尚、クライアント装置1の図示しない電源が投入され、ROM44に記憶されたオペレーティングシステムなどのプログラムがCPU41によってメインメモリ43に読み出されて実行され、ユーザによってそれぞれ指示が入力されることにより、ROM44や光ディスク装置71に装着された光ディスクからメインメモリ43に読み出された各種プログラムがCPU41によって実行され、上述の構成欄で述べた各種機能が実現される。
また、サーバ装置2の図示しない電源が投入され、ROM210に記憶されたオペレーティングシステムなどのプログラムがCPU200によってRAM220に読み出されて実行され、ユーザによってそれぞれ指示が入力されることにより、RAM220に読み出されたゲーム制御プログラムなどの各種プログラムがCPU200によって実行され、上述の構成欄で述べた各種機能が実現される。
なお、本実施形態においては、AVチャットシステムSYMに接続される複数のクライアント装置1のうち、マスタとなるクライアント装置1においてユーザがAVチャットの開始及び他のユーザの招待を指示し、当該他のユーザが他のクライアント装置1においてAVチャットへの参加の受け入れを指示すると、これらのクライアント装置1間でAVチャットが行われる。即ち、これらのクライアント装置1により、AVチャットを行う通信グループが形成される。なお、マスタは、参加者を招く権限及び後述するトポロジや送信品質を決定する権限を有する。ここでは、マスタとして選出されたクライアント装置1をクライアント装置1Aとする。また、このAVチャットに参加できるユーザの人数、即ち、この通信グループに属することのできるクライアント装置1の数を、「2」から「6」までに制限する。
<AVチャットの開始準備>
まず、ユーザAが、クライアント装置1Aに接続されたコントローラ20Aを操作して、メニュー画面を表示させると、CPU41Aは、通信部80Aを介してサーバ装置2にアクセスし、当該ユーザのユーザ情報に対応付けられて記憶されているフレンド情報を要求する旨のリクエストデータをサーバ装置2に送信する。このリクエストデータには、例えば、ユーザAのユーザID等の情報が含まれている。一方、サーバ装置2は、クライアント装置1Aから送信されたリクエストデータを受信すると、当該リクエストデータに従い、HD230に記憶されているフレンド管理テーブル230Aを参照して、ユーザAのユーザ情報に対応付けられているフレンド情報をクライアント装置1Aに送信する。クライアント装置1AのCPU41Aは、サーバ装置2から送信されたフレンド情報を受信すると、次いで、このフレンド情報を用いたメニュー画面の描画命令をグラフィックシステム50Aに対して行う。グラフィックシステム50Aが、当該描画命令に従い、メニュー画面の画像の描画を行う。CPU41Aは、描画されたメニュー画面の画像に応じた映像信号をモニタ装置10Aに供給する。この結果、モニタ装置10Aには、例えば図4に示されるようなメニュー画面MGが表示される。当該メニュー画面MGにおいては、AVチャットの機能を象徴するチャットアイコンIC1が表示され、当該チャットアイコンIC1の上下方向に、当該ユーザAによって予め登録されサーバ装置2から受信したフレンド情報が展開表示される。ここで表示されるフレンド情報は、例えば、友達として登録された他のユーザのアバタFR1や、ニックネームNM1などである。ユーザAが、コントローラ20Aを操作して、このフレンド情報の中からAVチャットを開始したい相手を選択し、更にコントローラ20Aを操作して、オプションメニューの表示を指示すると、メニュー画面の右方にオプションメニュー(図示せず)が表示される。更に、ユーザAが、コントローラ20Aを操作して、このオプションメニューに表示される指示内容から「AVチャットの開始」を選択して、AVチャットの開始を指示すると、CPU41Aは、AVチャットプログラムをHD45Bからメインメモリ43Bに読み出し、これを実行させる。そして、CPU41Aは、ユーザにより選択されたフレンド情報を参照して、当該フレンド情報に対応するユーザに宛てた招待メッセージを生成し、これをモニタ装置10に表示させる。具体的には、例えば、招待メッセージの雛型がHD45に予め記憶されており、CPU41Aは、HD45に記憶された雛型の招待メッセージを読み出し、これに基づいて、フレンド情報によって示される情報をニックネームなどを宛先として加えるなどして、招待メッセージを生成する。このように生成されモニタ装置10に表示される招待メッセージは、例えば図5に示される。
以降の動作の流れは、図6に示すフローチャートを参照しながら説明する。図6は、クライアント装置1A,1Bとの間におけるデータ通信の流れを示すシーケンスチャートである。
ユーザAがコントローラ20を操作して、この招待メッセージの送信を決定指示すると、クライアント装置1Aは、サーバ装置2を介して、当該招待メッセージの宛先のユーザ(ここでは、ユーザBとする)のクライアント装置1(ここでは、クライアント装置1Bとする)へ当該招待メッセージを送信する(ステップS1)。
一方、クライアント装置1Aが送信した招待メッセージを受信したクライアント装置1Bは、当該招待メッセージをモニタ装置10Bに表示させる。モニタ装置10Bに表示される招待メッセージは、例えば図7に示される。ここで、当該クライアント装置1BのユーザBが、コントローラ20Bを操作して、AVチャットの参加を指示すると、当該クライアント装置1Bは、AVチャットプログラムをHD45Bからメインメモリ43Bに読み出し、これを実行させる。そして、クライアント装置1Bは、クライアント装置1Aとの間で、接続性のチェックを行うため、接続確認用データをクライアント装置1Aに送信する(ステップS3)。クライアント装置1Aは、クライアント装置1Bから送信された接続確認データを受信すると、当該データを受信した旨を示す接続応答データをクライアント装置1Bに送信する。
クライアント装置1Bは、当該接続応答データを受信すると、クライアント装置1Aと接続可能であると判別し、AVチャットに参加する旨を示す参加応答データをクライアント装置1Aに送信する(ステップS4)。なお、この参加応答データには、ユーザBのユーザIDなどが含まれる。
一方、クライアント装置1Aは、クライアント装置1Bから送信された参加応答データを受信すると、クライアント装置1Aは、トポロジを検討して決定すると共に、AVチャットに参加しているユーザ(以下、参加ユーザという)の人数を判別して、各クライアント装置1が映像データを各々送信する際の解像度及び送信頻度(以下、送信品質)を決定する。例えば、参加ユーザの人数と送信品質との対応関係は、図8の表に示される。なお、解像度とは、映像データを構成するフレーム単位の画像データに含まれる画素につき、単位面積当たりの画素数を表すものである。ここで用いる解像度は、VGAと、QVGAとである。QVGAとは、解像度が320×240ピクセルであることを示し、VGAとは、解像度が640×480ピクセルであることを示している。また、送信頻度は、1秒間に送信するフレーム数(fps)で表している。
この図8に示される対応関係を参照すると、ここでは、参加ユーザの人数は、2人であるから、ステップS5で決定される送信品質は、VGA及び60fpsとなる。また、ここで決定されるトポロジは、クライアント装置1Aとクライアント装置1Bとの2つのノードが単に接続される形態となる。次いで、ステップS6で、クライアント装置1Aは、参加を受け入れる旨を示す応答データをクライアント装置1Bに送信する。更に、ステップS8で、ステップS5で決定したトポロジ及び送信品質を検討結果データとしてクライアント装置1Bに送信する。
一方、クライアント装置1Bは、クライアント装置1Aから送信された検討結果データを受信すると、当該データに応答する旨を示す結果応答データをクライアント装置1Aに送信する(ステップS9)。
次いで、クライアント装置1Aは、クライアント装置1Bから送信された結果応答データを受信すると、AVチャットの開始を指示する旨の開始指示データをクライアント装置1Bに送信する(ステップS10)。また、クライアント装置1Aは、図9に示されるようなチャット画面CH1をモニタ装置10Aに表示させる。当該チャット画面CH1においては、クライアント装置1Aに接続されたビデオカメラ11Aから入力される映像信号に応じた映像DA1を画面右方に表示させる。画面左方には、上述のクライアント装置1Bから送信される映像データに応じた映像を表示させるため、クライアント装置1Bから映像データが送信されるのを待機する。また、クライアント装置1Aは、クライアント装置1Aに接続されたビデオカメラ11Aから入力された映像信号に応じた映像データ及びマイクロフォン12Aから入力された音声に応じた音声データをチャットストリーミングデータとして通信部80を介してクライアント装置1Bに送信する(ステップS11)。
一方、クライアント装置1Bは、クライアント装置1Aから送信された開始指示データを受信すると、図10に示されるようなチャット画面CH2をモニタ装置10Bに表示させる。当該チャット画面CH2においては、クライアント装置1Bに接続されたビデオカメラ11Bから入力される映像信号に応じた映像DB1を画面右方に表示させる。画面左方には、上述のクライアント装置1Aから送信される画像データに応じた映像を表示させるため、クライアント装置1Aから映像データが送信されるのを待機する。また、クライアント装置1Bは、クライアント装置1Bに接続されたビデオカメラ11Bから入力された映像信号に応じた映像データ及びマイクロフォン12Bから入力された音声に応じた音声データをチャットストリーミングデータとして通信部80Bを介してクライアント装置1Aに送信する(ステップS11)。
なお、ステップS11では、各クライアント装置1A,1Bは、上述のステップS5で決定されたトポロジであり且つ検討結果データに示されるトポロジに基づいて、チャットストリーミングデータを送信する。また、チャットストリーミングデータに含まれる映像データにつき、各クライアント装置1A,1Bは、上述のステップS5で決定された送信品質であり且つ検討結果データに示される送信品質により映像データを送信する。
各クライアント装置1は、自装置に接続されるビデオカメラ11からの映像信号に応じた映像を、チャット画面右方に表示させ、他装置から送信された映像データによって表される画像を、チャット画面の左方に表示させる。この結果、クライアント装置1Aでは、図11に示されるようなチャット画面CH3がモニタ装置10Aに表示される。クライアント装置1Bでは、図12に示されるようなチャット画面CH4がモニタ装置10Bに表示される。また、各クライアント装置1は、他装置から送信された音声データによって表される音声をスピーカ63から出力させる。この結果、各クライアント装置1のユーザは、他装置のユーザの映像を見ながら会話をすることができる。
なお、ここで、クライアント装置1のユーザが当該クライアント装置1に接続されたコントローラ20を操作して、上述のメニュー画面MGの表示を指示すると、モニタ装置10に表示させるメニュー画面MGにおいて、ユーザA,Bが参加しているAVチャットのチャットルームを象徴するチャットルームアイコン(図示せず)を表示させるようにしてもよい。
<参加人数の増加>
次に、クライアント装置1Aにおいて、更に、クライアント装置1CのユーザをAVチャットに招待した場合の動作の流れについて図13を参照しながら説明する。図13は、クライアント装置1A,1B,1Cとの間におけるデータ通信の流れを示すシーケンスチャートである。なお、上記と共通する部分については、その説明を省略したりする。
クライアント装置1Aでは、クライアント装置1Bとの間でAVチャットの実行中に、ユーザAがコントローラ20Aを操作して、メニュー画面MGを表示させたとする。そして、当該メニュー画面MGにおいて表示されるフレンド情報から、ユーザB以外の他のユーザ(ここでは、ユーザCとする)のフレンド情報を選択して、当該フレンド情報に示されるユーザCに対する当該AVチャットへの招待を指示したとする。すると、上述のステップS1と同様のステップS21では、クライアント装置1Cにおいて招待メッセージが表示される。ユーザCがコントローラ20Cを操作して、参加を指示すると、クライアント装置1Cは、上述のステップS3と同様にしてステップS23で、クライアント装置1A及びクライアント装置1Bと各々接続チェックを行う。一方、クライアント装置1Aは、ステップS22で、ユーザCが参加する旨を示すグループデータを、AVチャットに既に参加しているユーザのクライアント装置(ここでは、クライアント装置1Bである)に対して送信する。グループデータには、例えば、クライアント装置1CのユーザIDが含まれる。
そして、上述のステップS4と同様のステップS24で、クライアント装置1Cは、クライアント装置1A,1Bと接続可能であると判別すると、参加応答データをクライアント装置1Aに送信する。ステップS25では、ステップS5と同様にして、クライアント装置1Aは、トポロジ及び送信品質を決定する。ここでは、参加ユーザの人数が3人となったため、図8に示される対応関係に従って、送信品質を例えば、QVGA及び30fpsに決定する。また、ここで決定するトポロジは、クライアント装置1A,1B,1Cの3つのノードが、自ノード以外の他の全てのノードと各々接続するフルメッシュ型の形態となる。次いで、ステップS6と同様のステップS26を経て、その後、ステップS27では、クライアント装置1Aは、クライアント装置1Cの参加を受け入れる旨を示すグループデータをクライアント装置1Bに送信する(ステップS27)。更に、ステップS28では上述のステップS8と同様に、クライアント装置1Aは、ステップS25で決定したトポロジ及び送信品質を検討結果データとしてクライアント装置1B,1Cに送信する。
以降のステップS29,S30については、上述のステップS9,S10と同様であるため、その説明を省略する。なお、ステップS31では、各クライアント装置1A,1B,1Cは、上述のステップS25で決定されたトポロジであり且つ検討結果データに示されるトポロジに従って、チャットストリーミングデータを送信する。また、チャットストリーミングデータに含まれる映像データにつき、各クライアント装置1A,1B,1Cは、上述のステップS25で決定された送信品質であり且つ検討結果データに示される送信品質により映像データを送信する。従って、クライアント装置1A,1Bにおいては、上述のステップS5で決定された送信品質から、上述のステップS25で決定された送信品質に変更して、映像データを送信することになる。
この結果、クライアント装置1Aのモニタ装置10Aには、例えば、図14に示されるようなチャット画面CH5が表示される。当該チャット画面CH5では、AVチャットに参加する各ユーザの映像が、例えば、図11のチャット画面CH3よりも小さく表示される。なぜなら、上述のステップ25で決定された送信品質における解像度が、VGAからQVGAに変更されたからである。また、同様にして、映像のフレーム毎の更新頻度も、図11におけるチャット画面CH3と比べて遅くなる。上述のステップS25で決定された送信品質における送信頻度が、60fpsから30fpsに変更されたからである。
なお、AVチャットの参加ユーザの人数が更に増加する場合、即ち、クライアント装置1A,1B,1C以外の他のクライアント装置1が当該AVチャットを行う通信グループに参加して当該通信グループに属するクライアント装置1の数が更に増加する場合にも、ステップS21〜S31と同様の処理を行う。なお、クライアント装置1Aは、参加ユーザの人数が6人に達したと判別した場合には、ユーザが上述のメニュー画面MGにおいて所望のフレンド情報を選択しても、AVチャットへの招待を指示できないように制御する。
<参加人数の減少>
次に、参加ユーザの人数が減少する場合について説明する。例えば、クライアント装置1Cが、AVチャットから離脱する場合について図15を参照しながら説明する。
例えば、クライアント装置1CのユーザCが、コントローラ20Cを操作して、当該AVチャットの離脱(当該AVチャットを行う通信グループからの離脱)を指示すると、クライアント装置1Cは、AVチャットの離脱を示す離脱通知データをクライアント装置1Aに送信する。この離脱通知データには、ユーザCのユーザIDが含まれている。クライアント装置1Aは、クライアント装置1Cから送信された離脱通知データを受信すると、ユーザCのクライアント装置1Cがチャットから離脱する旨を示すグループデータを、当該AVチャットに参加している他の全てのユーザのクライアント装置(ここでは、クライアント装置1Bである)に送信する。次いで、クライアント装置1Aは、上述のステップS5と同様にしてステップS45で、トポロジの決定及び送信品質の決定を行う。ここでは、参加ユーザの人数が、2人になるため、図8に示される対応関係に従い、送信品質を、VGA及び60fpsに決定する。そして、上述のステップS8と同様にしてステップS48で、クライアント装置1Aは、ステップS45で決定したトポロジ及び送信品質を検討結果データとしてクライアント装置1Bに送信する。
以上のようにして、AVチャットに参加するユーザ(以下、参加ユーザとする)の人数に応じて、映像データの送信品質を変更する。例えば、図16に示すように、参加ユーザの人数が2人から1人ずつ増える毎に、チャット画面は、(a),(b),(c),(d),(e)に順に遷移する。これらの画面に示されるDA1,DB1,DC1,DD1,DE1,DF1は、自装置のビデオカメラ11からの映像信号に応じた映像及びAVチャットに参加する他のユーザのクライアント装置1から送信された映像データに応じた各映像である。また、逆に、参加ユーザの人数が6人から1人ずつ減る毎に、チャット画面は、(e),(d),(c),(b),(a)に順に遷移する。また、上述の図8に示した対応関係によれば、他のユーザの各映像の表示については、(a)のときの映像の更新頻度は略60fpsであり、(b)及び(c)のときの映像の更新頻度は略30fpsであり、(d)及び(e)のときの映像の更新頻度は略20fpsである。
このような構成によって、本実施形態においては、参加ユーザの人数に応じて、映像データの送信品質を調整する。このような構成により、参加ユーザの人数が増えても、映像データの伝送量の増加を抑制することができ、伝送効率の低下を抑制することができる。また、参加ユーザの人数が減った場合には、送信品質を変更することにより、参加ユーザの人数が減る前よりも高品質の映像データを提供可能である。但し、参加ユーザの人数が減少する場合には、上述のステップS45を行わず、送信品質の変更を行わないように構成してもよい。
[変形例]
<変形例1>
上述の送信品質を決定する際には、例えば、モニタ装置10に表示させるチャット画面の画像品質に応じて、参加ユーザの人数及び送信品質の対応関係を異ならせるようにしてもよい。例えば、モニタ装置10に表示させるチャット画面の画像品質を、高品質モードと標準画質モードとの何れかに設定可能な構成とする。そして、上述のステップS5,S25又はS45では、高品質モードの場合には、図8に示される対応関係に従って、送信品質を決定し、標準画質モードの場合には、図17に示される対応関係に従って、送信品質を決定する。
また、上述の実施形態においては映像データの送信品質として、解像度及び送信頻度を用いた。しかし、本発明においては、これに限らず、例えば、映像(画像)の圧縮レートや、画像を表すカラーバリエーションなどを送信品質として用い、これらを参加ユーザの人数に応じて可変にするようにしてもよい。
<変形例2>
また、上述のステップS5,S25又はS45では、各クライアント装置1のプロファイル情報に応じて、送信品質を決定するようにしてもよい。プロファイル情報とは、クライアント装置の接続環境や、処理環境を示すものである。具体的には、例えば、接続環境とは、データの送受信を行う伝送帯域を示す。処理環境とは、CPUの使用可能率や、メインメモリ43などのメモリの消費可能量を示すものである。例えば、クライアント装置1がマルチプロセッサを含んでいる場合、CPU使用可能率は、使用可能なサブプロセッサの数を示すものであってもよい。例えば、図18では、接続環境について2つに分け、伝送帯域が500kbps以上の場合(広帯域)と、伝送帯域が500kbps未満の場合(狭帯域)とに分ける。また、処理環境についても2つに分け、高消費環境と、低消費環境とに分ける。高消費環境は、CPUの使用可能率が高く、メモリの消化可能量が多い環境である。低消費環境は、高消費環境に比べて、CPUの使用可能率が低く、メモリの消費可能量が少ない環境である。各クライアント装置1は、自装置の環境が何れであるのかを判別して、プロファイル情報を生成する。例えば、高消費環境及び広帯域の場合を「環境1」とし、高消費環境及び狭帯域の場合を「環境2」とし、低消費環境及び広帯域の場合を「環境3」とし、低消費環境及び狭帯域の場合を「環境4」とし、これらの「環境1」〜「環境4」の何れかを示す情報をプロファイル情報として生成する。これらの「環境1」〜「環境4」は、この数字の順に環境が良好であるとする。マスタ以外の各クライアント装置1は、このように生成したプロファイル情報を、上述のステップS4又はS24で、参加応答データと共にマスタのクライアント装置1Aへ送信する。クライアント装置1Aは、各クライアント装置1からプロファイル情報を受信すると、自装置のプロファイル情報と共に、これらのプロファイル情報を検討し、使用モードを決定する。使用モードとは、参加ユーザの人数と送信品質との対応関係が複数設定されている場合、これらを識別するためのモードである。例えば、図19は、プロファイル情報と、使用モードとの対応関係を示している。この図における「Mode1」は、図8に示される対応関係に対応付けられており、「Mode2」は、図17に示される対応関係に対応付けられている。クライアント装置1Aは、各プロファイル情報に示される環境1〜環境4のうち、一番良好でない環境を抽出する。そして、抽出した環境に対応する使用モードを選択し、当該使用モードを参照して、参加ユーザの人数に応じた送信品質を決定する。例えば、全てのプロファイル情報において「環境1」が示されている場合、「Mode1」を選択する。
なお、上述のステップS4又はS24以外でも、各クライアント装置1は、接続環境及び処理環境の変更を検出した場合、当該環境を示すプロファイル情報をマスタのクライアント装置1Aに送信するようにしてもよい。マスタのクライアント装置1Aは、各クライアント装置1からプロファイル情報を受信する度に、上述のようにして、送信品質を決定する処理を行うようにすればよい。
このような構成によれば、AVチャットに参加するユーザのクライアント装置1の接続環境及び処理環境が良好でなくても、当該クライアント装置1に掛かる負担を軽減可能である。
<変形例3>
上述のAVチャットプログラムを実行中に、他のコンテンツを再生する場合、クライアント装置1Aが、ステップS5,25又はS45で送信品質を決定する際には、他のコンテンツを再生していない場合と異なる対応関係に従うようにしてもよい。なお、コンテンツとは、写真などの画像や、ゲームプログラムなどのことであり、コンテンツの再生とは、これらの再生や実行のことである。そして、例えば、AVチャットプログラムのみ実行する場合には、図8に示される対応関係に従い、AVチャットプログラムの他コンテンツを再生を実行する場合には、例えば図20に示される対応関係に従って、送信品質を決定するようにしてもよい。
また、AVチャットを実行中におけるコンテンツの再生に応じて、上述の参加ユーザのチャット画像の大きさや、配置を変更するようにしてもよい。例えば、図21(a),(b),(c),(d),(e)に示されるように、ゲームプログラムを実行している場合には、画面左方にゲーム画像GM1を表示させ、画面右方に、参加ユーザの映像を表示させるようにする。同図においては、参加ユーザの人数が2人から1人ずつ増える毎に、チャット画面は、(a),(b),(c),(d),(e)に順に遷移する。これらの画面に示されるDA1,DB1,DC1,DD1,DE1,DF1は、自装置のビデオカメラ11からの映像信号に応じた映像及びAVチャットに参加する他のユーザのクライアント装置1から送信された映像データに応じた各映像である。また、逆に、参加ユーザの人数が6人から1人ずつ減る毎に、チャット画面は、(e),(d),(c),(b),(a)に順に遷移する。このとき、他の参加ユーザのクライアント装置1から送信された映像データに応じた映像を、参加ユーザの人数に応じて、縮小又は拡大して、表示するようにしてもよい。また、参加ユーザの映像を表示する表示領域を固定的に設け、参加ユーザの人数に応じて、各ユーザの映像が当該表示領域内に収まるように、当該画像の配置及び大きさを調整するようにしてもよい。
また、例えば、ゲームプログラムと、AVチャットプログラムとを連携させるように構成し、例えば、ゲームの進行に応じて、参加ユーザの映像の表示を制御するようにしてもよい。例えば、ゲームの状況が所定の状況の時には、参加ユーザの映像を表示させ、所定の状況以外の時には、参加ユーザの映像を表示させないように制御する。また、ゲーム内容に応じて、参加ユーザの映像を表示する位置を制御するようにしてもよい。例えば、キャラクタがゲーム画像に表示されるゲームの場合、AVチャットにユーザが参加しているときには、当該キャラクタの表示位置に、参加ユーザの映像を表示させるように制御する。
<変形例4>
クライアント装置1Aが上述の他のコンテンツの再生中にAVチャットプログラムを実行する場合であって、再生するコンテンツが表示位置指定情報を含む場合、クライアント装置1Aが、コンテンツの再生に伴って読み出された表示位置指定情報によって指定されるモニタ装置10の表示位置にチャット画像を表示させてもよい。なお、コンテンツとは、ゲームプログラムなどの所定のプログラムのことであり、表示位置情報は所定のプログラムの実行(再生)によって読み出される。また、コンテンツは、光ディスクなどの記憶媒体に記憶されたものの他、HD45に記憶されたもの(インターネット30を介してダウンロードされたものを含む)など、クライアント装置1Aが再生可能な様々なコンテンツを含む。また、コンテンツ再生の進行(例えばゲームの進行)に応じてチャット画像の表示位置が変更されるように、コンテンツが複数の表示位置情報を含んでいてもよい。
例えば、コンテンツがゲームプログラムである場合、ゲーム画像GM1のうちゲームの進行上あまり重要ではない(ゲームの進行を邪魔しない)領域上に重ねてチャット画像が表示されるように、表示位置指定情報が設定され記憶されている。具体的には、図22(a)に示されるように、キャラクタの進行方向がゲーム画像GM1の左方向に設定されている場面では、チャット画面の映像DA1,DB1,DC1,DD1,DE1をゲーム画像GM1の右側に表示するように表示位置指定情報を設定すればよい。同様に、図22(b),(c),(d)に示されるように、キャラクタの進行方向がゲーム画像GM1の右方向、下方向及び上方向にそれぞれ設定されている場面では、チャット画面の画像DA1,DB1,DC1,DD1,DE1をゲーム画像GM1の左側、上側及び下側にそれぞれ表示するように表示位置指定情報を設定すればよい。なお、チャット画面の画像の数は、参加ユーザの人数に応じて変化し、図22の例では参加ユーザが5人の場合を示している。
<変形例5>
上述の実施形態においては、各クライアント装置1にビデオカメラ11が接続され、AVチャットの参加ユーザの各クライアント装置1は、ビデオカメラ11が撮像した映像に応じた映像データを他の参加ユーザのクライアント装置1に送信する構成とした。しかし、ビデオカメラ11が接続されないクライアント装置1(未接続装置という)が、AVチャットを行う通信グループに参加する場合、マイクロフォン12に入力された音声に応じた音声データを当該通信グループに属する他のクライアント装置1に送信することにより、AVチャットに音声により参加する。また、当該通信グループに属する各クライアント装置1は、未接続装置のユーザのユーザ情報として記憶されているアバタをユーザの画像としてチャット画面に表示させるようにしてもよい。
また、上述の実施形態においては、クライアント装置1は、自装置に接続されたビデオカメラ11によって撮像された映像も、チャット画面に表示させるように構成した。しかし、この映像は、これをチャット画面に表示させないように構成してもよい。
<変形例6>
上述の実施形態においては、コントローラ20とクライアント装置1とはケーブル13を介して接続され通信を行う構成とした。しかし、コントローラ20とクライアント装置1とはケーブルを介さず、例えばBluetooth(登録商標)などの通信方式によって無線通信を行う構成でもよい。
また、各クライアント装置1同士又は、クライアント装置1とサーバ装置2とが行う通信についても、有線通信であってもよいし、無線通信であってもよい。また、各クライアント装置1と、サーバ装置2とは、インターネット30を介して接続される構成としたが、他のネットワークを介して接続される形態であってもよい。
また、上述の実施形態においては、クライアント装置1と、モニタ装置10、ビデオカメラ11、マイクロフォン12及びコントローラ20とは各々別体で構成するようにしたが、これらの少なくとも1つを、クライアント装置1と一体的に形成するようにしてもよい。また、スピーカ63は、クライアント装置1に内蔵される構成としたが、これを、クライアント装置1と別体で構成し、有線又は無線によりクライアント装置1に接続させる構成としてもよい。
尚、複数のクライアント装置1が通信を行う場合の接続形態は、上述のようにフルメッシュ型ではなく、他の接続形態であってもよい。
また、マスタとなるクライアント装置1の選定は、任意であっても良く、例えば乱数を用いることに行うように構成してもよいし、また、所定の方法によって行うように構成してもよい。また、マスタとなるクライアント装置を選定せず、各クライアント装置1がAVチャットに参加するユーザの情報及び当該ユーザのクライアント装置1の情報を管理するように構成してもよい。また、例えば、上述のサーバ装置2を、マスタとして機能させるようにしてもよい。
また、上述のAVチャットシステムにおいては、マスタとなるクライアント装置1AにおけるユーザAから招待されることにより、他のユーザは上述のAVチャットに参加するように構成した。しかし、本発明においては、これに限らず、ユーザの指示により、クライアント装置1が、AVチャットを行うためのチャットルームを仮想的に生成し、当該チャットルームに参加を希望する他の任意のユーザが、AVチャットを行うことができるように構成してもよい。例えば、他のユーザが、自身のクライアント装置1において、所定のログイン操作を行うことにより、当該クライアント装置1が、チャットルームを生成したクライアント装置に接続される。これにより、他のユーザは、当該チャットルームに仮想的に入室し、AVチャットを行うことができる。
<変形例7>
なお、1つのクライアント装置1が属することのできる通信グループは、1つに限らず、複数であってもよい。即ち、1つのクライアント装置1においてユーザは、AVチャットを行う異なる複数の通信グループに参加し、各々の通信グループにおいてAVチャットを行うことができるようにしてもよい。この場合、当該クライアント装置1において、ユーザがコントローラ20を操作して、チャット画面の切替を指示すると、1の通信グループにおけるチャット画面と、他の1の通信グループにおけるチャット画面とを切り替えるようにする。そして、クライアント装置1は、モニタ装置10にチャット画面を表示させた通信グループに属する他のクライアント装置1とチャットストリーミングデータの送受信を行う。このとき、クライアント装置1は、他の通信グループに属するクライアント装置1とはチャットストリーミングデータの送受信を行わない。このような構成においては、例えば、チャット画面に表示させる参加ユーザの映像に対応付けてインジケータを表示させ、データの送受信を行っている場合とそうでない場合とで、当該インジケータの色を変更するようにしてもよい。
上述の各実施の形態の説明は本発明の一例である。このため、本発明は上述の各実施の形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、上述の実施の形態以外であっても種々の変更が可能であることは勿論である。
本発明は、所定の通信グループに属する複数の通信装置間で相互に映像データ及び音声データを送受信する通信システムに用いて好適である。
本発明の一実施形態に係るAVチャットシステムSYMの概要を示す図である。 同実施形態に係るクライアント装置の内部構成を示すブロック図である。 同実施形態に係るサーバ装置の内部構成を示すブロック図である。 同実施形態に係るメニュー画面MGを例示する図である。 同実施形態に係るメッセージを例示する図である。 同実施形態に係るクライアント装置1Aとクライアント装置1Bとにおける処理の流れを示すシーケンスチャートである。 同実施形態に係るメッセージを例示する図である。 同実施形態に係る参加ユーザの人数及び送信品質との対応関係を例示する図である。 同実施形態に係るチャット画面を例示する図である。 同実施形態に係るチャット画面を例示する図である。 同実施形態に係るチャット画面を例示する図である。 同実施形態に係るチャット画面を例示する図である。 同実施形態に係るクライアント装置1A、クライアント装置1B及びクライアント装置1Cにおける処理の流れを示すシーケンスチャートである。 同実施形態に係るチャット画面を例示する図である。 同実施形態に係るクライアント装置1A、クライアント装置1B及びクライアント装置1Cにおける処理の流れを示すシーケンスチャートである。 (a),(b),(c),(d),(e)は何れも、同実施形態に係るチャット画面を例示する図である。 本発明の変形例に係る参加ユーザの人数及び送信品質との対応関係を例示する図である。 同変形例に係る接続環境及び処理環境と、プロファイル情報との対応関係を例示する図である。 同変形例に係るプロファイル情報と使用モードとの対応関係を例示する図である。 本発明の他の変形例に係る参加ユーザの人数及び送信品質との対応関係を例示する図である。 本発明の他の変形例に係る参加ユーザの人数及び送信品質との対応関係を例示する図である。 本発明の他の変形例に係るチャット画面の位置を例示する図である。
符号の説明
1・・・クライアント装置、2・・・サーバ装置、10・・・モニタ装置、11・・・ビデオカメラ、12・・・マイクロフォン、20・・・コントローラ、30・・・インターネット、41・・・CPU、43・・・メインメモリ、44・・・ROM、52・・・GPU、200・・・CPU、210・・・ROM、220・・・RAM、230・・・HD、230A・・・フレンド管理テーブル、240・・・通信部、SYM・・・AVチャットシステム

Claims (9)

  1. ネットワークに接続される複数の通信装置により形成された所定の通信グループに属する1つの通信装置が、撮像手段により撮像された映像に応じた映像データ及び音入力手段により入力された音声に応じた音声データを、前記通信グループに属する他の通信装置に送信すると共に、当該他の通信装置から送信された映像データ及び音声データを受信し、当該映像データによって表される映像を表示手段に表示させると共に、音声データによって表される音声を音声出力手段に出力させる通信システムにおいて、
    前記通信グループに属する通信装置の数を判別する判別手段と、
    前記判別手段が判別した数に応じて、前記映像データの送信品質を決定する決定手段とを備え、
    前記複数の通信装置は、前記決定手段が決定した送信品質に従って、前記映像データを送信する
    ことを特徴とする通信システム。
  2. 前記送信品質は、前記映像データの解像度及び送信頻度のうち少なくとも一方である
    ことを特徴とする請求項1に記載の通信システム。
  3. 前記決定手段は、前記通信装置における処理環境及び接続環境のうち少なくとも1つに応じて、前記映像データの送信品質を決定する
    ことを特徴とする請求項1に記載の通信システム。
  4. 前記通信装置は、前記映像データによって表される映像と共に、前記撮像手段により撮像された映像を前記表示手段に表示させる
    ことを特徴とする請求項1に記載の通信システム。
  5. 前記通信装置は、
    コンテンツを再生する再生手段と、
    前記再生手段がコンテンツを再生しているか否かに応じて、前記撮像手段により撮像された映像及び前記他の通信装置から送信された映像データに応じた映像の少なくとも一方を前記表示手段に表示させる際の表示サイズを制御する表示制御手段とを備える
    ことを特徴とする請求項1に記載の通信システム。
  6. 前記通信装置は、
    映像の表示位置を指定する表示位置指定情報を含むコンテンツを再生する再生手段と、
    前記撮像手段により撮像された映像及び前記他の通信装置から送信された映像データに応じた映像の少なくとも一方を前記再生手段によるコンテンツの再生中に前記表示手段に表示させる場合、前記コンテンツの再生に伴って前記再生手段が読み出した前記表示位置指定情報によって指定される表示位置に前記映像を表示させる表示制御手段とを備える
    ことを特徴とする請求項1に記載の通信システム。
  7. ネットワークに接続される複数の通信装置により形成された所定の通信グループに属する1つの通信装置であって、
    撮像手段により撮像された映像に応じた映像データ及び音入力手段により入力された音声に応じた音声データを、前記通信グループに属する他の通信装置に送信すると共に、当該他の通信装置から送信された映像データ及び音声データを受信する通信手段と、
    前記通信グループに属する通信装置の数を判別する判別手段と、
    前記判別手段が判別した数に応じて、前記映像データの送信品質を決定する決定手段と、
    前記決定手段が決定した送信品質に従って前記映像データを送信することを要求する品質要求データを、前記所定の通信グループに属する他の通信装置に送信する品質通知手段とを備える
    ことを特徴とする通信装置。
  8. ネットワークに接続される複数の通信装置により形成された所定の通信グループに属する1つの通信装置の有するコンピュータに実行させるためのプログラムであって、
    撮像手段により撮像された映像に応じた映像データ及び音入力手段により入力された音声に応じた音声データを、前記通信グループに属する他の通信装置に送信する送信ステップと、
    前記他の通信装置から送信された映像データ及び音声データを受信する受信ステップと、
    前記通信グループに属する通信装置の数を判別する判別ステップと、
    前記判別ステップで判別した数に応じて、前記映像データの送信品質を決定する決定ステップと、
    前記決定ステップで決定した送信品質に従って前記映像データを送信することを要求する送信要求データを、前記所定の通信グループに属する他の通信装置に送信する品質通知ステップと
    を前記コンピュータに実行させるための通信プログラム。
  9. 請求項8に記載の通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2006306054A 2006-05-02 2006-11-10 通信システム、通信装置、通信プログラム、通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体 Active JP4767817B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006306054A JP4767817B2 (ja) 2006-05-02 2006-11-10 通信システム、通信装置、通信プログラム、通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体
US12/299,207 US8621088B2 (en) 2006-05-02 2007-04-27 Communication system, communication apparatus, communication program, and computer-readable storage medium stored with the communication progam
KR1020087026601A KR101001029B1 (ko) 2006-05-02 2007-04-27 통신 시스템, 통신 장치, 통신 프로그램, 통신 프로그램을 기억한 컴퓨터로 읽을 수 있는 기억매체
PCT/JP2007/059240 WO2007129625A1 (ja) 2006-05-02 2007-04-27 通信システム、通信装置、通信プログラム、通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006128734 2006-05-02
JP2006128734 2006-05-02
JP2006306054A JP4767817B2 (ja) 2006-05-02 2006-11-10 通信システム、通信装置、通信プログラム、通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体

Publications (2)

Publication Number Publication Date
JP2007325248A true JP2007325248A (ja) 2007-12-13
JP4767817B2 JP4767817B2 (ja) 2011-09-07

Family

ID=38667734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006306054A Active JP4767817B2 (ja) 2006-05-02 2006-11-10 通信システム、通信装置、通信プログラム、通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体

Country Status (4)

Country Link
US (1) US8621088B2 (ja)
JP (1) JP4767817B2 (ja)
KR (1) KR101001029B1 (ja)
WO (1) WO2007129625A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009087864A1 (ja) * 2008-01-08 2009-07-16 Ntt Docomo, Inc. 情報処理装置およびプログラム
US7787051B2 (en) 2008-08-29 2010-08-31 Kabushiki Kaisha Toshiba Video display apparatus and video display method
WO2011018873A1 (ja) * 2009-08-12 2011-02-17 株式会社ソニー・コンピュータエンタテインメント 情報処理システムおよび情報処理装置
JP2011517174A (ja) * 2008-03-20 2011-05-26 アルカテル−ルーセント ユーザのプレゼンテーション情報に関連付けられたユーザの識別子のセットを生成する方法、前記情報にアクセスする方法、ならびに関連サーバおよび端末
JP2011250384A (ja) * 2010-05-27 2011-12-08 Canon Software Information Systems Inc ウェブ会議システム、情報処理装置、およびその制御方法、プログラム、記録媒体。
JP2011250383A (ja) * 2010-05-27 2011-12-08 Canon Software Information Systems Inc 情報処理装置、およびその制御方法、情報処理システム、プログラム、記録媒体。
JP2012003635A (ja) * 2010-06-18 2012-01-05 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2012090091A (ja) * 2010-10-20 2012-05-10 Nec Casio Mobile Communications Ltd ビューイングシステム、携帯端末、サーバ、ビューイング方法
JP2014041487A (ja) * 2012-08-22 2014-03-06 Canon Inc データ配信システムおよびその制御方法
WO2015184415A1 (en) * 2014-05-30 2015-12-03 Highfive Technologies, Inc. Method and system for multiparty video conferencing
US9525848B2 (en) 2014-05-30 2016-12-20 Highfive Technologies, Inc. Domain trusted video network

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8868448B2 (en) 2000-10-26 2014-10-21 Liveperson, Inc. Systems and methods to facilitate selling of products and services
US9819561B2 (en) 2000-10-26 2017-11-14 Liveperson, Inc. System and methods for facilitating object assignments
US8738732B2 (en) 2005-09-14 2014-05-27 Liveperson, Inc. System and method for performing follow up based on user interactions
US9432468B2 (en) 2005-09-14 2016-08-30 Liveperson, Inc. System and method for design and dynamic generation of a web page
US8274543B2 (en) * 2007-07-02 2012-09-25 Polycom, Inc. Tag-aware multipoint switching for conferencing
KR102341800B1 (ko) * 2007-09-26 2021-12-21 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
US8762313B2 (en) 2008-07-25 2014-06-24 Liveperson, Inc. Method and system for creating a predictive model for targeting web-page to a surfer
US8260846B2 (en) 2008-07-25 2012-09-04 Liveperson, Inc. Method and system for providing targeted content to a surfer
US8805844B2 (en) 2008-08-04 2014-08-12 Liveperson, Inc. Expert search
US9892417B2 (en) 2008-10-29 2018-02-13 Liveperson, Inc. System and method for applying tracing tools for network locations
KR101717090B1 (ko) * 2009-06-09 2017-03-20 삼성전자주식회사 사용자 정보 제공방법 및 이를 적용한 디바이스
WO2011127049A1 (en) 2010-04-07 2011-10-13 Liveperson, Inc. System and method for dynamically enabling customized web content and applications
JP5740972B2 (ja) * 2010-09-30 2015-07-01 ソニー株式会社 情報処理装置および情報処理方法
WO2012077392A1 (ja) * 2010-12-10 2012-06-14 三菱電機株式会社 マルチ画面表示システム
US8918465B2 (en) 2010-12-14 2014-12-23 Liveperson, Inc. Authentication of service requests initiated from a social networking site
US9350598B2 (en) 2010-12-14 2016-05-24 Liveperson, Inc. Authentication of service requests using a communications initiation feature
JP2012181704A (ja) * 2011-03-01 2012-09-20 Sony Computer Entertainment Inc 情報処理装置および情報処理方法
US8943002B2 (en) 2012-02-10 2015-01-27 Liveperson, Inc. Analytics driven engagement
US8805941B2 (en) 2012-03-06 2014-08-12 Liveperson, Inc. Occasionally-connected computing interface
US9563336B2 (en) 2012-04-26 2017-02-07 Liveperson, Inc. Dynamic user interface customization
US9672196B2 (en) 2012-05-15 2017-06-06 Liveperson, Inc. Methods and systems for presenting specialized content using campaign metrics
US9270937B2 (en) 2013-12-26 2016-02-23 OnCam Inc. Real time stream provisioning infrastructure
US9264662B2 (en) 2013-12-30 2016-02-16 OnCam Inc. Chat preauthorization
CN106416149B (zh) 2014-03-31 2020-08-28 宝利通公司 用于优化多参与者全网状对等视频会话中的带宽利用的方法和系统
US11386442B2 (en) 2014-03-31 2022-07-12 Liveperson, Inc. Online behavioral predictor
US10142908B2 (en) 2015-06-02 2018-11-27 Liveperson, Inc. Dynamic communication routing based on consistency weighting and routing rules
US10278065B2 (en) 2016-08-14 2019-04-30 Liveperson, Inc. Systems and methods for real-time remote control of mobile applications
WO2020090109A1 (ja) * 2018-11-02 2020-05-07 Necディスプレイソリューションズ株式会社 画像表示装置及び画像伝送方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153223A (ja) * 2001-11-13 2003-05-23 Nippon Telegr & Teleph Corp <Ntt> コラボレーションサービス提供システムと方法およびプログラム
JP2004187170A (ja) * 2002-12-05 2004-07-02 Ntt Communications Kk ビデオ会議システム
JP2005020467A (ja) * 2003-06-26 2005-01-20 Matsushita Electric Ind Co Ltd Tv会議装置
JP2006019771A (ja) * 2003-07-01 2006-01-19 Ntt Docomo Inc 動画受信装置、動画送信装置およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0670040A (ja) * 1992-08-19 1994-03-11 Fujitsu Ltd 多地点テレビ会議システムにおける表示形態変更方式
US5574934A (en) * 1993-11-24 1996-11-12 Intel Corporation Preemptive priority-based transmission of signals using virtual channels
CA2186795A1 (en) * 1995-11-17 1997-05-18 Cormac John Sreenan Resource management system for a broadband multipoint bridge
JPH10164533A (ja) 1996-11-26 1998-06-19 Canon Inc 画像通信方法及び装置
US6522352B1 (en) * 1998-06-22 2003-02-18 Motorola, Inc. Self-contained wireless camera device, wireless camera system and method
US7103846B1 (en) * 1999-06-02 2006-09-05 International Business Machines Corporation Collaborative application with indicator of concurrent users
JP4359968B2 (ja) 1999-08-19 2009-11-11 ソニー株式会社 通信装置および方法、並びに記録媒体
US20020002586A1 (en) * 2000-02-08 2002-01-03 Howard Rafal Methods and apparatus for creating and hosting customized virtual parties via the internet
WO2004004139A2 (en) * 2002-06-26 2004-01-08 Yahoo Inc. System and method for communicating images between intercommunicating users
US20040015551A1 (en) * 2002-07-18 2004-01-22 Thornton Barry W. System of co-located computers with content and/or communications distribution
US7627629B1 (en) * 2002-10-30 2009-12-01 Cisco Technology, Inc. Method and apparatus for multipoint conferencing
US20040119814A1 (en) * 2002-12-20 2004-06-24 Clisham Allister B. Video conferencing system and method
US8117252B2 (en) * 2002-12-26 2012-02-14 Schaff Glen D Video-monitor/recording/playback system
DE10324422B4 (de) * 2003-05-28 2007-02-08 Infineon Technologies Ag Verfahren und Vorrichtung zur Abbildung eines abzubildenden Eingangswertes auf einen verschlüsselten abgebildeten Ausgangswert
US20050120128A1 (en) * 2003-12-02 2005-06-02 Wilife, Inc. Method and system of bandwidth management for streaming data
US7773581B2 (en) * 2004-03-19 2010-08-10 Ericsson Ab Method and apparatus for conferencing with bandwidth control
JP4655190B2 (ja) 2004-08-06 2011-03-23 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US20060075055A1 (en) * 2004-10-06 2006-04-06 Andrew Littlefield System and method for integration of instant messaging and virtual environment clients
US7587454B2 (en) * 2004-12-08 2009-09-08 Nice Systems Ltd. Video streaming parameter optimization and QoS
US8861701B2 (en) * 2005-04-28 2014-10-14 Apple Inc. Multi-participant conference adjustments
US8892629B2 (en) * 2005-09-01 2014-11-18 Samsung Electronics Co., Ltd. System and method for displaying a virtual meeting room
US20070083666A1 (en) * 2005-10-12 2007-04-12 First Data Corporation Bandwidth management of multimedia transmission over networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153223A (ja) * 2001-11-13 2003-05-23 Nippon Telegr & Teleph Corp <Ntt> コラボレーションサービス提供システムと方法およびプログラム
JP2004187170A (ja) * 2002-12-05 2004-07-02 Ntt Communications Kk ビデオ会議システム
JP2005020467A (ja) * 2003-06-26 2005-01-20 Matsushita Electric Ind Co Ltd Tv会議装置
JP2006019771A (ja) * 2003-07-01 2006-01-19 Ntt Docomo Inc 動画受信装置、動画送信装置およびプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009087864A1 (ja) * 2008-01-08 2009-07-16 Ntt Docomo, Inc. 情報処理装置およびプログラム
JP2009163567A (ja) * 2008-01-08 2009-07-23 Ntt Docomo Inc 情報処理装置およびプログラム
US9542912B2 (en) 2008-01-08 2017-01-10 Ntt Docomo, Inc. Information processing device and program
JP2011517174A (ja) * 2008-03-20 2011-05-26 アルカテル−ルーセント ユーザのプレゼンテーション情報に関連付けられたユーザの識別子のセットを生成する方法、前記情報にアクセスする方法、ならびに関連サーバおよび端末
US7787051B2 (en) 2008-08-29 2010-08-31 Kabushiki Kaisha Toshiba Video display apparatus and video display method
JP5335087B2 (ja) * 2009-08-12 2013-11-06 株式会社ソニー・コンピュータエンタテインメント 情報処理システムおよび情報処理装置
US8731371B2 (en) 2009-08-12 2014-05-20 Sony Corporation Information processing system and information processing device
WO2011018873A1 (ja) * 2009-08-12 2011-02-17 株式会社ソニー・コンピュータエンタテインメント 情報処理システムおよび情報処理装置
JP2011250383A (ja) * 2010-05-27 2011-12-08 Canon Software Information Systems Inc 情報処理装置、およびその制御方法、情報処理システム、プログラム、記録媒体。
JP2011250384A (ja) * 2010-05-27 2011-12-08 Canon Software Information Systems Inc ウェブ会議システム、情報処理装置、およびその制御方法、プログラム、記録媒体。
JP2012003635A (ja) * 2010-06-18 2012-01-05 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2012090091A (ja) * 2010-10-20 2012-05-10 Nec Casio Mobile Communications Ltd ビューイングシステム、携帯端末、サーバ、ビューイング方法
JP2014041487A (ja) * 2012-08-22 2014-03-06 Canon Inc データ配信システムおよびその制御方法
WO2015184415A1 (en) * 2014-05-30 2015-12-03 Highfive Technologies, Inc. Method and system for multiparty video conferencing
US9525848B2 (en) 2014-05-30 2016-12-20 Highfive Technologies, Inc. Domain trusted video network

Also Published As

Publication number Publication date
JP4767817B2 (ja) 2011-09-07
WO2007129625A1 (ja) 2007-11-15
KR20080109055A (ko) 2008-12-16
US20090222572A1 (en) 2009-09-03
US8621088B2 (en) 2013-12-31
KR101001029B1 (ko) 2010-12-14

Similar Documents

Publication Publication Date Title
JP4767817B2 (ja) 通信システム、通信装置、通信プログラム、通信プログラムを記憶したコンピュータ読み取り可能な記憶媒体
US10335691B2 (en) System and method for managing audio and video channels for video game players and spectators
US8751944B2 (en) Communication system, communication apparatus, communication program, and computer-readable storage medium stored with the communication program
JP4950978B2 (ja) 情報処理装置および情報処理方法
JP6612019B2 (ja) 情報処理装置、制御データ送信方法および情報処理システム
US20210275913A1 (en) Information processing apparatus and application image distribution method
JP2016163131A (ja) 情報処理装置および画像データ配信方法
JP5162508B2 (ja) クライアント装置、画像表示方法、画像処理プログラム、画像処理プログラムが記憶された記憶媒体
WO2020238840A1 (zh) 单机程序的运行方法、装置、设备及存储介质
JP7441735B2 (ja) 配信サーバおよび画像配信方法
JP6139481B2 (ja) 情報処理装置、コンテンツ画像の共有制御方法および情報処理システム
JP2003271277A (ja) 情報処理装置及び情報入力方法
JP2003125366A (ja) コミュニケーションシステム、コミュニケーション方法、コミュニケーションプログラム、並びに情報処理装置
JP7351945B2 (ja) 情報処理装置およびゲーム画像表示方法
JP5296896B2 (ja) 情報処理装置および情報処理方法
JP2021090786A (ja) 情報処理装置およびゲーム画像表示方法
JP2003228452A (ja) コミュニケーションシステム、コミュニケーション方法、コミュニケーションプログラム、並びに情報処理装置
JP2003122693A (ja) コミュニケーションシステム、コミュニケーション方法、コミュニケーションプログラム、並びに情報処理装置
JP2003122697A (ja) コミュニケーションシステム、コミュニケーション方法、コミュニケーションプログラム、並びに情報処理装置
JP2003122696A (ja) コミュニケーションシステム、コミュニケーション方法、コミュニケーションプログラム、並びに情報処理装置
JP2016162068A (ja) 情報処理装置、メッセージ表示方法および情報システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080711

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101125

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110610

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110615

R150 Certificate of patent or registration of utility model

Ref document number: 4767817

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250