JP2005341323A - 多地点テレビ会議システム，多地点テレビ会議制御方法，サーバ装置，多地点テレビ会議制御プログラムおよびそのプログラム記録媒体 - Google Patents

Abstract

【課題】通信会議を制御するサーバ装置の負荷を軽減し，かつダウンストリームのコネクション数を１つにまとめることができる多地点テレビ会議システムを実現する。
【解決手段】サーバ装置１は，各クライアント端末２，２’からＭＰＥＧ−４などによりオブジェクト符号化された符号化ストリームを受信し，ストリーム選択・連結部１２により，各クライアント端末から受信した複数の符号化ストリームを，それぞれマルチビジュアルオブジェクトとして多重化することにより合成した符号化ストリームを生成し，各クライアント端末に対して付与したビジュアルオブジェクトＩＤごとに表示位置を指定する情報を符号化ストリームに挿入し，その符号化ストリームを各クライアント端末２，２’へ送信する。
【選択図】図１

Description

本発明は，映像符号化データの多重化方式に関し，特に符号化および復号機能を持つ複数のクライアント端末において符号化された符号化ストリームを配信サーバが受信して，それぞれのクライアント端末に符号化ストリームを配信する形式の多地点テレビ会議システムに関するものである。

一般に，多地点テレビ会議システムでは，複数のクライアント端末で撮影された映像の符号化ストリームを，配信サーバがそれぞれのクライアント端末から受信し，配信サーバにおいて各クライアント端末から受信した符号化ストリームを復号し，復号した各クライアント端末の画像を一つの画像に合成して，それを再符号化したものを，それぞれのクライアント端末に配信することを行っていた（例えば，特許文献１，特許文献２参照）。

図７は，従来の多地点テレビ会議システムの例を示す図である。図７において，１００は多地点テレビ会議を制御し，各クライアントに映像を配信するサーバ装置，１１０ａ〜１１０ｚは多地点テレビ会議に参加するクライアントのクライアント端末である。サーバ装置１００は，各クライアント端末１１０ａ〜１１０ｚに対応する受信バッファ１０１ａ〜１０１ｚと，復号部１０２ａ〜１０２ｚと，画像合成部１０３と，再符号化部１０４と，送信バッファ１０５とを備える。

サーバ装置１００は，各クライアント端末１１０ａ〜１１０ｚにネットワークを介して接続され，各クライアント端末１１０ａ〜１１０ｚからの符号化ストリームを受信し，各クライアント端末に対応する受信バッファ１０１ａ〜１０１ｚに格納する。復号部１０２ａ〜１０２ｚは，受信バッファ１０１ａ〜１０１ｚに格納された符号化ストリームをそれぞれ復号する。

画像合成部１０３は，各復号部１０２ａ〜１０２ｚが復号した画像をあらかじめ定められた位置に配置して一つの画像に合成し，再符号化部１０４は，合成した画像を再符号化する。再符号化された合成画像ストリームは，送信バッファ１０５に格納され，各クライアント端末１１０ａ〜１１０ｚにネットワークを介して配信される。

図８は，従来の他の多地点テレビ会議システムの例を示す図である。図８において，１２０は多地点テレビ会議を制御し，各クライアントに映像を配信するサーバ装置，１３０ａ〜１３０ｚは多地点テレビ会議に参加するクライアントのクライアント端末である。サーバ装置１２０は，各クライアント端末１３０ａ〜１３０ｚに対応する受信バッファ１２１ａ〜１２１ｚと，送信バッファ１２２ａ〜１２２ｚとを備える。

各クライアント端末１３０ａ〜１３０ｚは，クライアントを撮影するカメラ１３１ａ〜１３１ｚと，ディスプレイ１３２ａ〜１３２ｚと，撮影した映像を符号化する符号化部１３３と，符号化ストリームを送信するための送信バッファ１３４と，サーバ装置１２０が配信した符号化ストリームを受信するための複数の受信バッファ１３５と，各受信バッファ１３５に対応する符号化ストリームの復号部１３６と，各復号部１３６が復号した復号画像と自端末のカメラで撮影した画像とを合成する画像合成部１３７とを備える。

前述した図７の例では，サーバ装置１００においてクライアント端末の符号化ストリームを一度復号した後，画像全体を合成してから再符号化しているが，図８のシステムでは，サーバ装置１２０は，各クライアント端末１３０ａ〜１３０ｚから受信した符号化ストリームを，受信バッファ１２１ａ〜１２１ｚおよび送信バッファ１２２ａ〜１２２ｚを介して各クライアント端末１３０ａ〜１３０ｚに配信する。

各クライアント端末１３０ａ〜１３０ｚでは，受信バッファ１３５によりサーバ装置１２０から配信された符号化ストリームを受信すると，受信した符号化ストリームをそれぞれ復号部１３６で復号し，復号画像を画像合成部１３７へ送る。画像合成部１３７では，それらの画像と自端末で撮影した画像とを合成し，ディスプレイ１３２ａ〜１３２ｚに表示する。これにより，各クライアント端末１３０ａ〜１３０ｚのディスプレイ１３２ａ〜１３２ｚには，テレビ会議に参加するクライアントの映像が表示されることになる。
特許第３０９７７３６号公報 特開平１１−１８７３７２号公報

図７に示すような従来の多地点テレビ会議システムでは，サーバ装置１００において各クライアント端末１１０ａ〜１１０ｚから受信した符号化ストリームを一度復号した後，画像全体を合成してから再符号化するため，サーバ装置１００において復号，画像合成，再符号化の処理が必要であり，サーバ装置１００の負荷が大きくなるという問題があった。

また，サーバ装置１００における画像合成部１０３による画像の合成および再符号化部１０４における再符号化の際に，各クライアント端末１１０ａ〜１１０ｚから受信する符号化ストリームの同期処理が必要であり，符号化データのフレームレートが異なるクライアント端末が存在する場合などの制御が複雑になるという問題，また，サーバ装置１００が画像全体を合成してから再符号化するため，各クライアント端末において各クライアントの映像の表示位置を変更することが困難であるという問題があった。

一方，図８に示すような従来の多地点テレビ会議システムの場合，サーバ装置１２０の負荷は小さくて済むが，サーバ装置１２０と各クライアント端末１３０ａ〜１３０ｚとの間で，ダウンストリームの分だけコネクションを張る必要があるため，テレビ会議に参加するクライアントの増加に伴い必要となる通信ポートが増加するという問題があった。また，ネットワークリソースやセキュリティの観点からも好ましくはないという問題があった。

本発明は上記問題点の解決を図り，サーバ装置における負荷を軽減し，各符号化部の符号化同期処理が不要であり，かつダウンストリームのコネクション数を１つにまとめることができる多地点テレビ会議システムを実現することを目的とする。

上記課題を解決するため，本発明は，複数のクライアント端末において符号化された符号化ストリームをサーバ装置が受信して，それぞれのクライアント端末に符号化ストリームを配信する形式の多地点テレビ会議システムにおいて，クライアント端末からオブジェクト符号化方式により符号化されてサーバ装置にアップロードされた符号化ストリームを，サーバ装置がマルチビジュアルオブジェクトとして多重化し，各クライアント端末に配信することを特徴とする。サーバ装置における多重化処理は，各クライアント端末からの符号化ストリームをそれぞれ受信する受信バッファに，１フレーム分データが蓄積されたストリームからオブジェクト符号化方式におけるシステムストリームとして出力していく。例えば，受信バッファに１ＶＯＰ（Video Object Plane）分データが蓄積されたストリームからＭＰＥＧ−４システムストリームとして出力していく。

また，各クライアント端末からサーバ装置に対して，通信会議に参加するための接続要求があったときに，サーバ装置は，各クライアントにそれぞれ一意のビジュアルオブジェクトＩＤを付与し，ビジュアルオブジェクトＩＤごとにクライアントの画像の表示位置を指定する情報を，各クライアント端末へ配信する符号化ストリームに挿入する。

本発明は，符号化および復号機能を持つ複数のクライアント端末において符号化された符号化ストリームをサーバ装置が受信して，それぞれのクライアント端末に符号化ストリームを配信する形式の多地点テレビ会議システムにおいて，サーバ装置にアップロードされた複数の符号化ストリームを，サーバ装置がオブジェクト符号化方式のマルチビジュアルオブジェクトとして多重化し配信するので，サーバ装置における各クライアント端末から受信した符号化ストリームを復号する処理，複数の復号画像を合成する処理，および合成画像を再符号化する処理が不要となり，サーバ装置の負荷を軽減することができる。

また，多重化処理は，受信バッファに所定の単位の符号化データが蓄積されたものから順次出力していくので，各クライアント端末における符号化同期処理が不要であり，簡易に効率よく符号化ストリームを配信することができる。

また，サーバ装置から各クライアント端末へ，各クライアントの映像符号化データをマルチビジュアルオブジェクトとして多重化して配信するので，テレビ会議に参加するクライアントの数だけコネクションを張る必要はなく，クライアント端末に対するダウンストリームのコネクション数を１つにまとめることができ，通信ポートその他の通信に必要な資源の増加を抑えることができる。

以下，図面を用いて本発明の実施の形態を説明する。図１は，本発明に係る多地点テレビ会議システムの構成例を示す。図１において，１は多地点テレビ会議を制御し，各クライアントに映像を配信するサーバ装置，２〜２’は多地点テレビ会議に参加するクライアントのクライアント端末である。この例では，クライアント端末２のクライアントをクライアントＡ，クライアント端末２’のクライアントをクライアントＢとして説明する。

サーバ装置１において，１１〜１１’は各クライアント端末２〜２’に対応し，各クライアント端末から送信された符号化ストリームを受信するための受信バッファ，１２は各受信バッファに格納された符号化ストリームをＭＰＥＧ−４のマルチビジュアルオブジェクトとして多重化するストリーム選択・連結部，１３は多重化された符号化ストリームを送信するための送信バッファである。

ストリーム選択・連結部１２において，１４は接続要求のあったクライアントにビジュアルオブジェクトＩＤを付与するビジュアルオブジェクトＩＤ付与部，１５はＭＰＥＧ−４のシステムレイヤのストリームを生成するシステムレイヤのストリーム生成部，１６は各受信バッファに１ＶＯＰ（フレーム）分データが蓄積された符号化ストリームを，順次，受信バッファ１３に転送する符号化ストリーム転送部である。

上記システムレイヤには，例えば，各クライアント端末のディスプレイの表示画面中の，各ビジュアルオブジェクトＩＤに対応する復号画像の表示位置情報が格納される。

クライアント端末２において，２３はカメラ２１により撮影された映像をオブジェクト符号化方式（この例ではＭＰＥＧ−４符号化方式）により符号化する符号化部，２４は符号化ストリームを格納する送信バッファ，２５はサーバ装置１から受信した符号化ストリームを格納する受信バッファ，２６は受信バッファ２５に格納された符号化ストリームを復号する復号部，２７は復号データのディスプレイ２２への表示を制御する表示制御部である。クライアント端末２’における２１’〜２７’も同様である。

図１に示す構成を採る多地点テレビ会議システムにおいて，サーバ装置１のビジュアルオブジェクトＩＤ付与部１４は，各クライアント端末１１〜１１’から接続要求があったときに，接続要求元のクライアントに対して一意のビジュアルオブジェクトＩＤを付与する。通信会議が始まると，クライアント端末２〜２’の符号化部２３〜２３’は，カメラ２１〜２１’により撮影された映像をＭＰＥＧ−４のオブジェクト符号化方式により符号化し，その符号化ストリームにビジュアルオブジェクトＩＤを付与して送信バッファ２４〜２４’に格納し，ネットワークを介してサーバ装置１へ送信する。

サーバ装置１では，クライアント端末２〜２’からの符号化ストリームを受信バッファ１１〜１１’で受信すると，ストリーム選択・連結部１２により，各クライアント端末２〜２’からの複数の符号化ストリームをＭＰＥＧ−４のマルチビジュアルオブジェクトとして多重化し，多重化した合成ストリームを送信バッファ１３に格納し，ネットワークを介して各クライアント端末２〜２’に配信する。

すなわち，ストリーム選択・連結部１２の符号化ストリーム転送部１６は，各受信バッファ１１〜１１’に１ＶＯＰ（フレーム）分データが蓄積された符号化ストリームから，順次，送信バッファ１３にその符号化ストリームを転送する。また，システムレイヤのストリーム生成部１５は，システムレイヤのストリームを生成し，送信バッファ１３に格納する。システムレイヤのストリームは，必ずしもＶＯＰごとに送信する必要はなく，適当な時間間隔で送信してもよい。その結果，各クライアント端末２〜２’には，複数の符号化ストリームがＭＰＥＧ−４のマルチビジュアルオブジェクトとして多重化され合成された符号化ストリームが送信されることになる。

各クライアント端末２〜２’においては，受信バッファ２５〜２５’により，サーバ装置１から送信された符号化ストリームを受信すると，復号部２６〜２６’が，受信バッファ２５〜２５’に格納された符号化ストリームを復号し，表示制御部２７〜２７’が，システムレイヤに格納された表示位置情報に基づいて，復号した画像を表示領域に配置し，ディスプレイ２２に表示する。

図２は，サーバ装置とクライアント間のセッションを示す図である。まず，初期化処理（セッション確立処理）において，クライアントＡからサーバ装置１への接続要求があると，サーバ装置１は，ビジュアルオブジェクトＩＤ付与部１４により，クライアントＡに対してビジュアルオブジェクトＩＤを付与する。ビジュアルオブジェクトＩＤは，ＭＰＥＧ−４のマルチビジュアルオブジェクトにおける各オブジェクトを一意に識別するための識別子であり，ここでは最初に“１”を付与するものとする。また，サーバ装置１は，クライアントＢからの接続要求を受信すると，クライアントＢに対して，新たなビジュアルオブジェクトＩＤ（＝２）を付与する。

セッション開始後，サーバ装置１はクライアントＡ，クライアントＢから符号化ストリームを受信すると，各符号化ストリームをストリーム選択・連結部１２によって選択・連結して多重化し，多重化された合成符号化ストリーム（システムストリーム）を各クライアントに配信する。

図３は，システムストリームの構成例を示す図である。図３（Ａ）はＭＰＥＧ−４のマルチビジュアルオブジェクトとして多重化されたシステムストリームを示し，図３（Ｂ）はＶＯＰ単位のＭＰＥＧ−４ビデオストリームの詳細を示している。

ストリーム選択・連結部１２では，各受信バッファに蓄積されたＶＯＰ単位の符号化ストリームを多重化する。その結果，図３（Ａ）に示すように，ビジュアルオブジェクトＩＤごとのストリームが合成されたシステムストリームが生成される。ビジュアルオブジェクトＩＤごとのＶＯＰ単位のストリームは，必ずしもビジュアルオブジェクトＩＤの順番に並ばなくてもよい。

各ＶＯＰ単位のＭＰＥＧ−４ビデオストリームは，例えば図３（Ｂ）に示すデータ構成を有する。ＶＯＰ単位のストリームは，「表示位置」，「ビジュアルオブジェクトＩＤ」，「タイムスタンプ」，「ＭＶ，ＤＣＴ係数他」の符号化データのデータ部から構成される。「表示位置」のデータ部には，各ビジュアルオブジェクトＩＤに対応する復号画像を各クライアント端末のディスプレイに表示する際の表示画面における表示位置情報が格納される。なお，上述したように，表示位置情報をＭＰＥＧ−４のシステムレイヤ（シーン記述部）に格納して，ＶＯＰごとに送らなくてもよい。

ストリーム中の「ビジュアルオブジェクトＩＤ」のデータ部には，上述した初期化処理において各クライアントに付与されたビジュアルオブジェクトＩＤが格納される。また，「タイムスタンプ」のデータ部には，符号化された時刻情報，すなわち各クランアント端末で映像として表示するタイミングの指示情報が格納される。「ＭＶ，ＤＣＴ係数他」のデータ部には，符号化時における動きベクトル（ＭＶ）情報やＤＣＴ係数などの可変長符号化データが格納される。

図４は，ストリーム選択・連結部の処理フローを示す図である。図４のステップＳ１とステップＳ２は，初期化処理を示す。ストリーム選択・連結部１２は，接続要求のあったクライアントにビジュアルオブジェクトＩＤを付与する（ステップＳ１）。そして，システムレイヤのシーン記述，オブジェクト記述に各クライアントのビジュアルオブジェクトＩＤおよび表示位置情報等を格納する（ステップＳ２）。

ストリーム選択・連結部１２は，各受信バッファからＶＯＰ単位で符号化ストリームを受け取ると（ステップＳ３），ＶＯＰ単位の符号化ストリームを送信バッファ１３に送るとともに，適当なタイミングでシステムレイヤのストリームを挿入し，送信バッファ１３に送る。（ステップＳ４）。

通信会議終了の指示などの終了条件が成立するまで（ステップＳ５），ステップＳ３〜Ｓ４を繰り返し，終了条件が成立した場合には，必要に応じてバッファを解放するなどの終了処理を実行し（ステップＳ６），処理を終了する。処理の終了条件としては，例えば，終了の指示があった場合や，各クライアント端末から符号化ストリームが受信されなくなった場合などである。

図５は，クライアントの表示画面の例を示す図である。各クライアント端末２〜２’においては，サーバ装置１から送信されたシステムストリームを受信バッファ２５〜２５’に格納する。

各クライアント端末２〜２’の復号部２６〜２６’は，システムストリームを，受信バッファ２５〜２５’に格納された順にＶＯＰ単位で独立に復号する。表示制御部２７〜２７’は，システムレイヤに格納された各ビジュアルオブジェクトＩＤに対応する復号画像の表示位置情報と，映像として表示するタイミングの指示情報であるタイムスタンプ情報とに基づいて，各復号画像をディスプレイ２２〜２２’の表示画面に表示する。

上述したように，各クライアント端末２〜２’においては，システムストリームを，受信バッファ２５〜２５’に格納された順にＶＯＰ単位で独立に復号する。このため，フレームレートが異なるストリームであっても，独立に復号処理を行うことができ，同期処理をする必要がない。

例えば，ビジュアルオブジェクトＩＤ＝１のストリームを３０ｆｐｓ（frame per second）のレートで受信し，それを復号処理して復号画像１とし，ビジュアルオブジェクトＩＤ＝２のストリームを１５ｆｐｓ（frame per second）のレートで受信し，それを復号処理して復号画像２とし，各復号画像の表示位置に従ってクライアントの表示画面に表示することができる。

図６は，クライアントの表示画面における各復号画像の表示位置の変更の例を示す図である。本実施の形態においては，各クライアント端末が，図１に示す構成に加えて，各ビジュアルオブジェクトＩＤごとの復号画像の表示位置情報が格納された表示位置テーブル２９と，各復号画像の表示位置の変更指示を行う表示位置変更指示部２８を備える構成を採ることもできる。

各クライアント端末は，システムレイヤに格納された表示位置情報に基づいて，図６に示す表示位置テーブル２９を生成する。生成された表示位置テーブル２９には，各ビジュアルオブジェクトＩＤごとの復号画像の表示位置情報が格納される。

例えば，ビジュアルオブジェクトＩＤ＝１に対応する復号画像の表示位置の座標は，左上座標（０，０），右下座標（１９９，２００）であり，ビジュアルオブジェクトＩＤ＝２に対応する復号画像の表示位置の座標は，左上座標（２００，０），右下座標（３９９，２００）であるものとする。

表示位置変更指示部２８は，ユーザに表示位置変更のためのＧＵＩ（Graphical User Interface）を提供する。表示位置変更指示部２８に対し，ユーザから表示位置変更の指示が入力されると，表示位置変更指示部２８は，表示制御部２７に対して，各復号画像の表示位置の変更指示情報を伝える。表示制御部２７は，表示位置の変更指示情報に従って表示位置テーブル２９を変更する。

例えば，図５に示すようなクライアントの表示画面において復号画像１と復号画像２の表示位置を入れ替える表示位置の変更指示があると，表示位置テーブル２９において，ビジュアルオブジェクトＩＤ＝１に対応する復号画像１の表示位置の座標は，左上座標（２００，０），右下座標（３９９，２００）に変更され，ビジュアルオブジェクトＩＤ＝２に対応する復号画像２の表示位置の座標は，左上座標（０，０），右下座標（１９９，２００）に変更される。

その結果，当初の表示位置テーブル２９に基づく復号画像１と復号画像２の表示位置と比較すると，表示位置の変更指示後は，復号画像１と復号画像２の表示位置が，図６に示すように左右入れ替わって表示される。この例では，復号画像が２つの例を示したが，もちろん３以上であっても同様に処理することができる。

以上のサーバ装置１およびクライアント端末２，２’が行う処理は，ハードウェアやファームウェアによって実現することができるだけでなく，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

本発明に係る多地点テレビ会議システムの構成例を示す図である。 サーバ装置とクライアント間のセッションを示す図である。 システムストリームの構成例を示す図である。 ストリーム選択・連結部の処理フローを示す図である。 クライアントの表示画面の例を示す図である。 クライアントの表示画面における各復号画像の表示位置の変更の例を示す図である。 従来の多地点テレビ会議システムの例を示す図である。 従来の他の多地点テレビ会議システムの例を示す図である。

符号の説明

１，１００，１２０ サーバ装置
２，２’，１１０ａ〜１１０ｚ，１３０ａ〜１３０ｚ クライアント端末
１１，１１’，１０１ａ〜１０１ｚ，１２１ａ〜１２１ｚ，１３５ 受信バッファ
１２ ストリーム選択・連結部
１３，１２２ａ〜１２２ｚ 送信バッファ
１４ ビジュアルオブジェクトＩＤ付与部
１５ システムレイヤのストリーム生成部
１６ 符号化ストリーム転送部
２１，２１’，１３１ａ〜１３１ｚ カメラ
２２，２２’，１３２ａ〜１３２ｚ ディスプレイ
２３，２３’，１３３ 符号化部
２４，２４’，１０５，１３４ 送信バッファ
２５，２５’ 受信バッファ
２６，２６’，１０２ａ〜１０２ｚ，１３６ 復号部
２７，２７’ 表示制御部
２８ 表示位置変更指示部
２９ 表示位置テーブル
１０３，１３７ 画像合成部
１０４ 再符号化部

Claims (8)

1. 複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御するサーバ装置とを備える多地点テレビ会議システムにおいて，
   前記各クライアント端末は，
   自端末における入力映像をオブジェクト符号化する手段と，
   オブジェクト符号化された符号化ストリームを前記サーバ装置へ送信する手段と，
   前記サーバ装置からオブジェクト符号化された符号化ストリームを受信する手段と，
   受信したオブジェクト符号化された符号化ストリームを復号する手段と，
   復号した画像を表示する手段とを備え，
   前記サーバ装置は，
   前記各クライアント端末からオブジェクト符号化された符号化ストリームを受信する手段と，
   前記各クライアント端末から受信した複数の符号化ストリームを，それぞれマルチビジュアルオブジェクトとして多重化することにより合成した符号化ストリームを生成するストリーム選択・連結手段と，
   前記合成した符号化ストリームを前記各クライアント端末へ送信する手段とを備える
   ことを特徴とする多地点テレビ会議システム。
2. 請求項１記載の多地点テレビ会議システムにおいて，
   前記オブジェクト符号化はＭＰＥＧ−４符号化であり，
   前記ストリーム選択・連結手段は，前記クライアント端末から受信した符号化ストリームのデータが１フレーム分蓄積されたものから順次，ＭＰＥＧ−４システムストリームとして出力する
   ことを特徴とする多地点テレビ会議システム。
3. 請求項１または請求項２記載の多地点テレビ会議システムにおいて，
   前記サーバ装置は，前記各クライアント端末からの接続要求があったときに，接続要求元のクライアント端末にそれぞれ一意のビジュアルオブジェクトＩＤを付与する手段を備え，
   前記ストリーム選択・連結手段は，前記各ビジュアルオブジェクトＩＤごとにクライアントの画像の表示画面での表示位置を指定する情報を，前記各クライアント端末へ送信する符号化ストリームに挿入する手段を備える
   ことを特徴とする多地点テレビ会議システム。
4. 請求項３記載の多地点テレビ会議システムにおいて，
   前記クライアント端末は，
   前記各ビジュアルオブジェクトＩＤごとにクライアントの画像の表示画面での表示位置を指定する情報を保持する手段と，
   表示位置変更指示の入力情報に基づいて前記保持した表示位置を指定する情報を更新することにより，各クライアントの画像の表示画面での表示位置を変更する手段を備える
   ことを特徴とする多地点テレビ会議システム。
5. 複数のクライアント端末と，前記クライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御するサーバ装置とを備えるシステムにおける多地点テレビ会議制御方法において，
   前記クライアント端末が，自端末における入力映像をオブジェクト符号化する過程と，
   前記クライアント端末が，前記オブジェクト符号化された符号化ストリームを前記サーバ装置へ送信する過程と，
   前記サーバ装置が，前記各クライアント端末からオブジェクト符号化された符号化ストリームを受信する過程と，
   前記サーバ装置が，前記各クライアント端末から受信した複数の符号化ストリームを，それぞれマルチビジュアルオブジェクトとして多重化することにより合成した符号化ストリームを生成するストリーム選択・連結過程と，
   前記サーバ装置が，前記合成した符号化ストリームを前記各クライアント端末へ送信する過程と，
   前記クライアント端末が，前記サーバ装置からオブジェクト符号化された符号化ストリームを受信する過程と，
   前記クライアント端末が，受信したオブジェクト符号化された符号化ストリームを復号する過程と，
   前記クライアント端末が，復号した画像を表示する過程とを有する
   ことを特徴とする多地点テレビ会議制御方法。
6. 複数のクライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御する多地点テレビ会議システムにおけるサーバ装置であって，
   前記各クライアント端末からオブジェクト符号化された符号化ストリームを受信する手段と，
   前記各クライアント端末から受信した複数の符号化ストリームを，それぞれマルチビジュアルオブジェクトとして多重化することにより合成した符号化ストリームを生成するストリーム選択・連結手段と，
   前記合成した符号化ストリームを前記各クライアント端末へ送信する手段とを備える
   ことを特徴とするサーバ装置。
7. 複数のクライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御する多地点テレビ会議システムにおけるサーバ装置のコンピュータに実行させるための多地点テレビ会議制御プログラムであって，
   前記各クライアント端末からオブジェクト符号化された符号化ストリームを受信する手段と，
   前記各クライアント端末から受信した複数の符号化ストリームを，それぞれマルチビジュアルオブジェクトとして多重化することにより合成した符号化ストリームを生成するストリーム選択・連結手段と，
   前記合成した符号化ストリームを前記各クライアント端末へ送信する手段として，
   前記コンピュータを機能させるための多地点テレビ会議制御プログラム。
8. 複数のクライアント端末にネットワークを介して接続され，前記クライアント端末間の通信会議を制御する多地点テレビ会議システムにおけるサーバ装置のコンピュータに実行させるための多地点テレビ会議制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
   前記各クライアント端末からオブジェクト符号化された符号化ストリームを受信する手段と，
   前記各クライアント端末から受信した複数の符号化ストリームを，それぞれマルチビジュアルオブジェクトとして多重化することにより合成した符号化ストリームを生成するストリーム選択・連結手段と，
   前記合成した符号化ストリームを前記各クライアント端末へ送信する手段として，
   前記コンピュータを機能させるためのプログラムを記録した
   ことを特徴とする多地点テレビ会議制御プログラム記録媒体。

Images