JP2005130428A - 双方向画像通信装置、その処理方法及びクライアント装置並びにプログラム - Google Patents

Abstract

【課題】 双方向画像通信において、サーバに多大な負担をかけることなく、サーバと各クライアント間の通信環境に適したデータ送受信を可能とする技術を提供する。
【解決手段】 スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアントと、双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置において、複数レイヤの符号化データを送信元クライアントから受信し、受信した複数レイヤの符号化データを複製してバッファに蓄積し、複数レイヤの符号化データのうち、送信先クライアントに送信する一又は複数のレイヤの符号化データを、当該送信先クライアントの受信状態又は前記双方向画像通信装置から当該送信先クライアントへの送信状態に基づき選択し、選択した一又は複数のレイヤの符号化データを当該送信先クライアントに送信するように構成する。
【選択図】 図３

Description

本発明は、サーバ・クライアント方式のビデオ会議システム等の双方向画像通信システムに係り、特に、サーバとクライアント間の通信環境に適合したデータ送受信を可能とする双方向画像通信装置に関する。

ＩＰネットワークを用いたビデオ会議システムにおいて、ネットワークの通信帯域が変動して伝送速度が低下した場合、伝送遅延が大きくなるため、受信側での動画像や音声の質に支障が生じるという問題がある。このような問題を解決すべく、ＫＤＤＩが製品化しているＱｕａｌｉｔｙ Ｍｅｅｔｉｎｇ（http://avs.kddlabs.co.jp/qmeet/body.html）では、通信可能な帯域を監視し、クライアント側でエンコーダのビットレートを変化させ、帯域に応じた通信を行っている（特許文献１参照）。

しかしながら、上記の従来技術を用いても、サーバ・クライアント形式のビデオ会議システムにおいては以下のような問題が生ずる。

例えばサーバにクライアント１とクライアント２が接続されている構成において、クライアント１がサーバを介してクライアント２に符号化データを送信する場合、上記の従来技術では、クライアント１とサーバ間の帯域しか考慮できないので、クライアント２とサーバ間の帯域がクライアント１とサーバ間の帯域より狭い場合には、クライアント２でクライアント１の映像が受信できない場合が生じる。従って、クライアント１から送信する画像の品質を、帯域の狭い方に合わせて設定しておかなければならない。

従って、３つ以上のクライアントがサーバに接続している場合に、３つのクライアント間で双方向通信を実現するためには、最も帯域の狭い回線に合わせてエンコーダのビットレートを設定しなければならない。最も帯域の狭い回線に合わせてエンコードした場合、送信帯域に余裕があるクライアントも画品質の悪い映像しか送信することができず、帯域を有効活用できないという問題が生ずる。この問題を解決するために、サーバで符号化データをデコードし、クライアント毎に適切なビットレートでエンコードすることが考えられるが、この方法ではサーバ側で複雑な処理を要し、サーバの負担が大きくなるばかりでなく、リアルタイム性を損なうという問題もある。
特開２００３−１１６１３３号公報 「要点チェック式Ｈ．３２３／ＭＰＥＧ４教科書」、（株）ＩＥインスティチュート、２００１年

本発明は上記の点を鑑みてなされたものであり、サーバに多大な負担をかけることなく、サーバと各クライアント間の通信環境に適したデータ送受信を可能とする技術を提供することを目的とする。

上記の課題は、スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置であって、前記スケーラビリティの機能における複数レイヤの符号化データを送信元クライアント装置から受信し、送信元クライアント装置から受信した複数レイヤの符号化データを複製してバッファに蓄積し、送信元クライアント装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信状態又は前記双方向画像通信装置から当該送信先クライアント装置への送信状態に基づき選択し、選択した一又は複数のレイヤの符号化データを当該送信先クライアント装置に送信する双方向画像通信装置によって解決できる。

本発明によれば、送信先クライアント装置の受信状態等に適合したレイヤの符号化データを送信することができる。

前記送信元クライアント装置は、当該送信元クライアント装置の送信状態に応じて、前記スケーラビリティの機能における一又は複数のレイヤの符号化データを生成するように構成でき、また、生成した符号化データを蓄積し、読み出した符号化データを前記双方向画像通信装置に送信することも可能である。

前記双方向画像通信装置は、前記受信状態に対応したどのレイヤまで受信可能かを示す情報を、前記送信先クライアント装置から受信し、その情報を保持する保持手段を有し、当該保持手段から読み出した情報に基づき、前記送信先クライアント装置に送信する符号化データの選択を行うように構成してもよい。

また、前記送信先クライアント装置の受信状態又は前記双方向画像形成装置から当該送信先クライアント装置への送信状態を、例えばデータスループットもしくはＲＴＣＰプロトコルメッセージを監視することにより取得することにより、クライアント装置に対してどのレイヤまで送信するかを回線状態等に応じてリアルタイムに変更することが可能となる。

また、上記の課題は、スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う複数の双方向画像通信装置とを有する双方向画像通信システムにおいて前記複数の双方向画像通信装置のうちの１つとして使用される双方向画像通信装置であって、前記スケーラビリティの機能における複数レイヤの符号化データを前記複数の双方向画像通信装置のうちの一の双方向画像通信装置から受信し、前記一の双方向画像通信装置から受信した複数レイヤの符号化データを複製してバッファに蓄積し、前記一の双方向画像通信装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信状態又は前記双方向画像通信装置から当該送信先クライアント装置への送信状態に基づき選択し、選択した一又は複数のレイヤの符号化データを当該送信先クライアント装置に送信する双方向画像通信装置によっても解決できる。

また、上記のクライアント装置は、双方向画像通信装置への送信状態に応じて、前記スケーラビリティの機能における一又は複数のレイヤの符号化データを生成し、その符号化データを双方向画像通信装置に送信し、当該クライアント装置の受信状態又は双方向画像通信装置から当該クライアント装置への送信状態に基づき、双方向画像通信装置により選択された一又は複数のレイヤの符号化データを当該双方向画像通信装置から受信し、受信した一又は複数のレイヤの符号化データを復号するように構成することができる。

本発明によれば、サーバと各クライアント間の通信環境に適したデータ送受信が可能になり、リアルタイム性を損なうことなく帯域を有効活用できる。また、帯域が変動する場合においても、変動する帯域に動的に対応したデータ送受信が可能となる。

以下、本願発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１に、本発明の第１の実施の形態におけるビデオ会議システムの構成を示す。図１に示すように、本発明の第１の実施の形態におけるビデオ会議システムは、サーバ４、クライアントＡ（５）、クライアントＢ（６）、クライアントＣ（７）を有し、クライアントＡはネットワーク１を介してサーバ４と接続され、クライアントＢはネットワーク２を介してサーバ４と接続される。また、クライアントＣはネットワーク３を介してサーバ４と接続される。

また、各クライアントにはカメラが接続されており、カメラの映像は各クライアントの送信状態にあわせて階層的に符号化される。各クライアントに接続されたカメラは、例えば、ＵＳＢ接続カメラやキャプチャボードを介して接続されたＮＴＳＣのＴＶカメラ等である。

ネットワーク１〜ネットワーク３はインターネットやイントラネット等である。サーバ４は、サーバ・クライアント方式のビデオ会議システムにおけるサーバとしての一般的な機能を有するとともに、後述する本願発明に係る機能を有している。サーバ４は、ＣＰＵ、メモリ、ハードディスク、ネットワーク通信装置等を備えた一般的なコンピュータのハードウェア構成を有し、本願発明に係る機能は、サーバ４に搭載されるプログラムが実行されることにより実現される。当該プログラムはCD-ROM等の記録媒体からサーバにインストールすることもできるし、ネットワークを介してサーバにダウンロードし、インストールすることもできる。また、各クライアントも、ＣＰＵ、メモリ、ハードディスク、ネットワーク通信装置等を備えた一般的なコンピュータのハードウェア構成を有し、本願発明に係る機能は、クライアントに搭載されるプログラムが実行されることにより実現される。

図２に、図１に示した第１の実施の形態におけるビデオ会議システムの動作を表すフローチャートを示す。図２を参照して、第１の実施の形態におけるビデオ会議システムの動作概要を説明する。

まず、各クライアントにおいてカメラ映像の取得を行う（ステップ１）。次に、各クライアントでカメラ映像の符号化処理を行う（ステップ２）。ここでは、クライアントＡ、クライアントＢ、及びクライアントＣは各々、送信状態にあったビットレートやフレームレートでカメラ映像を階層的に符号化する映像圧縮形式を用いて映像の階層的符号化データを生成する。ここでは、基本レイヤ１から、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２までの中で、基本レイヤ１からいずれかのレイヤまでの符号化データを、送信状態に合わせて階層的符号化データとして生成する。例えば、送信状態が良い場合は基本レイヤ１〜拡張レイヤ群２を生成するが、送信状態が悪い場合は基本レイヤ２のみを生成するといった具合に符号化が行われる。なお、本実施の形態では、クライアントは基本レイヤ２以上のレイヤの符号化データを生成する。

本実施の形態では、例えば、ＭＰＥＧ４やＨ．２６３（非特許文献１参照）等の圧縮符号化技術を用いる。そして、基本レイヤ１としてフレーム内圧縮されたキーフレームを生成し、基本レイヤ２としてフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームを生成し、拡張レイヤ群１として、基本レイヤ１、基本レイヤ２に対する高周波部分の差分情報フレームを生成し、拡張レイヤ群２として、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームを生成するものとする。このように階層的に符号化データを生成する機能はスケーラビリティと呼ばれている。ここでは、上記のような基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２を有する階層的符号化を例にとったが、レイヤの数や、各レイヤの内容は本実施の形態の例に限られるものではない。

なお、ここでの送信状態とは、クライアントのネットワークへの接続帯域、クライアントの処理能力等のことである。例えば、携帯端末をクライアントとして使用する場合は、デスクトップ型ＰＣをクライアントとして使用する場合に比べて処理能力は小さい。予めクライアントに送信状態を固定的に設定し、クライアントはその送信状態に対応して予め定めたレイヤの符号化データを生成してもよいし、送信状態を常時監視して、その送信状態に対応してレイヤをリアルタイムに変化させながら符号化データを生成することもできる。送信状態を常時監視するには、例えば、送信データのスループットやＲＴＣＰプロトコルのメッセージを監視する。

次に、映像の階層的符号化データを各クライアントからサーバへ送信する（ステップ３）。ここでは、通信プロトコルとして、例えばＲＴＰ／ＵＤＰや、ＲＴＰ／ＵＤＰをＨＴＴＰでカプセリングしたＴＣＰを用いて、階層的符号化データをフレーム単位で分割したビデオパケットとして送信する。以下、“ビデオパケット”と“階層的符号化データ”とを同じ意味で用いる場合がある。

次に、サーバ４において受信した符号化データを各クライアント毎に複製し蓄積する（ステップ４）。そして、各クライアントの受信状態に基づいて階層的符号化データを選択し、各クライアントに送信する（ステップ５）。その後、クライアントは符号化データを受信する（ステップ６）。なお、サーバからのデータ送信処理及びクライアントによるデータ受信処理については後に詳細に説明する。

データ受信後、クライアントは受信データの復号化及び表示処理を行う。すなわち、基本レイヤ１もしくは基本レイヤ２まで受信する場合であればその符号化データを復号化して表示する。また、拡張レイヤ群１もしくは拡張レイヤ群２まで受信する場合であれば、図２のステップ７に示すように、基本レイヤ及び拡張レイヤ群１を合成して復号化処理を行う。そして、拡張レイヤ群２のデータが無ければ表示処理を行い（ステップ９）、拡張レイヤ群２のデータが有れば拡張レイヤ群２を復号化して内挿フレームを生成し、ステップ７において基本レイヤ１、基本レイヤ２、拡張レイヤ群１を基に作成したフレーム間に挿入する（ステップ８）。そして表示処理を行う（ステップ９）。

次に、上記のステップ４、５におけるビデオパケットの複製と蓄積及び送信までのサーバにおける処理を図３〜図４を用いてより詳細に説明する。この処理は本発明に係るプログラムにより実現されるものである。

図３は、図１に示したシステム構成において、ビデオパケットの複製と蓄積、レイヤ制御、及び送信までの処理の一例を説明するための図である。図３において、基本１は基本レイヤ１（フレーム内圧縮されたキーフレーム）、基本２は基本レイヤ２（フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレーム）、拡張１は拡張レイヤ群１（基本レイヤ１、基本レイヤ２に対する、高周波部分の差分情報フレーム）、拡張２は拡張レイヤ群２（拡張レイヤ群１に対し、動きを滑らかにするための内挿フレーム）を示す。あるクライアントからサーバが受信したビデオパケットは、受信順に接続されているクライアント台数分複製され、送信先クライアント毎に用意されたバッファに蓄積される。ここで用意するバッファ量は、少なくとも１つ以上の基本レイヤ１のビデオパケットが含まれるように設定する。図３の例では、基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２の符号化データが蓄積できるバッファ量を設定している。なお、バッファはサーバにおけるメモリ内の所定のエリアとして実現される。

次にサーバにおいて各クライアントの受信状態に基づいてビデオパケットを選択し、クライアントに送信する処理について説明する。ここでの受信状態とは、クライアントの受信方向の接続帯域、クライアントの処理能力等である。受信状態は、各クライアントからサーバに対して予め通知しておく。サーバは、受信状態に対応してどのレイヤまでクライアントに送信できるかのデータを予め保持しており、そのデータとクライアントから受信する受信状態とから、図３に示すテーブルを生成し、保持しておく。図３に示す例では、クライアントＡは拡張２まで受信でき、クライアントＢは拡張１まで受信でき、クライアントＣは基本１まで受信できることを示している。各クライアントの処理能力が同一であるとすれば、例えば、クライアントの受信方向の接続帯域が、クライアントＡが最も大きく、そして、クライアントＢ、クライアントＣの順に小さい場合が考えられる。なお、クライアントは、接続帯域、処理能力等の受信状態をサーバに送信する代わりに、どのレイヤまで受信できるかの情報、すなわち、図３のテーブルに示す情報を直接サーバに送信してもよい。

図３に示すような送信状態及び受信状態の下、クライアントＡから符号化データをクライアントＢ、及びクライアントＣへ送信する場合を考える。

まず、バッファに蓄積された階層的符号化データの内容を解析する。この場合、クライアントＡの送信状態は「拡張２まで」であるので、クライアントＡからサーバへは基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２が送信されている。従って、バッファに基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２が蓄積されていると判断される。なお、サーバがクライアントＡの送信状態「拡張２まで」を予め受信して保持しておき、その保持したデータを参照することによりバッファに蓄積された階層的符号化データの内容を判断することもできる。

次に、クライアントＢ、及びクライアントＣの受信状態を図３に示すテーブルから判断する。判断の結果、クライアントＢの受信状態が拡張レイヤ群１まで受信可能な受信状態であるので、サーバは、クライアントＡから受信してクライアントＢに対応するバッファに蓄積してある基本レイヤ１〜拡張レイヤ群２の符号化データのうち、基本レイヤ１、２、及び拡張レイヤ群１を選択し、クライアントＢへ該当ビデオパケットを送信する。また、クライアントＣの受信状態が基本レイヤ１まで受信可能な受信状態であるので、クライアントＢに対応するバッファに蓄積してある基本レイヤ１〜拡張レイヤ群２の符号化データのうち、基本レイヤ１のみのビデオパケットをクライアントＣに送信する。

同様に、クライアントＢから送信された拡張レイヤ群１までの符号化データ、及びクライアントＣから送信された基本レイヤ２までの符号化データは、それぞれ図３に示すように各クライアントの受信状態に適合した符号化データが選択されて各クライアントに送信される。なお、クライアントＣからは基本レイヤ２までしかサーバに送信されないため、例えばクライアントＡが拡張レイヤ群２まで受信可能であっても、クライアントＣに関しては基本レイヤ２までのみがクライアントＡに送信されることになる。

上記の例において、クライアントへの送信可能レイヤをサーバに予め設定する代わりに、サーバが各クライアントの受信状態もしくはサーバからクライアントへの送信状態を監視し、クライアントへの送信可能レイヤをリアルタイムに変化させてもよい。受信状態は、例えば、サーバからクライアントに送信するデータのスループットや、クライアントから送信されるＲＴＣＰプロトコルのメッセージ（遅延時間等）を監視することにより把握することが可能である。また、送信可能レイヤをサーバに予め設定した後に、各クライアントの受信状態もしくはサーバからクライアントへの送信状態を監視し、予め設定したレイヤをリアルタイムに変更するようにしてもよい。

次に、図２のステップ６に示すクライアントでの符号化データ受信処理について説明する。

図４に、サーバからクライアントに送信される符号化データの送信の順番を示す。図４（ａ）に示すように、クライアントが基本レイヤ２まで受信する場合、基本レイヤ１又は２（基本レイヤ１／２と表記する）の符号化データが順次送信される。図４（ｂ）に示すように、拡張レイヤ群１まで受信する場合は、拡張レイヤ群１、基本レイヤ２、拡張レイヤ群１、基本レイヤ２、・・・・の順番で符号化データが送信される。図４（ｃ）に示すように、拡張レイヤ群２まで受信する場合は、拡張レイヤ群１、基本レイヤ２、拡張レイヤ群２、拡張レイヤ群１、基本レイヤ２、拡張レイヤ群２・・・・の順番で符号化データが送信される。

上記のように符号化データが送信されることから、クライアントでは、図５に示す手順で符号化データの受信を行う。

まず、クライアントは、拡張レイヤ群１の符号化データの受信待ち状態となっている（ステップ１１）。次に受信するのは基本レイヤ１／２もしくは拡張レイヤ群１の符号化データである。拡張レイヤ群１の符号化データの受信待ち状態で、拡張レイヤ群１の符号化データを受信すると（ステップ１２）、基本レイヤ２の符号化データの受信待ち状態となる（ステップ１３）。そして、この状態で基本レイヤ２の符号化データを受信すると（ステップ１４）、拡張レイヤ群１の符号化データの受信待ち状態となる（ステップ１５）。図４で示したように、次に受信するのは拡張レイヤ群１もしくは拡張レイヤ群２の符号化データであり、拡張レイヤ群２の符号化データを受信した場合（ステップ１６）、ステップ１１に戻る。ステップ１５の状態で拡張レイヤ群１の符号化データを受信した場合（ステップ１７）、ステップ１３の基本レイヤ２の受信待ち状態となる。一方、ステップ１１の拡張レイヤ群１の符号化データ受信待ち状態において、基本レイヤ１／２の符号化データを受信した場合（ステップ１８）には、再びステップ１１に戻る。

図５の手順において、ステップ１１、ステップ１８の繰り返しが、図４（ａ）の場合に対応する。また、ステップ１１、ステップ１２、及びステップ１３、ステップ１４、ステップ１５、ステップ１７、ステップ１３、・・・・の繰り返しが図４（ｂ）に対応する。また、ステップ１１〜ステップ１６の繰り返しが図４（ｃ）に対応する。従って、図５に示す手順により、サーバから適宜選択された符号化データを受信クライアントが受信できる。

このように、本実施の形態の処理方法を用いることにより、サーバとクライアント間の帯域、クライアントの処理能力等に適したデータ送受信が可能となり、従来技術における帯域を無駄にする問題を解消できる。また、帯域が変動する場合においても、変動する帯域に動的に対応した符号化データの送受信が可能となる。

（第２の実施の形態）
次に、本願発明の第２の実施の形態について説明する。

図６は、本願発明の第２の実施の形態におけるビデオ会議システムの構成を示す図である。第２の実施の形態におけるビデオ会議システムでは、クライアントＡはネットワーク１を介してサーバＡと接続され、クライアントＢはネットワーク２を介してサーバＡと接続され、クライアントＣはネットワーク３を介してサーバＢと接続される。ここで、サーバＡとサーバＢはFire Wall８を介して接続され、クライアントＣはクライアントＡとクライアントＢの双方向通信画像の閲覧のみを行うものとする。また、サーバＡとサーバＢはＶＰＮ等のセキュアな回線で結ぶ。クライアントＡは、カメラＡに加えてハードディスクＡ５１のような外部記憶媒体を有している。

本実施の形態では、クライアントＡはカメラ画像を送信状態にあわせて階層的符号化処理を行い、階層的符号化データを外部記憶媒体に蓄積する。なお、この場合の送信状態は予め定めた固定的なものである。

クライアントＡはカメラ映像を符号化しながら送信するか、予め蓄積された階層的符号化データを送信するかの選択機能を有し、予め蓄積された階層的符号化データの送信を選択すれば、予め蓄積された階層的符号化データを読み出し、サーバＡに送信する。

サーバＡは受信した階層的符号化データを接続されているクライアント台数分複製し、蓄積する。そして、第１の実施の形態と同様の方法を用いて各クライアントに符号化データを送信する。

すなわち、サーバＡは受信した階層的符号化データの内容とクライアントＢ、およびクライアントＣの受信状態より、クライアントＢ、およびクライアントＣに送信する階層的符号化データを選択し、該当ビデオパケットを送信する。クライアントＣへの送信の場合、Fire Wall８を通過する必要があるため、例えば、ＨＴＴＰでカプセリングしたＴＣＰを用いて送信する。

このように、回線と各クライアントに負担をかけることなく通信が出来ると共に、Fire Wall８の外側にある端末（図６では、クライアントＣ）へも画像を送信することができる。Fire Wall８の外側にある端末には、Fire Wall８を通過させるための特別なプログラムは必要ないので、クライアントＣとして既存の携帯電話やＰＤＡ等を使用できる。本実施の形態における構成において、サーバＢに代えてルータを用いることも可能である。

（第３の実施の形態）
次に、第３の実施の形態について説明する。

図７は、本実施の形態におけるサーバとクライアントの接続構成を示した図であり、クライアントＡはネットワーク１を介してサーバＡと接続され、クライアントＢ及びクライアントＣはネットワーク２を介してサーバＢと接続される。ここで、サーバＡとサーバＢは異なるセグメントにあり中継回線で接続されている。クライアントＢ、及びクライアントＣはクライアントＡの双方向通信画像の閲覧のみを行うものとする。

クライアントＡは、カメラＡに加えて、ハードディスクＡ５１のような外部記憶媒体を有している。

第２の実施の形態と同様に、クライアントＡでカメラ画像を送信状態にあわせて階層的に符号化し、階層的符号化データを外部記億媒体に蓄積する。クライアントＡはカメラ映像を符号化しながら送信するか、予め蓄積された階層的符号化データを送信するかの選択機能を有し、予め蓄積された階層的符号化データの送信を選択すれば、予め蓄積された階層的符号化データを読み出し、サーバＡに送信する。

サーバＡは受信した階層的符号化データを接続されているクライアント台数分複製し、蓄積する。そしてサーバＡは第１の実施の形態と同様の方法によって符号化データの選択及び送信を行う。なお、本実施の形態では、サーバＡは接続されているサーバＢの受信状態を保持もしくは監視している。サーバＡは受信した階層的符号化データの内容とサーバＢの受信状態より、サーバＢに送信する階層的符号化データを選択し、該当ビデオパケットをサーバＢに送信する。

サーバＡから階層的符号化データを受信したサーバＢも、第１の実施の形態と同様の方法によって符号化データの選択及び送信を行う。すなわち、サーバＢはクライアントＢ、およびクライアントＣの受信状態に応じて、クライアントＢ、及びクライアントＣに送信する階層的符号化データを選択し、該当ビデオパケットを送信する。

このように、サーバと各クライアント間の回線に負担をかけることなく通信が出来るだけでなく、サーバ間の中継回線の負荷を下げることも実現できる。なお、上記の構成におおいてサーバＢに代えてルータを用いることもできる。この場合、ルータに本発明の処理を行うプログラムを搭載しておく。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

本発明の第１の実施の形態におけるビデオ会議システムの構成を示す図である。 図１に示した第１の実施の形態におけるビデオ会議システムの動作を表すフローチャートである。 サーバの動作を説明するための図である。 サーバからクライアントへの符号化データの送信順を示す図である。 クライアントにおいて符号化データを受信する手順を示す図である。 本発明の第２の実施の形態におけるビデオ会議システムの構成を示す図である。 本発明の第３の実施の形態におけるビデオ会議システムの構成を示す図である。

符号の説明

１、２、３ ネットワーク
４ サーバ
５ クライアントＡ
６ クライアントＢ
７ クライアントＣ
８ Fire Wall

Claims (17)

1. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置であって、
   前記スケーラビリティの機能における複数レイヤの符号化データを送信元クライアント装置から受信し、
   送信元クライアント装置から受信した複数レイヤの符号化データを複製してバッファに蓄積し、
   送信元クライアント装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信状態又は前記双方向画像通信装置から当該送信先クライアント装置への送信状態に基づき選択し、
   選択した一又は複数のレイヤの符号化データを当該送信先クライアント装置に送信する
   ことを特徴とする双方向画像通信装置。
2. 前記送信元クライアント装置は、当該送信元クライアント装置の送信状態に応じて、前記スケーラビリティの機能における一又は複数のレイヤの符号化データを生成する請求項１に記載の双方向画像通信装置。
3. 前記送信元クライアント装置は、生成した符号化データを蓄積する蓄積手段と、当該蓄積手段から読み出した符号化データを前記双方向画像通信装置に送信する手段を有する請求項２に記載の双方向画像通信装置。
4. 前記受信状態に対応したどのレイヤまで受信可能かを示す情報を、前記送信先クライアント装置から受信し、その情報を保持する保持手段を有し、前記双方向画像通信装置は当該保持手段から読み出した情報に基づき、前記送信先クライアント装置に送信する符号化データの選択を行う請求項１に記載の双方向画像通信装置。
5. 前記送信先クライアント装置の受信状態又は前記双方向画像形成装置から当該送信先クライアント装置への送信状態を、データスループットもしくはＲＴＣＰプロトコルメッセージを監視することにより取得する請求項１に記載の双方向画像通信装置。
6. 前記受信状態は、前記送信先クライアント装置の処理能力もしくは前記送信先クライアント装置のネットワークへの接続帯域である請求項１に記載の双方向画像通信装置。
7. 前記スケーラビリティの機能における複数レイヤは、基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び拡張レイヤ群２からなり、基本レイヤ１の符号化データはフレーム内圧縮されたキーフレームの符号化データであり、基本レイヤ２の符号化データはフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームの符号化データであり、拡張レイヤ群１の符号化データは、基本レイヤ１及び基本レイヤ２に対する高周波部分の差分情報フレームの符号化データであり、拡張レイヤ群２の符号化データは、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームの符号化データである請求項１ないし６のうちいずれか１項に記載の双方向画像通信装置。
8. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用されるクライアント装置であって、
   双方向画像通信装置への送信状態に応じて、前記スケーラビリティの機能における一又は複数のレイヤの符号化データを生成し、その符号化データを双方向画像通信装置に送信し、
   当該クライアント装置の受信状態又は双方向画像通信装置から当該クライアント装置への送信状態に基づき、双方向画像通信装置により選択された一又は複数のレイヤの符号化データを当該双方向画像通信装置から受信し、受信した一又は複数のレイヤの符号化データを復号する
   ことを特徴とするクライアント装置。
9. 前記スケーラビリティの機能における複数レイヤは、基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び拡張レイヤ群２からなり、基本レイヤ１の符号化データはフレーム内圧縮されたキーフレームの符号化データであり、基本レイヤ２の符号化データはフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームの符号化データであり、拡張レイヤ群１の符号化データは、基本レイヤ１及び基本レイヤ２に対する高周波部分の差分情報フレームの符号化データであり、拡張レイヤ群２の符号化データは、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームの符号化データである請求項８に記載のクライアント装置。
10. 前記クライアント装置は、拡張レイヤ群１の符号化データの受信を待つ状態において基本レイヤ１もしくは基本レイヤ２の符号化データ、又は拡張レイヤ群２の符号化データを受信した場合に拡張レイヤ群１の符号化データの受信を待つ状態に戻り、拡張レイヤ群１の符号化データの受信を待つ状態において拡張レイヤ群１の符号化データを受信した場合には基本レイヤ２の符号化データを待つ状態に入る請求項９に記載のクライアント装置。
11. 前記クライアント装置は、基本レイヤ２及び拡張レイヤ群１の符号化データを受信した場合に、当該基本レイヤ２及び拡張レイヤ群１の符号化データを合成及び復号化してフレームを生成し、
    更に拡張レイヤ群２の符号化データを受信した場合には、当該拡張レイヤ群２の符号化データを復号化して内挿フレームを生成し、前記フレーム間に当該内挿フレームを挿入して復号化映像を生成する請求項９に記載のクライアント装置。
12. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う複数の双方向画像通信装置とを有する双方向画像通信システムにおいて前記複数の双方向画像通信装置のうちの１つとして使用される双方向画像通信装置であって、
    前記スケーラビリティの機能における複数レイヤの符号化データを前記複数の双方向画像通信装置のうちの一の双方向画像通信装置から受信し、
    前記一の双方向画像通信装置から受信した複数レイヤの符号化データを複製してバッファに蓄積し、
    前記一の双方向画像通信装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信状態又は前記双方向画像通信装置から当該送信先クライアント装置への送信状態に基づき選択し、
    選択した一又は複数のレイヤの符号化データを当該送信先クライアント装置に送信する
    ことを特徴とする双方向画像通信装置。
13. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置における処理の方法であって、
    前記スケーラビリティの機能における複数レイヤの符号化データを送信元クライアント装置から受信するステップと、
    送信元クライアント装置から受信した複数レイヤの符号化データを複製してバッファに蓄積するステップと、
    送信元クライアント装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信状態又は前記双方向画像通信装置から当該送信先クライアント装置への送信状態に基づき選択するステップと、
    選択した一又は複数のレイヤの符号化データを当該送信先クライアント装置に送信するステップと
    を有することを特徴とする方法。
14. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う複数の双方向画像通信装置とを有する双方向画像通信システムにおいて前記複数の双方向画像通信装置のうちの１つとして使用される双方向画像通信装置における処理の方法であって、
    前記スケーラビリティの機能における複数レイヤの符号化データを前記複数の双方向画像通信装置のうちの一の双方向画像通信装置から受信するステップと、
    前記一の双方向画像通信装置から受信した複数レイヤの符号化データを複製してバッファに蓄積するステップと、
    前記一の双方向画像通信装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信状態又は前記双方向画像通信装置から当該送信先クライアント装置への送信状態に基づき選択するステップと、
    選択した一又は複数のレイヤの符号化データを当該送信先クライアント装置に送信するステップと
    を有することを特徴とする方法。
15. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用される双方向画像通信装置に、
    前記スケーラビリティの機能における複数レイヤの符号化データを送信元クライアント装置から受信する手順と、
    送信元クライアント装置から受信した複数レイヤの符号化データを複製してバッファに蓄積する手順と、
    送信元クライアント装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信状態又は前記双方向画像通信装置から当該送信先クライアント装置への送信状態に基づき選択する手順と、
    選択した一又は複数のレイヤの符号化データを当該送信先クライアント装置に送信する手順と
    を実行させるプログラム。
16. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う複数の双方向画像通信装置とを有する双方向画像通信システムにおいて前記複数の双方向画像通信装置のうちの１つとして使用される双方向画像通信装置に、
    前記スケーラビリティの機能における複数レイヤの符号化データを前記複数の双方向画像通信装置のうちの一の双方向画像通信装置から受信する手順と、
    前記一の双方向画像通信装置から受信した複数レイヤの符号化データを複製してバッファに蓄積する手順と、
    前記一の双方向画像通信装置から受信した複数レイヤの符号化データのうち、送信先クライアント装置に送信する一又は複数のレイヤの符号化データを、当該送信先クライアント装置の受信状態又は前記双方向画像通信装置から当該送信先クライアント装置への送信状態に基づき選択する手順と、
    選択した一又は複数のレイヤの符号化データを当該送信先クライアント装置に送信する手順と
    を実行させるプログラム。
17. スケーラビリティの機能を有する映像圧縮方式を用いて映像を符号化するクライアント装置と、クライアント装置から受信した映像の複製及び分配を行う双方向画像通信装置とを有する双方向画像通信システムにおいて使用されるクライアント装置に、
    双方向画像通信装置への送信状態に応じて、前記スケーラビリティの機能における一又は複数のレイヤの符号化データを生成し、その符号化データを双方向画像通信装置に送信する手順と、
    当該クライアント装置の受信状態又は双方向画像通信装置から当該クライアント装置への送信状態に基づき、双方向画像通信装置により選択された一又は複数のレイヤの符号化データを当該双方向画像通信装置から受信し、受信した一又は複数のレイヤの符号化データを復号する手順と
    を実行させるプログラム。

Images