JP2005333358A - 画像通信装置、その処理方法及びクライアント装置並びにプログラム - Google Patents

Abstract

【課題】 サーバに多大な負担をかけることなく、各クライアントの端末種別等の通信環境に適した画像データ送受信を可能とする画像通信技術を提供する。
【解決手段】 スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データを復号するクライアント装置と、符号化データの配信を行う画像通信装置とを有する画像通信システムにおいて使用される画像通信装置において、前記スケーラビリティの機能における複数レイヤの符号化データを蓄積する記憶手段と、前記記憶手段に蓄積された複数レイヤの符号化データのうち、クライアント装置に送信する一又は複数のレイヤの符号化データを、当該クライアント装置の種別を用いて選択する選択手段と、選択された一又は複数のレイヤの符号化データを当該クライアント装置に送信する送信手段とを備える。
【選択図】 図３

Description

本発明は、サーバ・クライアント方式の画像通信システムに係り、特に、クライアントの装置種別等に適合した画像データ送信を可能とする画像通信装置に関する。

クライアント側で撮影した映像データをサービス提供側の画像通信サーバに蓄積し、利用者が適宜その映像を閲覧可能とするサービスがある。また、映像データを閲覧するクライアントとしては、従来からあるＰＣ（パーソナルコンピュータ）のみならず各種の携帯端末（ＰＤＡや携帯電話）がある。

携帯端末は一般にＰＣ等と比較して画像処理能力が低く、ＰＣ用に符号化した精細な映像を携帯端末では表示できない場合が多い。また、携帯端末間でも性能に差異があり、性能の良い携帯端末で表示できる映像を性能の低い携帯端末では表示できない場合もある。

ここで、ＰＣによって撮影された高精細の映像を画像通信サーバに蓄積した場合においても、携帯端末を含む種々のクライアントがその映像データを利用可能とすることが望ましいが、そのためには、クライアントの端末種別を予め想定し、上記の画像通信サーバに各々の種別に適した複数の映像データを画像処理により生成して蓄積しておく必要があると考えられる。

しかしながら、上記のように１つの映像データから複数種類の映像データを生成して蓄積しておく手法を用いると、画像通信サーバにおいて多量の記憶領域を消費するという問題が生じる。また、各種の端末に適合した映像データを生成するための処理負荷もかかる。更に、利用者にとっては、自分の使用している端末種別に適合した映像データを選択しなければならないという不便さが生じる。

更に、受信側クライアントと画像通信サーバ間のネットワーク帯域状態等の受信側クライアントの受信状態によっては、良い品質の映像データを受信できない場合も発生し得る。

また、従来の画像通信技術の一つとしてＩＰネットワークを用いたビデオ会議システムがあるが、従来のビデオ会議システムにおいては、映像の受信側に種々の端末種別のクライアントが含まれている場合、映像の送信側クライアントは性能の最も低い端末種別のクライアントに合わせてエンコーダのビットレートを設定しなければならない。その場合、送信帯域に余裕がある性能の良いクライアントも画品質の悪い映像しか送信することができず、帯域や端末性能を有効活用できないという問題が生ずる。この問題を解決するために、サーバで符号化データをデコードし、クライアント毎に適切なビットレートでエンコードすることが考えられるが、この方法ではサーバ側で複雑な処理を要し、サーバの処理負荷が大きくなるばかりでなく、リアルタイム性を損なうという問題もある。
特開２００３−１１６１３３号公報 「要点チェック式Ｈ．３２３／ＭＰＥＧ４教科書」、（株）ＩＥインスティチュート、２００１年

本発明は上記の点を鑑みてなされたものであり、サーバに多大な負担をかけることなく、各クライアントの端末種別等の通信環境に適した画像データ送受信を可能とする技術を提供することを目的とする。

上記の課題は、スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データを復号するクライアント装置と、符号化データの配信を行う画像通信装置とを有する画像通信システムにおいて使用される画像通信装置であって、前記スケーラビリティの機能における複数レイヤの符号化データを蓄積する記憶手段と、前記記憶手段に蓄積された複数レイヤの符号化データのうち、クライアント装置に送信する一又は複数のレイヤの符号化データを、当該クライアント装置の種別を用いて選択する選択手段と、選択された一又は複数のレイヤの符号化データを当該クライアント装置に送信する送信手段とを有することを特徴とする画像通信装置によって解決できる。

本発明によれば、送信先のクライアント装置の種別に適合したレイヤの符号化データを送信することができる。

前記画像通信装置は、前記クライアント装置が前記画像通信装置にアクセスする際に当該クライアント装置から送信されるメッセージに含まれる情報を用いて前記種別を判定するように構成できる。この構成によれば、利用者による入力等を経ずして自動的に種別を判定できる。

また、前記選択手段は、前記種別に加えて前記クライアント装置に対応する受信状態に基づき一又は複数のレイヤの符号化データを選択することもできる。この構成によれば、種別に加えて受信状態に応じた符号化データを選択して送信できる。より詳細には、前記選択手段は、前記種別に対応して定められた一又は複数のレイヤの符号化データと、前記受信状態に対応して定められた一又は複数のレイヤの符号化データのうち、レイヤ数の少ないほうの一又は複数の符号化データを選択する。

前記受信状態に対応したどのレイヤまで受信可能かを示す情報は、前記クライアント装置から受信してもよいし、受信状態を、データスループットもしくはＲＴＣＰプロトコルメッセージを監視することにより取得することにより決定してもよい。

また、上記のクライアント装置は、前記画像通信装置に、前記クライアント装置の種別に関する情報を送信する手段と、当該クライアント装置の種別を用いて前記画像通信装置により選択された一又は複数のレイヤの符号化データを当該画像通信装置から受信し、受信した一又は複数のレイヤの符号化データを復号する復号手段と、復号して得られた映像を表示する表示手段とを備えて構成することができる。

本発明によれば、サーバに多大な負担をかけることなく、各クライアントの端末種別や受信状態等の通信環境に適した画像データ送受信が可能となる。また、複数の画像を用意することなく端末種別に適合した画像をクライアントに提供することが可能となる。更に、利用者は自己の端末の種別やネットワークの状態等を意識することなく最適な画像を受信できるのでどのような利用者にとっても利用しやすいサービスを提供することが可能となる。

以下、本願発明の実施の形態を図面を参照して説明する。

（第１の実施の形態）
図１に、本発明の第１の実施の形態における画像通信システムの構成を示す。図１に示すように、本発明の第１の実施の形態における画像通信システムは、サーバ４、クライアントＡ（５）、クライアントＢ（６）、クライアントＣ（７）を有し、クライアントＡはネットワーク１を介してサーバ４と接続され、クライアントＢはネットワーク２を介してサーバ４と接続される。また、クライアントＣはネットワーク３を介してサーバ４と接続される。なお、本実施の形態の画像通信システムは、双方向リアルタイム通信を行うためのビデオ会議システムに適したものであるが、サーバ４に送信側クライアントから送信された映像データを蓄積しておき、蓄積された映像を受信側クライアントからの要求に応じて配信する蓄積型の画像配信システムにももちろん適用できる。

各クライアントにはカメラが接続されており、カメラの映像は各クライアントの送信状態にあわせて階層的に符号化することが可能である。各クライアントに接続されたカメラは、例えば、ＵＳＢ接続カメラやキャプチャボードを介して接続されたＮＴＳＣのＴＶカメラ等である。また、クライアントが携帯端末である場合には、カメラは携帯端末に付属するものでもよい。

ネットワーク１〜ネットワーク３はインターネットやイントラネット等である。サーバ４は、ＣＰＵ、メモリ、ハードディスク、ネットワーク通信装置等を備えた一般的なコンピュータのハードウェア構成を有し、本願発明に係る符号化データの選択機能は、サーバ４に搭載されるプログラムが実行されることにより実現される。当該プログラムはCD-ROM等の記録媒体からサーバ４にインストールすることもできるし、ネットワークを介してサーバにダウンロードし、インストールすることもできる。また、各クライアントは、ＣＰＵ、メモリ、記憶装置、ネットワーク通信装置等を備えた一般的なコンピュータのハードウェア構成を有するＰＣ、携帯端末等である。本願発明に係る端末種別情報の送信や符号化データの復号機能は、クライアントに搭載されるプログラムが実行されることにより実現される。

図２に、図１に示した第１の実施の形態における画像通信システムの動作を表すフローチャートを示す。図２を参照して、第１の実施の形態における画像通信システムの動作概要を説明する。

まず、各クライアントにおいてカメラ映像の取得を行う（ステップ１）。次に、各クライアントでカメラ映像の符号化処理を行う（ステップ２）。ここでは、クライアントＡ、クライアントＢ、及びクライアントＣは各々、送信状態にあったビットレートやフレームレートでカメラ映像を階層的に符号化する映像圧縮形式を用いて映像の階層的符号化データを生成する。ここでは、基本レイヤ１から、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２までの中で、基本レイヤ１からいずれかのレイヤまでの符号化データを、送信状態に合わせて階層的符号化データとして生成する。例えば、送信状態が良い場合は基本レイヤ１〜拡張レイヤ群２を生成するが、送信状態が悪い場合は基本レイヤ２のみを生成するといった具合に符号化が行われる。なお、本実施の形態では、クライアントは基本レイヤ２以上のレイヤの符号化データを生成する。

本実施の形態では、例えば、ＭＰＥＧ４やＨ．２６３（非特許文献１参照）等の圧縮符号化技術を用いる。そして、基本レイヤ１としてフレーム内圧縮されたキーフレームを生成し、基本レイヤ２としてフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームを生成し、拡張レイヤ群１として、基本レイヤ１、基本レイヤ２に対する高周波部分の差分情報フレームを生成し、拡張レイヤ群２として、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームを生成するものとする。このように階層的に符号化データを生成する機能はスケーラビリティと呼ばれている。ここでは、上記のような基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２を有する階層的符号化を例にとったが、レイヤの数や、各レイヤの内容は本実施の形態の例に限られるものではない。

なお、ここでの送信状態とは、クライアントのネットワークへの接続帯域、クライアントの処理能力等のことである。例えば、携帯端末をクライアントとして使用する場合は、デスクトップ型ＰＣをクライアントとして使用する場合に比べて処理能力は小さい。予めクライアントに送信状態を固定的に設定し、クライアントはその送信状態に対応して予め定めたレイヤの符号化データを生成してもよいし、送信状態を常時監視して、その送信状態に対応してレイヤをリアルタイムに変化させながら符号化データを生成することもできる。送信状態を常時監視するには、例えば、送信データのスループットやＲＴＣＰプロトコルのメッセージを監視する。

次に、映像の階層的符号化データを各クライアントからサーバへ送信する（ステップ３）。ここでは、通信プロトコルとして、例えばＲＴＰ／ＵＤＰや、ＲＴＰ／ＵＤＰをＨＴＴＰでカプセリングしたＴＣＰを用いて、階層的符号化データをフレーム単位で分割したビデオパケットとして送信する。以下、“ビデオパケット”と“階層的符号化データ”とを同じ意味で用いる場合がある。

次に、サーバ４において受信した符号化データを各クライアント毎に複製し蓄積する（ステップ４）。サーバ４は、各クライアントの端末種別を判定し（ステップ５）、端末種別が“携帯端末”である場合、本実施の形態では最大で基本レイヤ２までしか受信できないものとしているので、当該クライアントに対しては、受信状態を判定した後（ステップ６）、基本レイヤ（１又は１と２）の符号化データを送信する（ステップ７）。そして符号化データを受信したクライアントはその符号化データに対する受信処理（ステップ８）をして表示を行なう（ステップ９）。

一方、端末種別が“ＰＣ”である場合、本実施の形態では最大で拡張レイヤ２まで受信可能としている。この場合、受信状態を判定し（ステップ１０）、受信状態に基づいて階層的符号化データを選択する。ここで、基本レイヤの符号化データを送信することに決定した場合は、ステップ７〜ステップ９の処理を行う。拡張レイヤまで送信する場合は、ステップ１１において、選択した符号化データを送信する。ステップ１１の後、クライアントは符号化データを受信する（ステップ１２）。なお、サーバからのデータ送信処理及びクライアントによるデータ受信処理については後に詳細に説明する。

拡張レイヤを含む符号化データを受信したクライアントは、データ受信後、受信データの復号化及び表示処理を行う。すなわち、図２のステップ１３に示すように、基本レイヤ及び拡張レイヤ群１を合成して復号化処理を行う。そして、拡張レイヤ群２のデータが無ければ表示処理を行い（ステップ１４）、拡張レイヤ群２のデータが有れば拡張レイヤ群２を復号化して内挿フレームを生成し、ステップ１３において基本レイヤ１、基本レイヤ２、拡張レイヤ群１を基に作成したフレーム間に挿入する（ステップ１５）。そして表示処理を行う（ステップ１６）。

次に、ビデオパケットの複製と蓄積及び送信までのサーバにおける処理を図３を用いてより詳細に説明する。この処理は本発明に係るプログラムにより実現されるものである。

図３は、図１に示したシステム構成において、ビデオパケットの複製と蓄積、レイヤ制御、及び送信までの処理の一例を説明するための図である。図３において、基本１は基本レイヤ１（フレーム内圧縮されたキーフレーム）、基本２は基本レイヤ２（フレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレーム）、拡張１は拡張レイヤ群１（基本レイヤ１、基本レイヤ２に対する、高周波部分の差分情報フレーム）、拡張２は拡張レイヤ群２（拡張レイヤ群１に対し、動きを滑らかにするための内挿フレーム）を示す。

あるクライアントからサーバが受信したビデオパケットは、受信順に接続されているクライアント台数分複製され、送信先クライアント毎に用意されたバッファに蓄積される。ここで用意するバッファ量は、少なくとも１つ以上の基本レイヤ１のビデオパケットが含まれるように設定する。図３の例では、基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２の符号化データが蓄積できるバッファ量を設定している。なお、バッファはサーバにおけるメモリ内の所定のエリアとして実現される。

次にサーバにおいて各クライアントの端末種別及び受信状態に基づいてビデオパケットを選択し、クライアントに送信する処理について説明する。

本実施の形態での端末種別は、例えば各クライアントからサーバへのログイン時に、サーバに送信されるものである。具体的には、例えば、クライアントで動作しているブラウザから当該ブラウザの情報がＨＴＴＰプロトコルメッセージに含められてサーバに送信される。その情報は例えばブラウザの種別（インターネットエクスプローラ：ＩＥ、ネットスケープ：ＮＳ、等）、携帯端末の機種（携帯端末Ａ、携帯端末Ｂ、・・・等）を示す情報である。サーバは、図３の例のように、種別の情報がＰＣで使用されるブラウザの情報であれば、受信側クライアントを一括して“ＰＣ”であると判断し、携帯端末の機種に関する情報であれば一括して“携帯端末”であると判断し、“ＰＣ”であれば拡張２まで、“携帯端末”であれば基本２まで受信可能であるとし、その情報をクライアント毎に保持しておく。なお、端末種別を利用者がクライアントから手動で入力し、端末に送信するようにしてもよい。また、サーバでは“ＰＣ”と“携帯端末”に種別を分類する代わりに、個別の機種毎に受信可能レイヤを決めておいてもよい。例えば、ＰＣ（モデルＡ）に対しては拡張２まで受信可能とし、ＰＣ（モデルＢ）に対しては拡張２まで受信可能とし、携帯端末（モデルＸ）に対しては基２まで受信可能とし、携帯端末（モデルＹ）に対しては基１まで受信可能とするといった具合である。

また、サーバは、クライアント毎に受信状態情報を保持する。受信状態とは、クライアントの受信方向の接続帯域等である。受信状態は、各クライアントからサーバに対して予め通知しておく。サーバは、端末種別の場合と同様に、受信状態に対応してどのレイヤまでクライアントに送信できるかのデータを予め保持している。

サーバは、端末種別に対応する受信可能レイヤ情報と受信状態に対応する受信可能レイヤ情報とを比較し、レイヤ数の小さいほうをクライアントに送信できるレイヤとして決定する。受信状態を用いずに、端末種別だけで送信判定を行ってもよい。

図３に示すような端末種別及び受信状態の下、クライアントＡから符号化データをクライアントＢ、クライアントＣ及びクライアントＤへ送信する場合を考える。なお、図３に示す例ではクライアントＤが含められている。

まず、サーバは、バッファに蓄積された階層的符号化データの内容を解析する。図３に示すように、クライアントＡからサーバへは基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２が送信されている。従って、バッファに基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び、拡張レイヤ群２が蓄積されている。

次に、クライアントＢ、クライアントＣ及びクライアントＤの端末種別及び受信状態から、各端末につきどのレイヤの符号化データまで送信可能かを判断する。判断の結果、クライアントＢの場合、端末種別及び受信状態ともに拡張レイヤ群２まで受信可能であるため、サーバは、クライアントＡから受信してクライアントＢに対応するバッファに蓄積してある基本レイヤ１〜拡張レイヤ群２の符号化データ全てを選択し、クライアントＢへ送信する。また、クライアントＣの場合、端末種別では拡張レイヤ群２まで受信可能であるが、受信状態に関しては拡張レイヤ群１までしか受信できない状態であるので、基本レイヤ群１、２、及び拡張レイヤ群１を選択し、クライアントＣへ送信する。クライアントＤの場合、端末種別、受信状態ともに基本レイヤ群２までなので、基本レイヤ群２までの符号化データを送信する。

上記の例において、受信状態として、クライアントへの送信可能レイヤをサーバに予め設定する代わりに、サーバが各クライアントの受信状態もしくはサーバからクライアントへの送信状態を監視し、受信状態としてのクライアントへの送信可能レイヤをリアルタイムに変化させてもよい。受信状態は、例えば、サーバからクライアントに送信するデータのスループットや、クライアントから送信されるＲＴＣＰプロトコルのメッセージ（遅延時間等）を監視することにより把握することが可能である。また、送信可能レイヤをサーバに予め設定した後に、各クライアントの受信状態もしくはサーバからクライアントへの送信状態を監視し、予め設定したレイヤをリアルタイムに変更するようにしてもよい。

次に、図２のステップ１２〜１５に示すクライアントでの符号化データ受信処理について説明する。

図４に、サーバからクライアントに送信される符号化データの送信の順番を示す。図４（ａ）に示すように、クライアントが基本レイヤ２まで受信する場合、基本レイヤ１又は２（基本レイヤ１／２と表記する）の符号化データが順次送信される。図４（ｂ）に示すように、拡張レイヤ群１まで受信する場合は、拡張レイヤ群１、基本レイヤ２、拡張レイヤ群１、基本レイヤ２、・・・・の順番で符号化データが送信される。図４（ｃ）に示すように、拡張レイヤ群２まで受信する場合は、拡張レイヤ群１、基本レイヤ２、拡張レイヤ群２、拡張レイヤ群１、基本レイヤ２、拡張レイヤ群２・・・・の順番で符号化データが送信される。

上記のように符号化データが送信されることから、クライアントでは、図５に示す手順で符号化データの受信を行う。

まず、クライアントは、拡張レイヤ群１の符号化データの受信待ち状態となっている（ステップ２１）。次に受信するのは基本レイヤ１／２もしくは拡張レイヤ群１の符号化データである。拡張レイヤ群１の符号化データの受信待ち状態で、拡張レイヤ群１の符号化データを受信すると（ステップ２２）、基本レイヤ２の符号化データの受信待ち状態となる（ステップ２３）。そして、この状態で基本レイヤ２の符号化データを受信すると（ステップ２４）、拡張レイヤ群１の符号化データの受信待ち状態となる（ステップ２５）。図４で示したように、次に受信するのは拡張レイヤ群１もしくは拡張レイヤ群２の符号化データであり、拡張レイヤ群２の符号化データを受信した場合（ステップ２６）、ステップ２１に戻る。ステップ２５の状態で拡張レイヤ群１の符号化データを受信した場合（ステップ２７）、ステップ２３の基本レイヤ２の受信待ち状態となる。一方、ステップ２１の拡張レイヤ群１の符号化データ受信待ち状態において、基本レイヤ１／２の符号化データを受信した場合（ステップ２８）には、再びステップ２１に戻る。

図５の手順において、ステップ２１、ステップ２８の繰り返しが、図４（ａ）の場合に対応する。また、ステップ２１、ステップ２２、及びステップ２３、ステップ２４、ステップ２５、ステップ２７、ステップ２３、・・・・の繰り返しが図４（ｂ）に対応する。また、ステップ２１〜ステップ２６の繰り返しが図４（ｃ）に対応する。従って、図５に示す手順により、サーバから適宜選択された符号化データを受信クライアントが受信できる。

このように、本実施の形態の処理方法を用いることにより、クライアントの端末種別及び受信状態に適したデータ送受信が可能となり、従来技術における問題を解消できる。また、帯域が変動する場合においても、変動する帯域に動的に対応した符号化データの送受信が可能となる。

（第２の実施の形態）
次に、本願発明の第２の実施の形態について説明する。

図６は、本願発明の第２の実施の形態における画像通信システムの構成を示す図である。第２の実施の形態における画像通信システムでは、クライアントＡはネットワーク１を介してサーバＡと接続され、クライアントＢはネットワーク２を介してサーバＡと接続され、クライアントＣはネットワーク３を介してサーバＢと接続される。ここで、サーバＡとサーバＢはFire Wall８を介して接続され、クライアントＣはクライアントＡとクライアントＢの双方向通信画像の閲覧のみを行うものとする。また、サーバＡとサーバＢはＶＰＮ等のセキュアな回線で結ぶ。クライアントＡは、カメラＡに加えてハードディスクＡ５１のような外部記憶媒体を有している。

本実施の形態では、クライアントＡはカメラ画像を送信状態にあわせて階層的符号化処理を行い、階層的符号化データを外部記憶媒体に蓄積する。なお、この場合の送信状態は予め定めた固定的なものである。

クライアントＡはカメラ映像を符号化しながら送信するか、予め蓄積された階層的符号化データを送信するかの選択機能を有し、予め蓄積された階層的符号化データの送信を選択すれば、予め蓄積された階層的符号化データを読み出し、サーバＡに送信する。

サーバＡは受信した階層的符号化データを接続されているクライアント台数分複製し、蓄積する。そして、第１の実施の形態と同様の方法を用いて各クライアントに符号化データを送信する。

すなわち、サーバＡは受信した階層的符号化データの内容とクライアントＢ、およびクライアントＣの端末種別及び受信状態より、クライアントＢ、およびクライアントＣに送信する階層的符号化データを選択し、該当ビデオパケットを送信する。クライアントＣへの送信の場合、Fire Wall８を通過する必要があるため、例えば、ＨＴＴＰでカプセリングしたＴＣＰを用いて送信する。

このように、回線と各クライアントに負担をかけることなく通信が出来ると共に、Fire Wall８の外側にある端末（図６では、クライアントＣ）へも画像を送信することができる。Fire Wall８の外側にある端末には、Fire Wall８を通過させるための特別なプログラムは必要ないので、クライアントＣとして既存の携帯電話やＰＤＡ等を使用できる。また、このようなクライアントＣの端末種別に適合して符号化データを送信できる。本実施の形態における構成において、サーバＢに代えてルータを用いることも可能である。

（第３の実施の形態）
次に、第３の実施の形態について説明する。

図７は、本実施の形態におけるサーバとクライアントの接続構成を示した図であり、クライアントＡはネットワーク１を介してサーバＡと接続され、クライアントＢ及びクライアントＣはネットワーク２を介してサーバＢと接続される。ここで、サーバＡとサーバＢは異なるセグメントにあり中継回線で接続されている。クライアントＢ、及びクライアントＣはクライアントＡの双方向通信画像の閲覧のみを行うものとする。

クライアントＡは、カメラＡに加えて、ハードディスクＡ５１のような外部記憶媒体を有している。

第２の実施の形態と同様に、クライアントＡでカメラ画像を送信状態にあわせて階層的に符号化し、階層的符号化データを外部記億媒体に蓄積する。クライアントＡはカメラ映像を符号化しながら送信するか、予め蓄積された階層的符号化データを送信するかの選択機能を有し、予め蓄積された階層的符号化データの送信を選択すれば、予め蓄積された階層的符号化データを読み出し、サーバＡに送信する。

サーバＡは受信した階層的符号化データを接続されているクライアント台数分複製し、蓄積する。そしてサーバＡは第１の実施の形態と同様の方法によって符号化データの選択及び送信を行う。なお、本実施の形態では、サーバＡは接続されているサーバＢの受信状態を保持もしくは監視している。サーバＡは受信した階層的符号化データの内容とサーバＢの受信状態より、サーバＢに送信する階層的符号化データを選択し、該当ビデオパケットをサーバＢに送信する。

サーバＡから階層的符号化データを受信したサーバＢも、第１の実施の形態と同様の方法によって符号化データの選択及び送信を行う。すなわち、サーバＢはクライアントＢ、およびクライアントＣの端末種別及び受信状態に応じて、クライアントＢ、及びクライアントＣに送信する階層的符号化データを選択し、該当ビデオパケットを送信する。

このように、サーバと各クライアント間の回線に負担をかけることなく通信が出来るだけでなく、サーバ間の中継回線の負荷を下げることも実現できる。なお、上記の構成におおいてサーバＢに代えてルータを用いることもできる。この場合、ルータに本発明の処理を行うプログラムを搭載しておく。

これまでに説明した実施の形態は主にビデオ会議システムに適したものであるが、本発明の画像通信システムは、送信側クライアントから受信した符号化データを蓄積し、受信側クライアントからの要求に応じて、当該受信側クライアントの端末種別等に応じて符号化データを選択して送信する蓄積型の画像配信システムにも適用できる。この場合、サーバは、送信側クライアントから受信した符号化データを記憶装置に蓄積する。そして、クライアントからそのデータの取得要求があった場合に、当該クライアントに対応して保持している端末種別に対応する受信可能レイヤと受信状態に対応する受信可能レイヤとから送信レイヤを決定し、決定した送信レイヤの符号化データを蓄積された符号化データから選択して送信すればよい。

上記のように、本発明の実施の形態によれば、サーバと各クライアント間の通信環境に適した双方向画像通信が可能になるとともに、複数の画像を用意することなく端末種別に適合した画像をクライアントに提供する蓄積型サービスを実現することが可能となる。また、利用者は自己の端末の種別やネットワークの状態等を意識することなく最適な画像を受信できるのでどのような利用者にとっても利用しやすいサービスを提供することが可能となる。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内で種々変更・応用が可能である。

本発明の第１の実施の形態における画像通信システムの構成を示す図である。 図１に示した第１の実施の形態における画像通信システムの動作を表すフローチャートである。 サーバの動作を説明するための図である。 サーバからクライアントへの符号化データの送信順を示す図である。 クライアントにおいて符号化データを受信する手順を示す図である。 本発明の第２の実施の形態における画像通信システムの構成を示す図である。 本発明の第３の実施の形態における画像通信システムの構成を示す図である。

符号の説明

１、２、３ ネットワーク
４ サーバ
５ クライアントＡ
６ クライアントＢ
７ クライアントＣ
８ Fire Wall

Claims (17)

1. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データを復号するクライアント装置と、符号化データの配信を行う画像通信装置とを有する画像通信システムにおいて使用される画像通信装置であって、
   前記スケーラビリティの機能における複数レイヤの符号化データを蓄積する記憶手段と、
   前記記憶手段に蓄積された複数レイヤの符号化データのうち、クライアント装置に送信する一又は複数のレイヤの符号化データを、当該クライアント装置の種別を用いて選択する選択手段と、
   選択された一又は複数のレイヤの符号化データを当該クライアント装置に送信する送信手段と
   を有することを特徴とする画像通信装置。
2. 前記画像通信装置は、前記クライアント装置が前記画像通信装置にアクセスする際に当該クライアント装置から送信されるメッセージに含まれる情報を用いて前記種別を判定する請求項１に記載の画像通信装置。
3. 前記選択手段は、前記種別に加えて前記クライアント装置に対応する受信状態に基づき一又は複数のレイヤの符号化データを選択する請求項１に記載の画像通信装置。
4. 前記選択手段は、前記種別に対応して定められた一又は複数のレイヤの符号化データと、前記受信状態に対応して定められた一又は複数のレイヤの符号化データのうち、レイヤ数の少ないほうの一又は複数の符号化データを選択する請求項２に記載の画像通信装置。
5. 前記受信状態に対応したどのレイヤまで受信可能かを示す情報を、前記クライアント装置から受信し、当該情報と前記クライアント装置の種別とに基づき、前記クライアント装置に送信する符号化データの選択を行う請求項３又は４に記載の画像通信装置。
6. 前記クライアント装置に対応した受信状態を、データスループットもしくはＲＴＣＰプロトコルメッセージを監視することにより取得する請求項３又は４に記載の画像通信装置。
7. 前記スケーラビリティの機能における複数レイヤは、基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び拡張レイヤ群２からなり、基本レイヤ１の符号化データはフレーム内圧縮されたキーフレームの符号化データであり、基本レイヤ２の符号化データはフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームの符号化データであり、拡張レイヤ群１の符号化データは、基本レイヤ１及び基本レイヤ２に対する高周波部分の差分情報フレームの符号化データであり、拡張レイヤ群２の符号化データは、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームの符号化データである請求項１ないし６のうちいずれか１項に記載の画像通信装置。
8. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された符号化データを画像通信装置から受信するためのクライアント装置であって、
   前記画像通信装置に、前記クライアント装置の種別に関する情報を送信する手段と、
   当該クライアント装置の種別を用いて前記画像通信装置により選択された一又は複数のレイヤの符号化データを当該画像通信装置から受信し、受信した一又は複数のレイヤの符号化データを復号する復号手段と、
   復号して得られた映像を表示する表示手段と
   を有することを特徴とするクライアント装置。
9. 前記スケーラビリティの機能における複数レイヤは、基本レイヤ１、基本レイヤ２、拡張レイヤ群１、及び拡張レイヤ群２からなり、基本レイヤ１の符号化データはフレーム内圧縮されたキーフレームの符号化データであり、基本レイヤ２の符号化データはフレーム内圧縮されたキーフレームとフレーム間圧縮された内挿フレームの符号化データであり、拡張レイヤ群１の符号化データは、基本レイヤ１及び基本レイヤ２に対する高周波部分の差分情報フレームの符号化データであり、拡張レイヤ群２の符号化データは、拡張レイヤ群１に対し、動きを滑らかにするための内挿フレームの符号化データである請求項８に記載のクライアント装置。
10. 前記クライアント装置は、拡張レイヤ群１の符号化データの受信を待つ状態において基本レイヤ１もしくは基本レイヤ２の符号化データ、又は拡張レイヤ群２の符号化データを受信した場合に拡張レイヤ群１の符号化データの受信を待つ状態に戻り、拡張レイヤ群１の符号化データの受信を待つ状態において拡張レイヤ群１の符号化データを受信した場合には基本レイヤ２の符号化データを待つ状態に入る請求項９に記載のクライアント装置。
11. 前記クライアント装置は、基本レイヤ２及び拡張レイヤ群１の符号化データを受信した場合に、当該基本レイヤ２及び拡張レイヤ群１の符号化データを合成及び復号化してフレームを生成し、
    更に拡張レイヤ群２の符号化データを受信した場合には、当該拡張レイヤ群２の符号化データを復号化して内挿フレームを生成し、前記フレーム間に当該内挿フレームを挿入して復号化映像を生成する請求項９に記載のクライアント装置。
12. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データを復号するクライアント装置と、画像の符号化データの配信を行う複数の画像通信装置とを有する画像通信システムにおいて前記複数の画像通信装置のうちの１つとして使用される画像通信装置であって、
    前記スケーラビリティの機能における複数レイヤの符号化データを前記複数の画像通信装置のうちの一の画像通信装置から受信する受信手段と、
    前記一の画像通信装置から受信した複数レイヤの符号化データを蓄積する記憶手段と、
    前記一の画像通信装置から受信した複数レイヤの符号化データのうち、クライアント装置に送信する一又は複数のレイヤの符号化データを、当該クライアント装置の種別を用いて選択する選択手段と、
    選択した一又は複数のレイヤの符号化データを当該クライアント装置に送信する送信手段と
    を有することを特徴とする画像通信装置。
13. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データを復号するクライアント装置と、符号化データの配信を行う画像通信装置とを有する画像通信システムにおいて使用される画像通信装置における処理の方法であって、
    前記スケーラビリティの機能における複数レイヤの符号化データを記憶手段に蓄積する蓄積ステップと、
    前記記憶手段に蓄積された複数レイヤの符号化データのうち、クライアント装置に送信する一又は複数のレイヤの符号化データを、当該クライアント装置の種別を用いて選択する選択ステップと、
    選択された一又は複数のレイヤの符号化データを当該クライアント装置に送信する送信ステップと
    を有することを特徴とする方法。
14. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データを復号するクライアント装置と、画像の符号化データの配信を行う複数の画像通信装置とを有する画像通信システムにおいて前記複数の画像通信装置のうちの１つとして使用される画像通信装置における処理の方法であって、
    前記スケーラビリティの機能における複数レイヤの符号化データを前記複数の画像通信装置のうちの一の画像通信装置から受信する受信ステップと、
    前記一の画像通信装置から受信した複数レイヤの符号化データを記憶手段に蓄積する蓄積ステップと、
    前記一の画像通信装置から受信した複数レイヤの符号化データのうち、クライアント装置に送信する一又は複数のレイヤの符号化データを、当該クライアント装置の種別を用いて選択する選択ステップと、
    選択した一又は複数のレイヤの符号化データを当該クライアント装置に送信する送信ステップと
    を有することを特徴とする方法。
15. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データを復号するクライアント装置と、符号化データの配信を行う画像通信装置とを有する画像通信システムにおいて使用される画像通信装置に、
    前記スケーラビリティの機能における複数レイヤの符号化データを記憶手段に蓄積する手順と、
    前記記憶手段に蓄積された複数レイヤの符号化データのうち、クライアント装置に送信する一又は複数のレイヤの符号化データを、当該クライアント装置の種別を用いて選択する手順と、
    選択した一又は複数のレイヤの符号化データを当該クライアント装置に送信する手順と
    を実行させるプログラム。
16. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された画像の符号化データを復号するクライアント装置と、画像の符号化データの配信を行う複数の画像通信装置とを有する画像通信システムにおいて前記複数の画像通信装置のうちの１つとして使用される画像通信装置に、
    前記スケーラビリティの機能における複数レイヤの符号化データを前記複数の画像通信装置のうちの一の画像通信装置から受信する手順と、
    前記一の画像通信装置から受信した複数レイヤの符号化データを記憶手段に蓄積する手順と、
    前記一の画像通信装置から受信した複数レイヤの符号化データのうち、クライアント装置に送信する一又は複数のレイヤの符号化データを、当該クライアント装置の種別を用いて選択する手順と、
    選択した一又は複数のレイヤの符号化データを当該クライアント装置に送信する手順と
    を実行させるプログラム。
17. スケーラビリティの機能を有する映像圧縮方式を用いて符号化された符号化データを画像通信装置から受信するためのクライアント装置に、
    前記画像通信装置に、前記クライアント装置の種別に関する情報を送信する手順と、
    当該クライアント装置の種別を用いて前記画像通信装置により選択された一又は複数のレイヤの符号化データを当該画像通信装置から受信し、受信した一又は複数のレイヤの符号化データを復号する手順と、
    復号して得られた映像を前記クライアント装置の表示手段に表示する手順と
    を実行させるプログラム。

Images