JP2005277949A - 送信装置および方法、受信装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】送信されてくるデータの階層を把握する。
【解決手段】 UDP通信部１５１は、送信されてくるRTPパケットを受信し、受信したRTPパケットをRTP処理部１５２に供給する。RTP処理部１５２は、RTPパケットから階層情報を抽出し、抽出した階層情報を階層情報保持部１５６に供給する。階層情報保持部１５６は、階層情報を合成部１５４に供給する。合成部１５４は、階層情報およびデコーダ１５３から供給された画像データを重畳し、重畳した画像データを出力部８７に供給する。出力部８７は、供給された画像データを基に、画像を表示させる。本発明は、ライブ映像ストリーミング配信システムなどに適用できる。
【選択図】図６

Description

本発明は送信装置および方法、受信装置および方法、記録媒体、並びにプログラムに関し、特に、送信される階層化されたデータの階層を変更できるようにした送信装置および方法、受信装置および方法、記録媒体、並びにプログラムに関する。

昨今、ビデオオンデマンドやライブ映像などのストリーミング配信、またはビデオ会議やテレビ電話などのリアルタイム通信において、解像度の低いディスプレイおよび処理能力の低いCPU（Central Processing Unit）を有する携帯電話機から、解像度の高いディスプレイおよび処理能力の高いCPUを有するパーソナルコンピュータ（ＰＣ（Personal Computer））まで、解像度や処理能力の異なる複数の受信端末機が、同一のソースから、それぞれの受信端末機の解像度や処理能力に合ったサービスの利用が可能である、階層符号化を利用した通信システムが提案されている。

このような階層符号化が可能な圧縮・伸張方式として、MPEG（Moving Picture Experts Group）４およびMotion JPEG（Joint Photographic Experts Group）２０００がある。

MPEG４においては、階層符号化技術として、FGS（Fine Granuality Scalability）符号化方式を規格に取り込むことによって、プロファイル化する予定であり、低画質のデータから高画質のデータまで、スケーラブルに配信することが可能であると言われている。

また、JPEG２０００においては、データを周波数成分に変換する方法として、ウェーブレット（Wavelet）変換が用いられている。JPEG２０００においては、このウェーブレット変換の特徴を生かし、復号時の空間解像度を優先してパケット化することや、復号時の画質を優先してパケット化することが可能である。

さらに、JPEG２０００は、静止画像だけでなく動画像を扱うことができるMotion JPEG２０００（Part３）の規格により、階層化したデータをファイルフォーマットで保存することが可能である。

従来、送信側のデータとしては、受信端末機のデータの処理能力に応じた、異なるフォーマットのデータおよび通信網の伝送帯域に応じた大きさのデータを用意する必要があったが、データを階層化することにより、１つのファイルデータから異なる処理能力の受信端末機（受信装置）あてに、受信端末機の処理能力および通信網の伝送帯域に応じたデータを、同時に配信することが可能となる。

また、通常、このような画像データの配信においては、リアルタイム性が必要であるため、通信網において通信する場合、IETF RFC（Internet Engineering Task Force Request For Comments）７６８で規定されているプロトコルであるUDP（User Datagram Protocol）に従って画像データの伝送を行う。さらに、UDPの上のレイヤにおいては、IETF RFC１８８９で規定されているプロトコルであるRTP（Realtime Transport Protocol）に従った、アプリケーションプログラム毎、すなわち、符号化方式毎に定義されたフォーマットを用いている。

従来の送信装置は、送信するパケットに、階層符号化されたデータをペイロードとして格納している（例えば、特許文献１参照）。この送信装置においては、階層ごとの優先度を表す優先度情報がパケットのヘッダに付与され、最も優先度が高い１番目の階層から順番に、所定の優先度までの階層に対応するパケットが受信装置あてに送信される。

特開２００３−１５２５４４号公報

しかしながら、上述した特許文献１に開示されている技術においては、受信装置のデータの処理能力に応じて、配信するデータの階層を、送信装置が指定する場合、受信側において、送信装置から送信されてくるデータが何階層のデータから構成されており、何番目の階層のデータまでを受信しているかを知ることができなかった。

したがって、送信装置が、受信装置のデータの処理能力および通信網の伝送帯域を基に、送信するデータの階層を選択することになり、送信側において、受信装置のデータの処理能力および通信網における伝送帯域に適合していない、誤った階層が選択されてしまった場合、受信側において、送信されてくるデータの階層の変更をすることができないという課題があった。

本発明は、このような状況に鑑みてなされたものであり、受信側において、送信されてくるデータの階層を把握できるようにするものである。さらに、必要に応じて、送信されてくるデータの階層を変更することができるようにするものである。

本発明の送信装置は、復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの送信データの階層のうち、送信する送信データの最も上位の階層を選択する選択手段と、送信している送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報とを相手に送信する送信手段とを備えることを特徴とする。

送信装置は、送信している送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報とを含む送信データを生成する生成手段をさらに設け、送信手段は、生成された送信データを送信するようにすることができる。

送信装置は、送信する送信データの最も上位の階層の変更を要求する、変更要求を受信する受信手段をさらに設け、選択手段は、受信された変更要求を基に、送信する送信データの最も上位の階層を選択するようにすることができる。

送信装置は、自分と送信データを送信する相手との、通信網の帯域を取得する取得手段をさらに設け、選択手段は、通信網の帯域を基に、送信する送信データの最も上位の階層を選択するようにすることができる。

送信手段は、通信網の帯域を相手に算出させるためのパケットを送信し、取得手段は、相手からの通知を基に、通信網の帯域を取得するようにすることができる。

本発明の送信方法は、復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの送信データの階層のうち、送信する送信データの最も上位の階層を選択する選択ステップと、送信している送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との相手への送信を制御する送信制御ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの送信データの階層のうち、送信する送信データの最も上位の階層を選択する選択ステップと、送信している送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との相手への送信を制御する送信制御ステップとを含むことを特徴とする。

本発明のプログラムは、復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの送信データの階層のうち、送信する送信データの最も上位の階層を選択する選択ステップと、送信している送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との相手への送信を制御する送信制御ステップとを含むことを特徴とする。

送信装置は、独立した装置であってもよいし、通信装置の送信処理を行うブロックであってもよい。

本発明の受信装置は、送信されてくる送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報とを受信する受信手段と、送信されてくる送信データの最も上位の階層を示す情報、および階層符号化における送信データの階層の数を示す情報の少なくとも一方の表示を制御する表示制御手段とを備えることを特徴とする。

受信装置は、送信されてくる送信データの最も上位の階層の変更を要求する、変更要求を生成する生成手段と、生成された変更要求を相手に送信する送信手段とをさらに設けることができる。

受信装置は、送信データを送信してくる相手が通信網を介して送信してくるパケットであって、受信したパケットを基に、相手と自分との通信網の帯域を算出する算出手段と、算出した通信網の帯域の通知を相手に送信する送信手段とをさらに設けることができる。

受信装置は、受信した送信データを基に、相手と自分との通信網の帯域を算出する算出手段をさらに設け、表示制御手段は、算出された通信網の帯域の表示をさらに制御するようにすることができる。

受信装置は、受信した送信データのロス率を算出する算出手段をさらに設け、表示制御手段は、算出されたロス率の表示をさらに制御するようにすることができる。

受信装置は、受信された測定パケットを基に、相手と自分との通信網の帯域を算出する算出手段をさらに設け、受信手段は、送信データを送信してくる相手が通信網を介して送信してくる、通信網の帯域を測定するための測定パケットをさらに受信し、表示制御手段は、算出された通信網の帯域の表示をさらに制御するようにすることができる。

本発明の受信方法は、送信されてくる送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との受信を制御する受信制御ステップと、送信されてくる送信データの最も上位の階層を示す情報、および階層符号化における送信データの階層の数を示す情報の少なくとも一方の表示を制御する表示制御ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、送信されてくる送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との受信を制御する受信制御ステップと、送信されてくる送信データの最も上位の階層を示す情報、および階層符号化における送信データの階層の数を示す情報の少なくとも一方の表示を制御する表示制御ステップとを含むことを特徴とする。

本発明のプログラムは、送信されてくる送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との受信を制御する受信制御ステップと、送信されてくる送信データの最も上位の階層を示す情報、および階層符号化における送信データの階層の数を示す情報の少なくとも一方の表示を制御する表示制御ステップとを含むことを特徴とする。

受信装置は、独立した装置であってもよいし、通信装置の受信処理を行うブロックであってもよい。

本発明の送信装置および方法、記録媒体、並びにプログラムにおいては、復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの送信データの階層のうち、送信する送信データの最も上位の階層が選択され、送信している送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報とが相手に送信される。

本発明の受信装置および方法、記録媒体、並びにプログラムにおいては、送信されてくる送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報とが受信され、送信されてくる送信データの最も上位の階層を示す情報、および階層符号化における送信データの階層の数を示す情報の少なくとも一方の表示が制御される。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

本発明によれば、データの受信側において、送信されてくるデータの階層を把握できる。また、本発明によれば、データの受信側において、必要に応じて、送信されてくるデータの階層を変更することができる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

本発明によれば、送信装置が提供される。この送信装置（例えば、図１のサーバ１２）は、復号に欠くことのできない最下位の階層（例えば、図８で示される１番目の階層）から、より品質の高い復号をするためのより上位の階層（例えば、図８で示される５番目の階層）までの送信データの階層のうち、送信する送信データの最も上位の階層を選択する選択手段（例えば、図５の送信階層選択部１３６）と、送信している送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報とを相手に送信する送信手段（例えば、図５のUDP通信部１３４）とを備える。

この送信装置は、送信している送信データの最も上位の階層を示す情報（例えば、図１２で示される送信階層）と、階層符号化における送信データの階層の数を示す情報（例えば、図１２で示される最大階層）とを含む送信データを生成する生成手段（例えば、図５のパケタイザ１３２）をさらに設け、送信手段（例えば、図５のUDP通信部１３４）が、生成された送信データを送信するようにすることができる。

この送信装置は、送信する送信データの最も上位の階層の変更を要求する、変更要求を受信する受信手段（例えば、図５のTCP通信部１３５）をさらに設け、選択手段（例えば、図５の送信階層選択部１３６）が、受信された変更要求を基に、送信する送信データの最も上位の階層を選択するようにすることができる。

この送信装置は、自分と送信データを送信する相手との、通信網の帯域を取得する取得手段（例えば、図９のステップＳ３３の処理を行うTCP通信部１３５）をさらに設け、選択手段（例えば、図５の送信階層選択部１３６）が、通信網の帯域を基に、送信する送信データの最も上位の階層を選択するようにすることができる。

この送信装置は、送信手段（例えば、図９のステップＳ３２の処理を行うUDP通信部１３４）が、通信網の帯域を相手に算出させるためのパケットを送信し、取得手段（例えば、図９のステップＳ３３の処理を行うTCP通信部１３５）が、相手からの通知を基に、通信網の帯域を取得するようにすることができる。

また、本発明によれば、送信方法が提供される。この送信方法は、復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの送信データの階層のうち、送信する送信データの最も上位の階層を選択する選択ステップ（例えば、図９のステップＳ３４の処理）と、送信している送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との相手への送信を制御する送信制御ステップ（例えば、図１１のステップＳ７９の処理）とを含む。

また、本発明によれば、プログラムが提供される。このプログラムは、復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの送信データの階層のうち、送信する送信データの最も上位の階層を選択する選択ステップ（例えば、図９のステップＳ３４の処理）と、送信している送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との相手への送信を制御する送信制御ステップ（例えば、図１１のステップＳ７９の処理）とをコンピュータに実行させる。

このプログラムは、記録媒体（例えば、図４の磁気ディスク１１１）に記録することができる。

本発明によれば、受信装置が提供される。この受信装置（例えば、図１のクライアント１４）は、送信されてくる送信データの最も上位の階層を示す情報（例えば、図１２で示される送信階層）と、階層符号化における送信データの階層の数を示す情報（例えば、図１２で示される最大階層）とを受信する受信手段（例えば、図６のUDP通信部１５１）と、送信されてくる送信データの最も上位の階層を示す情報、および階層符号化における送信データの階層の数を示す情報の少なくとも一方の表示を制御する表示制御手段（例えば、図６の出力部８７）とを備える。

この受信装置は、送信されてくる送信データの最も上位の階層の変更を要求する、変更要求を生成する生成手段（例えば、図６の階層変更要求部１６０）と、生成された変更要求を相手に送信する送信手段（例えば、図６のTCP通信部１５８）とをさらに設けることができる。

この受信装置は、送信データを送信してくる相手が通信網を介して送信してくるパケットであって、受信したパケットを基に、相手と自分との通信網の帯域を算出する算出手段（例えば、図６の帯域算出部１５７）と、算出した通信網の帯域の通知を相手に送信する送信手段（例えば、図１０のステップＳ５５の処理を行うTCP通信部１５８）とをさらに設けることができる。

この受信装置は、受信した送信データを基に、相手と自分との通信網の帯域を算出する算出手段（例えば、図６の帯域算出部１５７）をさらに設け、表示制御手段（例えば、図６の出力部８７）が、算出された通信網の帯域の表示をさらに制御するようにすることができる。

この受信装置は、受信した送信データのロス率を算出する算出手段（例えば、図６のストリーム情報算出部１５５）をさらに設け、表示制御手段（例えば、図６の出力部８７）が、算出されたロス率の表示をさらに制御するようにすることができる。

この受信装置は、受信された測定パケットを基に、相手と自分との通信網の帯域を算出する算出手段（例えば、図６の帯域算出部１５７）をさらに設け、受信手段（例えば、図１０のステップＳ５１の処理を行うTCP通信部１５８）が、送信データを送信してくる相手が通信網を介して送信してくる、通信網の帯域を測定するための測定パケットをさらに受信し、表示制御手段（例えば、図６の出力部８７）が、算出された通信網の帯域の表示をさらに制御するようにすることができる。

また、本発明によれば、受信方法が提供される。この受信方法は、送信されてくる送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との受信を制御する受信制御ステップ（例えば、図１５のステップＳ１２１の処理）と、送信されてくる送信データの最も上位の階層を示す情報、および階層符号化における送信データの階層の数を示す情報の少なくとも一方の表示を制御する表示制御ステップ（例えば、図１５のステップＳ１３２の処理）とを含む。

また、本発明によれば、プログラムが提供される。このプログラムは、送信されてくる送信データの最も上位の階層を示す情報と、階層符号化における送信データの階層の数を示す情報との受信を制御する受信制御ステップ（例えば、図１５のステップＳ１２１の処理）と、送信されてくる送信データの最も上位の階層を示す情報、および階層符号化における送信データの階層の数を示す情報の少なくとも一方の表示を制御する表示制御ステップ（例えば、図１５のステップＳ１３２の処理）とをコンピュータに実行させる。

このプログラムは、記録媒体に記録することができる。

本発明は、例えば、インターネット電話、遠隔テレビ会議システム、ライブ映像ストリーミング配信システム、またはテレビ電話などのリアルタイムにストリーミングデータを伝送する通信システムに適用できる。

図１は、本発明を適用したストリーミング配信システムの一実施の形態を示す図である。このストリーミング配信システムにおいては、インターネットなどの通信網１３に、サーバ１２およびクライアント１４が接続されている。

ビデオカメラ１１は、画像を撮像して、撮像した画像に対応する画像データをサーバ１２に供給する。例えば、ビデオカメラ１１は、動画像を撮像して、動画像に対応する画像データをサーバ１２に供給する。

画像データは、ストリーミングデータの一例である。ストリーミングデータは、音声のデータ、またはリアルタイム制御データなど、時間の経過に対応して順次送信または受信が要求されるデータであればよい。

サーバ１２は、通信網１３の帯域を測定するための帯域測定パケットを、通信網１３を介して、クライアント１４あてに送信する。また、サーバ１２は、クライアント１４から送信されてくる帯域測定結果を受信する。ここで、帯域とは、サーバ１２とクライアント１４とを接続する通信網１３における伝送レート、すなわち単位時間に伝送可能なデータ量をいう。

サーバ１２は、ビデオカメラ１１から供給された画像データを階層符号化し、階層符号化することによって階層化された各階層の画像データと、階層情報とを各階層に対応するパケットのそれぞれに格納する。ここで、階層情報とは、階層化された画像データの階層の数を示す最大階層情報と、送信される画像データの階層のうち、最上位の階層（以下、送信階層と称する）を示す送信階層情報とからなる。また、以下、階層化された画像データの階層のうち、最上位の階層を最大階層と称する。

なお、ビデオカメラ１１から供給された画像データは、復号に欠くことのできない最下位の階層から、より品質の高い復号をするための最上位の階層までの複数の階層に階層化される。また、復号に欠くことのできない画像データの階層が、最下位の階層であり、より品質の高い復号をするための画像データの階層が、最上位の階層であると説明したが、復号に欠くことのできない画像データの階層を、最上位の階層とし、より品質の高い復号をするための画像データの階層を最下位の階層とするようにしてもよい。

サーバ１２は、受信した帯域測定結果を基に、送信階層を選択し、選択した送信階層を基に、最下位の階層である１番目の階層から、送信階層までの階層のそれぞれに対応するパケットのそれぞれを、通信網１３を介して、クライアント１４あてに送信する。

通信網１３は、有線または無線の、通信回線、ネットワーク、またはインターネットなどからなる伝送路であり、サーバ１２から送信されたパケットをクライアント１４まで伝送する。

サーバ１２は、クライアント１４から送信されてきた変更要求を受信し、受信した変更要求を基に、送信階層を変更する。

クライアント１４は、通信網１３を介してサーバ１２から送信されてきた各種のパケットを受信する。

クライアント１４は、サーバ１２から送信されてきた帯域測定パケットを受信する。クライアント１４は、受信した帯域測定パケットを基に、通信網１３の帯域を算出し、算出した帯域を帯域測定結果として、通信網１３を介して、サーバ１２あてに送信する。

クライアント１４は、サーバ１２から送信されてきた、画像データが格納されているパケットを受信する。クライアント１４は、受信したパケットから、階層情報を抽出し、抽出した階層情報を、出力部（図示せず）に表示させる。クライアント１４は、送信階層の変更を要求する、変更要求を生成し、生成した変更要求を、通信網１３を介して、サーバ１２あてに送信する。

次に、図２のタイムチャートを参照して、サーバ１２における、帯域測定の処理および送信階層の変更の処理の例を説明する。

図２において、横軸は時間を示し、帯域測定パケット３１は、例えば、通信網１３の帯域を測定するための、等しいパケットサイズのパケット４１−１およびパケット４１−２から構成される。また、例えば、フレーム３２を再生するための画像データであるストリーミングデータは、パケット４２−１乃至パケット４２−３に格納されて送信され、フレーム３３を再生するための画像データであるストリーミングデータは、パケット４３−１乃至パケット４３−３に格納されて送信され、フレーム３４を再生するための画像データであるストリーミングデータは、パケット４４−１乃至パケット４４−４に格納されて送信される。

時刻ｔ１において、サーバ１２は、通信網１３の帯域を測定するためのパケット４１−１を、通信網１３を介して、クライアント１４あてに送信する。同様に、時刻ｔ２において、サーバ１２は、通信網１３の帯域を測定するためのパケット４１−２を、通信網１３を介して、クライアント１４あてに送信する。パケット４１−１およびパケット４１−２は、時間間隔をおかずに、続けて（連続して）クライアント１４あてに送信される。

時刻ｔ１１において、クライアント１４は、サーバ１２から送信されてきたパケット４１−１を受信し、時刻ｔ１２において、クライアント１４は、サーバ１２から送信されてきたパケット４１−２を受信する。クライアント１４は、パケット４１−１およびパケット４１−２を受信すると、受信したパケット４１−１およびパケット４１−２を基に、通信網１３の帯域を算出する。なお、帯域の測定についての詳細は、後述する。

時刻ｔ１３において、クライアント１４は、算出した帯域の測定結果である帯域測定結果を、通信網１３を介して、サーバ１２あてに送信する。

時刻ｔ３において、サーバ１２は、クライアント１４から送信されてきた帯域測定結果を受信する。サーバ１２は、帯域測定結果を受信すると、受信した帯域測定結果を基に、クライアント１４に送信する、画像データが格納されたパケットの送信階層を選択する。

サーバ１２は、画像データを所定の数の階層に階層符号化し、階層化された各階層の画像データのそれぞれを、各階層に対応するパケットのそれぞれに格納する。サーバ１２は、送信階層を基に、１番目の階層から送信階層までの階層のそれぞれに対応するパケットのそれぞれを、通信網１３を介して、クライアント１４あてに送信する。

例えば、サーバ１２は、１つのフレームを再生するための画像データを、最下位の階層である１番目の階層から、最上位の階層である４番目の階層までの４つの階層に階層化する。１番目の階層の画像データは、低解像度の画像データを復号するためのデータであり、２番目の階層の画像データは、１番目の階層の画像データとともに復号した場合、１番目の階層の画像データより、解像度が高い画像が得られる画像データである。

ここで、最下位の階層の画像データである１番目の階層の画像データを復号した場合、低解像度の画像を表示させる画像データを得ることができるが、より上位の階層の画像データ、例えば、２番目の階層の画像データだけを復号しても、画像を表示させる画像データを得ることはできない。すなわち、最下位の階層の画像データは、復号に欠くことのできない画像データであり、最下位の階層より上位の階層の画像データは、その画像データ（２番目の階層以上の画像データ）だけを復号しても画像を表示させる画像データを得ることはできず、自分自身と自分より下位の階層の画像データとをともに復号した場合に、画像を表示させる画像データを得ることができる。

また、３番目の階層の画像データは、１番目の階層の画像データおよび２番目の階層の画像データとともに復号した場合、１番目の階層の画像データおよび２番目の階層の画像データを復号して得られる画像より、解像度が高い画像が得られる画像データであり、４番目の階層の画像データは、１番目の階層の画像データ、２番目の階層の画像データ、および３番目の階層の画像データとともに復号した場合、最も解像度が高い、階層符号化前の画像に近い解像度の画像が得られる画像データである。

すなわち、階層符号化により、画像データが、１番目の階層から４番目の階層までの４つの階層に階層化された場合、１番目の階層は、画像データの復号に欠くことのできない最下位の階層であり、２番目の階層は、１番目の階層より１つ上位の階層であり、３番目の階層は、２番目の階層より１つ上位の階層であり、４番目の階層は、最も品質の高い復号をするための最上位の階層である。

したがって、例えば、送信階層として、３番目の階層が選択された場合、サーバ１２は、１番目の階層に対応するパケット、２番目の階層に対応するパケット、および３番目の階層に対応するパケットを、通信網１３を介して、クライアント１４あてに送信する。

なお、ここでは、復号時の解像度を優先して、階層符号化する場合の例について説明したが、その他、画像の空間的位置や色成分を優先して、階層符号化することも可能である。

時刻ｔ４において、サーバ１２は、選択した送信階層を基に、パケット４２−１乃至パケット４２−３を、通信網１３を介して、クライアント１４あてに送信する。同様に、サーバ１２は、パケット４３−１乃至パケット４３−３を、通信網１３を介して、クライアント１４あてに送信する。

クライアント１４は、サーバ１２から送信されてきたパケット４２−１乃至パケット４２−３、およびパケット４３−１乃至パケット４３−３を受信する。

時刻ｔ１４において、クライアント１４は、送信階層の変更を要求する、変更要求を、通信網１３を介して、サーバ１２あてに送信する。

時刻ｔ５において、サーバ１２は、クライアント１４から送信されてきた変更要求を受信する。サーバ１２は、受信した変更要求を基に、送信階層を変更し、変更された送信階層を基に、パケット４４−１乃至パケット４４−４を、通信網１３を介して、クライアント１４あてに送信する。クライアント１４は、サーバ１２から送信されてきたパケット４４−１乃至パケット４４−４を受信する。

このようにして、サーバ１２は、帯域に応じて送信階層を選択し、選択した送信階層を基に、画像データが格納されているパケットをクライアント１４あてに送信する。

図３は、帯域の測定を説明する図である。

帯域を測定する方法として、パケットペアと呼ばれる方法がある。この方法においては、サーバ１２が、通信網１３を介して、クライアント１４あてに、等しいパケットサイズのパケットを、送信間隔を空けずに、いわゆるバックトゥーバック（back−to−back）で送信することによって、通信網１３の伝送遅延を基に、サーバ１２と、クライアント１４との、通信網１３のボトルネックリンクの帯域が測定される。このボトルネックリンクの帯域が、通信網１３の伝送速度である帯域である。

ここで、等しいパケットサイズのパケットをバックトゥーバックで送信するとは、２つのパケットを、時間間隔をおかずに、連続して送信することをいう。また、このように、パケットを連続して送信する場合、テイルトゥーノーズ（tail−to−nose）で送信するとも称する。

図３において、縦軸は、時間を示す。時刻ｔ３１において、サーバ１２は、パケット４１−１を、通信網１３を介してクライアント１４あてに送信する。また、時刻ｔ３２において、サーバ１２は、パケット４１−２を、通信網１３を介してクライアント１４あてに送信する。

サーバ１２から送信されたパケット４１−１およびパケット４１−２は、通信網１３におけるノード６１−１およびノード６１−２を介して、クライアント１４に受信される。

時刻ｔ３３において、クライアント１４は、サーバ１２から送信されてきたパケット４１−１を受信する。また、時刻ｔ３４において、クライアント１４は、サーバ１２から送信されてきたパケット４１−２を受信する。

ノード６１−１とノード６１−２との間の伝送速度が遅い場合、サーバ１２から送信間隔を空けずに送信されたパケット４１−１およびパケット４１−２が、ノード６１−１からノード６１−２の区間で、時間軸方向に伸ばされていることが分かる。したがって、通信網１３において、ノード６１−１からノード６１−２までの区間は、サーバ１２からクライアント１４までの区間において、パケットの伝送帯域が最も低い、ボトルネックリンクであることが分かる。

クライアント１４は、受信したパケット４１−１およびパケット４１−２の受信時刻を基に、ボトルネックリンクの帯域、すなわち帯域を算出する。帯域は、式（１）より算出される。

（帯域）＝Ｓ１／（ｔ３４−ｔ３３） ・・・（１）

ここで、Ｓ１は、４１−２のパケットサイズ（パケットの大きさ）を表す。

このようにして、クライアント１４は、サーバ１２から送信されてきた帯域測定パケットを基に、帯域を算出する。

図４は、サーバ１２の構成の例を示すブロック図である。CPU（Central Processing Unit）８１は、ROM（Read Only Memory）８２、または記録部８８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）８３には、CPU８１が実行するプログラムやデータなどが適宜記憶される。これらのCPU８１、ROM８２、およびRAM８３は、バス８４により相互に接続されている。

CPU８１にはまた、バス８４を介して入出力インタフェース８５が接続されている。入出力インタフェース８５には、キーボード、マウス、スイッチなどよりなる入力部８６、ディスプレイ、スピーカ、ランプなどよりなる出力部８７が接続されている。CPU８１は、入力部８６から入力される指令に対応して各種の処理を実行する。

入出力インタフェース８５に接続されている記録部８８は、例えばハードディスクなどで構成され、CPU８１が実行するプログラムや各種のデータを記録する。通信部８９は、インターネット、その他のネットワークなどの通信網１３を介して、クライアント１４などの外部の装置と通信する。

また、通信部８９を介してプログラムを取得し、記録部８８に記録してもよい。

入出力インタフェース８５に接続されているドライブ９０は、磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、或いは半導体メモリ１１４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部８８に転送され、記録される。

なお、クライアント１４は、サーバ１２と同様に構成されるので、その説明は省略する。

図５は、サーバ１２の機能の構成を示すブロック図である。

サーバ１２は、エンコーダ１３１、パケタイザ１３２、バッファ１３３、UDP通信部１３４、TCP通信部１３５、送信階層選択部１３６、コンテンツ階層保持部１３７、送信階層情報保持部１３８、および階層処理部１３９を含むように構成される。

エンコーダ１３１は、ビデオカメラ１１から供給されたストリーミングデータの一例である画像データを、コンテンツ階層保持部１３７に保持（記録）されているコンテンツ階層テーブルを参照して、所定の方式により周波数帯域ごとに階層符号化する。エンコーダ１３１は、階層符号化した画像データをパケタイザ１３２に供給する。

ここで、コンテンツ階層テーブルには、画像データを階層化する階層の数と、各階層に対応する画像データを、通信網１３を介して伝送するために必要な伝送帯域である、必要帯域とが対応して（関係付けられて）記録されている。コンテンツ階層テーブルの詳細は、後述する。

なお、エンコーダ１３１は、コンテンツ階層テーブルを参照せずに階層符号化するようにしてもよい。この場合、エンコーダ１３１は、階層化された画像データの階層の数および各階層の必要帯域を示す情報を、コンテンツ階層保持部１３７に供給する。

パケタイザ１３２は、階層処理部１３９から階層情報を取得する。パケタイザ１３２は、階層処理部１３９から取得した階層情報およびエンコーダ１３１から供給された画像データを、RTP方式のパケットに格納することにより、RTPパケットを生成する。パケタイザ１３２は、生成したRTPパケットをバッファ１３３に供給する。

より詳細には、パケタイザ１３２は、階層符号化された、１つの階層に対応する画像データ、RTPパケットに格納される画像データの階層を示す情報、最大階層情報、および送信階層情報を１つのRTPパケットに格納することにより、各階層に対応するRTPパケットのそれぞれを生成する。パケタイザ１３２は、生成した各階層に対応するRTPパケットのそれぞれを、バッファ１３３に供給する。

なお、パケタイザ１３２は、１番目の階層から送信階層までの階層の画像データのそれぞれを、１つのRTPパケットに格納するようにしてもよい。この場合、パケタイザ１３２は、階層符号化された、１番目の階層から送信階層までの階層の画像データのそれぞれ、最大階層情報、および送信階層情報を１つのRTPパケットに格納することにより、RTPパケットを生成する。パケタイザ１３２は、生成した各階層に対応するRTPパケットを、バッファ１３３に供給する。

バッファ１３３は、階層処理部１３９の制御のもと、パケタイザ１３２から供給されたRTPパケットのうち、１番目の階層から送信階層までの階層に対応するRTPパケットのそれぞれをUDP通信部１３４に供給する。バッファ１３３は、UDP通信部１３４に供給しないRTPパケットを破棄する。

UDP通信部１３４は、通信網１３を介して、各種のデータの送信を行う。UDP通信部１３４は、UDPに従って、データの送受信を行う。

UDP通信部１３４は、バッファ１３３から供給されたRTPパケットおよび送信階層選択部１３６から供給された帯域測定パケットを、通信網１３を介してクライアント１４あてに送信する。

TCP通信部１３５は、通信網１３を介して、各種のデータの送受信を行う。TCP通信部１３５は、IETF RFC７９３で規定されているプロトコルであるTCP（Transmission Control Protocol）に従って、データの送受信を行う。

TCP通信部１３５は、コンテンツ階層保持部１３７から供給されたコンテンツ階層テーブルを、通信網１３を介してクライアント１４あてに送信する。また、TCP通信部１３５は、クライアント１４から送信されてきた変更要求を受信し、受信した変更要求を階層処理部１３９に供給する。TCP通信部１３５は、クライアント１４から送信されてきた帯域測定結果を受信し、受信した帯域測定結果を、送信階層選択部１３６に供給する。

なお、UDP通信部１３４およびTCP通信部１３５は、通信部８９を制御して、通信部８９を介することにより、データの送受信を行う。

送信階層選択部１３６は、通信網１３の帯域を測定するための帯域測定パケットを生成し、生成した帯域測定パケットをUDP通信部１３４に供給する。

送信階層選択部１３６は、TCP通信部１３５から供給された帯域測定結果およびコンテンツ階層保持部１３７に記録されているコンテンツ階層テーブルを基に、送信階層を選択し、送信階層情報を生成する。送信階層選択部１３６は、生成した送信階層情報を送信階層情報保持部１３８に供給する。

コンテンツ階層保持部１３７は、コンテンツ階層テーブルを保持（記録）している。コンテンツ階層保持部１３７は、コンテンツ階層テーブルをエンコーダ１３１、TCP通信部１３５、送信階層選択部１３６、および階層処理部１３９に供給する。

また、コンテンツ階層保持部１３７は、エンコーダ１３１から、階層化された画像データの階層の数および各階層の必要帯域を示す情報が供給された場合、供給された、階層化された画像データの階層の数および各階層の必要帯域を示す情報を基に、コンテンツ階層テーブルを生成し、生成したコンテンツ階層テーブルを記録する。

送信階層情報保持部１３８は、送信階層選択部１３６または階層処理部１３９から供給された送信階層情報を保持（記憶）する。送信階層情報保持部１３８は、記憶している送信階層情報を階層処理部１３９に供給する。

階層処理部１３９は、送信階層情報保持部１３８から供給された送信階層情報およびコンテンツ階層保持部１３７から供給されたコンテンツ階層テーブルを基に、階層情報を生成し、生成した階層情報をパケタイザ１３２に供給する。

階層処理部１３９は、バッファ１３３を制御して、生成した階層情報を基に、１番目の階層から送信階層までの階層のそれぞれに対応するRTPパケットのそれぞれをUDP通信部１３４に供給させる。

階層処理部１３９は、TCP通信部１３５から供給された変更要求を基に、送信階層情報を生成し、生成した送信階層情報を送信階層情報保持部１３８に供給する。

図６は、クライアント１４の機能の構成を示すブロック図である。

クライアント１４は、入力部８６、出力部８７、UDP通信部１５１、RTP処理部１５２、デコーダ１５３、合成部１５４、ストリーム情報算出部１５５、階層情報保持部１５６、帯域算出部１５７、TCP通信部１５８、コンテンツ階層保持部１５９、および階層変更要求部１６０を含むように構成される。

UDP通信部１５１は、サーバ１２のUDP通信部１３４に対応し、通信網１３を介して、各種のデータの受信を行う。UDP通信部１５１は、UDPに従って、データの送受信を行う。

UDP通信部１５１は、サーバ１２から送信されてきた帯域測定パケットを受信し、受信した帯域測定パケットを帯域算出部１５７に供給する。

また、UDP通信部１５１は、サーバ１２から送信されてきたRTPパケットを受信し、受信したRTPパケットをRTP処理部１５２に供給する。

RTP処理部１５２は、UDP通信部１５１から供給されたRTPパケットから画像データを抽出し、抽出した画像データをデコーダ１５３に供給する。また、RTP処理部１５２は、UDP通信部１５１から供給されたRTPパケットから階層情報を抽出し、抽出した階層情報を階層情報保持部１５６に供給する。

RTP処理部１５２は、UDP通信部１５１から供給されたRTPパケットからシーケンス番号を抽出し、抽出したシーケンス番号、RTPパケットの受信時刻、およびRTPパケットのパケットサイズ（RTPパケットの大きさ）をストリーム情報算出部１５５に供給する。

デコーダ１５３は、RTP処理部１５２から供給された画像データを、エンコーダ１３１に対応する復号方式で復号し、復号した画像データを合成部１５４に供給する。

より詳細には、デコーダ１５３は、RTP処理部１５２から供給された１番目の階層から送信階層までの階層のそれぞれの画像データを、エンコーダ１３１に対応する復号方式で１つの画像データに復号し、復号した画像データを合成部１５４に供給する。

合成部１５４は、デコーダ１５３から供給された画像データおよび階層情報保持部１５６から供給された階層情報を表示させる画像データを合成（重畳）し、重畳した画像データを出力部８７に供給する。

なお、合成部１５４は、ストリーム情報算出部１５５からRTPパケットのロス率を表示させる画像データおよび受信帯域を表示させる画像データを取得し、帯域算出部１５７から帯域測定結果を表示させる画像データを取得するようにしてもよい。

この場合、合成部１５４は、デコーダ１５３から供給された画像データ、階層情報保持部１５６から供給された階層情報を表示させる画像データ、ストリーム情報算出部１５５から取得したRTPパケットのロス率を表示させる画像データおよび受信帯域を表示させる画像データ、並びに帯域算出部１５７から取得した帯域測定結果を表示させる画像データを重畳し、重畳した画像データを出力部８７に供給する。

また、合成部１５４は、階層情報保持部１５６から階層情報を表示させる画像データを取得せずに、デコーダ１５３から供給された画像データだけを出力部８７に供給するようにしてもよい。

ストリーム情報算出部１５５は、RTP処理部１５２から供給されたシーケンス番号を基に、UDP通信部１５１が受信したRTPパケットのロス率を算出する。また、ストリーム情報算出部１５５は、RTP処理部１５２から供給されたRTPパケットの受信時刻およびRTPパケットのパケットサイズを基に、通信網１３の受信帯域を算出する。

ここで、受信帯域とは、UDP通信部１５１がRTPパケット受信した時刻における、通信網１３の帯域をいう。なお、通信網１３の受信帯域の算出についての詳細は、後述する。

ストリーム情報算出部１５５は、算出したRTPパケットのロス率を基に、RTPパケットのロス率を表示させる画像データを生成し、生成した画像データを出力部８７に供給する。また、ストリーム情報算出部１５５は、算出した受信帯域を基に、通信網１３の受信帯域を表示させる画像データを生成し、生成した画像データを出力部８７に供給する。なお、ストリーム情報算出部１５５は、生成したRTPパケットのロス率を表示させる画像データおよび通信網１３の受信帯域を表示させる画像データを、出力部８７に供給せずに、合成部１５４に供給するようにしてもよい。

階層情報保持部１５６は、RTP処理部１５２から供給された階層情報を保持（記憶）する。階層情報保持部１５６は、RTP処理部１５２から供給された階層情報を基に、階層情報を表示させる画像データを生成し、生成した画像データを合成部１５４に供給する。階層情報保持部１５６は、RTP処理部１５２から供給された階層情報を、階層変更要求部１６０に供給する。

なお、階層情報保持部１５６は、生成した階層情報を表示させる画像データを、合成部１５４に供給せずに、出力部８７に供給するようにしてもよい。

階層情報保持部１５６は、送信階層情報保持部１８１および最大階層情報保持部１８２を含むように構成される。

階層情報保持部１５６の送信階層情報保持部１８１は、RTP処理部１５２から供給された階層情報の送信階層情報を記憶する。階層情報保持部１５６の最大階層情報保持部１８２は、RTP処理部１５２から供給された階層情報の最大階層情報を記憶する。

帯域算出部１５７は、UDP通信部１５１から供給された帯域計測パケットを基に、通信網１３の帯域を算出する。

帯域算出部１５７は、算出した帯域を基に、帯域測定結果を生成し、生成した帯域測定結果を、TCP通信部１５８および出力部８７に供給する。

より詳細には、帯域算出部１５７は、算出した帯域を基に、帯域測定結果を生成し、生成した帯域測定結果をTCP通信部１５８に供給する。そして、帯域算出部１５７は、生成した帯域結果を表示させる画像データを生成し、生成した画像データを出力部８７に供給する。

なお、帯域算出部１５７は、生成した帯域結果を表示させる画像データを、出力部８７に供給せずに、合成部１５４に供給するようにしてもよい。

TCP通信部１５８は、サーバ１２のTCP通信部１３５に対応し、通信網１３を介して、各種のデータの送受信を行う。TCP通信部１５８は、TCPに従って、データの送受信を行う。

TCP通信部１５８は、サーバ１２から送信されてきたコンテンツ階層テーブルを受信し、受信したコンテンツ階層テーブルをコンテンツ階層保持部１５９に供給する。

TCP通信部１５８は、帯域算出部１５７から供給された帯域測定結果を、通信網１３を介して、サーバ１２あてに送信する。TCP通信部１５８は、階層変更要求部１６０から供給された変更要求を、通信網１３を介して、サーバ１２あてに送信する。

なお、UDP通信部１５１およびTCP通信部１５８は、通信部（図示せず）を制御して、通信部を介することにより、データの送受信を行う。

コンテンツ階層保持部１５９は、TCP通信部１５８から供給されたコンテンツ階層テーブルを保持（記憶）する。コンテンツ階層保持部１５９は、TCP通信部１５８から供給されたコンテンツ階層テーブルを基に、コンテンツ階層テーブルを表示させる画像データを生成し、生成した画像データを出力部８７に供給する。

出力部８７は、合成部１５４から供給された画像データ、ストリーム情報算出部１５５から供給されたRTPパケットのロス率を表示させる画像データおよび受信帯域を表示させる画像データ、帯域算出部１５７から供給された帯域測定結果を表示させる画像データ、並びにコンテンツ階層保持部１５９から供給されたコンテンツ階層テーブルを表示させる画像データを、ディスプレイである出力部８７に出力し、画像、ロス率、受信帯域、帯域測定結果、およびコンテンツ階層テーブルを表示させる。

入力部８６は、ユーザが、入力部８６を操作することによって、送信階層の変更を指示した場合、変更信号を生成し、生成した変更信号を階層変更要求部１６０に供給する。

より詳細には、入力部８６は、ユーザが、入力部８６を操作することによって、送信階層を、設定されている階層の１つ上位の階層に変更する旨の指示をした場合、送信階層を１つ上位の階層に変更する旨の変更信号を生成し、生成した変更信号を階層変更要求部１６０に供給する。また、入力部８６は、ユーザが、入力部８６を操作することによって、送信階層を、設定されている階層の１つ下位の階層に変更する旨の指示をした場合、送信階層を１つ下位の階層に変更する旨の変更信号を生成し、生成した変更信号を階層変更要求部１６０に供給する。

ここで、設定されている階層の１つ上位の階層とは、例えば、設定されている階層が、３番目の階層である場合、４番目の階層をいい、同様に、設定されている階層の１つ下位の階層とは、例えば、設定されている階層が、３番目の階層である場合、２番目の階層をいう。

なお、ユーザが、所望の送信階層を、入力部８６に入力することによって、送信階層の変更を指示するようにしてもよい。この場合、入力部８６は、ユーザによって入力された送信階層を示す情報を生成し、生成した送信階層を示す情報を、階層変更要求部１６０に供給する。

階層変更要求部１６０は、階層情報保持部１５６から供給された階層情報および入力部８６から供給された変更信号を基に、変更要求を生成し、生成した変更要求をTCP通信部１５８に供給する。

より詳細には、階層変更要求部１６０は、入力部８６から、送信階層を１つ上位の階層に変更する旨の変更信号が供給された場合、階層情報保持部１５６から供給された階層情報が示す送信階層の１つ上位の階層を、送信階層にする旨の変更要求を生成し、生成した変更要求をTCP通信部１５８に供給する。

また、階層変更要求部１６０は、入力部８６から、送信階層を１つ下位の階層に変更する旨の変更信号が供給された場合、階層情報保持部１５６から供給された階層情報が示す送信階層の１つ下位の階層を、送信階層にする旨の変更要求を生成し、生成した変更要求をTCP通信部１５８に供給する。

なお、階層変更要求部１６０は、入力部８６から送信階層を示す情報が供給された場合、送信階層を示す情報によって指示された階層を送信階層にする旨の変更要求を生成し、生成した変更要求をTCP通信部１５８に供給する。

次に、図７のフローチャートを参照して、サーバプログラムを実行するサーバ１２による、送信階層の変更の処理を説明する。

ステップＳ１１において、送信階層選択部１３６は、帯域測定の処理を行う。なお、帯域測定の処理の詳細は、後述するが、帯域測定の処理において、サーバ１２とクライアント１４との間の通信網１３の帯域が測定され、測定された帯域を基に、送信階層が選択される。

ステップＳ１２において、コンテンツ階層保持部１３７は、記録しているコンテンツ階層テーブルをTCP通信部１３５に供給する。より詳細には、ステップＳ１２において、コンテンツ階層保持部１３７は、記録しているコンテンツ階層テーブルをTCPに従ったパケットに格納し、コンテンツ階層テーブルを格納したパケットをTCP通信部１３５に供給する。

ここで、コンテンツ階層テーブルは、例えば、図８で示される、階層と必要帯域を表すテーブルである。コンテンツ階層テーブルには、ビデオカメラ１１から供給された画像データが階層化される階層と、階層化された各階層の画像データを送信するために必要な、通信網１３の帯域である必要帯域とが記録されている。

図８で示されるコンテンツ階層テーブルを基に符号化した場合、ビデオカメラ１１から供給された画像データは、最下位の階層である１番目の階層の符号化された画像データ、１番目の階層の１つ上位の階層である２番目の階層の符号化された画像データ、２番目の階層の１つ上位の階層である３番目の階層の符号化された画像データ、３番目の階層の１つ上位の階層である４番目の階層の符号化された画像データ、および最上位の階層である５番目の階層の符号化された画像データに階層化される。

また、１番目の階層の画像データが格納されたRTPパケットを送信するためには、通信網１３の帯域が、0.1Mbps以上必要であり、２番目の階層の画像データが格納されたRTPパケットを送信するためには、通信網１３の帯域が、0.2Mbps以上必要であり、３番目の階層の画像データが格納されたRTPパケットを送信するためには、通信網１３の帯域が、0.3Mbps以上必要である。さらに、４番目の階層の画像データが格納されたRTPパケットを送信するためには、通信網１３の帯域が、0.4Mbps以上必要であり、５番目の階層の画像データが格納されたRTPパケットを送信するためには、通信網１３の帯域が、0.5Mbps以上必要である。

図７の説明に戻り、ステップＳ１３において、TCP通信部１３５は、コンテンツ階層保持部１３７から供給されたコンテンツ階層テーブルを、通信網１３を介して、クライアント１４あてに送信する。

ステップＳ１４において、階層処理部１３９は、TCP通信部１３５が、クライアント１４から送信されてきた変更要求を受信したか否かを判定する。ステップＳ１４において、変更要求を受信したと判定された場合、ステップＳ１５に進み、階層処理部１３９は、TCP通信部１３５が受信し、TCP通信部１３５から供給された変更要求を基に、送信階層を変更する。

より詳細には、ステップＳ１５において、階層処理部１３９は、TCP通信部１３５が受信し、TCP通信部１３５から供給された変更要求を基に、送信階層情報を生成し、生成した送信階層情報を送信階層情報保持部１３８に供給する。そして、送信階層情報保持部１３８は、階層処理部１３９から供給された送信階層情報を記憶することによって、送信階層を変更する。

例えば、ステップＳ１５において、階層処理部１３９は、TCP通信部１３５から供給された変更要求が、送信階層を４番目の階層に変更する旨の変更要求であった場合、送信階層が４番目の階層であることを示す送信階層情報を生成し、生成した送信階層情報を送信階層情報保持部１３８に供給し、送信階層情報保持部１３８は、階層処理部１３９から供給された送信階層が４番目の階層であることを示す送信階層情報を記憶する。

一方ステップＳ１４において、変更要求を受信していないと判定された場合、送信階層を変更する必要がないので、ステップＳ１５の処理はスキップされ、手続きは、ステップＳ１６に進む。

ステップＳ１６において、サーバ１２の各部は、データ送信の処理を行う。なお、データ送信の処理の詳細は、後述するが、データ送信の処理において、ビデオカメラ１１から供給された画像データが、階層符号化され、各階層の画像データのそれぞれが、各階層に対応するRTPパケットのそれぞれに格納される。そして、各階層に対応するRTPパケットのそれぞれは、通信網１３を介して、クライアント１４あてに送信される。

データ送信の処理が終了すると、手続きは、ステップＳ１４に戻り、上述した処理を繰り返す。

このようにして、サーバ１２は、クライアント１４から送信されてきた変更要求を基に、送信階層の変更を行う。

図９のフローチャートを参照して、図７のステップＳ１１の処理に対応する帯域測定の処理を説明する。

ステップＳ３１において、送信階層選択部１３６は、帯域測定パケットを生成し、生成した帯域測定パケットをUDP通信部１３４に供給する。例えば、ステップＳ３１において、送信階層選択部１３６は、帯域測定パケットであるパケットペアを生成し、生成したパケットペアをUDP通信部１３４に供給する。

ステップＳ３２において、UDP通信部１３４は、送信階層選択部１３６から供給された帯域測定パケットを、通信網１３を介して、クライアント１４あてに送信する。

ステップＳ３２において、クライアント１４あてに送信された帯域測定パケットは、クライアント１４に受信される。帯域測定パケットを受信したクライアント１４は、受信した帯域測定パケットを基に、帯域測定結果を生成し、生成した帯域測定結果を、通信網１３を介して、サーバ１２あてに送信する。

ステップＳ３３において、TCP通信部１３５は、クライアント１４から送信されてきた帯域測定結果を受信し、受信した帯域測定結果を送信階層選択部１３６に供給する。

ステップＳ３４において、送信階層選択部１３６は、TCP通信部１３５から供給された帯域測定結果およびコンテンツ階層保持部１３７に記録されているコンテンツ階層テーブルを基に、送信階層を選択する。そして、送信階層選択部１３６は、選択された送信階層を基に、送信階層情報を生成し、生成した送信階層情報を、送信階層情報保持部１３８に供給する。

例えば、ステップＳ３４において、送信階層選択部１３６は、TCP通信部１３５から供給された帯域測定結果が示す帯域の測定結果が、0.35Mbpsであった場合、コンテンツ階層保持部１３７が記録している、図８で示されるコンテンツ階層テーブルを参照し、0.35Mbpsは、0.3Mbpsより大きく0.4Mbpsより小さいので、送信階層として、３番目の階層を選択する。そして、送信階層選択部１３６は、選択した送信階層を基に、送信階層が、３番目の階層であることを示す送信階層情報を生成し、生成した送信階層情報を送信階層情報保持部１３８に供給する。

ステップＳ３５において、送信階層情報保持部１３８は、送信階層選択部１３６から供給された送信階層情報を保持（記憶）し、処理は、終了する。

このようにして、送信階層選択部１３６は、通信網１３の帯域を測定する。

次に、図１０のフローチャートを参照して、クライアントプログラムを実行する、クライアント１４による帯域算出の処理を説明する。

ステップＳ５１において、UDP通信部１５１は、サーバ１２から送信されてきた帯域測定パケットを受信し、受信した帯域測定パケットを帯域算出部１５７に供給する。

ステップＳ５２において、帯域算出部１５７は、UDP通信部１５１から供給された帯域測定パケットを基に、通信網１３の帯域を算出する。例えば、ステップＳ５２において、帯域算出部１５７は、UDP通信部１５１から供給された帯域測定パケットであるパケットペアの受信時刻およびパケットペアの１つのパケットのパケットサイズを、式（１）に代入することによって、通信網１３の帯域を算出する。

ステップＳ５３において、帯域算出部１５７は、算出した通信網１３の帯域を基に、通信網１３の帯域を示す、帯域測定結果を生成し、生成した帯域測定結果を、TCP通信部１５８および出力部８７に供給する。

より詳細には、ステップＳ５３において、帯域算出部１５７は、算出した通信網１３の帯域を基に、帯域測定結果を生成し、生成した帯域測定結果をTCPに従うパケットに格納する。そして、帯域算出部１５７は、帯域測定結果を格納したパケットを、TCP通信部１５８に供給する。さらに、帯域算出部１５７は、生成した帯域測定結果を基に、帯域測定結果を表示させる画像データを生成し、生成した画像データを出力部８７に供給する。

ステップＳ５４において、出力部８７は、帯域算出部１５７から供給された帯域測定結果を表示する画像データを、ディスプレイである出力部８７に供給し、画像データを基に、画像をディスプレイに表示させる。

ステップＳ５５において、TCP通信部１５８は、帯域算出部１５７から供給された帯域測定結果を、通信網１３を介して、サーバ１２あてに送信し、帯域算出の処理は、終了する。

このようにして、クライアント１４は、サーバ１２から送信されてきた帯域測定パケットを受信し、受信した帯域測定パケットを基に、通信網１３の帯域を算出する。

図１１のフローチャートを参照して、図７のステップＳ１６の処理に対応するデータ送信の処理を説明する。

ステップＳ７１において、サーバ１２は、データ送信の処理に必要なデータを初期化する。例えばステップＳ７１において、エンコーダ１３１は、内蔵しているタイマの値を0msにセットし、パケタイザ１３２は、タイムスタンプをよびシーケンス番号を初期化する。

ステップＳ７２において、エンコーダ１３１は、内蔵しているタイマの値を基に、タイマが終了したか否かを判定し、タイマが終了していないと判定された場合、ステップＳ７２に戻り、タイマが終了したと判定されるまで、判定の処理を繰り返す。

ステップＳ７２において、タイマが終了したと判定された場合、処理は、ステップＳ７３に進む。

例えば、画像データのフレームの数が、１秒当たり３０である場合、タイマが時間の経過に対応して値を増加させるとき、ステップＳ７２において、エンコーダ１３１は、33msなどの所定の値とタイマの値とを比較することにより、タイマが終了したか否かを判定する。

例えば、ステップＳ７１において、タイマの値を33msにセットし、タイマの値が、時間の経過に対応して値を減少させるとき、エンコーダ１３１は、タイマの値と、0msなどの所定の値とを比較することにより、タイマが終了したか否かを判定する。なお、この場合における、タイマの値と比較される0msまたは33msは、フレームの数が１秒当たり３０である場合の例であり、本発明を限定するものではない。

ステップＳ７３において、エンコーダ１３１は、ビデオカメラ１１から供給された画像データを１フレーム分キャプチャする。例えば、ステップＳ７３において、エンコーダ１３１は、ビデオカメラ１１から供給された画像データを順次取得して、取得した画像データのうち、１フレーム分をキャプチャする。

ステップＳ７４において、エンコーダ１３１は、コンテンツ階層保持部１３７に記録されているコンテンツ階層テーブルを参照して、所定の方式によりキャプチャした画像データを、周波数帯域ごとに階層符号化する。エンコーダ１３１は、階層符号化した画像データをパケタイザ１３２に供給する。

例えば、ステップＳ７４において、エンコーダ１３１は、Motion JEPEG２０００などの方式により階層符号化する。この場合、エンコーダ１３１は、コンテンツ階層保持部１３７に記録されているコンテンツ階層テーブルを参照し、階層符号化における、１番目の階層から各階層までの画像データのビットレートの合計が、コンテンツ階層テーブルに記録されている、各階層の必要帯域の値のそれぞれを超えないように階層符号化する。例えば、エンコーダ１３１は、キャプチャした画像データに、ウェーブレット変換を適用することによって、画像データを周波数帯域ごとに階層符号化する。

したがって、例えば、ステップＳ７４において、図８で示されるコンテンツ階層テーブルを参照して、階層符号化を行う場合、エンコーダ１３１は、１番目の階層の画像データのビットレートが、0.1Mbpsとなるように符号化する。また、２番目の階層の画像データのビットレートは、１番目の階層の画像データのビットレートおよび２番目の階層の画像データのビットレートの合計が、２番目の階層の必要帯域の値と同じになるように符号化する。すなわち、１番目の階層の画像データのビットレートが0.1Mbpsであり、２番目の階層の必要帯域が0.2Mbpsであるので、２番目の階層の画像データのビットレートが、0.1Mbpsとなるように符号化する。

同様にして、エンコーダ１３１は、３番目の階層の画像データを、１番目の階層の画像データのビットレート乃至３番目の階層の画像データのビットレートの合計が、３番目の階層の必要帯域の値と同じになるように、0.1Mbpsで符号化し、４番目の階層の画像データを、１番目の階層の画像データのビットレート乃至４番目の階層の画像データのビットレートの合計が、４番目の階層の必要帯域の値と同じになるように、0.1Mbpsで符号化し、５番目の階層の画像データを、１番目の階層の画像データのビットレート乃至５番目の階層の画像データのビットレートの合計が、５番目の階層の必要帯域の値と同じになるように、0.1Mbpsで符号化する。

なお、エンコーダ１３１は、Motion JEPEG２０００に限らず、MPEG４などの方式により、階層符号化するようにしてもよい。この場合、エンコーダ１３１は、キャプチャした画像データに、離散コサイン変換を適用することによって、画像データを周波数帯域ごとに階層符号化する。そして、エンコーダ１３１は、符号化における画像データの階層の数および各階層の必要帯域を示す情報をコンテンツ階層保持部１３７に供給する。コンテンツ階層保持部１３７は、供給された、階層化された画像データの階層の数および各階層の必要帯域を示す情報を基に、コンテンツ階層テーブルを生成し、生成したコンテンツ階層テーブルを記録する。

ステップＳ７５において、階層処理部１３９は、コンテンツ階層保持部１３７に記録されているコンテンツ階層テーブルおよび送信階層情報保持部１３８から供給された送信階層情報を基に、階層情報を生成し、生成した階層情報をパケタイザ１３２に供給する。

ステップＳ７６において、パケタイザ１３２は、エンコーダ１３１から供給された画像データおよび階層処理部１３９から供給された階層情報を基に、各階層に対応するRTPパケットを生成する。

より詳細には、ステップＳ７６において、パケタイザ１３２は、エンコーダ１３１から供給された、各階層の画像データ、送信階層情報、最大階層情報、およびRTPパケットに格納される階層の画像データを示す情報を各階層に対応するRTPパケットのそれぞれに格納することによって、各階層に対応するRTPパケットのそれぞれを生成する。

したがって、例えば、送信階層が３番目の階層であり、最大階層が、５番目の階層である場合、パケタイザ１３２は、１番目の階層の画像データ、送信階層情報、最大階層情報、および１番目の階層の画像データが、RTPパケットに格納されていることを示す情報を１番目の階層に対応するRTPパケットに格納することによって、１番目の階層に対応するRTPパケットを生成し、２番目の階層の画像データ、送信階層情報、最大階層情報、および２番目の階層の画像データが、RTPパケットに格納されていることを示す情報を２番目の階層に対応するRTPパケットに格納することによって、２番目の階層に対応するRTPパケットを生成し、３番目の階層の画像データ、送信階層情報、最大階層情報、および３番目の階層の画像データが、RTPパケットに格納されていることを示す情報を３番目の階層に対応するRTPパケットに格納することによって、３番目の階層に対応するRTPパケットを生成する。同様に、４番目の階層の画像データ、送信階層情報、最大階層情報、および４番目の階層の画像データが、RTPパケットに格納されていることを示す情報を４番目の階層に対応するRTPパケットに格納することによって、４番目の階層に対応するRTPパケットを生成し、５番目の階層の画像データ、送信階層情報、最大階層情報、および５番目の階層の画像データが、RTPパケットに格納されていることを示す情報を５番目の階層に対応するRTPパケットに格納することによって、５番目の階層に対応するRTPパケットを生成する。

また、ステップＳ７６において、パケタイザ１３２は、１番目の階層から送信階層までの階層の画像データのそれぞれを、１つのRTPパケットに格納するようにしてもよい。この場合、パケタイザ１３２は、１番目の階層から送信階層までの階層の画像データのそれぞれ、最大階層情報、および送信階層情報を、１つのRTPパケットに格納することにより、RTPパケットを生成する。

なお、RTPパケットは、クライアント１４に送信する画像データを格納するパケットの一例である。

図１２は、RTPパケットを説明する図である。RTPパケットの先頭には、図１２において“V”で表される、２ビットのバージョン情報が配置される。バージョン情報は、RTPパケットのバージョンを示す。

バージョン情報の次に図１２中の“P”で表される１ビットのパディングが配置され、パディングに続いて、１ビットの拡張情報がRTPパケットに配置される。拡張情報は図１２において、“X”で表される。拡張情報は、拡張ヘッダの有無を表し、RTPパケットに拡張ヘッダを配置する場合に、所定の値に設定される。

拡張情報に続いて、CSRC（Contributing Source）カウントがRTPパケットに配置される。CSRCカウントは、図１２中において、“CC”で表される。CSRCカウントは、CSRC識別子の数を表す。

CSRCカウントに続いて配置される、１ビットのメーカー情報は、プロファイルによって定義される。メーカー情報は、図１２中において“m”で表される。

メーカー情報に続いて配置される、７ビットのペイロードタイプは、RTPパケットのフォーマットを定義するための情報である。ペイロードタイプは、図１２中において、“PT”で表される。RTPパケットにおいて、ペイロードタイプは、３３とされる。

シーケンス番号は、ペイロードタイプの次に配置される、１６ビットの情報である。シーケンス番号は、RTPパケットの再生の順番を示す番号であり、送信の度に、１ずつ増える。シーケンス番号は、パケットロスを検出し、RTPパケットの順序を修復するために使用される。

シーケンス番号の次に配置される、３２ビットのタイムスタンプは、そのRTPパケットに格納されているストリーミングデータの最初のオクテットがサンプルされた時刻を示す情報であり、タイムスタンプを基に、RTPパケットの展開時に処理時間の制御が実行され、リアルタイム画像、または音声の再生制御が行われる。また、同じフレームのストリーミングデータを格納しているRTPパケットには、共通のタイムスタンプが設定される。

SSRC（Synchronization Source）識別子は、タイムスタンプの次に配置される、３２ビットの情報であって、RTPパケットに格納されるストリーミングデータのソースを示す。

RTPパケットにおいて、SSRC識別子の次には、RTPパケットに格納される、ストリーミングデータの送信階層を表す、送信階層情報が配置される、送信階層情報は、図１２において、“送信階層”で表す。また、送信階層情報の次には、RTPパケットに格納される、ストリーミングデータの最大階層を表す、最大階層情報が配置される、最大階層情報は、図１２において、“最大階層”で表す。

さらに、RTPパケットにおいて、最大階層情報の次には、RTPパケットに格納されているストリーミングデータの階層を表す、オリジナルデータの階層が配置される。オリジナルデータの階層は、図１２において、“オリジナルデータの階層”で表される。

RTPパケットにおいて、オリジナルデータの階層の次には、ストリーミングデータが格納される。図１２において、“Original Data”は、ストリーミングデータを示す。

図１１のフローチャートの説明に戻り、ステップＳ７７において、パケタイザ１３２は、生成した各階層に対応するRTPパケットのそれぞれを、バッファ１３３に供給し、ステップＳ７８において、バッファ１３３は、階層処理部１３９の制御のもと、パケタイザ１３２から供給された、各階層に対応するRTPパケットのそれぞれのうち、１番目の階層から送信階層までの階層のそれぞれに対応するRTPパケットのそれぞれをUDP通信部１３４に供給し、UDP通信部１３４に供給しないRTPパケット、すなわち、送信階層より上位の階層に対応するRTPパケットを破棄する。

ステップＳ７９において、UDP通信部１３４は、バッファ１３３から供給されたRTPパケットを、通信網１３を介してクライアント１４あてに送信し、ステップＳ８０において、パケタイザ１３２は、RTPパケットに付加するタイムスタンプを更新する。

ステップＳ８１において、エンコーダ１３１は、内蔵しているタイマをセットし、処理は、終了する。例えば、ステップＳ８１において、エンコーダ１３１は、内蔵しているタイマの値を0msにセットする。

このようにして、サーバ１２は、画像データをRTPパケットに格納し、画像データが格納されたRTPパケットを、通信網１３を介して、クライアント１４あてに送信する。

図１３のフローチャートを参照して、クライアント１４によるコンテンツ階層テーブル受信の処理を説明する。

ステップＳ１０１において、TCP通信部１５８は、サーバ１２から送信されてきた、コンテンツ階層テーブルを受信し、受信したコンテンツ階層テーブルをコンテンツ階層保持部１５９に供給する。

ステップＳ１０２において、コンテンツ階層保持部１５９は、TCP通信部１５８から供給されたコンテンツ階層テーブルを記憶する。

ステップＳ１０３において、TCP通信部１５８から供給されたコンテンツ階層テーブルを基に、コンテンツ階層テーブルを表示させる画像データを生成し、生成したコンテンツ階層テーブルを表示させる画像データを出力部８７に供給する。

ステップＳ１０４において、出力部８７は、コンテンツ階層保持部１５９から供給されたコンテンツ階層テーブルを表示させる画像データを基に、コンテンツ階層テーブルを表示させ、コンテンツ階層テーブル受信の処理は終了する。

例えば、ステップＳ１０４において、出力部８７は、コンテンツ階層保持部１５９から供給されたコンテンツ階層テーブルを表示させる画像データを基に、図１４で示されるコンテンツ階層テーブルを、ディスプレイである出力部８７に表示させる。

ディスプレイである出力部８７には、ウィンドウ２０１が表示される。ウィンドウ２０１には、サーバ１２から送信されてくる画像データが階層化された階層と、各階層の画像データのそれぞれを送信するために必要とされる、通信網１３の必要帯域とを表す、コンテンツ階層テーブルが表示される。

また、ユーザが、入力部８６を操作することによって、ディスプレイである出力部８７に表示されているポインタ（図示せず）を、ボタン２０２上に移動させ、ボタン２０２がクリックされると、ウィンドウ２０１は、閉じられる。ここで、クリックとは、マウスの左ボタンを押圧して、離す操作をいう。

このようにして、クライアント１４は、サーバ１２から送信されてきたコンテンツ階層テーブルを受信し、受信したコンテンツ階層テーブルを表示させる。

次に、図１５を参照して、クライアント１４による変更要求の送信の処理を説明する。

ステップＳ１２１において、UDP通信部１５１は、サーバ１２から送信されてきたRTPパケットを受信し、受信したRTPパケットをRTP処理部１５２に供給する。

ステップＳ１２２において、RTP処理部１５２は、UDP通信部１５１から供給されたRTPパケットから、階層情報を抽出し、抽出した階層情報を階層情報保持部１５６に供給する。

より詳細には、ステップＳ１２２において、RTP処理部１５２は、UDP通信部１５１から供給されたRTPパケットから、送信階層情報および最大階層情報を抽出し、抽出した送信階層情報および最大階層情報を、階層情報として、階層情報保持部１５６に供給する。そして、RTP処理部１５２は、UDP通信部１５１から供給されたRTPパケットから画像データを抽出し、抽出した画像データをデコーダ１５３に供給する。そして、さらにRTP処理部１５２は、UDP通信部１５１から供給されたRTPパケットから、シーケンス番号を抽出し、抽出したシーケンス番号、RTPパケットの受信時刻、および受信されたRTPパケットのパケットサイズを、ストリーム情報算出部１５５に供給する。

ステップＳ１２３において、階層情報保持部１５６は、RTP処理部１５２から供給された階層情報を記憶する。より詳細には、ステップＳ１２３において、階層情報保持部１５６の送信階層情報保持部１８１は、RTP処理部１５２から供給された、階層情報である送信階層情報を記憶し、階層情報保持部１５６の最大階層情報保持部１８２は、RTP処理部から供給された、階層情報である最大階層情報を記憶する。

ステップＳ１２４において、階層変更要求部１６０は、入力部８６から変更信号が供給されたか否かを判定する。

なお、変更信号は、ユーザが入力部８６を操作することによって、送信階層の変更を指示した場合に、入力部８６によって生成され、生成された変更信号が、階層変更要求部１６０に供給される。ユーザは、ディスプレイである出力部８７に表示される、受信した画像、コンテンツ階層テーブル、受信帯域、RTPパケットのロス率、帯域、および送信階層を参照し、必要に応じて、送信階層変更を指示する。

ステップＳ１２４において、入力部８６から変更信号が供給されたと判定された場合、ステップＳ１２５に進み、階層変更要求部１６０は、階層情報保持部１５６から階層情報を取得する。

ステップＳ１２６において、階層変更要求部１６０は、入力部８６から供給された変更信号および階層情報保持部１５６から取得した階層情報を基に、変更要求を生成し、生成した変更要求をTCP通信部１５８に供給する。

より詳細には、ステップＳ１２６において、階層変更要求部１６０は、入力部８６から、送信階層を１つ上位の階層に変更する旨の変更信号が供給された場合、階層情報保持部１５６から取得した、階層情報である送信階層情報を基に、送信階層を、送信階層情報が示す送信階層の１つ上位の階層に変更する旨の変更要求を生成し、生成した変更要求をTCPに従うパケットに格納する。そして、階層変更要求部１６０は、変更要求を格納したパケットをTCP通信部１５８に供給する。

したがって、例えば、ステップＳ１２６において、階層変更要求部１６０は、入力部８６から、送信階層を１つ上位の階層に変更する旨の変更信号が供給され、階層情報保持部１５６から取得した階層情報である送信階層情報が、送信階層が４番目の階層であることを示す送信階層情報であった場合、送信階層を５番目の階層に変更する旨の変更要求を生成し、生成した変更要求をTCPに従うパケットに格納する。そして、階層変更要求部１６０は、変更要求を格納したパケットをTCP通信部１５８に供給する。

また、ステップＳ１２６において、階層変更要求部１６０は、入力部８６から、送信階層を１つ下位の階層に変更する旨の変更信号が供給された場合、階層情報保持部１５６から取得した、階層情報である送信階層情報を基に、送信階層を、送信階層情報が示す送信階層の１つ下位の階層に変更する旨の変更要求を生成し、生成した変更要求をTCPに従うパケットに格納する。そして、階層変更要求部１６０は、変更要求を格納したパケットをTCP通信部１５８に供給する。

したがって、例えば、ステップＳ１２６において、階層変更要求部１６０は、入力部８６から送信階層を１つ下位の階層に変更する旨の変更信号が供給され、階層情報保持部１５６から取得した階層情報である送信階層情報が、送信階層が４番目の階層であることを示す送信階層情報であった場合、送信階層を３番目の階層に変更する旨の変更要求を生成し、生成した変更要求をTCPに従うパケットに格納する。そして、階層変更要求部１６０は、変更要求を格納したパケットをTCP通信部１５８に供給する。

ステップＳ１２７において、TCP通信部１５８は、階層変更要求部１６０から供給された変更要求を、通信網１３を介して、サーバ１２あてに送信し、ステップＳ１２８に進む。

一方ステップＳ１２４において、入力部８６から変更信号が供給されなかったと判定された場合、変更要求をサーバ１２に送信する必要がないので、ステップＳ１２５乃至ステップＳ１２７の処理は、スキップされ、手続きは、ステップＳ１２８に進む。

ステップＳ１２８において、ストリーム情報算出部１５５は、RTP処理部１５２から供給されたRTPパケットの受信時刻およびパケットサイズを基に、受信帯域を算出し、算出した受信帯域を基に、受信帯域を表示させる画像データを生成する。そして、ストリーム情報算出部１５５は、生成した受信帯域を表示させる画像データを出力部８７に供給する。

例えば、ステップＳ１２８において、ストリーム情報算出部１５５は、RTP処理部１５２から供給された１つのフレームを構成するRTPパケットのパケットサイズの合計、およびRTPパケットを受信した時刻を式（２）に代入することによって、受信帯域を算出する。

（受信帯域）＝Ｓ２／（ｔ４２−ｔ４１） ・・・（２）

ここで、Ｓ２は、受信された１つのフレームを構成するRTPパケットのパケットサイズの合計である。また、ｔ４１は、１つのフレームを構成するRTPパケットのうち、一番初めに受信されたRTPパケットの受信時刻であり、ｔ４２は、次の１つのフレームを構成するRTPパケットのうち、一番初めに受信されたRTPパケットの受信時刻である。

したがって、例えば、図２の例において、受信されたフレーム３２を構成するパケット４２−１乃至パケット４２−３を基に、受信帯域を算出する場合、RTPパケットのパケットサイズの合計Ｓ２は、パケット４２−１乃至パケット４２−３のパケットサイズの合計であり、フレーム３２を構成するパケットのうち、一番初めに受信されたパケットの受信時刻ｔ４１は、クライアント１４が、パケット４２−１を受信した時刻であり、次のフレーム３３を構成するパケットのうち、一番初めに受信されたパケットの受信時刻ｔ４２は、クライアント１４が、パケット４３−１を受信した時刻である。

ステップＳ１２９において、ストリーム情報算出部１５５は、RTP処理部１５２から供給されたシーケンス番号を基に、RTPパケットのロス率を算出し、算出したロス率を基に、ロス率を表示させる画像データを生成する。そして、ストリーム情報算出部１５５は、生成したロス率を表示させる画像データを、出力部８７に供給する。

ステップＳ１３０において、デコーダ１５３は、RTP処理部１５３から供給された画像データを、エンコーダ１３１の符号化方式に対応する方式により復号する。デコーダ１５３は、復号した画像データを合成部１５４に供給する。

例えば、ステップＳ１３０において、デコーダ１５３は、RTP処理部１５２から、１番目の階層から３番目の階層の画像データのそれぞれが供給された場合、供給された１番目の階層から３番目の階層の画像データのそれぞれをエンコーダ１３１の符号化方式に対応する方式により、１つの画像データに復号し、復号した画像データを合成部１５４に供給する。

ステップＳ１３１において、合成部１５４は、デコーダ１５３から供給された画像データおよび階層情報保持部１５６から供給された階層情報を表示させるデータを重畳し、重畳した画像データを出力部８７に供給する。

ステップＳ１３２において、出力部８７は、合成部１５４から供給された画像データを基に、画像をディスプレイである出力部８７に表示させる。例えば、ステップＳ１３２において、出力部８７は、合成部１５４から供給された画像データを基に、図１６で示される画像をディスプレイである出力部８７に表示させる。

ディスプレイである出力部８７には、ウィンドウ２３１が表示され、ウィンドウ２３１には、受信された画像２４１が表示される。また、ウィンドウ２３１には、受信帯域、RTPパケットのロス率、帯域、および送信階層のそれぞれを表す文字“受信帯域”、“ロス率”、“帯域”、および“送信階層”のそれぞれが表示され、表示されたそれぞれの文字の右側に、それぞれの値が表示される。

例えば、受信帯域を表す文字“受信帯域”の右側に、受信帯域の値“0.4Mbps”が表示され、RTPパケットのロス率を表す文字“ロス率”の右側に、ロス率の値“１％”が表示され、帯域を表す文字“帯域”の右側に、帯域の値“0.3Mbps”が表示され、送信階層を表す文字“送信階層”の右側に、最大階層が５番目の階層であり、送信階層が３番目の階層であることを示す“３／５”が表示される。

また、送信階層を表す文字“送信階層”の下には、最大階層および送信階層を表す数直線が表示される。図１６の例においては、数直線上の“３”で表される目盛り上に表示されている四角によって、送信階層が３番目の階層であることが表されている。

さらに、ユーザが、入力部８６を操作することによって、ポインタ（図示せず）を移動させ、ボタン２３２がクリックされた場合、ウィンドウ２３１は、閉じられる。

より詳細には、ステップＳ１３２において、出力部８７は、合成部１５４から供給された画像データ、ストリーム情報算出部１５５から供給された、ロス率を表示させる画像データおよび受信帯域を表示させる画像データ、並びに帯域算出部１５７から供給された帯域測定結果を表示させる画像データを重畳し、重畳した画像データを基に、ディスプレイである出力部８７に画像を表示させる。また、出力部８７は、合成部１５４、ストリーム情報算出部１５５、または帯域算出部１５７から新たな画像データが供給された場合、表示している画像の画像データと新たに供給された画像データとを重畳し、重畳した画像データを基に、ディスプレイである出力部８７に画像を表示させる。

したがって、例えば、帯域算出部１５７から、帯域測定結果を表示する新たな画像データが供給された場合、出力部８７は、それまで表示していた帯域測定結果を表示させる画像データを破棄し、合成部１５４から供給された画像データ、ストリーム情報算出部１５５から供給された、ロス率を表示させる画像データおよび受信帯域を表示させる画像データ、並びに帯域算出部１５７から、新たに供給された帯域測定結果を表示させる画像データを重畳し、重畳した画像データを基に、ディスプレイである出力部８７に画像を表示させる。

ステップＳ１３３において、出力部８７は、ストリーム情報算出部１５５から供給された通信網１３の受信帯域を表示させる画像データを基に、ディスプレイである出力部８７に、通信網１３の受信帯域を表示させる。

ステップＳ１３４において、出力部８７は、ストリーム情報算出部１５５から供給されたRTPパケットのロス率を表示させる画像データを基に、ディスプレイである出力部８７に、RTPパケットのロス率を表示させ、ステップＳ１２１に戻り、上述した処理を繰り返す。

このようにして、クライアント１４は、変更要求を生成し、生成した変更要求を、通信網１３を介して、サーバ１２あてに送信する。また、クライアント１４は、ロス率、階層情報、および受信帯域を表示するので、ユーザは、設定されている送信階層が、通信網１３の帯域に対して、適正であるか否かを知ることができる。

以上のように、クライアント１４は、サーバ１２から送信されてくるRTPパケットに格納されている階層情報を基に、送信階層を表示させることができる。また、クライアント１４は、変更要求を生成し、生成した変更要求をサーバ１２あてに送信することによって、必要に応じて、送信階層を変更することができる。

第１の本発明によれば、送信装置から送信されてきたデータを受信するようにしたので、受信したデータを出力（表示）することができる。また、第１の本発明によれば、送信装置から送信されてきた階層情報を表示させるようにしたので、データの受信側において、最大階層および送信階層を把握することができる。さらに、第１の本発明によれば、最大階層、送信階層、および帯域を表示させるようにしたので、必要に応じて、送信階層を変更することができる。

また、第２の発明によれば、データをパケットに格納するようにしたので、データを送信することができる。また、第２の発明によれば、階層情報をパケットに格納するようにしたので、データの受信側に、最大階層および送信階層を通知することができる。さらに、第２の発明によれば、変更要求を受信するようにしたので、変更要求を基に、送信階層を変更することができる。

次に、本発明の第２の実施例について、説明する。

図１７のタイムチャートを参照して、サーバ１２における、帯域測定の処理および送信階層の変更の処理の例を説明する。

図１７において、横軸は時間を示し、帯域測定パケット２６１は、例えば、通信網１３の帯域を測定するための、等しいパケットサイズのパケット２７１−１およびパケット２７１−２から構成される。また、例えば、フレーム２６２を再生するための画像データであるストリーミングデータは、パケット２７２−１乃至パケット２７２−３に格納されて送信され、フレーム２６３を再生するための画像データであるストリーミングデータは、パケット２７３−１乃至パケット２７３−３に格納されて送信され、フレーム２６４を再生するための画像データであるストリーミングデータは、パケット２７４−１乃至パケット２７４−４に格納されて送信される。

時刻ｔ５１において、サーバ１２は、通信網１３の帯域を測定するためのパケット２７１−１を、通信網１３を介して、クライアント１４あてに送信する。同様に、時刻ｔ５２において、サーバ１２は、通信網１３の帯域を測定するためのパケット２７１−２を、通信網１３を介して、クライアント１４あてに送信する。パケット２７１−１およびパケット２７１−２は、時間間隔をおかずに、続けて（連続して）クライアント１４あてに送信される。

時刻ｔ６１において、クライアント１４は、サーバ１２から送信されてきたパケット２７１−１を受信し、時刻ｔ６２において、クライアント１４は、サーバ１２から送信されてきたパケット２７１−２を受信する。クライアント１４は、パケット２７１−１およびパケット２７１−２を受信すると、受信したパケット２７１−１およびパケット２７１−２を基に、通信網１３における帯域を算出する。

時刻ｔ６３において、クライアント１４は、算出した帯域の測定結果である帯域測定結果を、通信網１３を介して、サーバ１２あてに送信する。例えば、クライアント１４は、帯域測定結果をパケットに格納し、帯域測定結果を格納したパケットを、通信網１３を介して、サーバ１２あてに送信する。

時刻ｔ５３において、サーバ１２は、クライアント１４から送信されてきた帯域測定結果を受信する。サーバ１２は、帯域測定結果を受信すると、受信した帯域測定結果を基に、送信階層を選択し、時刻ｔ５４において、送信階層情報および最大階層情報からなる階層情報を、通信網１３を介して、クライアント１４あてに送信する。例えば、サーバ１２は、階層情報をパケットに格納し、階層情報を格納したパケットを、通信網１３を介して、クライアント１４あてに送信する。

サーバ１２は、階層情報をクライアント１４あてに送信してから、選択した送信階層を基に、パケット２７２−１乃至パケット２７２−３を、通信網１３を介して、クライアント１４あてに送信する。同様に、サーバ１２は、パケット２７３−１乃至パケット２７３−３を、通信網１３を介して、クライアント１４あてに送信する。

クライアント１４は、サーバ１２から送信されてきた階層情報、パケット２７２−１乃至パケット２７２−３、およびパケット２７３−１乃至パケット２７３−３を受信する。

時刻ｔ６４において、クライアント１４は、変更要求を、通信網１３を介して、サーバ１２あてに送信する。例えば、クライアント１４は、変更要求をパケットに格納し、変更要求を格納したパケットを、通信網１３を介して、サーバ１２あてに送信する。

サーバ１２は、クライアント１４から送信されてきた変更要求を受信する。サーバ１２は、受信した変更要求を基に、送信階層を変更し、変更した送信階層を基に、階層情報を生成する。

時刻ｔ５５において、サーバ１２は、生成した階層情報を、通信網１３を介して、クライアント１４あてに送信する。サーバ１２は、階層情報を送信してから、変更した送信階層を基に、パケット２７４−１乃至パケット２７４−４を、通信網１３を介して、クライアント１４あてに送信する。

クライアント１４は、サーバ１２から送信されてきた階層情報およびパケット２７４−１乃至パケット２７４−４を受信する。

このようにして、サーバ１２は、帯域に応じて送信階層を選択し、選択した送信階層を基に、画像データが格納されているパケットをクライアント１４に送信する。

図１８は、サーバ１２の機能の構成を示すブロック図である。

サーバ１２は、エンコーダ２９１、パケタイザ２９２、バッファ２９３、UDP通信部２９４、TCP通信部２９５、送信階層選択部２９６、コンテンツ階層保持部２９７、送信階層情報保持部２９８、および階層処理部２９９を含むように構成される。

なお、エンコーダ２９１、バッファ２９３、UDP通信部２９４、送信階層選択部２９６、コンテンツ階層保持部２９７、および送信階層情報保持部２９８のそれぞれは、図５におけるエンコーダ１３１、バッファ１３３、UDP通信部１３４、送信階層選択部１３６、コンテンツ階層保持部１３７、および送信階層情報保持部１３８のそれぞれと同様なので、その説明は、省略する。

パケタイザ２９２は、エンコーダ２９１から供給された画像データを、RTP方式のパケットに格納することにより、RTPパケットを生成する。パケタイザ２９２は、生成したRTPパケットをバッファ２９３に供給する。

より詳細には、パケタイザ２９２は、階層符号化された、１つの階層に対応する画像データを１つのRTPパケットに格納することにより、各階層に対応するRTPパケットのそれぞれを生成する。パケタイザ２９２は、生成した各階層に対応するRTPパケットのそれぞれを、バッファ２９３に供給する。

TCP通信部２９５は、通信網１３を介して、各種のデータの送受信を行う。TCP通信部２９５は、TCPに従って、データの送受信を行う。

TCP通信部２９５は、コンテンツ階層保持部２９７から供給されたコンテンツ階層テーブルを、通信網１３を介してクライアント１４あてに送信する。TCP通信部２９５は、階層処理部２９９から供給された階層情報を、通信網１３を介して、クライアント１４あてに送信する。また、TCP通信部２９５は、クライアント１４から送信されてきた変更要求を受信し、受信した変更要求を階層処理部２９９に供給する。TCP通信部２９５は、クライアント１４から送信されてきた帯域測定結果を受信し、受信した帯域測定結果を、送信階層選択部２９６に供給する。

なお、UDP通信部２９４およびTCP通信部２９５は、通信部（図示せず）を制御して、通信部を介することにより、データの送受信を行う。

階層処理部２９９は、送信階層情報保持部２９８から供給された送信階層情報およびコンテンツ階層保持部２９７から供給されたコンテンツ階層テーブルを基に、階層情報を生成し、生成した階層情報をTCP通信部２９５に供給する。

階層処理部２９９は、バッファ２９３を制御して、生成した階層情報を基に、１番目の階層から送信階層までの階層のそれぞれに対応するRTPパケットのそれぞれをUDP通信部２９４に供給させる。

階層処理部２９９は、TCP通信部２９５から供給された変更要求を基に、送信階層情報を生成し、生成した送信階層情報を送信階層情報保持部２９８に供給する。

図１９は、クライアント１４の機能の構成を示すブロック図である。

クライアント１４は、UDP通信部３１１、RTP処理部３１２、デコーダ３１３、合成部３１４、ストリーム情報算出部３１５、階層情報保持部３１６、帯域算出部３１７、TCP通信部３１８、コンテンツ階層保持部３１９、出力部３２０、入力部３２１、および階層変更要求部３２２を含むように構成される。

なお、UDP通信部３１１、デコーダ３１３、合成部３１４、ストリーム情報算出部３１５、帯域算出部３１７、コンテンツ階層保持部３１９、出力部３２０、入力部３２１、および階層変更要求部３２２のそれぞれは、図６におけるUDP通信部１５１、デコーダ１５３、合成部１５４、ストリーム情報算出部１５５、帯域算出部１５７、コンテンツ階層保持部１５９、出力部８７、入力部８６、および階層変更要求部１６０のそれぞれと同様なので、その説明は、省略する。

RTP処理部３１２は、UDP通信部３１１から供給されたRTPパケットから画像データを抽出し、抽出した画像データをデコーダ３１３に供給する。また、RTP処理部３１２は、UDP通信部３１１から供給されたRTPパケットからシーケンス番号を抽出し、抽出したシーケンス番号、RTPパケットの受信時刻、およびRTPパケットのパケットサイズをストリーム情報算出部３１５に供給する。

階層情報保持部３１６は、TCP通信部３１８から供給された階層情報を保持（記憶）する。階層情報保持部３１６は、TCP通信部３１８から供給された階層情報を基に、階層情報を表示させる画像データを生成し、生成した画像データを合成部３１４に供給する。階層情報保持部３１６は、TCP通信部３１８から供給された階層情報を、階層変更要求部３２２に供給する。

なお、階層情報保持部３１６は、生成した階層情報を表示させる画像データを、合成部３１４に供給せずに、出力部３２０に供給するようにしてもよい。

階層情報保持部３１６は、送信階層情報保持部３３１および最大階層情報保持部３３２を含むように構成される。

階層情報保持部３１６の送信階層情報保持部３３１は、TCP通信部３１８から供給された階層情報の送信階層情報を記憶する。階層情報保持部３１６の最大階層情報保持部３３２は、TCP通信部３１８から供給された階層情報の最大階層情報を記憶する。

TCP通信部３１８は、サーバ１２のTCP通信部２９５に対応し、通信網１３を介して、各種のデータの送受信を行う。TCP通信部３１８は、TCPに従って、データの送受信を行う。

TCP通信部３１８は、サーバ１２から送信されてきたコンテンツ階層テーブルを受信し、受信したコンテンツ階層テーブルをコンテンツ階層保持部３１９に供給する。また、TCP通信部３１８は、サーバ１２から送信されてきた階層情報を受信し、受信した階層情報を階層情報保持部３１６に供給する。

TCP通信部３１８は、帯域算出部３１７から供給された帯域測定結果を、通信網１３を介して、サーバ１２あてに送信する。TCP通信部３１８は、階層変更要求部３２２から供給された変更要求を、通信網１３を介して、サーバ１２あてに送信する。

なお、UDP通信部３１１およびTCP通信部３１８は、通信部（図示せず）を制御して、通信部を介することにより、データの送受信を行う。

次に、図２０のフローチャートを参照して、サーバプログラムを実行するサーバ１２による、送信階層変更の処理を説明する。

ステップＳ１５１において、送信階層選択部２９６は、帯域測定の処理を実行する。ステップＳ１５１における帯域測定の処理は、図９のフローチャートを参照して説明した処理と同様なので、その説明は省略する。なお、帯域測定の処理において、送信階層が選択される。

ステップＳ１５２において、階層処理部２９９は、コンテンツ階層保持部２９７から供給されたコンテンツ階層テーブルおよび送信階層情報保持部２９８から供給された送信階層情報を基に、階層情報を生成し、生成した階層情報をTCP通信部２９５に供給する。

より詳細には、ステップＳ１５２において、階層処理部２９９は、コンテンツ階層保持部２９７から供給されたコンテンツ階層テーブルおよび送信階層情報保持部２９８から供給された送信階層情報を基に、階層情報を生成し、生成した階層情報をTCPに従ったパケットに格納する。そして、階層処理部２９９は、階層情報を格納したパケットをTCP通信部２９５に供給する。

ステップＳ１５３において、TCP通信部２９５は、階層処理部２９９から供給された階層情報を、通信網１３を介して、クライアント１４あてに送信し、ステップＳ１５４に進む。

ステップＳ１５４乃至ステップＳ１５７の処理のそれぞれは、図７におけるステップＳ１２乃至ステップＳ１５の処理のそれぞれと同様なので、その説明は、省略する。なお、ステップＳ１５６において、TCP通信部２９５が、クライアント１４から変更要求を受信したと判定された場合、ステップＳ１５７に進み、変更要求を受信していないと判定された場合、送信階層を変更する必要がないので、ステップＳ１５７乃至ステップＳ１５９の処理は、スキップされ、手続きは、ステップＳ１６０に進む。

ステップＳ１５８において、階層処理部２９９は、コンテンツ階層保持部２９７から供給されたコンテンツ階層テーブルおよび送信階層情報保持部２９８から供給された送信階層情報を基に、階層情報を生成し、生成した階層情報をTCP通信部２９５に供給する。

より詳細には、ステップＳ１５８において、階層処理部２９９は、コンテンツ階層保持部２９７から供給されたコンテンツ階層テーブルおよび送信階層情報保持部２９８から供給された送信階層情報を基に、階層情報を生成し、生成した階層情報をTCPに従ったパケットに格納する。そして、階層処理部２９９は、階層情報を格納したパケットをTCP通信部２９５に供給する。

ステップＳ１５９において、TCP通信部２９５は、階層処理部２９９から供給された階層情報を、通信網１３を介して、クライアント１４あてに送信し、ステップＳ１６０に進む。

ステップＳ１６０において、サーバ１２の各部は、データ送信の処理を行う。なお、データ送信の処理の詳細は、後述するが、データ送信の処理において、ビデオカメラ１１から供給された画像データが、階層符号化され、各階層の画像データが、各階層に対応するRTPパケットに格納される。そして、各階層に対応するRTPパケットのそれぞれは、通信網１３を介して、クライアント１４あてに送信される。

データ送信の処理が終了すると、手続きは、ステップＳ１５６に戻り、上述した処理を繰り返す。

このようにして、サーバ１２は、クライアント１４から送信されてきた変更要求を基に、送信階層の変更を行う。

次に図２１のフローチャートを参照して、図２０のステップＳ１６０の処理に対応するデータ送信の処理を説明する。

ステップＳ１８１乃至ステップＳ１８４の処理のそれぞれは、図１１におけるステップＳ７１乃至ステップＳ７４の処理のそれぞれと同様なので、その説明は、省略する。

ステップＳ１８５において、パケタイザ２９３は、エンコーダ２９１から供給された画像データを基に、図２２で示される、各階層に対応するRTPパケットを生成し、ステップＳ１８６に進む。

図２２は、RTPパケットを説明する図である。バージョン情報、パディング、拡張情報、CSRCカウント、メーカー情報、ペイロードタイプ、シーケンス番号、タイムスタンプ、SSRC識別子、およびオリジナルデータは、図１２で示されるRTPパケットの場合と同様であるので、その説明は、省略する。

より詳細には、ステップＳ１８５において、パケタイザ２９２は、エンコーダ２９１から供給された、各階層に対応する画像データのそれぞれを各階層に対応するRTPパケットのそれぞれに格納することによって、各階層に対応するRTPパケットのそれぞれを生成する。

したがって、例えば、パケタイザ２９２は、最大階層が、５番目の階層である場合、１番目の階層の画像データをRTPパケットに格納することによって、１番目の階層に対応するRTPパケットを生成し、２番目の階層の画像データをRTPパケットに格納することによって、２番目の階層に対応するRTPパケットを生成し、３番目の階層の画像データをRTPパケットに格納することによって、３番目の階層に対応するRTPパケットを生成する。同様に、４番目の階層の画像データをRTPパケットに格納することによって、４番目の階層に対応するRTPパケットを生成し、５番目の階層の画像データをRTPパケットに格納することによって、５番目の階層に対応するRTPパケットを生成する。

なお、RTPパケットは、クライアント１４に送信する画像データを格納するパケットの一例である。

ステップＳ１８６乃至ステップＳ１９０の処理のそれぞれは、図１１におけるステップＳ７７乃至ステップＳ８１の処理のそれぞれと同様なので、その説明は、省略する。

このようにして、サーバ１２は、画像データをRTPパケットに格納し、画像データが格納されたRTPパケットを、通信網１３を介して、クライアント１４あてに送信する。

次に、図２３を参照して、クライアント１４による変更要求の送信の処理を説明する。

ステップＳ２１１において、UDP通信部３１１は、サーバ１２から送信されてきたRTPパケットを受信し、受信したRTPパケットをRTP処理部３１２に供給する。

ステップＳ２１２において、階層情報保持部３１６は、階層情報受信の処理を行い、ステップS２１３に進む。なお、階層情報受信の処理の詳細は、後述するが、階層情報受信の処理において、受信された階層情報が、階層情報保持部３１６に記憶される。

ステップＳ２１３乃至ステップＳ２１６の処理のそれぞれは、図１５におけるステップＳ１２４乃至ステップＳ１２７の処理のそれぞれと同様なので、その説明は、省略する。

ステップＳ２１７において、階層情報保持部３１６は、階層情報受信の処理を行い、ステップS２１８に進む。

ステップＳ２１８乃至ステップＳ２２４の処理のそれぞれは、図１５におけるステップＳ１２８乃至ステップＳ１３４の処理のそれぞれと同様なので、その説明は、省略する。

また、ステップＳ２２２において、出力部３２０は、図２４で示される画像をディスプレイである出力部３２０に表示させるようにしてもよい。

この場合、ディスプレイである出力部３２０には、ウィンドウ２３１が表示され、ウィンドウ２３１には、受信された画像２４１が表示される。また、ウィンドウ２３１と同時に表示される、別のウィンドウ３５１には、受信帯域、RTPパケットのロス率、帯域、および送信階層のそれぞれを表す文字“受信帯域”、“ロス率”、“帯域”、および“送信階層”のそれぞれが表示され、表示されたそれぞれの文字の右側に、それぞれの値が表示される。

例えば、受信帯域を表す文字“受信帯域”の右側に、受信帯域の値“0.4Mbps”が表示され、RTPパケットのロス率を表す文字“ロス率”の右側に、ロス率の値“１％”が表示され、帯域を表す文字“帯域”の右側に、帯域の値“0.3Mbps”が表示され、送信階層を表す文字“送信階層”の右側に、最大階層が５番目の階層であり、送信階層が３番目の階層であることを示す“３／５”が表示される。

また、送信階層を表す文字“送信階層”の下には、最大階層および送信階層を表す数直線が表示される。図２４の例においては、数直線上の“３”で表される目盛り上に表示されている四角によって、送信階層が３番目の階層であることが表されている。

さらに、ユーザが、入力部３２１を操作することによって、ポインタ（図示せず）を移動させ、ボタン２３２がクリックされた場合、ウィンドウ２３１は、閉じられる。同様に、ユーザが、入力部３２１を操作することによって、ポインタ（図示せず）を移動させ、ボタン３５２がクリックされた場合、ウィンドウ３５１は、閉じられる。

このようにして、クライアント１４は、変更要求を生成し、生成した変更要求を、通信網１３を介して、サーバ１２あてに送信する。

次に図２５のフローチャートを参照して、図２３のステップＳ２１２およびステップＳ２１７の処理に対応する、階層情報受信の処理を説明する。

ステップＳ２４１において、階層情報保持部３１６は、TCP通信部３１８が、サーバ１２から送信されてきた階層情報を受信したか否かを判定する。

ステップＳ２４１において、TCP通信部３１８が、階層情報を受信したと判定された場合、ステップＳ２４２に進み、階層情報保持部３１６は、TCP通信部３１８から階層情報を取得し、取得した階層情報を記憶する。

より詳細には、ステップＳ２４２において、階層情報保持部３１６は、TCP通信部３１８から階層情報を取得し、階層情報保持部３１６の送信階層情報保持部３３１は、取得された階層情報である送信階層情報を記憶する。また、階層情報保持部３１６の最大階層情報保持部３３２は、取得された階層情報である最大階層情報を記憶し、処理は終了する。

一方、ステップＳ２４１において、TCP通信部３１８が、階層情報を受信していないと判定された場合、ステップＳ２４２の処理は、スキップされ、処理は、終了する。

このようにして、階層情報保持部３１６は、受信された階層情報を記憶する。

以上のように、クライアント１４は、サーバ１２から送信されてくる階層情報を基に、送信階層を表示させることができる。また、クライアント１４は、変更要求を生成し、生成した変更要求をサーバ１２あてに送信することによって、必要に応じて、送信階層を変更することができる。

第１の本発明によれば、送信装置から送信されてきたデータを受信するようにしたので、受信したデータを出力（表示）することができる。また、第１の本発明によれば、送信装置から送信されてきた階層情報を表示させるようにしたので、データの受信側において、最大階層および送信階層を把握することができる。さらに、第１の本発明によれば、最大階層、送信階層、および帯域を表示させるようにしたので、必要に応じて、送信階層を変更することができる。

また、第２の発明によれば、データをパケットに格納するようにしたので、データを送信することができる。また、第２の発明によれば、階層情報を送信するようにしたので、データの受信側に、最大階層および送信階層を通知することができる。さらに、第２の発明によれば、変更要求を受信するようにしたので、変更要求を基に、送信階層を変更することができる。

なお、帯域の測定は、パケットペアを送信することにより測定すると説明したが、パケットトレイン方式などにより測定するようにしてもよく、その他、Diffserv（Differentiated Services）やSNMP（Simple Network Management Protocol）を利用することによって測定するようにしてもよい。

また、クライアント１４の出力部８７に画像を表示させると説明したが、クライアント１４とは別に、画像を表示させる出力装置を設けるようにしてもよい。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

この記録媒体は、図４に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フレキシブルディスクを含む）、光ディスク１１２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク１１３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM８２や、記録部８８に含まれるハードディスクなどで構成される。

なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明を適用したストリーミング配信システムの一実施の形態を示す図である。 ストリーミングデータ配信システムを説明するタイムチャートである。 帯域の測定を説明する図である。 サーバの構成の例を示すブロック図である。 サーバの機能の構成を示すブロック図である。 クライアントの機能の構成を示すブロック図である。 送信階層の変更の処理を説明するフローチャートである。 コンテンツ階層テーブルを説明する図である。 帯域測定の処理を説明するフローチャートである。 帯域算出の処理を説明するフローチャートである。 データ送信の処理を説明するフローチャートである。 RTPパケットを説明する図である。 コンテンツ階層テーブル受信の処理を説明するフローチャートである。 出力部に表示されるコンテンツ階層テーブルを説明する図である。 変更要求の送信の処理を説明するフローチャートである。 出力部に表示される画像を説明する図である。 ストリーミングデータ配信システムを説明するタイムチャートである。 サーバの機能の構成を示すブロック図である。 クライアントの機能の構成を示すブロック図である。 送信階層の変更の処理を説明するフローチャートである。 データ送信の処理を説明するフローチャートである。 RTPパケットを説明する図である。 変更要求の送信の処理を説明するフローチャートである。 出力部に表示される画像を説明する図である。 階層情報受信の処理を説明するフローチャートである。

符号の説明

１２ サーバ， １３ 通信網， １４ クライアント， ８１ ＣＰＵ， ８２ ＲＯＭ， ８３ ＲＡＭ， ８６ 入力部， ８７ 出力部， ８８ 記録部， １１１ 磁気ディスク， １１２ 光ディスク， １１３ 光磁気ディスク， １１４ 半導体メモリ １３１ エンコーダ， １３２ パケタイザ， １３６ 送信階層選択部， １３７ コンテンツ階層保持部， １３８ 送信階層保持部， １３９ 階層処理部， １５２ RTP処理部， １５３ デコーダ， １５５ ストリーム情報算出部， １５６ 階層情報保持部， １５７ 帯域算出部， １５９ コンテンツ階層保持部， １６０ 階層変更要求部， １８１ 送信階層情報保持部， １８２ 最大階層情報保持部， ２９６ 送信階層選択部， ２９８ 送信階層情報保持部， ２９９ 階層処理部， ３１２ RTP処理部， ３１６ 階層情報保持部， ３１７ 帯域算出部， ３２０ 階層変更要求部

Claims (17)

1. 通信網を介して、複数の階層に階層符号化された送信データを送信する送信装置において、
   復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの前記送信データの階層のうち、送信する前記送信データの最も上位の階層を選択する選択手段と、
   送信している前記送信データの最も上位の階層を示す情報と、階層符号化における前記送信データの階層の数を示す情報とを相手に送信する送信手段と
   を備えることを特徴とする送信装置。
2. 送信している前記送信データの最も上位の階層を示す前記情報と、階層符号化における前記送信データの階層の数を示す前記情報とを含む前記送信データを生成する生成手段をさらに備え、
   前記送信手段は、生成された前記送信データを送信する
   ことを特徴とする請求項１に記載の送信装置。
3. 送信する前記送信データの最も上位の階層の変更を要求する、変更要求を受信する受信手段をさらに備え、
   前記選択手段は、受信された前記変更要求を基に、送信する前記送信データの最も上位の階層を選択する
   ことを特徴とする請求項１に記載の送信装置。
4. 自分と前記送信データを送信する前記相手との、前記通信網の帯域を取得する取得手段をさらに備え、
   前記選択手段は、前記通信網の前記帯域を基に、送信する前記送信データの最も上位の階層を選択する
   ことを特徴とする請求項１に記載の送信装置。
5. 前記送信手段は、前記通信網の前記帯域を前記相手に算出させるためのパケットを送信し、
   前記取得手段は、前記相手からの通知を基に、前記通信網の前記帯域を取得する
   ことを特徴とする請求項４に記載の送信装置。
6. 通信網を介して、複数の階層に階層符号化された送信データを送信する送信方法において、
   復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの前記送信データの階層のうち、送信する前記送信データの最も上位の階層を選択する選択ステップと、
   送信している前記送信データの最も上位の階層を示す情報と、階層符号化における前記送信データの階層の数を示す情報との相手への送信を制御する送信制御ステップと
   を含むことを特徴とする送信方法。
7. 通信網を介して、複数の階層に階層符号化された送信データを送信する送信処理用のプログラムであって、
   復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの前記送信データの階層のうち、送信する前記送信データの最も上位の階層を選択する選択ステップと、
   送信している前記送信データの最も上位の階層を示す情報と、階層符号化における前記送信データの階層の数を示す情報との相手への送信を制御する送信制御ステップと
   を含むことを特徴とするコンピュータが読みとり可能なプログラムが記録されている記録媒体。
8. 通信網を介して、複数の階層に階層符号化された送信データを送信する送信処理を、コンピュータに行わせるプログラムにおいて、
   復号に欠くことのできない最下位の階層から、より品質の高い復号をするためのより上位の階層までの前記送信データの階層のうち、送信する前記送信データの最も上位の階層を選択する選択ステップと、
   送信している前記送信データの最も上位の階層を示す情報と、階層符号化における前記送信データの階層の数を示す情報との相手への送信を制御する送信制御ステップと
   を含むことを特徴とするプログラム。
9. 通信網を介して送信されてくる、複数の階層に階層符号化された送信データを受信する受信装置において、
   送信されてくる前記送信データの最も上位の階層を示す情報と、階層符号化における前記送信データの階層の数を示す情報とを受信する受信手段と、
   送信されてくる前記送信データの最も上位の階層を示す前記情報、および階層符号化における前記送信データの階層の数を示す前記情報の少なくとも一方の表示を制御する表示制御手段と
   を備えることを特徴とする受信装置。
10. 送信されてくる前記送信データの最も上位の階層の変更を要求する、変更要求を生成する生成手段と、
    生成された前記変更要求を相手に送信する送信手段とをさらに備える
    ことを特徴とする請求項９に記載の受信装置。
11. 前記送信データを送信してくる相手が前記通信網を介して送信してくるパケットであって、受信した前記パケットを基に、前記相手と自分との前記通信網の帯域を算出する算出手段と、
    算出した前記通信網の前記帯域の通知を前記相手に送信する送信手段と
    をさらに備えることを特徴とする請求項９に記載の受信装置。
12. 受信した前記送信データを基に、相手と自分との前記通信網の帯域を算出する算出手段をさらに備え、
    前記表示制御手段は、算出された前記通信網の前記帯域の表示をさらに制御する
    ことを特徴とする請求項９に記載の受信装置。
13. 受信した前記送信データのロス率を算出する算出手段をさらに備え、
    前記表示制御手段は、算出された前記ロス率の表示をさらに制御する
    ことを特徴とする請求項９に記載の受信装置。
14. 前記受信手段は、前記送信データを送信してくる相手が前記通信網を介して送信してくる、前記通信網の帯域を測定するための測定パケットをさらに受信し、
    受信された前記測定パケットを基に、前記相手と自分との前記通信網の前記帯域を算出する算出手段をさらに備え、
    前記表示制御手段は、算出された前記通信網の前記帯域の表示をさらに制御する
    ことを特徴とする請求項９に記載の受信装置。
15. 通信網を介して送信されてくる、複数の階層に階層符号化された送信データを受信する受信方法において、
    送信されてくる前記送信データの最も上位の階層を示す情報と、階層符号化における前記送信データの階層の数を示す情報との受信を制御する受信制御ステップと、
    送信されてくる前記送信データの最も上位の階層を示す前記情報、および階層符号化における前記送信データの階層の数を示す前記情報の少なくとも一方の表示を制御する表示制御ステップと
    を含むことを特徴とする受信方法。
16. 通信網を介して送信されてくる、複数の階層に階層符号化された送信データを受信する受信処理用のプログラムであって、
    送信されてくる前記送信データの最も上位の階層を示す情報と、階層符号化における前記送信データの階層の数を示す情報との受信を制御する受信制御ステップと、
    送信されてくる前記送信データの最も上位の階層を示す前記情報、および階層符号化における前記送信データの階層の数を示す前記情報の少なくとも一方の表示を制御する表示制御ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
17. 通信網を介して送信されてくる、複数の階層に階層符号化された送信データを受信する受信処理を、コンピュータに行わせるプログラムにおいて、
    送信されてくる前記送信データの最も上位の階層を示す情報と、階層符号化における前記送信データの階層の数を示す情報との受信を制御する受信制御ステップと、
    送信されてくる前記送信データの最も上位の階層を示す前記情報、および階層符号化における前記送信データの階層の数を示す前記情報の少なくとも一方の表示を制御する表示制御ステップと
    を含むことを特徴とするプログラム。

Images