JP2009049507A - 送信装置、送信方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】 階層の重要度に応じて、送信エラーの発生確率を容易に制御できるようにする。
【解決手段】 重要度の最も高い階層であるlayer1の符号化データ（レイヤ１符号化データ）に基づくパケットについて、パケットロス率が最低となる（又はパケットロスがない）なる送信パターンＳｎを算出する。そして、その送信パターンＳｎに従って、レイヤ１符号化データに基づくパケットをバースト送信する。そして、レイヤ１符号化データの送信に要した所要時間Ｔｒと１フレーム時間との差分時間Ｔｘで、残りの階層であるlayer2、layer3の符号化データ（レイヤ２符号化データ、レイヤ３符号化データ）に基づくパケットをバースト送信する。このように階層毎に送信パターンを算出してバースト送信することにより、階層の重要度に応じて、送信エラーの発生確率を容易に制御できる。
【選択図】 図７

Description

本発明は、送信装置、送信方法、及びコンピュータプログラムに関し、特に、パケットを送信するために用いて好適なものである。

従来から、多階層で構成されるデータの各階層のデータを送信する技術がある。このような技術として、フレーム単位で各階層の符号化開始時刻にオフセットを設けることにより、時間軸上での符号量を分散させる技術がある。このように、時間軸上での符号量を分散させることにより、単位時間あたりの送信レートを変えることなく、局所的な送信レートを下げることができ、トラフィックに起因するパケットロスの発生を回避することができる（特許文献１を参照）。

また、重要度が高い順に各階層のデータを階層毎に送信し、重要度が低い階層のデータを送信することが不可能である場合には、当該送信することが不可能である階層のデータを廃棄する（送信しない）という技術がある。このように、重要度の高い階層のデータを先に送り、所定の時間内に受信させることが不可能なデータを送らないことにより、画像の表示が、遅延したり、時間的に揺らいだりすることを回避することができる（特許文献２を参照）。

特開２００４−１４０６５１号公報 特開２０００−３５０１９７号公報

しかしながら、従来の技術では、階層毎に送信開始時間をオフセットさせるか、又は互いにオーバーラップしない時間領域で各階層のデータを送信することにより時間軸上での符号量の集中を分散させるようにしている。すなわち、従来の技術では、各階層のデータの送信方法には全く手を加えない。したがって、階層の重要度に応じて、送信エラーの発生確率を制御することが困難であるという問題点があった。

本発明は、このような問題点に鑑みてなされたものであり、階層の重要度に応じて、送信エラーの発生確率を容易に制御できるようにすることを目的とする。

本発明の送信装置は、複数の階層を有するデータを階層毎に符号化する符号化手段と、前記符号化手段により符号化された符号化データに基づくパケットを生成するパケット化手段と、前記パケット化手段により生成されたパケットの送信パターンを、前記複数の階層毎に決定する決定手段と、前記決定手段により決定された送信パターンに従って、前記パケット化手段により生成されたパケットを送信する送信手段と、を有することを特徴とする。

本発明の送信方法は、複数の階層を有するデータを階層毎に符号化する符号化ステップと、前記符号化ステップにより符号化された符号化データに基づくパケットを生成するパケット化ステップと、前記パケット化ステップにより生成されたパケットの送信パターンを、前記複数の階層毎に決定する決定ステップと、前記決定ステップにより決定された送信パターンに従って、前記パケット化ステップにより生成されたパケットを送信する送信ステップと、を有することを特徴とする。

本発明のコンピュータプログラムは、複数の階層を有するデータを階層毎に符号化する符号化ステップと、前記符号化ステップにより符号化された符号化データに基づくパケットを生成するパケット化ステップと、前記パケット化ステップにより生成されたパケットの送信パターンを、前記複数の階層毎に決定する決定ステップと、前記決定ステップにより決定された送信パターンに従って、前記パケット化ステップにより生成されたパケットを送信することを通信手段に指示する送信ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、階層毎に送信パターンを決定するので、階層の重要度に応じて、送信エラーの発生確率を容易に制御することが可能になる。よって、例えば、重要度の高い階層のパケットの送信エラーの発生確率を低減させることが可能になる。

＜第１の実施形態＞
以下に、図面を参照しながら、本発明の第１の実施形態について説明する。
図１は、送信装置の構成の一例を示す図である。
図１に示す送信装置２００において、入力端子２０７を経由して多階層符号化器２０１にディジタル動画像信号が入力される。尚、多階層符号化器２０１が、Ａ／Ｄ（アナログ／ディジタル）変換機能を備えている場合には、入力端子２０７を経由して多階層符号化器２０１にアナログ動画像信号が入力され、多階層符号化器２０１でディジタル動画像信号が生成される。

図２は、多階層符号化器の構成の一例を示す図である。
図２において、多階層符号化器２０１は、Layer1専用符号化器３０３と、Layer2専用符号化器３０４と、Layer3専用符号化器３０５とを備えている。図１に示す制御装置２０６によって、これらLayer1専用符号化器３０３、Layer2専用符号化器３０４、及びLayer3専用符号化器３０５の稼働と非稼働とを個別に制御することが可能である。本実施形態の多階層符号化器２０１では、Layer1（最下層）のみの符号化と、Layer1とLayer2との符号化と、Layer1とLayer2とLayer3との全ての符号化との３種類の中から動作を選択することができる構成になっている。

以下では、制御手段２０６が、多階層符号化器２０１に対して、空間スケーラブル符号化、階層数（レイヤ数）として３（Layer1、Layer2、Layer3）が指示されているとして説明する。このように本実施形態では、データの階層数が３の場合を例に挙げて説明するが、階層数は１以上であれば幾つであってもよい。

多階層符号化器２０１へ入力されたディジタル動画像信号は、これらLayer1専用符号化器３０３、Layer2専用符号化器３０４、及びLayer3専用符号化器３０５へ並列的に（好ましくは同時に）入力される。尚、本実施形態では、多階層符号化器２０１に入力されたディジタル動画像信号のフレームサイズが、1920×1080［pixels］、すなわちFull HDサイズであるとする。

図３は、送信装置２００（多階層符号化器２０１）で生成される画像の一例を概念的に示す図である。
Layer1専用符号化器３０３は、入力されたディジタル動画像信号に対して、任意の方法にて縦横夫々１／４倍に縮小したレイヤ１画像を生成する。そして、Layer1専用符号化器３０３は、所定の符号化フォーマットに従って、Layer1におけるフレーム内符号化（Intra）又はフレーム間予測符号化（Inter）を実施し、レイヤ１符号化画像を生成する。

前記フレーム内符号化(Intra)又は前記フレーム間予測符号化されたレイヤ１符号化画像は、図１に示すバッファ２０２（図４に示すLayer1専用記憶器４０３）へ記憶される。図４は、バッファ２０２の構成の一例を示す図である。
Layer1専用符号化器３０３は、このようにしてレイヤ１符号化画像をバッファ２０２に記憶させると共に（好ましくは同時に）、前記レイヤ１符号化画像を復号化処理してレイヤ１復号化画像を生成する。そして、Layer1専用符号化器３０３は、このレイヤ１復号化画像に対して、縦横夫々２倍に拡大処理を施した画像を生成し、生成した画像をLayer2専用符号化器３０４へ第１の予測画像として出力する。

Layer2専用符号化器３０４は、入力されたディジタル動画像信号に対して、任意の方法にて縦横夫々１／２倍に縮小したレイヤ２画像を生成する。Layer2専用符号化器３０４は、このレイヤ２画像と、Layer1専用符号化器３０３から入力された前記第１の予測画像との間で、レイヤ（Layer1、Layer2）間予測を実施する。これにより、レイヤ２予測誤差が出力される。
Layer2専用符号化器３０４は、前記レイヤ１符号化画像を生成したのと同様に、前記レイヤ２予測誤差に対して、Layer2におけるフレーム内符号化（Intra）又はフレーム間予測符号化（Inter）を実施し、レイヤ２符号化画像を生成する。

Layer2専用符号化器３０４は、前記レイヤ２符号化画像を、図１に示すバッファ２０２（図４に示すLayer2専用記憶器４０４）へ記憶させると共に（好ましくは同時に）復号化処理する。これにより、レイヤ２復号化画像が生成される。Layer2専用符号化器３０４は、このレイヤ２復号化画像に対して、縦横夫々２倍の拡大処理を施した画像を生成し、生成した画像をLayer3専用符号化器３０５へ第２の予測画像として入力する。

Layer3専用符号化器３０５は、入力されたディジタル動画像信号をレイヤ３入力画像とし、Layer2専用符号化器３０４から入力された前記第２の予測画像との間で、レイヤ(Layer2、Layer3）間予測を実施する。これにより、レイヤ３予測誤差が出力される。

Layer3専用符号化器３０５は、前記レイヤ２符号化画像を生成したのと同様に、前記レイヤ３予測誤差に対して、Layer3におけるフレーム内符号化（Intra）又はフレーム間予測符号化（Inter）を実施する。これにより、レイヤ３符号化画像が生成される。Layer3専用符号化器３０５は、このレイヤ３符号化画像を、図１に示すバッファ２０２（図４に示すLayer3専用記憶器４０５）に記憶させる。

以上のように、本実施形態では、多階層符号化器２０１（Layer1専用符号化器３０３、Layer2専用符号化器３０４、Layer3専用符号化器３０５）を用いることにより、符号化手段が実現される。
尚、ここでは、符号化フォーマットが、空間スケーラブル符号化である場合について説明したが、符号化フォーマットは、その他のものであってもよい。符号化フォーマットは、例えば、MPEG-2で定義されている時間スケーラブル符号化又はSNRスケーラブル符号化であってもよい。また、図４に示すように、本実施形態では、バッファ２０２は、各レイヤの専用メモリが独立に存在するような内部構造を有するようにしたが必ずしもこのようにする必要はない。例えば、物理的に１つのメモリをアドレスで分割して使用することにより、各レイヤの専用メモリを構成するようにてもよい。

以上のようにしてバッファ２０２に記憶された各レイヤの符号化画像（前記レイヤ１符号化画像、前記レイヤ２符号化画像、及び前記レイヤ３符号化画像）には、制御装置２０６により予め重要度が付与されている。尚、この重要度は、任意の関数に従って自動付与される他に、任意の入力手段を用いて、外部から指定することも可能である。

尚、以下では、Layer1、Layer2、Layer3の順で重要度が低くなる場合（Layer1が最も重要度が高い場合）を例に挙げて説明する。
また、以下では、任意のフレームにおける各レイヤの発生符号量をパケット化した結果、次のようなパケット数になった場合を例に挙げて説明する。
Layer1:２０パケット、Layer2：６パケット、Layer3：２パケット

前記任意のフレームにおけるLayer1に属する前記レイヤ１符号化データは、Layer1専用記憶器４０３から読み出され、パケット化器２０３へ出力される。図５は、符号化データをパケット化する様子の一例を概念的に示す図である。
パケット化器２０３は、入力された前記レイヤ１符号化データを、図５に示すようにフレームの先頭から一定ビット数（図５ではＮ［bytes］）単位で切り出して、夫々に所定のパケットヘッダ５０１〜５０４を付与する。
フレームの最終データを含むパケット５０５を生成する際に、前記レイヤ１符号化データの残りの符号量が前記Ｎ［bytes］未満である（ｓ［bytes］である）場合、パケット化器２０３は、次のように処理する。すなわち、パケット化器２０３は、残りの（Ｎ−ｓ）[bytes]を、任意のスタッフィング・バイト（Stuffing Byte）５０６で充填し、全てのパケットが同一のサイズ（前記Ｎ［bytes］）になるように処理する。ここで、スタッフィング・バイトとは、復号化器に入力した時に無効データとして扱われるデータをいう。
以上のように本実施形態では、パケット化器２０３を用いることにより、パケット化手段が実現される。

パケット化器２０３にてパケット化された前記レイヤ１符号化データ（パケット化器２０３にて生成されたパケット）は、送信器２０４へ出力される。送信器２０４に入力された前記レイヤ１符号化データ（パケット）は、図６に示すフローチャートに従って制御され、送信される。このように本実施形態では、送信器２０４を用いることにより通信手段が実現される。図６は、パケットを送信する際の送信装置２００における処理の一例を説明するフローチャートである。

まず、情報取得器２０５は、情報入力端子２０９を経由して、パケットの送信先となる受信側の装置（受信装置）の受信状態情報を取得するまで待機する（ステップＳ５０１）。前記受信状態情報には、例えば、受信側の装置における平均受信レート情報、パケットロス率情報、及び受信バッファ占有率情報が含まれている。
前記受信状態情報が取得されると、制御装置２０６は、前記任意のフレームにおける各階層のうち、重要度が最も高い階層（ここではLayer1）を判定する。そして、制御装置２０６は、例えば次のようにして、重要度が最も高いLayer1に属する前記レイヤ１符号化データに基づくパケットの送信パターンＳｎを決定する（ステップＳ５０２）。すなわち、制御装置２０６は、前述した平均受信レート情報、パケットロス率情報、及び受信バッファ占有率情報を統計的に評価することにより、受信側の装置において、パケットロス率が（パケットロスの発生確率）最小となる送信パターンＳｎを算出する。ここで、送信パターンＳｎは、例えば、バースト送信１回あたりに送信されるパケット数と、各パケットの送信間隔とに基づいて定められる。尚、このステップＳ５０２では、パケットロスが発生しないように、送信パターンＳｎを算出することもできる。ここで、前記バースト送信とは、まとまったパケットを一度に集中して送信する送信方法であり、バースト数とはバースト送信における、１送信単位のパケット数のことである。

図７は、パケットの送信パターンの一例を示す図である。図７（ａ）は、全てのレイヤのパケットを１回でバースト送信する場合の送信パターン（従来の送信パターン）を示す図である。図７（ｂ）及び図７（ｃ）は、本実施形態の送信装置２００で決定される送信パターンＳｎの一例を示す図である。図７（ｂ）に示す例では、Layer1（レイヤ１符号化データ）に対する送信パターンＳｎは５（Ｓｎ＝５）であり、Layer2、Layer3（レイヤ２符号化データ、レイヤ３符号化データ）に対する送信パターンＳｎは８（Ｓｎ＝８）である。尚、このLayer2、Layer3に対する送信パターンＳｎは、Layer2に対する送信パターンと、Layer3に対する送信パターンとを個別に求めることにより得られる（ステップＳ５０９〜Ｓ５１２を参照）。また、図７（ｃ）に示す例では、送信パターンＳｎは４（Ｓｎ＝４）ということになる。また、図７（ｄ）は、レイヤ１符号化データに基づくパケット７０１、レイヤ２符号化データに基づくパケット７０２、レイヤ３符号化データに基づくパケット７０３を示した図である。これらのパケット７０１〜７０３が、図７（ｂ）や図７（ｃ）に示す送信パターンＳｎに従ってバースト送信される。

前述した統計的な評価は、例えば、次の第１〜第３の処理により実現することができる。
第１の処理として、平均受信レートと、パケットロス率と、それに対応するバースト数とから定まる点を３次元座標上にプロットし、プロットしたデータをデータベースとして任意の保存期間保存しておくようにする。制御装置２０６は、前記データベースからパケットロス率が最小となる受信レートＲとバースト数Ｌ１を読み出す。
第２の処理として、受信バッファ占有率と、パケットロス率と、それに対応するバースト数とから定まる点を３次元座標上にプロットし、プロットしたデータをデータベースとして任意の保存期間保存しておくようにする。制御装置２０６は、前記データベースからパケットロス率が最小となる受信バッファ占有率Ｑとバースト数Ｌ２を読み出す。

第３の処理として、制御装置２０６は、例えば、第１の処理で最小となると見積もられたパケットロス率と、第２の処理で最小となると見積もられたパケットロス率とのうち、小さいほうのパケットロス率に対応するバースト数を送信パターンＳｎとして決定する。
尚、平均受信レートと、受信バッファ占有率と、それに対応するバースト数とから定まる点を３次元座標上にプロットし、プロットしたデータをデータベースとして任意の保存期間保存しておくようにしてもよい。このようにした場合、制御装置２０６は、前記データベースから、オーバーフローやアンダーフローの発生しない範囲で最大のバースト数Ｌ３を読み出す。そして、例えば、第１及び第２の処理で読み出したバースト数Ｌ１、Ｌ２のうち、小さいほうのバースト数が、バースト数Ｌ３よりも大きい場合には、バースト数Ｌ３を送信パターンＳｎとして決定することができる。一方、そうでない場合には、バースト数Ｌ１、Ｌ２のうち、小さいほうのバースト数を送信パターンＳｎとして決定することができる。
尚、前述した統計的な評価は、以上のようなものに限定されず、種々の方法で行うことができる。

次に、制御装置２０６は、ステップＳ５０２で算出された送信パターンＳｎにて、重要度が最も高い前記Layer1の１フレーム分の符号化データを送信した場合の所要時間Ｔｒを算出する（ステップＳ５０３）。そして、制御装置２０６は、この所要時間Ｔｒが、１フレーム時間（1FrameTime）以内であるか否かを判定する（ステップＳ５０４）。
この判定の結果、所要時間Ｔｒが１フレーム時間以内である場合、制御装置２０６は、ステップＳ５０３で算出された送信パターンＳｎを送信器２０４に指示する。送信器２０４は、送信パターンＳｎに従ってレイヤ１符号化データ（Layer1の符号化データ）のバースト送信を実施する（ステップＳ５０５）。
一方、所要時間Ｔｒが１フレーム時間を超えている場合、制御装置２０６は、所要時間Ｔｒが、１フレーム時間以内に収まる送信パターンＳｘを別途算出する（ステップＳ５０６）。

ここで、送信パターンＳｘは、例えば次のようにして求めることができる。
１フレーム相当時間をＴｆ、送信装置２００のシステム・クロックの周期をＴ、任意の符号化フレームの発生符号量をＲｉ、１パケットあたりに伝送可能な符号量をＲｐとする。そうすると、１フレーム時間内でバースト送信を実施可能な回数Ｎｂは、以下の（１）式、（２）式で表される。
Ｎｂ＝（Ｔｆ／Ｔ） ・・・（１）
Ｎｂ＝（Ｔｆ／Ｔ）＋１ ・・・（２）
ここで、（１）式は、１フレーム相当時間Ｔｆをシステム・クロックの周期Ｔで割ったときの余りが０である場合の値である。一方、（２）式は、１フレーム相当時間Ｔｆをシステム・クロックの周期Ｔで割ったときの余りが０より大きい場合の値である。

また、任意の符号化フレームの全符号量を伝送するために必要なパケット数Ｎｐは、以下の（３）式、（４）式で表される。
Ｎｐ＝（Ｒｉ／Ｒｐ） ・・・（３）
Ｎｐ＝（Ｒｉ／Ｒｐ）＋１ ・・・（４）
ここで、（３）式は、任意の符号化フレームの発生符号量Ｒｉを、１パケットあたりに伝送可能な符号量Ｒｐで割ったときの余りが０である場合の値である。一方、（４）式は、任意の符号化フレームの発生符号量Ｒｉを、１パケットあたりに伝送可能な符号量Ｒｐで割ったときの余りが０より大きい場合の値である。

１フレーム時間内でバースト送信を実施可能な回数Ｎｂと、任意の符号化フレームの全符号量を伝送するために必要なパケット数Ｎｐとを用いると、バースト数Ｌｔは、以下の（５）式、（６）式で表される。
Ｌｔ＝（Ｎｐ／Ｎｂ） ・・・（５）
Ｌｔ＝（Ｎｐ／Ｎｂ）＋１ ・・・（６）
ここで、（５）式は、任意の符号化フレームの全符号量を伝送するために必要なパケット数Ｎｐを、１フレーム時間内でバースト送信を実施可能な回数Ｎｂで割ったときの余りが０である場合の値である。一方、（６）式は、任意の符号化フレームの全符号量を伝送するために必要なパケット数Ｎｐを、１フレーム時間内でバースト送信を実施可能な回数Ｎｂで割ったときの余りが０より大きい場合の値である。
制御装置２０６は、例えば、以上の（１）式〜（６）式の計算を行うことにより、バースト数Ｌｔを算出し、このバースト数Ｌｔを送信パターンＳｘとして決定することができる。尚、送信パターンＳｘの決定方法は、このようなものに限定されない。

制御装置２０６は、ステップＳ５０６で算出された送信パターンＳｘを送信器２０４に指示する。送信器２０４は、送信パターンＳｘに従ってレイヤ１符号化データのバースト送信を実施する（ステップＳ５０７）。

以上のようにして本実施形態では、Layer1の符号化データに基づくパケットを最優先で送信する。Layer1の符号化データに基づくパケットの送信が完了すると、制御装置２０６は、未送信の階層のうち、最も重要度が高い階層（次に重要度が高い階層）であるLayer2を処理対象の階層として指定する（ステップＳ５０８）。
以上のように本実施形態では、ステップＳ５０２で、重要度が最も高い階層を判定する処理を行い、ステップＳ５０８で、階層を指定する処理を行うことにより、判定手段が実現される。
次に、制御装置２０６は、レイヤ１符号化データの送信に要した所要時間Ｔｒと１フレーム時間との差分時間（残り時間）Ｔｘ（＝(1FrameTime）−Ｔｒ）を算出する（ステップＳ５０９）。そして、制御装置２０６は、差分時間Ｔｘが正の数であるか否か（差分時間Ｔｘが閾値（＝０）より大きいか、それとも閾値以下であるか）を判定する（ステップＳ５１０）。このように本実施形態では、ステップＳ５１０の処理を行うことにより、第２の判定手段が実現される。
この判定の結果、差分時間Ｔｘが正の数である場合、制御装置２０６は、レイヤ２符号化データに基づく全てのパケット（Layer2の全符号化データ）の送信パターンＳｓを算出する。このとき、パケットロスが発生しない、又はパケットロス率が最低となるように、送信パターンＳｓを算出するのが好ましい。そして、制御装置２０６は、算出した送信パターンＳｓに、レイヤ２符号化データに基づく全てのパケットを差分時間Ｔｘ以内に送信可能な送信パターンＳｓがあるか否かを判定する（ステップＳ５１１）。尚、ステップＳ５１１において、レイヤ２符号化データに基づく全てのパケットを差分時間Ｔｘ以内に送信可能な送信パターンＳｓを算出することが可能であるか否かを判定し、可能である場合に、送信パターンＳｓを算出するようにしてもよい。
以上のように本実施形態では、ステップＳ５０２、Ｓ５０６、Ｓ５１１の処理を行うことにより決定手段が実現される。

この判定の結果、レイヤ２符号化データに基づく全てのパケットを差分時間Ｔｘ以内に送信可能な送信パターンＳｓがある場合、制御装置２０６は、算出した送信パターンＳｓを送信器２０４に指示する。送信器２０４は、送信パターンＳｓに従ってレイヤ２符号化データのバースト送信を実施する（ステップＳ５１２）。
以上のように本実施形態では、ステップＳ５０５、Ｓ５０７、Ｓ５１２の処理を行うことにより送信手段が実現される。

そして、ステップＳ５０８に戻り、次のレイヤ、即ちLayer3を処理対象の階層として指定する。Layer3以降のデータについては、ステップ５０９〜５１２の処理を繰り返すことになる。この場合、ステップＳ５１０においては、それまでに送信された符号化データ（レイヤ１符号化データ及びレイヤ２符号化データ）の送信に要した所要時間Ｔｒの総和と１フレーム時間との差分時間Ｔｘが、０より大きいか否かを判定することになる。

ステップＳ５１０において、差分時間Ｔｘが正の数でないと判定された場合と、ステップＳ５１１において、全レイヤ２符号化データを差分時間Ｔｘ以内に送信可能な送信パターンＳｓがないと判定された場合には、次の処理を行い、図６の処理を終了する。すなわち、制御装置２０６は、Layer2及びそれ以降の全レイヤの符号化データ（レイヤ２符号化データ、全レイヤ３符号化データ）を廃棄して、図６の処理を終了する。本実施形態では、この処理により破棄手段が実現される。また、制御装置２０６は、Layer2及びそれ以降の全レイヤの符号化データを送信しないことを送信器２０４に指示してもよい。
尚、ステップＳ５０８において、次の階層がない場合（重要度の低い階層についてステップＳ５０９以降の処理を行った場合）には、ステップＳ５０９以降の処理を行わずに、図６の処理を終了することになる。また、図６において、制御装置２０６で行う処理を、送信器２０４で実現してもよい。

図７（ｂ）に示す例では、レイヤ１符号化データが２０［Packets］あり、この２０［Packets］のパケットを、送信パターンＳｎを５としてバースト送信している。また、レイヤ２符号化データが６［Packets］あり、レイヤ３符号化データが２［Packets］あり、これらのパケットを、送信パターンＳｓを８としてバースト送信している。
同様に、図７（ｃ）に示す例では、レイヤ１符号化データが２０［Packets］あり、この２０［Packets］のパケットを、送信パターンＳｎを４としてバースト送信している。そして、レイヤ２符号化データ、レイヤ３符号化データは、送信時間不足により廃棄される（送信されない）。

以上のように本実施形態では、重要度が最も高いlayer1の符号化データ（レイヤ１符号化データ）に基づくパケットについて、１フレーム時間以内に送信完了となり、パケットロス率が最低となる（又はパケットロスがない）送信パターンＳｎを算出する。そして、その送信パターンＳｎに従って、レイヤ１符号化データに基づくパケットをバースト送信する。そして、レイヤ１符号化データの送信に要した所要時間Ｔｒと１フレーム時間との差分時間以内で、残りの階層であるlayer2、layer3の符号化データ（レイヤ２符号化データ、レイヤ３符号化データ）に基づくパケットをバースト送信する。このように階層毎に送信パターンを算出してバースト送信することにより、階層の重要度に応じて、送信エラーの発生確率を容易に制御できるようになる。よって、通信経路の状況が悪くパケットロスが発生しやすい状況であっても、重要度の高い低層のデータのエラーの発生確率を低減させることが可能となり、より乱れの少ない映像・音響データを受信装置に提供することが可能となる。また、通信経路が安定している場合には、重要度の低い高層のデータも正しく送信されるため、適応的な処理が可能となる。

また、本実施形態では、パケットロス率が最低となる（又はパケットロスがない）送信パターンＳｎを算出した後、その送信パターンＳｎに従ってレイヤ１符号化データに基づくパケットを１フレーム時間内に送信できるか否かを判定する。そして、送信できない場合には、１フレーム時間内に送信できる送信パターンＳｘを別途算出し、算出した送信パターンＳｘに従って、レイヤ１符号化データに基づくパケットをバースト送信する。したがって、重要度の高いデータをより適切に受信装置に送信することができる。

尚、本実施形態では、layer2、layer3の符号化データ（レイヤ２符号化データ、レイヤ３符号化データ）に基づくパケットを纏めてバースト送信する場合を例に挙げて示したが、必ずしもこのようにする必要はない。例えば、layer2の符号化データ（レイヤ２符号化データ）に基づくパケットについても、ステップＳ５０３〜Ｓ５０５の処理に基づいてバースト送信するようにしてもよい。すなわち、１つ又は複数の階層毎に、送信パターンを決定し、決定した送信パターンに従ってバースト送信していれば、どのようにバースト送信してもよい。
また、受信状態情報は、前述したものに限定されない。例えば、パケットロスの連続数や、パケットロス率以外のエラー発生確率等を受信状態情報として取得してもよい。

また、本実施形態では、受信状態情報に基づいて、パケットロス率が最低となる（又はパケットロスがない）送信パターンＳｎを算出するようにしたが、必ずしもこのようにする必要はない。例えば、送信装置２００と受信装置との間の送信経路となる通信回線の使用可能な容量（通信回線の空き容量）を示す回線容量情報に基づいて、パケットロス率が最低となる（又はパケットロスがない）送信パターンＳｎを算出するようにしてもよい。この場合、情報取得器２０５は、例えば、通信回線を監視している外部装置から回線容量情報を取得したり、回線容量情報を自発的に検出したりすることができる。また、受信状態情報と回線容量情報との双方に基づいて、パケットロス率が最低となる（又はパケットロスがない）送信パターンＳｎを算出するようにしてもよい。

また、ステップＳ５０１で取得した受信状態情報（例えばパケットロス率）が閾値を超えていると判定した場合、重要度が最も高い階層（Layer1）の冗長送信が受信装置から指定された場合、レイヤ１符号化データに対して冗長送信するようにしてもよい。また、受信状態情報としてパケットロスの連続数を取得している場合には、パケットロスの連続数が閾値を超えていると判定した場合に、レイヤ１符号化データに対して冗長送信するようにしてもよい。

また、本実施形態では、レイヤ１符号化データの送信に要した所要時間Ｔｒと１フレーム時間との差分時間Ｔｘが、０より大きいか否かを判定するようにした（図６のステップＳ５１０を参照）。しかしながら、差分時間Ｔｘに対して設定する閾値は０に限定されるものではない。例えば、処理対象の階層の符号化データ（例えばレイヤ２符号化データ）の符号量に対して比例関係にある変数（処理対象の階層の符号化データの符号量に対応する時間（変数））を閾値としてもよい。例えば、処理対象の階層の符号化データの符号量に基づいて、その符号化データを送信するのに要する所要時間を算出し、その所要時間を閾値としてもよい。ステップＳ５１０では、差分時間Ｔｘが閾値（＝０）より大きいか否かを判定するようにしたが、このようにした場合には、差分時間Ｔｘが閾値以上であるか否かを判定するようにすることができる。そして、このようにした場合には、ステップＳ５１１の処理を省略することもできる。

また、本実施形態では、送信済みの階層の送信に要した所要時間Ｔｒの総和と１フレーム時間との差分時間Ｔｘが、閾値より大きい（閾値以上の）場合に、未送信の階層のパケットの送信パターンＳｓを算出するようにした（ステップＳ５１０、Ｓ５１１を参照）。しかしながら、必ずしもこのようにする必要はない。例えば、このステップＳ５１０の条件に加え、送信済みの階層の送信に要した所要時間Ｔｒの総和が、１フレーム時間より小さい（又は１フレーム時間以下）であることも、未送信の階層のパケットの送信パターンＳｓを算出するための条件に加えてもよい。第３の判定手段は、例えば、このような処理を行うことにより実現することができる。そして、このようにした場合には、これら２つの条件を満たした場合に、ステップＳ５１１の処理を実行する。一方、これら２つの条件の少なくとも何れか一方を満たさない場合には、未送信の階層の符号化データを破棄する（送信しないように）ことができる。例えば、送信済みの階層の送信に要した所要時間Ｔｒの総和が、１フレーム時間以上（又は１フレーム時間より大きい場合）にも、未送信の階層の符号化データを破棄する（送信しないように）ことができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。尚、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図７に付した符号と同一の符号を付すこと等により、詳細な説明を省略する。

図８は、送信装置の構成の一例を示す図である。本実施形態では、3840×2160［pixels］（図９に示すLayer2の画像）のディジタル動画像信号が、入力端子９０１を経由して縮小器９０２に入力された場合を例に挙げて説明する。
縮小器９０２は、入力された前記ディジタル動画像信号を、縦横夫々１／２倍に縮小処理して、1920×1080［pixels］（図９に示すLayer1の画像）のディジタル動画像信号を生成する。縮小器９０２は、生成したディジタル動画像信号を端子９０２ａからH.264符号化器（Layer1）９０３へ出力する。
一方、縮小器９０２は、サイズ変更処理を実施しないディジタル動画像信号（3840×2160［pixels］のディジタル動画像信号）を、端子９０２ｂから出力し、バッファ９１０に記憶させる。

H.264符号化器（Layer1）９０３は、前記1920×1080［pixels］のディジタル動画像信号に対して、H.264符号化フォーマットに準拠した符号化処理（フレーム内予測符号化、又はフレーム間予測符号化）を実施する。H.264符号化器（Layer1）９０３は、符号化処理した結果として、ＮＡＬ（Network Abstraction Layer）をバッファ９０４に出力する。
ＮＡＬのペイロードには、前記符号化処理されたディジタル動画像信号（スライス）と、パラメータセット等の前記符号化処理された動画像信号以外のデータとの少なくとも何れかが格納される。尚、ＮＡＬのペイロードは、RBSP（Raw Byte Sequence Payload）と呼ばれる。

H.264符号化器（Layer1）９０３から出力されたＮＡＬは、バッファ９０４に格納された後、任意のタイミングで読み出され、パケット化器９０５の入力端子９０５ａへ入力される。
パケット化器９０５は、例えば、図５に示したように、任意のパケットフォーマットに従って、次のような処理を行う。すなわち、パケット化器９０５は、入力されたデータをＮ［bytes］毎に分割して夫々を個別にパケットペイロードに格納したり、入力されたデータを複数個まとめたＮ［bytes］分のデータを１つのパケットのペイロードに格納したりする。そして、パケット化器９０５は、１パケット（１ペイロード）毎に所定のパケットヘッダ５０１〜５０５を付けてパケットを生成して出力する。

パケット化器９０５から出力された各パケットは、送信器９０６に入力される。送信器９０６は、入力されたパケットを、所定の通信プロトコルに従って処理（変形）した後、通信路（通信回線）９０９を介して受信装置にバースト送信する。

次に、パケット化器９０５への入力が、入力端子９０５ａ、９０５ｂの両方、即ちLayer1とLayer2の符号化データが存在する場合の送信装置９００の動作の一例について説明する。
H.264符号化器（Layer1）９０３で符号化され、バッファ９０４に記憶された符号化データは、制御装置９１２の制御により読み出され、H264.1復号化器（Layer1）９０７へ入力される。
H264.1復号化器（Layer1）９０７は、制御装置９１２からの制御に基づいて、入力された符号化データ（H.264符号化器（Layer1）９０３で符号化された符号化データ）を復号化して拡大器９１１に出力する。尚、以下の説明では、この復号化を行った符号化データを、必要に応じて局部復号化ディジタル動画像信号と称する。

前記局部復号化ディジタル動画像信号は、拡大器９１１に入力される、拡大器９１１は、入力された前記局部復号化ディジタル動画像信号の縦横の夫々を２倍に拡大処理する。すなわち、拡大器９１１は、縮小器９０２で行われた縮小処理と逆の処理を行う。これにより、入力端子９０１に入力されたディジタル動画像信号と同じサイズのディジタル動画像信号が、符号化器（Layer2）９０８に入力される。
これと同時に、符号化器（Layer2）９０８は、H264.1復号化器９０７に入力された前記局部復号化ディジタル動画像信号に対応する（前記局部復号化ディジタル動画像信号と同一のフレームの）ディジタル動画像信号をバッファ９１０から読み出す。

符号化器（Layer2）９０８は、入力された２つのディジタル動画像信号の差分値（レイヤ間予測誤差）をフレーム毎に算出する。符号化器（Layer2）９０８は、このフレーム毎のレイヤ間予測誤差を、符号化器（Layer2）９０８の固有に符号化フォーマットに従って符号化（フレーム内符号化、又はフレーム間予測符号化）する。ここで、符号化器（Layer2）９０８の固有に符号化フォーマットとは、H.264とは互換性が無い独立した符号化フォーマットをいう。

符号化器（Layer2）９０８から出力された符号化データは、入力端子９０５ｂからパケット化器９０５に入力される。パケット化器９０５は、入力端子９０５ａから入力された符号化データと同様に、任意のパケットフォーマットに従って、入力端子９０５ｂから入力された符号化データに基づくパケットを生成する。すなわち、パケット化器９０５は、入力されたデータをＮ［bytes］毎に分割して夫々を個別にパケットペイロードに格納したり、入力されたデータを複数個まとめたＮ［bytes］分のデータを１つのパケットのペイロードに格納したりする。そして、パケット化器９０５は、１パケット（１ペイロード）毎に所定のパケットヘッダ５０１〜５０５を付けてパケットを生成して出力する。

パケット化器９０５から出力された各パケットは、送信器９０６に入力される。送信器９０６は、入力されたパケットを、所定の通信プロトコルに従って処理（変形）した後、通信路（通信回線）９０９を介して受信装置にバースト送信する。

図１０は、送信器９０６から送信されるパケットの一例を示す図である。
例えば、通信プロトコルがＲＴＰ（ＵＤＰ）である場合、送信器９０６は、図１０に示すように、パケット化器９０５から出力されるパケットをＲＴＰパケットのペイロード（RTP Payload）１００１に格納する。そして、送信器９０６は、ＲＴＰパケットのペイロード（RTP Payload）１００１と、ＲＴＰパケットのヘッダ（RTP Header）１００２とを備えるＲＴＰパケット（RTP Packet）を形成する。
ＲＴＰは、エンドポイントの識別情報を持っていない為、トランスポート・プロトコルとしては不完全である。そこで、本実施形態では、送信器９０６は、図１０に示すように、ＵＤＰ（User Datagram Protocol）を下位層として使用する。すなわち、送信器９０６は、ＲＴＰパケットを格納したＵＤＰパケット（UDP Packet）のデータ部に、ＵＤＰパケットのヘッダ（UDP Header）１００３が付加されたＵＤＰパケット（UDP Packet）を形成して送信する。更に、図１０に示すように、ＵＤＰパケットを格納したＩＰパケット（IP Packet）のデータ部に、ＩＰパケットのヘッダ（IP Header）１００４が付加されたIＰパケット（IP Packet）を形成して送信することも可能である。

送信器９０６は、通信路（通信回線）９０９の空き容量を検出する機能を有する。また送信器９０６は、検出した通信路９０９の空き容量と、入力されたパケットの符号量と、入力されたパケットの符号量に対して指定された送信時間の最大値とに基づいて、パケットロス率等のエラー発生確率が最小となる送信パターンを算出する機能を有している。そして、送信器９０６は、算出した送信パターンにてパケットをバースト送信する機能を有している。尚、これらの機能の全部又は一部を制御装置９１２が有していてもよい。

また、同一のフレームを構成する符号化データであって、互いに重要度が異なる複数の符号化データ（前記レイヤ１符号化データと前記レイヤ２符号化データ）が入力された場合、送信器９０６は、次のような処理を行う。すなわち、送信器９０６は、最も重要度の高い符号化データ（前記レイヤ１符号化データ）に対して、前述した第１の実施形態と同様の処理を行う。送信器９０６は、処理対象のフレームのレイヤ１符号化データに基づく全てのパケット（全符号量）を、現状の通信環境にて送信するにあたり、パケットロス率が最小となり、且つ送信に要する所要時間Ｔｒが１フレーム時間内で最小となる送信パターンを算出する。そして、送信器９０６は、算出した送信パターンで、前記レイヤ１符号化データに基づくパケットのバースト送信を実施する。

次に、送信器９０６は、前記レイヤ１符号化データの送信に要した所要時間Ｔｒと１フレーム時間との差分時間Ｔｘを算出し、算出した差分時間Ｔｘが０よりも大きいか否かを判定する。この判定の結果、差分時間Ｔｘが０よりも大きい場合、送信器９０６は、前記レイヤ２符号化データに基づく全てのパケットを送信するための送信パターンを算出する。そして、送信器９０６は、差分時間Ｔｘ内で、前記レイヤ２符号化データに基づく全てのパケットを送信することが可能な送信パターンがあるか否かを判定する。この判定の結果、前記レイヤ２符号化データに基づく全てのパケットを送信することが可能な送信パターンがある場合には、その送信パターンに従って、前記レイヤ２符号化データに基づく全てのパケットをバースト送信する（図７（ｂ）を参照）。

一方、差分時間Ｔｘが０よりも大きくない場合、又は差分時間Ｔｘ内で、前記レイヤ２符号化データに基づく全てのパケットを送信することが可能な送信パターンがない場合には、前記レイヤ２符号化データに基づくパケットを送信しない（破棄する）。
尚、重要度の異なるパケットが３種類以上入力された場合も、前述したのと全く同様の処理を行うことができる。また、第１の実施形態と同様に、送信パターンを算出する機能等を制御装置９１２に持たせるようにしてもよい。

前述したような重要度が最も高い前記レイヤ１符号化データに対する送信パターンの算出は、毎フレーム実施することができる。ただし、必ずしもこのようにする必要はなく、発生符号量が最も多いイントラ符号化フレーム毎に送信パターンを算出するのが好ましい。また、発生符号量が既知の符号化データ（例えば、全て符号化済みの動画像コンテンツ）を送信する場合には、符号量が任意に定めた閾値を越えるフレームに対して、送信パターンを算出するのが好ましい。

パケット化器９０５への入力がH.264符号化器（Layer1）９０３からのみであることを制御装置９１２が検出した場合、送信器９０６は、制御装置９１２の制御により、次のような処理を行う。すなわち、送信器９０６は、１フレーム分の符号量（パケット）を１フレーム時間に分散する送信パターンを算出する。そして、送信器９０６は、算出した送信パターンを用いて送信を実施する（例えば、図７（ｃ）を参照）。また、このような処理は、制御装置９１２の制御により、H.264符号化器（Layer1）を稼働に、符号化器（Layer2）９０８を非稼働に設定された場合（H.264符号化データのみが入力される場合）にも行うことができる。

尚、前述した各実施形態において、送信パターンは１つに限定されるものではない。例えば、送信装置２００、９００の事情に応じて、１パケット毎の送信間隔を１フレーム時間内で等間隔に調整するパターンを送信パターンとしてもよい。

（本発明の他の実施形態）
前述した本発明の実施形態における送信装置を構成する各手段、並びに送信方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図６に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどがある。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、若しくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

尚、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の第１の実施形態を示し、送信装置の構成の一例を示す図である。 本発明の第１の実施形態を示し、多階層符号化器の構成の一例を示す図である。 本発明の第１の実施形態を示し、送信装置（多階層符号化器）で生成される画像の一例を概念的に示す図である。 本発明の第１の実施形態を示し、バッファの構成の一例を示す図である。 本発明の第１の実施形態を示し、符号化データをパケット化する様子の一例を概念的に示す図である。 本発明の第１の実施形態を示し、パケットを送信する際の送信装置における処理の一例を説明するフローチャートである。 本発明の第１の実施形態を示し、パケットの送信パターンの一例を示す図である。 本発明の第２の実施形態を示し、送信装置の構成の一例を示す図である。 本発明の第２の実施形態を示し、送信装置で生成される画像の一例を概念的に示す図である。 本発明の第２の実施形態を示し、送信器から送信されるパケットの一例を示す図である。

符号の説明

２００ 送信装置
２０１ 多階層符号化器
２０２ バッファ
２０３ パケット化器
２０４ 送信器
２０５ 情報取得器
２０６ 制御装置
９００ 送信装置
９０２ 縮小器
９０３ H.264符号化器
９０４ バッファ
９０５ パケット化器
９０６ 送信器
９０７ H.264復号化器
９０８ 符号化器
９１０ バッファ
９１１ 拡大器
９１２ 制御装置

Claims (10)

1. 複数の階層を有するデータを階層毎に符号化する符号化手段と、
   前記符号化手段により符号化された符号化データに基づくパケットを生成するパケット化手段と、
   前記パケット化手段により生成されたパケットの送信パターンを、前記複数の階層毎に決定する決定手段と、
   前記決定手段により決定された送信パターンに従って、前記パケット化手段により生成されたパケットを送信する送信手段と、を有することを特徴とする送信装置。
2. 前記決定手段は、前記パケットの送信経路となる通信回線の容量を示す回線容量情報と、前記パケットの送信先となる受信装置における受信状態を示す受信状態情報との少なくとも何れか一方に基づいて、パケットロスが発生しない、又はパケットロスの発生確率が最低となる送信パターンを、前記複数の階層毎に算出することを特徴とする請求項１に記載の送信装置。
3. 前記決定手段は、前記複数の階層の少なくとも１つの階層の符号化データに基づくパケットが、定められた時間以内に送信完了されるように、当該複数の階層の少なくとも１つの階層の符号化データに基づくパケットの送信パターンを決定することを特徴とする請求項１又は２に記載の送信装置。
4. 前記複数の階層に対する重要度を判定する判定手段を有し、
   前記送信手段は、前記判定手段により最も重要度が高いと判定された階層の符号化データに基づくパケットを最優先で送信することを特徴とする請求項１〜３の何れか１項に記載の送信装置。
5. 前記送信手段により既に送信された階層の符号化データに基づくパケットの送信に要した所要時間の総和と、定められた時間との差分時間が、閾値以上であるか否か、又は閾値より大きいか否かを判定する第２の判定手段と、
   前記第２の判定手段により、前記差分時間が前記閾値より小さいと判定された場合、又は前記差分時間が前記閾値以下であると判定された場合に、未送信の階層の符号化データを破棄する破棄手段とを有し、
   前記決定手段は、前記第２の判定手段により、前記差分時間が前記閾値以上であると判定された場合、又は前記差分時間が前記閾値より大きいと判定された場合に、未送信の階層の符号化データのうち、最も重要度が高い階層の符号化データに基づくパケットが、前記差分時間以内に送信完了されるように、当該最も重要度が高い階層の符号化データに基づくパケットの送信パターンを決定することを特徴とする請求項４に記載の送信装置。
6. 前記送信手段により既に送信された階層の符号化データに基づくパケットの送信に要した所要時間の総和が、定められた時間以下であるか否か、又は定められた時間より小さいか否かを判定する第３の判定手段を有し、
   前記第３の判定手段により、前記所要時間の総和が定められた時間より大きいと判定された場合、又は前記所要時間の総和が定められた時間以上であると判定された場合に、未送信の階層の符号化データを破棄する破棄手段とを有し、
   前記決定手段は、前記第３の判定手段により、前記所要時間の総和が定められた時間以下であると判定された場合、又は前記所要時間の総和が定められた時間より小さいと判定された場合に、未送信の階層の符号化データのうち、最も重要度が高い階層の符号化データに基づくパケットが、前記差分時間以内に送信完了されるように、当該最も重要度が高い階層の符号化データに基づくパケットの送信パターンを決定することを特徴とする請求項５に記載の送信装置。
7. 前記符号化手段は、複数の階層を有する１フレームのデータを符号化し、
   前記定められた時間は、１フレーム時間であり、
   前記閾値は、未送信の階層の符号化データの符号量に対して比例関係にある変数であることを特徴とする請求項５又は６に記載の送信装置。
8. 前記送信手段は、前記複数の階層のうち、最も重要度が高い階層の符号化データに基づくパケットの冗長送信が、当該パケットの送信先である受信装置から指定された場合、又は前記受信装置から取得されたパケットロスの連続数又はパケットロス率が閾値を超えていると判定された場合に、前記最も重要度が高い階層の符号化データに基づくパケットに対して、冗長送信を実施することを特徴とする請求項１〜７の何れか１項に記載の送信装置。
9. 複数の階層を有するデータを階層毎に符号化する符号化ステップと、
   前記符号化ステップにより符号化された符号化データに基づくパケットを生成するパケット化ステップと、
   前記パケット化ステップにより生成されたパケットの送信パターンを、前記複数の階層毎に決定する決定ステップと、
   前記決定ステップにより決定された送信パターンに従って、前記パケット化ステップにより生成されたパケットを送信する送信ステップと、を有することを特徴とする送信方法。
10. 複数の階層を有するデータを階層毎に符号化する符号化ステップと、
    前記符号化ステップにより符号化された符号化データに基づくパケットを生成するパケット化ステップと、
    前記パケット化ステップにより生成されたパケットの送信パターンを、前記複数の階層毎に決定する決定ステップと、
    前記決定ステップにより決定された送信パターンに従って、前記パケット化ステップにより生成されたパケットを送信することを通信手段に指示する送信ステップと、をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images