JP2011147120A - スケーラブル映像を優先度に応じて伝送する方法及びその装置 - Google Patents

Abstract

【課題】スケーラブル映像を優先度に応じて伝送し、スケーラブル映像のビットストリームの最適化選択および伝送の課題を解決するとともに、ビットストリームから再構築された画像の品質を最終的に向上させる。
【解決手段】スケーラブル映像の各ＧＯＰのＳＶＣ符号化後の階層化ビットストリームに対して、優先度並べ替えを行い、並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージおよびＲａｐｔｏｒ符号化を行って、伝送チャネルを介して、符号化後のスケーラブル映像のビットストリームを、スケーラブル映像の受信側に送信する方法及び装置を提供する。
【選択図】図１

Description

本発明は、スケーラブル映像符号化（ＳＶＣ：Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）技術分野に関し、特に、スケーラブル映像を優先度に応じて伝送する方法およびその装置に関する。

ＳＶＣは、スケーラビリティ機能を有する効率よい映像符号化方法である。ＳＶＣは、映像シーケンスを、１つの基本層と、異なるスケーラビリティを有する複数の強化層とからなるビットストリームに、符号化することができる。ここで、基本層は、最低の解像度および品質を有する画像シーケンスを復元することができる一方、強化層は、より高い解像度および品質を有する画像シーケンスを復元することができる。ＳＶＣで提供される時間領域、空間領域および品質領域という３つのスケーラビリティ方式によれば、端末が、一定の目標ビットレート、フレームレートおよび空間解像度を満足するビットストリームを、受信されたＳＶＣビットストリームから抽出して、異なるビットレート、フレームレートまたは解像度を有する映像の画像を復元できることが保証される。従って、ＳＶＣは、ネットワーク映像伝送に適するアルゴリズムであり、ますます広く応用される見込みがある。広帯域ネットワークの発展および人々から映像内容に対する要求の増加につれて、ＳＶＣに基づく映像システムにおいて、同一の映像内容に対して、異なる端末は、より速いフレームレートあるいはより高い解像度あるいはより良い品質を必要とする可能性がある。ＳＶＣのスケーラビリティによって、ソースに対して符号化を１回のみ行うだけで、異なる端末の要求を満足できる、ということが決定される。

一定のパケットロス率を有しまたは輻輳しているネットワークにおいて、異なる端末は、一定の時間内で、全てのビットストリームを受信できない可能性がある。但し、より低い解像度、フレームレートまたは品質を有する映像が、より下位層のビットストリームから再構築して得られるため、ＳＶＣにより、端末は、一部のビットストリームを受信した場合、ある程度の歪みを有する映像の画像を復元することができる。この場合、異なる端末ユーザの映像サービス品質を如何に保証するかが、映像伝送の当面する最大の挑戦である。ここで、伝送ビットストリームの順序およびビットストリームのデータパケットのフォーマットが、映像伝送方法における２つのキー課題である。

ネットワークにおいて、ＳＶＣ階層化（ｌａｙｅｒｅｄ）ビットストリームを伝送する場合、ソース情報は、最大の解像度およびビットレートで符号化されている。伝送過程において、帯域幅の変更により発生するパケットロスがない場合、異なるスケーラブル映像の受信側は、自身の受信能力により、異なる解像度のビットストリームを抽出することができる。しかしながら、パケットロスが発生すると、スケーラブル映像の受信側は、その解像度要求を満足する映像の画像の再構築に充分なデータパケットを受信できない可能性がある。この場合、スケーラブル映像の受信側で復元された映像シーケンスの品質は、退化することになる。つまり、スケーラブル映像の受信側で再構築された映像の画像の品質は、ネットワークにおけるチャネルのパケットロス率の影響を受ける。パケットロス率が増大すると、再構築された画像の品質は、明らかに低下する。そのため、チャネルのパケットロス率から再構築された画像の品質に対する影響を減少させるように、ＳＶＣ階層化ビットストリームを処理する有効な方法が必要になる。

上記の技術的課題を解決するために、本発明では、スケーラブル映像のビットストリームから再構築された映像の画像の品質を向上させるように、スケーラブル映像を優先度に応じて伝送する方法及びその装置が提供されている。

本発明の実施例に係る、スケーラブル映像を優先度に応じて伝送する方法は、スケーラブル映像の各ピクチャグループ（ＧＯＰ）のスケーラブル映像符号化（ＳＶＣ）後の階層化ビットストリームに対して、優先度並べ替えを行い、並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージおよびＲａｐｔｏｒ符号化を行って、伝送チャネルを介して、符号化後のスケーラブル映像のビットストリームを、スケーラブル映像の受信側に送信する、ことを含む。

ここで、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行うことは、並べ替えパス上の全ての可能ノードを、一定の(s,t,q)特性（ｓ、ｔおよびｑはそれぞれ、空間領域、時間領域および品質領域の解像度特性を表す）に対応する各状態ノードとして定義し、ｓ、ｔおよびｑの増加ステップサイズの違いにより、同じ増加ステップサイズを有する状態ノードが同じステージにあるように、全ての状態ノードを異なるステージに区分し、各状態ノードそれぞれのビットレートおよびその対応するピーク信号対雑音比（ＰＳＮＲ）によって、各状態ノードの並べ替え因子を計算し、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、各状態ノードの並べ替え因子の重み付け和が最大となる最適パスを決定し、最適パス上の初期ステージから宛先ステージまでの各状態ノードの順に従って、ＳＶＣ階層化ビットストリームを出力する、ことを含む。

数式
によって、各ノードの並べ替え因子を計算する。

ここで、g_jは第ｊのステージを表し、t_i(g_j)は第ｊのステージにおけるｉ番目の状態ノードを表し、t(g₀)は初期ステージの初期状態ノードを表し、t(g_K-1)は宛先ステージの宛先状態ノードを表し、
は状態ノードt_i(g_j)のＰＳＮＲを表し、
は状態ノードt_i(g_j)のビットレートを表し、
は初期状態ノードt(g₀)のＰＳＮＲを表し、
は初期状態ノードt(g₀)のビットレートを表し、
は宛先状態ノードt(g_K-1)のＰＳＮＲを表し、
は宛先状態ノードt(g_K-1)のビットレートを表し、O_i(g_j)は状態ノードt_i(g_j)の並べ替え因子を表し、Ｋはステージの総数を表す。

初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、最適パスを決定することは、数式
によって、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパス上の各状態ノードの並べ替え因子の重み付け和を計算し、最大となる並べ替え因子の重み付け和を有するパスを、最適パスとする、ことを含む。ここで、S_xは初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスのうち、x番目のパス上の各状態ノードの並べ替え因子の重み付け和を表し、O(g_j)は該x番目のパスの第ｊのステージにおける状態ノードの並べ替え因子を表し、ω_jは第ｊのステージの重み付け因子を表す（0＜ω_j＜1、0≦j≦K-1）。

初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、最適パスを決定することは、初期ステージの初期状態ノードを開始点として選択して、ノード識別子ｊを１に設定し、初期ステージの並べ替え因子の重み付け和S₀(t)を０に設定し、初期ノードの最適パスの状態ノード集合を初期状態ノードに初期化するステップＡ０と、数式
および
を採用して、第ｊのステージにおける各状態ノードの並べ替え因子の重み付け和S_j(t_i)を計算し、初期ステージから第ｊのステージにおける各状態ノードまでの最適パスの状態ノード集合をそれぞれ記録するステップＡ１と、ｊがＫ−１と等しいかどうかを判断し、等しい場合、宛先状態ノードの最適パスの状態ノード集合における各状態ノードからなるパスを、最適パスとし、等しくない場合、「ｊ＝ｊ＋１」にして、ステップＡ１に戻るステップＡ２と、を含む。

ここで、S_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子の重み付け和を表し、S_j-1(t_k)は第ｊ−１のステージにおける状態ノードt_iに繋がるｋ番目の状態ノードt_kの並べ替え因子の重み付け和を表し、ω_jは第ｊのステージの重み付け因子を表し、O_i(g_j)は第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子を表し、M_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iの最適パスの状態ノード集合を表し、M_j-1(t_k)は第ｊ−１のステージにおける状態ノードt_iに繋がる各状態ノードのうち、並べ替え因子の重み付け和の最大値に対応する状態ノードの最適パスの状態ノード集合を表す。

初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、最適パスを決定することは、宛先ステージの宛先状態ノードを開始点として選択し、ノード識別子ｊをＫ−２に設定し、宛先ステージの並べ替え因子の重み付け和T_K-1(t)を０に設定し、宛先ノードの最適パスの状態ノード集合を宛先状態ノードに初期化するステップａ０と、数式
および
を採用して、第ｊのステージにおける各状態ノードから宛先ステージまでの並べ替え因子の重み付け和T_j(t_i)を計算し、第ｊのステージにおける各状態ノードから宛先ステージまでの最適パスの状態ノード集合をそれぞれ記録するステップａ１と、ｊが０と等しいかどうかを判断し、等しい場合、初期状態ノードから宛先ステージまでの最適パスの状態ノード集合における各状態ノードからなるパスを、最適パスとし、等しくない場合、「ｊ＝ｊ―１」にして、ステップａ１に戻るステップａ２と、を含む。

ここで、T_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iから宛先ステージまでの並べ替え因子の重み付け和を表し、T_j+1(t_k)は第ｊ＋１のステージにおける状態ノードt_iに繋がるｋ番目の状態ノードt_kの並べ替え因子の重み付け和を表し、ω_jは第ｊのステージの重み付け因子を表し、O_i(g_j)は第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子を表し、M_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iから宛先ステージまでの最適パスの状態ノード集合を表し、M_j+1(t_k)は第ｊ＋１のステージにおける状態ノードt_iに繋がる各状態ノードから宛先ステージまでの並べ替え因子の重み付け和の最大値に対応する状態ノードから宛先ステージまでの最適パスの状態ノード集合を表す。

上記第ｊのステージの重み付け因子ω_jはω^j+1（0＜ω＜1、0≦j≦K-1）である。

最適パスが１つより多い場合、本発明の実施例に係る方法は、各ステージの重み付け因子の値を増加して、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、最適パスを再決定する、ことをさらに含む。

上記Ｒａｐｔｏｒ符号化は、並べ替えおよびパッケージ後の各層のソース行列ブロックのそれぞれに対して、ＲＳ符号化およびインターリーブを行って、ｍ個のデータパケットを得、ＬＴ符号化の次数を決定し、決定されたＬＴ符号化の次数に従って、ｍ個のデータパケットに対して、ＬＴ符号化を行って、ｎ個のデータパケットを得る、ことを含む。

上記ＬＴ符号化の次数を決定することは、
の範囲内で次数ｄの値を選択する、ことを含む。ここで、θは次数分布関数のパラメータであり、次数分布関数がＲｏｂｕｓｔ−Ｓｏｌｉｔｏｎ関数である場合、
である（定数c＞0、δは許容可能な復号失敗率）。

あるいは、上記ＬＴ符号化の次数を決定することは、ｍの値の範囲と次数ｄの値の最適範囲との対応関係を確立し、ｍの値により、次数ｄの値の最適範囲を決定し、次数ｄの値の最適範囲内で、１つの整数をランダムに選択して、ＬＴ符号化の次数ｄとする、ことを含む。

また、本発明の実施例では、スケーラブル映像を優先度に応じて伝送する装置が開示されている。該装置は、スケーラブル映像の各ピクチャグループ（ＧＯＰ）に対して、スケーラブル映像符号化（ＳＶＣ）を行うＳＶＣ符号化手段と、ＳＶＣ符号化後のＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行う優先度並べ替え手段と、並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージを行うパッケージ手段と、パッケージ後のＳＶＣ階層化ビットストリームに対して、Ｒａｐｔｏｒ符号化を行って、伝送チャネルを介して、スケーラブル映像の受信側に送信するＲａｐｔｏｒ符号化手段と、を含む。

ここで、優先度並べ替え手段は、並べ替えパス上の全ての可能ノードを、一定の(s,t,q)特性（ｓ、ｔおよびｑはそれぞれ、空間領域、時間領域および品質領域の解像度特性を表す）に対応する各状態ノードとして定義し、ｓ、ｔおよびｑの増加ステップサイズの違いにより、同じ増加ステップサイズを有する状態ノードが同じステージにあるように、全ての状態ノードを異なるステージに区分するステージ区分モジュールと、各状態ノードそれぞれのビットレートおよびその対応するピーク信号対雑音比（ＰＳＮＲ）によって、各状態ノードの並べ替え因子を計算する並べ替え因子決定モジュールと、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、各状態ノードの並べ替え因子の重み付け和が最大となる最適パスを決定する最適パス決定モジュールと、最適パス上の初期ステージから宛先ステージまでの各状態ノードの順に従って、ＳＶＣ階層化ビットストリームを出力する並べ替え結果出力モジュールと、を含む。

Ｒａｐｔｏｒ符号化手段は、パッケージ後の各層のソース行列ブロックに対して、ＲＳ符号化を行って、ｍ個のデータパケットを得るＲＳ符号化モジュールと、ＬＴ符号化の次数を決定するＬＴ符号化次数決定モジュールと、決定されたＬＴ符号化の次数に従って、前記ｍ個のデータパケットに対して、ＬＴ符号化を行って、ｎ個のデータパケットを得るＬＴ符号化モジュールと、を含む。

本発明に係る、スケーラブル映像を優先度に応じて伝送する方法及びその装置は、ＳＶＣ階層化ビットストリームの階層化特性に従って、まず、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行い、次に、並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージおよびＲａｐｔｏｒ符号化を行う。これにより、スケーラブル映像のビットストリームの最適化選択および伝送の課題を解決するとともに、スケーラブル映像のビットストリームから再構築された画像の品質を最終的に向上させることができる。

本発明の実施例に係る、スケーラブル映像を優先度に応じて伝送する方法のフローチャートである。 本発明の実施例に係る、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行う方法のフローチャートである。 全ての状態ノードが異なるステージに区分されたことを示す図である。 初期ステージから宛先ステージまでの順に従って、全ての状態ノードを探索して、最適パスを得る方法のフローチャートである。 宛先ステージから初期ステージまでの順に従って、全ての状態ノードを探索して、最適パスを得る方法のフローチャートである。 パッケージ後のＳＶＣ階層化ビットストリームを示す図である。 本発明の実施例に係るＲａｐｔｏｒ符号化プロセスを示す図である。 本発明の実施例に係る、スケーラブル映像を優先度に応じて伝送する装置の内部構成を示す図である。 スケーラブル映像シーケンスＦｏｒｅｍａｎに対して、デフォルトの並べ替え方法、品質層に基づく優先度並べ替え方法、および本発明の実施例で提供される優先度並べ替え方法を採用する場合のレート歪み性能を示す図である。 スケーラブル映像シーケンスＦｏｏｔｂａｌｌに対して、デフォルトの並べ替え方法、品質層に基づく優先度並べ替え方法、および本発明の実施例で提供される優先度並べ替え方法を採用する場合のレート歪み性能を示す図である。 スケーラブル映像シーケンスＣｉｔｙに対して、デフォルトの並べ替え方法、品質層に基づく優先度並べ替え方法、および本発明の実施例で提供される優先度並べ替え方法を採用する場合のレート歪み性能を示す図である。 スケーラブル映像シーケンスＨａｒｂｏｕｒに対して、デフォルトの並べ替え方法、品質層に基づく優先度並べ替え方法、および本発明の実施例で提供される優先度並べ替え方法を採用する場合のレート歪み性能を示す図である。 異なるパケットロス率およびソースデータパケット数Ｎで、標準ＬＴ符号化方式、および本発明の実施例で提供される、次数を適応選択するＬＴ符号化方式を採用する場合のスケーラブル映像の受信側の復号成功率を示す図である。

従来のＨ．２６４／ＳＶＣ映像符号化規格に直接に応用して、映像ストリームのサービス品質を向上させるために、本発明の実施例では、スケーラブル映像を優先度に応じて伝送する方法が提供されている。図１に示すように、該方法は、下記のステップを含む。

ステップ１０１で、スケーラブル映像の各ピクチャグループ（ＧＯＰ：Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）がＳＶＣ符号化された後のＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行う。

ステップ１０２で、並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージおよびＲａｐｔｏｒ符号化を行って、伝送チャネルを介して、符号化後のスケーラブル映像のビットストリームを、スケーラブル映像の受信側に送信する。

スケーラブル映像の受信側は、符号化後のビットストリームを受信した後、Ｒａｐｔｏｒ復号およびビットストリーム複合により、ＳＶＣ階層化ビットストリームを得ることができ、次に、ＳＶＣ復号して、映像の画像を再構築する。

本発明の実施例では、ＳＶＣ階層化ビットストリームの階層化特性に従って、まず、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行い、次に、並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージおよびＲａｐｔｏｒ符号化を行う。これにより、スケーラブル映像のビットストリームの最適化選択および伝送の課題を解決するとともに、スケーラブル映像のビットストリームから再構築された画像の品質を最終的に向上させることができる。

以下、図面を参照しながら、上記ステップ１０１におけるＳＶＣ階層化ビットストリームに対して優先度並べ替えを行う方法を、詳しく説明する。

本発明の実施例において、優先度並べ替えとは、ＧＯＰを単位として、ＳＶＣ符号化後のＳＶＣ階層化ビットストリームに対して、その重要性に応じて、優先度の順位を並べ替えるということである。その目的は、受信側が一定数量のデータパケットを正確に受信した場合、復元された画像の品質を最良にするということである。

映像シーケンスの各ＧＯＰの大きさがＮであり、各ＧＯＰ画像がＳＶＣ符号化された後、ビットレートがＲであるＬ層のＳＶＣ階層化ビットストリームが生成できると仮定する。ここで、第i層のビットストリームのビットレートはＲ_ｉで表し、第１層から第i層までのビットストリームに対応する再構築された画像の歪み度を反映するピーク信号対雑音比パラメータ（ＰＳＮＲ：Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）はＰＳＮＲ_ｉ（１≦ｉ≦Ｌ）で表す。各ＧＯＰのＳＶＣ階層化ビットストリームが優先度並べ替えされた後、それぞれ得られたＬ層のビットストリームのビットレートＲ_ｉおよび対応するＰＳＮＲ_ｉの値は、以下の数式１を満足する。
［数式１］

デフォルトのＳＶＣ階層化ビットストリームの並べ替え方法を採用して、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行うことができる、ということが知られている。具体的に、デフォルトのＳＶＣ階層化ビットストリームの並べ替え方法では、ＧＯＰを単位として、時間領域層に基づいて並べ替える。各時間領域層は、若干の空間領域層を含む。これらの空間領域層は、基本層である１つの品質領域（例えば、ＳＮＲ）層と、強化層であるいくつかの品質領域層とを含む可能性がある。

そのほか、品質層に基づくＳＶＣ階層化ビットストリームの並べ替え方法を採用して、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行うこともできる。具体的に、品質層に基づくＳＶＣ階層化ビットストリームの並べ替え方法では、第iフレームの画像がd層（例えば、ＱＣＩＦ層、ＣＩＦ層および４ＣＩＦ層）に符号化され、各層において、画像が基本層と品質層に符号化され、ここで、品質層の解像度特性がqであると仮定し、各フレームの画像のビットレート関数Ｒ（ｄ，ｉ，ｑ）と歪み関数Ｄ（ｄ，ｉ，ｑ）とを計算し、レート歪みＲ−Ｄ曲線を作成することにより、各フレームの画像の品質層の最適な並べ替え順を得る。

また、本発明の実施例では、新しい優先度並べ替え方法が提供されている。図２は、本発明の実施例に係る、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行う方法を示す。図２に示すように、該方法は、以下のステップを含む。

ステップ２０１で、並べ替えパス上の全ての可能ノードを、一定の(s,t,q)特性に対応する各状態（ｓｔａｔｅ）ノードとして定義し、ｓ、ｔおよびｑの増加ステップサイズの違いにより、同じ増加ステップサイズを有する状態ノードが同じステージ（ｓｔａｇｅ）にあるように、全ての状態ノードを異なるステージに区分する。

本実施例において、説明の便宜上、ＳＶＣ階層化ビットストリームの特性を、トリプル(s,t,q)で表し、ここで、ｓ、ｔおよびｑはそれぞれ、空間領域、時間領域および品質領域の解像度特性を表す。ここで、最低解像度特性を有するビットストリームは（０，０，０）で表し、スケーラブル映像の受信側は、該ビットストリームを受信した後、最も基本的な品質の映像を復元することができる。最高解像度を有するビットストリームは(s^*,t^*,q^*)で表し、スケーラブル映像の受信側は、該ビットストリームを受信した後、最高解像度を含む各種の解像度の品質の映像を完全に復元することができる。中間解像度を有するビットストリームは(s,t,q)で表し、スケーラブル映像の受信側は、該ビットストリームを受信した後、この中間解像度を含む各種の解像度の品質の映像を復元することができる。

本実施例に係る優先度並べ替え方法の目標は、最低解像度特性を有するビットストリームから、最高解像度特性を有するビットストリームまで、即ち、状態ノード（０，０，０）（初期状態ノードとも呼ばれる）から、状態ノード(s^*,t^*,q^*)（宛先状態ノードとも呼ばれる）まで、最適な解像度特性の増加を有するパスを探して、受信側で復元されたビットストリームが最適なレート歪み特性を有することを確保する、ということである。

図３は、全ての状態ノードが異なるステージに区分されたことを示す図である。図３に示すように、異なる解像度特性を有する１２個の状態ノード（ｓｔａｔｅ（０，０，０）〜ｓｔａｔｅ（１，２，１））は、それぞれ５つのステージ（ｓｔａｇｅ０〜ｓｔａｇｅ４）に区分される。この場合、最適な解像度特性の増加を有するパスの選択課題は、如何に初期状態ノードｓｔａｔｅ（０，０，０）から宛先状態ノードｓｔａｔｅ（１，２，１）まで、適当な状態ノードを選択して最適なパスを構成するかという課題に変換された。

ステップ２０２で、各状態ノードそれぞれのビットレートおよびその対応するＰＳＮＲによって、各状態ノードの並べ替え因子を計算する。

上記ステップ２０２において、下記の数式２によって、各ノードの並べ替え因子を計算することができる。
［数式２］

ここで、g_jは第ｊのステージを表し、t_i(g_j)は第ｊのステージにおけるｉ番目の状態ノードを表し、t(g₀)は初期ステージの初期状態ノードを表し、t(g_K-1)は宛先ステージの宛先状態ノードを表し、
は状態ノードt_i(g_j)のＰＳＮＲを表し、
は状態ノードt_i(g_j)のビットレートを表し、
は初期状態ノードt(g₀)のＰＳＮＲを表し、
は初期状態ノードt(g₀)のビットレートを表し、
は宛先状態ノードt(g_K-1)のＰＳＮＲを表し、
は宛先状態ノードt(g_K-1)のビットレートを表し、O_i(g_j)は状態ノードt_i(g_j)の並べ替え因子を表し、Ｋはステージの総数を表す。

本発明の実施例において、O_i(g_j)を用いて、第ｊ−１のステージから第ｊのステージのｉ番目の状態ノードまでのパスのキャンバを記述する。該キャンバは、基準品質に対する増量と見なされてよい。

ステップ２０３で、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、各状態ノードの並べ替え因子の重み付け和が最大となる最適パスを決定する。

本ステップにおいて、下記の数式３によって、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパス上の各状態ノードの並べ替え因子の重み付け和を計算することができる。そして、最大となる並べ替え因子の重み付け和を有するパスを、最適パスとする。
［数式３］

ここで、S_xは初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスのうち、ｘ番目のパス上の各状態ノードの並べ替え因子の重み付け和を表し、O(g_j)は該ｘ番目のパスの第ｊのステージにおける状態ノードの並べ替え因子を表し、ω_jは第ｊのステージの重み付け因子を表す（0＜ω_j＜1、0≦j≦K-1）。

好ましくは、第g_jのステージの重み付け因子をω^j+1（0＜ω＜1、0≦j≦K-1）にしてもよい。実験から分かるように、一般的な映像シーケンスについて、ω＝0.2の場合、比較的よい優先度並べ替え結果を得ることができる。

ステップ２０４で、最適パス上の初期ステージから宛先ステージまでの各状態ノードの順に従って、ＳＶＣ階層化ビットストリームを出力する。

本ステップにおいて、最適パス上の各ノードにおいて同じ品質領域特性を有する状態ノードを、１層のＳＶＣ階層化ビットストリームとして出力することができる。

具体的に、本発明の実施例において、様々な方法を採用して、初期ステージから宛先ステージまでの状態ノードで構成される全ての可能パスの中から、最適パスを決定してもよい。例えば、前記最適パスを得るために、初期ステージから宛先ステージまでの順に従って全ての状態ノードを探索してもよく、あるいは、宛先ステージから初期ステージまでの順に従って全ての状態ノードを探索してもよい。

図４は、初期ステージから宛先ステージまでの順に従って、全ての状態ノードを探索して、前記最適パスを得る方法のフローチャートである。該方法は、主に、下記のステップを含む。

ステップ３０１で、初期ステージの初期状態ノードを開始点として選択して、反復パラメータを初期化する。この初期化は、ノード識別子ｊを１に設定し、初期ステージの並べ替え因子の重み付け和S₀(t)を０に設定し、初期ノードの最適パスの状態ノード集合を初期状態ノードに初期化することを含む。

ステップ３０２で、第ｊのステージにおける各状態ノードの並べ替え因子の重み付け和S_j(t_i)を計算し、初期ステージから第ｊのステージにおける各状態ノードまでの最適パスの状態ノード集合をそれぞれ記録する。

本ステップにおいて、下記の数式４によって、第ｊのステージにおける各状態ノードの並べ替え因子の重み付け和S_j(t_i)を計算することができる。
［数式４］

ここで、S_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子の重み付け和を表し、S_j-1(t_k)は第ｊ−１のステージにおける状態ノードt_iに繋がるｋ番目の状態ノードt_kの並べ替え因子の重み付け和を表し、ω_jは第ｊのステージの重み付け因子を表し、O_i(g_j)は第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子を表す。上記の数式４から分かるように、第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子の重み付け和S_j(t_i)は、該状態ノードの並べ替え因子の重み付け値に、１つ前のステージ（即ち、第ｊ−１のステージ）における該状態ノードに繋がる各状態ノードの並べ替え因子の重み付け和の最大値を加えた値である。

また、第ｊのステージにおけるｉ番目の状態ノードt_iの最適パスの状態ノード集合は、下記の数式５によって算出することができる。
［数式５］

ここで、M_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iの最適パスの状態ノード集合を表し、M_j-1(t_k)は第ｊ−１のステージにおける状態ノードt_iに繋がる各状態ノードのうち、並べ替え因子の重み付け和の最大値に対応する状態ノードの最適パスの状態ノード集合を表す。

ステップ３０３で、第ｊのステージが宛先ステージであるかどうかを判断し、即ち、ｊがＫ−１と等しいかどうかを判断し、そうである場合、ステップ３０４を実行し、そうではない場合、「ｊ＝ｊ＋１」にして、ステップ３０２に戻る。

ステップ３０４で、宛先状態ノードの最適パスの状態ノード集合における各状態ノードからなるパスを、最適パスとする。

図５は、宛先ステージから初期ステージまでの順に従って、全ての状態ノードを探索して、前記最適パスを得る方法のフローチャートである。該方法は、主に、下記のステップを含む。

ステップ４０１で、宛先ステージの宛先状態ノードを開始点として選択して、反復パラメータを初期化する。この初期化は、ノード識別子ｊをＫ−２に設定し、宛先ステージの並べ替え因子の重み付け和T_K-1(t)を０に設定し、宛先ノードの最適パスの状態ノード集合を宛先状態ノードに初期化することを含む。

ステップ４０２で、第ｊのステージにおける各状態ノードから宛先ステージまでの並べ替え因子の重み付け和T_j(t_i)を計算し、第ｊのステージにおける各状態ノードから宛先ステージまでの最適パスの状態ノード集合をそれぞれ記録する。

本ステップにおいて、下記の数式６によって、第ｊのステージにおける各状態ノードの並べ替え因子の重み付け和T_j(t_i)を計算することができる。
［数式６］

ここで、T_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iから宛先ステージまでの並べ替え因子の重み付け和を表し、T_j+1(t_k)は第ｊ＋１のステージにおける状態ノードt_iに繋がるｋ番目の状態ノードt_kの並べ替え因子の重み付け和を表し、ω_jは第ｊのステージの重み付け因子を表し、O_i(g_j)は第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子を表す。上記の数式６から分かるように、第ｊのステージにおけるｉ番目の状態ノードt_iから宛先ステージまでの並べ替え因子の重み付け和T_j(t_i)は、該状態ノードの並べ替え因子の重み付け値に、次のステージ（即ち、第ｊ＋１のステージ）における該状態ノードに繋がる各状態ノードから宛先ステージまでの並べ替え因子の重み付け和の最大値を加えた値である。

また、第ｊのステージにおけるｉ番目の状態ノードt_iから宛先ステージまでの最適パスの状態ノード集合は、下記の数式７によって算出することができる。
［数式７］

ここで、M_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iから宛先ステージまでの最適パスの状態ノード集合を表し、M_j+1(t_k)は第ｊ＋１のステージにおける状態ノードt_iに繋がる各状態ノードから宛先ステージまでの並べ替え因子の重み付け和の最大値に対応する状態ノードから宛先ステージまでの最適パスの状態ノード集合を表す。

ステップ４０３で、第ｊのステージが初期ステージであるかどうかを判断し、即ち、ｊが０と等しいかどうかを判断し、そうである場合、ステップ４０４を実行し、そうではない場合、「ｊ＝ｊ―１」にして、ステップ４０２に戻る。

ステップ４０４で、初期状態ノードから宛先ステージまでの最適パスの状態ノード集合における各状態ノードからなるパスを、最適パスとする。

説明すべきものとして、図４と図５に係る方法で提供されたのは、ただ、全ての状態ノードの中から最適パスを探索することを示す代表例にすぎない。本発明の実施例は、上記２つの方法の採用のみに限られない。

また、説明すべきものとして、ステップ２０３で決定された最適パスが１つより多い場合、各ステージの重み付け因子の値を増加して、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、最適パスを再決定することができる。例えば、図４に示す探索プロセスのステップ３０２では、１つ前のステージにおいて、１つより多い状態ノードが並べ替え因子の重み付け和の最大値に対応することが分かる場合、または、図５に示す探索プロセスのステップ４０２では、次のステージにおいて、１つより多い状態ノードが並べ替え因子の重み付け和の最大値に対応することが分かる場合、各ステージの重み付け因子を増加して、ステップ３０１または４０１に戻って、図４または図５に示す探索プロセスを再実行することができる。

上記から分かるように、本発明の実施例に係る、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行う方法では、単一のＧＯＰ内の異なる空間領域、時間領域および品質領域の階層化ビットストリームのレート歪み性能が充分に考慮されるため、優先度並べ替え結果がより合理的になり、さらに、ＳＶＣ階層化ビットストリームのレート歪み性能が向上する。

以下、図面を参照しながら、ステップ１０２におけるパッケージおよびＲａｐｔｏｒ符号化の方法を詳しく説明する。

図６は、パッケージ後のＳＶＣ階層化ビットストリームを示す図である。図６に示すように、パッケージプロセスでは、まず、Ｌ層のＳＶＣ階層化ビットストリームを、それぞれｗ_ｉ×ｈ_ｉのソース行列ブロックに変換する。ここで、ｗ_ｉは、ソース行列ブロックの幅であり、ｈ_ｉは、ソース行列ブロックの高さであり、かつ、下記の数式８に示す拘束条件を満たす。該拘束条件は、チャネル復号後、前のソース符号がいつも後ろのソース符号より優先的に復元され、即ち、重要性の高い情報がいつも重要性の低い情報より優先的に復元されることを保証する。次に、各ソース行列ブロックのそれぞれにおいて、Ｒａｐｔｏｒ符号化を行って、ｎ個のデータパケットを得る。
［数式８］

このｎ個のデータパケットは、一定のパケットロス率を有するチャネルで伝送され、スケーラブル映像の受信側に到達する。スケーラブル映像の受信側でα（０≦α≦ｎ）個のデータパケットを受信し、ビットストリーム複合により得られたコードエレメントの数がｒであることを仮定すると、αとｒとの間の関係は、以下の数式９に示す拘束条件を満たす。
［数式９］

また、スケーラブル映像の受信側が第i層のビットストリームを受信する確率Ｐｉは、αの関数であり、下記の数式１０に示す拘束条件を満たすことを仮定すると、
［数式１０］

一定の帯域幅とパケットロス率の場合、数式１０から分かるように、スケーラブル映像ストリームの伝送は、下記の目標を満たすべきである。即ち、０＜α≦ｎの場合、スケーラブル映像の受信側がｒ個のコードエレメントから復元した映像の画像のＰＳＮＲを最大化する。該目標は、パッケージパラメータにおけるｗ_ｉを最適化することにより達成することができる。即ち、最適化の目標関数は、下記の数式１１に示す通りである。現在、復元された映像の画像のＰＳＮＲを最大化するために、様々な探索アルゴリズムによって、Ｌ層のＳＶＣ階層化ビットストリームのパッケージ幅ｗ_ｉをそれぞれ決定することができる。ここで、説明を省略する。
［数式１１］

そのほか、本発明の実施例において、Ｒａｐｔｏｒ符号化は、ＲＳ＋ＬＴという形式を採用し、その符号化プロセスが図７に示すように、主に、下記のステップを含む。

ステップ５０１で、並べ替えおよびパッケージがされた後の各層のソース行列ブロックのそれぞれに対して、ＲＳ符号化およびインターリーブを行って、ｍ個のデータパケットを得る。このｍ個のデータパケットの長さは、Ｐ_{ｌｅｎｇｔｈ}個の符号に固定される。

即ち、本ステップにおいて、各ソース行列ブッロクの後ろに、大きさが(m-w_i)×h_iであってかつ冗長情報が付けられる行列ブロック（例えば、大きさがｗ_ｉ×ｈ_ｉであるソース行列ブロックに対して、前方誤り訂正（ＦＥＣ：ｆｏｒｗａｒｄ ｅｒｒｏｒ ｃｏｒｒｅｃｔｉｏｎ）符号化を行うことにより、大きさが(m-w_i)×h_iである行列ブロックを生成する）をパディングすることにより、大きさがそれぞれm×h_iであるＬ個の行列ブロックを得る。図６に示すように、このＬ個の行列ブロックの高さの和がＰ_{ｌｅｎｇｔｈ}であるため、このＬ個の行列ブロックを組み合わせて、長さがＰ_{ｌｅｎｇｔｈ}個の符号に固定されるｍ個のデータパケットを得ることができる。

ステップ５０２で、ＬＴ符号化の次数（Ｄｅｇｒｅｅ）ｄを決定する。

ステップ５０３で、決定されたＬＴ符号化の次数ｄに従って、上記ｍ個のデータパケットに対して、ＬＴ符号化を行って、ｎ個のデータパケットを得る。このｎ個のデータパケットの長さもＰ_{ｌｅｎｇｔｈ}個の符号に固定される。

即ち、本ステップにおいて、上記ｍ個のデータパケットの中からβ（1≦β≦d）個のデータパケットをランダムに選択して、β個のデータパケットにおける対応する情報に対して、ビットごとの排他的論理和演算を行って、１つの新しいデータパケットを得る。長さが同様にＰ_{ｌｅｎｇｔｈ}個の符号に固定されるｎ個のデータパケットを得るまで、このように繰り返して実行する。

上記図７に示すＲａｐｔｏｒ符号化プロセスから分かるように、ＬＴ符号化の次数ｄの大きさが、ＬＴ符号化の複雑度を決定するキーポイントである。また、ＬＴ符号化における次数ｄの大きさの選択によって、スケーラブル映像の受信側の復号成功率が決定される。一般的なＬＴ符号化において、ｍの値は比較的に大きい（１０^３〜１０^４）。この場合、次数ｄの値は、ｄ∈［１，ｍ］を満足する。本発明に係る映像システムにおいて、ビットストリーム処理および伝送の基本単位は、いずれもＧＯＰであり、ＧＯＰビットストリームの大きさは、直接的にｍの値の範囲に影響する。端末の映像再生の品質および遅延を保証するために、端末は一定の時間内で、該ＧＯＰのビットストリームを復号して、最小歪みを有する映像の画像を復元する必要がある。しかしながら、ＧＯＰビットストリームが比較的に小さい場合（ｍ＜１０^３）、ｍ値の減少につれて、次数ｄが１であるデータパケットの数が減少する。これにより、ＬＴ符号の復号成功率は次第に低下し、端末で復元された映像はひどい歪みが発生し、ひいては、復号できない。従って、ｄ∈［１，ｍ］という選択範囲は、スケーラブル映像のビットストリームの伝送に適合しない。このため、本発明の実施例では、次数ｄの値の範囲を適応選択する方法も提供されている。

ＬＴ（ｎ，ｍ）アルゴリズムにおいて、次数ｄの分布がＲｏｂｕｓｔ−Ｓｏｌｉｔｏｎ分布であることが知られている。その分布関数は、下記の数式１２に示す通りである。
［数式１２］

ここで、
、定数c＞0、
、δは許容可能な復号失敗率である。

上記数式１１に示す次数ｄの分布関数から分かるように、次数ｄが
である確率は９５％を超えるが、次数ｄが
である確率は５％未満である。従って、次数ｄの大きさを適応選択する際に、
の範囲だけを考慮してもよい。即ち、
の範囲内で、次数ｄを選択してもよい。ここで、θは、Ｒｏｂｕｓｔ−Ｓｏｌｉｔｏｎ分布関数のパラメータである。

また、次数ｄの選択範囲について、ＲＳ符号化の復号能力を考慮する必要もある。ＬＴ復号時、成功に復号できないパケットが、ＲＳ符号化の消失訂正の範囲内にあることを保証する必要がある。即ち、δ≦αを満足する必要がある。ここで、αは、ｍ値に対応するＲＳ符号化の冗長度である。上記の基準に従って、まず、ｍの値の範囲を分類し、次に、シミュレーションにより、ｍ値が異なる次数範囲内にある場合の復号失敗率を得る。このように、異なるｍの値の範囲内における次数ｄの値の最適範囲を決定し、即ち、表１に示すように、ｍの値の範囲と次数ｄの値の最適範囲との対応関係を確立する。

このように、上記ステップ５０２において、まず、ｍの値により、次数ｄの値の最適範囲を決定することができる。次に、次数ｄの値の最適範囲内で、１つの整数をランダムに選択して、ＬＴ符号化の次数ｄとする。

上記次数ｄの値の範囲を適応選択する方法から分かるように、本実施例のＬＴ符号化プロセスにおいて、次数ｄの選択範囲を大幅に縮小させる。これにより、ＬＴ符号化の複雑度を大幅に低減させる。また、次数ｄの値の最適範囲内で次数の値を選択することで、スケーラブル映像の受信側の復号成功率をさらに向上させることもできる。

上記スケーラブル映像を優先度に応じて伝送する方法のほかに、本発明の実施例では、スケーラブル映像を優先度に応じて伝送する装置も提供されている。その内部構成は図８に示すように、主に、スケーラブル映像の各ＧＯＰに対して、ＳＶＣ符号化を行うＳＶＣ符号化手段と、ＳＶＣ符号化後のＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行う優先度並べ替え手段と、並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージを行うパッケージ手段と、パッケージ後のＳＶＣ階層化ビットストリームに対して、Ｒａｐｔｏｒ符号化を行って、伝送チャネルを介して、スケーラブル映像の受信側に送信するＲａｐｔｏｒ符号化手段と、を含む。

本実施例において、上記優先度並べ替え手段の内部には、並べ替えパス上の全ての可能ノードを、一定の(s,t,q)特性（ｓ、ｔおよびｑはそれぞれ、空間領域、時間領域および品質領域の解像度特性を表す）に対応する各状態ノードとして定義し、ｓ、ｔおよびｑの増加ステップサイズの違いにより、同じ増加ステップサイズを有する状態ノードが同じステージにあるように、全ての状態ノードを異なるステージに区分する、ステージ区分モジュールと、各状態ノードそれぞれのビットレートおよびその対応するＰＳＮＲによって、各状態ノードの並べ替え因子を計算する並べ替え因子決定モジュールと、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、各状態ノードの並べ替え因子の重み付け和が最大となる最適パスを決定する最適パス決定モジュールと最適パス上の初期ステージから宛先ステージまでの各状態ノードの順に従って、ＳＶＣ階層化ビットストリームを出力する並べ替え結果出力モジュールと、を含む。

上記のように、上記並べ替え因子決定モジュールは、上記数式２によって、各ノードの並べ替え因子を計算することができる。

上記のように、上記最適パス決定モジュールは、図４と図５に示す方法を採用して、最適パスを決定することができる。

また、上記Ｒａｐｔｏｒ符号化手段の内部には、パッケージ後の各層のソース行列ブロックのそれぞれに対して、ＲＳ符号化を行って、ｍ個のデータパケットを得るＲＳ符号化モジュールと、ＬＴ符号化の次数ｄを決定するＬＴ符号化次数決定モジュールと、決定されたＬＴ符号化の次数ｄに従って、上記ｍ個のデータパケットに対して、ＬＴ符号化を行って、ｎ個のデータパケットを得るＬＴ符号化モジュールと、を含む。

上記のように、本発明の実施例に係る、スケーラブル映像を優先度に応じて伝送する装置は、ＳＶＣ階層化ビットストリームの階層化特性により、まず、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行って、次に、並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージおよびＲａｐｔｏｒ符号化を行う。これにより、スケーラブル映像のビットストリームの最適化選択および伝送の課題を解決するとともに、スケーラブル映像のビットストリームから再構築された画像の品質を最終的に向上させることができる。

本発明の実施例に係る、スケーラブル映像を優先度に応じて伝送する装置では、ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行う際に、単一のＧＯＰ内の異なる空間領域、時間領域および品質領域の階層化ビットストリームのレート歪み性能が充分に考慮されるため、優先度並べ替え結果がより合理的になり、さらに、ＳＶＣ階層化ビットストリームのレート歪み性能が向上する。また、本発明の実施例に係る、スケーラブル映像を優先度に応じて伝送する装置は、ＬＴ符号化を行う際に、ＬＴ符号化の次数の値の範囲を適応選択することができる。これにより、ＬＴ符号化の複雑度を大幅に低下させることができる一方、スケーラブル映像の受信側の復号成功率を大幅に向上させることもできる。

以下、シミュレーションにより、本発明の実施例に係る方法の技術的効果を詳しく説明する。表２は、シミュレーションモデルのパラメータを示す。

図９から図１２は、Ｆｏｒｅｍａｎ、Ｆｏｏｔｂａｌｌ、ＣｉｔｙおよびＨａｒｂｏｕｒという４つのスケーラブル映像シーケンスに対して、デフォルトの並べ替え方法、品質層に基づく優先度並べ替え方法、および本発明の実施例で提供される優先度並べ替え方法を採用する場合のレート歪み性能をそれぞれ示す。ここで、四角印の曲線は、デフォルトの並べ替え方法のレート歪み性能を表し、菱形印の曲線は、品質層に基づく優先度並べ替え方法のレート歪み性能を表し、丸印の曲線は、本発明の実施例で提供された優先度並べ替え方法のレート歪み性能を表す。

図９〜図１２から分かるように、ビットレートが比較的低い場合、全てのシーケンスのシミュレーション結果のうち、本発明の実施例で提供される優先度並べ替え方法のレート歪み性能が、明らかにほかの２つの方法より良い。一方、ビットレートが比較的高い場合、本発明の実施例で提供される並べ替え方法のレート歪み性能は、依然としてほかの２つのアルゴリズムより良い。

表３は、上記３つの並べ替え方法を採用して、異なる解像度とビットレートの映像シーケンスに対して、優先度並べ替えを行って得られた平均ＰＳＮＲを示す。表３から分かるように、本発明の実施例で提供される優先度並べ替え方法は、異なビットレートでの性能がいずれも最も良い。ここで、ビットレートが比較的低いＣＩＦシーケンスＦｏｒｅｍａｎにおいて、本発明の実施例で提供される優先度並べ替え方法の平均ＰＳＮＲは、デフォルトの並べ替え方法および品質層に基づく優先度並べ替え方法に対して、全部８．２１ｄＢ向上する。ビットレートが比較的高いＣＩＦシーケンスＦｏｏｔｂａｌｌにおいて、本発明の実施例で提供される優先度並べ替え方法の平均ＰＳＮＲ性能は、６．４１ｄｂ向上する。低いビットレートの４ＣＩＦシーケンスＣｉｔｙにおいて、本発明の実施例で提供される優先度並べ替え方法の平均ＰＳＮＲは、デフォルトの並べ替え方法および品質層に基づく優先度並べ替え方法に対して、それぞれ３．２８ｄＢおよび２．８３ｄＢ向上する。高いビットレートの４ＣＩＦシーケンスＨａｒｂｏｕｒにおいて、本発明の実施例で提供される優先度並べ替え方法の平均ＰＳＮＲは、デフォルトの並べ替え方法および品質層に基づく優先度並べ替え方法に対して、それぞれ１．９４ｄＢおよび１．６４ｄＢ向上する。

図１３は、異なるパケットロス率およびソースデータパケット数Ｎで、標準ＬＴ符号化方式（ＳＬＴと呼ばれる）、および本発明の実施例で提供される、次数を適応選択するＬＴ符号化方式（ＡＬＴと呼ばれる）を採用する場合のスケーラブル映像の受信側の復号成功率（ＳＤＲ）を示す図である。図１３において、送信データパケットの冗長は２５％であり、四角印および丸印の曲線は、Ｎが５７６であって、ＳＬＴおよびＡＬＴを採用する場合のスケーラブル映像の受信側のＳＤＲをそれぞれ表し、三角印および逆三角印の曲線は、Ｎが１２７８であって、ＳＬＴおよびＡＬＴを採用する場合のスケーラブル映像の受信側のＳＤＲをそれぞれ表す。図１３から分かるように、Ｎの値が異なる場合、ＡＬＴのＳＤＲ値は、明らかにＳＬＴの結果より良い。

上記は、本発明の好ましい実施例にすぎず、本発明の保護範囲を限定するものではない。本発明の精神と原則内で行われる種々の修正、均等置換え、改善などは全て本発明の保護範囲内に含まれるべきである。

Claims (14)

1. スケーラブル映像を優先度に応じて伝送する方法であって、
   スケーラブル映像の各ピクチャグループ（ＧＯＰ）のスケーラブル映像符号化（ＳＶＣ）後の階層化ビットストリームに対して、優先度並べ替えを行い、
   並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージおよびＲａｐｔｏｒ符号化を行って、伝送チャネルを介して、符号化後のスケーラブル映像のビットストリームを、スケーラブル映像の受信側に送信する、
   ことを含むことを特徴とする方法。
2. 前記ＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行うことは、
   並べ替えパス上の全ての可能ノードを、一定の(s,t,q)特性（ｓ、ｔおよびｑはそれぞれ、空間領域、時間領域および品質領域の解像度特性を表す）に対応する各状態ノードとして定義し、
   ｓ、ｔおよびｑの増加ステップサイズの違いにより、同じ増加ステップサイズを有する状態ノードが同じステージにあるように、全ての状態ノードを異なるステージに区分し、
   各状態ノードそれぞれのビットレートおよびその対応するピーク信号対雑音比（ＰＳＮＲ）によって、各状態ノードの並べ替え因子を計算し、
   初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、各状態ノードの並べ替え因子の重み付け和が最大となる最適パスを決定し、
   最適パス上の初期ステージから宛先ステージまでの各状態ノードの順に従って、ＳＶＣ階層化ビットストリームを出力する、
   ことを含むことを特徴とする請求項１に記載の方法。
3. 数式
   によって、各ノードの並べ替え因子を計算し、
   ここで、g_jは第ｊのステージを表し、t_i(g_j)は第ｊのステージにおけるｉ番目の状態ノードを表し、t(g₀)は初期ステージの初期状態ノードを表し、t(g_K-1)は宛先ステージの宛先状態ノードを表し、
   は状態ノードt_i(g_j)のＰＳＮＲを表し、
   は状態ノードt_i(g_j)のビットレートを表し、
   は初期状態ノードt(g₀)のＰＳＮＲを表し、
   は初期状態ノードt(g₀)のビットレートを表し、
   は宛先状態ノードt(g_K-1)のＰＳＮＲを表し、
   は宛先状態ノードt(g_K-1)のビットレートを表し、O_i(g_j)は状態ノードt_i(g_j)の並べ替え因子を表し、Ｋはステージの総数を表す、
   ことを特徴とする請求項２に記載の方法。
4. 前記初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、最適パスを決定することは、
   数式
   によって、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパス上の各状態ノードの並べ替え因子の重み付け和を計算し、
   最大となる並べ替え因子の重み付け和を有するパスを、最適パスとする、
   ことを含み、
   ここで、S_xは初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスのうち、x番目のパス上の各状態ノードの並べ替え因子の重み付け和を表し、O(g_j)は該x番目のパスの第ｊのステージにおける状態ノードの並べ替え因子を表し、ω_jは第ｊのステージの重み付け因子を表す（0＜ω_j＜1、0≦j≦K-1）、
   ことを特徴とする請求項２に記載の方法。
5. 前記初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、最適パスを決定することは、
   初期ステージの初期状態ノードを開始点として選択して、ノード識別子ｊを１に設定し、初期ステージの並べ替え因子の重み付け和S₀(t)を０に設定し、初期ノードの最適パスの状態ノード集合を初期状態ノードに初期化するステップＡ０と、
   数式
   および
   を採用して、第ｊのステージにおける各状態ノードの並べ替え因子の重み付け和S_j(t_i)を計算し、初期ステージから第ｊのステージにおける各状態ノードまでの最適パスの状態ノード集合をそれぞれ記録するステップＡ１と、
   ｊがＫ−１と等しいかどうかを判断し、等しい場合、宛先状態ノードの最適パスの状態ノード集合における各状態ノードからなるパスを、最適パスとし、等しくない場合、「ｊ＝ｊ＋１」にして、ステップＡ１に戻るステップＡ２と、
   を含み、
   ここで、S_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子の重み付け和を表し、S_j-1(t_k)は第ｊ−１のステージにおける状態ノードt_iに繋がるｋ番目の状態ノードt_kの並べ替え因子の重み付け和を表し、ω_jは第ｊのステージの重み付け因子を表し、O_i(g_j)は第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子を表し、M_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iの最適パスの状態ノード集合を表し、M_j-1(t_k)は第ｊ−１のステージにおける状態ノードt_iに繋がる各状態ノードのうち、並べ替え因子の重み付け和の最大値に対応する状態ノードの最適パスの状態ノード集合を表す、
   ことを特徴とする請求項２に記載の方法。
6. 前記初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、最適パスを決定することは、
   宛先ステージの宛先状態ノードを開始点として選択し、ノード識別子ｊをＫ−２に設定し、宛先ステージの並べ替え因子の重み付け和T_K-1(t)を０に設定し、宛先ノードの最適パスの状態ノード集合を宛先状態ノードに初期化するステップａ０と、
   数式
   および
   を採用して、第ｊのステージにおける各状態ノードから宛先ステージまでの並べ替え因子の重み付け和T_j(t_i)を計算し、第ｊのステージにおける各状態ノードから宛先ステージまでの最適パスの状態ノード集合をそれぞれ記録するステップａ１と、
   ｊが０と等しいかどうかを判断し、等しい場合、初期状態ノードから宛先ステージまでの最適パスの状態ノード集合における各状態ノードからなるパスを、最適パスとし、等しくない場合、「ｊ＝ｊ―１」にして、ステップａ１に戻るステップａ２と、
   を含み、
   ここで、T_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iから宛先ステージまでの並べ替え因子の重み付け和を表し、T_j+1(t_k)は第ｊ＋１のステージにおける状態ノードt_iに繋がるｋ番目の状態ノードt_kの並べ替え因子の重み付け和を表し、ω_jは第ｊのステージの重み付け因子を表し、O_i(g_j)は第ｊのステージにおけるｉ番目の状態ノードt_iの並べ替え因子を表し、M_j(t_i)は第ｊのステージにおけるｉ番目の状態ノードt_iから宛先ステージまでの最適パスの状態ノード集合を表し、M_j+1(t_k)は第ｊ＋１のステージにおける状態ノードt_iに繋がる各状態ノードから宛先ステージまでの並べ替え因子の重み付け和の最大値に対応する状態ノードから宛先ステージまでの最適パスの状態ノード集合を表す、
   ことを特徴とする請求項２に記載の方法。
7. 第ｊのステージの重み付け因子ω_jはω^j+1（0＜ω＜1、0≦j≦K-1）である、
   ことを特徴とする請求項４、５または６に記載の方法。
8. 最適パスが１つより多い場合、
   各ステージの重み付け因子の値を増加して、初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、最適パスを再決定する、
   ことをさらに含むことを特徴とする請求項２に記載の方法。
9. 前記Ｒａｐｔｏｒ符号化は、
   並べ替えおよびパッケージ後の各層のソース行列ブロックのそれぞれに対して、ＲＳ符号化およびインターリーブを行って、ｍ個のデータパケットを得、
   ＬＴ符号化の次数を決定し、
   決定されたＬＴ符号化の次数に従って、ｍ個のデータパケットに対して、ＬＴ符号化を行って、ｎ個のデータパケットを得る、
   ことを含むことを特徴とする請求項１に記載の方法。
10. 前記ＬＴ符号化の次数を決定することは、
    の範囲内で次数ｄの値を選択する、
    ことを含み、
    ここで、θは次数分布関数のパラメータであり、次数分布関数がＲｏｂｕｓｔ−Ｓｏｌｉｔｏｎ関数である場合、
    である（定数c＞0、δは許容可能な復号失敗率）、
    ことを特徴とする請求項９に記載の方法。
11. 前記ＬＴ符号化の次数を決定することは、
    ｍの値の範囲と次数ｄの値の最適範囲との対応関係を確立し、
    ｍの値により、次数ｄの値の最適範囲を決定し、
    次数ｄの値の最適範囲内で、１つの整数をランダムに選択して、ＬＴ符号化の次数ｄとする、
    ことを含むことを特徴とする請求項９に記載の方法。
12. スケーラブル映像を優先度に応じて伝送する装置であって、
    スケーラブル映像の各ピクチャグループ（ＧＯＰ）に対して、スケーラブル映像符号化（ＳＶＣ）を行うＳＶＣ符号化手段と、
    ＳＶＣ符号化後のＳＶＣ階層化ビットストリームに対して、優先度並べ替えを行う優先度並べ替え手段と、
    並べ替え後のＳＶＣ階層化ビットストリームに対して、パッケージを行うパッケージ手段と、
    パッケージ後のＳＶＣ階層化ビットストリームに対して、Ｒａｐｔｏｒ符号化を行って、伝送チャネルを介して、スケーラブル映像の受信側に送信するＲａｐｔｏｒ符号化手段と、
    を含むことを特徴とする装置。
13. 前記優先度並べ替え手段は、
    並べ替えパス上の全ての可能ノードを、一定の(s,t,q)特性（ｓ、ｔおよびｑはそれぞれ、空間領域、時間領域および品質領域の解像度特性を表す）に対応する各状態ノードとして定義し、ｓ、ｔおよびｑの増加ステップサイズの違いにより、同じ増加ステップサイズを有する状態ノードが同じステージにあるように、全ての状態ノードを異なるステージに区分するステージ区分モジュールと、
    各状態ノードそれぞれのビットレートおよびその対応するピーク信号対雑音比（ＰＳＮＲ）によって、各状態ノードの並べ替え因子を計算する並べ替え因子決定モジュールと、
    初期ステージから宛先ステージまでの状態ノードで構成可能な全てのパスの中から、各状態ノードの並べ替え因子の重み付け和が最大となる最適パスを決定する最適パス決定モジュールと、
    最適パス上の初期ステージから宛先ステージまでの各状態ノードの順に従って、ＳＶＣ階層化ビットストリームを出力する並べ替え結果出力モジュールと、
    を含むことを特徴とする請求項１２に記載の装置。
14. 前記Ｒａｐｔｏｒ符号化手段は、
    パッケージ後の各層のソース行列ブロックに対して、ＲＳ符号化を行って、ｍ個のデータパケットを得るＲＳ符号化モジュールと、
    ＬＴ符号化の次数を決定するＬＴ符号化次数決定モジュールと、
    決定されたＬＴ符号化の次数に従って、前記ｍ個のデータパケットに対して、ＬＴ符号化を行って、ｎ個のデータパケットを得るＬＴ符号化モジュールと、
    を含むことを特徴とする請求項１２に記載の装置。