JP2015520567A - 係数サンプリングに基づいたスケーラブルビデオ符号化のためのシステム、方法及びコンピュータプログラム製品 - Google Patents

Abstract

ＨＥＶＣ標準と互換性があるスケール変更されエンコードされたビデオデータの複数レイヤの生成のための方法、システム及びコンピュータプログラム製品である。予測処理からの残差が、周波数ドメイン内で係数に変換されることができる。それから、この係数をサンプリングして、エンコードされたデータのレイヤを作成することができる。この係数を種々の方法でサンプリングして、複数のそれぞれのレイヤを作成することができる。それから、これらレイヤを多重化し、デコーダに送信することができる。そこでは、上記レイヤのうち１又は複数を選ぶことができる。特定の（１又は複数の）レイヤの選択は、結果的に生じるビデオの所望される特性に依存してよい。例えば、或るレベルのビデオ品質、フレームレート、解像度及び／又はビット深度が所望され得る。それから、選択されたレイヤ内の係数を組み立てて、ビデオデコーディングにおいて使用すべき残差のバージョンを作成することができる。

Description

本発明は、ＨＥＶＣ標準と互換性があるビデオデータの複数レイヤの生成のための方法、システム及びコンピュータプログラム製品に関する。

高効率ビデオ符号化（High Efficiency Video Coding；ＨＥＶＣ）は、発展中のビデオ圧縮標準である。ＨＥＶＣは、ＩＳＯ／ＩＥＣ動画像符号化専門家グループ（Moving Picture Experts Group；ＭＰＥＧ）とＩＴＵ−Ｔビデオ符号化専門家グループ（Video Coding Experts Group；ＶＣＥＧ）とによって結成されたビデオ符号化に関する共同チーム（Joint Collaborative Team on Video Coding；ＪＣＴ−ＶＣ）による開発下にある。ＨＥＶＣは、イントラ／インター予測モジュール、変換モジュール、量子化及びループ内フィルタリングモジュール並びにエントロピー符号化モジュールなどのいくつかのモジュールを採用することができる。

ＨＥＶＣの標準化が完了に近づいている折、ＪＣＴ−ＶＣは、スケーラブルビデオ符号化（Scalable Video Coding；ＳＶＣ）拡張をＨＥＶＣ標準に追加することを計画し始めた。ＳＶＣは、現代のビデオサービス環境におけるネットワーク及び装置の不均一性を踏まえてコピーを行う方法である。ＳＶＣビットストリームは、デコードされることができるいくつかのサブセットビットストリームを包含することができ、これらのサブストリームは、例えば、種々のそれぞれの解像度、フレームレート、品質及び／又はビット深度を用いて、ソースビデオコンテンツを各々表すことができる。デコーディング側では、特定のサブセットストリームをデコーディングのために選択することができ、この選択は、所望される解像度、フレームレート、品質及び／又はビット深度などに基づくことができる。

このスケーラビリティは、マルチレイヤ符号化構造を使用することによって達成される。一般に、ＳＶＣシステムには、１つのベースレイヤ（ＢＬ）といくつかの拡張レイヤ（ＥＬ）とが存在し得る。ＢＬは、ＨＥＶＣ標準と互換性がある方法でエンコードすることができ、レイヤ０として識別することができる。ＥＬは、レイヤ１、２、…などとして識別することができる。Ｎに等しいレイヤ識別子を有するＥＬを符号化するとき、Ｎより小さいレイヤ識別子を有するすべてのレイヤが利用可能である。このことは、ＥＬに対応するピクチャを、より低いレイヤのピクチャ（すなわち、より小さい数を有するレイヤ）から、又は同一レイヤ内で事前に符号化されたピクチャから予測できることを意味する。すべてのレイヤはデコーディング側に送信することができ、デコーディング側において、特定のレイヤをデコーディングのために選択することができる。

各レイヤがソースビデオコンテンツを表すため、複数レイヤの送信及び記憶は、かなりの量のデータを示す。エンドユーザは、どの表現（すなわち、レイヤ）をデコードするかに関していくつかの選択肢を提供されるが、かなりの帯域と処理パワーとが、これらのレイヤのエンコーディング、送信及び記憶において消費される可能性がある。

一実施形態において、スケーラブルビデオエンコーディングの方法が、処理の予測残差の変換から生じる係数をサンプリングするステップであり、上記サンプリングするステップはそれぞれの複数のサンプルをもたらすように複数回行われる、ステップと、各サンプルを用いて、エンコードされたデータのそれぞれのレイヤを生成するステップと、上記それぞれのレイヤを多重化するステップと、を含むことができる。

図面において、参照番号の最も左の（１又は複数の）桁は、その参照番号が最初に表れた図面を識別する。
一実施形態の処理を例示するフローチャートである。 一実施形態に従う、スケーラブルビデオエンコーディング及びデコーディングのためのシステムのブロック図である。 一実施形態に従う、係数サンプリングを例示するフローチャートである。 一実施形態に従う、１次元係数サンプリングのグラフィカルな例示である。 一実施形態に従う、係数サンプリングのための代替的な処理を例示するフローチャートである。 一実施形態に従う、２次元係数サンプリングのグラフィカルな例示である。 一実施形態に従う、レイヤ生成を例示するフローチャートである。 一実施形態に従う、受信したレイヤからの係数の回復を例示するフローチャートである。 一実施形態に従う、スケーラブルビデオエンコーディングのソフトウェア又はファームウェア実施形態のためのコンピューティング環境のブロック図である。 一実施形態に従う、スケーラブルビデオエンコーディングのソフトウェア又はファームウェア実施形態のためのコンピューティング環境のブロック図である。 一実施形態に従う、本明細書に説明される機能性を実施することができるプラットフォームを例示するブロック図である。 一実施形態に従う、本明細書に説明される機能性を実施することができる例示的な装置の図である。

次に、図面を参照して一実施形態が説明され、図面において、同様の参照番号が同一の又は機能的に類似する要素を示す。特定の構成及び配置が論じられるが、上記は単に例示目的のために行われていることを理解されたい。本説明の主旨及び範囲から逸脱することなしに他の構成及び配置を使用できることを、当業者は認識するであろう。さらに、上記は本明細書に説明されるシステム及び応用以外の様々な他のシステム及び応用に採用できることも、当業者に明らかになるであろう。

本明細書に開示されるのは、ＨＥＶＣ標準と互換性があるビデオデータの複数レイヤの生成のための方法、システム及びコンピュータプログラム製品である。処理からの残差が、周波数ドメイン内で係数に変換されることができる。それから、この係数をサンプリングして、ビデオデータのレイヤを作成することができる。この係数を種々の方法でサンプリングして、種々のそれぞれのレイヤを作成することができる。それから、レイヤを多重化し、デコーダに送信することができる。そこでは、レイヤのうち１又は複数を選択することができる。特定の（１又は複数の）レイヤの選択は、結果的に生じるビデオの所望される特性に依存してよい。例えば、或るレベルのビデオ品質、フレームレート、解像度及び／又はビット深度が所望され得る。それから、選択されたレイヤ内の係数を組み立てて、ビデオデコーディングにおいて使用すべき残差のバージョン（version）を作成することができる。

図１は、一実施形態に従う、スケーラブルな符号化されたビデオの処理を例示する。１０５において、ビデオ圧縮の間に実行される予測的ビデオ圧縮処理からの残差が、周波数ドメイン内で係数に変換されることができる。１１０において、この係数を、１次元の形式又はデータ構造へとスキャンすることができる。１１５において、この係数をサンプリングすることができる。代替的な実施形態において、サンプリングは、以下でより詳細に説明されるとおり、スキャニングの前に行うことができる。複数サンプリングを行うことができ、これにおいて、各サンプリングは係数のサブセットをもたらす。一実施形態において、サンプリングは、輝度コンポーネントに対応する係数に対して、又はビデオの色差コンポーネントに対して行うことができる。１２０において、エンコードされたデータの複数レイヤを生成することができ、これにおいて、１つのレイヤは、係数の各サンプリングに対して生成される。１２５において、上記レイヤを多重化することができる。

１３０において、デコーダにおいて、多重化されたデータを、別個のレイヤを導出できるように多重分離する（demultiplexed）ことができる。１３５において、レイヤのサブセットを、ユーザ又はユーザのビデオ処理システムの要件に合致するように選択することができる。上記で述べられたとおり、レイヤの特定サブセットの選択は、上記のような要件に依存してよく、スケーラビリティを可能にすることができる。１４０において、これらの選択されたレイヤからの係数を決定することができ、１４５において、係数を組み立てることができる。それから、１５０において、逆変換を、結果的に生じた係数に対して行うことができる。これにより、受け入れ可能な形式でビデオをデコードするためにその後使用できる、元の残差のバージョンを作成することができる。

図２に、スケーラブルな方法でビデオをエンコード及びデコードするためのシステムが、一実施形態に従って例示される。予測的ビデオ圧縮処理からの残差２０５が、エンコーダにおいて受信され、変換モジュール２１０に入力される。この変換は、周波数ドメインにおける残差２０５の表現をもたらすことができ、これにおいて、変換モジュール２１０の出力は、この表現のための係数とすることができる。変換は、例えば、正方形４分木変換であってよく、あるいは別法として、非正方形４分木変換であってもよい。それから、係数は、係数サンプリングモジュール２１５に出力されることができる。ここで、係数は複数回サンプリングされることができ、各回が元の係数の異なるサブセットをもたらす。

各サブセット、又はそれぞれのサンプリングが、ビデオデータの各サブセット自体のレイヤ又はそれぞれのサンプリング自体のレイヤを生成するために、別個に処理される。各レイヤについて、係数は、量子化モジュールに渡されることができる。レイヤ０を作成するために、係数は、量子化モジュール２２０に渡され、量子化モジュール２２０の出力が、エントロピーエンコーダ２３０に渡されることができる。このエントロピーエンコーディングの結果は、レイヤ０とすることができる。別のサンプリングが、量子化モジュール２２１に送信され得る係数のサブセットをもたらすことができ、量子化モジュール２２１の出力は、エントロピーエンコーダ２３１に送信されることができる。エントロピーエンコーダ２３１の出力は、レイヤ１とすることができる。このことは、サンプリングの数に対して繰り返すことができ、対応する数のレイヤをもたらすことができる。最後は、レイヤｎとして例示されたレイヤである。それから、これらレイヤを、ビットストリーム多重化部（ｍｕｘ）２４０が結合することができる。

デコーダにおいて、多重化されたビットストリームは、サブストリーム抽出モジュール２４５において処理されることができる。ここで、レイヤ０…ｎからの選択を表すサブストリームが抽出される。これらの選択されたレイヤの多重分離が、ビットストリーム多重分離部（ｄｅｍｕｘ）２５０において行われることができ、例示されたレイヤ０、１、…ｍをもたらすことができる。様々な実施形態において、元のレイヤ０…ｎのうち任意のサブセットを選択し、多重分離することができる。それから、各レイヤは、関連する係数を回復するための処理を受けることができる。レイヤ０は、エントロピーデコーダ２６０と逆量子化モジュール２７０とによって処理されることができる。各々の選択されたレイヤは、同様に処理されることができる。係数は、係数組み立てモジュール２７５において統合されることができる。それから、逆変換２８０を、組み立てられた係数に対して行うことができる。その結果が、残差２８５である。残差２８５は、残差２０５と同一ではない可能性があり、むしろ、元のレイヤ０…ｎのすべてが抽出モジュール２４５により抽出されてはいない可能性があることを考えると、残差２８５は、残差２０５の近似として見られ得ることに留意されたい。それから、残差２８５は、エンコードされたソースビデオ（図示せず）の最終的なデコーディングにおいて使用されることができる。

図３には、係数サンプリング（図１の１１５）の処理が一実施形態に従って例示される。残差の変換から生じる係数は、ＨＥＶＣ標準に従って処理されたとおり、２次元形式で体系化されてよい。３１０において、係数をスキャンすることができ、係数の１次元体系をもたらすことができる。このスキャニング動作は、水平のスキャン順序、垂直のスキャン順序又は斜めのスキャン順序を使用することができる。

いったんスキャニングが完了すると、サンプリングを行うことができる。サンプリング処理は、いくつかの予め定義されたサンプリングパラメータによって制御することができる。これらには、サンプリングの開始位置と終了位置とを含むことができる。さらに、サンプリングパターンを定義することができる。サンプリングパターンには、サンプリング比率又は周期Ｒを含むことができる。この値は、サンプリング処理の周期性を表す。元の変換コアが２次元であり、かつサイズＮ×Ｍを有する場合、係数の合計数はＮ×Ｍであり、Ｒは、(1，(Ｎ×Ｍ)−１]の範囲に入り得る。サンプリングパターンはさらに、位相の定義を含むことができ、この定義は、各周期においてどの係数がサンプリングされるかを規定する。ゆえに、周期Ｒ＝４であり、かつ位相が(０，１，３)として定義される場合、係数は、４つからなる連続した非オーバーラップのグループで考えることができる。４つからなる各グループにおいて、係数は、係数０、係数１、係数２及び係数３として識別することができる。位相が(０，１，３)である場合、０、１及び３と番号付けされた係数をサンプリングすることができ、すなわち、第１、第２及び第４の係数とすることができる。

一実施形態において、サンプリングパラメータは、量子化パラメータ（ＱＰ）値に基づいて適応的に決定されることができる。サンプリングパラメータはさらに、現在のピクチャ及び／又は事前にエンコードされたピクチャの特徴を使用することによってエンコーダにおいて生成されることもできる。こうしたパラメータが、デコーディングの間に使用するためにデコーダに送信されることができる。別法として、サンプリングパラメータは、事前に符号化された近隣のピクチャの特徴を使用することによってデコーダにおいて生成されることができる。別法として、サンプリングパラメータは、変換処理において使用された変換コアに依存することができる。ここで、種々のサイズの変換コアが種々のサンプリングパラメータの使用を引き起こしてよく、さらに、正方形４分木変換コアが非正方形４分木変換コアとは異なるサンプリングパラメータを使用してもよい。また、種々のチャネル（例えば、色差及び輝度）が、種々のサンプリングパラメータを使用してよい。

３２０において、サンプリングは、定義された開始位置において始まることができる。３３０において、サンプリングは、予め定義された周期及び位相に従って進むことができる。３４０において、サンプリングは、予め定義された終了位置において停止することができる。

一実施形態において、係数サンプリングは、特定の符号化若しくは予測モードに対して、及び／又は符号化ユニット、予測ユニット若しくは変換ユニットに対して、適応的に適用されることができる。係数サンプリングは、例えば、予測モードに対して必須とすることができる。

図４に、一例示的なサンプリング処理をグラフィカルに例示する。図示される４つのグラフの各々において、Ｘ軸が周波数を表すと同時に、Ｙ軸が係数値を表す。各矢印の高さは、対応する係数の大きさを表し、Ｘ軸上の小さい中空の四角形は、大きさ０を有する係数を表す。最上部のグラフは、変換及びスキャニング処理から生じる係数の完全なセットを表す。破線は、サンプル範囲の広がりを表し、このサンプル範囲内に、サンプリング処理の開始位置と終了位置とが図示されるとおり定義される。

最上部から２番目のグラフは、ベースレイヤ（ＢＬ）としても知られるレイヤ０を示す。ここで、サンプル範囲の中のすべての係数はゼロに設定される。その次のグラフは、拡張レイヤ（ＥＬ）であるレイヤ１を示す。ここで、周期は３に設定され、位相は(０，１)である。結果として、サンプル範囲の中の係数は、３つからなる連続した非オーバーラップのグループで考えられる。各グループにおいて、第１及び第２の係数はサンプリングされ、第３の係数は無視される。

４番目のグラフ（図４の最下部）は、別のＥＬであるレイヤ２を示す。ここで、周期は３に設定され、位相は(２)である。結果として、サンプル範囲の中の係数は、再び、３つからなる連続した非オーバーラップのグループで考えられる。各グループにおいて、第１及び第２の係数は無視され、第３の係数はサンプリングされる。この示された係数は、結果的に生じるレイヤ２を表す。示されたとおり、３つからなる各グループ内の第１及び第２の係数、すなわち０又は１の位相に対応する係数は、取り除かれる。

代替的な実施形態において、スキャニングは、サンプリングの後に行うことができる。ここで、サンプリングは、変換処理から出力された２次元形式で体系化された係数に関して行うことができる。図５に、こうした一実施形態を例示する。５１０において、サンプリングが、係数の２次元（２Ｄ）配列内の定義された開始位置で始まることができる。５２０において、サンプリングは、予め定義された位相及び周期に従って進むことができる。５３０において、サンプリングは、予め定義された終了ポイントにおいて終了することができる。５４０において、スキャニングが、サンプリングされた係数に対して行われることができる。

図６に、こうした一実施形態をグラフィカルに例示する。左上の配列は、係数を、変換処理による出力として表し得る。この配列の右半分が、サンプル範囲を表す。係数の値は、ａ、…ｚ、０、１、…５としてシンボルで図示される。サンプリングを目的として、予め定義された開始位置と終了位置とが示される。さらに、図示されるとおり、垂直周期が４に設定され、水平周期が２に設定される。右上の配列は、ＢＬ、レイヤ０を表し、これにおいて、サンプル範囲の中のすべての係数値は０に設定される。

左下の配列は、ＥＬ、レイヤ１を表す。サンプリングの位相は、(０，０)（開始点と一致する）、(１，１)、(２，０)及び(３，１)として示される。位置(０，０)においてサンプリングされた係数は値ａを有し、位置(１，１)においてサンプリングされた係数は値ｄを有し、位置(２，０)においてサンプリングされた係数は値ｅを有し、位置(３，１)においてサンプリングされた係数は値ｈを有する。各周期において、図示されるとおり、上記の位相は継続される。右下の配列は、別のＥＬ、レイヤ２を表す。ここで、異なるサンプリングが行われる。具体的には、位相が別様に定義される。このレイヤ内の位相は、(０，１)、(１，０)、(２，１)及び(３，０)である。サンプリングされる係数は、図示されるとおりである。

サンプリングがこうした一実施形態において完了した後、サンプリングされた係数のスキャニングを行うことができる。以前のとおり、スキャニングは、水平に、垂直に、あるいは斜めに進めることができる。この結果は、これらのスキャンされた係数の一次元体系とすることができる。

図７に、レイヤ生成（図１の１２０）を一実施形態に従って例示する。７１０において、レイヤの係数を受信することができる。７２０において、係数の量子化を行うことができる。７３０において、エントロピーエンコーディングを行うことができる。エントロピーエンコーディングの出力は、ビデオデータのレイヤを表すことができる。

図８に、こうしたエンコードされたデータから係数を導出する逆演算（図１の１４０）を一実施形態に従って例示する。８１０において、選択されたレイヤを受信することができる。８２０において、エントロピーデコーディングを行うことができる。８３０において、逆量子化を行うことができ、選択されたレイヤの係数をもたらすことができる。

様々な実施形態を、ハードウェア要素、ソフトウェア要素又は双方の組み合わせを用いて実施することができる。ハードウェア要素の例には、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、レジスタ、キャパシタ、インダクタなど）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能論理装置（ＰＬＤ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体装置、チップ、マイクロチップ、チップセットなどを含むことができる。ソフトウェアの例には、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、シンボル、又はこれらの任意の組み合わせを含むことができる。実施形態をハードウェア要素を用いて実施するか及び／又はソフトウェア要素を用いて実施するかの判定は、所望される計算レート、パワーレベル、熱耐性、処理サイクル量、入力データレート、出力データレート、メモリリソース、データバススピード、及び他の設計又は性能制約などの、任意の数のファクタに従って変化し得る。

本明細書において、ソフトウェアという用語は、コンピュータプログラムロジックを記憶したコンピュータ読取可能媒体を含むコンピュータプログラム製品を示すことができ、このコンピュータプログラムロジックは、コンピュータシステムに、本明細書に開示される１若しくは複数の特徴及び／又は特徴の組み合わせを実行させる。コンピュータ読取可能媒体は、一時的又は非一時的であってよい。一時的なコンピュータ読取可能媒体の一例は、ローカルエリアネットワーク若しくはワイドエリアネットワークを通じて又はインターネットなどのネットワークを通じて、無線周波数を介して又は導電体を介して送信されるデジタル信号とすることができる。非一時的コンピュータ読取可能媒体の一例は、コンパクトディスク、フラッシュメモリ、ランダムアクセスメモリ、読取専用メモリ、又は他のデータ記憶装置とすることができる。

図９に、上記のようなソフトウェア／ファームウェアを実行するコンピューティングシステムを一実施形態に従って例示する。例示されるシステム９００は、ビデオエンコーダの一部として、又はビデオエンコーダの支援に使用することができる。システム９００は、１又は複数のプロセッサ９２０を含むことができ、さらに、メモリ９１０部を含むことができる。（１又は複数の）プロセッサ９２０は、１若しくは複数の中央処理ユニットコア、及び／又は１若しくは複数のＧＰＵコアを有するグラフィクス処理ユニットを含むことができる。メモリ９１０は、コンピュータプログラムロジック９４０を記憶できる１又は複数のコンピュータ読取可能媒体を含むことができる。メモリ９１０は、例えば、ハードディスク及びドライブ、コンパクトディスクなどの取外し可能媒体、読取専用メモリ（ＲＯＭ）若しくはランダムアクセスメモリ（ＲＡＭ）装置、又はこれらのいくつかの組み合わせとして実装することができる。（１又は複数の）プロセッサ９２０とメモリ９１０とは、バスなどの、当業者に知られるいくつかのテクノロジーのうち任意のものを用いて通信することができる。メモリ９１０に包含されるコンピュータプログラムロジック９４０は、（１又は複数の）プロセッサ９２０によって読み出され、実行されることができる。さらに、集合的にＩ／Ｏ９３０として図示された１若しくは複数のＩ／Ｏポート及び／又はＩ／Ｏ装置が、（１又は複数の）プロセッサ９２０とメモリ９１０とに接続されることができる。

コンピュータプログラムロジック９４０には、ビデオデータのレイヤの作成に関して上記で説明された処理を具現化するロジックを含むことができる。例示される実施形態において、コンピュータプログラムロジック９４０は、変換モジュール９５０を含むことができ、変換モジュール９５０は、残差を、周波数ドメインにおける係数のセットに変換する役割を果たすことができる。ロジック９４０はさらに、スキャニングモジュール９６０を含むことができ、スキャニングモジュール９６０は、２次元形式の係数を１次元形式に変換する役割を果たすことができる。ロジック９４０はさらに、サンプリングモジュール９７０を含むことができる。このモジュールは、予め定義されたサンプリングパターンと所与の規定された開始位置及び終了位置とに従って、上記で説明されたように係数をサンプリングする役割を果たすことができる。ロジック９４０はさらに、後続処理を容易にするために係数を量子化する役割を果たす量子化モジュール９８０を含むことができる。ロジック９４０はさらに、エントロピーエンコーディングのためのモジュール９９０を含むことができる。

図１０に、デコーディングシステムにおいて（又は、こうしたデコーディングシステムの支援において）ソフトウェア／ファームウェアを実行するコンピューティングシステムを一実施形態に従って図示する。図示されるシステム１０００は、デコーダの一部として、又はデコーダの支援に使用することができる。システム１０００は、１又は複数のプロセッサ１０２０を含むことができ、さらに、メモリ１０１０部を含むことができる。（１又は複数の）プロセッサ１０２０は、１若しくは複数の中央処理ユニットコア、及び／又は１若しくは複数のＧＰＵコアを有するグラフィクス処理ユニットを含むことができる。メモリ１０１０は、コンピュータプログラムロジック１０４０を記憶できる１又は複数のコンピュータ読取可能媒体を含むことができる。メモリ１０１０は、例えば、ハードディスク及びドライブ、コンパクトディスクなどの取外し可能媒体、読取専用メモリ（ＲＯＭ）若しくはランダムアクセスメモリ（ＲＡＭ）装置、又はこれらのいくつかの組み合わせとして実装することができる。（１又は複数の）プロセッサ１０２０とメモリ１０１０とは、バスなどの、当業者に知られるいくつかのテクノロジーのうち任意のものを用いて通信することができる。メモリ１０１０に包含されるコンピュータプログラムロジック１０４０は、（１又は複数の）プロセッサ１０２０によって読み出され、実行されることができる。さらに、集合的にＩ／Ｏ１０３０として図示された１若しくは複数のＩ／Ｏポート及び／又はＩ／Ｏ装置が、（１又は複数の）プロセッサ１０２０とメモリ１０１０とに接続されることができる。

コンピュータプログラムロジック１０４０は、デコーダにおける処理に関して上記で説明された処理を具現化するロジックを含むことができる。例示される実施形態において、コンピュータプログラムロジック１０４０は、レイヤ選択モジュール１０５０を含むことができ、レイヤ選択モジュール１０５０は、デコーディングを目的として特定のレイヤを選択する役割を果たすことができる。コンピュータプログラムロジック１０４０はさらに、エントロピーデコーディングの役割を果たすモジュール１０６０を含むことができる。コンピュータプログラムロジック１０４０はさらに、逆量子化モジュール１０７０を含むことができ、逆量子化モジュール１０７０は、量子化された係数を、さらなる処理を可能にする形式に適合させる役割を果たすことができる。ロジック１０４０はさらに、選択されたレイヤから係数を統合する役割を果たすことができる係数組み立てモジュール１０８０を含むことができる。ロジック１０４０はさらに、逆変換モジュール１０９０を含むことができ、逆変換モジュール１０９０は、係数を、展開に使用できる形式の残差に変換する役割を果たすことができる。

図２、図９及び図１０に例示されるシステムなどのスケーラブルなビデオ符号化及び／又はデコーディングのためのシステムは、より大きな情報システムの一部とすることができる。図１１は、こうした一実施形態を例示する。実施形態において、システム１１００はメディアシステムとすることができるが、システム１１００はこの文脈に限定されない。例えば、システム１１００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、セルラー電話、セルラー電話／ＰＤＡ組み合わせ、テレビ受像機、スマートデバイス（例えば、スマートフォン、スマートタブレット又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信装置などに組み込むことができる。

実施形態において、システム１１００は、ディスプレイ１１２０に結合されたプラットフォーム１１０２を含む。プラットフォーム１１０２は、（１又は複数の）コンテンツサービス装置１１３０又は（１又は複数の）コンテンツ配信装置１１４０又は他の同様のコンテンツソースなどのコンテンツ装置からコンテンツを受信することができる。１又は複数のナビゲーション機構を含むナビゲーション制御部１１５０を使用して、例えば、プラットフォーム１１０２及び／又はディスプレイ１１２０とやりとりすることができる。これらのコンポーネントの各々を、以下でより詳細に説明する。

実施形態において、プラットフォーム１１０２は、チップセット１１０５、プロセッサ１１１０、メモリ１１１２、記憶装置１１１４、グラフィクスサブシステム１１１５、アプリケーション１１１６及び／又は無線部１１１８のうち任意の組み合わせを含むことができる。チップセット１１０５は、プロセッサ１１１０、メモリ１１１２、記憶装置１１１４、グラフィクスサブシステム１１１５、アプリケーション１１１６及び／又は無線部１１１８における相互通信を提供することができる。例えば、チップセット１１０５には、記憶装置１１１４との相互通信を提供する能力がある記憶装置アダプタ（図示せず）を含むことができる。

プロセッサ１１１０は、複合命令セットコンピュータ（ＣＩＳＣ）若しくは縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セット互換プロセッサ、マルチコア、又は任意の他のマイクロプロセッサ若しくは中央処理ユニット（ＣＰＵ）として実装することができる。実施形態において、プロセッサ１１１０は、（１又は複数の）マルチコアプロセッサ、（１又は複数の）マルチコアモバイルプロセッサなどを含むことができる。一実施形態において、プロセッサ１１１０は、図９及び図１０の（１又は複数の）プロセッサ９２０及び／又はプロセッサ１０２０にそれぞれ対応することができる。

メモリ１１１２は、これらに限定されないが、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）又はスタティックＲＡＭ（ＳＲＡＭ）などの揮発性メモリ装置として実装されることができる。

記憶装置１１１４は、これらに限定されないが、磁気ディスクドライブ、光学ディスクドライブ、テープドライブ、内部記憶装置、接続型記憶装置、フラッシュメモリ、バッテリバックアップＳＤＲＡＭ（同期型ＤＲＡＭ）、及び／又はネットワークアクセス可能記憶装置などの不揮発性記憶装置として実装されることができる。実施形態において、記憶装置１１１４は、例えば、複数ハードドライブが含まれるとき、価値のあるデジタルメディアのための記憶性能により強化された保護を向上させるテクノロジーを含むことができる。

グラフィクスサブシステム１１１５は、表示のための、静止画又はビデオなどの画像の処理を行うことができる。グラフィクスサブシステム１１１５は、例えば、グラフィクス処理ユニット（ＧＰＵ）又はビジュアル処理ユニット（ＶＰＵ）とすることができる。アナログ又はデジタルインタフェースが使用されて、グラフィクスサブシステム１１１５とディスプレイ１１２０とを通信可能に結合することができる。例えば、インタフェースは、高精細マルチメディアインタフェース、ディスプレイポート、ワイヤレスＨＤＭＩ（登録商標）及び／又はワイヤレスＨＤに準拠した手法のうち任意のものとすることができる。グラフィクスサブシステム１１１５は、プロセッサ１１１０又はチップセット１１０５に一体化されてもよい。グラフィクスサブシステム１１１５は、チップセット１１０５に通信可能に結合されるスタンドアロンカードとすることができる。

本明細書に説明されるグラフィクス及び／又はビデオ処理手法は、様々なハードウェアアーキテクチャにおいて実施されることができる。例えば、グラフィクス及び／又はビデオ機能性が、チップセット内に一体化されてよい。別法として、別々のグラフィクス及び／又はビデオプロセッサが使用されてよい。さらに別の実施形態として、グラフィクス及び／又はビデオ機能は、マルチコアプロセッサを含む汎用目的プロセッサにより実施されてよい。さらなる実施形態において、上記機能は、家庭用電子機器において実施されてよい。

無線部１１１８は、様々な適切なワイヤレス通信手法を用いて信号を送信及び受信する能力がある１又は複数の無線部を含むことができる。上記の手法は、１又は複数のワイヤレスネットワークにわたる通信を伴うことができる。例示的なワイヤレスネットワークには、（これらに限定されないが、）ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）、ワイヤレスメトロポリタンエリアネットワーク（ＷＭＡＮ）、セルラーネットワーク及び衛星ネットワークを含む。こうしたネットワークにわたる通信において、無線部１１１８は、１又は複数の適用可能な標準の任意のバージョンに従って動作することができる。

実施形態において、ディスプレイ１１２０は、任意のモニタ又はディスプレイを含むことができる。ディスプレイ１１２０には、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビ受像機のような装置、及び／又はテレビ受像機を含んでよい。ディスプレイ１１２０は、デジタル及び／又はアナログであってよい。実施形態において、ディスプレイ１１２０は、ホログラフィックディスプレイであってよい。また、ディスプレイ１１２０は、視覚投影を受信できる透過的サーフェスであってよい。こうした投影は、様々な形式の情報、画像及び／又は物体を伝えることができる。例えば、こうした投影は、モバイル拡張現実（ＭＡＲ）アプリケーションのための視覚的オーバレイであってよい。１又は複数のソフトウェアアプリケーション１１１６の制御下で、プラットフォーム１１０２は、ディスプレイ１１２０上にユーザインタフェース１１２２を表示することができる。

実施形態において、（１又は複数の）コンテンツサービス装置１１３０は、任意の全国的な、国際的な、及び／又は独立したサービスにより提供されてよく、したがって、例えば、インターネットを介してプラットフォーム１１０２からアクセスすることができる。（１又は複数の）コンテンツサービス装置１１３０は、プラットフォーム１１０２に、及び／又はディスプレイ１１２０に結合されることができる。プラットフォーム１１０２及び／又は（１又は複数の）コンテンツサービス装置１１３０は、ネットワーク１１６０に結合されてネットワーク１１６０とメディア情報をやりとりする（例えば、送信及び／又は受信する）ことができる。（１又は複数の）コンテンツ配信装置１１４０もまた、プラットフォーム１１０２に、及び／又はディスプレイ１１２０に結合されることができる。

実施形態において、（１又は複数の）コンテンツサービス装置１１３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話機、デジタル情報及び／又はコンテンツを配信する能力があるインターネット可能な装置又は電化製品、並びに、ネットワーク１１６０を介して又は直接的にコンテンツプロバイダとプラットフォーム１１０２及び／ディスプレイ１１２０との間でコンテンツを単方向又は双方向に伝達する能力がある任意の他の同様の装置を含むことができる。コンテンツは、ネットワーク１１６０を介して、システム１１００内のコンポーネントのうち任意の１つからコンテンツプロバイダへ、及びコンテンツプロバイダからシステム１１００内のコンポーネントのうち任意の１つへ、単方向及び／又は双方向に伝達されることができることを十分理解されたい。コンテンツの例には、例えば、ビデオ、音楽、医療及びゲーム用情報などを含む任意のメディア情報を含むことができる。

（１又は複数の）コンテンツサービス装置１１３０は、メディア情報、デジタル情報及び／又は他のコンテンツを含むケーブルテレビプログラムなどのコンテンツを受信する。コンテンツプロバイダの例には、任意のケーブル若しくは衛星テレビ又は無線若しくはインターネットコンテンツプロバイダを含むことができる。提供された例は、本発明の実施形態を限定することが意図されるものではない。

実施形態において、プラットフォーム１１０２は、１又は複数のナビゲーション機構を有するナビゲーション制御部１１５０から制御信号を受信することができる。制御部１１５０のナビゲーション機構を使用して、例えば、ユーザインタフェース１１２２と対話することができる。実施形態において、ナビゲーション制御部１１５０は、ポインティング装置とすることができ、このポインティング装置は、ユーザがコンピュータに空間的（例えば、連続的なマルチ次元の）データを入力することを可能にするコンピュータハードウェアコンポーネント（具体的に、ヒューマンインタフェース装置）とすることができる。グラフィカルユーザインタフェース（ＧＵＩ）とテレビ受像機及びモニタとなどの多くのシステムが、ユーザが身体的ジェスチャを用いてコンピュータ又はテレビ受像機を制御し、コンピュータ又はテレビ受像機にデータを提供することを可能にする。

制御部１１５０のナビゲーション機構の動きは、ポインタ、カーソル、焦点リング、又はディスプレイ上に表示される他の視覚的インジケータの動きによって、ディスプレイ（例えば、ディスプレイ１１２０）上にエコーされることができる。例えば、ソフトウェアアプリケーション１１１６の制御下で、ナビゲーション制御部１１５０上に位置するナビゲーション機構は、ユーザインタフェース１１２２上に表示される仮想のナビゲーション機構にマップされることができる。実施形態において、制御部１１５０は、別個のコンポーネントでなく、しかしプラットフォーム１１０２及び／又はディスプレイ１１２０に一体化される場合がある。しかしながら、実施形態は、本明細書に図示され又は説明される要素又は文脈に限定されない。

実施形態において、ドライバ（図示せず）は、例えば、有効である場合、ユーザが、テレビ受像機のようなプラットフォーム１１０２を、最初の起動後、ボタンのタッチで即時にオン及びオフすることを可能にするテクノロジーを含むことができる。プラットフォーム１１０２が「オフ」にされるとき、プログラムロジックが、プラットフォームがメディアアダプタ又は（１又は複数の）他のコンテンツサービス装置１１３０又は（１又は複数の）コンテンツ配信装置１１４０にコンテンツをストリームすることを可能にする。さらに、チップセット１１０５は、例えば、５．１サラウンドサウンドオーディオ及び／又は高精細７．１サラウンドサウンドオーディオのためのハードウェア及び／又はソフトウェアサポートを含んでよい。ドライバは、統合されたグラフィクスプラットフォームのためのグラフィクスドライバを含んでよい。実施形態において、グラフィクスドライバは、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）エクスプレスグラフィクスカードを含んでよい。

様々な実施形態において、システム１１００に示されるコンポーネントのうち任意の１又は複数がまとめられてよい。例えば、プラットフォーム１１０２と（１又は複数の）コンテンツサービス装置１１３０とが一体化されてよく、あるいは、プラットフォーム１１０２と（１又は複数の）コンテンツ配信サービス１１４０とが一体化されてよく、あるいは、例えば、プラットフォーム１１０２と（１又は複数の）コンテンツサービス装置１１３０と（１又は複数の）コンテンツ配信装置１１４０とが一体化されてよい。様々な実施形態において、プラットフォーム１１０２とディスプレイ１１２０とが、一体化されたユニットであってよい。例えば、ディスプレイ１１２０と（１又は複数の）コンテンツサービス装置１１３０とが一体化されてよく、あるいは、ディスプレイ１１２０と（１又は複数の）コンテンツ配信装置１１４０とが一体化されてよい。これらの例は、本発明を限定することを意図するものではない。

様々な実施形態において、システム１１００は、ワイヤレスシステム、有線システム又は双方の組み合わせとして実装されることができる。ワイヤレスシステムとして実装されるとき、システム１１００は、１又は複数のアンテナ、送信部、受信部、トランシーバ、増幅部、フィルタ、制御ロジックなどの、ワイヤレス共有媒体を介して通信することに適したコンポーネント及びインタフェースを含むことができる。ワイヤレス共有媒体の一例には、ＲＦスペクトラムなどのワイヤレススペクトラムの部分を含むことができる。有線システムとして実装される場合、システム１１００は、入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続する物理コネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラなどの、有線通信媒体を介して通信することに適したコンポーネント及びインタフェースを含むことができる。有線通信媒体の例には、ワイヤ、ケーブル、メタルリード線、プリント回路板（ＰＣＢ）、バックプレーン、スイッチ構成、半導体物質、ツイストペアワイヤ、同軸ケーブル、光ファイバなどを含むことができる。

プラットフォーム１１０２は、１又は複数の論理的又は物理的チャネルを確立して情報を通信することができる。この情報には、メディア情報及び制御情報を含むことができる。メディア情報は、ユーザに向けられたコンテンツを表す任意のデータを指すことができる。コンテンツの例には、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（「Ｅメール」）メッセージ、ボイスメールメッセージ、英数字シンボル、グラフィクス、画像、ビデオ、テキストなどからのデータを含むことができる。音声会話からのデータは、例えば、発話情報、沈黙期間、背景雑音、快適雑音、トーンなどであり得る。制御情報は、自動化されたシステムに向けられたコマンド、命令又は制御ワードを表す任意のデータを指すことができる。例えば、制御情報を使用して、システムを通るメディア情報のルートを決定することができ、あるいは所定の方法でメディア情報を処理するようにノードに指示することができる。しかしながら、実施形態は、図１１に図示又は説明される要素又は文脈に限定されない。

上記で説明されたとおり、システム１１００は、様々な物理的スタイル又はフォームファクタにおいて具現化されることができる。図１２は、システム１１００を具現化できる小さいフォームファクタ装置１２００の実施形態を例示する。実施形態において、例えば、装置１２００は、ワイヤレス能力を有するモバイルコンピューティング装置として実装されることができる。モバイルコンピューティング装置は、例えば、処理システムと１又は複数のバッテリなどのモバイル電源又は電力供給とを有する任意の装置を指すことができる。

上記で説明されたとおり、モバイルコンピューティング装置の例には、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、セルラー電話、セルラー電話／ＰＤＡ組み合わせ、テレビ受像機、スマートデバイス（例えば、スマートフォン、スマートタブレット又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信装置などを含むことができる。

モバイルコンピューティング装置の例には、人間が身に着けるように構成されたコンピュータも含むことができる。実施形態において、例えば、モバイルコンピューティング装置は、コンピュータアプリケーションと音声通信及び／又はデータ通信とを実行する能力があるスマートフォンとして実装されてよい。いくつかの実施形態が、例としてスマートフォンとして実装されるモバイルコンピューティング装置を用いて説明され得るが、他の実施形態が、他のワイヤレスモバイルコンピューティング装置を同様に用いて実施され得ることを十分理解されたい。実施形態は、この文脈に限定されない。

図１２に示されるとおり、装置１２００は、ハウジング１２０２、ディスプレイ１２０４、入力／出力（Ｉ／Ｏ）装置１２０６及びアンテナ１２０８を含むことができる。装置１２００は、ナビゲーション機構１２１２も含むことができる。ディスプレイ１２０４は、モバイルコンピューティング装置に適した情報を表示する任意の適切なディスプレイユニットを含むことができる。Ｉ／Ｏ装置１２０６は、モバイルコンピューティング装置に情報を入力するための任意の適切なＩ／Ｏ装置を含むことができる。Ｉ／Ｏ装置１２０６の例には、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイクロフォン、スピーカ、音声認識装置及びソフトウェアなどを含むことができる。情報は、マイクロフォンによって装置１２００に入力されてもよい。こうした情報は、音声認識装置によってデジタル化されることができる。実施形態は、この文脈に限定されない。

少なくとも１つの実施形態の１又は複数の態様が、プロセッサ内の様々なロジックを表すマシン読取可能媒体上に記憶された代表的な命令により実施されることができ、この代表的な命令は、マシンにより読み出されると、本明細書に説明される手法を行うロジックをマシンに製作させる。こうした表現は、「ＩＰコア」として知られ、有形のマシン読取可能媒体上に記憶され、様々な取引先又は製造施設に供給されて、ロジック又はプロセッサを実際に作る製作マシンにロードされることができる。

方法及びシステムが、機能、機構及びこれらの関係を例示する機能的な構成要素を用いて本明細書に開示されている。これらの機能的な構成ブロックの境界の少なくともいくつかは、説明を簡便にするために本明細書において任意に定義されている。指定された機能とこれらの関連とが適切に果たされるかぎり、代替的な境界が定義されてよい。

様々な実施形態が本明細書に開示されているが、実施形態は、限定ではなく単に例として提示されていることを十分理解されたい。本明細書に開示される方法及びシステムの主旨及び範囲から逸脱することなしに、形式及び詳細における様々な変更が実施形態においてなされ得ることが、当業者には明らかであろう。したがって、請求項の広さ及び範囲は、本明細書に開示される例示的な実施形態のいずれにも限定されるべきではない。

一実施形態において、スケーラブルビデオエンコーディングの方法が、処理の予測残差の変換から生じる係数をサンプリングするステップであり、上記サンプリングするステップはそれぞれの複数のサンプルをもたらすように複数回行われる、ステップと、各サンプルを用いて、エンコードされたデータのそれぞれのレイヤを生成するステップと、上記それぞれのレイヤを多重化するステップと、を含むことができる。

一実施形態において、上記方法は、上記サンプリングするステップの後、かつ上記生成の前に行われる、各サンプルを１次元形式へとスキャンするステップ、をさらに含むことができる。代替的な実施形態において、上記方法は、上記サンプリングするステップの前に行われる、変換から生じる係数を１次元形式へとスキャンするステップ、をさらに含むことができる。

エンコードされたデータのレイヤの生成には、サンプルの量子化と、量子化されたサンプルをエントロピーエンコードするステップとを含むことができる。上記サンプリングするステップは、予め定義されたサンプリングパターンと開始位置と終了位置とに従って行われることができる。

一実施形態において、スケーラブルビデオデコーディングの方法が、エンコードされたデータの複数のレイヤを含む多重化されたビットストリームを受信するステップと、上記多重化されたビットストリームから上記複数のレイヤのサブセットを選択するステップと、上記サブセット内の各レイヤについて、処理の残差を少なくとも部分的に表す係数のサンプルを導出するステップと、上記レイヤの上記係数を組み立てるステップと、上記残差のバージョンを作成するように、上記係数に対して逆変換を行うステップと、を含むことができる。上記方法は、ビデオ品質のレベルを決定するステップであり、上記複数のレイヤの上記サブセットは上記ビデオ品質を達成するように選択される、ステップ、をさらに含むことができる。レイヤについて、係数の上記サンプルを導出するステップは、上記レイヤをエントロピーデコードするステップと、上記のエントロピーデコードされたレイヤの逆量子化を行うステップと、を含むことができる。

上記で説明された処理は、スケーラブルビデオエンコーディングのための装置によって実施されることができ、上記装置は、プロセッサに、処理の予測残差の変換から生じる係数をサンプリングさせる手段であり、上記サンプリングはそれぞれの複数のサンプルをもたらすように複数回行われる、手段と、上記プロセッサに、各サンプルを用いて、エンコードされたデータのそれぞれのレイヤを生成させる手段と、上記プロセッサに、上記それぞれのレイヤを多重化させる手段と、を含むことができる。上記装置は、上記プロセッサに、上記サンプリングの後、かつ上記生成の前に行われる、各サンプルを１次元形式へとスキャンさせる手段をさらに含むことができ、あるいは上記プロセッサに、上記サンプリングの前に行われる、上記変換から生じる上記係数を１次元形式へとスキャンさせる手段を含むことができる。

上記プロセッサにエンコードされたデータのレイヤを生成させる上記手段は、上記プロセッサにサンプルを量子化させる手段と、上記プロセッサに上記の量子化されたサンプルをエントロピーエンコードさせる手段と、をさらに含むことができる。

上記サンプリングは、予め定義されたサンプリングパターンと開始位置と終了位置とに従って行われることができる。

スケーラブルビデオデコーディングのための装置が、プロセッサに、エンコードされたデータの複数のレイヤを含む多重化されたビットストリームを受信させる手段と、上記プロセッサに、上記多重化されたビットストリームから上記複数のレイヤのサブセットを選択させる手段と、上記プロセッサに、上記サブセット内の各レイヤについて、処理の残差を少なくとも部分的に表す係数のサンプルを導出させる手段と、上記プロセッサに、上記レイヤの上記係数を組み立てさせる手段と、上記プロセッサに、上記残差のバージョンを作成するように、上記係数に対して逆変換を行わせる手段と、を含むことができる。上記プロセッサに、レイヤについて、係数の上記サンプルを導出させる上記手段は、上記プロセッサに、上記レイヤをエントロピーデコードさせる手段と、上記プロセッサに、上記のエントロピーデコードされたレイヤの逆量子化を行わせる手段と、をさらに含むことができる。上記装置は、上記プロセッサに、ビデオ品質のレベルを決定させる手段であり、上記複数のレイヤの上記サブセットは特定のビデオ品質を達成するように選択される、手段、をさらに含むことができる。

スケーラブルビデオエンコーディングのための装置が、処理の予測残差の変換から生じる係数をサンプリングする係数サンプリングモジュールであり、上記サンプリングはそれぞれの複数のサンプルをもたらすように複数回行われる、モジュールと、各サンプルを用いて、エンコードされたデータのそれぞれのレイヤを生成する手段と、上記それぞれのレイヤを多重化する多重化部と、を含むことができる。

上記装置は、上記サンプリングの後、かつ上記生成の前に行われる、各サンプルを１次元形式へとスキャンする手段をさらに含むことができ、あるいは、上記サンプリングの前に行われる、上記変換から生じる上記係数を１次元形式へとスキャンする手段を含むことができる。

上記生成する手段は、サンプルの量子化のための量子化モジュールと、上記の量子化されたサンプルをエントロピーエンコードするエントロピーエンコーダと、を含むことができる。

上記装置において、上記サンプリングは、予め定義されたサンプリングパターンと開始位置と終了位置とに従って行われることができる。

スケーラブルビデオデコーディングのための装置が、エンコードされたデータの複数のレイヤを含む多重化されたビットストリームを受信する手段と、上記多重化されたビットストリームから上記複数のレイヤのサブセットを選択するサブストリーム選択モジュールと、上記サブセット内の各レイヤについて、処理の残差を少なくとも部分的に表す係数のサンプルを導出する手段と、上記レイヤの上記係数を組み立てる係数組み立てモジュールと、上記残差のバージョンを作成するように、上記係数に対して逆変換を行う逆変換モジュールと、を含むことができる。レイヤについて、係数の上記サンプルを導出する上記手段は、上記レイヤをエントロピーデコードするエントロピーデコーダと、上記のエントロピーデコードされたレイヤの逆量子化を行う逆量子化モジュールと、を含むことができる。上記装置は、ビデオ品質のレベルを決定する手段であり、上記複数のレイヤの上記サブセットが上記ビデオ品質を達成するように選択される、手段、をさらに含むことができる。

Claims (24)

1. スケーラブルビデオエンコーディングの方法であって、
   ビデオ圧縮処理の残差の変換から生じる係数をサンプリングするステップであり、該サンプリングするステップはそれぞれの複数のサンプルをもたらすように複数回行われる、ステップと、
   各サンプルを用いて、ビデオデータのそれぞれのレイヤを生成するステップと、
   前記それぞれのレイヤを多重化するステップと、
   を含む方法。
2. 前記サンプリングするステップの後、かつ前記生成するステップの前に行われる、各サンプルを１次元形式へとスキャンするステップ、
   をさらに含む請求項１の方法。
3. 前記サンプリングするステップの前に行われる、前記変換から生じる前記係数を１次元形式へとスキャンするステップ、
   をさらに含む請求項１の方法。
4. 前記のエンコードされたデータのレイヤを生成するステップは、
   サンプルを量子化するステップと、
   前記の量子化されたサンプルをエントロピーエンコードするステップと、
   を含む、請求項１の方法。
5. 前記サンプリングするステップは、予め定義されたサンプリングパターンと開始位置と終了位置とに従って行われる、請求項１の方法。
6. スケーラブルビデオデコーディングの方法であって、
   ビデオデータの複数のレイヤを含む多重化されたビットストリームを受信するステップと、
   前記多重化されたビットストリームから前記複数のレイヤのサブセットを選択するステップと、
   前記サブセット内の各々の選択されたレイヤについて、ビデオ圧縮処理の残差を少なくとも部分的に表す係数のサンプルを導出するステップと、
   前記の選択されたレイヤの前記係数を組み立てるステップと、
   前記残差のバージョンを作成するように、前記係数に対して逆変換を行うステップと、
   を含む方法。
7. レイヤについて、係数の前記サンプルを導出するステップは、
   前記レイヤをエントロピーデコードするステップと、
   前記のエントロピーデコードされたレイヤの逆量子化を行うステップと、
   を含む、請求項６の方法。
8. ビデオ品質を決定するステップであり、前記の選択されたレイヤは前記ビデオ品質を達成するように選ばれる、ステップ、をさらに含む請求項６の方法。
9. スケーラブルビデオエンコーディングのための装置であって、
   プロセッサに、ビデオ圧縮処理の残差の変換から生じる係数をサンプリングさせる手段であり、前記サンプリングはそれぞれの複数のサンプルをもたらすように複数回行われる、手段と、
   前記プロセッサに、各サンプルを用いて、ビデオデータのそれぞれのレイヤを生成させる手段と、
   前記プロセッサに、前記それぞれのレイヤを多重化させる手段と、
   を含む装置。
10. 前記サンプリングの後、かつ前記生成の前に行われる、前記プロセッサに、各サンプルを１次元形式へとスキャンさせる手段、
    をさらに含む請求項９の装置。
11. 前記サンプリングの前に行われる、前記プロセッサに、前記変換から生じる前記係数を１次元形式へとスキャンさせる手段、
    をさらに含む請求項９の装置。
12. 前記プロセッサに、エンコードされたデータのレイヤを生成させる前記手段は、
    前記プロセッサに、サンプルを量子化させる手段と、
    前記プロセッサに、前記の量子化されたサンプルをエントロピーエンコードさせる手段と、
    を含む、請求項９の装置。
13. 前記サンプリングは、予め定義されたサンプリングパターンと開始位置と終了位置とに従って行われる、請求項９の装置。
14. スケーラブルビデオデコーディングのための装置であって、
    プロセッサに、ビデオデータの複数のレイヤを含む多重化されたビットストリームを受信させる手段と、
    前記プロセッサに、前記多重化されたビットストリームから前記複数のレイヤのサブセットを選択させる手段と、
    前記プロセッサに、前記サブセット内の各々の選択されたレイヤについて、ビデオ圧縮処理の残差を少なくとも部分的に表す係数のサンプルを導出させる手段と、
    前記プロセッサに、前記の選択されたレイヤの前記係数を組み立てさせる手段と、
    前記残差のバージョンを作成するように、前記プロセッサに、前記係数に対して逆変換を行わせる手段と、
    を含む装置。
15. 前記プロセッサに、レイヤについて、係数の前記サンプルを導出させる前記手段は、
    前記プロセッサに、前記レイヤをエントロピーデコードさせる手段と、
    前記プロセッサに、前記のエントロピーデコードされたレイヤの逆量子化を行わせる手段と、
    を含む、請求項１４の装置。
16. 前記プロセッサに、ビデオ品質を決定させる手段であり、前記の選択されたレイヤは前記ビデオ品質を達成するように選ばれる、手段、
    をさらに含む請求項１４の装置。
17. スケーラブルビデオエンコーディングのための装置であって、
    ビデオ圧縮処理の残差の変換から生じる係数をサンプリングする係数サンプリングモジュールであり、前記サンプリングはそれぞれの複数のサンプルをもたらすように複数回行われる、モジュールと、
    各サンプルを用いて、エンコードされたデータのそれぞれのレイヤを生成する手段と、
    前記それぞれのレイヤを多重化する多重化部と、
    を含む装置。
18. 前記サンプリングの後、かつ前記生成の前に行われる、各サンプルを１次元形式へとスキャンする手段、
    をさらに含む請求項１７の装置。
19. 前記サンプリングの前に行われる、前記変換から生じる前記係数を１次元形式へとスキャンする手段、
    をさらに含む請求項１７の装置。
20. エンコードされたデータのレイヤを生成する前記手段は、
    サンプルの量子化のための量子化モジュールと、
    前記の量子化されたサンプルをエントロピーエンコードするエントロピーエンコーダと、
    を含む、請求項１７の装置。
21. 前記サンプリングは、予め定義されたサンプリングパターンと開始位置と終了位置とに従って行われる、請求項１７の装置。
22. スケーラブルビデオデコーディングのための装置であって、
    ビデオデータの複数のレイヤを含む多重化されたビットストリームを受信する手段と、
    前記多重化されたビットストリームから前記複数のレイヤのサブセットを選択するサブストリーム抽出モジュールと、
    前記サブセット内の各々の選択されたレイヤについて、ビデオ圧縮処理の残差を少なくとも部分的に表す係数のサンプルを導出する手段と、
    前記の選択されたレイヤの前記係数を組み立てる係数組み立てモジュールと、
    前記残差のバージョンを作成するように、前記係数に対して逆変換を行う逆変換モジュールと、
    を含む装置。
23. レイヤについて、係数の前記サンプルを導出する前記手段は、
    前記レイヤをエントロピーデコードするエントロピーデコーダと、
    前記のエントロピーデコードされたレイヤの逆量子化を行う逆量子化モジュールと、
    を含む、請求項２２の装置。
24. ビデオ品質のレベルを決定する手段であり、前記の選択されたレイヤはビデオ品質を達成するように選ばれる、手段、
    をさらに含む請求項２２の装置。

Images