JP2005506816A - 適応的コンテンツフィルタリングを用いた空間拡張可能圧縮の機構 - Google Patents

Abstract

適応的コンテンツフィルタリングを用いた更に効率的な空間拡張可能圧縮の機構が開示される。上位レイヤの残差ストリームへの乗算器の導入によって、空間拡張可能圧縮の機構の映像圧縮量が増加する。乗算器は、画像分析装置からの映像の各フレームの各ピクセル又はピクセルのグループの利得値を制御し、前記利得値は、少しの詳細の領域又は詳細のない領域についてゼロに近づき、エッジとテキストについて1に近づく。従って、乗算器は上位レイヤの無関係なデータで使われるビットの量を削減するフィルタとして動作する。乗算器はまた、動的解像度の圧縮を可能にする。

Description

【技術分野】
【０００１】
本発明は、ビデオエンコーダー／デコーダーに関するものであり、特に、適応的コンテンツフィルタリング又は動的解像度を用いた空間拡張可能圧縮の機構を備えたビデオエンコーダー／デコーダーに関するものである。
【背景技術】
【０００２】
デジタル映像に固有の大量のデータのため、フルモーションの高画質のデジタル映像信号の送信は、高画質テレビの開発において有意な問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度による画素の配列から構成された静止画像である。結果として、高解像度の映像シーケンスに含まれる未処理のデジタル情報量は大量になる。送信しなければならないデータ量を削減するために、圧縮の機構がデータを圧縮するために用いられる。MPEG-2とMPEG-4とH.263とを含む多様な映像圧縮規格又は処理が確立されている。
【０００３】
１つのストリームにおいて映像が多様な解像度及び／又は品質で利用可能な、多数のアプリケーションが可能にされている。これを達成する方法は、大まかに拡張性の技術と称される。拡張性を実施し得る３つの軸が存在する。第１のものは時間軸の拡張性であり、しばしば時間拡張性と称される。第２に、品質軸（量子化）の拡張性が存在し、しばしば信号対雑音（SNR）拡張性又は細粒拡張性と称される。第３軸は解像度の軸（画像における画素の数）であり、空間拡張性と称される。階層化コーディングにおいて、ビットストリームは、２つ以上のビットストリーム又はレイヤに分割される。各レイヤが組み合わせられ、単一の高品質の信号を構成し得る。例えば、基本レイヤが低品質の映像信号を提供する場合があり、上位レイヤが基本レイヤの画像を拡張し得る追加情報を提供する。
【０００４】
特に、空間拡張性は、異なる映像規格又はデコーダーの性能の間で互換性を提供し得る。空間拡張性で、基本レイヤの映像は入力映像シーケンスより低い解像度を有する場合があり、その場合、上位レイヤが基本レイヤの解像度を入力シーケンスのレベルに復元し得る情報を運ぶ。
【０００５】
図１は既知の空間拡張可能ビデオエンコーダー100を示したものである。描かれたエンコードシステム100は階層化圧縮を達成し、それによってチャネルの一部が低解像度の基本レイヤを提供するために用いられ、残りの部分が輪郭強調情報を送信するために用いられ、それによって、２つの信号が再結合され、システムを高解像度にし得る。高解像度の映像入力はスプリッタ102によって分割され、それによってデータが低域通過フィルタ104と減算回路106に送信される。低域通過フィルタ104は映像データの解像度を削減し、それが基本エンコーダー108に供給される。一般的に低域通過フィルタとエンコーダーは技術的に周知であり、簡潔のため、ここで詳細に説明されない。エンコーダー108は放送され、受信され、デコーダーを介して現状のまま表示され得る低解像度の基本ストリームを作るが、基本ストリームは高画質と考えられる解像度を提供しない。
【０００６】
エンコーダー108の出力はまた、システム100内でデコーダー112に供給される。そこから、デコードされた信号が補間及びアップサンプル（upsample）回路114に供給される。一般的に、補間及びアップサンプル（upsample）回路114は、デコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と同じ解像度を有する映像データストリームを作る。しかし、エンコードとデコードから生じるフィルタリングと損失のため、再構成されたストリームに情報の損失が存在する。元の変更されていない高解像度のストリームから再構成された高解像度のストリームを差し引くことによって、損失が減算回路106で判断される。減算回路106の出力は、適度な品質の上位ストリームを出力する上位エンコーダー116に供給される。
【０００７】
前記階層化圧縮の機構は非常にうまく作動するように作られ得るが、前記機構は、上位レイヤが高いビットレートを必要とする問題を有する。通常は、上位レイヤのビットレートは基本レイヤのビットレートと同じ又はそれより高い。しかし、高品質の映像信号を保存する欲求が、一般の圧縮規格によって通常に配信され得るものより低いビットレートを要求する。このことは、記録／再生時間が小さくなり過ぎるため、既存の標準画質のシステムに高画質を導入することを困難にする。
【発明の開示】
【課題を解決するための手段】
【０００８】
適応的コンテンツフィルタリングを用いて、上位エンコーダーに入力される残差の信号のビット数を削減し、それによって上位レイヤのビットレートを低減することによって、本発明は他の既知の階層化圧縮の機構の欠点を克服する。
【０００９】
本発明の１つの実施例によると、映像ストリームの適応的コンテンツフィルタリングを用いた空間拡張可能圧縮を提供する方法と装置が開示される。映像ストリームはダウンサンプル（downsample）され、映像ストリームの解像度を削減する。ダウンサンプル（downsample）された映像ストリームはエンコードされ、基本ストリームを作る。基本ストリームはアップコンバートされ、再構成された映像ストリームを作る。映像ストリームと再構成された映像ストリームは分析され、受信映像ストリームのフレームの各画素又は画素のグループのコンテンツの利得値を作る。再構成された映像ストリームは前記映像ストリームから差し引かれ、残差ストリームを作る。残差ストリームからほとんど詳細を有さない各フレームの領域を表すビットを除去するように、残差ストリームは、可変の利得要素を備えた乗算器によって減衰される。結果の残差ストリームがエンコードされ、上位ストリームを出力する。
【００１０】
本発明の他の実施例によると、画像分析装置から出力された減衰器の利得値は、上位レイヤの利用可能なビットレート量に応じて可変の全体の解像度をエンコードすることを可能にするように、上位エンコーダーからの通常のビットレート制御と結合され得る。
【００１１】
本発明の他の実施例によると、デコーダーの鮮明度の制御に関する方法と装置が開示される。基本ストリームはデコードされてアップコンバートされ、デコードされた基本ストリームの解像度を増加させる。上位ストリームはデコードされ、鮮明度の制御値によって拡大され、前記鮮明度の制御値は、鮮明度とデコードされた上位ストリームの加工物の可視性との間のトレードオフを制御する。最後に、アップコンバートされたデコードされた基本ストリームが鮮明度の制御がされた上位ストリームと結合され、映像出力を作る。本発明の前記の及び他の形態が、後述の実施例から明らかになり、それを参照して説明される。
【発明を実施するための最良の形態】
【００１２】
図２は、本発明の１つの実施例による階層化ビデオエンコーダー／デコーダー200のブロック図である。エンコーダー／デコーダー200は、エンコード部分201+203とデコード部分205とを有する。高解像度の映像ストリーム202は、基本エンコード部分201に入力される。映像ストリーム202はスプリッタ204によって分割され、それによって映像ストリームが低域通過フィルタ206と第２のスプリッタ211に送信される。低域通過フィルタ又はダウンサンプル（downsample）部206は、映像ストリームの解像度を削減し、それが基本エンコーダー208に供給される。基本エンコーダー208は既知の方法でダウンサンプル（downsample）された映像ストリームをエンコードし、基本ストリーム209を出力する。この実施例において、基本エンコーダー208は、アップコンバート部210にローカルのデコーダーの出力を出力する。アップコンバート部210は、ローカルでデコードされた映像ストリームからのフィルタリングされた解像度を再構成し、既知の方法で、高解像度の入力映像ストリームと基本的に同じ解像度の形式を有する再構成された映像ストリームを提供する。その他、基本エンコーダー208は、アップコンバート部210にエンコードされた出力を出力する場合があり、別のデコーダー（図示なし）又はアップコンバート部210で提供されるデコーダーのいずれかが、アップコンバートされる前にエンコードされた信号を最初にデコードする必要がある。
【００１３】
スプリッタ211は、高解像度の入力映像ストリームを分割し、それによって入力映像ストリーム202が減算部212と画像分析装置214に送信される。更に、再構成された映像ストリームがまた、画像分析装置214と減算部212に入力される。画像分析装置214は、入力ストリームのフレーム及び／又は再構成された映像ストリームのフレームを分析し、映像ストリームの各フレームの各画素又は画素のグループのコンテンツの数値の利得値を作る。数値の利得値は、例えばフレームの画素又は画素のグループのx,y座標によって与えられる画素又は画素のグループの位置と、フレーム数と、利得値とで構成される。画素又は画素のグループが多数の詳細を有する場合、利得値は最大値の“1”に近づく。同様に、画素又は画素のグループがあまり詳細を有しない場合、利得値は最小値の“0”に近づく。画像分析装置の詳細の基準のいくつかの例が以下に説明されるが、本発明はこれらの例に限定されない。まず、画像分析装置は、全体のフレームに広がる平均の画素に対する画素の周りの部分的な広がりを分析し得る。画像分析装置はまた、全体フレームの平均値で割られた画素毎のエッジのレベル、例えば
【００１４】
【表１】

の絶対値を分析し得る。
【００１５】
各画素又は画素のグループについて詳細のレベルが定められると、詳細の程度を変える利得値は、事前に定められ、呼び出すために参照テーブルに保存され得る。
【００１６】
前述の通り、再構成された映像ストリームと高解像度の入力映像ストリームが減算部212に入力される。減算部212は、入力映像ストリームから再構成された映像ストリームを差し引き、残差ストリームを作る。画像分析装置214からの利得値は、残差ストリームの減衰を制御するために用いられる乗算器216に送信される。他の実施例において、画像分析装置214がシステムから除去され、所定の利得値が乗算器216にロードされ得る。その他、利得値は、例えば制御ノブ（図示なし）を用いてユーザによって手動で入力され得る。利得値によって残差ストリームを乗算する効果は、ほとんど詳細を有さない各フレームの領域で一種のフィルタリングが行われることである。前記領域において、通常は、多数のビットがほとんど無関係の少しの詳細又はノイズに使われる必要がある。しかし、少しの詳細の領域又は詳細のない領域についてゼロに近づく利得値によって残差ストリームを乗算することにより、上位エンコーダー218でエンコードされる前に、前記のビットが残差ストリームから除去され得る。同様に、乗算器はエッジ及び／又はテキストの領域について１に近づき、この領域のみがエンコードされる。通常の画像での効果は、ビットの大量の節約である可能性がある。映像の品質がビットレートの節約に関連していくらか変化をもたらされるが、特に同じ全体のビットレートの通常の圧縮技術に比べると、このことは良い折衷案である。乗算器216からの出力は、上位ストリームを作る上位エンコーダー218に入力される。
【００１７】
デコーダー部分において、基本ストリームが既知の方法でデコーダー220によってデコードされ、上位ストリームが既知の方法でデコーダー222によってデコードされる。次に、デコードされた基本ストリームはアップコンバート部224でアップコンバートされる。次に、アップコンバートされた基本ストリームとデコードされた上位ストリームが計算部226で結合され、出力映像ストリーム228を作る。
【００１８】
図３は、本発明の１つの実施例によるエンコーダー／デコーダー300を示したものである。この実施例において、乗算器に送信される利得値は、上位エンコーダーの利用可能なビットレート量によって制御される。上位エンコーダーのビットレート制御は、画像分析装置214からの利得値と上位エンコーダーからのエンコーダーの統計パラメーターと結合することによって拡大され、残差ストリームと乗算される最終的な利得制御パラメーターを作り得る。エンコーダー／デコーダー300は、図３と同様の番号が与えられた図２の前述の要素の全てを有する。簡潔さのため、同様の要素の動作はここで説明されない。
【００１９】
更に、デコーダー／エンコーダー300は、画像分析装置214と乗算器216の間に位置する結合部215を有する。結合部215は、画像分析装置214から利得値を受信する。更に、結合部215は、上位エンコーダー218からのエンコーダーの統計に基づいて、上位パラメーターを受信する。結合部215は、エンコーダーの統計パラメーターと利得値を結合し、最終的な利得制御パラメーターを乗算器216に出力する。次に、上位エンコーダー218でエンコードされる前に、残差ストリームが最終的な利得制御パラメーターによって乗算される。換言すると、上位エンコーダーの利用可能なビットレートに応じて、画像分析装置214からの利得値が上方又は下方に調整される。上位エンコーダーが小さい利用可能なビットレート量を有する場合、より多くのビットが残差ストリームからフィルタリングされるように、利得値が下方に調整される。同様に、上位エンコーダーが大きい利用可能なビットレート量を有する場合、より少ないビットが残差ストリームからフィルタリングされるように、利得値が上方に調整される。従って、利用可能なビットレート量が十分な品質で最大解像度でエンコードされるのにもはや十分でないことをエンコーダーの統計パラメーターが示すと、利用可能なビットレート量を満足させるために、乗算器216の利得が減少した解像度の値に設定される。このことは、利用可能なビットレート量に応じて、可変の全体の解像度をエンコードすることを可能にする。
【００２０】
図４は、本発明の１つの実施例によるデコーダー400を示したものである。図４において、デコーダー400は、デコーダー部分205に加えて、鮮明度の制御部230と乗算器232を有する。鮮明度の制御部230は、ユーザが0と1の間のパラメーターを選択することを可能にし、より低い数は出力映像ストリーム228の可視的な加工物の数をより多く削減することをもたらし、より高い数は出力映像ストリーム228のより鮮明な画像をもたらす。従って、鮮明度の制御部は、鮮明度と上位ストリームからの加工物の可視性との間のトレードオフを制御する。選択された鮮明度の制御パラメーターは、乗算器232に入力される。乗算器232は、鮮明度の制御パラメーターによってデコードされた上位ストリームを乗算し、計算部226で上位ストリームをアップコンバートされた基本ストリームと結合する前に、鮮明度と上位ストリームの加工物の可視性とを調整する。
【００２１】
図５は、階層化ビデオエンコーダー503と階層化ビデオデコーダー205と階層化ビデオデコーダー505とのブロック図を示したものである。ビデオデコーダー503は、ビデオデコーダー203に加えて、減算器510と第２の上位エンコーダー511とを有する。ビデオエンコーダー503は、図３に示す通り、結合部215で簡単に拡張され得る。図２及び３は、上位レイヤの適応を提供するために、上位エンコーダー218への入力に影響を与える乗算器216を使用することを示す。図２及び３に示される上位エンコードの不利点は、乗算器216の乗算動作が取り消しできないため、いくつかの画像の詳細が失われ、もはや再生できないことである。エンコーダー503は、減算器510と上位エンコーダー511によって提供される第２の上位レイヤを提供することによって、前記の問題を克服し、第２の上位レイヤは乗算器216で失われた詳細を表す。実際に、第２の上位エンコーダー511は、乗算器216の入力と出力の間の差をエンコードする。それぞれのエンコーダー218と511は、それぞれの入力に最適化され得る。例えば、存在する場合には、可変長エンコードがそれぞれの信号の統計に最適化され得る。
【００２２】
エンコーダー201+503で作られた信号は、前述の通り、デコーダー205によってデコードされ得る。その場合、基本レイヤと第１の上位レイヤのみがデコードされる。
【００２３】
第２の上位レイヤをデコードするために、デコーダー205に加えて、第２の上位レイヤのためのデコーダー512と加算器513とを有するデコーダー505が提供される。デコードされたストリームの解像度が入力202の解像度に似ているという意味で、トランスペアレントな映像の解像度を提供するために、デコーダー512でデコードされた上位レイヤは、この実施例では、単にデコーダー205の出力ストリームに加えられる。
【００２４】
本発明の前述の実施例は、エンコードの前に残差ストリームから不要なビットを除去する適応的コンテンツフィルタリングを用いることにより、既知の空間拡張可能圧縮の機構の効率を高める。本発明の異なる実施例は前述のステップの正確な順番に限定されず、本発明の全体の動作に影響を与えることなく、いくつかのステップのタイミングが交換され得ることがわかる。更に、“有する”という言葉は、他の要素又はステップを除外するものではなく、“１つ”という言葉は複数を除外するものではなく、単一のプロセッサ又は他のユニットが請求項に記載のいくつかのユニット又は回路の機能を実行し得る。
【図面の簡単な説明】
【００２５】
【図１】既知の階層化ビデオエンコーダーを表したブロック図である。
【図２】本発明の実施例による階層化ビデオエンコーダー／デコーダーのブロック図である。
【図３】本発明の実施例による階層化ビデオエンコーダー／デコーダーのブロック図である。
【図４】本発明の実施例による階層化ビデオデコーダーのブロック図である。
【図５】本発明の更なる実施例による階層化ビデオエンコーダーと階層化ビデオデコーダーのブロック図である。

Claims (27)

1. エンコードするエンコーダーを有し、取得された映像フレームを圧縮されたデータストリームに出力する、複数のフレームに取得された映像情報の空間拡張可能圧縮を効率的に実行する装置であって、
   相対的に低解像度を有するエンコードされたビットストリームを有する基本レイヤと、
   相対的に高解像度を有する残差の信号を有する高解像度の上位レイヤとを有し、
   必要とされるビットの数を削減するために、乗算部が前記残差の信号を減衰し、
   前記残差の信号が元のフレームと前記基本レイヤからのアップスケールされたフレームとの間の差である装置。
2. 請求項１に記載の映像情報の空間拡張可能圧縮を効率的に実行する装置であって、
   前記乗算器が所定の量だけ前記残差の信号を減衰する装置。
3. 請求項１に記載の映像情報の空間拡張可能圧縮を効率的に実行する装置であって、
   前記減衰の量が制御ノブによって手動で変化され得る装置。
4. 請求項１に記載の映像情報の空間拡張可能圧縮を効率的に実行する装置であって、
   アップスケールの及び／又は元のフレームを受信し、各受信フレームの各画素のコンテンツの利得値を計算する画像分析装置を更に有し、
   前記乗算器が、前記残差の信号を減衰するために前記利得値を用いる装置。
5. 請求項４に記載の映像情報の空間拡張可能圧縮を効率的に実行する装置であって、
   前記利得値が、少しの詳細の領域についてゼロに近づく装置。
6. 請求項４に記載の映像情報の空間拡張可能圧縮を効率的に実行する装置であって、
   前記利得値が、エッジ及びテキストの領域について1に近づく装置。
7. 請求項４に記載の映像情報の空間拡張可能圧縮を効率的に実行する装置であって、
   前記利得値が画素のグループについて計算される装置。
8. 映像ストリームをエンコード及びデコードする階層化エンコーダーであって、
   前記映像ストリームの解像度を削減するダウンサンプル（downsample）部と、
   より低い解像度の基本ストリームをエンコードする基本エンコーダーと、
   デコードして前記基本ストリームの解像度を増加させ、再構成された映像ストリームを作るアップコンバート部と、
   前記元の映像ストリームから前記再構成された映像ストリームを差し引き、残差の信号を作る減算部と、
   少しの詳細を有する領域について前記残差の信号からビットを除去するために、利得値によって前記残差の信号を乗算する第１の乗算部と、
   前記乗算器からの結果の残差の信号をエンコードし、上位ストリームを出力する上位エンコーダーと
   を有する階層化エンコーダー。
9. 請求項８に記載の階層化エンコーダーであって、
   前記乗算器が所定の量だけ前記残差の信号を減衰する階層化エンコーダー。
10. 請求項８に記載の階層化エンコーダーであって、
    前記減衰の量が制御ノブによって手動で変化され得る階層化エンコーダー。
11. 請求項８に記載の階層化エンコーダーであって、
    前記映像ストリームと前記再構成された映像ストリームを受信し、前記受信ストリームの各フレームの各画素のコンテンツの利得値を計算する画像分析装置を更に有する階層化エンコーダー。
12. 請求項１１に記載の階層化エンコーダーであって、
    前記利得値が、少しの詳細の領域についてゼロに近づく階層化エンコーダー。
13. 請求項１１に記載の階層化エンコーダーであって、
    前記利得値が、エッジ及びテキストの領域について１に近づく階層化エンコーダー。
14. 請求項１１に記載の階層化エンコーダーであって、
    前記第１の乗算部を介してビットレート制御と結合した従来のビットレート制御と、
    前記画像分析装置と前記第１の乗算部との間に位置し、前記利得値を前記上位エンコーダーからのエンコーダーの統計パラメーターと結合し、前記結合された利得値を前記第１の乗算部に出力する結合装置と
    を更に有する階層化エンコーダー。
15. 請求項１４に記載の階層化エンコーダーであって、
    前記利用可能なビットレート量を満足させるために、前記第１の乗算部の利得が減少した解像度の値に設定されるように、前記利用可能なビットレート量が十分な品質の最大解像度でエンコードするのにもはや十分でないときを、前記エンコーダーの統計パラメーターが示す階層化エンコーダー。
16. 請求項１１に記載の階層化エンコーダーであって、
    前記利得値が画素のグループについて計算される階層化エンコーダー。
17. 圧縮された映像情報をデコードするデコーダーであって、
    受信基本ストリームをデコードする基本ストリームデコーダーと、
    前記デコードされた基本ストリームの解像度を増加させるアップコンバート部と、
    受信上位ストリームをデコードする上位ストリームデコーダーと、
    鮮明度の制御値を出力する鮮明度の出力手段と、
    ユーザが鮮明度と前記デコードされた上位ストリームの加工物の可視性との間のトレードオフを制御することを可能にするように、前記鮮明度の制御値で前記デコードされた上位ストリームを乗算する第２の乗算部と、
    前記アップコンバートされたデコードされた基本ストリームと前記鮮明度の制御がされた上位ストリームを結合し、映像出力を作る加算部と
    を有するデコーダー。
18. 映像ストリームの適応的コンテンツフィルタリングを用いる空間拡張可能圧縮を提供する方法であって、
    前記映像ストリームをダウンサンプル（downsample）し、前記映像ストリームの解像度を削減するステップと、
    前記ダウンサンプル（downsample）された映像ストリームをエンコードし、基本ストリームを作るステップと、
    前記基本ストリームをデコードしてアップコンバートし、再構成された映像ストリームを作るステップと、
    前記映像ストリームから前記再構成された映像ストリームを差し引き、残差ストリームを作るステップと、
    前記残差ストリームから、少しの詳細を有する各フレームの領域を表すビットを除去するために、利得値で前記残差ストリームを乗算するステップと、
    結果の残差ストリームをエンコードし、上位ストリームを出力するステップと
    を有する方法。
19. 請求項１８に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間拡張可能圧縮を提供する方法であって、
    前記映像ストリームと前記再構成された映像ストリームを分析し、前記受信映像ストリームの前記フレームの各画素のコンテンツの利得値を作るステップを更に有する方法。
20. 請求項１８に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間拡張可能圧縮を提供する方法であって、
    前記利得値が、少しの詳細の領域についてゼロに近づく方法。
21. 請求項１８に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間拡張可能圧縮を提供する方法であって、
    前記利得値が、エッジ及びテキストの領域について１に近づく方法。
22. 請求項１８に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間拡張可能圧縮を提供する方法であって、
    前記利得値が画素のグループについて計算される方法。
23. 請求項１８に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間拡張可能圧縮を提供する方法であって、
    前記乗算するステップの前に、前記利得値を前記上位エンコーダーからのエンコーダーの統計パラメーターと結合するステップを更に有する方法。
24. 請求項２３に記載の映像ストリームの適応的コンテンツフィルタリングを用いる空間拡張可能圧縮を提供する方法であって、
    前記利用可能なビットレート量を満足させるために、第１の乗算部の利得が減少した解像度の値に設定されるように、前記利用可能なビットレート量が十分な品質の最大解像度でエンコードするのにもはや十分でないときを、前記エンコーダーの統計パラメーターが示す方法。
25. 基本ストリームと上位ストリームにおいて、圧縮された映像情報をデコードする方法であって、
    前記基本ストリームをデコードするステップと、
    前記デコードされた基本ストリームをアップコンバートし、前記デコードされた基本ストリームの解像度を増加させるステップと、
    前記上位ストリームをデコードするステップと、
    鮮明度の制御値で前記デコードされた上位ストリームを乗算するステップであって、前記鮮明度の制御値が、鮮明度と前記デコードされた上位ストリームの加工物の可視性との間のトレードオフを制御するステップと、
    前記アップコンバートされたデコードされた基本ストリームを前記鮮明度の制御がされた上位ストリームと結合し、映像出力を作るステップと
    を有する方法。
26. 相対的に低解像度を有するエンコードされたビットストリームを有する基本レイヤと、
    相対的に高解像度を有する残差の信号を有する高解像度の上位レイヤと
    を有する映像情報を表す圧縮されたデータストリームであって、
    前記残差の信号が元のフレームと前記基本レイヤからのアップスケールされたフレームとの間の差であり、
    前記残差の信号が減衰されているデータストリーム。
27. 請求項２６に記載の圧縮されたデータストリームが保存されているストレージ媒体。

Images