JP2007514359A - デッドゾーンによる空間スケーラブル圧縮スキーム - Google Patents

Abstract

圧縮されたデータストリームで捕捉されたビデオフレームをエンコードして出力するエンコーダを含む、複数のフレームで捕捉されるビデオ情報の空間スケーラブル圧縮を実行するために装置が開示され、比較的低い解像度を有するエンコードされたビットストリームを含むベースレイヤ、比較的高い解像度を有する残余信号を含む高解像度のエンハンスメントレイヤを有する。デッドゾーン演算ユニットは、残余信号を減衰し、残余信号は、ベースレイヤからのオリジナルフレームとアップスケールされたフレームとの間の差である。結果として、圧縮されたデータストリームのために必要とされるビット数は、所与の観察されたビデオ品質について低減される。

Description

本発明は、ビデオエンコーダ／デコーダに関し、より詳細には、空間スケーラブル圧縮スキームによりビデオエンコーダ／デコーダに関する。
さらに、本発明は、ビデオ情報のスケーラブル圧縮を実行する装置、及びビデオストリームの空間スケーラブル圧縮を提供する方法に関する。

デジタルビデオに固有の大量のデータのため、フルモーションの高精細デジタルビデオ信号の伝送は、高精細テレビジョンの開発において重要な問題である。より詳細には、それぞれのデジタルイメージフレームは、特定のシステムのディスプレイ解像度に係る画素のアレイから形成される静止画像である。結果として、高精細ビデオ系列に含まれる未処理のデジタル情報量は大量である。送出されるべきデータ量を低減するため、圧縮スキームはデータを圧縮するために使用される。ＭＰＥＧ−２，ＭＰＥＧ−４及びＨ．２６３を含む各種のビデオ圧縮規格又はプロセスが確立されている。

１つのストリームで各種解像度及び／又は品質でビデオが利用可能である多くのアプリケーションが可能である。これを達成する方法は、スケーラビリティ技術と呼ばれる。スケーラビリティを展開することができる３つの軸が存在する。第一に、時間軸でのスケーラビリティであり、時間スケーラビリティと呼ばれる。第二に、品質軸でのスケーラビリティ（量子化）があり、ＳＮＲ（Signal-to-Noise Ratio）スケーラビリティ又はファイングレインスケーラビリティと呼ばれる。第三の軸は、空間スケーラビリティと呼ばれる解像度軸（画像における画素軸）である。階層符号化では、ビットストリームは、２以上のビットストリーム又はレイヤに分割される。それぞれのレイヤは、１つの高品質信号を形成するために結合することができる。たとえば、ベースレイヤは、低品質のビデオ信号を提供し、エンハンスメントレイヤは、ベースレイヤ画像を強調することができる更なる情報を提供する。

特に、空間スケーラビリティは、異なるビデオ規格又はデコーダ機能の間での互換性を提供することができる。空間スケーラビリティにより、ベースレイヤビデオは、入力ビデオ系列よりも低い解像度を有する場合があり、そのケースでは、エンハンスメントレイヤは、入力系列レベルにベースレイヤの解像度を回復することができる情報を搬送する。

図１は、公知の空間スケーラブルビデオエンコーダ１００を例示する。図示されたエンコードシステム１００は、レイヤ圧縮を達成し、チャネルの一部は、低解像度のベースレイヤを提供するために使用され、残りの部分は、エッジエンハンスメント情報を伝送するために使用され、２つの信号は、システムを高解像度にするために再結合される場合がある。高解像度ビデオ入力１０１は、スプリッタ１０２により分割され、データはロウパスフィルタ１０４及び減算回路１０６に送出される。ロウパスフィルタ１０４は、ビデオデータの解像度を低減し、次いで、ベースエンコーダ１０８に供給される。一般に、ロウパスフィルタ及びエンコーダは、当該技術分野で公知であり、明確さのためにここでは更に詳細に記載されない。エンコーダ１０８は、低い解像度のベースストリーム１１０を生成し、この低い解像度のベースストリーム１１０は、ベースストリームは高精細であると考えられる解像度を提供しないが、ブロードキャストされ、受信することができ、デコーダを介して表示することができる。

エンコーダ１０８の出力は、システム１００でデコーダ１１２に供給される。そこから、デコードされた信号は、補間及びアップサンプル回路１１４に供給される。一般に、補間及びアップサンプル回路１１４は、デコードされたビデオストリームからフィルタ出力された解像度を再構築し、高解像度入力と同じ解像度を有するビデオデータストリームを提供する。しかし、フィルタリング並びに、エンコード及びデコードから生じる損失のため、情報の損失は、再構成されたストリームに存在する。損失は、再構成された高解像度ストリームをオリジナルの変更されていない高解像度ストリームから減算することで、減算回路１０６で決定される。減算回路１０６の出力は、合理的な品質エンハンスメントストリーム１１８を出力するエンハンスメントエンコーダ１１６に供給される。

これら階層圧縮スキームは良好に機能するために行うことができるが、これらのスキームは、エンハンスメントレイヤが高いビットレートを必要とする点で問題を有する。通常は、エンハンスメントレイヤのビットレートは、ベースレイヤのビットレートに等しいか、又はベースレイヤのビットレートよりも高い。しかし、高精細ビデオ信号を記憶する要求は、一般的な圧縮規格により通常に伝送することができる低いビットレートを必要とする。これは、記録／再生時間が余りに短くなるので、既存の標準精細度システムに高い精細度を導入するのを困難にする。

本発明は、エンハンスメントエンコーダに入力される残りの信号におけるビット数を低減するためデッドゾーンオペレーションを使用することで、他の公知の階層圧縮スキームの問題点の少なくとも１部を克服し、これによりエンハンスメントレイヤのビットレートを低くすることにある。

本発明の１実施の形態によれば、捕捉されたビデオフレームを圧縮されたデータストリームにエンコードして出力するエンコーダを含む、複数のフレームで捕捉されたビデオ情報の空間スケーラブル圧縮を実行する方法及び装置が開示される。ベースレイヤは、比較的低い解像度を有するエンコードされたビットストリームを有する。高い解像度のエンハンスメントレイヤは、比較的高い解像度を有する残余の信号を有する。デッドゾーン演算ユニットは、残余の信号を減衰させ、残余の信号は、ベースレイヤからのオリジナルフレームとアップスケールされたフレームとの間の差である。結果として、圧縮されたデータストリームのために必要とされるビット数は、所与の観察されたビデオ品質について低減される。

本発明の別の実施の形態によれば、ビデオストリームの適応型コンテンツフィルタリングを使用した空間スケーラブル圧縮を提供する方法及び装置が開示される。ビデオストリームは、ビデオストリームの解像度を低減するためにダウンサンプルされる。ダウンサンプルされたビデオストリームは、ベースストリームを生成するためにエンコードされる。ベースストリームは、再構成されたビデオストリームを生成するためにデコード及びアップコンバートされる。再構成されたビデオストリームは、残余のストリームを生成するためにビデオストリームから減算される。残余のストリームは、残余のストリームからビットを除くためにデッドゾーン演算を使用して減衰される。結果的に得られる残余のストリームは、エンハンスメントストリームとしてエンコード及び出力される。

本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかにされるであろう。本発明は、添付図面を参照して例示を通して説明される。

図２（ａ）〜図２（ｂ）は、本発明の１実施の形態に係る階層型ビデオエンコーダ／デコーダ２００のブロック図である。エンコーダ／デコーダ２００は、エンコードセクション２０１及びデコードセクションを有する。高解像度のビデオストリーム２０２は、エンコードセクション２０１に入力される。ビデオストリーム２０２は、スプリッタ２０４により分割され、これによりビデオストリームは、ロウパスフィルタ２０６及び減算ユニット２１２に送出される。ロウパスフィルタ又はダウンサンプリングユニット２０６は、ビデオストリームの解像度を低減し、次いでベースエンコーダ２０８に供給される。ベースエンコーダ２０８は、公知のやり方でダウンサンプルされたビデオストリームをエンコードし、ベースストリーム２０９を出力する。この実施の形態では、ベースエンコーダ２０８は、ローカルデコーダ出力をアップコンバートユニット２１０に出力する。アップコンバートユニット２１０は、ローカルにデコードされたビデオストリームからフィルタ出力された解像度を再構成し、公知のやり方で高解像度の入力ビデオストリームと基本的に同じ解像度のフォーマットを有する再構成されたビデオストリームを提供する。代替的に、ベースエンコーダ２０８は、エンコードされた出力をアップコンバートユニット２１０に出力する場合があり、個別のデコーダ（図示せず）又はアップコンバートユニット２１０に提供されたデコーダのいずれかは、アップコンバートされる前にエンコードされた信号をはじめにデコードする。

先に記載されたように、再構成されたビデオストリーム及び高解像度の入力ビデオストリームは、減算ユニット２１２に入力される。減算ユニット２１２は、残余のストリームを生成するため、入力ビデオストリームから再構成されたビデオストリームを減算する。次いで、デッドゾーン演算は、デッドゾーン演算ユニット２１４において残余のストリームに適用される。デッドゾーン演算は、非線形の演算であり、より小さな入力はより大きな減衰を受け、より大きな入力は次第に小さくなる減衰を受ける（幾つかのデッドゾーン演算からなる線形結合、及び線形変換として見ることができる）。複数の異なるデッドゾーン演算が以下に記載されるが、如何なるデッドゾーン演算が本発明で使用することができ、本発明はこれに限定されないことは当業者により理解されるであろう。デッドソーン演算の結果は、ピクチャにおいて少ない情報につながる残余信号の小さな値はゼロにクリップされる。結果として、より高い圧縮効率は、画質の知覚的な損失なしに達成することができる。デッドゾーン演算ユニット２１４からの出力は、エンハンスメントストリーム２１８を生成するエンハンスメントエンコーダ２１６に入力される。

デコーダセクション２０５では、ベースストリーム２０９は、デコーダ２２０により公知のやり方でデコードされ、エンハンスメントストリーム２１８は、デコーダ２２２により公知のやり方でデコードされる。デコードされたベースストリーム２１８は、アップコンバートユニット２２４でアップコンバートされる。アップコンバートされたベースストリーム及びデコードされたエンハンスメントストリームは、次いで、出力ビデオストリーム２２８を生成するために算術ユニット２２６で結合される。

図３は、本発明の別の実施の形態に係るエンコーダ３００を例示している。この実施の形態では、ピクチャアナライザ３０４は、図２に例示されるエンコーダに付加されている。スプリッタ３０２は、高解像度の入力ビデオストリーム２０２を分割し、これにより入力ビデオストリーム２０２は、減算ユニット２１２及びピクチャアナライザ３０４に送出される。さらに、再構成されたビデオストリームは、ピクチャアナライザ３０４及び減算ユニット２１２に入力される。ピクチャアナライザ３０４は、入力ストリームのフレーム及び／又は再構成されたビデオストリームのフレームを分析し、ビデオストリームのそれぞれのフレームにおけるそれぞれの画素又は画素グループの内容の数値による利得値を生成する。数値による利得値は、たとえば、フレームにおける画素又は画素グループのｘ，ｙ座標、フレーム番号及び利得値により与えられる画素又は画素グループの位置からなる。画素又は画素グループが多数の詳細を有するとき、利得値は、最大値“１”に向けて移動する。同様に、画素又は画素グループが多くの詳細を有さないとき、利得値は、最小値“０”に向けて移動する。ピクチャアナライザの詳細な基準の幾つかの例が以下に記載されるが、本発明はこれらの例に限定されない。はじめに、ピクチャアナライザは、画素の周りのローカルスプレッド（local spread）対全体のフレームにわたる平均画素スプレッド（average pixel spread）を分析することができる。ピクチャアナライザは、たとえばフレーム全体にわたる平均値に対して分割される画素当たり
−１−１−１， −１ ８−１，−１−１−１，
の絶対値といったエッジレベルをも分析する。

詳細の程度を変えるためのゲイン値は、予め決定されており、それぞれの画素又は画素グループの詳細のレベルがひとたび決定されると、読み出すためにルックアップテーブルに記憶される。

先に記載されたように、再構成されたビデオストリーム及び高解像度入力ビデオストリームは、減算ユニット２１２に入力される。減算ユニット２１２は、残余のストリームを生成するため、再構成されたビデオストリームを入力ビデオストリームから減算する。ピクチャアナライザ３０４からの利得値は、残余のストリームの減衰を制御するために使用される乗算器３０６に送出される。代替的な実施の形態では、ピクチャアナライザ３０４は、システムから除くことができ、予め決定された利得値は、乗算器３０６にロードすることができる。利得値で残余のストリームを乗算する作用は、殆ど詳細を有さないそれぞれのフレームの領域についてある種のフィルタリングが行われることである。かかる領域では、通常は、大部分が無関係の低い詳細すなわち雑音に多数のビットが費やされる必要がある。しかし、僅かな詳細又は詳細のない領域についてゼロに向かって移動する利得値で残余のストリームを乗算することで、これらのビットはエンハンスメントエンコーダ２１６でエンコードされる前に残余のストリームから除くことができる。同様に、乗数は、エッジ及び／又はテキスト領域の１つに向けて移動し、これらのエリアのみがエンコードされる。同様に、乗数はエッジ及び／又はテキストについて１の方向に移動し、それらの領域のみがエンコードされる。通常のピクチャでの作用は、ビットに関して大きな節約となる。ビデオの品質が幾分影響されるが、ビットレートの節約に関して、これは、特に同じ全体のビットレートでの通常の圧縮技術に比較したときに良好な妥協となる。乗算器３０６の出力は、次いでデッドゾーンの演算ユニット２１４に供給される。先に記載されたように、デッドゾーン演算ユニット２１４は、乗算器３０６からのストリームの小さな値がゼロにクリップされるように、デッドゾーン演算を実行する。デッドゾーン演算ユニット２１４からの出力は、エンハンスメントストリーム２１８を生成するエンハンスメントエンコーダ２１６に入力される。

図４は、本発明の別の実施の形態に係るエンコーダ４００を例示している。この実施の形態では、図３に例示されるエンコーダに「クラスタを除く“remove cluster”」演算が追加される。クラスタを除く演算は、図２に例示されるエンコーダでのデッドゾーン演算の後でも実行することができることが理解される。更に符号化効率を改善するため、クラスタを除く演算ユニット４０２は、デッドゾーン演算ユニット２１４の後に追加される。クラスタを除く演算は、所定のレンジで１つの画素を除く。これら１つの画素はピクチャの鮮鋭度に寄与しないので、これらの画素は、知覚的な画質の損失なしに除かれる。

クラスタを除く演算は以下のように機能する。はじめに、重要な残余の画素をパスして、全ての他の残りの画素をゼロにする演算である。かかる演算の例は、コンテンツに適応した減衰及び／又はデッドゾーンである。残余の画像は、クラスタの集合から構成され、クラスタは、ゼロの値をもつ画素により完全に囲まれた画素のグループである。次のステップは、非ゼロの残余の画素のそれぞれのクラスタの周囲の長さ（値）を決定することである。この値が所定の閾値以下である場合、対応するクラスタの全ての画素値も同様に強制的にゼロにされる。代替的に、クラスタの周囲の値を決定する代わりに、それぞれのクラスタにおける非ゼロの画素数を決定することができ、予め決定された画素数よりも少ない画素数を有するクラスタは強制的にゼロにされる。

図５は、本発明の１実施の形態に係るデッドゾーン方法を例示している。この実施の形態では、閾値ｔｈは、ユーザ、デザイナにより選択されるか、又は図３に例示されるようにコンテンツに適応する。次いで、デッドゾーン演算ユニット２１４は、閾値よりも小さい画素値をゼロにクリップする。結果として、エンコードされる必要がある残余のストリームにおける画素は殆どない。

図６は、本発明の１実施の形態に係るデッドゾーン方法を例示している。このデッドゾーン演算は、閾値ｔｈよりも小さい値をゼロにクリップする。さらに、本方法は、閾値ｔｈを残余のストリームにおける全ての他の値から減算する。これは、各画素についてｔｈ個の画素のエラーとなる。この他の画素の値の余分の低減のため、小さいが知覚できる画質の損失の犠牲を払って余分の圧縮効率が得られる。

図７は、本発明の１実施の形態に係るデッドゾーン方法を例示する図である。このデッドゾーン演算は、図５及び図６に例示されるデッドゾーン方法をカスケード接続することで得られる。このデッドゾーン演算は、閾値ｔｈ１よりも小さい値をゼロにクリップする。さらに、この方法は、閾値ｔｈ２を残余のストリームにおける全ての他の値から減算する。これは、それぞれ大きな画素についてｔｈ２個の画素のエラーとなる。図６に例示される方法に比較してこの方法の利点は、この方法を使用して閾値ｔｈ１を超える画素のエラーが小さいことである。

図８は、本発明の１実施の形態に係るデッドゾーン方法を例示している。このデッドゾーン方法は、閾値ｔｈ１よりも小さい全ての値をゼロにクリップすることである。閾値ｔｈ１と閾値ｔｈ２との間のそれぞれの画素から、ｔｈ１の値が減算される。閾値ｔｈ２を超えるそれぞれの画素について、出力は入力と同じである。このように、余分の圧縮効率は、制限された画素数についてｔｈ１個の画素のエラーのみで得ることができる。

図９は、本発明の１実施の形態に係る、より一般的なデッドゾーン方法を例示している。先に記載された方法で行われたような個々のステップを使用する代わりに、より一般的なソリューションは、ルックアップテーブルを使用することである。このルックアップテーブルは、全ての可能な入力値について出力値を含んでいる。このように、伝送曲線が可能である。

先に記載された異なるデッドゾーン方法が比較され、比較の結果が以下に提供される。入力として、５０フレーム１０８０ｐ、２４Ｈｚシーケンスが使用される。このシーケンスは、標準精細度（７２０×４８０）ベースレイヤのＭＰＥＧ−２及び高精細度（１９２０×１０８０）エンハンスメントレイヤのＭＰＥＧ−２を使用してエンコードされる。図４に例示されるような、動的な解像度制御による符号化スキーム及びクラスタ除去演算が使用される。この比較の結果は、図１０に例示されている。方法１の結果的に得られる品質は、デッドゾーン演算がない結果に比較して非常に良好である。方法２及び方法３によれば、解像度の幾つかの損失に明らかに気付くことができる。方法４によれば、解像度の損失は、気付くことができるが、方法２及び方法３における損失よりも小さく、この方法は、方法１及び方法２並びに方法３との間の良好な妥協となるように見える。

図１１は、更なる動的な解像度制御又はクラスタ除去演算の使用なしにデッドゾーン演算の結果を例示している。この符号化スキームは、図２に例示されている。これらは、動的な解像度制御及びクラスタ除去演算なしでのデッドゾーン演算の作用を見るための参照として追加される。クラスタ除去演算の影響を見るため、上述されたシーケンスは、クラスタ除去演算が使用されてエンコードされるか、クラスタ除去演算が使用されることなしにエンコードされている。動的な解像度制御及びデッドゾーン方法１も使用される。結果は図１２に例示されている。

本発明の先に記載された実施の形態は、エンコードの前に残余のストリームから不必要なビットを除くためにデッドゾーン演算、動的な解像度制御、及び／又はクラスタ除去演算を使用することでエンハンスメントレイヤのビットレートを低下させることで、公知の空間スケーラブル圧縮スキームの効率をエンハンスする。本発明の異なる実施の形態は、幾つかのステップのタイミングが本発明の全体の動作に影響を与えることなしに相互交換することができるので、上述されたステップの正確な順序に制限されないことが理解される。さらに、用語「有する“comprising”」は他のエレメント又はステップを排除するものではなく、用語“ａ”及び“ａｎ”は複数を排除するものではなく、１つのプロセッサ又は他のユニットは、請求項で引用されたユニット又は回路の幾つかの機能を達成する場合がある。さらに、個々の機能が異なる請求項に含まれる場合があるが、これらは有利にも結合することができ、異なる請求項における包含は、機能の組み合わせが実施可能及び／又は有利でないことを意味するものではない。

公知の階層型ビデオエンコーダを表すブロック図である。 図２（ａ）〜図２（ｂ）は本発明の１実施の形態に係る階層型のビデオエンコーダ／デコーダのブロック図である。 本発明の１実施の形態に係る階層型のビデオエンコーダのブロック図である。 本発明の１実施の形態に係る階層型のビデオエンコーダのブロック図である。 本発明の１実施の形態に係るデッドゾーン方法を説明する図である。 本発明の１実施の形態に係るデッドゾーン方法を説明する図である。 本発明の１実施の形態に係るデッドゾーン方法を例示する図である。 本発明の１実施の形態に係るデッドゾーン方法を例示する図である。 本発明の１実施の形態に係るデッドゾーン方法を例示する図である。 本発明の実施の形態に係る異なるデッドゾーン方法の結果を説明する図である。 本発明の実施の形態に係る異なるデッドゾーン方法の結果を説明する図である。 本発明の実施の形態に係る異なるデッドゾーン方法の結果を説明する図である。

Claims (18)

1. 捕捉されたビデオフレームを圧縮されたデータストリームにエンコードして出力するエンコーダを含む、複数のフレームで捕捉されたビデオ情報の空間スケーラブル圧縮を実行する装置であって、
   比較的低い解像度を有するエンコードされたビットストリームを有するベースレイヤと、
   比較的高い解像度を有するエンコードされたビットストリームを有する高解像度のエンハンスメントレイヤとを有し、
   デッドゾーン演算ユニットは、オリジナルのフレームと前記ベースレイヤからのアップスケールされたフレームとの間の差である残余の信号を減衰する、
   ことを特徴とする装置。
2. 前記デッドゾーン演算ユニットは、第一の閾値以下の画素値をゼロにクリップすることで前記残余信号を減衰する、
   請求項１記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
3. 前記デッドゾーン演算ユニットは、第一の閾値以下の画素値をゼロにクリップし、全ての他の画素値から第一の閾値を減算することで、前記残余信号を減衰させる、
   請求項１記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
4. 前記デッドゾーン演算ユニットは、第一の閾値以下の画素値をゼロにクリップし、全ての他の画素値から第二の閾値を減算することで、前記残余信号を減衰させる、
   請求項１記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
5. 前記デッドゾーン演算ユニットは、第一の閾値以下の画素値をゼロにクリップし、前記第一の閾値と第二の閾値との間の画素値から前記第一の閾値を減算することで、残余信号を減衰させる、
   請求項１記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
6. 前記デッドゾーン演算ユニットは、それぞれの入力値について出力値を生成するため、ルックアップテーブルを使用することで、前記残余信号を減衰させる、
   請求項１記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
7. アップスケール及び／又はオリジナルフレームを受け、それぞれ受信されたフレームにおけるそれぞれの画素の内容の利得値を計算するピクチャアナライザを更に有し、
   乗算器は、前記デッドゾーン演算ユニットに入力される前に前記残余信号を減衰させるために前記利得値を使用する、
   請求項１記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
8. 前記利得値は、詳細を有さない領域についてゼロに向かう、
   請求項７記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
9. 前記利得値は、エッジ及びテキスト領域について１に向かう、
   請求項７記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
10. 前記利得値は、画素のグループについて計算される、
    請求項７記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
11. 前記残余の出力から予め決定されたサイズ以下のクラスタについて画素クラスタに属する残余の画素を除くクラスタ除去演算ユニットを更に有する、
    請求項１記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
12. 前記サイズは、それぞれのクラスタの周辺の値である、
    請求項１１記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
13. 前記サイズは、それぞれのクラスタにおける非ゼロの画素数である、
    請求項１１記載のビデオ情報の空間スケーラブル圧縮を実行する装置。
14. ビデオストリームをエンコード及びデコードするための階層型エンコーダであって、
    ビデオストリームの解像度を低減するダウンサンプリングユニットと、
    低解像度のベースストリームをエンコードするベースエンコーダと、再構成されたビデオストリームを生成するため、前記ベースストリームをデコードして前記ベースストリームの解像度を増加するアップコンバートユニットと、
    残余信号を生成するため、オリジナルのビデオストリームから前記再構成されたビデオストリームを減算する減算ユニットと、
    前記残余信号を減衰するデッドゾーン演算ユニットと、
    前記デッドゾーン演算ユニットから結果的に得られる残余信号をエンコードし、エンハンスメントストリームを出力するエンハンスメントエンコーダと、
    を有することを特徴とする階層型エンコーダ。
15. 前記ビデオストリーム及び前記再構成されたビデオストリームを受信し、受信されたストリームのそれぞれのフレームにおけるそれぞれの画素の内容の利得値を計算するピクチャアナライザと、
    詳細を有さない領域について残余信号からビットを除くように前記残余信号を利得値で乗算する第一の乗算ユニットとを更に有する、
    請求項１４記載の階層型エンコーダ。
16. ビデオストリームの適応的なコンテンツのフィルタリングを使用して空間スケーラブル圧縮を提供する方法であって、
    前記ビデオストリームの解像度を低減するために前記ビデオストリームをダウンサンプリングするステップと、
    ベースストリームを生成するため、ダウンサンプリングされたビデオストリームをエンコードするステップと、
    再構成されたビデオストリームを生成するため、前記ベースストリームをデコードしてアップコンバートするステップと、
    残余ストリームを生成するため、前記ビデオストリームから前記再構成されたビデオストリームを減算するステップと、
    前記残余のストリームからビットを除くためにデッドゾーン演算を使用して前記残余のストリームを減衰させるステップと、
    結果的に得られた残余信号をエンコードし、エンハンスメントストリームを出力するステップと、
    を含むことを特徴とする方法。
17. 受信されたビデオストリームのフレームにおけるそれぞれの画素の内容の利得値を生成するため、前記ビデオストリーム及び前記再構成されたビデオストリームを分析するステップと、
    前記デッドゾーン演算の前に前記残余ストリームからビットを除くように、利得値で残余ストリームを乗算するステップとを更に含む、
    請求項１６記載のビデオストリームの適合型コンテンツフィルタリングを使用して空間スケーラブル圧縮を提供する方法。
18. 前記残余の出力から予め決定されたサイズ以下のクラスタについて画素クラスタに属する残余画素を除くステップを更に含む、
    請求項１６記載のビデオストリームの適応型コンテンツフィルタリングを使用して空間スケーラブル圧縮を提供する方法。

Images