JP2005507586A5 - - Google Patents

Description

空間的鮮明度拡張技術を用いた空間スケーラブル圧縮の機構

本発明は、ビデオエンコーダー／デコーダーに関するものであり、特に、空間的鮮明度拡張技術を用いた空間スケーラブル圧縮の機構を備えたビデオエンコーダー／デコーダーに関するものである。

デジタル映像に固有の大量のデータのため、フルモーションの高画質のデジタル映像信号の送信は、高画質テレビの開発においてかなりの問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度による画素の配列から構成された静止画像である。結果として、高解像度の映像シーケンスに含まれる生のデジタル情報量は大量になる。送信しなければならないデータ量を低減するために、圧縮の機構がデータを圧縮するために用いられる。MPEG-2とMPEG-4とH.263とを含む多様な映像圧縮規格又は処理が確立されている。

１つのストリームにおいて映像が多様な解像度及び／又は品質で利用可能な、多数のアプリケーションが可能にされている。これを達成する方法は、大まかにスケーラビリティの技術と称される。スケーラビリティを実施し得る３つの軸が存在する。第１のものは時間軸のスケーラビリティであり、しばしば時間スケーラビリティと称される。第２に、品質軸のスケーラビリティが存在し、しばしば信号対雑音スケーラビリティ又はファイン・グラニュラ・スケーラビリティと称される。第３軸は解像度の軸（画像における画素の数）であり、空間スケーラビリティ又は階層化コーディングと称される。階層化コーディングにおいて、ビットストリームは、２つ以上のビットストリーム、すなわちレイヤに分割される。各レイヤが組み合わせられ、単一の高品質の信号を構成し得る。例えば、下位レイヤが低品質の映像信号を提供する場合があり、上位レイヤが下位レイヤの画像を拡張し得る追加情報を提供する。

特に、空間スケーラビリティは、異なる映像規格又はデコーダーの性能の間で互換性を提供し得る。空間スケーラビリティで、下位レイヤの映像は入力映像シーケンスより低い解像度を有する場合があり、その場合、上位レイヤが下位レイヤの解像度を入力シーケンスのレベルに復元し得る情報を運ぶ。

図１は既知の階層化ビデオエンコーダー100を示したものである。描かれたエンコードシステム100は階層化圧縮を達成し、それによってチャネルの一部が低解像度の下位（基本）レイヤを提供するために用いられ、残りの部分が上位情報を送信するために用いられ、それによって、２つの信号が再結合され、システムを高解像度にし得る。高解像度の映像入力はスプリッタ102によって分割され、それによってデータが低域通過フィルタ104と減算回路106に送信される。低域通過フィルタ104は映像データの解像度を低減し、それが下位（基本）エンコーダー108に供給される。一般的に低域通過フィルタとエンコーダーは技術的に周知であり、簡潔のため、ここで詳細に説明されない。エンコーダー108は低解像度の下位（基本）ストリームを作り、それがシステム100から出力される第２のスプリッタ110に提供される。下位ストリームは放送され、受信され、デコーダーを介して現状のまま表示され得るが、下位ストリームは高画質と考えられる解像度を提供しない。

スプリッタ110の出力はまた、システム100内でデコーダー112に供給される。そこから、デコードされた信号が補間及びアップサンプル（upsample）回路114に供給される。一般的に、補間及びアップサンプル（upsample）回路114は、デコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と同じ解像度を有する映像データストリームを作る。しかし、エンコードとデコードから生じる損失とフィルタリングのため、再構成されたストリームに情報の損失が存在する。元の変更されていない高解像度のストリームから再構成された高解像度のストリームを差し引くことによって、前記損失が減算回路106で判断される。減算回路106の出力は、適度な品質の上位ストリームを出力する上位エンコーダー116に供給される。

入力映像を低解像度にフィルタリングし、ダウンスケールし、その後それを圧縮することの不利点は、映像が鮮明度を失うことである。このことは、ある程度はデコーダーの後で鮮明度の拡張を用いることによって補われ得る。このことは、ビデオ画像の大部分について合理的にうまく作動するように作られ得るが、結果が元の画像に比べて質の悪い状態が残るいくつかの領域が画像内に存在し、例えば最も高度な拡張ですら、小さいテキスト部分が読みづらい状態になる。

本発明は、下位レイヤに複数の映像拡張技術を導入することにより、スケーラブル圧縮の機構の映像圧縮を増加させることによって、他の既知の階層化圧縮の機構の欠点を克服する。ビデオ画像分析装置を用いて、多様な映像拡張技術の最善の混合が判断され、前記混合を規定するパラメーターがユーザデータとしてデコーダー部分に送信される。ビデオ画像分析装置は、上位ビットストリームの選択された混合を元の最大解像度の入力信号と比較し、どの画素に残差の上位レイヤが必要であるかを判断する。

本発明の１つの実施例によると、入力映像ストリームをエンコードし、デコードする方法と装置が開示される。下位ビットストリームと残差ビットストリームが次の方法でエンコードされる。デコードされたアップスケールされた下位ビットストリームは、異なる拡張アルゴリズムを有する第１の複数の拡張ユニットで拡張され、複数の拡張された下位映像ストリームが出力される。入力映像ストリームが、デコードされたアップスケールされた下位ビットストリーム及び拡張された下位映像ストリームと比較され、映像分析装置の出力が残差ビットストリームに含まれる情報を制御する。下位ビットストリームと残差ビットストリームが次の方法でデコードされる。エンコーダーユニットで実行されたものと同じ拡張が、デコードされた下位ビットストリームで実行される。デコードされた残差ビットストリームがデコードされて拡張された下位映像ストリームに重ね合わされ、映像出力ビットストリームを作る。

本発明の他の実施例によると、拡張された下位映像ストリームとデコードされたアップスケールされた下位ビットストリームとの混合は、エンコードされた残差ビットストリームの情報、すなわちどの画素又は画素のグループがデコードされた残差ビットストリームに含まれるべきかを制御するために用いられ得る。

本発明の前記の及び他の形態が、後述の実施例から明らかになり、それを参照して説明される。

本発明の１つの実施例によると、空間的鮮明度拡張技術を用いた空間スケーラブル圧縮の機構が開示される。簡単には、フィルタリングされ、ダウンスケールされた映像シーケンスが圧縮される。その後、デコードされた下位レイヤのフレームから、多様な拡張アルゴリズムを用いていくつかのアップスケールされたバージョンが処理される。前記のものは、多様な鮮明度拡張アルゴリズムのバージョンと同様に、標準的なアップスケールされてフィルタリングされたバージョン、例えばナイキストフィルタリング（nyquist filter）されたバージョンを含む。画像分析装置は全ての情報を処理し、前記のバージョンの最善のもの又は最善の混合を選択する。選択された混合を規定する混合パラメーターはまた、デコーダーが正確に前記拡張を再現し得るように、ユーザデータとしてエンコードされた残差ビットストリームに挿入される。

しかし、鮮明度拡張フレームのいくつかの領域において、結果が不適当に残る。エンコーダーで拡張フレームと利用可能な元の最大解像度のフレームとを比較することによって、前記領域が検出され得る。前記検出された領域のみが圧縮され、上位レイヤに入力される残差ビットストリームの一部になる。デコーダーが下位レイヤのダウンスケールされたビットストリームをデコードし、エンコーダーで実行されたものと同じ拡張パラメーターをデコードされた出力で適用する。その後、デコーダーは残差ビットストリームをデコードし、デコードされたビットストリームを既にデコードされて拡張された下位レイヤのフレームの画素に重ね合わせる。

この実施例は、本発明で用いられ得るエンコーダー／デコーダーのブロック図である図２を参照して、更に詳細に説明される。描かれたエンコード／デコードシステム200は階層化圧縮を達成し、それによってチャネルの一部が低解像度の下位（基本）レイヤを提供するために用いられ、残りの部分が上位情報を送信するために用いられ、それによって、２つの信号が再結合され、システムを高解像度にし得る。高解像度の映像入力201はスプリッタ210によって分割され、それによってデータが低域通過フィルタ212、例えばナイキストフィルタ（nyquist filter）と、スプリッタ232に送信される。低域通過フィルタ210は映像データの解像度を低減し、それが下位（基本）エンコーダー214に供給される。一般的に、低域通過フィルタとエンコーダーは技術的に周知であり、簡潔さのためここで詳細に説明されない。下位エンコーダー214は低解像度の下位（基本）ストリーム215を作る。下位ストリームは放送され、受信され、デコーダーを介して現状のまま表示され得るが、下位ストリームは高画質と考えられる解像度を提供しない。

エンコーダーはまた、デコードされた下位ストリームをアップスケール回路216に出力する。更に、デコーダー（図示なし）は、エンコーダーの後の回路に挿入され、アップスケール回路216に送信される前にエンコーダーの出力をデコードし得る。一般的に、アップスケール回路216はデコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と同じ解像度を有する映像データストリームを提供する。アップスケール回路216からのアップスケールされたビットストリームv1は、スプリッタ218によって分割され、画像分析装置230と減算回路234とスプリッタ220とに入力される。スプリッタ220からのアップスケールされたビットストリームv1は、拡張ユニット222と224に入力される。それぞれの拡張ユニットは、以下に更に詳細に説明される異なる空間的拡張アルゴリズムで動作する。図２は２つの拡張ユニットを有するが、何らかの数の拡張ユニットが本発明において用いられ得ることがわかる。

多数の映像拡張技術が存在し、それら全てが、結果の画像の認識が改善されるように画像のコンテンツを修正する。前記拡張の主観的な特徴が最適化処理を複雑にし、おそらく映像拡張アルゴリズムの多様性の原因になる。多様な拡張アルゴリズムは、どうにかして画像品質に貢献し、結果として、しばしば一連で個々の強みから利益を得るようにみえる。ノイズ低減アルゴリズムと鮮明度改善アルゴリズムは、拡張アルゴリズムの多数のセットのうちの少しの例である。本発明において、前記既知の拡張アルゴリズムの何らかが用いられ得ることがわかる。

高品質の空間的拡張機能は、鮮明度の異なる形態に貢献するアルゴリズムの集合で構成される。いくつかのアルゴリズムは、勾配を増加させることによって画像の階調度のみを改善するのに対して、他のものは階調度の大きさを修正する。前記アルゴリズムは相互に排他的であると考えられ得るが、このことは決して真実ではない。階調度の特徴を改善する双方の手段が用いられる場合があり、所定のモデルがそれぞれのアルゴリズムの個々の貢献を判断する。

図２を参照すると、アップスケールされたビットストリームv1は、拡張ユニット222と224で、各ユニットの拡張アルゴリズムに従って処理される。拡張ユニット222と224からの結果の映像ストリームは、それぞれ減算ユニット226と228に入力され、ビットストリームv1が拡張ユニット222と224からの結果の映像ストリームから差し引かれ、それぞれ映像ストリームv2とv3を作る。映像ストリームv2とv3は、画像分析装置230に入力される。入力ビットストリーム201はまた、スプリッタ232を介して画像分析装置230に入力される。画像分析装置230は元のビットストリームとv1、v2及びv3を比較し、画像を拡張するのに最善の方法を判断する。画像分析装置によって実行される画像分析は、多様な方法で実行され得る。例えば、画像分析装置230は元の画像とv1、v2及びv3を比較し、元の画像に最も近い映像ストリーム（v1、v2又はv3）を選択する。その他、画像分析装置は、映像ストリームの組み合わせから最適の全体の画像品質が達成されるように、混合パラメーター（α，β）又は拡張ベクトルを用いて異なるビットストリームの混合を用い得る。例えば、画像分析装置は、拡張された下位映像ストリームの混合を計算する混合パラメーターを表すベクトルを選択し、選択されたベクトルを用いて残差ビットストリームの情報を制御し得る。更に、図３を参照して以下に説明される通り、最善の混合パラメーターを判断する際に、ビットコストの関数もまた用いられ得る。説明されたもの以外の機構が画像分析装置230にもちいられ得ることがわかり、本発明はそれに限定されない。

画像分析装置230に混合パラメーターを用いる多数の利点が存在する。第１に、これは完全にスケーラブルなシステムである。画像の鮮明度に貢献する更なる機能が存在する場合は、それが容易に原因になり得る。新しい機能がシステムに最適化される必要はない。第２に、適切な拡張ベクトルを決定する際に、多様な機能の相互依存性が原因になり得る。第３に、時空的整合性モデルが画像分析装置230に組み込まれ得る。

アップスケール回路216のアップスケールされた出力は、減算回路234で元の入力201から差し引かれ、スイッチ236に適用される残差ビットストリームを作る。スイッチは画像分析装置230の出力によって制御される。多様な拡張された下位映像ストリームと入力映像ビットストリーム201を比較することによって、画像分析装置230は、どの画素又は画素のグループ（ブロック）が上位レイヤ208によって更に拡張される必要があるかを判断し得る。画像分析装置230によって拡張の必要があると判断される画素又は画素のグループ（ブロック）について、画像分析装置230はスイッチ236を閉じる制御信号を出力し、残差ビットストリームの前記の部分を上位レイヤのエンコーダー240に通す。画像分析装置230はまた、選択された混合パラメーターとスイッチのための制御信号をエンコーダー240に送信し、それ故に、前記情報がスイッチ236からの結果の残差ビットストリームでエンコードされ、上位ストリーム241として出力される。

デコーダー部分204において、下位ストリーム215は下位デコーダー250に送信され、上位ストリーム241は上位デコーダー252に送信される。デコーダー250は、下位ストリーム215をデコードし、それがアップスケール回路254によってアップスケールされる。アップスケールされたデコードされたビットストリームは、スプリッタ256によって分割され、拡張ユニット262と264、併合ユニット270及び加算ユニット272に送信される。拡張ユニット262は拡張ユニット222と同じ空間的拡張アルゴリズムを有し、拡張ユニット264は拡張ユニット224と同じ空間的拡張アルゴリズムを有する。拡張ユニット262と264はそれぞれのアルゴリズムを実行し、併合ユニット270に出力v2とv3を送信する。

上位デコーダー252は、上位ストリームをデコードし、残差ビットストリームを加算ユニット272に出力する。更に、デコーダー252は混合パラメーターと制御信号をデコードし、この情報を併合ユニット270に送信する。併合ユニットは全ての入力を合わせて併合し、画像分析装置230からの拡張出力を生成する。アップスケールされたデコードされた下位ストリームとデコードされた残差ビットストリームが加算ユニット272によって一緒に組み合わされ、結果のビットストリームがスイッチ274に適用される。スイッチ274は、制御信号によって制御され、それ故に、併合ユニット270の出力が、出力信号276を作るように、加算ユニット272によって出力されるビットストリームの適切な画素又はブロックに適用され得る。

図３は、本発明の他の実施例によるエンコーダー／デコーダー300のブロック図である。図３の多数の構成要素は図２に示された構成要素と同じであり、それらは同じ参照番号が与えられている。更に、簡潔さのため、類似の構成要素の動作は説明されない。この実施例において、個々の拡張信号v2, v3,…について混合パラメーターα,β,…を判断する際にコストの関数が用いられる。本発明の１つの実施例によると、拡張ベクトルがブロック毎に割り当てられる。時空的に近くからの以前に決定された最善の拡張ベクトルが、図４に示す通り、コストの関数で評価される。コストの関数は、目的の画像品質に関する測定基準を計算する。拡張ベクトルの最善の評価が最小のコストを生じるものによって規定される。すなわち、最善のベクトル=min e(α_i,β_i,…)であり、i=1,2,…は候補の数であり、e()はパラメーターとしてのベクトルα_i,β_i,…でのコストの関数である。

コストの関数は、高品質と加工物の防止の機構を規定する全ての要素をそれ自体に組み込むべきである。例えば、鮮明度の拡張の関数の場合、階調度の勾配が重要な要素であり、コストの関数において原因になるべきである。鮮明度の改善から生じるエイリアシング（aliasing）のような加工物もまた、コストの関数に含まれるべきである。コストの関数は品質の指標としての役割をする。

図３を参照すると、上位レイヤのエンコーダー240は、ビットコストの情報を画像分析装置230に送信する。パラメーターα,β,…の限られたセットについての混合信号Ve(α,β,…)から、コストの関数が計算される。信号Ve(α,β,…)の画像品質が良いほど、コストの関数が低くなる。それぞれの画素又は画素のグループについてα,β,…のいくつかのベクトルが検査される。その後、最小のコストの関数を備えたテストのベクトルが選択される。１つの実施例について、いくつかのテストのベクトルは、時間及び空間（以前のフレーム）について近くの画素のグループの既に選択されたベクトルである。例えば、図４に示されるベクトルλ₁β₁,λ₂β₂,λ₃β₃は、テストされる画素のグループの近くである。更に、１つ以上のベクトルがランダムなオフセットを備えて選択され得る。画像分析装置は、Ve=v1+αv2+βv3とVb=v1+λv2+μV3を出力し、αとβは混合パラメーターであり、λとμはコストの関数のパラメーターである。この実施例において、信号Vbが減算器234で元の入力ビットストリームから差し引かれ、残差ビットストリームを形成する。最終的なコストの関数が所定の閾値の制限を超えると常に、画像分析装置が信号sをスイッチ236に出力し、それ故にスイッチが閉じ、その画素のグループについて残差ビットストリームがエンコーダー240でエンコードされる。更に、画像分析装置はまた、制御信号と混合パラメーターとコストの関数をエンコーダー240に送信し、それらはコード化されて上位ストリーム241に挿入される。上位ストリームが上位デコーダー252でデコードされると、混合パラメーターとコストの関数がデコードされ、併合ユニット270に送信される。併合ユニットは、加算ユニット272でデコードされた上位ストリームに加えられるVbを出力し、結果のビットストリームがスイッチ274に適用される。スイッチ274は制御信号Sによって制御され、それ故に併合ユニット270からのVeが、出力信号276を作るように、加算ユニット272によって出力されるビットストリームの適切な画素又はブロックに適用され得る。

本発明の前述の実施例は、規定の拡張ベクトルを介して複数の拡張された下位ビットストリームの最善なもの又はその混合を選択し、エンコードされた残差ビットストリームの情報を制御するために、画像分析装置を用いることによって、空間スケーラブル圧縮の効率を高める。本発明の異なる実施例は前述のステップの正確な順番に限定されず、本発明の全体の動作に影響を与えることなく、いくつかのステップのタイミングが交換され得ることがわかる。更に、“有する”という言葉は、他の要素又はステップを除外するものではなく、“１つ”という言葉は複数を除外するものではなく、単一のプロセッサ又は他のユニットが請求項に記載のいくつかのユニット又は回路の機能を実行し得る。

既知の階層化ビデオエンコーダーを表したブロック図である。 本発明の１つの実施例による階層化ビデオエンコーダー／デコーダーのブロック図である。 本発明の１つの実施例による階層化ビデオエンコーダー／デコーダーのブロック図である。 本発明の１つの実施例によるベクトルの候補のセットの位置を示したものである。

Claims (27)

1. 入力映像ビットストリームをエンコードする階層化エンコーダーであって、
   低解像度での下位ビットストリームと残差ビットストリームをエンコードし、
   デコードされたアップスケールされた下位ストリームを拡張し、拡張された下位映像ストリームを出力する異なる拡張アルゴリズムをそれぞれが備えた複数の拡張ユニットと、
   前記デコードされたアップスケールされた下位ビットストリーム及び前記拡張された下位映像ストリームと前記入力映像ビットストリームとを比較する画像分析装置と
   を有する階層化エンコーダーユニットを有し、
   前記画像分析装置の出力が前記残差ビットストリームに含まれる情報を制御するエンコーダー。
2. 請求項１に記載の階層化エンコーダーであって、
   前記画像分析装置が、前記拡張された下位映像ストリームの混合を計算する混合パラメーターを表すベクトルを選択し、前記選択されたベクトルを用いて前記残差ビットストリームの情報を制御する階層化エンコーダー。
3. 請求項２に記載の階層化エンコーダーであって、
   前記画像分析装置が、前記入力映像ビットストリームと前記拡張された下位映像ストリームの選択された混合とを比較し、どの画素又は画素のグループについて、前記残差ビットストリームを介して追加の拡張が必要であるかを判断する階層化エンコーダー
4. 請求項２に記載の階層化エンコーダーであって、
   それぞれの画素のグループが、異なるベクトルを用いて拡張される階層化エンコーダー。
5. 請求項２に記載の階層化エンコーダーであって、
   前記画像分析装置が、限られた数のテストのベクトルについてコストの関数を計算し、最小のコストの関数を備えたテストのベクトルが選択される階層化エンコーダー。
6. 請求項５に記載の階層化エンコーダーであって、
   前記選択されたベクトルが、圧縮データストリームに含まれる階層化エンコーダー。
7. 請求項５に記載の階層化エンコーダーであって、
   複数の前記テストのベクトルが、時間及び空間について近くの画素のグループの既に選択されたベクトルである階層化エンコーダー。
8. 請求項１に記載の階層化エンコーダーであって、
   前記階層化エンコーダーユニットが、
   前記入力映像ビットストリームの解像度を低減するダウンサンプル（downsample）ユニットと、
   前記低解像度の下位ストリームをエンコードする下位エンコーダーと、
   デコードして前記下位ストリームの解像度を増加させ、アップスケールされた下位ストリームを作るアップスケールユニットと、
   前記入力映像ビットストリームから前記アップスケールされた下位ビットストリームを差し引き、前記残差ビットストリームを作る減算ユニットと、
   前記画像分析装置からの制御信号に基づき、前記残差ビットストリームの一部のみが上位エンコーダーに送信されることを選択的に可能にするスイッチング手段と、
   前記スイッチング手段を通過する前記残差ビットストリームの前記一部をエンコードし、前記エンコードされた残差ビットストリームを形成する上位エンコーダーと
   を更に有する階層化エンコーダー。
9. 請求項８に記載の階層化エンコーダーであって、
   前記スイッチング手段が0と1の間の値を有する乗算器であり、
   0の値が、前記スイッチング手段が開いていることを意味し、1の値が、前記スイッチング手段が閉じていることを意味する階層化エンコーダー。
10. 下位ビットストリームと残差ビットストリームをデコードする階層化デコーダーユニットであって、
    前記デコードされた下位ビットストリームを拡張し、拡張された下位映像ストリームを出力する異なる拡張アルゴリズムを有する複数の拡張ユニットを有する拡張する手段と、
    前記拡張された下位映像ストリームに前記デコードされた残差ビットストリームを重ね合わせる手段と
    を有する階層化デコーダーユニット。
11. 請求項１０に記載の階層化デコーダーユニットであって、
    前記デコーダーが、前記拡張された下位映像ストリームを作るために、前記複数の拡張ユニットによって作られた拡張された下位ストリームの混合を計算する混合パラメーターを表すベクトルを受信するように構成された階層化デコーダーユニット。
12. 入力映像ビットストリームをエンコードする方法であって、
    拡張された下位映像ストリームを出力する複数の異なる拡張アルゴリズムでデコードされたアップスケールされた下位ビットストリームを拡張するステップと、
    前記デコードされたアップスケールされた下位ビットストリーム及び前記拡張された下位映像ストリームと前記入力映像ビットストリームとを比較し、前記比較の出力が、残差ビットストリームに含まれる情報を制御するステップと
    を有する下位ビットストリーム及び残差ビットストリームをエンコードするステップを有する方法。
13. 請求項１２に記載の方法であって、
    前記拡張された下位映像ストリームの混合を計算する混合パラメーターを表すベクトルが選択され、前記選択されたベクトルを用いて前記残差ビットストリームの情報を制御する方法。
14. 請求項１３に記載の方法であって、
    前記拡張された下位映像ストリームの選択された混合が、前記入力画像ビットストリームと比較され、どの画素又は画素のグループについて、前記残差ビットストリームを介して追加の拡張が必要であるかを判断する方法。
15. 請求項１３に記載の方法であって、
    それぞれの画素のグループが、異なるベクトルを用いて拡張される方法。
16. 請求項１３に記載の方法であって、
    限られた数のテストのベクトルについてコストの関数が計算され、最小のコストの関数を備えたテストのベクトルが選択される方法。
17. 請求項１６に記載の方法であって、
    前記選択されたベクトルが、圧縮データストリームに含まれる方法。
18. 請求項１６に記載の方法であって、
    複数の前記テストのベクトルが、時間及び空間について近くの画素のグループの既に選択されたベクトルである方法。
19. 請求項１２に記載の方法であって、
    前記入力映像ビットストリームの解像度を低減するステップと、
    前記のより低い解像度の下位ストリームをエンコードするステップと、
    デコードして前記下位ストリームの解像度を増加させ、アップスケールされた下位ビットストリームを作るステップと、
    前記入力映像ビットストリームから前記アップスケールされた下位ビットストリームを差し引き、前記残差ビットストリームを作るステップと、
    画像分析装置からの制御信号に基づき、前記残差ビットストリームの一部のみが上位エンコーダーに送信されることを選択的に可能にするステップと、
    前記残差ビットストリームの前記選択的に可能にされた一部をエンコードし、前記エンコードされた残差ビットストリームを形成するステップと
    を更に有する方法。
20. 下位ビットストリームと残差ビットストリームをデコードする方法であって、
    拡張された下位映像ストリームを出力する複数の異なる拡張アルゴリズムで、前記デコードされた下位ビットストリームを拡張し、
    前記拡張された下位映像ストリームに前記デコードされた残差ビットストリームを重ね合わせることを有する方法。
21. 請求項２０に記載の方法であって、
    前記拡張された下位映像ストリームを作るために、複数の拡張ユニットによって作られた拡張された下位ストリームの混合を計算する混合パラメーターを表すベクトルを受信することを更に有する方法。
22. 下位ビットストリームと残差ビットストリームを有する圧縮データストリームであって、
    前記残差ビットストリームに含まれる情報が、前記下位ビットストリームより高い解像度でのビットストリームと、拡張されたデコードされたアップスケールされた下位ビットストリームとの間の差を表し、
    前記拡張されたデコードされたアップスケールされた下位ビットストリームが、前記下位ビットストリームに基づき、
    複数の拡張アルゴリズムの混合によって前記拡張が実行されたものである圧縮データストリーム。
23. 請求項２２に記載の圧縮データストリームであって、
    前記混合を計算する混合パラメーターを表すベクトルを有する圧縮データストリーム。
24. 請求項２２又は２３に記載の圧縮データストリームが保存されているストレージ媒体。
25. 入力映像ビットストリームをエンコードし、デコードする階層化エンコーダー／デコーダーであって、
    低解像度での下位ビットストリームと残差ビットストリームをエンコードし、
    デコードされたアップスケールされた下位ストリームを拡張し、拡張された下位映像ストリームを出力する異なる拡張アルゴリズムをそれぞれが備えた複数の拡張ユニットと、
    前記デコードされたアップスケールされた下位ビットストリーム及び前記拡張された下位映像ストリームと前記入力映像ビットストリームとを比較し、画像分析装置の出力が前記残差ビットストリームに含まれる情報を制御する画像分析装置と
    を有する階層化エンコーダーユニットと、
    前記下位ビットストリームと前記残差ビットストリームをデコードし、
    前記エンコーダーユニットで実行されたものと同じ前記デコードされた下位ビットストリームへの拡張を実行する手段と、
    前記デコードされて拡張された映像下位ストリームに前記デコードされた残差ビットストリームを重ね合わせ、映像出力ストリームを作る手段と
    を有する階層化デコーダーユニットと
    を有する階層化エンコーダー／デコーダー。
26. コンピュータプログラムがコンピュータで実行すると、請求項１２に記載のステップを実行するソフトウェアコード部分を有するコンピュータプログラム。
27. コンピュータプログラムがコンピュータで実行すると、請求項２０に記載のステップを実行するソフトウェアコード部分を有するコンピュータプログラム。
    

Images