JP2007515886A

JP2007515886A - 空間スケーラブルかつｓｎｒスケーラブルなビデオ符号化

Info

Publication number: JP2007515886A
Application number: JP2006543699A
Authority: JP
Inventors: キレンコ，イホール; テリュク，タラス
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2003-12-09
Filing date: 2004-12-08
Publication date: 2007-06-14
Also published as: WO2005057935A3; US20070086515A1; WO2005057935A2; KR20060126988A; EP1695558A2

Abstract

SNRスケーラブルかつ空間スケーラブルなビデオ符号化器が標準互換なエンコードユニットを使って一つの基本層エンコード信号および少なくとも二つの高機能層エンコード信号を生成する。基本層および少なくとも第一の高機能層はダウンスケーリングされた信号から生成される。少なくとも一つの追加的な高機能層がアップスケーリングされた信号から生成される。有利には、単一のエンコーダ／デコーダ対をフィードバック、スイッチおよびオフセットと組み合わせることで、スケーラブル符号化のすべての層を生成するために使うことができる。モジュール設計のため、空間スケーラブルまたはSNRスケーラブルなエンコード層のどちらも任意の数が許容され、最後以外のすべての層について誤り訂正が可能となる。すべてのエンコーダはピクセル領域で動作する。デコーダも示される。

Description

本特許文書の開示の一部分は著作権保護の対象となる内容を含んでいる。著作権保有者は本特許文書または本特許開示を特許商標庁の特許ファイルまたは記録にある通りそのままに複製することは誰に対しても異存はないが、それ以外の点ではあらゆる著作権を留保するものである。

本発明はスケーラブルなデジタルビデオ符号化の分野に関係する。

米国の公開された特許出願2002/0071486は空間スケーラビリティおよびSNRスケーラビリティをもつタイプの符号化を示している。スケーラビリティはダウンスケーリングされた基本層（base layer）を高品質の高機能層（enhancement layer）と一緒にエンコードすることにより達成される。この出願に示された方式の欠点は、エンコードが諸標準と互換でないことである。また、エンコードユニットが標準型のものでないことも欠点である。

二つ以上の高機能エンコード層をもち、すべての層が少なくとも一つの標準と互換であるSNRスケーラブルかつ空間スケーラブルなビデオ符号化であるエンコードを有することが望ましいと思われる。さらに、少なくとも最初の高機能層は何らかの種類の誤り訂正フィードバックを受けるようにすることが望ましいであろう。また、たとえば少なくとも一つのエンコーダ／デコーダ対を用いることによって複数層におけるエンコーダが先行するエンコーダからの内部情報を必要としないことも望ましいであろう。

さらに、エンコードされた信号を受信するための改良されたデコーダを有することも望ましいであろう。そのようなデコーダは好ましくは各エンコード層についてデコードモジュールを含み、すべてのデコードモジュールは同一であり、少なくとも一つの標準と互換である。

公開された特許出願US2003/0086622A1がここに参照により組み込まれる。この出願は図１に示されるような基本エンコーダ１１０を含んでいる。この基本エンコーダには次の構成要素がある：動き推定器（ME: motion estimator）１０８、動き補償器（MC: motion compensator）１０７、直交変換器（たとえば離散コサイン変換器［DCT: discrete cosine transformer］）１０２、量子化器（Q: quantizer）１０５、可変長符号化器（VLC: variable length coder）１１３、ビットレート制御回路１０１、逆量子化器（IQ: inverse quantizer）１０６、逆変換回路（IDCT）１０９、スイッチ１０３および１１１、減算器１０４および加算器１１２。これらの構成要素の動作のさらなる説明については、読者は前記公開された特許出願を参照されたい。そのエンコーダは信号をエンコードして基本ストリーム出力１３０を与えることと、符号化された出力をデコードして基本ローカルデコード出力１２０を与えることの両方を行う。換言すれば、このエンコーダはエンコーダとデコーダが合わさったものと見ることができる。

基本エンコーダ１１０は一つの可能な実施例として示されているのみである。図１の基本エンコーダは標準互換であり、MPEG2、MPEG4およびH.26xといった標準と互換である。通常の当業者は、ハードウェアでなくソフトウェアまたはファームウェアを使うものも含めて他の実施例をいくらでも思いつくことができよう。いずれにせよ、以下の実施形態で述べられるエンコーダはすべて図１と同様、ピクセル領域で動作するものと想定される。

スケーラビリティを与えるため、前記公開特許出願では図１のエンコーダは図２のように第二の類似のエンコーダと組み合わされる。この図では、基本エンコーダ１１０と高機能信号エンコーダ２１０は本質的に同じであり、ただ高機能信号デコーダは動き推定（ME）ユニットへのいくつかの追加的な入力を有している。入力信号２０１は２０２でダウンスケーリングされてダウンスケーリングされた入力信号２００を生成する。次いで基本エンコーダ１１０はそのダウンスケーリングされた信号を受け取って二つの出力を生成する。低解像度出力信号となる基本ストリーム１３０と、該基本ストリームをデコードしたもの１２０（基本ローカルデコード出力ともいう）である。この出力１２０は次いで２０６でアップスケーリングされて２０７で入力信号２０１から減算される。２０９ではDCオフセット２０８が加えられる。結果として得られるオフセットされた信号は次いで高機能信号エンコーダ２１０に提出され、ここで高機能ストリーム２１４が生成される。エンコーダ２１０はエンコーダ１１０とは、デコード出力２１５にオフセット２１３が加算器２１２で加えられ、その結果が２１１でアップスケーリングされた基本ローカルデコード出力に加えられた上でMEユニットに入力されるという点で異なっている。これに対し、基本エンコーダ１１０ではローカルにデコードされた基本入力はオフセットなしで、他のいかなる入力信号とも組み合わせもなしでMEユニット１０８に与えられる。入力信号２０１は、基本エンコーダ１１０の場合と同様、エンコーダ２１０内のMEユニットにも入力される。

図３は、本発明に基づくエンコーダを示している。この図では、図２に示されたものと同じ構成要素は同じ参照符号を与えられている。

US2003/0086622A1は、基本ローカルデコード出力１２０およびデコード出力２１５を生成するために、図１の標準的なエンコーダのデコード部分を使うことを選択した。しかし、これは一組のデコードブロックを使うだけでよく、誤りドリフトが仮説上減少するので有利に見えるにもかかわらず、ある種の不都合な点がある。図２の設計は第二の出力を得るために標準的なエンコーダへの修正を必要とする。これはコスト、複雑を増し、アーキテクチャの選択を制限する。さらに、MPEGのために最近提案されたウェーブレットに基づくコーデックのような将来のビデオ符号化器の標準においては、標準的なデコーダにはローカルなデコード・ループが全く存在しないこともありうる。その結果、ここでの好ましい実施形態では、ブロック３０３からデコード信号を抽出しようとするのではなく、別個のデコーダブロック３０３′が追加される。図３〜５および８では、エンコーダはすべて、単一の標準の型のもの、たとえば図１に示したものと近似的に同じもの、あるいはMPEG2、MPEG4、H.263、H.264などで示されるようなその他何らかの標準の型のものであると想定される。同様に、図３〜６および８のデコーダはすべて、MPEG2、MPEG4、H.263、H.264などで示されるような、あるいは図９で示されるような単一の標準型のものであると想定される。ではあるものの、通常の当業者はエンコーダまたはデコーダの置き換えを設計上の選択の問題として行うことができるであろう。ここで使われる「エンコーダ／デコーダ対」の表現は、後続のエンコードされた層のために使われるデコード信号がエンコーダにおけるローカルデコード信号からではなく、別個のデコーダからくるということを意味するものである。

それにもかかわらず、設計者はUS2003/0086622A1において示された型の実施形態を使うことを選ぶこともできる。すなわち、エンコーダ／デコーダ対３０３、３０３′を使うのではなくブロック１１０からローカルデコード信号を取り出すのである。それでも標準互換性をもち、ピクセル領域で動作しつつ、SNRおよび空間両方の高機能化を得ることができる。

第二の高機能層を作成するため、アップスケーリングユニット３０６はエンコーダ／デコーダ対３１０、３１０′の下流に移動される。標準的な符号化器がすべてのストリーム（BL、EL1、EL2）をエンコードできる。BLは単にダウンスケーリングされた大きさの通常のビデオであり、EL信号は「オフセット」の操作後には通常のビデオのピクセル範囲を有するからである。すべての層のエンコードのために全く同じ符号化器を使うことができるが、符号化のパラメータは異なっていてもよく、特定の層について最適化される。標準的なエンコーダへの入力パラメータは次のようなものでありうる：入力ビデオの解像度、GOF（Group of Frames［フレームグループ］）の大きさ、要求されるビットレート、GOF内のIフレーム、Pフレーム、Bフレームの数、動き推定への制約などである。こうしたパラメータは、MPEG2、MPEG4またはH.264といった関連する規格の記述において定義されている。最終的なストリームでは、エンコードされた層をどうにかして区別するべきである。それはたとえば追加的なヘッダを導入してそれを別の物理チャネルで送信することなどによる。

高機能層（enhanced layer）エンコード信号（EL1）３１４は２１４と類似で、ただダウンスケーリングされた信号から生成されている。デコード出力３１５は２１５と類似だがここではダウンスケーリングしたものになっており、３０７において出力１２０と類似のデコード出力３０５に加えられる。加算器３０７の出力３１７は３０６においてアップスケーリングされる。結果として得られるアップスケーリングされた信号３２１は３１６において入力信号２０１から引き算される。さらなるエンコードのために電圧を正しい範囲に収めるため、３１９において２０８と類似のオフセット３１８が加えられる。次いで、３２０において加算器３１９の出力がエンコードされて第二の高機能層エンコード信号（EL2）３２５を与える。図３と図２を比較すると、追加的な高機能層があるばかりでなく、EL1信号は図２の高機能層が受けていなかった誤り訂正を受けていることが見て取れる。

図４は、第三の高機能層をもつ本発明の実施形態を示している。以前の図面からの要素は以前と同じ参照符号が与えられており、改めて説明はしない。アップスケーリング４０６は第二の高機能層の出力に移動されている。一般には、アップスケーリングを最後の高機能層の直前で行うことは必須ではない。

加算器３０７の出力３１７はもはやアップスケーリングされていない。その代わり、減算器４０７および加算器４１７に入力される。減算器４０７は信号３１７とダウンスケーリングされた入力信号２００との差を計算する。次いで新しいオフセット４０９が加算器４０８において加えられる。結果として得られるオフセットされた信号から、第三のエンコーダ４２０（今度はダウンスケーリングされたレベルで動作している）は第二の高機能エンコード層EL2 ４２５を生成する。これは図３のEL2 ３２５に対応するものである。新しい第三のデコーダ４２０′は新しいデコード信号を生成し、これが４１７においてデコード信号３１７に加えられてBL、EL1およびEL2のデコードされたものの和４２２を生成する。結果は次いで４０６でアップスケーリングされて４１６で入力信号２０１から引き算される。さらに別のオフセット４１９が４１８で加えられ、第四のエンコーダ４３０に入力されて第三の高機能層デコード信号（EL3）４３５を生成する。

オフセット値は図３〜５および８のエンコーダのすべての層について同じでよく、入力信号の値の範囲に依存することができる。たとえば、入力ビデオのピクセルが８ビット値を有して０から２５５までの範囲で動くとする。この場合、オフセット値は１２８である。オフセット値を加える目標は、差信号（正の値と負の値の両方をもつ）を０から２５５の、負の値がない範囲に変換することである。理論的には、１２８のオフセットを使えば２５５より大きかったり、あるいは０より小さかったりする何らかの値が現れることがある。そうした値は切りつめられてそれぞれ２５５または０とされることができる。通常の当業者は差信号を自然なビデオ信号のピクセル範囲に収めるその他の解決法を考案できるであろう。図６に示したデコード端では逆オフセットを使うことができる。

図５は図４にもう一つの高機能層を加えるアドオンを示している。ここでもまた、以前の図面からの参照符号は以前の図面で表していたのと同じ要素を表す。このアドオンは第四の高機能層が生成されることを許容する。この実施形態において追加されるものは、第四のデコーダ５３１、フィードフォワード５１５、減算器５１６、加算器５０８、オフセット５０９、エンコーダ５４０および出力５４５である。第五のエンコーダ５４０は第四の高機能層エンコード信号（EL4）５４５を与える。新たな要素はみな以前の図面での同様の要素と類似の動作をする。この場合は、エンコーダ４と５は両方とも元来の解像度で動作する。これらのエンコーダは二つの追加的なレベルのSNR（signal-to-noise［信号対雑音］）スケーラビリティを提供できる。

こうして図５では、一つの基本層と４つの高機能層のエンコード信号があり、低解像度では次の３つのレベルのSNRスケーラビリティが許容される：
１ BL
２ BL+EL1
３ BL+EL1＋EL2
元来の解像度では次の二つのSNRスケーラビリティレベルが許容される：
１ EL3
２ EL3＋EL4
この例では、空間スケーラビリティは２レベルしか与えられていない。元来の解像度と一回ダウンスケーリングされた解像度である。層の数および内容はエンコードの間に定義される。シーケンスはエンコード側において一度だけダウンスケーリングおよびアップスケーリングされており、それゆえデコード側では二つの空間的な層（元来の大きさとダウンスケーリングされたもの）しか再構築できないのである。上述した５つのデコードシナリオが最大限に許容されるものである。ユーザーは５つのストリームすべてまたはその一部のみを漸次デコードすることを選べる。一般に、デコードされる層の数は、エンコーダによって生成された層の数によって制限される。

図４および５の実施形態は、ピクセル領域において動作する自己完結式のエンコーダ／デコーダ対を使うことの設計の柔軟性を示している。より多くの高機能層を追加することが非常に容易になる。設計者は、両方の種類のスケーラビリティのレベル数を変えて他の多くの構成を考案できるであろう。空間解像度の層を多くするためには、追加的なダウンスケーリングユニットおよびアップスケーリングユニットを追加する必要が出てくる。

図６は、図３に基づいて生成された信号についての受信端でのデコードを示している。図６は三つのデコーダを有しており、それらはみな図３〜５において示されたデコーダのような同じ標準的な種類であり、その例は図９に示される。BL１３０は第一のデコーダ（decoder）DC1 ６１３に入力される。別個の層がデコーダにどのように送信、受信および経路制御されるかは用途に依存するもので、本発明の埒外の設計上の選択の問題であり、チャネル符号化器、パケット化器、サーバーなどによって扱われる。符号化規格MPEG2は、送信プロトコル、デコーディングによるストリームの受信、同期などを定義するいわゆる「システムレベル」を含んでいる。

出力６１４は第一の空間（spatial）解像度S0およびビットレート（bit rate）R0を有する。EL1 ３１４は第二のデコーダDC2 ６０７に入力される。逆オフセット６０９が次いで加算器６０８においてEL1をデコードしたものに加えられる。次いでBLをデコードしたもの６１４が加算器６１１によって加えられる。加算器６１１の出力６１０はまだ空間解像度S0にある。この場合、EL1はBLと同じ解像度で改良された品質を与える（すなわちSNRスケーラビリティ）が、EL2は改良された解像度を与える（すなわち空間スケーラビリティ）。ビットレートはEL1のビットレートR1によって増加される。これは、６１０においては組み合わされたビットレートR0＋R1があるということを意味している。出力６１０は次いで６０５においてアップスケーリングされてアップスケーリングされた信号６２２を与える。EL2 ３２５は第三のデコーダ６０２に入力される。逆オフセット６１９は次いで６１８においてEL2のデコードされたものに加えられて、オフセットされた信号出力６２３を与える。このオフセットされた信号６２３は次いで６０４において、アップスケーリングされた信号６２２に加えられて出力６３０を生じる。これはS0＝(1/4)S1として空間解像度S1をもち、EL2のビットレートをR2としてR0＋R1＋R2のビットレートをもつ。S1とS0の比は設計上の選択の問題であり、用途、原信号の解像度、表示サイズなどに依存する。S1およびS0の解像度は利用される標準的なエンコーダ／デコーダによってサポートされているべきである。ここで述べたのは、低解像度画像が原画像より４倍小さいという最も単純な場合である。だが、一般にはいかなる解像度変換比を使ってもよい。

図８は図３の代わりの実施形態を示している。図面の要素の間の対応を示すため、同じ参照符号のいくつかは図３の場合と同様に使用されている。この実施形態では、一つのエンコーダ／デコーダ対８１０、８１０′だけが使われる。スイッチs1、s2およびs3により、この対８１０、８１０′はまず符号化器１（３０３）およびデコーダ１（３０３′）として、次いで符号化器２（３１０）およびデコーダ２（３１０′）として、そして最後に符号化器３（３２０）としてそれぞれ図３に示されたもののように動作することができる。スイッチの位置は図７の表によって支配される。

まず、入力２０１が２０２においてダウンスケーリングされてダウンスケーリングされた信号２００が生成される。これを渡されるスイッチs1は位置１″にあり、信号が符号化器８１０に向かうことを許容する。スイッチs3が今は位置１にあってBL １３０を生成する。

次いで、BLはデコーダ８１０′によってデコードもされ、ローカルデコード信号BL DECODED ３０５を生じる。スイッチs2は今は位置１′にあり、BL DECODED ３０５は２０７において信号２００から引き算される。オフセット２０８が２０９において２０７からの差信号に加えられて、EL1 INPUT ８３４を生成する。この点でスイッチs1は位置２″にあり、信号８３４は符号化器８１０に到達する。スイッチs3は位置２にあり、EL1は出力３１４に到達する。

EL1はまたデコーダ８１０′に行ってEL1 DECODED ３１５を生成する。これは加算器３０７を使ってBL DECODED ３０５――いまだ以前の値にラッチされている――に加えられる。メモリ要素がもしあれば正しい値が正しい位置に正しい時刻に存在することを保証するために使われるが、これは設計上の選択の問題であって、簡単のため図面からは省かれている。加算器３０７の出力３１７は次いでユニット３０６においてアップスケーリングされる。アップスケーリングされた信号３２１は次いで減算器３１６において入力信号２０１から引き算される。その結果に、オフセット３１８が３１９において加えられ、EL2 INPUT ８２５が生成される。スイッチs1は今では位置３″にあり、EL2 INPUT ８２５は符号化器８１０に伝わり、そこで信号EL2が生成される。スイッチs3は今では位置３にあり、EL2がライン３２５で得られるようになる。

図８の実施形態は、図３の実施形態に対して回路の節約になるので有益であるが、同じ結果を与える。

図８のSNR＋空間スケーラブルな符号化の方式の実装が行われ、そのパフォーマンスが２層の空間スケーラブルな符号化および単層高解像度符号化の両方式に対して比較された。テストには最新バージョン（JM6.1a）のH.264のエンコーダを使用した。テストシーケンス「マッチライン」および高解像度高機能層EL2はSD（Standard Definition［標準解像度］）の解像度（704×576ピクセル）をもつ。信号BLおよびEL1はSIF解像度をもつ。SIF（Standard Input Format［標準入力フォーマット］）は、MPEG委員会によって指定されている圧縮されたビデオに対するフォーマットで、NTSCについては352（水平方向）×240（垂直方向）×29.97（fps）、PALについては352（水平方向）×288（垂直方向）×25.00（fps）の解像度をもつ。SIF解像度のビデオはVHSテープと同様の画像品質を与える。シーケンス「マッチライン」は25fr/secで160フレーム有するものだった。

図８の方式のビットレートは：BL―547kbit/s、EL1―1448kbit.s、EL2―1059kbit/sであった。US2003/086622の２層のみの空間スケーラブル方式のビットレートは：BL（SIF）―1563kbit/s、EL（SD）―1469kbit/sであった。単層H.264符号化器のビットレートは2989kbit/sであった。

SD解像度での各方式の全ビットレートは約3Mbit/sであった。

SD解像度でデコードされたシーケンスの輝度値のPSNR（Peak Signal to Noise Ratio［ピーク信号対雑音比］）は次の通りである。

SNR＋空間（図８） 40.28
空間（２層） 40.74
単層 41.42

したがって、図８の方式は、２層の空間スケーラブルな方式とほとんど同じ品質（主観とともに客観的にも）を提供しながら、SNRスケーラビリティをも有している。

図９は、図３〜６および８での使用に好適なデコーダモジュールを示している。エンコードされたストリームは、要素１１３と類似の可変長デコーダ９０１に入力される。その結果は９０２で逆スキャンに、次いで逆量子化９０３にかけられる。これはボックスIQ１０６に対応するものである。次いで信号はボックス１０９に対応する逆離散コサイン変換９０４にかけられる。その後、信号は動き補償ユニット９０６に行くが、これはフレームメモリ９０５を通じてフィードバックループに結合されている。動き補償ユニット９０６の出力がデコードされたビデオを与える。このデコーダは、エンコードされたストリームからデコードされた動きベクトルに基づくMCを実装する。

好適なデコーダの記述はMPEG2規格（ISO/IEC13818-2、図７−１）にも見出すことができる。

図３〜５、６および９はハードウェアまたはソフトウェアのどちらと見ることもでき、ボックスはハードウェアまたはソフトウェアのモジュールであり、ボックスを結ぶ線は実際の回路またはソフトウェアの流れである。ここで使われる「エンコーダ」または「デコーダ」の用語はハードウェアまたはソフトウェアのモジュールのどちらを指すこともできる。同様に、図面における加算器、減算器およびその他の項目はハードウェアまたはソフトウェアのモジュールと見ることができる。さらに、異なるエンコーダまたはデコーダは、それぞれ他のエンコーダまたはデコーダと同じコードの派生コピーであってもよい。

本発明に関して示されたエンコーダおよびデコーダのすべては自己完結的であることが想定される。それらは他のエンコーダやデコーダからの内部的な処理結果を必要としない。

図３〜５のエンコーダは効率のためパイプライン式に動作してもよい。

本開示を読むことから、その他の修正が当業者には明らかとなるであろう。そのような修正はデジタルビデオ符号化の設計、製造および使用においてすでに知られている、そしてここにすでに記載された特徴の代わりまたは追加として使用されうるその他の特徴を含むこともあるかもしれない。請求項は本出願では諸特徴の特定の組み合わせに対して定式化されているが、本出願の開示の範囲は、ここに明示的または暗黙的に記載されたいかなる新規の特徴または諸特徴の新規の組み合わせをも、あるいはそのいかなる一般化をも、それが本発明と同じ技術上の問題のいずれかまたはすべてを改善するか否かにかかわらず含むものである。本出願人はここに、本出願またはそれから派生する何らかのさらなる出願の審査過程の間にそのような諸特徴に対する新たな請求項が定式化されうることを告知しておく。

ここで使われている「有する」の語およびその活用形は追加的な要素を排除するものと見るべきではない。ここで使われている単数形の表現は複数の要素を排除するものと見るべきではない。

図１０は、ビデオ入力２０１を受け取ってスケーラブルな層BL、EL1およびEL2を１００３において出力するプロセッサ１００１を示している。この実施形態は、本発明のソフトウェア実施形態に好適である。プロセッサ１００１は記憶装置１００２をコードおよび／またはデータを保存するために使用する。プロセッサ１００１は信号プロセッサなどいかなる好適な型のものでもよい。記憶１００２もいかなる好適な型のものでもよく、それには磁気的なもの、光学式のもの、RAMなどが含まれる。二つ以上のプロセッサおよび二つ以上の記憶があってもよい。図１０のプロセッサおよび記憶は、テレビ、電話またはコンピュータといったより大きな装置に統合されていてもよい。以前の諸図面に示されたエンコーダおよびデコーダはプロセッサ１００１および／または記憶１００２内のモジュールとして実装されうる。図３〜５の複数のエンコーダは、単一のエンコーダモジュールの派生コピーとして実装されてもよい。

以下に、図８の実施形態を実装するための標準的なH.264エンコーダとともに使用するための構成設定ファイルを示す。この構成設定は本発明を実装するために当業者が考案しうる数多くの異なる構成設定のうちのほんの一例に過ぎない。

従来技術の基本エンコーダを示す図である。従来技術の、高機能層が一つだけのスケーラブルなエンコーダを示す図である。本発明に基づく、二つの高機能層をもつスケーラブルなエンコーダを示す図である。本発明に基づく、三つの高機能層をもつスケーラブルなエンコーダの代替的な実施形態を示す図である。図４の実施形態に四番目の高機能層を加えるためのアドオン実施例を示す図である。二つの高機能層とともに使うためのデコーダを示す図である。図８とともに使うための表を示す図である。一対のエンコーダ／デコーダだけで二つの高機能層を生成する実施形態を示す図である。デコーダを示す図である。ソフトウェア実施形態のためのプロセッサおよびメモリを示す図である。

Claims

入力ビデオ信号を受け取る手段と、
前記入力ビデオ信号から、少なくとも基本エンコード信号、高機能エンコード信号および追加的な高機能エンコード信号を含むスケーラブルな符号化を生成する少なくとも一つのエンコーダ、
とを有しており、
各エンコーダが少なくとも一つの標準と互換であることを特徴とするビデオエンコーダ。
前記高機能エンコード信号のうちの少なくとも一つがSNRスケーラビリティを提供し、前記高機能エンコード信号のうちの少なくとも一つが空間スケーラビリティを提供することを特徴とする、請求項１記載のエンコーダ。
前記少なくとも一つのエンコーダが少なくとも三つの同一の標準互換のエンコードモジュールを含むことを特徴とする、請求項１記載のエンコーダ。
前記エンコーダのすべてがピクセル領域において動作することを特徴とする、請求項１記載のエンコーダ。
各エンコーダが自己完結的であり、各エンコード層の生成のために他のエンコーダからの内部的な結果が必要とされないことを特徴とする、請求項１記載のエンコーダ。
入力ビデオ信号を受け取る手段と、
スケーラブルな出力ビデオストリームの複数のエンコード層を供給するための、それぞれの対が自己完結のエンコーダモジュールと該エンコーダモジュールとは明確に区別される自己完結のデコーダモジュールとを有する少なくとも一つのエンコーダ／デコーダ対、
とを有することを特徴とするビデオエンコーダ。
前記出力ビデオストリームが少なくとも３つのエンコード層を有することを特徴とする、請求項６記載のエンコーダ。
前記エンコード層のうちの少なくとも一つがSNRスケーラビリティを与え、前記エンコード層のうちの少なくとも一つが空間スケーラビリティを与えることを特徴とする、請求項６記載のエンコーダ。
前記エンコーダ／デコーダ対のすべてが同一であることを特徴とする、請求項６記載のエンコーダ。
各エンコーダおよび各デコーダが自己完結であり、エンコード層の生成のために他のいかなるエンコード層の生成において使用されたいかなる内部的な処理結果をも必要としないことを特徴とする、請求項６記載のエンコーダ。
請求項６記載のエンコーダであって、さらに：
前記入力ビデオストリームをダウンスケーリングしてダウンスケーリングされたビットストリームを生成する手段と、
前記入力ビデオストリームから導かれる信号をアップスケーリングしてアップスケーリングされたストリームを生成する手段、
とを有しており、エンコード層のうち少なくとも二つが前記ダウンスケーリングされたストリームから導かれ、前記エンコード層のうち少なくとも一つが前記アップスケーリングされたビデオストリームから導かれることを特徴とするエンコーダ。
少なくとも三つのエンコーダ／デコーダ対を有し、各エンコーダ／デコーダ対が前記エンコード層のうちの個別の一つを提供することを特徴とする、請求項６記載のエンコーダ。
少なくとも４つのエンコーダ／デコーダ対を有することを特徴とする、請求項１２記載のエンコーダ。
請求項６記載のエンコーダであって、基本エンコード層以外の各個別エンコード層を生成するためにさらに：
前記入力ビデオストリームから導かれる信号と以前のエンコード層をデコードしたバージョンから導かれる信号との間の差を供給するための少なくとも一つの手段と、
前記の差の結果にオフセットを加えてオフセットされた信号を生成する手段と、
前記オフセットされた信号を、前記個別エンコード層を生成するためのエンコードのために供給する手段、
とを有することを特徴とするエンコーダ。
各エンコーダ／デコーダ対が標準互換タイプのものであり、ピクセル領域において動作することを特徴とする、請求項６記載のエンコーダ。
請求項６記載のエンコーダであって、さらに：
スイッチング手段と、
オフセットを供給するための少なくとも一つの手段、
とを有しており、
エンコーダ／デコーダ対が一つしかなく、逐次の諸エンコード層が該単一のエンコーダ／デコーダ対から、以前のエンコードの結果をフィードバックするために、前記スイッチング手段および前記オフセットを供給するための少なくとも一つの手段を使って生成されることを特徴とするエンコーダ。
スケーラブルなビデオエンコードを提供するためのエンコーダであって：
単一のビデオ入力ストリームを受け取る手段と、
前記ビデオ入力から少なくとも三つのエンコード層を供給するための、ピクセル領域において動作する少なくとも一つのエンコーダとを有しており、
基本層を生成するために、前記少なくとも一つのエンコーダが前記単一のビデオ入力ストリームのダウンスケーリングされたバージョンに対して作用し、
前記第一の層以外の各層の生成のために、前記少なくとも一つのエンコーダが、各差信号または前記各差信号から導かれる信号を受け取るよう結合されており、該各差信号が
前記単一のビデオ入力ストリームのダウンスケーリングされたバージョンか前記単一のビデオ入力信号そのものかのいずれかと、
ある以前のエンコード層のデコードされたバージョンか前記以前のエンコード層のデコードされたバージョンをアップスケーリングしたバージョンかのいずれか、
との間の差を表すことを特徴とするエンコーダ。
次の層の生成のために前記少なくとも一つのエンコーダに前記各差信号を与えるのに先立って、該各差信号にオフセットを供給する手段を有することを特徴とする、請求項１７記載のエンコーダ。
前記エンコード層のうちの少なくとも一つが空間スケーラビリティを与え、前記エンコード層のうちの少なくとも一つがSNRスケーラビリティを与えることを特徴とする、請求項１７記載のエンコーダ。
入力ビデオ信号を受け取り、
前記ビデオ信号をエンコードして、基本エンコード信号および少なくとも二つの高機能エンコード信号を含むSNRスケーラブルかつ空間スケーラブルな符号化を生成し、前記エンコードがそれぞれ標準互換タイプである少なくとも一つのエンコーダを使用することを特徴とする、エンコード方法。
前記エンコードが少なくとも一つのエンコーダ／デコーダ対を使用することを特徴とする、請求項２０記載の方法。
請求項２０記載の方法であって、前記入力ビデオストリームをダウンスケーリングして前記ビデオ信号のダウンスケーリングされたバージョンを生成することをさらに有しており、前記基本エンコード信号と前記高機能エンコード信号のうちの少なくとも一つとが前記ダウンスケーリングされたバージョンから生成されることを特徴とする、請求項２０記載の方法。
請求項２２記載の方法であって、さらに：
前記基本エンコード信号と前記高機能エンコード信号のうちの少なくとも一つとをデコードしてデコードされた基本信号および高機能信号を生成し、
前記デコードされた基本信号および高機能信号を足し合わせて和のデコード信号を生成し、
前記和のデコード信号をアップスケーリングしてアップスケーリングされた信号を生成し、
前記アップスケーリングされた信号をエンコードして少なくとも一つのさらなる高機能エンコード信号を生成する、
ことを有することを特徴とする方法。
並行して配列された少なくとも第一、第二および第三の標準互換デコーダを有する、スケーラブルな信号をデコードするデコーダであって、第一のデコーダは基本層エンコード信号をデコードするため、およびそれからデコードされた画像の第一のスケールを提供するためであり、少なくとも前記第二および第三のデコーダが第一および第二の高機能層エンコード信号をデコードするためであることを特徴とするデコーダ。
請求項２４記載のデコーダであって、さらに：
前記第一および第二のデコーダからの信号またはそれらから誘導される信号を加算して、デコードされた画像の第二のスケールを提供するために結合された第一の加算器と、
前記第一の加算器および前記第三のデコーダからの信号またはそれらから誘導される信号を加算して、デコードされた画像の第三のスケールを提供するための第二の加算器、
とを有することを特徴とするデコーダ。
請求項２５記載のデコーダであって、さらに：
前記第二のデコーダの出力と前記第一の加算器との間に結合されたオフセットのための第一の手段と、
前記第三のデコーダの出力と前記第二の加算器との間に結合されたオフセットのための第二の手段、
とを有することを特徴とするデコーダ。
前記第一の加算器の出力と前記第二の加算器の入力との間に結合された、アップスケーリングの手段をさらに有することを特徴とする、請求項２６記載のデコーダ。
入力ビデオ信号を受け取る手段と、
前記入力ビデオ信号から、少なくとも基本エンコード信号、高機能エンコード信号および追加的な高機能エンコード信号を含むスケーラブルな符号化を生成する、それぞれが少なくとも一つの標準と互換である少なくとも一つのエンコーダ、
とを含むいくつかの機能モジュールを実装するためのコードを具現している、少なくとも一つの処理装置によって読み取り可能な媒体。
入力ビデオ信号を受け取る手段と、
スケーラブルな出力ビデオストリームの複数のエンコード層を供給するための、それぞれの対が自己完結のエンコーダモジュールと該エンコーダモジュールとは明確に区別される自己完結のデコーダモジュールとを有する少なくとも一つのエンコーダ／デコーダ対、
とを含むいくつかの機能モジュールを実装するためのコードを具現している、少なくとも一つの処理装置によって読み取り可能な媒体。
少なくとも一つの処理装置によって読み取り可能な媒体であって
単一のビデオ入力ストリームを受け取る手段と、
前記ビデオ入力から少なくとも三つのエンコード層を供給するための、ピクセル領域において動作する少なくとも一つのエンコーダ、
とを含むいくつかの機能モジュールを実装するためのコードを具現しており、
基本層を生成するために、前記少なくとも一つのエンコーダが前記単一のビデオ入力ストリームのダウンスケーリングされたバージョンに対して作用し、
前記第一の層以外の各層の生成のために、前記少なくとも一つのエンコーダが、各差信号または前記各差信号から導かれる信号を受け取るよう結合されており、該各差信号が
前記単一のビデオ入力ストリームのダウンスケーリングされたバージョンか前記単一のビデオ入力信号そのものかのいずれかと、
ある以前のエンコード層のデコードされたバージョンか前記以前のエンコード層のデコードされたバージョンをアップスケーリングしたバージョンかのいずれか、
との間の差を表すことを特徴とする媒体。
単一のビデオ入力ストリームを受け取り、
前記ビデオ入力ストリームをダウンスケーリングしてダウンスケーリングされたストリームを生成し、
前記ダウンスケーリングされたストリームをエンコードして基本エンコード層を生成し、
複数の高機能エンコード層をエンコードし、このことは各高機能エンコード層についてそれぞれ差信号を生成することを含んでおり、該それぞれの差信号は：
前記ダウンスケーリングされたストリームか前記単一のビデオ入力ストリームかのいずれかと、
ある以前のエンコード層のデコードされたバージョンか前記以前のエンコード層のデコードされたバージョンをアップスケーリングしたバージョンかのいずれか、
との間の差を表していることを特徴とする、スケーラブルなビデオエンコード方法。
並行して配列された少なくとも第一、第二および第三の標準互換デコーダを有する機能モジュールを含むいくつかの機能モジュールを実装するためのコードを具現している、少なくとも一つの処理装置によって読み取り可能な媒体であって、前記第一のデコーダは基本層エンコード信号をデコードするため、およびそれからデコードされた画像の第一のスケールを提供するためであり、少なくとも前記第二および第三のデコーダが第一および第二の高機能層エンコード信号をデコードするためであることを特徴とする媒体。