JP2008104188A

JP2008104188A - 画像の系列をスケーラブル形式で符号化する装置および方法ならびに対応する復号装置および方法

Info

Publication number: JP2008104188A
Application number: JP2007271308A
Authority: JP
Inventors: Vincent Bottreau; ボトローヴァンサン; Dominique Thoreau; トロドミニク; Yannick Olivier; オリヴィエヤニック; Edouard Francois; フランソワエドワール; Jerome Vieron; ヴィロンジェローム; Christophe Chevance; シュヴァンスクリストフ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2006-10-19
Filing date: 2007-10-18
Publication date: 2008-05-01
Also published as: FR2907630A1; CN101184240A; US20080260043A1; EP1914996A2; KR20080035497A

Abstract

【課題】階層符号化における予測マクロブロックの生成方法を提供する。
【解決手段】画像データ・マクロブロック（MB_EL）は向上層に属しており、前記画像データ・マクロブロック（MB_EL）には基本層において画像データ・ブロック（B_BL）が対応している。前記画像データ・マクロブロック（MB_EL）について、以前に符号化され、再構成された前記基本層の画像データ・ブロックから画像データの予測マクロブロック（MB_pred）を生成するステップと、前記予測マクロブロック（MB_pred）および向上層の画像データ・マクロブロックMB_ELから残差のマクロブロック（MB_EL ^residues）を生成する。前記基本層の画像データ・ブロックは、対応するブロック（B_BL）とは別である。
【選択図】図３

Description

本発明は、画像の系列をスケーラブル形式で符号化する装置に関する。本発明はまた、画像の系列の再構成のためにスケーラブル・ビットストリームを復号する装置にも関する。本発明はまた、画像の系列をスケーラブル形式で符号化するための使用のために画像データ・マクロブロックを符号化する方法および画像の系列のマクロブロックの再構成のためにスケーラブル・ビットストリームの一部を復号する方法にも関する。

図１を参照すると、符号化装置ENC1は、基本層（BL: base layer）および少なくとも一つの向上層（EL: enhancement layer）の形で呈示される画像の系列がスケーラブル形式で符号化されることを可能にする。BL層の画像は一般にEL層の画像のサブサンプリングされたバージョンである。符号化装置ENC1は、BL層を符号化するための第一の符号化モジュールENC_BL1およびEL層を符号化するための第二の符号化モジュールENC_EL1を有する。一般に、符号化装置ENC1は、符号化モジュールENC_BL1およびENC_EL1によって生成されたビットストリームを多重化するために符号化モジュールENC_BL1およびENC_EL1に接続されたモジュールMUXをも有する。多重化モジュールMUXは符号化装置ENC1の外部であってもよい。

一般に、第一の符号化モジュールENC_BL1はBL層の画像データ・ブロックを、たとえばMPEG-2、MPEG-4 AVC、H.261、H.262、H.263といった、ビデオ符号化器の技術分野の当業者に知られたビデオ符号化規格に従って符号化する。

EL層の画像間の空間的な冗長性を減らすため、第二の符号化モジュールENC_EL1は、EL層の画像データ・マクロブロックを標準的な符号化様式に従って符号化するよう適応されている。標準的な符号化様式とはたとえば、前記画像データ・マクロブロックをEL層の他の画像データ・マクロブロックから時間的または空間的に予測することによるものである。図２を参照すると、第二の符号化モジュールENC_EL1は、MB_ELと記されるEL層のイントラ型の画像データ・マクロブロックを、前記マクロブロックMB_ELの空間的近隣ブロックでありかつ、それまでに符号化され、次いで再構成された画像データ・マクロブロック（たとえばＡ、Ｂ、Ｃ、Ｄ）から予測および符号化できる。たとえば、マクロブロックMB_ELは、MPEG-4 AVC規格によって定義されているような同じ型の標準的なイントラ・モードに従って予測および符号化される。MPEG-4 AVC規格は、“Information technology―Coding of audio-visual objects―Part10: Advanced Video Coding”と題する文書ISO/IEC14496-10にある。さらに、BL層の画像とEL層の画像との間の冗長性を減らすために、第二の符号化モジュールENC_EL1は、「層間（inter-layer）」として知られる符号化モードに従ってBL層の画像データからEL層の画像データ・マクロブロックを符号化するようにも適応される。第二の符号化モジュールENC_EL1はまた、以前に符号化され、再構成され、次いでマクロブロックMB_EL ^UPとしてアップサンプリングされた、対応する基本層の画像データ・ブロックB_BLから（すなわちイントラ_BLと書かれる層間イントラ・モードに従って）前記画像データ・マクロブロックMB_ELを予測および符号化することもできる。

再び図１を参照すると、第二の符号化モジュールENC_EL1は伝統的には、EL層の所与のマクロブロックについて、所定の選択基準に従って符号化モード（たとえばイントラ_BLモード）を選択するよう適応されている。この選択は、たとえばレート‐ひずみ型の基準を基礎として実行される。すなわち、選択されるモードは、ビットレートと画質の最良の妥協を提供するモードである。図１にはイントラ_BLモードでEL層の画像データ・マクロブロックを符号化するのに必要とされるENC_BL1およびENC_EL1モジュールしか示していない。この図に示されていない、ビデオ符号化器の当業者によく知られた他のモジュール（たとえば動き推定モジュール）によって、EL層のマクロブロックは、ISO/IEC14496-10文書で定義されるような標準的な諸モード（たとえばイントラ、インターなど）に従って符号化できるようになる。この目的のため、第二の符号化モジュールENC_EL1は、第一の符号化モジュールENC_BL1によって再構成された（reconstructed）画像データ・ブロックB_BL ^recを、たとえば双線形補間によって、アップサンプリングするためのモジュール２０を含む。これにより得られるのがアップサンプリングされた画像データ・マクロブロックMB_BL ^UPであり、これは予測マクロブロックとも呼ばれる。第二の符号化モジュールENC_EL1は、向上層MB_ELの画像データ・マクロブロックからピクセルごとに予測マクロブロックMB_EL ^UPを引き算するよう適応されているモジュール３０をも含む。よって、モジュール３０は、MB_EL ^residuesと記される残差のマクロブロックを生成し、この残差マクロブロックが次いでモジュール４０によって変換され、量子化され、符号化される。画像データは伝統的に各ピクセルに割り当てられた輝度または色度の値である。

一般に、符号化装置ENC1は、マクロブロックMB_ELがイントラ_BLモードで符号化されることを、BL層の対応するブロックB_BLがイントラ・モードで符号化されていない、すなわちインター・モードで符号化されている場合には、許容しない。そのような制限は、EL層の再構成前にBL層の全体的な再構成をしないようにすることを可能にし、符号化装置ENC1によって生成されるビットストリームを復号する復号装置の複雑さを軽減することを可能にもする。実際、符号化装置ENC1がマクロブロックMB_ELをイントラ_BLモードで符号化する一方、対応するブロックB_BLがインター・モードで符号化されるとすると、マクロブロックMB_ELを再構成するよう適応されている復号装置は、まずインター・モードで符号化されているブロックB_BLを再構成しなければならない。この符号化装置ENC1は、逆動き補償を動作させなければならないという欠点がある。だがこの逆動き補償の運用は複雑である。さらに、対応するブロックB_BLがインター・モードで符号化されているときにマクロブロックMB_ELがイントラ_BLモードで符号化されることを許容しない符号化装置ENC1は、EL層の画像データとBL層の画像データとの間の冗長性をEL層符号化のために十分に利用しないという欠点がある。
WO2006/080779A（Samsung Electronics Co. Ltd. [KR]; Cha Sang-chang [KR]; Han Woo-jin [KR]）2006年8月3日（段落００４３〜００７２、００９２〜０１０１、図５、６、１４） Joseph K et al.,"Design and performance evaluation of a variable bit-rate (VBR) video compression algorithm for ATM networks", Countdown to the New Millennium, Phoenix, Dec. 2-5, 1991, Proceedings of the Global Telecommunications Conference (GLOBECOM), New York, IEEE, US, vol. 3, 1991年12月2日 pp.9-15（頁1.2.2〜1.2.3、段落II）

本発明の目的は、従来技術の少なくとも一つの欠点を克服することである。

本発明は、基本層および少なくとも一つの向上層の形で呈示される画像の系列の画像データ・マクロブロックを符号化する方法に関する。前記画像データ・マクロブロックは前記向上層に属しており、前記画像データ・マクロブロックには基本層において画像データ・ブロックが対応しており、そのブロックは対応するブロックと呼ばれる。本方法は、次のステップを有する：
・前記画像データ・マクロブロックについて、以前に符号化され、再構成された基本層の画像データの一ブロックないし数ブロックから画像データの予測マクロブロックを生成するステップと、
・前記予測マクロブロックおよび向上層の画像データ・マクロブロックMB_ELから残差のマクロブロックを生成するステップと、
・前記残差のマクロブロックを符号化するステップとである。
好ましくは、前記予測マクロブロックは、対応するブロックとは異なる基本層の画像データのブロックからのみ生成される。

ある個別的な特徴によれば、前記予測マクロブロックを生成するために使われる基本層の画像データ・ブロックは、対応するブロックに隣接するものである。

別の個別的な特徴によれば、前記予測マクロブロックを生成するために使われる基本層の画像データ・ブロックは、対応するブロックの非因果的な近隣領域に位置するものである。

別の個別的な特徴によれば、前記予測マクロブロックは、
・対応するブロック（B_BL）の左下にあるブロック；
・対応するブロック（B_BL）の右下にあるブロック；
・対応するブロック（B_BL）のすぐ右にあるブロック；および
・対応するブロック（B_BL）のすぐ下にあるブロック、
からなる集合に属する基本層の画像データの一ブロックないし数ブロックから生成される。

本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列を符号化する装置に関する。向上層は少なくとも一つの画像データ・マクロブロックを含んでおり、前記画像データ・マクロブロックには基本層においてブロックが対応しており、そのブロックは対応するブロックと呼ばれる。本装置は、基本層の画像データ・ブロックを符号化するための第一の符号化モジュールと、向上層の画像データ・マクロブロックを符号化するための第二の符号化モジュールとを有する。第二の符号化モジュールは：
・向上層の前記画像データ・マクロブロックについて、第一の符号化モジュールによって以前に符号化され、再構成された基本層の画像データの一ブロックないし数ブロックから予測マクロブロックを生成する第一の手段と、
・前記予測マクロブロックおよび向上層の画像データ・マクロブロックから残差のマクロブロックを生成する第二の手段と、
・前記残差のマクロブロックを符号化する第三の手段とを有する。
有利には、前記第一の手段は、前記予測マクロブロックを、対応するブロックとは異なる基本層の画像データのブロックからのみ生成するよう適応される。

本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームの一部を、向上層の画像データ・マクロブロックの再構成のために復号するための方法にも関する。前記画像データ・マクロブロックには基本層において画像データ・ブロックが対応しており、そのブロックは対応するブロックと呼ばれる。本方法は、次のステップを有する：
・前記画像データ・マクロブロックについて、前記画像データ・ブロックを表すビットストリームの第一の部分から以前に再構成された基本層の画像データの一ブロックないし数ブロックから予測マクロブロックを生成するステップと、
・残差のマクロブロックを表す前記ビットストリームの第二の部分から残差のマクロブロックを再構成するステップと、
・前記予測マクロブロックおよび前記再構成された残差のマクロブロックから向上層のマクロブロックを再構成するステップとである。
好ましくは、前記予測マクロブロックは、対応するブロックとは異なる基本層の画像データのブロックからのみ生成される。

本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームを復号する装置にも関する。本装置は、基本層の画像データ・ブロックを再構成するよう適応された第一の復号モジュールと、向上層の画像データ・マクロブロックを再構成するよう適応された第二の復号モジュールとを有する。第二の復号モジュールは：
・対応するブロックと呼ばれる基本層の画像データ・ブロックが対応する向上層のある画像データ・マクロブロックについて、前記画像データ・ブロックを表すビットストリームの第一の部分から第一の復号モジュールによって以前に再構成された基本層の画像データの一ブロックないし数ブロックから予測マクロブロックを生成する第一の手段と、
・残差のマクロブロックを表す前記ビットストリームの第二の部分から残差のマクロブロックを再構成する第二の手段と、
・前記予測マクロブロックおよび前記再構成された残差のマクロブロックから画像データ・マクロブロックを再構成する第三の手段とを有する。
有利には、前記第一の手段は、前記予測マクロブロックを、対応するブロックとは異なる基本層の画像データのブロックからのみ生成するよう適応される。

本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列を表す符号化されたデータ・ストリームに関する。該符号化されたデータ・ストリームは、向上層のある画像データ・マクロブロックに関連するバイナリー・データを含む。該画像データ・マクロブロックには基本層の画像データ・ブロックが対応する。ある個別的な特徴によれば、バイナリー・データは、前記マクロブロックが、対応するブロックとは異なる基本層の画像データのブロックからのみ符号化されていることを示す。

符号化されたデータ・ストリームはたとえばMPEG型のシンタックスに従っている。

本発明は、付録として添付された図面を参照しつつ、決して限定的なものではない有利な実施形態および実装によってよりよく理解され、解説される。

本記載において、使用される用語は次の規格において定義されているものに対応する：MPEG-4 AVC（ISO/IEC14496-10）およびSVC（ISO/IEC MPEG&ITU-T VCEG JVT-R202で、“Draft of the Joint Draft 7”と題する）。同様に、使用される数学的演算子はISO/IEC14496-10で定義されているものである。演算子>>は右へのシフトを示す。図３および図６ないし図１０で、示されているモジュールは機能的なユニットであり、物理的に区別可能なユニットに対応していても、いなくてもよい。たとえば、これらのモジュールあるいはその一部は単一のコンポーネントにまとめられることができ、あるいは同一のソフトウェアの機能をなすこともできる。逆に、一部のモジュールは別個の物理的実体からなっていてもよい。これらの図面は本発明の本質的な構成要素のみを示す。

図３を参照するに、本発明は、基本層および少なくとも一つの向上層の形で呈示される画像の系列を符号化する方法による使用を視野に、画像データ・マクロブロックMB_ELを符号化する方法に関する。画像データ・マクロブロックMB_ELはEL層のマクロブロックである。本発明に基づく符号化方法は、MPEG4 AVC符号化規格で定義されているような標準的な符号化モードに従ってマクロブロックMB_ELを符号化するよう適応されている。本方法はまた、ブロックB_BLがイントラ・モードで符号化されている場合、BL層の対応するブロックB_BLから層間モードにおいて（すなわちイントラ_BLモードで）マクロブロックMB_ELを符号化するようにも適応されている；イントラ_BLモードは、対応するブロックB_BLがインター・モードで符号化されている場合には許容されない。本発明によれば、図４を参照するに、本方法はまた、マクロブロックMB_ELを、BL層のブロックB_BLに近隣の、すなわち対応するブロックB_BLとは異なる画像データ・ブロック（たとえばｅ、ｆ、ｇ、ｈ）から層間モードで符号化するようにも適応される。図４では、ブロックｅ、ｆ、ｇ、ｈはブロックB_BLに隣接しており、ブロックB_BLの非因果的な近隣領域に位置している、すなわちブロックB_BLのほうがブロックｈ、ｇ、ｆ、ｅが符号化されるより前に符号化される。一方、ブロックB_BLに隣接するブロックａ、ｂ、ｃ、ｄはブロックB_BLの因果的な近隣領域に位置している、すなわち、ブロックB_BLが符号化されるより前に符号化される。「隣接（adjacent）」の語は、その近隣の（neighbouring）ブロックがブロックB_BLと辺または角を共有することを含意する。

第一の実施形態によれば、次の４つのモードが定義される：イントラBL_DC、イントラBL_Vert、イントラBL_Hor、イントラBL_Planeである。これら新しい層間イントラ・モードは、マクロブロックMB_ELが、以前にステップＥ７０で符号化され、ステップＥ７１で再構成され、次いでステップＥ７２でアップサンプリングされた基本層の画像データ・ブロックｅ、ｆおよび／またはｇから符号化されることを可能にする。前記ブロックがアップサンプリングされたものはそれぞれe^UP、f^UPおよびg^UPと記される。これら４つのモードは輝度画像データについて定義されるが、色度ブロックの場合にもただちに拡張されうる。マクロブロックMB_ELを予測するために使われる予測（prediction）マクロブロックをMB_predと記し、マクロブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xがマクロブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、MB_pred[x,y]と記す。同様に、マクロブロックe^UP中の座標(x,y)のピクセルに関連付けられた輝度値をe^UP[x,y]、マクロブロックg^UP中の座標(x,y)のピクセルに関連付けられた輝度値をg^UP[x,y]およびマクロブロックf^UP中の座標(x,y)のピクセルに関連付けられた輝度値をf^UP[x,y]と記す。ピクセル・ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルはブロックのサイズをNとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはブロックの列x、行yに位置する。たとえばレート‐ひずみ型の所定の基準に基づいて以前に定義された符号化モードをcod_modeで示す。マクロブロックMB_ELは、選択された符号化モードcod_modeに従ってマクロブロックe^UP、f^UPおよび／またはg^UPからステップＥ７３において構築される予測マクロブロックMB_predを使って予測される。ステップＥ７４の間に、予測マクロブロックMB_predが向上層の画像データ・マクロブロックMB_ELからピクセルごとに引き算される。このステップＥ７４は、MB_EL ^residuesと記される残差のマクロブロックを生成する。この残差のマクロブロックは次いでステップＥ７５の間に変換され、量子化され、符号化される。ステップＥ７５はビットストリーム、すなわち一連のビットを生成する。

本発明によれば、マクロブロックMB_ELがイントラBL_DCモードで符号化される場合、すなわちcod_mode＝イントラBL_DCの場合、マクロブロックMB_predは次のように構築される：
・MB_predを構築するために使われるブロックe^UPおよびg^UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でない場合には：

・上記の場合以外で、MB_predを構築するために使われるブロックg^UPのピクセルが利用可能でない場合には：

・上記の場合以外で、MB_predを構築するために使われるブロックe^UPのピクセルが利用可能でない場合には：

・上記の場合以外には：
MB_pred[x,y]＝128, ここでx,y＝0..15である。

マクロブロックMB_ELがイントラBL_Vertモードで符号化される場合、すなわちcod_mode＝イントラBL_Vertの場合、マクロブロックMB_predは次のように構築される：
・MB_predを構築するために使われるブロックg^UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でない場合には：
MB_pred[x,y]＝g^UP[x,0], ここでx,y＝0..15
・上記以外の場合にはこのモードは許容されない。

マクロブロックMB_ELがイントラBL_Horモードで符号化される場合、すなわちcod_mode＝イントラBL_Horの場合、マクロブロックMB_predは次のように構築される：
・MB_predを構築するために使われるブロックe^UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でない場合には：
MB_pred[x,y]＝e^UP[0,y], ここでx,y＝0..15
・上記以外の場合にはこのモードは許容されない。

マクロブロックMB_ELがイントラBL_Planeモードで符号化される場合、すなわちcod_mode＝イントラBL_Planeの場合、マクロブロックMB_predは次のように構築される：
・MB_predを構築するために使われるブロックe^UP、f^UPおよびg^UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でない場合には、g^UP[16,0]＝f^UP[0,0]およびe^UP[0,16]＝f^UP[0,0]と置き、次のようにする：
MB_pred[x,y]＝(a＋b*(x−7)＋c*(y−7)), ここでx,y＝0..15
ここで、・a＝16*(e^UP[0,0]＋g^UP[0,0])、b＝(5*H＋32)/64、c＝(5*V＋32)/64

・上記以外の場合にはこのモードは許容されない。

第二の実施形態によれば、前記４つのモード、イントラBL_DC、イントラBL_Vert、イントラBL_Hor、イントラBL_Planeの定義は、EL層の画像を再構成するために必ずしもBL層の画像を完全に再構成しなくてもよいように行われる。この層間イントラ・モードはマクロブロックMB_ELを、以前にステップＥ７０で符号化され、ステップＥ７１で再構成され、次いでステップＥ７２でアップサンプリングされた基本層の画像データ・ブロックe、fおよび／またはgから符号化することを可能にする。アップサンプリングされたブロックはそれぞれe^UP、f^UPおよびg^UPと記されている。これら４つのモードは輝度画像データについて定義されるが、色度ブロックの場合にもただちに拡張されうる。マクロブロックMB_ELを予測するために使われる予測（prediction）マクロブロックをMB_predと記し、マクロブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xがマクロブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、MB_pred[x,y]と記す。同様に、マクロブロックe^UP中の座標(x,y)のピクセルに関連付けられた輝度値をe^UP[x,y]、マクロブロックg^UP中の座標(x,y)のピクセルに関連付けられた輝度値をg^UP[x,y]およびマクロブロックf^UP中の座標(x,y)のピクセルに関連付けられた輝度値をf^UP[x,y]と記す。ピクセル・ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルはブロックのサイズをNとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはブロックの列x、行yに位置する。たとえばレート‐ひずみ型の所定の基準に基づいて以前に定義された符号化モードをcod_modeで示す。マクロブロックMB_ELは、選択された符号化モードcod_modeに従ってマクロブロックe^UP、f^UPおよび／またはg^UPからステップＥ７３において構築される予測マクロブロックMB_predを使って予測される。ステップＥ７４の間に、予測マクロブロックMB_predが向上層の画像データ・マクロブロックMB_ELからピクセルごとに引き算される。このステップＥ７４は、MB_EL ^residuesと記される残差のマクロブロックを生成する。この残差のマクロブロックは次いでステップＥ７５の間に変換され、量子化され、符号化される。ステップＥ７５はビットストリーム、すなわち一連のビットを生成する。この実施形態によれば、マクロブロックMB_predはステップＥ７３の間に、イントラ・モードで符号化されているBL層のブロックe、fおよび／またはgから一意的に構築される。

マクロブロックMB_ELがイントラBL_DCモードで符号化される場合、すなわちcod_mode＝イントラBL_DCの場合、マクロブロックMB_predは次のように構築される：
・MB_predを構築するために使われるブロックe^UPおよびg^UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でなく、かつブロックeおよびgがイントラ・モードで符号化されている場合には：

マクロブロックMB_ELがイントラBL_Vertモードで符号化される場合、すなわちcod_mode＝イントラBL_Vertの場合、マクロブロックMB_predは次のように構築される：
・MB_predを構築するために使われるブロックg^UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でなく、かつブロックgがイントラ・モードで符号化されている場合には：
MB_pred[x,y]＝g^UP[x,0], ここでx,y＝0..15
・上記以外の場合にはこのモードは許容されない。

マクロブロックMB_ELがイントラBL_Horモードで符号化される場合、すなわちcod_mode＝イントラBL_Horの場合、マクロブロックMB_predは次のように構築される：
・MB_predを構築するために使われるブロックe^UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でなく、かつブロックeがイントラ・モードで符号化されている場合には：
MB_pred[x,y]＝e^UP[0,y], ここでx,y＝0..15
・上記以外の場合にはこのモードは許容されない。

・上記以外の場合にはこのモードは許容されない。

これら二つの実施形態は、有利なことに、BL層の対応するブロックB_BLを符号化するモードに関わりなく、すなわちブロックB_BLがイントラ・モードで符号化されているかインター・モードで符号化されているかに関わりなく、EL層のマクロブロックMB_ELの画像データを層間イントラ・モードに従って符号化することを可能にする。実際、前記二つの実施形態では、前記新たに定義された諸モードによれば、対応するブロックB_BLは予測マクロブロックMB_predの構築に使われない。より精密には、予測マクロブロックMB_predは、対応するブロックB_BLとは異なる基本層の画像データ・ブロックからのみ生成される。よって、本発明に基づく符号化方法は、BL層の画像データとEL層の画像データとの間の空間的冗長性を利用する度合いがより大きくなり、それによりEL層をより効率的に、すなわちより少数のビットで符号化する。さらに、前記二つの実施形態によれば、対応するブロックB_BLの非因果的な近隣領域に位置するブロックe、f、gのみが予測マクロブロックMB_predを構築するために使われる。これは、追加されるモードの数を制限することによって、符号化方法の複雑さを制限する。ブロックe、f、gはブロックB_BLの非因果的な近隣領域にあるので、マクロブロックMB_ELをEL層のマクロブロックＥ、Ｆ、ＧおよびＨ（図２参照）から空間的に予測することは、マクロブロックＥ、Ｆ、ＧおよびＨが非因果的な近隣領域に位置しているために、できない、という事実を克服するために使われる。さらに、図５に示されるように、マクロブロックＡ、Ｂ、Ｃ、ＤとマクロブロックMB_ELとの間に遷移（すなわち、基本層の輪郭Ｃ２が対応する輪郭Ｃ１）が存在する場合、それらはマクロブロックMB_ELをより精密に予測するために使うことができる。実際、MB_ELに近隣のマクロブロックＡ、Ｂ、Ｃ、Ｄから構築された予測マクロブロックMB_predはマクロブロックMB_ELを十分な精度で予測しない。この場合、マクロブロックMB_ELは符号化するのにビット数の面で非常にコスト高である。他方、ブロックｅ、ｆ、ｇおよびｈから構築される予測マクロブロックMB_predはマクロブロックMB_ELをより高い精度で予測する。この場合、マクロブロックMB_ELは符号化するのにビット数の面で以前の場合ほどコスト高ではない。色度値が関連付けられているピクセル・ブロックを予測し、符号化するためにも、類推によって同じ諸モード、イントラBL_DC、イントラBL_Vert、イントラBL_Hor、イントラBL_Planeが定義できる。

図６に示される第三の実施形態は、ISO/IEC MPEG&ITU-T VCEGの、J. Reichel, H. Schwarz, M. Wienによる“Draft of the Joint Draft 7”と題するJVT-T005文書で定義されているSVC符号化規格の一部として提供される。図６に示される符号化方法のステップで図３に示される符号化方法と同一のものは、図６において同じ参照符号を使って指定されており、さらなる説明はしない。SVCによれば、マクロブロックMB_ELは、スケーラビリティに関するMPEG-4 AVC規格の拡張によって定義されるモード、イントラ16×16、イントラ4×4またはイントラ8×8に従って符号化されうる。この実施形態によれば、イントラ4×4_BL、イントラ8×8_BLおよびイントラ16×16_BLと記される新しい符号化モードが定義され、マクロブロックMB_ELを符号化するために選択されることができる。マクロブロックMB_ELの新しいブロック予測モードも定義される。新しい層間イントラ・モード、イントラ4×4_BL、イントラ8×8_BLおよびイントラ16×16_BLによりマクロブロックMB_ELが、以前にステップＥ７０で符号化され、ステップＥ７１で再構成され、次いでステップＥ７２でアップサンプリングされた基本層の画像データ・ブロックｅ、ｆ、ｇおよび／またはｈから符号化されることを可能にする。前記ブロックがアップサンプリングされたものはそれぞれe^UP、f^UP、ｇ^UPおよびh^UPと記される。これらのモードは輝度画像データについて定義されるが、色度ブロックについてもただちに拡張されうる。マクロブロックMB_ELは、選択された符号化モードcod_modeおよび可能性としては前記マクロブロックMB_ELを形成するブロックのそれぞれの予測モードblc_mode(s)に従ってステップＥ７３′の間に構築される予測マクロブロックMB_predを使って予測される。ステップＥ７４の間に、予測マクロブロックMB_predが向上層の画像データ・マクロブロックMB_ELからピクセルごとに引き算される。このステップＥ７４は、MB_EL ^residuesと記される残差のマクロブロックを生成する。この残差のマクロブロックは次いでステップＥ７５の間に変換され、量子化され、符号化される。ステップＥ７５はビットストリーム、すなわち一連のビットを生成する。

マクロブロックMB_ELがイントラ4×4_BLモードで符号化される場合、4×4ブロックと記される4かける4のブロック16個のそれぞれは次のモードの一つに従って予測される：
Hier_Intra_4×4_Vertical_Up、Hier_Intra_4×4_Horizontal_Left、Hier_Intra_4×4_DC_Down_Right、Hier_Intra_4×4_Diagonal_Top_Right、Hier_Intra_4×4_Diagonal_Top_Left、Hier_Intra_4×4_Vertical_Up_Left、Hier_Intra_4×4_Horizontal_Top、Hier_Intra_4×4_Vertical_Up_RightおよびHier_Intra_4×4_Horizontal_Down_Left。

4×4ブロックのblc_modeとして記される予測モードの選択は、レート‐ひずみ型の基準に従ってなされうる。この選択は、マクロブロックの符号化cod_modeの選択と同時になされうる。マクロブロックMB_ELのうち、B_ELと記され、図１２に灰色で示される4×4ブロックを予測するために使われる予測ブロックをpred4×4_Lと記し、予測ブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xがブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、pred4×4_L[x,y]と記す。予測ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルはブロックのサイズをNとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはブロックの列x、行yに位置する。図１２を参照するに、第一の軸(X,Y)はブロックの左上のピクセルを原点とするブロックB_ELに関し、第二の軸(X′,Y′)はブロックB_ELの右下のピクセルを原点とするブロックB_ELに関する。x′＝3−x、y′＝3−yおよびp′[x′,y′]＝p[3−x′,3−y′]＝p[x,y]とおく。p[x,y]は第一の軸における座標(x,y)のピクセルに関する輝度値であり、p′[x′,y′]は第二の軸における座標(x′,y′)のピクセルに関する輝度値である。

マクロブロックMB_ELの各4×4ブロックに関連付けられた予測ブロックpred4×4_Lは、予測マクロブロックMB_predを形成する。

マクロブロックMB_ELがイントラ4×4_BLモードで符号化され、ブロックB_ELがモードHier_Intra_4×4_Vertical_Upに従って予測する場合、ブロックpred4×4_Lは次のように構築される：
pred4×4_L[x,y]＝p′[x′,−1] ここで、x＝0..3およびy＝0..3
予測モードHier_Intra_4×4_Vertical_Upが許されるのは、ピクセルp′[x′,−1]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロック（すなわちｅ、ｆ、ｇ、ｈ）から生成されたものである場合のみである。

マクロブロックMB_ELがイントラ4×4_BLモードで符号化され、ブロックB_ELがモードHier_Intra_4×4_Horizontal_Leftに従って予測される場合、ブロックpred4×4_Lは次のように構築される：
pred4×4_L[x,y]＝p′[−1,y′] ここで、x＝0..3およびy＝0..3
予測モードHier_Intra_4×4_Horizontal_Leftが許されるのは、ピクセルp′[−1,y′]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックから生成されたものである場合のみである。

マクロブロックMB_ELがイントラ4×4_BLモードで符号化され、ブロックB_ELがモードHier_Intra_4×4_DC_Down_Rightに従って予測される場合、ブロックpred4×4_Lは次のように構築される：
・x＝0..3、y＝0..3としてピクセルp′[x′,−1]およびピクセルp′[−1,y′]が利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックから生成されたものである場合、x＝0..3、y＝0..3として、値pred4×4_L[x,y]は次のように決定される：
pred4×4_L[x,y]＝(p′[0,−1]＋p′[1,−1]＋p′[2,−1]＋p′[3,−1]＋p′[−1,0]＋p′[−1,1]＋p′[−1,2]＋p′[−1,3]＋4)>>3
・上記以外の場合であって、x＝0..3としてピクセルp′[x′,−1]の一つが利用可能でなく、かつy＝0..3としてピクセルp′[−1,y′]はすべて利用可能である場合、x＝0..3、y＝0..3として値pred4×4_L[x,y]は次のように決定される：
pred4×4_L[x,y]＝(p′[−1,0]＋p′[−1,1]＋p′[−1,2]＋p′[−1,3]＋2)>>2
・上記以外の場合であって、y＝0..3としてピクセルp′[−1,y′]の一つが利用可能でなく、
かつx＝0..3としてピクセルp′[x′,−1]はすべて利用可能である場合、x＝0..3、y＝0..3として値pred4×4_L[x,y]は次のように決定される：
pred4×4_L[x,y]＝(p′[0,−1]＋p′[1,−1]＋p′[2,−1]＋p′[3,−1]＋2)>>
・上記以外の場合（x＝0..3としてピクセルp′[x′,−1]の一部およびy＝0..3としてピクセルp′[−1,y′]の一部が利用可能である場合）、x＝0..3、y＝0..3として値pred4×4_L[x,y]は次のように決定される：
pred4×4_L[x,y]＝(1<<(BitDepth_Y−1))
予測モードHier_Intra_4×4_DC_Down_Rightは常に使用できる。

マクロブロックMB_ELがイントラ4×4_BLモードで符号化され、ブロックB_ELがモードHier_Intra_4×4_Diagonal_Top_Rightに従って予測される場合、ブロックpred4×4_Lは次のように構築される：
・x′＝3かつy′＝3の場合、
pred4×4_L[x,y]＝(p′[6,−1]＋3*p′[7,−1]＋2)>>2
・その他の場合（すなわち、x′が3に等しくない、またはy′が3に等しくない場合）、
pred4×4_L[x,y]＝(p′[x′＋y′,−1]＋2*p′[x′＋y′＋1,−1]＋p′[x′＋y′＋2,−1]＋2)>>2
予測モードHier_Intra_4×4_Diagonal_Top_Rightが許されるのは、x＝0..7としてピクセルp′[x′,−1]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ4×4_BLモードで符号化され、ブロックB_ELがモードHier_Intra_4×4_Diagonal_Top_Leftに従って予測される場合、ブロックpred4×4_Lは次のように構築される：
・x′＞y′の場合、
pred4×4_L[x,y]＝(p′[x′−y′−2,−1]＋2*p′[x′−y′−1,−1]＋p′[x′−y′,−1]＋2)>>2
・それ以外で、x′＜y′の場合、
pred4×4_L[x,y]＝(p′[−1,y′−x′−2]＋2*p′[−1,y′−x′−1]＋p′[−1,y′−x′]＋2)>>2
・それ以外の場合（すなわち、x′がy′に等しい場合）、
pred4×4_L[x,y]＝(p′[0,−1]＋2*p′[−1,−1]＋p′[−1,0]＋2)>>2
予測モードHier_Intra_4×4_Diagonal_Top_Leftが許されるのは、x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ4×4_BLモードで符号化され、ブロックB_ELがモードHier_Intra_4×4_Vertical_Up_Leftに従って予測される場合、変数zVR′を2*x′−y′に等しいとして、ブロックpred4×4_Lは次のように構築される、すなわちx＝0..3、y＝0..3として：
・zVR′が0,2,4または6に等しい場合、
pred4×4_L[x,y]＝(p′[x′−(y′>>1)−1,−1]＋p′[x′−(y′>>1),−1]＋1)>>1
・それ以外の場合で、zVR′が1,3または5に等しい場合、
pred4×4_L[x,y]＝(p′[x′−(y′>>1)−2,−1]＋2*p′[x′−(y′>>1)−1,−1]＋p′[x′−(y′>>1),−1]＋2)>>2
・それ以外の場合で、zVR′が−1に等しい場合、
pred4×4_L[x,y]＝(p′[−1,0]＋2*p′[−1,−1]＋p′[0,−1]＋2)>>2
・それ以外の場合（すなわちzVR′が−2または−3に等しい場合）、
pred4×4_L[x,y]＝(p′[−1,y′−1]＋2*p′[−1,y′−2]＋p′[−1,y′−3]＋2)>>2
予測モードHier_Intra_4×4_Vertical_Up_Leftが許されるのは、x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ4×4_BLモードで符号化され、ブロックB_ELがモードHier_Intra_4×4_Horizontal_Topに従って予測される場合、変数zHD′を2*y′−x′に等しいとして、ブロックpred4×4_Lは次のように構築される、すなわちx＝0..3、y＝0..3として：
・zHD′が0,2,4または6に等しい場合、
pred4×4_L[x,y]＝(p′[−1,y′−(x′>>1)−1]＋p′[−1,y′−(x′>>1)]＋1)>>1
・それ以外の場合で、zHD′が1,3または5に等しい場合、
pred4×4_L[x,y]＝(p′[−1,y′−(x′>>1)−2]＋2*p′[−1,y′−(x′>>1)−1]＋p′[−1,y′−(x′>>1)]＋2)>>2
・それ以外の場合で、zHD′が−1に等しい場合、
pred4×4_L[x,y]＝(p′[−1,0]＋2*p′[−1,−1]＋p′[0,−1]＋2)>>2
・それ以外の場合（すなわちzHD′が−2または−3に等しい場合）、
pred4×4_L[x,y]＝(p′[x′−1,−1]＋2*p′[x′−2,−1]＋p′[x′−3,−1]＋2)>>2
予測モードHier_Intra_4×4_Horizontal_Topが許されるのは、x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ4×4_BLモードで符号化され、ブロックB_ELがモードHier_Intra_4×4_Vertical_Up_Rightに従って予測される場合、ブロックpred4×4_Lは次のように構築される、すなわちx＝0..3、y＝0..3として：
・y′＝0または2に等しい場合、
pred4×4_L[x,y]＝(p′[x′＋(y′>>1),−1]＋p′[x′＋(y′>>1)＋1,−1]＋1)>>1
・そうでない場合（y′は1または3に等しい）、
pred4×4_L[x,y]＝(p′[x′＋(y′>>1),−1]＋2*p′[x′＋(y′>>1)＋1,−1]＋p′[x′＋(y′>>1)＋2,−1]＋2)>>2
マクロブロックMB_ELがイントラ4×4_BLモードで符号化され、ブロックB_ELがモードHier_Intra_4×4_Horizontal_Down_Leftに従って予測される場合、変数zHU′をx′＋2*y′に等しいとして、ブロックpred4×4_Lは次のように構築される、すなわちx＝0..3、y＝0..3として：
・zHU′が0,2または4に等しい場合、
pred4×4_L[x,y]＝(p′[−1,y′＋(x′>>1)]＋p′[−1,y′＋(x′>>1)＋1]＋1)>>1
・それ以外の場合で、zHU′が1または3に等しい場合、
pred4×4_L[x,y]＝(p′[−1,y′＋(x′>>1)]＋2*p′[−1,y′＋(x′>>1)＋1]＋p′[−1,y′＋(x′>>1)＋2]＋2)>>2
・それ以外の場合で、zHU′が5に等しい場合、
pred4×4_L[x,y]＝(p′[−1,2]＋3*p′[−1,3]＋2)>>2
・それ以外の場合（すなわちzHU′＞5の場合）、
pred4×4_L[x,y]＝p′[−1,3]。

マクロブロックMB_ELがイントラ8×8_BLモードで符号化される場合、8×8ブロックと記される8かける8のブロック4個のそれぞれは次のモードの一つに従って予測される：
Hier_Intra_8×8_Vertical、Hier_Intra_8×8_Horizontal、Hier_Intra_8×8_DC、Hier_Intra_8×8_Diagonal_Up_Right、Hier_Intra_8×8_Diagonal_Up_Left、Hier_Intra_8×8_Vertical_Left、Hier_Intra_8×8_Horizontal_Up、Hier_Intra_8×8_Vertical_RightおよびHier_Intra_8×8_Horizontal_Down。

8×8ブロックの予測モードの選択は、レート‐ひずみ型の基準に従ってなされうる。

マクロブロックMB_ELのうち、B_ELと記され、図１２に灰色で示される8×8ブロックを予測するために使われる予測ブロックをpred8×8_Lと記し、該ブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xが8×8ブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、pred8×8_L[x,y]と記す。ピクセル・ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルは8×8ブロックのサイズをNとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはブロックの列x、行yに位置する。

図１２を参照するに、第一の軸(X,Y)はブロックの左上のピクセルを原点とするブロックB_ELに関し、第二の軸(X′,Y′)はブロックB_ELの右下のピクセルを原点とするブロックB_ELに関する。x′＝7−x、y′＝7−yおよびp′[x′,y′]＝p[7−x′,7−y′]＝p[x,y]とする。ここで、p[x,y]は第一の軸における座標(x,y)のピクセルに関する輝度値であり、p′[x′,y′]は第二の軸における座標(x′,y′)のピクセルに関する輝度値である。

x′＝−1、y′＝−1..7およびx′＝0..15、y′＝−1について、フィルタされ、p″[x′,y′]と記される前記の基準ピクセルは次のように構築される：
●x′＝0..7としてすべてのピクセルp′[x′,−1]が利用可能であれば：
○p″[0,−1]の値は次のように得られる：
・p′[−1,−1]が利用可能である場合、
p″[0,−1]＝(p′[−1,−1]＋2*p′[0,−1]＋p′[1,−1]＋2)>>2
・そうでない場合、
p″[0,−1]＝(3* p′[0,−1]＋p′[1,−1]＋2)>>2
○p″[x′,−1]の値は、x′＝1..7として次のように得られる：
p″[x′,−1]＝(p′[x′−1,−1]＋2*p′[x′,−1]＋p′[x′＋1,−1]＋2)>>2
●x′＝7..15としてすべてのピクセルp′[x′,−1]が利用可能であれば：
○p″[x′,−1]の値は、x′＝8..14として、次のように得られる：
p″[x′,−1]＝(p′[x′−1,−1]＋2*p′[x′,−1]＋p′[x′＋1,−1]＋2)>>2
○p″[15,−1]の値は次のように得られる：
p″[15,−1]＝(p′[14,−1]＋3*p′[15,−1]＋2)>>2
●ピクセルp′[−1,−1]が利用可能であれば、p″[−1,−1]の値は次のように得られる：
○ピクセルp′[0,−1]が利用可能である、あるいはピクセルp′[−1,0]が利用可能でない場合、
・ピクセルp′[0,−1]が利用可能である場合、
p″[−1,−1]＝(3*p′[−1,−1]＋p′[0,−1]＋2)>>2
・そうでない場合（ピクセルp′[0,−1]が利用可能でなく、かつピクセルp′[−1,0]が利用可能）、
p″[−1,−1]＝(3* p′[−1,−1]＋p′[−1,0]＋2)>>2
○そうでない場合（ピクセルp′[0,−1]が利用可能であり、かつピクセルp′[−1,0]が利用可能である場合）、
p″[−1,−1]＝(p′[0,−1],2* p′[−1,−1]＋p′[−1,0]＋2)>>2
●y′＝0..7としてすべてのピクセルp′[−1,y′]が利用可能であれば：
○p″[−1,0]の値は次のように得られる：
・p′[−1,−1]が利用可能である場合、
p″[−1,0]＝(p′[−1,−1]＋2*p′[−1,0]＋p′[−1,1]＋2)>>2
・そうでない場合（p′[−1,−1]が利用可能でない場合）、
p″[−1,0]＝(3* p′[−1,0]＋p′[−1,1]＋2)>>2
○p″[−1,y′]の値は、y′＝1..6として次のように得られる：
p″[−1,y′]＝(p′[−1,y′−1]＋2*p′[−1,y′]＋p′[−1,y′＋1]＋2)>>2
●p″[−1,7]の値は次のように得られる：
p″[−1,7]＝(p′[−1,6]＋3*p′[−1,7]＋2)>>2
マクロブロックMB_ELがイントラ8×8_BLモードで符号化され、ブロックB_ELがモードHier_Intra_8×8_Verticalに従って予測する場合、ブロックpred8×8_Lは次のように構築される：
pred8×8_L[x,y]＝p″[x′,−1] ここで、x′＝0..7およびy′＝0..7
予測モードHier_Intra_8×8_Verticalが許されるのは、ピクセルp″[x′,−1]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇから生成されたものである場合のみである。

マクロブロックMB_ELがイントラ8×8_BLモードで符号化され、ブロックB_ELがモードHier_Intra_8×8_Horizontalに従って予測される場合、ブロックpred8×8_Lは次のように構築される：
pred8×8_L[x,y]＝p″[−1,y′] ここで、x′＝0..7およびy′＝0..7
予測モードHier_Intra_8×8_Horizontalが許されるのは、ピクセルp′[−1,y′]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｅから生成されたものである場合のみである。

マクロブロックMB_ELがイントラ8×8_BLモードで符号化され、ブロックB_ELがモードHier_Intra_8×8_DCに従って予測される場合、ブロックpred8×8_Lは次のように構築される：
・x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびピクセルp′[−1,y′]が利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックから生成されたものである場合、x＝0..7、y＝0..7として、値pred8×8_L[x,y]は次のように決定される：

・上記以外の場合であって、x＝0..3としてピクセルp′[x′,−1]の一つが利用可能でなく、かつy＝0..3としてピクセルp′[−1,y′]はすべて利用可能である場合、x＝0..3、y＝0..3として値pred4×4_L[x,y]は次のように決定される：
pred4×4_L[x,y]＝(p′[−1,0]＋p′[−1,1]＋p′[−1,2]＋p′[−1,3]＋2)>>2
・上記以外の場合であって、x＝0..7としてピクセルp′[x′,−1]の一つが利用可能でなく、かつy＝0..7としてピクセルp′[−1,y′]がすべて利用可能である場合、x＝0..7、y＝0..7として値pred8×8_L[x,y]は次のように決定される：

・上記以外の場合であって、y′＝0..7としてピクセルp′[−1,y′]のいくつかおよびx′＝0..7としてピクセルp′[x′,−1]のすべてが利用可能である場合、x＝0..7、y＝0..7として値pred8×8_L[x,y]は次のように決定される：

・上記以外の場合（x＝0..7としていくつかのピクセルp′[x′,−1]およびy＝0..7としていくつかのピクセルp′[−1,y′]が利用可能でない場合）、x＝0..7、y＝0..7として値pred8×8_L[x,y]は次のように決定される：
pred8×8_L[x,y]＝(1<<(BitDepth_Y−1))
予測モードHier_Intra_4×4_DCは常に使用できる。

マクロブロックMB_ELがイントラ8×8_BLモードで符号化され、ブロックB_ELがモードHier_Intra_8×8_Diagonal_Up_Rightに従って予測される場合、ブロックpred8×8_Lは次のように構築される：
・x′＝7かつy′＝7の場合、
pred8×8_L[x,y]＝(p″[14,−1]＋3*p″[15,−1]＋2)>>2
・その他の場合（すなわち、x′が7に等しくない、またはy′が7に等しくない場合）、
pred8×8_L[x,y]＝(p″[x′＋y′,−1]＋2*p″[x′＋y′＋1,−1]＋p″[x′＋y′＋2,−1]＋2)>>2
予測モードHier_Intra_8×8_Diagonal_Up_Rightが許されるのは、x＝0..15としてピクセルp′[x′,−1]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ8×8_BLモードで符号化され、ブロックB_ELがモードHier_Intra_8×8_Diagonal_Up_Leftに従って予測される場合、ブロックpred8×8_Lは次のように構築される：
・x′がy′より大きい場合、
pred8×8_L[x,y]＝(p″[x′−y′−2,−1]＋2*p″[x′−y′−1,−1]＋p″[x′−y′,−1]＋2)>>2
・それ以外で、x′がy′より小さい場合、
pred8×8_L[x,y]＝(p″[−1,y′−x′−2]＋2*p″[−1,y′−x′−1]＋p″[−1,y′−x′]＋2)>>2
・それ以外の場合（すなわち、x′がy′に等しい場合）、
pred8×8_L[x,y]＝(p″[0,−1]＋2*p″[−1,−1]＋p″[−1,0]＋2)>>2
予測モードHier_Intra_8×8_Diagonal_Up_Rightが許されるのは、x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ8×8_BLモードで符号化され、ブロックB_ELがモードHier_Intra_8×8_Vertical_Leftに従って予測される場合、変数zVR′を2*x′−y′に等しいとして、ブロックpred4×4_Lは次のように構築される、すなわちx＝0..7、y＝0..7として：
・zVR′が0,2,4,6,10,12または14に等しい場合、
pred8×8_L[x,y]＝(p″[x′−(y′>>1)−1,−1]＋p″[x′−(y′>>1),−1]＋1)>>1
・それ以外の場合で、zVR′が1,3,5,7,9,11または13に等しい場合、
pred8×8_L[x,y]＝(p″[x′−(y′>>1)−2,−1]＋2*p″[x′−(y′>>1)−1,−1]＋p″[x′−(y′>>1),−1]＋2)>>2
・それ以外の場合で、zVR′が−1に等しい場合、
pred8×8_L[x,y]＝(p″[−1,0]＋2*p″[−1,−1]＋p″[0,−1]＋2)>>2
・それ以外の場合（すなわちzVR′が−2,−3,−4,−5,−6,−7に等しい場合）、
pred8×8_L[x,y]＝(p″[−1,y′−2*x′−1]＋2*p″[−1,y′−2*x′−2]＋p″[−1,y′−2*x′−3]＋2)>>2
予測モードHier_Intra_8×8_Vertical_Leftが許されるのは、x＝0..7、y＝−1..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ8×8_BLモードで符号化され、ブロックB_ELがモードHier_Intra_8×8_Horizontal_Upに従って予測される場合、変数zHD′を2*y′−x′に等しいとして、ブロックpred8×8_Lは次のように構築される、すなわちx′＝0..7、y′＝0..7として：
・zHD′が0,2,4,6,10,12または14に等しい場合、
pred8×8_L[x,y]＝(p″[−1,y′−(x′>>1)−1]＋p″[−1,y′−(x′>>1)]＋1)>>1
・それ以外の場合で、zHD′が1,3,5,7,9,11または13に等しい場合、
pred8×8_L[x,y]＝(p″[−1,y′−(x′>>1)−2]＋2*p″[−1,y′−(x′>>1)−1]＋p″[−1,y′−(x′>>1)]＋2)>>2
・それ以外の場合で、zHD′が−1に等しい場合、
pred8×8_L[x,y]＝(p″[−1,0]＋2*p″[−1,−1]＋p″[0,−1]＋2)>>2
・それ以外の場合（すなわちzHD′が−2,−3,−5,−6,−7に等しい場合）、
pred8×8_L[x,y]＝(p″[x′−2*y′−1,−1]＋2*p″[x′−2*y′−2,−1]＋p″[x′−2*y′−3,−1]＋2)>>2
予測モードHier_Intra_8×8_Horizontal_Upが許されるのは、x＝0..7、y＝−1..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ8×8_BLモードで符号化され、ブロックB_ELがモードHier_Intra_8×8_Vertical_Rightに従って予測される場合、ブロックpred8×8_Lは次のように構築される、すなわちx′＝0..7、y′＝0..7として：
・y′＝0,2,4または6に等しい場合、
pred8×8_L[x,y]＝(p″[x′＋(y′>>1),−1]＋p″[x′＋(y′>>1)＋1,−1]＋1)>>1
・そうでない場合（y′は1,3,5,7に等しい）、
pred8×8_L[x,y]＝(p″[x′＋(y′>>1),−1]＋2*p″[x′＋(y′>>1)＋1,−1]＋p″[x′＋(y′>>1)＋2,−1]＋2)>>2
予測モードHier_Intra_8×8_Vertical_Rightが許されるのは、x＝0..15としてピクセルp′[x′,−1]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ8×8_BLモードで符号化され、ブロックB_ELがモードHier_Intra_8×8_Horizontal_Downに従って予測される場合、変数zHU′をx′＋2*y′に等しいとして、ブロックpred8×8_Lは次のように構築される、すなわちx′＝0..7、y′＝0..7として：
・zHU′が0,2,4,6,8,10または12に等しい場合、
pred8×8_L[x,y]＝(p″[−1,y′＋(x′>>1)]＋p″[−1,y′＋(x′>>1)＋1]＋1)>>1
・それ以外の場合で、zHU′が1,3,5,7,9または11に等しい場合、
pred8×8_L[x,y]＝(p″[−1,y′＋(x′>>1)]＋2*p″[−1,y′＋(x′>>1)＋1]＋p″[−1,y′＋(x′>>1)＋2]＋2)>>2
・それ以外の場合で、zHU′が13に等しい場合、
pred8×8_L[x,y]＝(p″[−1,6]＋3*p″[−1,7]＋2)>>2
・それ以外の場合（すなわちzHU′が13より大きい場合）、
pred8×8_L[x,y]＝p″[−1,7]
予測モードHier_Intra_8×8_Horizontal_Downが許されるのは、y＝0..7としてピクセルp′[−1,y′]が利用可能である場合のみである。

マクロブロックMB_ELがイントラ16×16_BLモードで符号化される場合、該マクロブロックMB_ELは次のモードの一つに従って予測される：Hier_Intra_16×16_Vertical、Hier_Intra_16×16_Horizontal、Hier_Intra_16×16_DCおよびHier_Intra_16×16_Plane。

16×16ブロックの予測モードの選択は、レート‐ひずみ型の基準に従ってなされうる。

図１２に灰色で示されるマクロブロックMB_ELを予測するために使われる予測マクロブロックをpred16×16_Lと記し、該マクロブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xがマクロブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、pred16×16_L[x,y]と記す。ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルはNをマクロブロックのサイズとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはマクロブロックの列x、行yに位置する。図１２を参照するに、第一の軸(X,Y)はマクロブロックの左上のピクセルを原点とするマクロブロックB_ELに関し、第二の軸(X′,Y′)はブロックMB_ELの右下のピクセルを原点とするマクロブロックMB_ELに関する。x′＝15−x、y′＝15−yおよびp′[x′,y′]＝p[15−x′,15−y′]＝p[x,y]とする。ここで、p[x,y]は第一の軸における座標(x,y)のピクセルに関する輝度値であり、p′[x′,y′]は第二の軸における座標(x′,y′)のピクセルに関する輝度値である。

マクロブロックMB_ELがイントラ16×16_BLモードで符号化され、モードHier_Intra_16×16_Verticalに従って予測する場合、マクロブロックpred16×16_Lは次のように構築される、すなわちx＝0..15およびy＝0..15として：
pred16×16_L[x,y]＝p′[x′,−1]
予測モードHier_Intra_16×16_Verticalが許されるのは、ピクセルp′[x′,−1]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇから生成されたものである場合のみである。

マクロブロックMB_ELがイントラ16×16_BLモードで符号化され、モードHier_Intra_16×16_Horizontalに従って予測される場合、マクロブロックpred16×16_Lは次のように構築される、すなわちx＝0..15およびy＝0..15として：
pred16×16_L[x,y]＝p′[−1,y′]
予測モードHier_Intra_16×16_Horizontalが許されるのは、ピクセルp′[−1,y′]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｅから生成されたものである場合のみである。

マクロブロックMB_ELがイントラ16×16_BLモードで符号化され、モードHier_Intra_16×16_DCに従って予測される場合、マクロブロックpred16×16_Lは次のように構築される、すなわちx＝0..15およびy＝0..15として：
・ピクセルp′[x′,−1]およびピクセルp′[−1,y′]がすべて利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇおよびｅから生成されたものである場合：

・上記以外の場合であって、ピクセルp′[x′,−1]の一つが利用可能でなく、かつピクセルp′[−1,y′]はすべて利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｅから生成されたものである場合：

・上記以外の場合であって、ピクセルp′[−1,y′]の一つが利用可能でなく、かつピクセルp′[x′,−1]のすべてが利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇから生成されたものである場合：

・上記以外の場合で、ピクセルp′[−1,y′]の一つが利用可能でなく、かつピクセルp′[x′,−1]の一つが利用可能でない場合：
pred16×16_L[x,y]＝(1<<(BitDepth_Y−1))
マクロブロックMB_ELがイントラ16×16_BLモードで符号化され、モードHier_Intra_16×16_Planeに従って予測される場合、マクロブロックpred16×16_Lは次のように構築される、すなわちx＝0..15およびy＝0..15として：
・ピクセルp′[x′,−1]およびピクセルp′[−1,y′]がすべて利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇおよびｅから生成されたものである場合：
pred16×16_L[x,y]＝Clip_Y( (a′＋b′*(x′−7)＋c′*(y′−7)＋16) >>5 )
ここで、
・Clip_Y(x)＝clip3(0, (1<<BitDepth_Y)−1, x) ここで、
clip3(x,y,z)＝x z＜xの場合
＝y z＞xの場合
＝z その他の場合
・a′＝16*(p′[−1,15]＋p′[15.−1])
・b′＝(5*H′＋32)>>6
・c′＝(5*V′＋32)>>6

各色度ブロックは次の４つの予測モードの一つに従って予測される：Hier_Intra_Chroma_DC、Hier_Intra_Chroma_Horizontal、Hier_Intra_Chroma_VerticalおよびHier_Intra_Chroma_Plane。これらのモードはイントラ16×16予測モード、つまりHier_Intra_16×16_DC、Hier_Intra_16×16_Horizontal、Hier_Intra_16×16_VerticalおよびHier_Intra_16×16_Planeとの類推により定義される。両方の色度ブロックに対して常に同じ予測モードが使われる。8×8輝度ブロックの一つがイントラ・モードで符号化されていれば、二つの色度ブロックもイントラで符号化されることを注意しておくべきであろう。

この第三の実施形態は第二の実施形態と同じ利点を有する。すなわち：
・BL層の画像とEL層の画像との間に存在する空間的冗長さを利用する度合いがより大きくなる、すなわちマクロブロックMB_ELに対応する基本層のブロックB_BLがインター・モードで符号化されているときでさえも前記空間的冗長さを利用する。これは、前記ブロックB_BLが予測マクロブロックMB_predを構築するために使われないからである；
・近隣マクロブロックＡ、Ｂ、ＣおよびＤから輪郭線によって隔てられているマクロブロックMB_ELのより効率的な符号化を、該マクロブロックMB_ELをブロックｅ、ｆ、ｇおよび／またはｈから予測することによって可能にする；
・EL層を再構成するためにBL層全体を再構成する必要がないような、特にインター・モードで符号化されたBL層のブロックを再構成する、すなわち時間的予測をする必要がないような仕方でマクロブロックMB_ELを符号化することを可能にする。

さらに、対応するブロックB_BLの非因果的な近隣領域に位置するブロックｅ、ｆ、ｇおよびｈのみが利用される。これは、追加されるモードの数を制限することによって、符号化方法の複雑さを制限する。ブロックｅ、ｆ、ｇおよびｈはブロックB_BLの非因果的な近隣領域にあるので、マクロブロックMB_ELをEL層のマクロブロックＥ、Ｆ、ＧおよびＨ（図２参照）から空間的に予測することが、マクロブロックＥ、Ｆ、ＧおよびＨが非因果的な近隣領域に位置しているためにできない、という事実を克服するために使われる。

本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列のMB_EL ^recと記されるマクロブロックの再構成を視野に、ビットストリームの一部を復号する方法にも関する。前記マクロブロックMB_EL ^recには基本層においてブロックが対応しており、そのブロックは対応するブロックと呼ばれ、前記マクロブロックは向上層に属する。図７および図８を参照すると、本方法は、ビットストリームの第一の部分から画像データ・ブロックｅ、ｆ、ｇおよび／またはｈを再構成するためのステップＥ８０を含む。ステップＥ８１の間に、マクロブロックMB_EL ^recを再構成するもとになる、ステップＥ８０で再構成されたブロックｅ、ｆ、ｇおよび／またはｈが、たとえば双線形補間によりアップサンプリングされる。ステップＥ８２の間に、符号化方法（第一および第二の実施形態）のために上で定義した式から、ステップＥ８３の間に復号されたモードcod_modeに従って、予測マクロブロックMB_predが構築される。図８に示されるある変形によれば、予測マクロブロックMB_predはステップＥ８２′の間に、符号化方法（第三の実施形態）のために上で定義した式から、ステップＥ８３′の間に復号された符号化モードcod_modeおよび可能性としては予測モードblc_mode(s)に従って、構築される。予測マクロブロックM_predを構築するために使われない基本層のブロックを再構成およびアップサンプリングすることは必要ない。予測マクロブロックM_predは、ステップＥ８２またはＥ８２′の間の復号方法によるのと同じようにステップＥ７３またはＥ７３′の間の符号化方法によって構築されている。ステップＥ８３またはＥ８３′の間に、残差のマクロブロックMB_EL ^res_recも前記ビットストリームの第二の部分から再構成される。ステップＥ８４の間に、予測マクロブロックMB_predが再構成された残差のマクロブロックMB_EL ^res_recにピクセルごとに加算される。ステップＥ８４は再構成されたマクロブロックMB_EL ^recを生成する。

図９を参照すると、本発明は、基本層BLおよび少なくとも一つの向上層ELの形で呈示される画像の系列を符号化する装置ENC2に関する。本符号化装置ENC2のモジュールで符号化装置ENC1のモジュールと同一のものは図９では同じ参照符号を使って指定されており、さらなる説明はしない。符号化装置ENC2は符号化モジュールENC_BL1、向上層を符号化するよう適応された新しい符号化モジュールENC_EL2および多重化モジュールMUXを含む。

符号化モジュールENC_EL2は、EL層のマクロブロックを、標準的な符号化モード（すなわちインター・モードまたはイントラ・モード）に従って、すなわち前記マクロブロックを当該EL層の他のマクロブロックから空間的または時間的に予測することによって、符号化するよう適応されている。さらに、基本層の画像と向上層の画像との間の冗長性を減らすため、符号化モジュールENC_EL2は、層間（inter-layer）と呼ばれる符号化モードに従ってBL層の画像データ・ブロックからEL層のマクロブロックを符号化するようにも適応される。すなわち、当該EL層の前記画像データ・マクロブロックをBL層の画像データ・ブロックから予測するのである。図９には、イントラ型のEL層の画像データ・マクロブロックMB_ELを基本層の画像データ・ブロックから、すなわち層間予測モードに従って予測し、符号化し、前記マクロブロックMB_ELを符号化するのに必要とされるENC_BL1およびENC_EL1モジュールしか示していない。この図に示されていない、ビデオ符号化器の当業者によく知られた他のモジュール（たとえば動き推定モジュール、空間的予測モジュール、時間的予測モジュールなど）によって、EL層のマクロブロックは、標準的なインター・モード（たとえば双方向モード）に従って、あるいは標準的なイントラ・モード（AVCで定義されるような）に従って、近隣マクロブロックＡ、Ｂ、Ｃおよび／またはＤから符号化できるようになる。図９を参照するに、モジュールENC_EL2は特に符号化モジュール４０およびアップサンプリング・モジュール２０を含んでいる。モジュールENC_EL2はまた、たとえばレート‐ひずみ型の所定の基準に従ってマクロブロックMB_ELの符号化モードcod_modeおよび可能性としては該マクロブロックを形成するブロックのそれぞれの予測モードblc_modeをモードの集合のうちから、特に符号化方法について上記した実施形態で定義されているモードのうちから選択するよう適応された決定モジュール１５をも含む。最後に、モジュールENC_EL2は、モジュール１５によって決定された符号化モードおよび可能性としてはモードblc_mode(s)に従って、モジュール２０によってアップサンプリングされたブロックｅ、ｆ、ｇおよび／またはｈから予測マクロブロックMB_predを生成するよう適応されたモジュール２５を含む。モジュールENC_EL2はまた、予測マクロブロックMB_predをマクロブロックMB_ELからピクセルごとに引き算する引き算モジュール３０をも含む。このモジュールは残差のマクロブロックMB_EL ^residuesを生成し、この残差マクロブロックが符号化モジュール４０によって符号化される。

図１０を参照するに、本発明は、基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームを復号する装置DECにも関する。復号装置DECの入力で受信されたビットストリームは多重化解除モジュールDEMUXによって多重化解除されて、基本層に関するビットストリームT_BLおよび向上層に関する少なくとも一つのビットストリームT_ELを生成する。ある変形によれば、多重化解除モジュールDEMUXは復号装置DECの外部である。さらに、復号装置DECは、少なくとも部分的にビットストリームT_BLから基本層を再構成できる第一の復号モジュールDEC_BLを含む。有利なことに、本発明によれば、向上層の画像を再構成するために基本層の画像が完全に再構成されることは必要ではない。実際、第一の復号モジュールDEC_BLは、少なくとも、向上層の画像を再構成するために必要とされる基本層の画像データを再構成しなければならない。装置DECはまた、ビットストリームT_ELおよび可能性としては第一の復号モジュールDEC_BLによって以前に再構成された基本層の画像データから向上層を再構成できる第二の復号モジュールDEC_ELをも含む。第二の復号モジュールDEC_ELは、ビットストリームT_ELの一部から残差のマクロブロックMB_EL ^res_recを再構成し、該再構成された残差のマクロブロックMB_EL ^res_recに関連するモードcod_modeおよび可能性としてはマクロブロックの各ブロックに関連するモードblc_mode(s)を復号するモジュール７０を含んでいる。第二の復号モジュールDEC_ELはまた、第一の復号モジュールDEC_BLによって再構成された基本層のブロックをアップサンプリングするモジュール５０をも含む。モジュール５０は双線形補間フィルタの例である。第二の復号モジュールDEC_ELはまた、モジュール５０によってアップサンプリングされた基本層のブロックから、モードcod_modeおよび可能性としてはモードblc_mode(s)に従って予測マクロブロックMB_predを再構成するモジュール６０をも有する。さらに、第二の復号モジュールDEC_ELは、モジュール６０によって生成された予測マクロブロックMBpredとモジュール７０によって再構成された残差のマクロブロックMB_EL ^res_recとをピクセルごとに加算するモジュール８０を有する。モジュール８０は、MB_EL ^recと記される、向上層のマクロブロックを再構成する。

本発明はまた、EL層のマクロブロックMB_ELが、基本層の対応するブロックB_BLの近隣の少なくとも一つのブロックから層間イントラ・モードに従って符号化されていることを示す、たとえば１ビット上のコードされるフィールド（たとえばhier_intra_bl_flag）を有するMPEGデータ・ビットストリームにも関する。

どんなビデオ符号化規格でも、該規格と互換であるためにすべてのビットストリームが従わなければならないシンタックスを定義している。シンタックスは、具体的には、種々の情報（たとえば、系列に含まれる画像に関するデータ、動きベクトルなど）がどのように符号化されるかを定義する。SVCによれば、基本層はMPEG-4 AVC規格に従って符号化される。提案される新しいMPEG-4 AVCシンタックスは、下で表中に擬似コードとして提示される。この擬似コードは、JVT-T005文書、あるいはより一般にISO/IEC14496-10文書のスケーラビリティに関する部分における規則と同じである。特に、演算子==は「等しい」を表す。演算子!は否定を表す論理演算子である。この表において、追加される情報はイタリックで示されている。

hier_intra_bl_flagはたとえば１ビット上でコードされるフィールドであり、EL層のマクロブロックMB_ELが、基本層の対応するブロックB_BLの近隣の少なくとも一つのブロックから層間型イントラ・モードに従って符号化されているかどうかを示す。

もちろん、本発明は上で言及した実施形態の例に限定されるものではない。特に、SVC規格について記述された発明は、画像の系列をスケーラブル形式で符号化するための別の定義された符号化規格に適用されてもよい。さらに、マクロブロックMB_predまたは予測ブロックpred4×4_Lを生成するために、定義されているのとは別の式を使ってもよい。与えられている式は参考用でしかない。

さらに、基本層のブロックｅ、ｆ、ｇおよびｈについて記載されている符号化方法および復号方法は、前記マクロブロックMB_ELに対応するブロックB_BLを取り巻くブロックａ、ｂ、ｃおよびｄについて使うことができる。図１１に示される実施形態によれば、予測マクロブロックMB_predは、ブロックａ、ｂ、ｃおよびｄのアップサンプリングされたバージョンである一つまたはいくつかのマクロブロックa^UP、b^UP、c^UPおよびd^UPから構築される。マクロブロックMB_predはたとえば、MPEG-4 AVC規格で定義される、マクロブロックの空間的予測（すなわちイントラ）のための式から構築されてもよい。これらの式において、マクロブロックＡはマクロブロックa^UPで、マクロブロックＢはマクロブロックb^UPで、マクロブロックＣはマクロブロックc^UPで、マクロブロックＤはマクロブロックd^UPで置き換えられる。同様に、本発明は、対応するブロックの、必ずしも隣接していない他の近隣ブロックに拡張されてもよい。

もちろん、以上の実施形態を組み合わせることもできる。すると、マクロブロックMB_predはブロックＡ、Ｂ、Ｃおよび／またはＤから、ｂ、ｃ、ｄ、ｅ、ｆ、ｇおよび／またはｈから、あるいはブロックB_BLからのいずれでも構築される。その選択は符号化するための、よってたとえばレート‐ひずみ基準に従ってマクロブロックMB_ELを予測するための方法の決定ステップでなされている。

画像の系列をスケーラブル形式で符号化するための従来技術に基づく装置を示す図である。向上層のマクロブロックMB_ELおよび空間的近隣ブロックＡ、Ｂ、Ｃ、Ｄならびに前記マクロブロックMB_ELに対応する基本層のブロックB_BLおよび空間的に近隣のブロックａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈを示す図である。本発明に基づいてマクロブロックを符号化する方法を示す図である。向上層のマクロブロックMB_ELおよび空間的近隣ブロックＡ、Ｂ、Ｃ、Ｄおよび前記マクロブロックMB_ELに対応する基本層のブロックB_BLおよび空間的に近隣のブロックａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈおよびそのアップサンプリングされたバージョンを示す図である。向上層における輪郭線Ｃ１および基本層における輪郭線Ｃ２の位置を示す図である。本発明に基づいてマクロブロックを符号化する方法の第二の実施形態を示す図である。本発明に基づいてマクロブロックを復号する方法を示す図である。本発明に基づいてマクロブロックを復号する方法の第二の実施形態を示す図である。本発明に基づいて画像の系列をスケーラブル形式で符号化する装置を示す図である。本発明に基づいてスケーラブル形式で符号化された画像の系列を復号する装置を示す図である。向上層のマクロブロックMB_EL、前記マクロブロックMB_ELに対応する基本層のブロックB_BLおよび空間的に近隣のブロックａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈおよびそのアップサンプリングされたバージョンを示す図である。ピクセルのブロックまたはマクロブロックおよび関連する二つの軸を示す図である。

符号の説明

BL 基本層
EL 向上層
T_BL 基本層に関するビットストリーム
T_EL 向上層に関するビットストリーム
ENC1 符号化装置
ENC2 符号化装置（図９の本願発明）
ENC_BL1 BL層を符号化するための第一の符号化モジュール
ENC_EL1 EL層を符号化するための第二の符号化モジュール
ENC_EL2 EL層を符号化するためのモジュール（図９の本願発明）
B_BL 対応する基本層の画像データ・ブロック
B_BL ^rec 再構成された画像データ・ブロック
MB_BL ^UP B_BL ^recをアップサンプリングした画像データ・マクロブロック
MB_pred 予測マクロブロック
MB_EL EL層の画像データ・マクロブロック
MB_EL ^residues 残差マクロブロック
MB_EL ^res_rec 再構成された残差のマクロブロック
MB_EL ^rec 再構成されたマクロブロック
MUX マルチプレクサ
DEMUX デマルチプレクサ
DEC_BL 基本層を再構成できる第一の復号モジュール
DEC_EL 向上層を再構成できる第二の復号モジュール
DEC 復号装置
ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ画像データ・ブロック
ｅ^UP、ｆ^UP、ｇ^UP、ｈ^UP アップサンプリングされた画像データ・マクロブロック
２０アップサンプリング・モジュール
３０引き算モジュール
４０変換、量子化、符号化モジュール
５０アップサンプリング・モジュール
６０予測マクロブロックを再構成するモジュール
７０残差のマクロブロックを再構成し、関連するモードを復号するモジュール
Ｅ７０符号化
Ｅ７１再構成
Ｅ７２アップサンプリング
Ｅ７３予測マクロブロック構築
Ｅ７４予測マクロブロックを向上層の画像データ・マクロブロックから引き算
Ｅ７５変換、量子化、符号化
Ｅ８０再構成
Ｅ８１アップサンプリング
Ｅ８２予測マクロブロック構築
Ｅ８３モードを復号
Ｅ８４予測マクロブロックを再構成された残差のマクロブロックに加算

Claims

基本層および少なくとも一つの向上層の形で呈示される画像の系列の画像データ・マクロブロック（MB_EL）を符号化する方法であって、前記画像データ・マクロブロック（MB_EL）は前記向上層に属しており、前記画像データ・マクロブロック（MB_EL）には前記基本層において画像データ・ブロック（B_BL）が対応しており、そのブロックは対応するブロックと呼ばれ、当該方法は：
・前記画像データ・マクロブロック（MB_EL）について、以前に符号化され（Ｅ７０）、再構成された（Ｅ７１）前記基本層の画像データの一ブロックないし数ブロックから画像データの予測マクロブロック（MB_pred）を生成する（Ｅ７２、Ｅ７３、Ｅ７４）ステップと、
・前記予測マクロブロック（MB_pred）および向上層の画像データ・マクロブロック（MB_EL）から残差のマクロブロック（MB_EL ^residues）を生成する（Ｅ７４）ステップと、
・前記残差のマクロブロック（MB_EL ^residues）を符号化するステップとを有しており、
前記予測マクロブロック（MB_pred）が、対応するブロック（B_BL）とは違う基本層の画像データのブロックからのみ生成されることを特徴とする方法。
基本層の画像データの前記ブロックが、前記対応するブロック（B_BL）に隣接する、請求項１記載の方法。
基本層の画像データの前記ブロックが、前記対応するブロック（B_BL）の非因果的な近隣領域に位置するものである、請求項１記載の方法。
前記予測マクロブロック（MB_pred）が、
・前記対応するブロック（B_BL）の左下にあるブロック；
・前記対応するブロック（B_BL）の右下にあるブロック；
・前記対応するブロック（B_BL）のすぐ右にあるブロック；および
・前記対応するブロック（B_BL）のすぐ下にあるブロック、
からなる集合に属する基本層の画像データの一ブロックないし数ブロックから生成される、請求項３記載の方法。
基本層および少なくとも一つの向上層の形で呈示される画像の系列を符号化する装置（ENC2）であって、前記向上層は少なくとも一つの画像データ・マクロブロック（MB_EL）を含んでおり、前記画像データ・マクロブロック（MB_EL）には前記基本層においてブロック（B_BL）が対応しており、そのブロックは対応するブロックと呼ばれ、当該装置（ENC2）は、前記基本層の画像データ・ブロックを符号化するための第一の符号化モジュール（ENC_BL1）と、前記向上層の画像データ・マクロブロックを符号化するための第二の符号化モジュール（ENC_EL2）とを有しており、該第二の符号化モジュール（ENC_EL2）は：
・前記向上層の画像データの前記マクロブロック（MB_EL）について、前記第一の符号化モジュール（ENC_BL1）によって以前に符号化され、再構成された前記基本層の画像データの一ブロックないし数ブロックから予測マクロブロック（MB_pred）を生成する第一の手段（２０、２５）と、
・前記予測マクロブロック（MB_pred）および向上層の画像データ・マクロブロック（MB_EL）から残差のマクロブロック（MB_EL ^residues）を生成する第二の手段（３０）と、
・前記残差のマクロブロック（MB_EL ^residues）を符号化する第三の手段（４０）とを有しており、
前記第一の手段（２０、２５）が、前記予測マクロブロック（MB_pred）を、対応するブロック（B_BL）とは違う基本層の画像データのブロックからのみ生成するよう適応されていることを特徴とする、装置。
基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームの一部を、前記向上層の画像データ・マクロブロック（MB_EL ^rec）の再構成のために復号する方法であって、前記画像データ・マクロブロック（MB_EL ^rec）には基本層において画像データ・ブロックが対応しており、そのブロックは対応するブロックと呼ばれ、当該復号方法は：
・前記画像データ・マクロブロック（MB_EL ^rec）について、前記画像データ・ブロックを表すビットストリームの第一の部分から以前に再構成された（Ｅ８０）前記基本層の画像データの一ブロックないし数ブロックから予測マクロブロック（MB_pred）を生成する（Ｅ８１、Ｅ８２、Ｅ８２′）ステップと、
・残差のマクロブロックを表す前記ビットストリームの第二の部分から該残差のマクロブロック（MB_EL ^res_rec）を再構成する（Ｅ８３、Ｅ８３′）ステップと、
・前記予測マクロブロック（MB_pred）および前記再構成された残差のマクロブロック（MB_EL ^res_rec）から前記向上層の前記マクロブロック（MB_EL ^rec）を再構成する（Ｅ８４）ステップとを有しており、
前記予測マクロブロック（MB_pred）が、対応するブロック（B_BL）とは違う基本層の画像データのブロックからのみ生成されることを特徴とする、方法。
基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームの復号装置（DEC）であって、前記基本層の画像データ・ブロックを再構成するよう適応された第一の復号モジュール（DEC_BL）と、前記向上層の画像データ・マクロブロックを再構成するよう適応された第二の復号モジュール（DEC_EL）とを有しており、前記第二の復号モジュール（DEC_EL）は：
・対応するブロックと呼ばれる前記基本層の画像データ・ブロックが対応する前記向上層の画像データ・マクロブロック（MB_EL ^rec）について、該画像データ・ブロックを表す前記ビットストリームの第一の部分から前記第一の復号モジュール（DEC_BL）によって以前に再構成された画像データの一ブロックないし数ブロックから予測マクロブロック（MB_pred）を生成する第一の手段（５０、６０）と、
・残差のマクロブロックを表す前記ビットストリームの第二の部分から残差のマクロブロック（MB_EL ^res_rec）を再構成する第二の手段（７０）と、
・前記予測マクロブロック（MB_pred）および前記再構成された残差のマクロブロック（MB_EL ^res_rec）から前記画像データ・マクロブロック（MB_EL ^rec）を再構成する第三の手段（８０）とを有しており、
前記第一の手段（２０、２５）が、前記予測マクロブロック（MB_pred）を、対応するブロック（B_BL）とは違う基本層の画像データのブロックからのみ生成するよう適応されていることを特徴とする、復号装置。
基本層および少なくとも一つの向上層の形で呈示される画像の系列を表す符号化されたデータ・ストリームであって、前記向上層の画像データ・マクロブロック（MB_EL）に関連する二値データを含んでおり、該画像データ・マクロブロック（MB_EL）には前記基本層の画像データ・ブロック（B_BL）が対応しており、前記二値データは、前記マクロブロック（MB_EL）が、対応するブロック（B_BL）とは違う基本層の画像データのブロックからのみ符号化されていることを示すものであることを特徴とする、データ・ストリーム。