JP2012517178A

JP2012517178A - 多視点映像の符号化及び復号化のための装置及び方法

Info

Publication number: JP2012517178A
Application number: JP2011549065A
Authority: JP
Inventors: キム，デ−ヒ; ジョン，ジェ−ウ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-02-04
Filing date: 2010-02-04
Publication date: 2012-07-26
Also published as: US20100195900A1; EP2384580A4; CN102308583B; EP2384580A2; KR20100089705A; WO2010090462A3; CN102308583A; US8798356B2; WO2010090462A2

Abstract

立体映像を含む多視点映像の符号化及び復号化のための装置及び方法を提供する。多視点映像を符号化する装置は、基本階層ビット列を生成するために基本階層映像を符号化する基本階層符号化部と、視点変換された基本階層映像を生成するために上記基本階層映像の視点基盤変換を実行する視点基盤変換部と、拡張階層映像と上記視点変換された基本階層映像間の残差を求める減算部と、拡張階層ビット列を生成するために上記求められた残差を符号化する拡張階層符号化部とを含む符号化／復号化装置。

Description

本発明は、映像の符号化及び復号化に関し、より詳細には、任意の映像コーデックと互換性を保持しつつ立体映像を含む多視点映像の符号化及び復号化に関する。

ＭＰＥＧ（Moving Picture Experts Group）−２多視点プロフィール（Multi-View Profile）において、ＭＰＥＧ−２を使用して３次元（３Ｄ）映像サービスをサポートするための標準が制定されたが、符号化効率が低く、ＭＰＥＧ−２に基づくべき問題点によりまだ使用されていない。下記の説明において、立体視（stereoscopic）映像は、左側映像及び右側映像で構成される２視点映像を意味し、３Ｄ映像は、この立体映像を含む２視点映像以上の多視点映像を意味することに留意されたい。また、ＩＳＯ／ＩＥＣ（International Organization for Standardization/International Electrotechnical Commission）及びＩＴＵ（International Telecommunication Union）は、多視点映像の符号化方式に対する標準の制定を進めているが、現在のところＨ．２６４に基づく構成を有するのみである。

したがって、既存のコーデックを活用しなければならないが、ＭＰＥＧ−２及びＨ．２６４に基づかないシステムは、既存のコーデックを活用することができない。デジタルシネマ（Digital Cinema）のような様々なコーデックが利用される状況で効率的に３Ｄ映像をサービスするためには、既存のコーデックを活用しつつ３Ｄ映像を新たにサポートする方式が必要である。このような方式は、デジタルシネマに加えて３Ｄ映像をサポートしようとするが、現在Ｈ．２６４又はＭＰＥＧ−２に基づかないシステムでは、効率的な拡張のための方式が必要である。

そこで、本発明は上記従来の問題点に鑑みてなされたものであって、本発明の目的は、既存の映像コーデックと互換性を保持しつつ３Ｄ映像の符号化及び復号化を行う装置及び方法を提供することにある。

本発明の他の目的は、階層構造で３Ｄ映像の符号化及び復号化を行う装置及び方法を提供することにある。

本発明のまた他の目的は、階層構造で多視点映像の符号化及び復号化を行う装置及び方法を提供することにある。

上記のような目的を達成するために、本発明の一つの実施形態によれば、多視点映像を符号化する方法を提供する。上記方法は、基本階層ビット列を生成するために入力される基本階層映像を符号化するステップと、視点変換された基本階層映像を生成するために上記基本階層映像の視点基盤変換を実行するステップと、入力される拡張階層映像と上記視点変換された基本階層映像間の残差を求めるステップと、拡張階層ビット列を生成するために上記求められた残差を符号化するステップとを有することを特徴とする。

本発明の実施形態の他の態様によれば、多視点映像を符号化する装置を提供する。上記装置は、基本階層ビット列を生成するために入力される基本階層映像を符号化する基本階層符号化部と、視点変換された基本階層映像を生成するために上記基本階層映像の視点基盤変換を実行する視点基盤変換部と、拡張階層映像と上記視点変換された基本階層映像間の残差を求める減算部と、拡張階層ビット列を生成するために上記求められた残差を符号化する拡張階層符号化部とを有することを特徴とする。

本発明の実施形態のさらに他の態様によれば、多視点映像を復号化する方法を提供する。上記方法は、再構成された基本階層映像を生成するために基本階層ビット列を再構成するステップと、視点変換された基本階層映像を生成するために上記再構成された基本階層映像の視点基盤変換を実行するステップと、残差を求めるために入力される拡張階層ビット列を復号化するステップと、拡張階層映像を生成するために上記視点変換された基本階層映像に上記残差を加えるステップとを有することを特徴とする。

本発明の実施形態のさらなる他の態様によれば、他の多視点映像を復号化する装置を提供する。上記装置は、基本階層映像を生成するために入力される基本階層ビット列を再構成する基本階層復号化部と、視点変換された基本階層映像を生成するために上記再構成された基本階層映像の視点基盤変換を実行する視点基盤変換部と、残差を求めるために入力される拡張階層ビット列を復号化する拡張階層復号化部と、拡張階層映像を生成するために上記視点変換された基本階層映像に上記残差を加える加算部とを有することを特徴とする。

例示的な実施形態は、階層的構造を用いて、任意の映像コーデックと互換性を保持しつつ立体映像の圧縮符号化を行うことができる。したがって、従来のデジタルシネマにおけるように、様々なコーデックを使用する環境で立体映像の圧縮送信を新たに行う必要がある際に、既存のコーデックを使用しつつ新たなサービスを付加することができる。また、既存の復号器は、ビット列の一部だけを受信することにより、新たなシステムにより作られたビット列から既存のサービスを継続して提供することができる。

例示的な一つの実施形態による階層的多視点映像符号化装置の構成を示す図である。例示的な他の実施形態による階層的多視点映像復号化装置の構成を示す図である。例示的な実施形態に従って図１の多視点映像符号化装置の動作を示すフローチャートである。例示的な実施形態に従って図２の多視点映像復号化装置の動作を示すフローチャートである。

以下、例示的な実施形態を、添付の図面を参照して詳細に説明する。下記の説明において、図面における同一の構成要素に対しては、他の図面に表示されても、同一の参照番号及び符号を付けてあることに注意されたい。また、以降の説明では、特定のコーデックの種類、すなわち、Ｈ．２６４又はＶＣ−１などのような具体的な特定事項が例示的な実施形態のより全般的な理解を助けるべく提供しただけであって、このような特定事項なしでも本発明が実施できることは、当該技術分野における通常の知識を有する者には自明である。そして、例示的な実施形態を説明するに際し、関連した公知機能あるいは構成についての具体的な説明が、本発明の要旨を不要に曖昧にするおそれがあると判断される場合は、その詳細な説明を省略する。

例示的な実施形態において、既存の任意のコーデックと互換性を保持しつつも新たな３Ｄ映像サービスの提供を可能にするために、３Ｄ映像符号化装置及び復号化装置の構造を階層的に設計する。以下、例示的な実施形態において、説明の便宜のために、左側映像及び右側映像で構成される立体映像の符号化及び復号化を行う方式の例について説明する。しかしながら、発明概念が立体映像に限定されるのではなく、２視点映像以上の多視点映像にも同一の方式で適用され得ることに留意すべきである。

例示的な実施形態によれば、基本（又は下位）階層では、既存の２次元（２Ｄ）映像コーデックを通して基本階層映像の圧縮及び符号化が行われ、拡張（又は上位）階層では、基本階層の映像とは異なる視点を有する映像の圧縮符号化を行うことにより３Ｄ映像データの圧縮符号化を行うように映像符号化装置を構成する。この際に、拡張階層は、既存の方式と同様に、基本階層と類似したコーデック構成を活用せず、その代りに、この基本階層で使用されたコーデックの種類に関係なく、この基本階層の視点をこの拡張階層の視点に変換し、２視点間の差を拡張階層で圧縮符号化することにより、この符号化された差を送信する。したがって、この符号化された差が復号化装置で復号化する際に、基本階層を再構成した後に視点基盤変換を通して得られたデータ及び拡張階層から再構成されたデータを結合することにより、基本階層とは異なる視点を有するデータを再構成することができ、必要であれば、基本階層だけを復号化することにより既存の２Ｄ映像を再構成することもできる。

図１は、例示的な実施形態による階層的多視点映像符号化装置の構成を示す図である。

左側映像（すなわち、第１の映像）及び右側映像（すなわち、第２の映像）は、個別のカメラ、入力インターフェース、又はファイルを通して図１の符号化装置に入力される。この左側映像及びこの右側映像の中の１つは、基本階層に入力され符号化され、残りの映像は、拡張階層に入力され符号化される。以下、例示的な実施形態において、左側映像が基本階層に入力され、右側映像が拡張階層に入力されると仮定する。しかしながら、その逆も可能である。

２Ｄ映像又は左眼に対応する映像、すなわち、左側映像が映像コーデックに入力される場合に、この映像コーデックの基本階層符号化部分は、入力された左側映像を圧縮符号化する。ここで、この映像コーデックは、Ｈ．２６４又はＶＣ−１のような公知の映像コーデックであり得る。図１を参照すると、基本階層符号化部１１は、公知の映像コーデックの符号化部分を使用し、これを通して、図１の映像符号化装置は、既存の任意の映像コーデックと互換性を有する。言い換えれば、図１の映像符号化装置は、任意の映像コーデックから圧縮符号化された左側映像を基本階層ビット列として入力するためのインターフェース部を有することになる。

また、図１の映像符号化装置は、右側映像を符号化するために、左側映像の再構成された映像を右側映像の視点に変換する。すなわち、基本階層符号化部１１から圧縮符号化された左側映像が基本階層再構成部１３に入力される場合に、基本階層再構成部１３は、圧縮符号化された左側映像を基本階層映像に再構成する。

その後に、図１の視点基盤変換部１５は、左眼又は１視点に対応する再構成された基本階層映像を右眼又は他の視点に対応する映像への視点基盤変換を行う。具体的に、視点基盤変換部１５は、左側映像と右側映像間の変位の程度（例えば、動きベクトルのような変位ベクトル）を推定し、この推定された変位を用いて左側映像を右側映像への視点基盤変換を行う。すなわち、視点基盤変換部１５は、１視点の映像（例えば、左側映像）を他の視点の映像（例えば、右側映像）に変換する視点変換器として動作する。このように視点変換された映像は、予測符号化構造で右側映像の予測映像として使用される。

図１の残差検出部１７は、減算器により実現可能であり、推定されたこの変位を用いて視点変換された映像（すなわち、推定映像）とこの再構成された映像とは異なる視点を有する映像とを減算する。上述したように、例示的な実施形態によれば、入力された右側映像とこの右側映像の予測映像間の差を求めることにより残差を得ることができる。

図１の残差変換部１９は、残差検出部１７により得られた残差の範囲を調整し、拡張階層符号化部２１は、この範囲が調整された残差を圧縮符号化する。図１のビット列結合部２３は、拡張階層ビット列を基本階層ビット列と結合する。したがって、基本階層の圧縮符号化されたビット列及び残差を圧縮符号化することにより得られた拡張階層のビット列は、１つのビット列に再構成されて送信される。この際に、ビット列の特定の単位が基本階層に属するか又は拡張階層に属するかを決定するために、例えば、フラグ（flag）を挿入し得る。マルチプレクサは、ビット列結合部２３として使用され得る。

図３は、例示的な実施形態に従って図１の多視点映像符号化装置の動作を示すフローチャートである。図３を参照すると、ステップ３０１で、基本階層符号化部１１は、入力された基本階層映像（例えば、左側映像）を符号化し、基本階層ビット列を出力する。ステップ３０３で、基本階層再構成部１３は、符号化された基本階層映像を再構成し、ステップ３０５で、視点変換器の機能を実行する視点基盤変換部１５は、再構成されたこの基本階層映像を拡張階層映像（例えば、右側映像）の視点に変換する。その後に、ステップ３０７で、減算器１７は、入力された拡張階層映像とこの視点変換された基本階層映像間の差を残差として出力し、ステップ３０９で、拡張階層符号化部２１は、この残差を符号化し、拡張階層ビット列を出力する。

複数の拡張階層映像が提供される場合に、各拡張階層映像は、相互に異なる視点を有し、この視点基盤変換は、拡張階層別に実行される。

図２は、例示的な実施形態による階層的多視点映像復号化装置の構成を示す図である。図２を参照すると、ビット列分析部５２は、図１のビット列結合部２３に対応する。ビット列分析部５２は、このフラグに基づいて入力されたビット列を拡張階層ビット列及び基本階層ビット列に分離する。すなわち、ビット列分析部５２は、入力ビット列が拡張階層ビット列であるか又は基本階層ビット列であるかを決定するためにこのフラグをチェックする。入力されたビット列が拡張階層ビット列であると決定される場合に、ビット列分析部５２は、入力ビット列を拡張階層復号化部分に転送する。入力ビット列が基本階層ビット列であると決定される場合に、ビット列分析部５２は、入力ビット列を基本階層復号化部分に転送する。

図２において、基本階層復号化部５４は、基本階層を復号化することにより、再構成されたこの左側映像を得ることができる。ここで、基本階層復号化部５４は、図１の基本階層符号化部１１に対応し、Ｈ．２６４又はＶＣ−１のような既存の映像コーデックの基本階層復号化部分を使用して実現される。言い換えれば、図２の映像復号化装置は、任意の映像コーデックから出力される再構成された左側映像を入力するためのインターフェース部を有することになる。

図２において、視点基盤変換部５６は、基本階層復号化部５４により再構成された左側映像の異なる視点の映像、例えば、右側映像への視点基盤変換を実行する。すなわち、視点基盤変換部５６は、ビットストリームを通して転送される変位情報（例えば、動きベクトルのような変位ベクトル）を用いて再構成されたこの左側映像の拡張階層の視点に対応する右側映像への視点基盤変換を実行する。

図２において、拡張階層に転送されるビット列は、拡張階層復号化部５８に入力される。拡張階層復号化部５８は、図１の映像符号化装置により符号化され、拡張階層ビット列として転送される残差を再構成する。上述したように、この残差は、この左側映像とこの右側映像の予測映像間の差を意味する。残差逆変換部６０は、図１の残差変換部１９により実行された変換の逆過程を実行する。

図２において、映像再構成部６２は、加算器により実現でき、残差逆変換部６０から出力される残差を基本階層から視点変換された映像に加えることにより右側映像を再構成する。ここで、この基本階層から視点変換された映像は、視点基盤変換部５６から出力される。

他方、図２のビット列分析部５２により抽出された拡張階層のビット列に関係なく、基本階層のビット列だけが再構成される場合に、既存の２Ｄ映像標準方式を用いて２Ｄ映像を再構成し得る。

図４は、例示的な実施形態に従って図２の多視点映像復号化装置の動作を示すフローチャートである。図４を参照すると、ステップ４０１で、基本階層復号化部５４は、入力された基本階層ビット列を復号化し、第１の視点映像（例えば、左側映像）を出力する。他方、基本階層ビット列及び拡張階層ビット列において、対応するビット列が視点基盤変換を必要とする拡張階層映像であるか否かを示すフラグ情報が含まれるようにする。したがって、拡張階層ビット列が入力される場合に、図２のビット列分析部５２は、対応するビット列がこのフラグ情報を確認することにより拡張階層ビット列であることを認識することができる。

ステップ４０３で、対応するビット列が拡張階層ビット列であると決定される場合に、ステップ４０５で、視点変換器の機能を実行する視点基盤変換部５６は、再構成されたこの基本階層映像を拡張階層映像（例えば、右側映像）の視点に変換する。その後に、ステップ４０７で、拡張階層復号化部５８は、入力された拡張階層ビット列を復号化し、この残差を出力する。ステップ４０９で、加算器６２は、この残差をこの視点変換された基本階層映像に加え、第２の視点映像、すなわち、この拡張階層映像を出力する。

図４を参照して上述したように、複数の拡張階層映像が提供される場合に、各拡張階層映像は、異なる視点を有し、この視点基盤変換は、拡張階層別に実行される。

以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。

例えば、本実施形態では、単一の視点又は２つの視点（すなわち、左側映像及び右側映像）について説明しているが、複数の視点を階層符号化するために例示的な実施形態による映像符号化及び復号化方式を複数の階層に拡張することもできる。ここで、この複数の視点は、例えば、３台のカメラを通して入力される左側映像、右側映像、及び中央映像にそれぞれ対応する。この場合に、右側映像及び中央映像を処理する階層は、左側映像を処理する基本階層の周りに配設することができる。

以下、例示的な実施形態に従って複数の視点を階層符号化する映像符号化及び復号化装置の構成例について説明する。

例示的な実施形態において、３Ｄ映像、すなわち、多視点映像を符号化する装置は、入力される第１乃至第ｎの映像（ｎは、２以上の自然数）の中で第１の映像を圧縮符号化する基本階層処理部と、第ｎの映像が他の映像の視点と異なる視点（例えば、第２の映像の場合に、第１の映像と異なる視点、第３の映像の場合に、第１又は第２の映像と異なる視点）を有するように第２乃至第ｎの映像に対して視点基盤変換を実行し、第ｎの映像とこの他の映像間の視点差（すなわち、残差）を取得し、その残差を圧縮符号化する第１乃至第（ｎ−１）の拡張階層処理部と、この基本階層処理部から出力されるビット列及び第１乃至第（ｎ−１）の拡張階層処理部から出力されるビット列を結合することによりビット列を再構成するビット列結合部とを設ける。

また、例示的な実施形態において、３Ｄ映像、すなわち、多視点映像を復号化する装置は、入力されるビット列から第１乃至第（ｎ−１）の拡張階層ビット列及び１つの基本階層ビット列を分離するビット列分析部（ここで、ｎは、２以上の自然数）と、この分離された基本階層ビット列を復号化することにより入力第１の映像を再構成する基本階層復号化部と、この復号化されたビット列が検出された視点情報を用いて対応する視点を有するように第１乃至第（ｎ−１）の拡張階層ビット列を復号化し変換することにより入力される第２乃至第ｎの映像を再構成する第１乃至第（ｎ−１）の拡張階層処理部とを設ける。

また、この基本階層の視点から拡張階層の視点に変換するために、変換変数として１つ以上の変位ベクトル（例えば、動きベクトル）を使用し、このような変位ベクトルをビット列に挿入することも可能である。

また、この基本階層の視点をこの拡張階層の視点に変換するために、任意の関数使用することができ、この関数に関連したパラメータは、ビット列に挿入されることもできる。ここで、任意の関数は、左側映像と右側映像間の差を画素単位値間の差として表現することができる関数である。

また、この基本階層の視点からこの拡張階層の視点への変換は、全シーケンス単位又は現在のフレーム単位で選択的に実行され得る。ここで、全シーケンスは、任意の時間の間の動映像を構成する複数の映像（scenes）を意味し、現在のフレームは、単一の映像（scene）を意味する。言い換えれば、図１に示すような場合は、単一の映像に対応し、複数の映像のそれぞれに対しては、左側映像及び右側映像が存在する。

上述したように、全シーケンス単位又は現在のフレーム単位で視点基盤変換を選択的に実行するために必要な変位ベクトル及びパラメータは、シーケンスヘッダー又はフレーム／フィールドヘッダーに挿入することができる。

Claims

多視点映像を符号化する方法であって、
基本階層ビット列を生成するために入力される基本階層映像を符号化するステップと、
視点変換された基本階層映像を生成するために前記基本階層映像の視点基盤変換を実行するステップと、
入力される拡張階層映像と前記視点変換された基本階層映像間の残差を求めるステップと、
拡張階層ビット列を生成するために前記求められた残差を符号化するステップと
を有することを特徴とする符号化方法。
前記視点基盤変換は、前記基本階層映像と前記拡張階層映像間の変位ベクトルを推定することにより実行されることを特徴とする請求項１に記載の符号化方法。
前記視点基盤変換を実行するステップは、
前記符号化された基本階層映像を再構成するステップと、
前記再構成された基本階層映像の視点を前記入力される拡張階層映像の視点に変換するステップと
を有することを特徴とする請求項１に記載の符号化方法。
多視点映像を符号化する装置であって、
基本階層ビット列を生成するために入力される基本階層映像を符号化する基本階層符号化部と、
視点変換された基本階層映像を生成するために前記基本階層映像の視点基盤変換を実行する視点基盤変換部と、
拡張階層映像と前記視点変換された基本階層映像間の残差を求める減算部と、
拡張階層ビット列を生成するために前記求められた残差を符号化する拡張階層符号化部と
を有することを特徴とする符号化装置。
前記視点基盤変換部は、前記基本階層映像と前記拡張階層映像間の変位ベクトルを推定することにより前記視点基盤変換を実行することを特徴とする請求項４に記載の符号化装置。
前記符号化された基本階層映像を再構成する基本階層再構成部をさらに有し、
前記視点基盤変換部は、前記再構成された基本階層映像の視点を前記入力される拡張階層映像の視点に変換することを特徴とする請求項４に記載の符号化装置。
多視点映像を復号化する方法であって、
再構成された基本階層映像を生成するために基本階層ビット列を再構成するステップと、
視点変換された基本階層映像を生成するために前記再構成された基本階層映像の視点基盤変換を実行するステップと、
残差を求めるために入力される拡張階層ビット列を復号化するステップと、
拡張階層映像を生成するために前記視点変換された基本階層映像に前記残差を加えるステップと
を有することを特徴とする復号化方法。
前記視点基盤変換は、前記基本階層映像と前記拡張階層映像間の変位ベクトルを推定することにより実行されることを特徴とする請求項７に記載の復号化方法。
前記視点基盤変換を実行するステップは、前記再構成された基本階層映像の視点を前記拡張階層映像の視点に変換するステップを有することを特徴とする請求項７に記載の復号化方法。
多視点映像を復号化する装置であって、
基本階層映像を生成するために入力される基本階層ビット列を再構成する基本階層復号化部と、
視点変換された基本階層映像を生成するために前記再構成された基本階層映像の視点基盤変換を実行する視点基盤変換部と、
残差を求めるために入力される拡張階層ビット列を復号化する拡張階層復号化部と、
拡張階層映像を生成するために前記視点変換された基本階層映像に前記残差を加える加算部と
を有することを特徴とする復号化装置。
前記基本階層ビット列と前記拡張階層ビット列間の区分のためのフラグ情報が各ビット列に挿入されることを特徴とする請求項１に記載の符号化方法。
前記基本階層ビット列と前記拡張階層ビット列間の区分のためのフラグ情報が各ビット列に挿入されることを特徴とする請求項４に記載の符号化装置。
前記基本階層ビット列と前記拡張階層ビット列間の区分のためのフラグ情報が各ビット列に挿入されることを特徴とする請求項７に記載の復号化方法。
前記基本階層ビット列と前記拡張階層ビット列間の区分のためのフラグ情報が各ビット列に挿入されることを特徴とする請求項１０に記載の復号化装置。
前記視点基盤変換部は、前記基本階層映像と前記拡張階層映像間の変位ベクトルを推定することにより前記視点基盤変換を実行することを特徴とする請求項１０に記載の復号化装置。
前記視点基盤変換部は、前記再構成された基本階層映像の視点を前記拡張階層映像の視点に変換することを特徴とする請求項１０に記載の復号化装置。
前記多視点映像が立体映像である場合に、前記基本階層映像及び前記拡張階層映像は、左側映像及び右側映像の中のいずれか１つに対応することを特徴とする請求項１に記載の符号化方法。
前記多視点映像が立体映像である場合に、前記基本階層映像及び前記拡張階層映像は、左側映像及び右側映像の中のいずれか１つに対応することを特徴とする請求項４に記載の符号化装置。
前記多視点映像が立体映像である場合に、前記基本階層映像及び前記拡張階層映像は、左側映像及び右側映像の中のいずれか１つに対応することを特徴とする請求項７に記載の復号化方法。
前記多視点映像が立体映像である場合に、前記基本階層映像及び前記拡張階層映像は、左側映像及び右側映像の中のいずれか１つに対応することを特徴とする請求項１０に記載の復号化装置。
複数の拡張階層映像が提供され、各拡張階層映像が異なる視点を有し、前記視点基盤変換部が各拡張階層に対して前記視点基盤変換及び残差の符号化を実行することを特徴とする請求項１に記載の符号化方法。
複数の拡張階層映像が提供され、各拡張階層映像が異なる視点を有し、前記視点基盤変換部が各拡張階層に対して前記視点基盤変換及び残差の符号化を実行することを特徴とする請求項４に記載の符号化装置。
複数の拡張階層映像が提供され、各拡張階層映像が異なる視点を有し、前記視点基盤変換部が各拡張階層に対して前記視点基盤変換及び残差の符号化を実行することを特徴とする請求項７に記載の復号化方法。
複数の拡張階層映像が提供され、各拡張階層映像が異なる視点を有し、前記視点基盤変換部が各拡張階層に対して前記視点基盤変換及び残差の符号化を実行することを特徴とする請求項１０に記載の復号化装置。