JP2017525201A - 動き併合モードで視点合成予測候補の重複性除去装置および方法 - Google Patents

Abstract

本発明は第１候補ブロックをマージ候補リストに挿入する段階、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階および前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む３次元映像復号化方法を提供する。

Description

本発明は映像符号化／復号化装置および方法に関するもので、より具体的には動き併合モードで視点合成予測候補の重複性を除去する符号化／復号化装置および方法に関するものである。

放送通信産業の発達はＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度を有する放送サービスの世界的な拡散をもたらし、このため、多くの使用者はＨＤ映像に見慣れるようになった。ＨＤ画質に見慣れた使用者はさらに高画質と高解像度を有する映像を求めるようになり、このような使用者の需要を満たすために多くの機関が次世代映像機器に対する開発に拍車を掛けている。このため、今日ではＦＨＤ（Ｆｕｌｌ ＨＤ）およびＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）が支援される映像に接することができるようになり、ＦＨＤおよびＵＨＤが支援される映像によって使用者は高解像度の映像に接することができるようになった。

使用者は高画質と高解像度を有する映像だけでなく、立体感を感じることができる３次元映像を求めるようになった。このため、多様な機関は使用者の需要を満たすための３次元映像を開発するに至っている。

３次元映像は実映像（ｔｅｘｔｕｒｅ）情報だけでなく奥行きマップ（ｄｅｐｔｈ ｍａｐ）情報を必要とする。３次元映像は既存の２次元映像に比べてはるかに多い量の情報を必要とし、２次元映像に対する映像符号化／復号化装置および方法を利用して３次元映像に対して符号化／復号化を遂行する場合、十分な符号化／復号化効率が出ない問題点があった。

本発明が解決しようとする課題はマージリストに挿入されるマージ候補の重複性を除去する映像符号化／復号化装置および方法を提供することである。

本発明の解決しようとする他の課題は３次元映像符号化／復号化において、マージ候補の重複性を除去する装置および方法を提供することである。

本発明が解決しようとするさらに他の課題は３次元映像符号化／復号化において、視点合成予測候補の重複性を除去する装置および方法を提供することである。

本発明の一実施例によれば、第１候補ブロックをマージ候補リストに挿入する段階、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階および前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む３次元映像復号化方法を提供する。

このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックであり得る。

このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。

このとき、前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入する段階をさらに含み、前記ＶＳＰが使用されたことを示す情報を生成する段階では、前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。

このとき、前記現在ブロックはサブ予測ブロックであり得る。

本発明の他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する空間的マージ候補挿入モジュール、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成するＶＳＰ重複性判断モジュールおよび前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しないＶＳＰ候補挿入モジュールを含む３次元映像復号化装置を提供する。

このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックであり得る。

このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。

このとき、前記空間的マージ候補挿入モジュールは前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入し、前記ＶＳＰ重複性判断モジュールは前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。

このとき、前記現在ブロックはサブ予測ブロックであり得る。

本発明のさらに他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する段階、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階および前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む３次元映像符号化方法を提供する。

このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックであり得る。

このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。

このとき、前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入する段階をさらに含み、前記ＶＳＰが使用されたことを示す情報を生成する段階では、前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。

このとき、前記現在ブロックはサブ予測ブロックであり得る。

本発明のさらに他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する空間的マージ候補挿入モジュール、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成するＶＳＰ重複性判断モジュールおよび前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しないＶＳＰ候補挿入モジュールを含む３次元映像符号化装置を提供する。

このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックであり得る。

このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。

このとき、前記空間的マージ候補挿入モジュールは前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入し、前記ＶＳＰ重複性判断モジュールは前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。

このとき、前記現在ブロックはサブ予測ブロックであり得る。

本発明のさらに他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する段階、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階および前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む３次元映像復号化方法をコンピュータで遂行されるためのプログラムに製作されてコンピュータ可読記録媒体を含むことができる。

このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックであり得る。

このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。

このとき、前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入する段階をさらに含み、前記ＶＳＰが使用されたことを示す情報を生成する段階では、前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。

このとき、前記現在ブロックはサブ予測ブロックであり得る。

本発明のさらに他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する段階、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階および前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む３次元映像符号化方法をコンピュータで遂行されるためのプログラムに製作されてコンピュータ可読記録媒体を含むことができる。

このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックであり得る。

このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。

このとき、前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入する段階をさらに含み、前記ＶＳＰが使用されたことを示す情報を生成する段階では、前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。

このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。

このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。

このとき、前記現在ブロックはサブ予測ブロックであり得る。

本発明によれば、映像符号化／復号化において、マージリストに挿入されるマージ候補の重複性を除去することができる。

本発明によれば、３次元映像符号化／復号化において、マージ候補の重複性を除去することができる。

本発明によれば、３次元映像符号化／復号化において、視点合成予測候補の重複性を除去することができる。

３次元ビデオシステムの基本構造を概略的に図示した図面。 「ｂａｌｌｏｏｎｓ」映像の実映像と奥行き情報マップ映像の一例を示す図面。 映像を符号化および復号化するときの映像の分割構造を概略的に示す図面。 符号化ユニット（ＣＵ）を含むことができる予測ユニット（ＰＵ）の形態を図示した図面。 変換ユニット（ＴＵ）のクアッドツリー分割構造の一例を概略的に図示した図面。 ３次元ビデオコーデック（ｃｏｄｅｃ）で視点間予測（ｉｎｔｅｒ ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）の構造を示した一例。 ３次元ビデオエンコーダおよび／またはデコーダで実映像（ｔｅｘｔｕｒｅ ｖｉｅｗ）と奥行き情報マップ（ｄｅｐｔｈ ｖｉｅｗ）を符号化および／または復号化する過程を示した一例。 ビデオエンコーダの一実施例に係る構成を示すブロック図。 ビデオデコーダの一実施例に係る構成を示すブロック図。 ３次元ビデオコーデックに対する予測構造の一例を示す図面。 現在ブロックに対するマージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構成することに使用される周辺ブロックを示した一例。 隣接した視点の動き情報を利用して、現在ブロックの動き情報を誘導する過程の一例を示す図面。 一つの予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）が複数のサブ予測ユニット（Ｓｕｂ−Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）に分けられる一例を示す図面。 参照ブロックを利用して現在ブロックの動き情報を誘導する過程の一例を示す図面。 視点合成予測（Ｖｉｅｗ−Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）の概念を概略的に図示した図面。 ３次元映像符号化／復号化で、ＶＳＰ候補として相続される周辺ブロックの一例を図示した図面。 ３次元映像符号化／復号化で、マージ候補リストの一例を図示した図面。 本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する方法のフローチャート。 本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する方法を３Ｄ−ＨＥＶＣに具現したフローチャート。 本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置のブロック図。 本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置のブロック図。 既存のマージ候補誘導方法と、本発明のさらに他の実施例に係るマージ候補誘導方法を比較した図面。 本発明のさらに他の実施例に係る空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に関するフローチャート。 本発明のさらに他の実施例に係る空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法を３Ｄ ＨＥＶＣに適用したフローチャート。 既存のマージ候補誘導方法と、本発明のさらに他の実施例に係るマージ候補誘導方法を比較した図面。 本発明のさらに他の実施例に係る空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に関するフローチャート。 本発明のさらに他の実施例に係る空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法を３Ｄ ＨＥＶＣに適用したフローチャート。 本発明のさらに他の実施例に係るマージリストにＶＳＰ候補を挿入することを制限する装置に対するブロック図。 前述した３次元映像符号化／復号化装置および方法を通じてＶＳＰ候補間の重複性が除去された一例。

以下、図面を参照して本発明の実施形態について具体的に説明する。本明細書の実施例を説明するにおいて、関連した公知の構成または機能に対する具体的な説明が本明細書の要旨を曖昧にする恐れがあると判断される場合にはその詳細な説明は省略する。

ある構成要素が他の構成要素に「連結されて」いるとか「接続されて」いると言及された時は、その他の構成要素に直接的に連結されているかまたは接続されていることもあり得るが、中間に他の構成要素が存在することもあり得ると理解されるべきである。合わせて、本発明で特定構成を「含む」と記述する内容は該当構成以外の構成を排除するものではなく、追加的な構成が本発明の実施または本発明の技術的思想の範囲に含まれ得ることを意味する。

第１、第２などの用語は多様な構成要素を説明することに使用することができるが、前記構成要素は前記用語によって限定されてはならない。前記用語は一つの構成要素を他の構成要素から区別する目的でのみ使用される。例えば、本発明の権利範囲を逸脱せず、第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。

また、本発明の実施例に表わされる構成部は互いに異なる特徴的な機能を表わすために独立的に図示されるもので、各溝成部が分離されたハードウェアや一つのソフトウェアの構成単位からなることを意味するものではない。すなわち、各構成部は説明の便宜上それぞれの構成部で羅列して含んだもので、各構成部のうち少なくとも二つの構成部が一つとなって一つの構成部となるか、一つの構成部が複数個の構成部に分けられて機能を遂行することができ、このような各溝成部の統合された実施例および分離された実施例も本発明の本質から逸脱しない限り本発明の権利範囲に含まれる。

また、一部の構成要素は本発明で本質的な機能を遂行する必須の構成要素ではなく単に性能を向上させるための選択的構成要素であり得る。本発明は単に性能向上のために使用される構成要素を除いた本発明の本質の具現に必須の構成部だけを含んで具現され得、単に性能向上のために使用される選択的構成要素を除いた必須構成要素だけを含んだ構造も本発明の権利範囲に含まれる。

３次元ビデオは３次元立体ディスプレイ装置を通じて使用者に実世界で見て感じるのと同じような立体感を提供する。これと関連し、ＩＳＯ／ＩＥＣのＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とＩＴＵ−ＴのＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）の共同標準化グループであるＪＣＴ−３Ｖ（Ｔｈｅ Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ ３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎ Ｄｅｖｅｌｏｐｍｅｎｔ）では３次元ビデオの標準化が進行中である。

図１は３次元ビデオシステムの基本構造を概略的に図示したものである。

図１を参照すれば、３次元ビデオ（３Ｄ ｖｉｄｅｏ；３ＤＶ）システムは送信側（ｓｅｎｄｅｒ）および受信側（ｒｅｃｅｉｖｅｒ）を含むことができる。このとき、図１の３次元ビデオシステムは３次元ビデオ標準で考慮している基本的な３次元ビデオシステムであり得、３次元ビデオ標準は実映像と実映像に対応される奥行き情報マップを利用して、ステレオスコピック映像だけでなくオートステレオスコピック（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ）映像の再生を支援できる進歩したデータ形式とそれと関連した技術に対する標準を含むことができる。

送信側は多視点（ｍｕｌｔｉ−ｖｉｅｗ）の映像コンテンツを生成することができる。具体的に、送信側ではステレオカメラおよび多視点カメラを利用してビデオ情報を生成し、奥行き情報カメラを利用して奥行き情報マップ（ｄｅｐｔｈ ｍａｐ、またはｄｅｐｔｈ ｖｉｅｗ）を生成することができる。また、送信側では変換器を利用して２次元映像を３次元映像に変換することもできる。送信側では生成されたビデオ情報と奥行き情報マップなどを利用してＮ（Ｎ≧２）視点（ｖｉｅｗ）（すなわち、多視点）の映像コンテンツを生成することができる。このとき、Ｎ視点の映像コンテンツにはＮ視点のビデオ情報とそれの奥行き情報マップ（Ｄｅｐｔｈ−ｍａｐ）情報そしてカメラ関連付加情報などが含まれ得る。Ｎ視点の映像コンテンツは３次元ビデオエンコーダで多視点ビデオ符号化方法を使用して圧縮され得、圧縮された映像コンテンツ（ビットストリーム）はネットワークを通じて受信側の端末に伝送され得る。

受信側（ｒｅｃｅｉｖｅｒ）は送信側から受信された映像コンテンツを復号化して多視点（ｍｕｌｔｉ−ｖｉｅｗ）の映像を提供することができる。具体的に、受信側からはビデオデコーダ（例えば、３次元ビデオデコーダ、ステレオビデオデコーダ、２次元ビデオデコーダなど）で多視点ビデオ復号化方法を使用して伝送を受けたビットストリームを復号化することによってＮ視点の映像を復元することができる。このとき、復元されたＮ視点の映像と奥行き情報マップ基盤のレンダリング（ＤＩＢＲ；Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ）過程を利用してＮ視点以上の仮想視点映像を生成することもできる。生成されたＮ視点以上の仮想視点映像は多様な立体ディスプレイ装置（例えば、Ｎ−視点ディスプレイ、ステレオディスプレイ、２次元ディスプレイなど）に合うように再生されて使用者に立体感のある映像を提供することになる。

図２は「ｂａｌｌｏｏｎｓ」映像の実映像と奥行き情報マップ映像の一例を示す図面である。

図２の（ａ）は国際標準化機構であるＭＰＥＧの３次元ビデオ符号化標準で使用している「ｂａｌｌｏｏｎｓ」映像を示した図面である。図２の（ｂ）は図２の（ａ）に図示された「ｂａｌｌｏｏｎｓ」映像に対する奥行き情報マップ映像を示した図面である。図２の（ｂ）に図示された奥行き情報マップ映像は画面に見える奥行き情報を画素当たり８ビットで表現したものである。

奥行き情報マップ（ｄｅｐｔｈ ｍａｐ）は仮想視点映像の生成に使用され、奥行き情報マップは実世界でカメラと実際の事物（ｏｂｊｅｃｔ）間の距離（実写映像と同じ解像度で各画素に該当する奥行き情報）を一定のビット数で表現したものである。このとき、奥行き情報マップは奥行き情報マップカメラを利用したり、実際の一般映像（Ｔｅｘｔｕｒｅ）を利用して獲得することができる。

奥行き情報マップカメラを利用して獲得した奥行き情報マップは主に停止した客体や場面で信頼性の高い奥行き情報を提供するが、一定の距離以内でのみ奥行き情報マップカメラが作動するという問題点がある。このとき、奥行き情報マップカメラはレーザー（ｌａｓｅｒ）や構造化された光線（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）技法またはＴＦＬ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ ｏｆ Ｌｉｇｈｔ）に基づいた奥行き測定技法を使うことができる。

奥行き情報マップは実際の一般映像（Ｔｅｘｔｕｒｅ）と変移ベクトル（Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ）を利用して生成することもできる。変移ベクトルは二つの一般映像間の視点差を表わす情報を意味する。変移ベクトルは現在視点での任意の一つの画素を他の視点での画素と比較して最も類似の画素を見つけた時、現在視点での任意の一つの画素と他の視点での画素（現在視点での任意の一つの画素と最も類似の画素）間の距離を通じて獲得することができる。

実映像とそれの奥行き情報マップは一つのカメラだけでなく複数のカメラで獲得された映像であり得る。複数のカメラで獲得された映像は独立的に符号化することもでき、一般的な２次元ビデオ符号化／復号化コーデックを使用して符号化／復号化することもできる。また、複数のカメラで獲得された映像は視点間の相関性が存在するため、複数のカメラで獲得された映像は符号化効率を高めるために互いに異なる視点間の予測を使用して符号化することができる。

前述した「奥行き情報マップ」は「奥行きマップ」または「奥行きピクチャー（ｄｅｐｔｈ ｐｉｃｔｕｒｅ）」などを意味し得、以下では「奥行き情報マップ」が説明の便宜のために、「奥行きマップ」または「奥行きピクチャー（ｄｅｐｔｈ ｐｉｃｔｕｒｅ）」は混用されることもある。

図３は映像を符号化および復号化するときの映像の分割構造を概略的に示す図面である。

映像を効率的に分割するために符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）別に符号化および復号化を遂行できる。ユニットは構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）と映像サンプルが含まれたブロックを合わせて称する言葉である。ユニットが分割されるとはユニットに該当するブロックを分割することを意味し得る。

図３を参照すれば、映像３００を最大符号化ユニット（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ；ＬＣＵ）（以下、ＬＣＵという）単位で順次分割した後、ＬＣＵごとに分割構造を決定する。本明細書で、ＬＣＵはコーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）と同じ意味で使用され得る。分割構造はＬＣＵ３１０内で映像を効率的に符号化するための符号化ユニット（以下、ＣＵという）の分布を意味し、このような分布は一つのＣＵをその横の大きさおよび縦の大きさの半分に減少された４個のＣＵに分割するかの可否によって決定され得る。分割されたＣＵは同じ方式で分割されたＣＵに対してその横の大きさおよび縦の大きさが半分ずつ減少された４個のＣＵに再帰的に分割され得る。

このとき、ＣＵの分割はあらかじめ定義された奥行きまで再帰的に分割され得る。奥行き情報はＣＵの大きさを表わす情報であって、各ＣＵごとに保存され得る。例えば、ＬＣＵの奥行きは０で、ＳＣＵ（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）の奥行きはあらかじめ定義された最大奥行きであり得る。ここで、ＬＣＵは前述した通り、最大大きさを有する符号化ユニットであり、ＳＣＵ（Ｓｍａｌｌｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）は最小大きさを有する符号化ユニットである。

ＬＣＵ３１０から横および縦の大きさの半分に分割を遂行するたびにＣＵの奥行きは１ずつ増加する。例えば、特定奥行きＬでＣＵの大きさが２Ｎｘ２Ｎであれば、分割が遂行されない場合にＣＵの大きさは依然として２Ｎｘ２Ｎであり、分割が遂行される場合にＣＵの大きさはＮｘＮとなる。このとき、ＮｘＮ大きさＣＵの奥行きは奥行きＬ＋１となる。すなわち、ＣＵの大きさに対応されるＮの大きさは奥行きが１ずつ増加するたびに半分に減少する。

図３を参照すれば、最小奥行きが０であるＬＣＵの大きさは６４ｘ６４画素であり、最大奥行きが３であるＳＣＵの大きさは８ｘ８画素であり得る。このとき、６４ｘ６４画素のＣＵ（ＬＣＵ）の奥行きは０、３２ｘ３２画素のＣＵの奥行きは１、１６ｘ１６画素のＣＵの奥行きは２、８ｘ８画素のＣＵ（ＳＣＵ）の奥行きは３と表現され得る。

また、特定ＣＵを分割するかの可否に対する情報はＣＵごとに１ビットの分割情報を通じて表現され得る。この分割情報はＳＣＵを除いたすべてのＣＵに含まれ得、例えばＣＵを分割しない場合には分割情報に０を保存することができ、ＣＵを分割する場合には分割情報に１を保存することができる。

前述した「符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）」は「符号化ブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）」、「コーディングユニット」または「コーディングブロック（Ｃｏｄｉｎｇ Ｂｌｏｃｋ）」などを意味し得、以下、「符号化ユニット」は説明の便宜のために「符号化ブロック」、「コーディングユニット」または「コーディングブロック」は混用されることもある。

図４は符号化ユニット（ＣＵ）を含むことができる予測ユニット（ＰＵ）の形態を図示したものである。

ＬＣＵから分割されたＣＵのうちそれ以上分割（ｓｐｌｉｔ）されないＣＵは一つ以上の予測ユニットに分割またはパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）できる。

予測ユニット（以下、ＰＵという）は予測を遂行する基本単位であって、スキップ（ｓｋｉｐ）モード、インター（ｉｎｔｅｒ）モード、イントラ（ｉｎｔｒａ）モードのうちいずれか一つに符号化および復号化され、予測ユニットは各モードによって多様な形態にパーティションできる。

図４を参照すれば、スキップモードの場合、ＣＵのパーティションがなくても、ＣＵと同じ大きさを有する２Ｎｘ２Ｎモード４１０を支援することができる。

インターモードの場合、ＣＵに対して８通りのパーティションされた形態、例えば２Ｎｘ２Ｎモード４１０、２ＮｘＮモード４１５、Ｎｘ２Ｎモード４２０、ＮｘＮモード４２５、２ＮｘｎＵモード４３０、２ＮｘｎＤモード４３５、ｎＬｘ２Ｎモード４４０、ｎＲｘ２Ｎモード４４５を支援することができる。

イントラモードの場合、ＣＵに対して２Ｎｘ２Ｎモード４１０、ＮｘＮモード４２５を支援することができる。

前述した「予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）」は「予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）」を意味し得、以下、「予測ユニット」は説明の便宜のために「予測ブロック」は混用されて使用されることもある。

図５は変換ユニット（ＴＵ）のクアッドツリー分割構造の一例を概略的に図示したものである。

変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）はＣＵ内で空間変換と量子化過程で使用される基本単位である。ＴＵは正方形の形態あるいは長方形の形態を有することができ、ＴＵはＣＵ内に含まれ得る。ＴＵの大きさはＣＵの大きさと同一であるか小さいこともあり得、一つのＣＵは複数の互いに異なる大きさを有するＴＵを含むことができる。

また、ＴＵはＣＵと同じ大きさを有することができ、ＴＵはクアッドツリー分割を利用してＣＵから分割されることもある。ＴＵがクアッドツリーを利用してＣＵから分割される時、原則的にはＴＵがＣＵから再帰的に二回まで分割され得るが、本明細書では図５に図示した通り、ＴＵがＣＵから再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）三回以上分割される場合を権利範囲から除外するものではない。

例えば、ＣＵが２Ｎｘ２Ｎの大きさを有する場合、ＴＵはＣＵと同じ大きさである２Ｎｘ２Ｎの大きさを有することができ、ＣＵから一度クアッドツリー分割された場合にはＴＵがＮｘＮの大きさを有することができる。また、ＣＵから二回クアッドツリー分割された場合にはＴＵがＮ／２ｘＮ／２の大きさを有することができ、ＣＵから３回クアッドツリー分割された場合にはＴＵがＮ／４ｘＮ／４の大きさを有することができる。

前述した「変換ユニット（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ、ＴＵ）」は「変換ブロック（Ｔｒａｎｓｆｏｒｍ Ｂｌｏｃｋ）」を意味し得、以下、「変換ユニット」は説明の便宜のために「変換ブロック」は混用されることもある。

図６は３次元ビデオコーデック（ｃｏｄｅｃ）で視点間予測（ｉｎｔｅｒ ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）の構造を示した一例である。

視点１（Ｖｉｅｗ １）と視点２（Ｖｉｅｗ ２）は視点０（Ｖｉｅｗ ０）を参照映像として使用して視点間予測を遂行することができ、符号化順序は視点１（Ｖｉｅｗ １）と視点２（Ｖｉｅｗ ２）より視点０（Ｖｉｅｗ ０）が先に符号化されなければならない。

このとき、視点０（Ｖｉｅｗ ０）は他の視点にかかわらず独立的に符号化され得るため独立的な視点（Ｉｎｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ）という。反面、視点１（Ｖｉｅｗ １）と視点２（Ｖｉｅｗ ２）は視点０（Ｖｉｅｗ ０）を参照映像として使用して符号化されるため依存的な視点（Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ）という。独立的な視点映像は一般的な２次元ビデオコーデックを使用して符号化され得る。反面、依存的な視点映像は視点間予測を遂行しなければならないため、視点間予測過程が含まれた３次元ビデオコーデックを使用して符号化され得る。

また、視点１（Ｖｉｅｗ １）と視点２（Ｖｉｅｗ ２）の符号化効率を増加させるために視点１（Ｖｉｅｗ １）と視点２（Ｖｉｅｗ ２）は奥行き情報マップを利用して符号化され得る。例えば、実映像とそれの奥行き情報マップを符号化する時、実映像と奥行き情報マップは互いに独立的に符号化および／または復号化され得る。または実映像と奥行き情報マップを符号化する時、実映像と奥行き情報マップは図７のように互いに依存的に符号化および／または復号化され得る。

図７は３次元ビデオエンコーダおよび／またはデコーダで実映像（ｔｅｘｔｕｒｅ ｖｉｅｗ）と奥行き情報マップ（ｄｅｐｔｈ ｖｉｅｗ）を符号化および／または復号化する過程を示した一例である。

図７を参照すれば、３次元ビデオエンコーダは実映像（ｔｅｘｔｕｒｅ ｖｉｅｗ）を符号化する実映像エンコーダ（ｔｅｘｔｕｒｅ ｅｎｃｏｄｅｒ）と奥行き情報マップ（ｄｅｐｔｈ ｖｉｅｗ）を符号化する奥行き情報マップエンコーダ（ｄｅｐｔｈ ｅｎｃｏｄｅｒ）を含むことができる。

このとき、実映像エンコーダは奥行き情報マップエンコーダによって符号化された奥行き情報マップを利用して実映像を符号化することができる。反対に、奥行き情報マップエンコーダは実映像エンコーダによって符号化された実映像を利用して奥行き情報マップを符号化することができる。

３次元ビデオデコーダは実映像を復号化する実映像デコーダ（ｔｅｘｔｕｒｅ ｄｅｃｏｄｅｒ）と奥行き情報マップを復号化する奥行き情報マップデコーダ（ｄｅｐｔｈ ｄｅｃｏｄｅｒ）を含むことができる。

このとき、実映像デコーダは奥行き情報マップデコーダによって復号化された奥行き情報マップを利用して実映像を復号化することができる。反対に、奥行き情報マップデコーダは実映像デコーダによって復号化された実映像を利用して奥行き情報マップを復号化することができる。

図８はビデオエンコーダの一実施例に係る構成を示すブロック図である。

図８はマルチビュー構造に対して適用可能なビデオエンコーダの一実施例を示したもので、マルチビュー構造に対するビデオエンコーダは単一ビュー構造に対するビデオエンコーダを拡張（ｅｘｔｅｎｓｉｏｎ）して具現することができる。このとき、図８のビデオエンコーダは図７の実映像エンコーダおよび／または奥行き情報マップエンコーダで使用することができ、エンコーダは符号化装置を意味し得る

図８を参照すれば、ビデオエンコーダ８００はインター予測部８１０、イントラ予測部８２０、スイッチ８１５、減算器８２５、変換部８３０、量子化部８４０、エントロピー符号化部８５０、逆量子化部８６０、逆変換部８７０、加算器８７５、フィルタ部８８０および参照ピクチャーバッファー８９０を含む。

ビデオエンコーダ８００は入力映像に対してイントラ（ｉｎｔｒａ）モードまたはインター（ｉｎｔｅｒ）モードで符号化を遂行し、ビットストリーム（ｂｉｔｓｔｒｅａｍ）を出力することができる。

イントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）は画面内予測（ｉｎｔｒａ ｐｉｃｔｕｒｅ ｐｒｅｄｉｃｔｉｏｎ）を意味し、インター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）は画面間（ｉｎｔｅｒ ｐｉｃｔｕｒｅ）予測またはビュー間（ｉｎｔｅｒ−ｖｉｅｗ）予測を意味する。イントラモードである場合スイッチ８１５がイントラモードに転換され、インターモードである場合スイッチ８１５がインターモードに転換される。

ビデオエンコーダ８００は入力ピクチャーのブロック（現在ブロック）に対する予測ブロックを生成した後、現在ブロックと予測ブロックの差分を符号化することができる。

イントラモードである場合、イントラ予測部８２０は現在ブロック周辺のすでに符号化されたブロックの画素値を参照画素として利用することができる。イントラ予測部８２０は参照画素を利用して現在ブロックに対する予測サンプルを生成することができる。

インターモードである場合、インター予測部８１０は、参照ピクチャーバッファー８９０に保存されている参照ピクチャーで入力ブロック（現在ブロック）に対応される参照ブロックを特定する動きベクトルを求めることができる。インター予測部８１０は動きベクトルと参照ピクチャーバッファー８９０に保存されている参照ピクチャーを利用して動き補償を遂行することによって現在ブロックに対する予測ブロックを生成することができる。

マルチビュー構造において、インターモードで適用されるインター予測はインタービュー予測を含むことができる。インター予測部８１０は参照ビューのピクチャーをサンプリングしてインタービュー参照ピクチャ−ーを構成することもできる。インター予測部８１０はインタービュー参照ピクチャーを含む参照ピクチャーリストを利用してインタービュー予測を遂行できる。ビュー間の参照関係はビュー間の依存性を特定する情報を通じてシグナリングされ得る。

一方、現在ビューのピクチャーと参照ビューのピクチャーが同じ大きさである場合に前記参照ビューピクチャーに適用されるサンプリングは参照ビューピクチャーからのサンプルコピーまたは補間による参照サンプルの生成を意味し得る。現在ビューピクチャーと参照ビューピクチャーの解像度が相異する場合に前記参照ビューピクチャーに適用されるサンプリングはアップサンプリングまたはダウンサンプリングを意味し得る。例えば、ビュー間解像度が異なる場合には参照ビューの復元されたピクチャーをアップサンプリングしてインタービュー参照ピクチャーが構成されることもある。

いずれのビューのピクチャーを利用してインタービュー参照ピクチャーを構成するかは符号化費用（ｃｏｄｉｎｇ ｃｏｓｔ）などを考慮して決定され得る。エンコーダはインタービュー参照ピクチャーで使用されるピクチャーが属するビュー（ｖｉｅｗ）を特定する情報を復号化装置に伝送することができる。

また、インタービュー予測において参照されるビュー、すなわち参照ビューの中で現在ブロックの予測に利用されるピクチャーは現在ピクチャー（現在ビュー内の予測対象ピクチャー）と同一ＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）のピクチャーであり得る。

減算器８２５は現在ブロックと予測ブロックの差分によってレジデュアルブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ、レジデュアル信号）を生成することができる。

変換部８３０はレジデュアルブロックに対して変換（ｔｒａｎｓｆｏｒｍ）を遂行して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を出力することができ、変換部８３０は変換ブロックを利用して変換を遂行できる。変換省略（ｔｒａｎｓｆｏｒｍ ｓｋｉｐ）モードが適用される場合に、変換部８３０はレジデュアルブロックに対する変換を省略することもできる。

量子化部８４０は変換係数を量子化パラメーターにより量子化して量子化された係数（ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）を出力することができる。

エントロピー符号化部８５０は、量子化部８４０で算出された値または符号化過程で算出された符号化パラメーター値などを確率分布によりエントロピー符号化してビットストリームを出力することができる。エントロピー符号化部８５０はビデオの画素情報の他にビデオデコーディングのための情報（例えば、シンタックスエレメント（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）など）をエントロピー符号化することもできる。

符号化パラメーターは符号化および復号化に必要な情報であって、シンタックスエレメントとともにエンコーダで符号化されて復号化装置に伝達される情報だけでなく、符号化あるいは復号化過程で類推され得る情報を含むこともできる。

レジデュアル信号は元の信号と予測信号の差を意味し得、また、元の信号と予測信号の差が変換（ｔｒａｎｓｆｏｒｍ）された形態の信号または元の信号と予測信号の差が変換されて量子化された形態の信号を意味することもある。ブロック単位で、レジデュアル信号はレジデュアルブロックといえる。

エントロピー符号化が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに複数のビットが割り当てられてシンボルが表現されることによって、符号化対象シンボルに対するビット列の大きさを減少させることができる。したがって、エントロピー符号化を通じて映像符号化の圧縮性能を高めることができる。

エントロピー符号化のために指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）またはＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）のような符号化方法が使用され得る。例えば、エントロピー符号化部８５０は可変長符号化（ＶＬＣ：Ｖａｒｉａｂｌｅ Ｌｅｎｇｈｔｈ Ｃｏｄｉｎｇ／Ｃｏｄｅ）テーブルを利用してエントロピー符号化を遂行できる。また、エントロピー符号化部８５０は対象シンボルの２進化（ｂｉｎａｒｉｚａｔｉｏｎ）方法および対象シンボル／ビン（ｂｉｎ）の確率モデル（ｐｒｏｂａｂｉｌｉｔｙ ｍｏｄｅｌ）を導き出した後、導き出された２進化方法または確率モデルを使用してエントロピー符号化を遂行することもできる。

量子化された係数は逆量子化部８６０で逆量子化され、逆変換部８７０で逆変換され得る。逆量子化、逆変換された係数は加算器８７５を通じて予測ブロックと合算されて復元ブロックが生成され得る。

復元ブロックはフィルタ部８８０を経由し、フィルタ部８８０はデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）のうち少なくとも一つ以上を復元ブロックまたは復元ピクチャーに適用することができる。フィルタ部８８０を経た復元ブロックは参照映像バッファー８９０に保存され得る。

図９はビデオデコーダの一実施例に係る構成を示すブロック図である。

図９はマルチビュー構造に対して適用可能なビデオデコーダの一実施例を示したもので、マルチビュー構造に対するビデオデコーダは単一ビュー構造に対するビデオデコーダを拡張（ｅｘｔｅｎｓｉｏｎ）して具現することができる。

このとき、図９のビデオデコーダは図７の実映像デコーダおよび／または奥行き情報マップデコーダで使用され得る。説明の便宜のために、本明細書では「復号化」と「デコーディング」が混用され、「復号化装置」と「デコーダ」が混用され得る。

図９を参照すれば、前記ビデオデコーダ９００はエントロピー復号化部９１０、逆量子化部９２０、逆変換部９３０、イントラ予測部９４０、インター予測部９５０、フィルタ部９６０および参照ピクチャーバッファー９７０を含む。

ビデオデコーダ９００はエンコーダで出力されたビットストリームの入力を受けてイントラモードまたはインターモードで復号化を遂行し、再構成された映像、すなわち復元映像を出力することができる。

イントラモードである場合、スイッチがイントラ予測のために転換され、インターモードである場合、スイッチがインター予測のために転換され得る。

ビデオデコーダ９００は入力を受けたビットストリームから復元されたレジデュアルブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を得て予測ブロックを生成した後、復元されたレジデュアルブロックと予測ブロックを出して再構成されたブロック、すなわち復元ブロックを生成することができる。

エントロピー復号化部９１０は、入力されたビットストリームを確率分布によりエントロピー復号化して、量子化された係数（ｑｕａｎｔｉｚｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）とシンタックスエレメントなどの情報を出力することができる。

量子化された係数は逆量子化部９２０で逆量子化され、逆変換部９３０で逆変換される。量子化された係数を逆量子化／逆変換して、復元されたレジデュアルブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）が生成され得る。

イントラモードである場合、イントラ予測部９４０は現在ブロック周辺のすでに符号化されたブロックの画素値を利用して現在ブロックに対する予測ブロックを生成することができる。

インターモードである場合、インター予測部９５０は動きベクトルおよび参照ピクチャーバッファー９７０に保存されている参照ピクチャーを利用して動き補償を遂行することによって、現在ブロックに対する予測ブロックを生成することができる。

マルチビュー構造の場合、インターモードで適用されるインター予測はインタービュー予測を含むことができる。インター予測部９５０は参照ビューのピクチャーをサンプリングしてインタービュー参照ピクチャーを構成することができる。インター予測部９５０はインタービュー参照ピクチャーを含む参照ピクチャーリストを利用してインタービュー予測を遂行できる。ビュー間の参照関係はビュー間の依存性を特定する情報を通じてシグナリングされ得る。

一方、現在ビューピクチャー（現在ピクチャー）と参照ビューピクチャーが同じ大きさである場合に前記参照ビューピクチャーに適用されるサンプリングは参照ビューピクチャーからのサンプルコピーまたは補間による参照サンプルの生成を意味し得る。現在ビューピクチャーと参照ビューピクチャーの解像度が相異する場合に前記参照ビューピクチャーに適用されるサンプリングはアップサンプリングまたはダウンサンプリングを意味し得る。

例えば、ビュー間解像度が異なる場合にビュー間にインタービュー予測が適用されると、参照ビューの復元されたピクチャーをアップサンプリングしてインタービュー参照ピクチャーが構成され得る。

このとき、インタービュー参照ピクチャーで使用されるピクチャーが属するビューを特定する情報はエンコーダからデコーダに伝送され得る。

また、インタービュー予測において参照されるビュー、すなわち参照ビューの中で現在ブロックの予測に利用されるピクチャーは現在ピクチャー（現在ビュー内の予測対象ピクチャー）と同一ＡＵ（Ａｃｃｅｓｓ Ｕｎｉｔ）のピクチャーであり得る。

復元されたレジデュアルブロックと予測ブロックは加算器９５５で加算されて、復元ブロックが生成される。換言すれば、レジデュアルサンプルと予測サンプル加算されて復元されたサンプルまたは復元されたピクチャーが生成される。

復元されたピクチャーはフィルタ部９６０でフィルタリングされる。フィルタ部９６０はデブロッキングフィルタ、ＳＡＯ、ＡＬＦのうち少なくとも一つ以上を復元ブロックまたは復元ピクチャーに適用することができる。フィルタ部９６０は再構成された（ｍｏｄｉｆｉｅｄ）あるいはフィルタリングされた（ｆｉｌｔｅｒｅｄ）復元ピクチャー（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｃｔｕｒｅ）を出力する。復元映像は参照ピクチャーバッファー９７０に保存されてインター予測に使用され得る。

図８と図９ではそれぞれのモジュールが互いに異なる機能を遂行するものとして説明したが、本発明はこれに限定されず、一つのモジュールで二以上の機能を遂行することができる。例えば、図８と図９でイントラ予測部とインター予測部の動作は一つのモジュール（予測部）で遂行されることもある。

一方、図８および図９では一つのエンコーダ／デコーダがマルチビューに対する符号化／復号化をすべて処理するものとして説明したが、これは説明の便宜のためのものであって、エンコーダ／デコーダはビュー別に構成されることもある。

この場合、現在ビューのエンコーダ／デコーダは他のビューの情報を利用して現在ビューの符号化／復号化を遂行できる。例えば、現在ビューの予測部（インター予測部）は他のビューのピクセル情報または復元されたピクチャー情報を利用して現在ブロックに対するイントラ予測またはインター予測を遂行することもできる。

ここでは、ビュー間の予測だけを例にして説明したが、エンコーダ／デコーダはビュー別に構成されるか一つの装置がマルチビューを処理するかにかかわらず、他のビューの情報を利用して現在レイヤーに対する符号化／復号化を遂行できる。

本発明でビューに関する説明はスケーラビリティーを支援するレイヤー（ｌａｙｅｒ）に対しても同様に適用できる。例えば、本発明でビュー（ｖｉｅｗ）はレイヤー（ｌａｙｅｒ）であり得る。

図１０は３次元ビデオコーデックに対する予測構造の一例を示す図面である。説明の便宜上図１０では３台のカメラで獲得した実映像と実映像に対応される奥行き情報マップを符号化するための予測構造を示している。

図１０では３台のカメラで獲得された３つの実映像は視点（ｖｉｅｗ）によりＴ０、Ｔ１、Ｔ２で表現し、実映像に対応される３つの奥行き情報マップは視点（ｖｉｅｗ）によりそれぞれＤ０、Ｄ１、Ｄ２で表現した。ここで、Ｔ０とＤ０は視点０（Ｖｉｅｗ ０）で獲得した映像で、Ｔ１とＤ１は視点１（Ｖｉｅｗ １）で獲得した映像であり、Ｔ２とＤ２は視点２（Ｖｉｅｗ ２）で獲得した映像である。このとき、図１０に図示された四角形は映像（ピクチャー）を表わす。

各映像（ピクチャー）は符号化／復号化タイプによりＩピクチャー（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ）、Ｐピクチャー（Ｕｎｉ−ｐｒｅｄｉｃｔｉｏｎ Ｐｉｃｔｕｒｅ）、Ｂピクチャー（Ｂｉ−ｐｒｅｄｉｃｔｉｏｎ Ｐｉｃｔｕｒｅ）に分けられ、各ピクチャーは各ピクチャーの符号化／復号化タイプにより符号化／復号化され得る。Ｉピクチャーではインター予測なしに映像自体を符号化し、Ｐピクチャーでは単方向に存在する参照映像だけを利用してインター予測をし、Ｂピクチャーでは両方向に存在する参照映像を利用してインター予測を遂行できる。このとき、図１０の矢印は予測方向を表わす。すなわち、予測方向により実映像とそれの奥行き情報マップは互いに依存的に符号化／復号化され得る。

インター予測を通じて映像の符号化／復号化を遂行するためには現在ブロックの動き情報が必要である。現在ブロックの動き情報を類推する方法としては、現在ブロックと隣接したブロックの動き情報を利用する方法、同じ視点内で時間的相関性を利用する方法、または隣接した視点で視点間相関性を利用する方法があり、前述したインター予測方法は一つのピクチャーで混用されて使用され得る。ここで、現在ブロックは予測が遂行されるブロックをいう。動き情報は動きベクトル、参照映像番号および／または予測方向（例えば、単方向予測であるか両方向予測であるか、時間的相関性を利用するかまたは視点間相関性を利用するかの可否など）を意味することもある。

このとき、予測方向は参照ピクチャー目録（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｌｉｓｔ：ＲｅｆＰｉｃＬｉｓｔ）の使用により、単方向予測と両方向予測に大別され得る。単方向予測は純方向参照ピクチャー目録（ＬＩＳＴ ０、Ｌ０）を使う順方向予測（Ｐｒｅｄ＿Ｌ０：Ｐｒｅｄｉｃｔｉｏｎ Ｌ０）と逆方向参照ピクチャー目録（ＬＩＳＴ １、Ｌ１）を使う逆方向予測（Ｐｒｅｄ＿Ｌ１：Ｐｒｅｄｉｃｔｉｏｎ Ｌ１）に区分される。また、両方向予測（Ｐｒｅｄ＿ＢＩ：Ｐｒｅｄｉｃｔｉｏｎ ＢＩ）は順方向参照ピクチャー目録（ＬＩＳＴ ０）と逆方向参照ピクチャー目録（ＬＩＳＴ １）をすべて使用して、順方向予測と逆方向予測がすべて存在することをいい、順方向参照ピクチャー目録（ＬＩＳＴ ０）を逆方向参照ピクチャー目録（ＬＩＳＴ １）にコピーして順方向予測が二つ存在する場合も両方向予測に含むことができる。

予測方向の有無はｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１を使用して定義することができる。このとき、ｐｒｅｄＦｌａｇＬ０は順方向参照ピクチャー目録（Ｌｉｓｔ ０）の使用可否を指示する指示子であり、ｐｒｅｄＦｌａｇＬ１は逆方向参照ピクチャー目録（Ｌｉｓｔ １）の使用可否を指示する指示子に該当する。例えば、単方向予測で順方向予測の場合にはｐｒｅｄＦｌａｇＬ０が「１」となりｐｒｅｄＦｌａｇＬ１は「０」となり得、単方向予測で逆方向予測の場合にはｐｒｅｄＦｌａｇＬ０が「０」となりｐｒｅｄＦｌａｇＬ１が「１」となり得、両方向予測の場合にはｐｒｅｄＦｌａｇＬ０が「１」となりｐｒｅｄＦｌａｇＬ１が「１」となり得る。

動き予測方法は１）動きベクトル予測器（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）と差分動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）を利用する方法と、２）動き併合を使用するかの可否を表わすフラグ（ｍｅｒｇｅ＿ｆｌａｇ）といずれの位置にある動きを相続するかに対する情報であるインデックス（ｍｅｒｇｅ＿ｉｄｘ）を利用する併合動き誘導すなわち、マージ方法がある。以下、マージに関する具体的な内容を後述する。

図１１は現在ブロックに対するマージ候補リスト（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）の構成に使用される周辺ブロックを示した一例である。

マージモード（ｍｅｒｇｅ ｍｏｄｅ）はインター予測を遂行する方法の中の一つであり、マージモードでは現在ブロックの動き情報（例えば、動きベクトル、参照ピクチャーリスト、参照ピクチャーインデックスのうち少なくとも一つ）として現在ブロックの周辺ブロックの動き情報を利用することができる。このとき、周辺ブロックの動き情報を現在ブロックの動き情報として使用するのをマージング（ｍｅｒｇｉｎｇ）、動き併合（ｍｏｔｉｏｎ ｍｅｒｇｉｎｇ）または併合動き（ｍｅｒｇｉｎｇ ｍｏｔｉｏｎ）という。

マージモードでは符号化ユニット（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ、以下「ＣＵ」という）単位の併合動き（ｍｅｒｇｉｎｇ）と予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ、以下「ＰＵ」という）単位の併合動きが可能である。

ブロック単位（例えば、ＣＵまたはＰＵ）（以下、説明の便宜のために「ブロック」という）で併合動きを遂行する場合には、ブロック パーティション（ｐａｒｔｉｔｉｏｎ）別に併合動きを遂行するかの可否に関する情報と現在ブロックに隣接した周辺ブロックのうちいずれのブロックと併合動きをするかに対する情報が必要である。

併合動きを遂行するためにマージ候補リスト（ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）すなわち、併合動き候補リストを構成することができる。

マージ候補リストは動き情報のリストをいい、マージモードが遂行される前に生成され得る。ここで、マージ候補リストの動き情報は現在ブロックに隣接した周辺ブロックの動き情報であるか、すでにマージ候補リストに存在する動き情報を組み合わせて作った新しい動き情報であり得る。周辺ブロックの動き情報（例えば、動きベクトルおよび／または参照ピクチャーインデックス）は周辺ブロックによって特定されるあるいは周辺ブロックに保存された（周辺ブロックのデコーディングに使用された）動き情報であり得る。

このとき、周辺ブロックは図１１に図示された通り、現在ブロックと空間的（ｓｐａｔｉａｌ）に隣接して位置した周辺ブロック（ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）と、現在ブロックと時間的（ｔｅｍｐｏｒａｌ）に対応される同一位置の候補ブロック（ｃｏ−ｌｏｃａｔｅｄ ｂｌｏｃｋ）（ＨあるいはＭ）を含むことができる。同一位置の候補ブロックは現在ブロックを含む現在ピクチャーと時間的に対応される同一位置のピクチャー（ｃｏ−ｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）内の対応位置のブロックをいう。同一位置のピクチャー内のＨブロックが使用可能であればＨブロックを同一位置の候補ブロックに決定し、Ｈブロックが使用不可能であれば同一位置のピクチャー内のＭブロックを同一位置の候補ブロックに決めることができる。

マージ候補リストの構成時に、周辺ブロック（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）および同一位置の候補ブロック（ＨあるいはＭ）の動き情報が現在ブロックのマージ候補リストを構成するマージ候補（ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ）として利用できるかが判断される。すなわち、現在ブロックのインター予測に利用可能なブロックの動き情報がマージ候補としてマージ候補リストに追加され得る。

例えば、Ｘブロックに対するマージ候補リストを構成する方法で、１）まず、周辺ブロックＡが使用できる場合、周辺ブロックＡをマージ候補リストに含ませる。２）その後、周辺ブロックＢの動き情報が周辺ブロックＡの動き情報と同一でない場合にのみ周辺ブロックＢをマージ候補リストに含ませる。３）同じ方法で周辺ブロックＣの動き情報が周辺ブロックＢの動き情報とは異なる場合にのみ周辺ブロックＣをマージ候補リストに含ませ、４）周辺ブロックＤの動き情報が周辺ブロックＣの動き情報とは異なる場合にのみ周辺ブロックＤをマージ候補リストに含ませる。また、５）周辺ブロックＥの動き情報が周辺ブロックＤの動き情報と異なる場合にのみ周辺ブロックＥをマージ候補リストに含ませ、６）最後に、マージ候補リストには周辺ブロックＨ（あるいはＭ）を含ませる。すなわち、それぞれの周辺ブロックはＡ→Ｂ→Ｃ→Ｄ→Ｅ→Ｈ（あるいはＭ）ブロックの順序でマージ候補リストに追加され得る。ここで、同じ動き情報は同じ動きベクトル、同じ参照ピクチャー、および同じ予測方向（単方向、両方向）を使用するものを意味し得る。

ここでは、周辺ブロックをマージ候補としてマージ候補リストに追加するという表現と周辺ブロックの動き情報をマージ候補としてマージ候補リストに追加するという表現を混用したが、これは説明の便宜のためのものであって、二つの表現は実質的に同じである。例えば、マージ候補としての周辺ブロックは該当ブロックの動き情報を意味するといえる。

図１２は隣接した視点の動き情報を利用して、現在ブロックの動き情報を誘導する過程の一例を示す図面である。

図１２では説明の便宜のために一つの隣接した視点だけを利用して現在ブロックの動き情報を誘導する過程を例示したが、隣接した視点は二以上の場合もあり得る。

図１２を参照すれば、３次元ビデオシステムでは動き情報を効率的に符号化／復号化するために、隣接した視点の動き情報を利用することができる。具体的に、図１２の現在ブロック（現在位置Ｘに対するブロック）は現在ブロックに対する動き情報を誘導するために、隣接した視点に位置した対象ブロック（参照位置ＸＲ）を探す。このとき、隣接した視点に位置した対象ブロックは現在ブロックに対応されるブロックを意味し、現在視点での現在ピクチャーと参照視点での現在ピクチャーはカメラ位置の差があるだけで、前述した通り、変移ベクトル（Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ、ＤＶ）を利用して隣接した視点に位置した対象ブロックを誘導することができる。

図１３は一つの予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）が複数のサブ予測ユニット（Ｓｕｂ−Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）に分けられる一例を示す図面である。

図１３では６４ｘ６４の大きさを有する予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ、ＰＵ）が８ｘ８大きさのサブ予測ユニットに分けられる一例を示している。図１３では説明の便宜のために、予測ユニットが６４ｘ６４の大きさを有するものとして説明するが、予測ユニットは６４ｘ６４の大きさだけでなく、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４などの大きさを有することもできる。３次元ビデオシステムでは一つの予測ユニットが複数のサブ予測ユニット（Ｓｕｂ−Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）に分割され得る。このとき、変移ベクトルを利用した動き情報の誘導はサブ予測ユニット単位で遂行される。サブ予測ユニットの大きさは既設定された大きさ（例えば、４ｘ４、８ｘ８、１６ｘ１６など）を有することができ、サブ予測ユニットの大きさは符号化時に指定され得る。サブ予測ユニットの大きさに対する情報はビデオパラメーターセット拡張シンタックス（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ Ｅｘｔｅｎｓｉｏｎ ｓｙｎｔａｘ、ＶＰＳ Ｅｘｔｅｎｓｉｏｎ ｓｙｎｔａｘ）内に含まれてシグナリングされ得る。

図１４は参照ブロックを利用して現在ブロックの動き情報を誘導する過程の一例を示す図面である。

現在ブロックに対する動き情報の誘導過程は参照ブロックに存在する動き情報を現在ブロックの動き情報に設定することを意味し、一般的に動き情報の誘導は予測ブロック単位でなされる。しかし、３次元ビデオシステムでは動き情報を効率的に符号化／復号化するために、現在視点（ｖｉｅｗ）で現在ピクチャーに位置した現在ブロック（Ｘ）に対して予測ブロック単位だけでなく、それぞれのサブ予測ユニット単位でも動き情報を誘導することができる。

すなわち、３次元ビデオシステムでは参照ブロック（ＸＲ）のサブ予測ユニットに存在する動き情報を現在ブロック（Ｘ）のサブ予測ユニットに対する動き情報に設定することができる。このとき、参照ブロック（ＸＲ）は参照視点での現在ピクチャーに位置した参照ブロック（ＸＲ）を意味し得、具体的な動き情報誘導過程は後述する。

インター予測部は前述した通り、参照視点の誘導された参照ブロック内で予測ユニット単位だけでなく、サブ予測ユニット単位でも動き情報を誘導することができる。インター予測部が参照視点の誘導された参照ブロック内でサブ予測ユニット単位で動き情報を持ち込む時すべてのサブ予測ユニットが動き情報を有しているのではない。すなわち、参照ブロック内では動き情報を持ち込むことができない部分がある。参照ブロック内で動き情報を持ち込むことができない場合を補完するために、インター予測部は参照ブロックの中央に位置したサブ予測ユニットに使用できる動き情報が存在するか検査する。

参照ブロックの中央に位置したサブ予測ユニットに使用できる動き情報が存在する場合、インター予測部は参照ブロックの中央に位置したサブ予測ユニットに存在する動き情報を保存空間に保存し、保存空間はビデオ符号化／復号化装置の他に存在する別途の保存装置を意味し得、ビデオ符号化／復号化装置内部に位置することもある。また、保存空間はメモリー、プロセッサなどを意味し得、保存空間は物理的空間ではない仮想のすなわち、論理的保存空間を意味することもある。このとき、保存空間に保存された動き情報は初期動き情報を意味し得る。

インター予測部が現在ブロックのサブ予測ユニットに対して動き情報を誘導する時、現在ブロックのサブ予測ユニットに対応される参照ブロックのサブ予測ユニットに動き情報が存在しない場合には、前述した初期動き情報を現在ブロックのサブ予測ユニットに対する動き情報として使用することができる。万一、参照ブロックの中央に位置したサブ予測ユニットに使用できる動き情報が存在しない場合、インター予測部は時間的視点間動き情報予測は使用しないことがある。このとき、動き情報は動き併合候補すなわち、マージ候補として使用され得る。

３次元映像で、併合動き候補リストすなわち、マージ候補リスト（Ｍｅｒｇｅ ｃａｎｄｉｄａｔｅ ｌｉｓｔ）を構成する時、１）既存の２次元映像符号化／復号化（例えば、ＨＥＶＣなど）でのマージ候補を誘導した後、２） ３次元映像符号化／復号化（例えば、３Ｄ−ＨＥＶＣなど）でのマージ候補を誘導してリストを構成することができる。説明の便宜のために２次元映像符号化／復号化でのマージ候補が誘導された後、３次元映像符号化／復号化でのマージ候補が誘導されると叙述したが、本明細書ではマージ候補の誘導は前述した順序によって限定されるものではない。また、マージ候補リストを構成する時、原則的には定められた順序によりマージ候補がリストに配列されるが、本明細書では映像符号化／復号化の状況によってマージ候補が適応的に再配列されることを権利範囲から除外するものではない。

既存の２次元映像符号化／復号化マージ候補は現在ブロックに対して空間的（ｓｐａｔｉａｌ）時間的（ｔｅｍｐｏｒａｌ）に隣接したブロックの動き情報を意味し得、３次元映像符号化／復号化マージ候補は３次元映像の映像の特性に合うように追加されたマージ候補を意味し得る。

ここで、現在ブロックに対して空間的、時間的に隣接したブロックの動き情報はＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）候補を含むことができ、Ａ１は前述した通り、予測対象ブロックの左側に位置したブロックの動き情報を意味し、Ｂ１は前述した通り、予測対象ブロックの上側に位置したブロックの動き情報を意味し得る。Ｂ０は前述した通り、予測対象ブロックの右上側に位置したブロックの動き情報を意味し、Ａ０は前述した通り、予測対象ブロックの左下側に位置したブロックの動き情報を意味し、Ｂ２は前述した通り、予測対象ブロックの左上側に位置したブロックの動き情報を意味し得る。また、Ｃｏｌ（ＨあるいはＭ）は前述した通り、現在ブロックを含む現在ピクチャーと時間的に対応される同一位置のピクチャー（ｃｏ−ｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）内の対応位置のブロックを通じて誘導された動き情報を意味し得る。

また、３次元映像の特性に合うように追加されたマージ候補は、モーションパラメーター相続（Ｍｏｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、ＢｉおよびＺｅｒｏ候補を含むことができる。このとき、ＭＰＩは前述した実映像の動き情報を相続する動き情報を意味し、ＩｖＭＣは視点間マージを利用する動き情報を意味し、ＩｖＤＣは前述した変移ベクトルを利用（すなわち、視差を利用）して誘導された動き情報を意味し得る。また、ＶＳＰは視点を合成して誘導した動き情報を意味し、ＳｈｉｆｔＩＶは補正された視差を利用して誘導された動き情報を意味し得る。Ｂｉは両方向を利用して誘導された動き候補を意味し、Ｚｅｒｏはゼロベクトルを意味し得る。

図１５は視点合成予測（Ｖｉｅｗ−Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）の概念を概略的に図示したものである。

図１５に示した通り、視点合成予測はテクスチャピクチャー（Ｔｅｘｔｕｒｅ ｐｉｃｔｕｒｅ）、参照テクスチャピクチャー（Ｒｅｆｅｒｅｎｃｅ ｔｅｘｔｕｒｅ ｐｉｃｔｕｒｅ）および参照奥行きピクチャー（Ｒｅｆｅｒｅｎｃｅ ｄｅｐｔｈ ｐｉｃｔｕｒｅ）を利用することができ、テクスチャピクチャーには現在ブロック（Ｃｕｒｒｅｎｔ ｂｌｏｃｋ）および隣接ブロック（ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）が含まれ得る。また、参照奥行きピクチャーにはＶＳＰに使用される奥行きブロックと、ＶＳＰに使用される奥行きブロックに隣接したブロックが含まれ得る。

テクスチャピクチャーはマージ候補の誘導がなされるピクチャーであり、テクスチャピクチャーは実映像を意味し得る。現在ブロックはテクスチャピクチャー内に存在し、予測がなされるブロックを意味する。現在ブロックは符号化ユニットを意味し得、現在ブロックで予測がなされるという点で、現在ブロックは予測ユニットまたは前述したサブ予測ユニットを意味することもある。「テクスチャピクチャー」は「テクスチャスライス（ｔｅｘｔｕｒｅ ｓｌｉｃｅ）」、「テクスチャビュー（ｔｅｘｔｕｒｅ ｖｉｅｗ）」、「テクスチャ映像（ｔｅｘｔｕｒｅ ｉｍａｇｅ）」および／または「実ピクチャー」などを意味し得、説明の便宜のために「テクスチャピクチャー」は「テクスチャスライス（ｔｅｘｔｕｒｅ ｓｌｉｃｅ）」、「テクスチャビュー（ｔｅｘｔｕｒｅ ｖｉｅｗ）」、「テクスチャ映像（ｔｅｘｔｕｒｅ ｉｍａｇｅ）」および／または「実ピクチャー」などと表現され得る。

参照テクスチャピクチャーはテクスチャピクチャーとは異なる視点のテクスチャピクチャーを意味し、テクスチャピクチャーに対する参照テクスチャピクチャーは複数の個数であり得る。原則的に、参照テクスチャピクチャーはテクスチャピクチャーとは異なる視点のテクスチャピクチャーを意味するが、本明細書では参照テクスチャピクチャーはテクスチャピクチャーと同じ視点である場合を排除するものではない。また、「参照テクスチャピクチャー」は「参照テクスチャスライス（Ｒｅｆｅｒｅｎｃｅ ｔｅｘｔｕｒｅ ｓｌｉｃｅ）」、「参照テクスチャビュー（Ｒｅｆｅｒｅｎｃｅ ｔｅｘｔｕｒｅ ｖｉｅｗ）」、「参照テクスチャ映像（Ｒｅｆｅｒｅｎｃｅ ｔｅｘｔｕｒｅ ｉｍａｇｅ）」および／または「参照実ピクチャー」などを意味し得、説明の便宜のために「参照テクスチャピクチャー」は「参照テクスチャスライス（Ｒｅｆｅｒｅｎｃｅ ｔｅｘｔｕｒｅ ｓｌｉｃｅ）」、「参照テクスチャビュー（Ｒｅｆｅｒｅｎｃｅ ｔｅｘｔｕｒｅ ｖｉｅｗ）」、「参照テクスチャ映像（Ｒｅｆｅｒｅｎｃｅ ｔｅｘｔｕｒｅ ｉｍａｇｅ）」および／または「参照実ピクチャー」などと表現され得る。

参照奥行きピクチャーは前述したテクスチャピクチャーとは異なる視点に存在する奥行き情報マップを意味し、奥行き情報マップは前述した過程を通じて求めることができる。原則的に、参照奥行きピクチャーはテクスチャピクチャーとは異なる視点の奥行きピクチャーを意味するが、本明細書では参照奥行きピクチャーがテクスチャピクチャーと同じ視点である場合を排除するものではない。また、「参照奥行きピクチャー」は「参照奥行きスライス（Ｒｅｆｅｒｅｎｃｅ ｄｅｐｔｈ ｓｌｉｃｅ）」、「参照奥行きビュー（Ｒｅｆｅｒｅｎｃｅ ｄｅｐｔｈ ｖｉｅｗ）」、「参照奥行き映像（Ｒｅｆｅｒｅｎｃｅ ｄｅｐｔｈ ｉｍａｇｅ）」および／または「参照奥行きピクチャー」などを意味し得、説明の便宜のために「参照奥行きピクチャー」は「参照奥行きスライス（Ｒｅｆｅｒｅｎｃｅ ｄｅｐｔｈ ｓｌｉｃｅ）」、「参照奥行きビュー（Ｒｅｆｅｒｅｎｃｅ ｄｅｐｔｈ ｖｉｅｗ）」、「参照奥行き映像（Ｒｅｆｅｒｅｎｃｅ ｄｅｐｔｈ ｉｍａｇｅ）」および／または「参照奥行きピクチャー」などと表現され得る。

ＶＳＰは変移ベクトル（Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ：ＤＶ）、参照された奥行き情報マップと該当視点の一般映像情報を利用して生成される。

ＶＳＰを生成する方法に対して図１５を通じてより具体的に説明すれば、１． ３次元映像符号化／復号化装置は現在ブロックと隣り合うブロックに存在するＤＶを誘導する。以後、３次元映像符号化／復号化装置は２． 隣り合うブロックからＤＶをコピーし、３． 参照テクスチャピクチャーを利用したバックワードワーピングを通じて仮想の新しく生成されたブロックを生成する。以後、現在ブロックは仮想の新しく生成されたブロックをＶＳＰ予測情報、すなわちＶＳＰマージ候補として使用する。

図１６は３次元映像符号化／復号化で、ＶＳＰ候補として相続される周辺ブロックの一例を図示したものである。

３次元映像符号化／復号化でインター予測をする場合、現在ブロックの空間的に隣り合うブロックとしてＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２があり得、現在ブロックは予測ブロックおよび／またはサブ予測ユニットを意味し得、現在ブロックは正方形または非正方形であり得る。隣り合うブロックはそれぞれ予測ブロック／サブ予測ブロック単位であり得、隣り合うブロックは復元されたブロックを意味することもある。また、隣り合うブロックのそれぞれの大きさは現在ブロックと同じ大きさまたは現在ブロックと相異する大きさを有することができ、現在ブロックと相異する大きさを有するとは現在ブロックより小さい大きさまたは大きい大きさを有することを意味し得、隣り合うブロックは正方形または非正方形であり得る。

このとき、現在ブロックの隣り合うブロックのうち、ＶＳＰを利用する空間的に隣り合うブロックが存在することができ、例えば、図１６と同様に、現在ブロックの隣り合うブロックすなわち、周辺ブロックのうちＡ１、Ｂ０がＶＳＰを使用することもできる。

空間的周辺ブロック（例えば、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２）がＶＳＰを使用する場合、ＶＳＰを使用する空間的周辺ブロックはＶＳＰで相続（Ｉｎｈｅｒｉｔａｎｃｅ）するとし、相続されたＶＳＰ候補（Ｉｎｈｅｒｉｔｅｄ ＶＳＰ ｃａｎｄｉｄａｔｅ）といえ、このとき、相続されたＶＳＰ候補は現在ブロックのＶＳＰ候補と同じ変移ベクトルを使用する。

図１７は３次元映像符号化／復号化で、マージ候補リストの一例を図示したものである。

図１７は図１６と同様に、現在ブロックの隣り合うブロックのうちＡ１、Ｂ０がＶＳＰ候補を使用する場合、すなわち、Ａ１、Ｂ０が相続されたＶＳＰ候補である場合のマージ候補リスト生成方法に対する一例を概略的に図示したものである。図１７ではＡ１、Ｂ０が相続されたＶＳＰ候補である場合に対して叙述したが、空間的周辺ブロック（Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２）それぞれは相続されたＶＳＰ候補を有することもできる。すなわち、左下側（Ａ０）、左側（Ａ１）、上側（Ｂ１）、右上側（Ｂ０）および／または左上側（Ｂ２）に位置したそれぞれのブロックはそれぞれＶＳＰ候補として相続が可能であり、このとき、他の周辺ブロックが相続されたＶＳＰ候補であるかとはかかわらずそれぞれの周辺ブロックはＶＳＰ候補として相続が可能である。

図１６、図１７での一例のように、Ａ１、Ｂ０が相続されたＶＳＰ候補である場合にはマージ候補リストにＡ１、ＩｖＤＣ、ＶＳＰ、Ｂ０が挿入される。このとき、Ａ１、Ｂ０が相続されたＶＳＰ候補である場合にはマージ候補リストに同じ変移ベクトルが重複的に挿入されることとなる。マージ候補リストに同じ変移ベクトルが重複的に挿入すなわち、複数の同じ候補がリストに挿入されることは符号化効率的側面から見た時、利得のない構成であって、かえってより効率が良好であり得る他のマージ候補のマージ候補リスト挿入可能性を制限する構成である。

したがって、複数の同じマージ候補が重複的にマージ候補リストに挿入されることを防止して符号化効率を向上させることが要され、複数の同じマージ候補が重複的にマージ候補リストに挿入される代わりに、すでに挿入されたマージ候補とは異なるマージ候補がマージ候補リストに挿入される装置および方法が要求される。

以下、３次元映像符号化／復号化で、ＶＳＰ候補の挿入が制限される装置および方法を提案し、本装置および方法を通じて、マージ候補リストでのＶＳＰ候補活用の効率性と他の候補の活用可能性が確保され得る。また、本装置および方法を通じて、マージリストを構成するにあたっては、一つのＶＳＰ候補だけを使用することができる。また、３次元映像符号化／復号化でＶＳＰ候補間に発生し得る重複性が除去され、マージリストに他の候補を挿入することができるため、符号化／復号化効率を向上することができる。

図１８は本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する方法のフローチャートである。

図１８によれば、３次元映像符号化／復号化装置は併合動き候補すなわち、マージ候補を誘導する（Ｓ１８１０）。誘導されたマージ候補は前述した通り、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補を含むことができ、また、それぞれのマージ候補に対する具体的な内容は前述した内容と同じである。

段階Ｓ１８１０で３次元映像符号化／復号化装置は誘導されたマージ候補をマージ候補リストに挿入することができる。例えば、段階Ｓ１８１０での誘導されたマージ候補はＡ１および／またはＢ１を意味し得、３次元映像符号化／復号化装置はＡ１および／またはＢ１をマージ候補リストに挿入することもできる。

３次元映像符号化／復号化装置は空間的候補のうちＶＳＰを使用するブロックがあるかに対して判断する（Ｓ１８２０）。空間的候補は空間的周辺ブロックを意味し得、空間的周辺ブロックは前述した通り、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２および／またはＣｏｌ（ＨまたはＭ）候補を含むことができ、例えば、段階Ｓ１８２０で判断される空間的候補ブロックはＡ１、および／またはＢ１であり得る。また、空間的候補のうちＶＳＰを使用するブロックは相続されたＶＳＰ候補を意味し得、相続されたＶＳＰ候補に対する具体的な説明は前述した内容と同じである。

空間的候補のうちＶＳＰを使用するブロックがない場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに挿入する（Ｓ１８３０）。このとき、マージ候補リストに挿入されるＶＳＰ候補は現在ブロックのＶＳＰ候補を意味し、ＶＳＰ候補に対する具体的な内容は前述した内容と同じである。

ＶＳＰ候補をマージ候補リストに挿入した後、３次元映像符号化／復号化装置は残りの併合動き候補を誘導（Ｓ１８４０）する。このとき、残りの併合動き候補すなわち、残りのマージ候補はＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補を含むことができ、万一、段階Ｓ１８１０〜Ｓ１８３０でマージリストに挿入された候補がある場合、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補のうちマージリストに挿入された候補を除いた候補を意味し得る。

例えば、段階Ｓ１８１０〜段階Ｓ１８３０でマージ候補リストにＡ１、Ｂ１、ＶＳＰ候補が挿入された場合、段階Ｓ１８４０では３次元映像符号化／復号化装置がＡ１、Ｂ１、ＶＳＰ候補を除いた残りのマージ候補をマージ候補リストに挿入するかの可否に対して誘導することができる。

もし、段階Ｓ１８２０で空間的候補のうちＶＳＰを使用するブロックすなわち、相続されたＶＳＰ候補がある場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに挿入せず、残りの併合動き候補を誘導する（Ｓ１８４０）。３次元映像符号化／復号化装置が残りの併合動き候補を誘導することに対する具体的な内容は前述した内容と同じである。

図１９は本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する方法を３Ｄ−ＨＥＶＣに具現したフローチャートである。

図１９によれば、３次元映像符号化／復号化装置は併合動き候補すなわち、マージ候補を誘導する（Ｓ１９１０）。このとき、３次元映像符号化／復号化装置がマージ候補を誘導する具体的な内容は前述した内容と同じである。

３次元映像符号化／復号化装置は空間的候補のうちＶＳＰを使用するブロックがあるかに対して判断する（Ｓ１９２０）。このとき、３次元映像符号化／復号化装置が空間的候補のうちＶＳＰを使用するブロックがあるかに対して判断する具体的な内容は前述した内容と同じである。

もし、空間的候補のうちＶＳＰを使用する周辺ブロックがある場合、３次元映像符号化／復号化装置はｓｋｉｐＶＳＰをｔｒｕｅに設定する（Ｓ１９３０）。このとき、ｓｋｉｐＶＳＰはＶＳＰ候補をマージ候補リストに挿入するかしないかを判断する情報を意味し、ｓｋｉｐＶＳＰがｔｒｕｅの場合にはＶＳＰ候補をマージ候補リストに挿入しない。また、ｓｋｉｐＶＳＰがｆａｌｓｅの場合にはＶＳＰ候補をマージ候補リストに挿入する。

もし、空間的候補のうちＶＳＰを使用する周辺ブロックがない場合、３次元映像符号化／復号化装置はｓｋｉｐＶＳＰをｆａｌｓｅに設定する（Ｓ１９４０）。

以後、３次元映像符号化／復号化装置はｓｋｉｐＶＳＰがｔｒｕｅであるか判断する（Ｓ１９５０）。

万一、ｓｋｉｐＶＳＰがｔｒｕｅではない場合、すなわち、ｓｋｉｐＶＳＰがｆａｌｓｅの場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに挿入する（Ｓ１９６０）。このとき、３次元映像符号化／復号化装置がＶＳＰ候補をマージ候補リストに挿入する具体的な内容は前述した内容と同じである。

以後、３次元映像符号化／復号化装置は残りの併合動き候補を誘導する（Ｓ１９７０）。このとき、３次元映像符号化／復号化装置が残りの併合動き候補を誘導する具体的な内容は前述した内容と同じである。

万一、段階Ｓ１９５０でｓｋｉｐＶＳＰがｔｒｕｅである場合、３次元映像符号化装置はＶＳＰ候補をマージ候補リストに挿入せず、残りの併合動き候補を誘導する（Ｓ１９７０）。ｓｋｉｐＶＳＰがｔｒｕｅである場合、３次元映像符号化装置がＶＳＰ候補をマージ候補リストに挿入せず、残りの併合動き候補を誘導する具体的な内容は前述した内容と同じである。

前述した方法では相続されたＶＳＰがある場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに追加しないことがある。すなわち、前述した方法を通じて３次元映像符号化／復号化装置は隣り合うブロックすなわち、周辺ブロックのうち相続されたＶＳＰがある場合、現在ブロックに対するＶＳＰ候補をマージ候補リストに追加しないことによって、マージ候補リストに存在するマージ候補の重複性を減少させることができ、マージ候補リストにＶＳＰ候補以外の追加的なマージ候補を挿入することもできるため、符号化効率を向上することができる。

相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置は、既存インター予測部にＶＳＰの重複性除去のためのモジュールが追加された構成であり得る。以下、本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置を図２０を参照してより具体的に説明する。

図２０は本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置のブロック図である。

図２０によれば、インター予測部２０００は既存の動き候補生成モジュール、ＶＳＰ重複性除去モジュール、３Ｄ動き候補生成モジュールを含むことができる。

既存の動き候補生成モジュールは併合動き候補すなわち、マージ候補を誘導する。誘導されたマージ候補は前述の通りであり、それぞれのマージ候補に対する具体的な内容は前述した内容と同じである。また、既存の動き候補生成モジュールは誘導されたマージ候補をマージ候補リストに挿入することができる。例えば、誘導されたマージ候補はＡ１および／またはＢ１を意味し得、３次元映像符号化／復号化装置はＡ１および／またはＢ１をマージ候補リストに挿入することもできる。

このとき、「既存の動き候補生成モジュール」は「空間的マージ候補挿入モジュール」を意味し得、以下、説明の便宜のために、「既存の動き候補生成モジュール」は「空間的マージ候補挿入モジュール」は混用され得る。

ＶＳＰ重複性（ｒｅｄｕｎｄａｎｃｙ）除去モジュールは空間的候補のうちＶＳＰを使用するブロックがあるかに対して判断することができる。空間的候補は空間的周辺ブロックを意味し得、空間的周辺ブロックは前述した通り、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２および／またはＣｏｌ（ＨまたはＭ）候補を含むことができ、例えば、ＶＳＰ重複性除去モジュールで判断される空間的候補ブロックはＡ１、および／またはＢ１であり得る。空間的候補のうちＶＳＰを使用するブロックは相続されたＶＳＰ候補を意味し得、相続されたＶＳＰ候補に対する具体的な説明は前述した内容と同じである。

また、３次元符号化／復号化において、ＶＳＰ重複性除去モジュールは前述した判断結果に基づいてｓｋｉｐＶＳＰ値をｔｒｕｅまたはｆａｌｓｅに設定することができる。このとき、ＶＳＰ重複性除去モジュールは前述した判断結果に基づいてｓｋｉｐＶＳＰ値をｔｒｕｅまたはｆａｌｓｅに設定する具体的な内容は前述した内容と同じである。

このとき、「ＶＳＰ重複性除去モジュール」は「ＶＳＰ重複性判断モジュール」を意味し得、以下、説明の便宜のために「ＶＳＰ重複性除去モジュール」と「ＶＳＰ重複性判断モジュール」は混用され得る。

３Ｄ動き候補生成モジュールはＶＳＰ候補をマージ候補リストに挿入した後、残りの併合動き候補を誘導する。３Ｄ動き候補生成モジュールが残りの併合動き候補を誘導する具体的な内容は前述した通りであり、残りの併合動き候補に関する具体的な内容も前述した内容と同じである。

例えば、既存の動き候補生成モジュールおよびＶＳＰ重複性除去モジュールでマージ候補リストにＡ１、Ｂ１、ＶＳＰ候補が挿入された場合、３Ｄ動き候補生成モジュールは３次元映像符号化／復号化装置がＡ１、Ｂ１、ＶＳＰ候補を除いた残りのマージ候補をマージ候補リストに挿入するかの可否に対して誘導することができる。

もし、空間的候補のうちＶＳＰを使用するブロックすなわち、相続されたＶＳＰ候補があるためＶＳＰ重複性除去モジュールが相続されたＶＳＰ候補があると判断した場合、３次元動き候補生成モジュールはＶＳＰ候補をマージ候補リストに挿入せず、残りの併合動き候補を誘導する。３次元映像符号化／復号化装置が残りの併合動き候補を誘導することに対する具体的な内容は前述した内容と同じである。

このとき、「３次元動き候補生成モジュール」は「３次元マージ候補挿入モジュール」、「ＶＳＰ候補挿入モジュール」を意味し得、以下、説明の便宜のために「３次元動き候補生成モジュール」、「３次元マージ候補挿入モジュール」、「ＶＳＰ候補挿入モジュール」は混用され得る。

相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置は、ＶＳＰ重複性除去モジュールが３Ｄ動き候補生成モジュールに拡張／追加される構成であり得る。このとき、既存の動き候補生成モジュールで判別された空間的に隣り合う候補のＶＳＰ使用可否により、ＶＳＰ候補が使用されるかが決定され得、ＶＳＰ候補が使用されるかに対する決定はＶＳＰ候補誘導に対する決定前に行われ得る。以下、本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置を図２１を通じてより具体的に説明する。

図２１は本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置のブロック図である。

図２１によれば、インター予測部２１００は既存の動き候補生成モジュール、３Ｄ動き候補生成モジュールを含むことができ、３Ｄ動き候補生成モジュールはＶＳＰ重複性除去モジュールを含むことができる。

既存の動き候補生成モジュールは前述した通りであり、既存の動き候補生成モジュールの具体的な内容は前述した内容と同じである。

３Ｄ動き候補生成モジュールはＶＳＰ重複性除去モジュールを含むことができ、既存の動き候補生成モジュールで判別された空間的に隣り合う候補のＶＳＰ使用可否により、ＶＳＰ候補の使用か決定され得、ＶＳＰ候補の使用に対する決定はＶＳＰ候補誘導に対する決定前に行われ得る。３Ｄ動き候補生成モジュールおよびＶＳＰ重複性除去モジュールに対する具体的な内容は前述した内容と同じである。

相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する時、３次元符号化／復号化装置は空間的マージ候補の中で二つまたは一つの方向だけを参照することができ、３次元符号化／復号化装置が空間的マージ候補の中で二つまたは一つの方向だけを参照することを通じてＶＳＰ使用可否を判断するフラグを参照する回数を減少させることができる。このとき、ＶＳＰ使用可否を判断するフラグを参照する回数が減少されることは３次元符号化／復号化装置のメモリー接近回数を減少させることができる。以下、前述した方法についてより具体的に説明する。

図２２は既存のマージ候補誘導方法と、本発明のさらに他の実施例に係るマージ候補誘導方法を比較したものである。

図２２の（ａ）は既存のマージ候補に対する誘導の一例を示している。図２２の（ａ）によれば、既存のマージ候補に対する誘導では空間的周辺ブロック（Ａ０、Ａ１、Ｂ０、Ｂ１および／またはＢ２）それぞれはＶＳＰモードで符号化／復号化すなわち、相続されたＶＳＰであり得る。３次元符号化／復号化装置は現在ブロックに対するマージ候補リストを構成する時、３次元符号化／復号化装置は空間的周辺ブロックがＶＳＰモードで符号化／復号化されたかとはかかわらず、現在ブロックのマージ候補リストにＶＳＰ候補を挿入する場合があり、これは前述した通り、重複した動き情報をマージ候補リストに挿入することに過ぎず、映像符号化／復号化効率の低下をもたらした。

図２２の（ｂ）は本発明のさらに他の実施例に係るマージ候補の誘導に対する一例である。図２２の（ｂ）によれば、３次元符号化／復号化装置は現在ブロックに対するマージ候補リストを構成する時、周辺ブロックのうちＡ１および／またはＢ１でＶＳＰが使用されたかすなわち、相続されたＶＳＰであるかの可否に対して判断する。以後、３次元映像符号化／復号化装置は周辺ブロックのうちＡ１および／またはＢ１でＶＳＰが使用された場合、マージリストにＶＳＰ候補を挿入することを制限する。

以下、３次元映像符号化／復号化で、空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法についてより具体的に説明する。

図２３は本発明のさらに他の実施例に係る空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に関するフローチャートである。

図２３を参照すれば、３次元映像符号化／復号化装置は現在ブロックの左側に位置した候補すなわち、左側に位置した候補をリストに挿入する（Ｓ２３００）。３次元映像符号化／復号化装置が現在ブロックの左側に位置した候補をリストに挿入するとはいったものの、ここで現在ブロックの左側に位置した候補は本発明の一例に過ぎず、段階Ｓ２３００で３次元映像符号化／復号化装置がリストに挿入する候補は空間的候補（例えば、現在ブロックの左側、左下側、左上側、上側、右上側に位置した候補）中のいずれか一つであり得る。このとき、現在ブロックの左側に位置した候補はＡ１であり得、左下側に位置した候補はＡ０であり得、左上側に位置した候補はＢ２候補であり得る。また、現在ブロックの上側に位置した候補はＢ１であり得、右上側に位置した候補はＢ０であり得る。

３次元映像符号化／復号化装置は左側候補がＶＳＰを使用したかすなわち、左側候補が相続されたＶＳＰであるかに対して判断し（Ｓ２３１０）、左側候補がＶＳＰを使用したかに対して判断する具体的な方法は前述した内容と同じである。

左側候補がＶＳＰを使用した場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成し（Ｓ２３２０）、ＶＳＰが使用されたことを示す情報に対する具体的な内容は前述した内容と同じである。

以後、３次元映像符号化／復号化装置は現在ブロックの上側に位置した候補をマージリストに挿入する（Ｓ２３３０）。３次元映像符号化／復号化装置が現在ブロックの上側に位置した候補をリストに挿入するといったものの、ここで現在ブロックの上側に位置した候補は本発明の一例に過ぎず、段階Ｓ２３３０で３次元映像符号化／復号化装置がリストに挿入する候補は空間的候補（例えば、現在ブロックの左側、左下側、左上側、上側、右上側に位置した候補）中のいずれか一つであり得る。

万一、段階２３１０で左側候補がＶＳＰを使用していない場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成せず、上側候補をリストに挿入する（Ｓ２３３０）。

段階Ｓ２３３０で上側候補をマージリストに挿入した後、３次元映像符号化／復号化装置は上側候補がＶＳＰを使用し、ＶＳＰが使用されたことを示す情報が存在しないかの可否に対して判断する（Ｓ２３４０）。

上側候補がＶＳＰを使用し、ＶＳＰが使用されたことを示す情報が存在しない場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成する（Ｓ２３５０）。このとき、段階Ｓ２３５０でＶＳＰが使用されたことを示す情報は上側候補がＶＳＰを使用するとともに、ＶＳＰが使用されたことを示す情報が存在しない場合にのみ生成される。

以後、３次元映像符号化復号化装置はＶＳＰが使用されたことを示す情報が存在するかの可否に対して判断し（Ｓ２３６０）、ＶＳＰが使用されたことを示す情報が存在するかの可否に対して判断する具体的な内容は前述した内容と同じである。

ここで、ＶＳＰが使用されたことを示す情報が存在する場合、３次元映像符号化／復号化装置はマージ候補リストにＶＳＰ候補を挿入しない。

万一、段階Ｓ２３６０でＶＳＰが使用されたことを示す情報が存在しない場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに生成すなわち、ＶＳＰ候補をマージ候補リストに挿入する（Ｓ２３７０）。

前述した方法は各空間的に隣り合う候補ごとに適用され得、もし、以前の空間的候補でＶＳＰ相続がなされたとすれば、現在空間的候補はＤＶだけを使用して予測する候補として使用され得る。

また、前述した方法は前述した３次元映像符号化／復号化装置で具現することもできる。

図２４ａ〜図２４ｂは本発明のさらに他の実施例に係る空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法を３Ｄ ＨＥＶＣに適用したフローチャートである。

図２４ａ〜図２４ｂを参照すれば、３次元映像符号化／復号化装置は既存のＨＥＶＣ併合候補誘導をし、ｕｓｅｄＶＳＰをｆａｌｓｅに設定する（Ｓ２４００）。既存のＨＥＶＣ併合候補誘導をし、ｕｓｅｄＶＳＰをｆａｌｓｅに設定する具体的な内容は前述した内容と同じである。

３次元映像符号化／復号化装置は左側候補がＶＳＰを使用するかの可否に対して判断する（Ｓ２４１０）。このとき、３次元映像符号化／復号化装置が左側候補に対してＶＳＰを使用するかの可否に対して判断する具体的な内容は前述した内容と同じである。

左側候補がＶＳＰを使用する場合、３次元映像符号化／復号化装置は相続されたＶＳＰ候補として左側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する（Ｓ２４３０）。このとき、相続されたＶＳＰ候補として左側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する具体的な内容は前述した内容と同じである。

万一、左側候補がＶＳＰを使用しない場合、３次元映像符号化／復号化装置は左側候補をマージ候補リストに挿入する（Ｓ２４２０）。このとき、３次元映像符号化／復号化装置が左側候補をマージ候補リストに挿入する具体的な内容は前述した内容と同じである。

段階Ｓ２４２０またはＳ２４３０以後、３次元映像符号化／復号化装置は上側候補がＶＳＰを使用し、ｕｓｅｄＶＳＰがｆａｌｓｅであるかに対して判断する（Ｓ２４４０）。このとき、映像符号化／復号化装置が上側候補に対してＶＳＰを使用し、ｕｓｅｄＶＳＰがｆａｌｓｅであるかに対して判断する具体的な内容は前述した内容と同じである。

上側候補がＶＳＰを使用し、ｕｓｅｄＶＳＰがｆａｌｓｅである場合、３次元映像符号化／復号化装置は相続されたＶＳＰ候補として上側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する。

万一、上側候補がＶＳＰを使用し、ｕｓｅｄＶＳＰがｆａｌｓｅでない場合、３次元映像符号化／復号化装置は上側候補をマージリストに挿入する（Ｓ２４６０）。このとき、３次元映像符号化／復号化装置が上側候補をマージリストに挿入する具体的な内容は前述した内容と同じである。

段階Ｓ２４５０またはＳ２４６０後に、３次元映像符号化／復号化装置は残っている空間的併合候補を誘導する（Ｓ２４７０）。このとき、３次元映像符号化／復号化装置が残っている空間的併合候補を誘導する具体的な内容は前述した内容と同じである。

３次元映像符号化／復号化装置はＶＳＰ候補前までの併合候補を誘導する（Ｓ２４７５）。このとき、段階Ｓ２４７０の後ＶＳＰ候補前までの併合候補はＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補を含むことができ、段階Ｓ２４７０の後ＶＳＰ候補前までの併合候補は存在しない場合もある。

３次元映像符号化／復号化装置はｕｓｅｄＶＳＰがｔｒｕｅであるかに対して判断する（Ｓ２４８０）。このとき、３次元映像符号化／復号化装置がｕｓｅｄＶＳＰに対してｔｒｕｅ可否を判断する具体的な内容は前述した内容と同じである。

ｕｓｅｄＶＳＰがｔｒｕｅではない場合、すなわち、ｕｓｅｄＶＳＰがｆａｌｓｅである場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージリストに挿入する（Ｓ２４８５）。このとき、３次元映像符号化／復号化装置はＶＳＰ候補をマージリストに挿入する具体的な内容と、ＶＳＰ候補の具体的な内容は前述した内容と同じである。

以後、３次元映像符号化／復号化装置は残っている併合候補をリストに挿入する（Ｓ２４９０）。このとき、残っている併合候補をリストに挿入する具体的な内容は前述した内容と同じである。

万一、ｕｓｅｄＶＳＰがｔｒｕｅである場合、３次元映像符号化／復号化装置はＶＳＰ候補をリストに挿入せず、残っている併合候補をリストに挿入する（Ｓ２４９０）。このとき、ＶＳＰ候補をリストに挿入せず、残っている併合候補をリストに挿入する具体的な内容は前述した内容と同じである。

図２５は既存のマージ候補誘導方法と、本発明のさらに他の実施例に係るマージ候補誘導方法を比較したものである。

図２５の（ａ）は既存のマージ候補に対する誘導の一例を示している。このとき、既存のマージ候補に対する誘導に関する具体的な内容は前述した内容と同じである。

図２２の（ｂ）は本発明のさらに他の実施例に係るマージ候補の誘導に対する一例である。図２２の（ｂ）によれば、３次元符号化／復号化装置は現在ブロックに対するマージ候補リストを構成する時、周辺ブロックのうちＡ１でＶＳＰが使用されたかすなわち、相続されたＶＳＰであるかの可否に対して判断する。以後、３次元映像符号化／復号化装置は周辺ブロックのうちＡ１でＶＳＰが使用された場合、マージリストにＶＳＰ候補を挿入することを制限する。

以下、３次元映像符号化／復号化で、空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に対してより具体的に説明する。

図２６は本発明のさらに他の実施例に係る空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に関するフローチャートである。

図２６参照すれば、３次元映像符号化／復号化装置は現在ブロックの左側に位置した候補すなわち、左側に位置した候補をリストに挿入する（Ｓ２６００）。３次元映像符号化／復号化装置が現在ブロックの左側に位置した候補をリストに挿入するといったものの、ここで現在ブロックの左側に位置した候補は本発明の一例に過ぎず、段階Ｓ２６００で３次元映像符号化／復号化装置がリストに挿入する候補は空間的候補（例えば、現在ブロックの左側、左下側、左上側、上側、右上側に位置した候補）中のいずれか一つであり得る。

３次元映像符号化／復号化装置は左側候補がＶＳＰを使用したかすなわち、左側候補が相続されたＶＳＰであるかに対して判断し（Ｓ２６１０）、左側候補がＶＳＰを使用したかに対して判断する具体的な方法は前述した内容と同じである。

左側候補がＶＳＰを使用した場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成し（Ｓ２６２０）、ＶＳＰが使用されたことを示す情報に対する具体的な内容は前述した内容と同じである。

万一、左側候補がＶＳＰを使用していない場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成しない。

以後、３次元映像符号化復号化装置はＶＳＰが使用されたことを示す情報が存在するかの可否に対して判断し（Ｓ２６３０）、ＶＳＰが使用されたことを示す情報が存在するかの可否に対して判断する具体的な内容は前述した内容と同じである。

ここで、ＶＳＰが使用されたことを示す情報が存在する場合、３次元映像符号化／復号化装置はマージ候補リストにＶＳＰ候補を挿入しない。

万一、段階Ｓ２６３０でＶＳＰが使用されたことを示す情報が存在しない場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに生成すなわち、ＶＳＰ候補をマージ候補リストに挿入する（Ｓ２６４０）。

前述した方法は各空間的に隣り合う候補ごとに適用され得、もし、以前の空間的候補でＶＳＰ相続がなされたとすれば、現在空間的候補はＤＶだけを使用して予測する候補として使用され得る。また、前述した方法は前述した３次元映像符号化／復号化装置で具現することもできる。

図２７ａ〜図２７ｂは本発明のさらに他の実施例に係る空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法を３Ｄ ＨＥＶＣに適用したフローチャートである。

図２７ａ〜図２７ｂを参照すれば、３次元映像符号化／復号化装置は既存のＨＥＶＣ併合候補誘導をし、ｕｓｅｄＶＳＰをｆａｌｓｅに設定する（Ｓ２７００）。既存のＨＥＶＣ併合候補誘導をし、ｕｓｅｄＶＳＰをｆａｌｓｅに設定する具体的な内容は前述した内容と同じである。

３次元映像符号化／復号化装置は左側候補がＶＳＰを使用するかの可否に対して判断する（Ｓ２７１０）。このとき、３次元映像符号化／復号化装置が左側候補に対してＶＳＰを使用するかの可否に対して判断する具体的な内容は前述した内容と同じである。

左側候補がＶＳＰを使用する場合、３次元映像符号化／復号化装置は相続されたＶＳＰ候補として左側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する（Ｓ２７２０）。このとき、相続されたＶＳＰ候補として左側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する具体的な内容は前述した内容と同じである。

万一、左側候補がＶＳＰを使用しない場合、３次元映像符号化／復号化装置は左側候補をマージ候補リストに挿入する（Ｓ２７３０）。このとき、３次元映像符号化／復号化装置が左側候補をマージ候補リストに挿入する具体的な内容は前述した内容と同じである。

段階Ｓ２７２０またはＳ２７３０以後、３次元映像符号化／復号化装置は残っている空間的併合候補を誘導する（Ｓ２７４０）。このとき、３次元映像符号化／復号化装置が残っている空間的併合候補を誘導する具体的な内容は前述した内容と同じである。

３次元映像符号化／復号化装置はＶＳＰ候補前までの併合候補を誘導する（Ｓ２７５０）。このとき、段階Ｓ２７４０以後ＶＳＰ候補前までの併合候補はＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ ｍｅｒｇｉｎｇ ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ ｄｉｓｐａｒｉｔｙ ｖｅｃｔｏｒ ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ ｓｙｎｔｈｅｓｉｓ ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補を含むことができ、段階Ｓ２７４０以後ＶＳＰ候補前までの併合候補は存在しない場合もある。

３次元映像符号化／復号化装置はｕｓｅｄＶＳＰがｔｒｕｅであるかに対して判断する（Ｓ２７６０）。このとき、３次元映像符号化／復号化装置がｕｓｅｄＶＳＰに対してｔｒｕｅ可否を判断する具体的な内容は前述した内容と同じである。

ｕｓｅｄＶＳＰがｔｒｕｅではない場合、すなわち、ｕｓｅｄＶＳＰがｆａｌｓｅである場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージリストに挿入する（Ｓ２７７０）。このとき、３次元映像符号化／復号化装置はＶＳＰ候補をマージリストに挿入する具体的な内容と、ＶＳＰ候補の具体的な内容は前述した内容と同じである。

以後、３次元映像符号化／復号化装置は残っている併合候補をリストに挿入する（Ｓ２７８０）。このとき、残っている併合候補をリストに挿入する具体的な内容は前述した内容と同じである。

万一、ｕｓｅｄＶＳＰがｔｒｕｅである場合、３次元映像符号化／復号化装置はＶＳＰ候補をリストに挿入せず、残っている併合候補をリストに挿入する（Ｓ２７８０）。このとき、ＶＳＰ候補をリストに挿入せず、残っている併合候補をリストに挿入する具体的な内容は前述した内容と同じである。

図２８は本発明のさらに他の実施例に係るマージリストにＶＳＰ候補を挿入することを制限する装置に対するブロック図である。

図２８を参照すれば、マージリストにＶＳＰ候補を挿入することを制限する装置は既存のＨＥＶＣ候補生成モジュール、左側ブロックに対するＶＳＰ使用可否決定モジュールなど、３Ｄ ＨＥＶＣ候補生成モジュールを含むことができる。

既存のＨＥＶＣ候補生成モジュールは前述した既存の動き候補生成モジュールを意味し得、既存のＨＥＶＣ候補生成モジュールに対する具体的な内容は前述した内容と同じである。

左側ブロックに対するＶＳＰ使用可否決定モジュールなど（例えば、上側ブロック、左下側、左上側または右上側に対するＶＳＰ使用可否決定モジュール）はそれぞれ既存の候補のＶＳＰ非活性化モジュールを含むことができ、左側ブロックに対するＶＳＰ使用可否決定モジュールなどは各空間的に隣り合う候補のＶＳＰ使用可否により、他の空間的に隣り合う候補のＶＳＰ使用を非活性化することができる。これを通じて空間的に隣り合う候補は一定方向の定められた候補だけをＶＳＰ候補として使用することによって、各ブロック別に保存されるＶＳＰフラグに対する接近回数が減少される。これによって、３次元映像符号化／復号化において、結果的にメモリー接近を減少させることができる。

３Ｄ ＨＥＶＣ候補生成モジュールは前述した３Ｄ動き候補生成モジュールを意味し得、３Ｄ ＨＥＶＣ候補生成モジュールはＶＳＰ重複性除去モジュールを含むことができる。

前述した３次元映像符号化／復号化装置および方法は現在ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）で共同で標準化を進行中である３Ｄ−ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）で使用され得る。したがって、前述した装置および方法は表１のようにブロックの大きさあるいはＣＵ（Ｃｏｄｉｎｇ Ｕｉｎｔ）の奥行きあるいはＴＵ（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）の奥行きなどにより適用範囲が変更され得る。適用範囲を決定する変数（すなわち、大きさあるいは奥行き情報）は符号化／復号化装置および方法であらかじめ定められた値を使用するように設定することもでき、プロファイルまたはレベルにより定められた値を使用するようにすることもでき、符号化装置および方法で変数値がビットストリームに記載されれば、復号化装置および方法でビットストリームから変数値を求めることもできる。ＣＵ奥行きにより適用範囲を異にする時は表１に例示した通り、Ａ）与えられた奥行き以上の奥行きにのみ適用する場合、Ｂ）与えられた奥行き以下にのみ適用する場合、Ｃ）与えられた奥行きにのみ適用する場合がありえる。

すべての奥行きに対して本発明の方法が適用されない場合、任意の指示子（ｆｌａｇ）が前述した方法が適用されないということを示すこともでき、適用範囲を表わすＣＵ奥行き値がＣＵ奥行きの最大値より一つ大きな値でシグナリングされることによって表現されることもある。

図２９は前述した３次元映像符号化／復号化装置および方法を通じてＶＳＰ候補間の重複性が除去された一例を示している￥。

図２９を参照すれば、既存の方法を通じてはマージ候補リストにＶＳＰ候補が重複的に存在したが、本明細書で提案する３次元符号化／復号化装置を通じてはＶＳＰ候補が重複的に存在することが改善されたことを確認することができる。

前述した実施例で、方法は一連の段階またはユニットとしてフローチャートに基づいて説明されているが、本発明は段階の順序に限定されるものではなく、ある段階は前述した段階とは異なる段階と異なる順序でまたは同時に発生することができる。また、当該技術分野で通常の知識を有した者であればフローチャートに示された段階が排他的ではなく、他の段階が含まれるか、フローチャートの一つまたはそれ以上の段階が本発明の範囲に影響を及ぼすことなく削除され得ることが理解できるであろう。

前述した実施例は多様な様態の例示を含む。多様な様態を表わすためのすべての可能な組合わせを記述することはできないが、該当技術分野の通常の知識を有した者は異なる組合わせが可能であることを認識できるであろう。したがって、本発明は、以下の特許請求の範囲内に属するすべての他の取り替え、修正および変更を含むものと言える。

前述した本発明に係る方法はコンピュータで遂行されるためのプログラムに製作されてコンピュータ可読記録媒体に保存され得、コンピュータ可読記録媒体の例としてはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えばインターネットを通した伝送）の形態で具現されるものも含まれる。

コンピュータ可読記録媒体はネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され実行され得る。そして、前記方法を具現するための機能的な（ｆｕｎｃｔｉｏｎ）プログラム、コードおよびコードセグメントは本発明が属する技術分野のプログラマーによって容易に推論され得る。

また、本発明の好ましい実施例について図示して説明したが、本発明は前述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨を逸脱することなく当該発明が属する技術分野で通常の知識を有した者によって多様な変形実施が可能であることはもちろん、このような変形実施は本発明の技術的思想や展望から個別的に理解されてはならない。

Claims (20)

1. 第１候補ブロックをマージ候補リストに挿入する段階；
   前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階；および
   前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む、３次元映像復号化方法。
2. 前記第１候補ブロックは空間的に隣り合うブロックであることを特徴とする、請求項１に記載の３次元映像復号化方法。
3. 前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであることを特徴とする、請求項２に記載の３次元映像復号化方法。
4. 前記第１候補ブロックはＡ１ブロックであることを特徴とする、請求項１に記載の３次元映像復号化方法。
5. 前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことを特徴とする、請求項１に記載の３次元映像復号化方法。
6. 前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入する段階をさらに含み、
   前記ＶＳＰが使用されたことを示す情報を生成する段階では、前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することを特徴とする、請求項１に記載の３次元映像復号化方法。
7. 前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであることを特徴とする、請求項６に記載の３次元映像復号化方法。
8. 前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであることを特徴とする、請求項６に記載の３次元映像復号化方法。
9. 前記現在ブロックはサブ予測ブロックであることを特徴とする、請求項１に記載の３次元映像復号化方法。
10. 第１候補ブロックをマージ候補リストに挿入する空間的マージ候補挿入モジュール；
    前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成するＶＳＰ重複性判断モジュール；および
    前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しないＶＳＰ候補挿入モジュールを含む、３次元映像復号化装置。
11. 前記第１候補ブロックは空間的に隣り合うブロックであることを特徴とする、請求項１０に記載の３次元映像復号化装置。
12. 前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであることを特徴とする、請求項１１に記載の３次元映像復号化装置。
13. 前記第１候補ブロックはＡ１ブロックであることを特徴とする、請求項１０に記載の３次元映像復号化装置。
14. 前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことを特徴とする、請求項１０に記載の３次元映像復号化装置。
15. 前記空間的マージ候補挿入モジュールは前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入し、
    前記ＶＳＰ重複性判断モジュールは前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することを特徴とする、請求項１０に記載の３次元映像復号化装置。
16. 前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであることを特徴とする、請求項１５に記載の３次元映像復号化装置。
17. 前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであることを特徴とする、請求項１５に記載の３次元映像復号化装置。
18. 前記現在ブロックはサブ予測ブロックであることを特徴とする、請求項１０に記載の３次元映像復号化装置。
19. 第１候補ブロックをマージ候補リストに挿入する段階；
    前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階；および
    前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む、３次元映像符号化方法。
20. 第１候補ブロックをマージ候補リストに挿入する空間的マージ候補挿入モジュール；
    前記第１候補ブロックで視点合成予測（Ｖｉｅｗ Ｓｙｎｔｈｅｓｉｓ Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成するＶＳＰ重複性判断モジュール；および
    前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しないＶＳＰ候補挿入モジュールを含む、３次元映像符号化装置。