JP2014529214A - 多視点ビデオデータの深度マップ符号化方法及びその装置、復号化方法及びその装置 - Google Patents

Abstract

多視点ビデオデータの深度マップの符号化、復号化方法及びその装置に係り、該多視点ビデオデータの深度マップ符号化方法は、予測符号化して復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、復元された多視点カラービデオフレームのブロックをパーティションに分割し、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、相関関係を示すパラメータを獲得し、獲得されたパラメータを利用して、復元された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。

Description

本発明は、深度映像を含む多視点ビデオデータの符号化及び復号化に関する。

最近、デジタル映像処理とコンピュータ・グラフィック技術とが発展するにつれ、現実世界を再現し、それを臨場感あふれて体験させる三次元（３Ｄ）ビデオ技術及び多視点（multi-view video）ビデオ技術に係わる研究が活発に進められている。多視点映像を利用した三次元テレビは、現実世界を再構成したコンテンツでもって、現実感覚が感じられるようにユーザに提供することができるので、次世代放送技術として多大な関心を集めている。三次元ビデオ符号化システムは、ユーザが自由に視聴視点を変更したり、あるいは多種の三次元再生装置で再現可能になるように、多視点の映像を支援する機能を有する。しかし、多視点ビデオの場合、データ量が増加するので、多視点ビデオのデータ量を減少させるための効率的な符号化方法が要求される。

本発明が解決しようとする技術的課題は、多視点ビデオデータで、三次元ビデオを提供するための深度マップ映像を効率的に符号化する方法及びその装置、深度マップを効率的に復号化する方法及びその装置を提供することである。

本発明は、カラー映像の周辺ピクセルと、深度映像の周辺ピクセルとから相関関係を獲得し、対応するカラー映像のブロックを利用したイントラ予測を介して、現在深度映像のブロックを符号化する。

本発明によれば、多視点カラービデオフレームから、対応する深度マップフレームを予測することにより、膨大なデータ量を有する多視点ビデオデータを効率的に圧縮することができる。また、本発明によれば、以前に符号化された周辺ピクセル値から、相関関係を示すパラメータを決定することにより、別途のパラメータを伝送する必要がない。

本発明の一実施形態による多視点ビデオシステムを示す図面である。 図１の多視点カメラを介して獲得された多視点ビデオフレームと、深度カメラを介して獲得された深度マップフレームとを例示した図面である。 本発明の一実施例による多視点ビデオデータの符号化装置の構成を示したブロック図である。 図３の深度マップフレーム符号化部の具体的な構成を示したブロック図である。 図４の分割部で、多視点カラービデオフレームのブロックをパーティションに分割する方法を説明するための参照図である。 図４の分割部で、多視点カラービデオフレームのブロックをパーティションに分割する方法を説明するための参照図である。 図４の相関関係パラメータ獲得部によるパラメータ獲得過程、及び深度マップフレーム予測部によるイントラ予測過程について説明するための参照図である。 本発明の一実施形態によって、深度マップフレームブロックの予測に利用される多視点カラービデオフレームブロックを示した図面である。 本発明の一実施形態による、多視点ビデオデータの深度マップ符号化方法を示したフローチャートである。 本発明の一実施形態による、多視点ビデオデータの復号化装置を示したブロック図である。 図９の深度マップフレーム復号化部の具体的な構成を示したブロック図である。 本発明の一実施形態による、多視点ビデオデータの深度マップ復号化方法を示したフローチャートである。 本発明の一実施形態による多視点ビデオ符号化方法及び多視点ビデオ復号化方法によって符号化及び復号化される多視点カラービデオフレームを示した図面である。 本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置のブロック図を図示する図面である。 本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置のブロック図を図示する図面である。 本発明の一実施形態による符号化単位の概念を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図を図示する図面である。 本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図を図示する図面である。 本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。 本発明の一実施形態による符号化単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による深度別符号化情報を図示する図面である。 本発明の一実施形態による深度別符号化単位を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。 表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。 一実施形態による、プログラムが保存されたディスクの物理的構造を例示する図面である。 ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。 コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）の全体的構造を図示する図面である。 本発明の一実施形態による、ビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。 本発明の一実施形態による、ビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。 本発明による、通信システムが適用されたデジタル放送システムを図示する図面である。 本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピュータ・システムのネットワーク構造を図示する図面である。

本発明の一実施形態による多視点（multi-view）ビデオデータの深度マップ（depth map）符号化方法は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する段階と、前記獲得された多視点カラービデオフレームを予測符号化して復元する段階と、前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する段階と、前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する段階と、前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階と、を含むことを特徴とする。

本発明の一実施形態による多視点ビデオデータの深度マップ符号化装置は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する映像獲得部；前記獲得された多視点カラービデオフレームを予測符号化するカラービデオフレーム符号化部；前記符号化されたカラービデオフレームを復元する復元部；前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する分割部；前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する相関関係パラメータ獲得部；及び前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する深度マップフレーム予測部；を含むことを特徴とする。

本発明の一実施形態による多視点ビデオデータの深度マップ復号化方法は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する段階と、前記多視点カラービデオフレームを復号化する段階と、前記復号化された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復号化された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する段階と、前記復号化された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する段階と、前記獲得されたパラメータを利用して、前記復号化された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階と、を含むことを特徴とする。

本発明の一実施形態による多視点ビデオデータの深度マップ復号化装置は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する受信部；前記ビットストリームから獲得された前記符号化された多視点カラービデオフレームを復号化するカラービデオフレーム復号化部；前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する分割部；前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する相関関係パラメータ獲得部；及び前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する深度マップフレーム復号化部；を含むことを特徴とする。

以下、添付された図面を参照し、本発明の望ましい実施形態について具体的に説明する。

図１は、本発明の一実施形態による多視点ビデオシステムを示している。多視点ビデオシステム１００は、２台以上の多視点カメラ１３０を介して獲得された多視点ビデオフレームと、深度カメラ１４０を介して獲得された多視点映像フレームの深度マップフレームとを符号化し、ビットストリームを生成する多視点ビデオデータ符号化装置１１０、及びビットストリームを復号化し、復号化された多視点ビデオフレームを、視聴者の要求によって多様な形態で提供する多視点ビデオデータ復号化装置１２０を含む。

多視点カメラ１３０は、互いに異なる視点を有する複数台のカメラを結合して構成されながら、フレームごとに多視点ビデオ映像を提供する。深度カメラ１４０は、場面の深度情報を２５６階調の８ビット映像などで表現した深度マップフレームを提供する。深度カメラ１４０は、赤外線などを利用して、カメラから被写体及び背景までの距離を測定し、距離に比例または反比例する値を有する深度マップフレームを提供する。

多視点ビデオデータ符号化装置１１０から、多視点ビデオデータと対応する深度マップフレームを符号化して伝送すれば、多視点ビデオデータ復号化装置１２０は、ビットストリームに具備された多視点ビデオフレームと深度マップフレームとを利用して、既存のステレオ映像や三次元（３Ｄ）映像を介して、立体感を提供するだけではなく、視聴者が所望する所定視点の三次元映像を合成して提供することができる。

多視点ビデオデータは、視点の個数に比例して符号化されるデータ量が増加し、また立体感を具現するための深度マップ映像も符号化されなければならないので、図１に図示されたような多視点ビデオシステムを具現するためには、膨大な量の多視点ビデオデータを効率的に圧縮する必要がある。

図２は、図１の多視点カメラ１３０を介して獲得された多視点ビデオフレームと、深度カメラ１４０を介して獲得された深度マップフレームと、を例示した図面である。図２では、第１視点（View ０）のカラービデオフレーム２１１に対応する第１視点（View ０）の深度マップフレーム２２１、第２視点（View １）のカラービデオフレーム２１２に対応する第２視点（View １）の深度マップフレーム２２２、第３視点（View ２）のカラービデオフレーム２１３に対応する第３視点（View ２）の深度マップフレーム２２３を図示している。図２において、３個の視点（View ０，View １，View ２）での多視点カラービデオフレーム２１０と、対応深度マップフレーム２２０とを図示したが、視点の個数は変更される。また、図２において、多視点カラービデオフレーム２１０は、輝度成分ビデオフレーム（Ｙ）または色差成分ビデオフレーム（Ｃｂ，Ｃｒ）のうち一つでもある。

図２を参照すれば、同一視点のカラービデオフレームと、深度マップフレームとの間には、同じ時間、同じ視点での映像をそれぞれカラーと深度とで表現したものであるので、両者間には相関関係が存在する。すなわち、多視点カラービデオフレーム２１０と、対応深度マップフレーム２２０とを比較すれば、被写体の輪郭線などが識別されるような一定の相関関係が存在する。従って、本発明の一実施形態による多視点ビデオデータ符号化装置１１０、及び多視点ビデオデータ復号化装置１２０は、多視点カラービデオフレーム２１０と、対応深度マップフレーム２２０との間に存在する相関関係を考慮し、多視点カラービデオフレーム２１０から、対応深度マップフレーム２２０をイントラ予測符号化することにより、多視点ビデオデータの圧縮効率を向上させる。特に、本発明の一実施形態による多視点ビデオデータ符号化装置１１０、及び多視点ビデオデータ復号化装置１２０は、ピクセル値に基づいて、多視点カラービデオフレーム２１０のブロックをパーティションに分割し、多視点カラービデオフレーム２１０のブロックと同一に、対応深度マップフレーム２２０のブロックをパーティションに分割した後、多視点カラービデオフレーム２１０のブロック・パーティションの周辺ピクセル値と、深度マップフレームのブロック・パーティションの周辺ピクセル値とを利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得し、獲得されたパラメータを利用して決定された相関関係を利用して、多視点カラービデオフレーム２１０のブロックのパーティションから、対応深度マップフレームのブロック・パーティションを予測する。

図３は、本発明の一実施例による多視点ビデオデータの符号化装置の構成を示したブロック図である。図３を参照すれば、多視点ビデオデータの符号化装置３００は、映像獲得部３１０、カラービデオフレーム符号化部３２０及び深度マップ符号化部３３０を含む。

映像獲得部３１０は、図１の多視点カメラ１３０のような多視点ビデオ獲得手段を利用して、多視点カラービデオフレームを獲得し、深度カメラ１４０のような深度マップフレーム獲得手段を利用して、多視点カラービデオフレームに対応する深度マップフレームを獲得する。

カラービデオフレーム符号化部３２０は、獲得された多視点カラービデオフレームを予測符号化する。図１３ないし図２５を参照して説明するように、特に、本発明の一実施形態によるカラービデオフレーム符号化部３２０は、従来マクロブロックの代りに、階層的構造の符号化単位に基づいて、多視点カラービデオフレームを符号化することができる。カラービデオフレーム符号化部３２０は、多視点カラービデオフレームを最大サイズの符号化単位に分割し、最大符号化単位ごとに、最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定し、階層的構造の変換単位を基に変換を行い、ツリー構造による変換単位を決定することができる。

深度マップフレーム符号化部３３０は、予測符号化された後で復元された多視点カラービデオフレームを利用して、対応する深度マップフレームをイントラ予測符号化する。前述のように、特に、本発明の一実施形態による深度マップフレーム符号化部３３０は、深度マップフレームの符号化時、対応する多視点カラービデオフレームとの相関関係を考慮し、相関関係を決定するために、以前に符号化された後で復元された多視点カラービデオフレームのブロックを、ピクセル値に基づいてパーティションに分割し、隣接した周辺ピクセル間の相関関係を考慮し、パーティションごとに、カラー映像と、深度マップ映像との相関関係を定義するパラメータを決定し、決定されたパラメータを利用して、以前に符号化された後で復元された多視点カラービデオフレームブロック・パーティションから、対応する深度マップフレームブロック・パーティションを予測する。

図４は、図３の深度マップフレーム符号化部３３０の具体的な構成を示したブロック図である。図４を参照すれば、深度マップフレーム符号化部４００は、スケーリング部４１０、分割部４２０、相関関係パラメータ獲得部４３０、深度マップフレーム予測部４４０及び減算部４５０を含む。

スケーリング部４１０は、深度マップフレームのブロックと、多視点カラービデオフレームのブロックとの大きさが異なる場合、多視点カラービデオフレームのブロックサイズを、深度マップフレームのブロックサイズと同一になるように、多視点カラービデオフレームのブロックをサンプリングする。例えば、多視点カラービデオフレームのブロックサイズが、２Ｎｘ２Ｎ（Ｎは整数）、対応する深度マップフレームのブロックサイズが、ＮｘＮであるならば、スケーリング部４１０は、多視点カラービデオフレームのブロックを１：２の比率でダウンサンプリングし、ＮｘＮサイズの多視点カラービデオフレームのブロックを生成することができる。

分割部４２０は、符号化された後で復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、復元された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する。そして、分割部４２０は、多視点カラービデオフレームのブロック・パーティションと同一に、深度マップフレームのブロックをパーティションに分割する。

図５Ａ及び図５Ｂは、図４の分割部４２０において、多視点カラービデオフレームのブロックをパーティションに分割する方法について説明するための参照図である。

分割部４２０は、多視点カラービデオフレームのブロックのピクセル値の分布に基づいて、所定値を中心に、類似したピクセル値を有するピクセルを、同一のパーティションに含まれるように、多視点カラービデオフレームのブロックを、パーティションに分割することができる。分割部４２０は、多視点カラービデオフレームのブロックのピクセル値の分布を分析し、パーティション分割の基準になる所定ピクセル値を決定した後、所定ピクセル値から±ｘ（ｘは整数）範囲内のピクセルを、１つのパーティションとして分類することができる。例えば、図５Ａを参照すれば、分割部４２０は、１２５のピクセル値を基準にして、±１０範囲内のピクセル値を有するピクセルを、第１パーティション５１０に分類し、７０のピクセル値を基準にして、±１０の範囲内のピクセル値のピクセルを、第２パーティション５２０に分類することができる。ピクセル値の分布に基づいて、ブロックをパーティションに分割する方式は、それに限定されるものではなく、分割部４２０は、多様なデータクラスタリング（clustering）方式を適用し、ピクセル値の分布に基づいて、ブロックを複数個のパーティションに分割することができる。

図５Ｂを参照すれば、分割部４２０は、ソーベル（Sobel）アルゴリズムなどの多様なエッジ検出方式を適用し、多視点カラービデオフレームのブロック内に存在するエッジを検出し、検出されたエッジに基づい、て多視点カラービデオフレームのブロックを、第１パーティション５３０と、第２パーティション５４０とに分割することができる。

分割部４２０によって、多視点カラービデオフレームのブロックを、複数個のパーティションに分割すれば、相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティションそれぞれに対して、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する。

深度マップフレーム予測部４４０は、獲得されたパラメータを利用して、復元された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。

図６は、図４の相関関係パラメータ獲得部４３０によるパラメータ獲得過程、及び深度マップフレーム予測部４４０によるイントラ予測過程について説明するための参照図である。

図６を参照すれば、分割部４２０によって、多視点カラービデオフレームのブロック６１０が、２個のパーティションＰ１，Ｐ２に分割されたと仮定する。分割部４２０は、多視点カラービデオフレームのブロック６１０のパーティションＰ１，Ｐ２と、同一の大きさと形態とを有するように、深度マップフレームのブロック６４０を、２個のパーティションＰ１’，Ｐ２’に分割する。

相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティションＰ１，Ｐ２それぞれについて、相関関係を示すパラメータを獲得する。具体的には、相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティションＰ１の周辺ピクセル値６２０、及び対応する深度マップフレームのブロック・パーティションＰ１’の周辺ピクセル値６５０を利用して、多視点カラービデオフレームのブロック・パーティションＰ１と、深度マップフレームのブロック・パーティションＰ１’との相関関係を示す第１パラメータを獲得する。また、相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティションＰ２の周辺ピクセル値６３０、及び対応する深度マップフレームのブロック・パーティションＰ２’の周辺ピクセル値６６０を利用して、多視点カラービデオフレームのブロック・パーティションＰ２と、深度マップフレームのブロック・パーティションＰ２’との相関関係を示す第２パラメータを獲得する。

多視点カラービデオフレームのピクセルをＲ、該Ｒと同一位置の深度マップフレームの対応ピクセルの予測値をＤとするとき、予測値Ｄは、次の数式：Ｄ＝ｆ（Ｒ）のような多視点カラービデオフレームと、深度マップフレームとの相関関係を示す関数式：ｆ（）を介して獲得される。相関関係を示す関数が、次の数式：ｆ（ｘ）＝ａＸ＋ｂ（ａ，ｂは実数）のような線形関数であると仮定すれば、線形関係は、加重値ａ及びオフセットｂを利用して定義される。本発明の一実施形態による相関関係パラメータ獲得部４３０は、線形関係を示す加重値ａ及びオフセットｂを、別途にシグナリングせずとも、受信側で獲得することができるように、以前に符号化された後で復元された多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値６２０，６３０、及び深度マップフレームのブロック・パーティションの周辺ピクセル値６５０，６６０を利用して、パーティション別に、加重値ａ及びオフセットｂを獲得する。

相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティション及び深度フレームのブロック・パーティションをそれぞれ独立的に処理し、各ブロック・パーティションの周辺ピクセルのみを利用して、相関関係を示すパラメータを獲得する。図６を参照すれば、相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティションＰ１の周辺ピクセル値６２０を利用して、対応する深度マップフレームのブロック・パーティションＰ１’の周辺ピクセル値６５０を予測する。例えば、多視点カラービデオフレームのブロック・パーティションＰ１の周辺ピクセル値Ｒ（ｘ，ｙ）６２１を利用して、同一位置の対応する深度マップフレームのブロック・パーティションＰ１’の周辺ピクセル値Ｄ（ｘ，ｙ）６５１の予測値Ｄ’（ｘ，ｙ）は、次の数式：Ｄ’（ｘ，ｙ）＝ａ＊Ｒ（ｘ，ｙ）＋ｂを介して獲得される。相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティションＰ１の周辺ピクセル値６２０それぞれを利用して、対応する深度マップフレームのブロック・パーティションＰ１’の周辺ピクセル値６５０を予測し、予測された深度マップフレームのブロック・パーティションＰ１’の周辺ピクセル値６５０と、本来の深度マップフレームのブロック・パーティションＰ１’の周辺ピクセル値６５０との差（Ｄ（ｘ，ｙ）−Ｄ’（ｘ，ｙ））を最小にする加重値ａ及びオフセットｂを決定する。このとき、相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティションＰ１の周辺ピクセル値６２０それぞれについて、対応する深度マップフレームのブロック・パーティションＰ１’の周辺ピクセル値６５０を予測し、（Ｄ（ｘ，ｙ）−Ｄ’（ｘ，ｙ））の自乗が最小になる加重値ａ及びオフセットｂを決定することができる（least square solution）。

同様に、相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティションＰ２の周辺ピクセル値６３０を利用して、対応する深度マップフレームのブロック・パーティションＰ２’の周辺ピクセル値６６０を予測する。相関関係パラメータ獲得部４３０は、多視点カラービデオフレームのブロック・パーティションＰ２の周辺ピクセル値６３０それぞれを利用して、対応する深度マップフレームのブロック・パーティションＰ２’の周辺ピクセル値６６０を予測し、予測された深度マップフレームのブロック・パーティションＰ２’の周辺ピクセル値６６０と、本来の深度マップフレームのブロック・パーティションＰ２’の周辺ピクセル値６６０との差を最小にする加重値ａ及びオフセットｂを決定する。

このように、相関関係パラメータ獲得部４３０は、パーティション別に独立して周辺ピクセルを利用して、相関関係を示すパラメータを獲得する。多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値を、Ｒｅｃ＿Ｙ’、深度マップフレームのブロック・パーティションの対応する周辺ピクセル値の予測値を、Ｐｒｅｄ＿Ｄとするならば、相関関係パラメータ獲得部４３０は、次の数式：Ｐｒｅｄ＿Ｄ＝ａ＊Ｒｅｃ＿Ｙ’＋ｂを介して、深度マップフレームの周辺ピクセルを予測し、本来の周辺ピクセルと、予測された周辺ピクセルとの差を最小にするパラメータａ及びｂを決定する。前述の説明では、一次線形関係を仮定してパラメータを決定する過程について説明したが、本発明による思想は、それに限定されるものではなく、ｎ次線形関係式や、他の非線形関係式を定義するためのパラメータを獲得するときにも、周辺ピクセルを利用して、最適のパラメータの獲得に適用される。

相関関係パラメータ獲得部４３０で、各パーティション別に相関関係を示すパラメータが獲得されれば、深度マップフレーム予測部４４０は、獲得されたパラメータを利用して、復元された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。さらに図６を参照すれば、以前に符号化された後で復元された多視点カラービデオフレームのブロック・パーティションＰ１について決定された加重値及びオフセットを、それぞれａ１及びｂ１と仮定する。深度マップフレーム予測部４４０は、次の数式：Ｄ１’＝ａ１＊Ｒ１＋ｂ１のような線形関係式を利用して、多視点カラービデオフレームのブロック・パーティションＰ１のピクセルＲ１ ６１１から、深度マップフレームのブロック・パーティションＰ１’の対応ピクセルＤ１’６４１の予測値を生成する。同様に、以前に符号化された後で復元された多視点カラービデオフレームのブロック・パーティションＰ２について決定された加重値及びオフセットを、それぞれａ２及びｂ２と仮定すれば、深度マップフレーム予測部４４０は、次の数式：Ｄ２’＝ａ２＊Ｒ２＋ｂ２のような線形関係式を利用して、多視点カラービデオフレームのブロック・パーティションＰ２のピクセルＲ２ ６１２から、深度マップフレームのブロック・パーティションＰ２’の対応ピクセルＤ２’６４２の予測値を生成する。このように、深度マップフレーム予測部４４０は、パーティション単位で決定された相関関係を示すパラメータを利用して、多視点カラービデオフレームブロックのパーティションから、対応する深度マップフレームブロックのパーティションを予測する。

再び図４を参照すれば、減算部４５０は、原深度マップフレームのピクセル値と、予測された深度マップフレームのピクセル値との差値を計算し、深度マップレジデュー（residue）を生成する。深度マップレジデューは、一般的なレジデューと同様に、変換、量子化及びエントロピー符号化の過程を介して符号化される。

図７は、本発明の一実施形態による、深度マップフレームブロックの予測に利用される多視点カラービデオフレームブロックを示した図面である。図７を参照すれば、現在符号化される深度マップフレームブロック７４０と、同一視点及び同一位置（co-located）のカラービデオフレームブロック７１０を利用して、深度マップフレームブロック７４０を予測することができる。もし同一視点及び同一位置のカラービデオフレームブロック７１０の大きさが、深度マップフレームブロック７４０の大きさと異なる場合、前述のように、大きさが同じになるようにスケーリングされたブロックを利用することができる。また、深度マップフレームブロック７４０と、同一視点及び同一位置のカラービデオフレームブロック７１０の周辺ブロック７１１，７１２を利用して、深度マップフレームブロック７４０を予測することができる。また、周辺ブロック７１１，７１２の大きさが、深度マップフレームブロック７４０の大きさと異なる場合、大きさが同じになるようにスケーリングされた周辺ブロックを利用することができる。深度マップフレームブロックと、同一視点及び同一位置のカラービデオフレームブロック７１０を、多視点ビデオの視点間差を示す変移（disparity）ベクトルに基づいて移動させることにより、決定された異なる視点のカラービデオフレームブロック７３０、及びその周辺ブロック７３１，７３２も、深度マップフレームブロック７４０の予測に利用される。カラービデオフレームブロック７３０、及びその周辺ブロック７３１，７３２の大きさが、深度マップフレームブロック７４０の大きさと異なる場合、カラービデオフレームブロック７３０、及びその周辺ブロック７３１，７３２をスケーリングし、深度マップフレームブロック７４０の大きさと同一にし、スケーリングされた異なる視点のカラービデオフレームブロック及びその周辺ブロックを深度マップフレームブロックの予測に利用することができる。

図８は、本発明の一実施形態による、多視点ビデオデータの深度マップ符号化方法を示したフローチャートである。図８を参照すれば、段階８１０で、映像獲得部３１０は、多視点カラービデオフレームと、多視点カラービデオフレームに対応する深度マップフレームとを獲得する。

段階８２０で、カラービデオフレーム符号化部３２０は、獲得された多視点カラービデオフレームを予測符号化して復元する。

段階８３０で、深度マップフレーム符号化部３３０は、復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、復元された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する。

段階８４０で、深度マップフレーム符号化部３３０は、復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する。

段階８５０で、深度マップフレーム符号化部３３０は、獲得されたパラメータを利用して、復元された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。そして、深度マップフレーム符号化部３３０は、予測値と、本来の深度マップフレームのブロック・パーティションとの差値であるレジデューを変換、量子化及びエントロピー符号化することにより、深度マップフレームを符号化する。

図９は、本発明の一実施形態による多視点ビデオデータの復号化装置を示したブロック図である。図９を参照すれば、多視点ビデオデータの復号化装置９００は、受信部９１０、カラービデオフレーム復号化部９２０及び深度マップフレーム復号化部９３０を含む。

受信部９１０は、多視点カラービデオフレームと、多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する。

カラービデオフレーム復号化部９２０は、ビットストリームから獲得された符号化された多視点カラービデオフレームを復号化する。図１３ないし図２５を参照して説明するように、特に、本発明の一実施形態によるカラービデオフレーム復号化部９２０は、階層的構造の符号化単位に基づいて、多視点カラービデオフレームを復号化することができる。カラービデオフレーム復号化部９２０は、ビットストリームから、多視点カラービデオフレームが分割された最大符号化単位の大きさ、最大符号化単位の空間的分割回数を示す深度、深度によって階層的に構成される符号化単位の予測符号化時に利用されたパーティション及び階層的構造の変換単位の構造を示す情報を獲得する。そして、カラービデオフレーム復号化部９２０は、獲得された情報に基づいて、多視点カラービデオフレームを、最大サイズの符号化単位に分割した少なくとも１つの最大符号化単位ごとに、最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、符号化深度の符号化単位ごとに予測復号化のためのパーティションを決定し、ツリー構造による変換単位を決定する。

深度マップフレーム復号化部９３０は、復号化された多視点カラービデオフレームの復号化結果を利用して、対応する深度マップフレームを予測復号化する。具体的には、深度マップフレーム復号化部９３０は、復号化された多視点カラービデオフレームを利用して、対応する深度マップフレームをイントラ予測復号化する。特に、本発明の一実施形態による深度マップフレーム復号化部９３０は、深度マップフレームの符号化時、対応する多視点カラービデオフレームとの相関関係を考慮し、該相関関係を決定するために、復号化された多視点カラービデオフレームのブロックをピクセル値に基づいてパーティションに分割し、隣接した周辺ピクセル間の相関関係を考慮し、パーティションごとに、カラー映像と、深度マップ映像との相関関係を定義するパラメータを決定し、決定されたパラメータを利用して、復号化された多視点カラービデオフレームブロック・パーティションから、対応する深度マップフレームブロック・パーティションを予測する。

図１０は、図９の深度マップフレーム復号化部９３０の具体的な構成を示したブロック図である。図１０を参照すれば、深度マップフレーム復号化部１０００は、スケーリング部１０１０、分割部１０２０、相関関係パラメータ獲得部１０３０、深度マップフレーム予測部１０４０及び加算部１０５０を含む。

スケーリング部１０１０は、深度マップフレームのブロックと、多視点カラービデオフレームのブロックとのサイズが異なる場合、多視点カラービデオフレームのブロックサイズと、深度マップフレームのブロックサイズとが同一になるように、多視点カラービデオフレームのブロックをサンプリングする。分割部１０２０は、復号化された多視点カラービデオフレームのブロックのピクセル値に基づいて、多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する。そして、分割部１０２０は、多視点カラービデオフレームのブロック・パーティションと同一に、深度マップフレームのブロックをパーティションに分割する。

分割部１０２０によって、多視点カラービデオフレームのブロックを複、数個のパーティションに分割すれば、相関関係パラメータ獲得部１０３０は、多視点カラービデオフレームのブロック・パーティションそれぞれについて、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する以前に復号化された深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する。

深度マップフレーム予測部１０４０は、獲得されたパラメータを利用して、復号化された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。前述の図４の深度マップフレーム予測部４４０の予測値獲得過程と同様に、深度マップフレーム予測部１０４０は、復号化された多視点カラービデオフレームのブロック・パーティション別に決定された加重値及びオフセットを利用して、多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームのブロック・パーティションを予測する。

加算部１０５０は、ビットストリームから、原深度マップフレームのピクセル値と、予測された深度マップフレームのピクセル値との差値である深度マップレジデューを獲得し、深度マップフレーム予測部１０４０で獲得された予測値と深度マップレジデューとを加算し、深度マップフレームのブロック・パーティションを復元する。深度マップレジデューは一、般的なレジデューと同様に、エントロピー復号化、逆量子化及び逆変換を介して復元される。

図１１は、本発明の一実施形態による、多視点ビデオデータの深度マップ復号化方法を示したフローチャートである。図１１を参照すれば、段階１１１０で、受信部９１０は、多視点カラービデオフレームと、多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信してパージングする。

段階１１２０で、カラービデオフレーム復号化部９２０は、多視点カラービデオフレームを復号化する。後述するように、カラービデオフレーム復号化部９２０は、階層的構造の符号化単位に基づいて、多視点カラービデオフレームを復号化することができる。

段階１１３０で、深度マップフレーム復号化部９３０は、復号化された多視点カラービデオフレームのブロックのピクセル値に基づいて、復号化された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する。

段階１１４０で、深度マップフレーム復号化部９３０は、復号化された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び多視点カラービデオフレームのブロック・パーティションと対応する深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、多視点カラービデオフレームのブロック・パーティションと、深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する。

段階１１５０で、深度マップフレーム復号化部９３０は、獲得されたパラメータを利用して、復号化された多視点カラービデオフレームのブロック・パーティションから、対応する深度マップフレームブロック・パーティションに係わる予測値を獲得する。そして、深度マップフレーム復号化部９３０は、獲得された予測値と深度マップレジデューとを加算し、深度マップフレームのブロック・パーティションを復元する。

図１２は、本発明の一実施形態による多視点ビデオ符号化方法、及び多視点ビデオ復号化方法によって符号化及び復号化される多視点カラービデオフレームを示した図面である。

カラービデオフレーム符号化部３２０は、多視点映像を、時間的相関関係（temporal correlation）、及びカメラ間（inter-view）の空間的相関関係（spatial correlation）を利用して圧縮符号化する。

図１２を参照すれば、ｘ軸は、時間軸であり、ｙ軸は、視点軸ある。ｘ軸のＴ０ないしＴ８は、それぞれ映像のサンプリング時間を示し、ｙ軸のＳ０ないしＳ８は、それぞれ互いに異なる視点を示したものである。図１２で、それぞれの行は、同一の視点から入力された映像ピクチャグループを示し、それぞれの列は、同一の時間での多視点映像を示す。

カラービデオフレーム符号化部３２０は、基本視点の映像に対して、周期的にイントラピクチャを生成し、生成されたイントラピクチャを基に、時間的予測または視点間予測を行い、他のピクチャを予測符号化する。

時間的予測とは、同一の視点、すなわち、図１２で、同一行にある映像間で、時間的な相関関係を利用する予測である。時間的予測のために、階層的Ｂピクチャ（bi-directional picture）を利用した予測構造が利用される。視点間予測は、同じ時間、すなわち、同一の列にある映像間で、空間的な相関関係を利用する予測である。

階層的Ｂピクチャを利用した多視点映像ピクチャの予測構造は、同一の視点、すなわち、同一の行にある映像間に存在する時間的な相関関係を利用した予測を行うとき、同一視点の映像ピクチャグループを、アンカ（anchor）ピクチャを利用して、双方向ピクチャ（Ｂピクチャ（bi-directional picture））で予測符号化するのである。ここで、アンカピクチャは、図１２に図示された列のうち、イントラピクチャを含んでいる最初の時間Ｔ０と最後の時間Ｔ８とでの列１１０及び１２０に含まれているピクチャを意味する。アンカピクチャ１１０及び１２０は、イントラピクチャ（intra picture；以下、「Ｉピクチャ」とする）を除き、視点間予測のみを利用して、予測符号化される。イントラピクチャを含んでいる列１１０及び１２０を除いた残りの列１３０に含まれているピクチャは、非アンカピクチャ（non-anchor picture）という。

一例として、最初の視点Ｓ０で、所定の時間の間入力された映像ピクチャを、階層的Ｂピクチャを利用して符号化する場合について説明する。最初の視点Ｓ０から入力された映像ピクチャのうち、最初の時間Ｔ０から入力されたピクチャ１１１、及び最後の時間Ｔ８から入力されたピクチャ１２１は、Ｉピクチャとして符号化される。次に、Ｔ４時間に入力されたピクチャ１３１は、アンカピクチャであるＩピクチャ１１１，１２１を参照して双方向予測符号化され、Ｂピクチャとして符号化される。Ｔ２時間に入力されたピクチャ１３２は、Ｉピクチャ１１１及びＢピクチャ１３１を利用して双方向予測符号化され、Ｂピクチャとして符号化される。同様に、Ｔ１時間に入力されたピクチャ１３３は、Ｉピクチャ１１１及びＢピクチャ１３２を利用して双方向予測符号化され、Ｔ３時間に入力されたピクチャ１３４は、Ｂピクチャ１３２及びＢピクチャ１３１を利用して双方向予測符号化される。このように、同一視点の映像シーケンスは、アンカピクチャを利用して、階層的に双方向予測符号化されるので、かような予測符号化方式を、階層的Ｂピクチャと呼ぶ。一方、図１２に図示されたＢｎ（ｎ＝１，２，３，４）でｎは、ｎ番目の双方向予測されたＢピクチャを示し、例えば、Ｂ１は、ＩピクチャまたはＰピクチャであるアンカピクチャを利用して、最初に双方向予測されたピクチャであるということを示すものであり、Ｂ２は、Ｂ１ピクチャ以後に双方向予測されたピクチャであるということを示すものであり、Ｂ３は、Ｂ２ピクチャ以後に双方向予測されたピクチャであるということを示すものであり、Ｂ４は、Ｂ３ピクチャ以後に双方向予測されたピクチャであるということを示す。
多視点ビデオフレームの符号化時には、まず基本視点である最初の視点Ｓ０の映像ピクチャグループを、前述の階層的Ｂピクチャを利用して符号化する。残りの視点の映像シーケンスを符号化するために、まず最初の視点Ｓ０のＩピクチャ１１１，１２１を利用した視点間予測を介して、アンカピクチャ１１０，１２０に具備された奇数番目の視点Ｓ２，Ｓ４，Ｓ６、及び最後の視点Ｓ７の映像ピクチャをＰピクチャとして予測符号化する。アンカピクチャ１１０，１２０に具備された偶数番目の視点Ｓ１，Ｓ３，Ｓ５の映像ピクチャは、視点間予測を介して、隣接した視点の映像ピクチャを利用して双方向予測され、Ｂピクチャとして符号化される。例えば、Ｔ０時間で、２番目の視点Ｓ１から入力されたＢピクチャ１１３は、隣接した視点Ｓ０，Ｓ２のＩピクチャ１１１及びＰピクチャ１１２を利用して双方向予測される。

アンカピクチャ１１０，１２０に具備されたあらゆる視点の映像ピクチャが、ＩＢＰのうち、いずれか１つのピクチャとして符号化されれば、非アンカピクチャ１３０は、前述のように、階層的Ｂピクチャを利用した時間的予測及び視点間予測を介して、双方向予測符号化される。

非アンカピクチャ１３０のうち、奇数番目の視点Ｓ２，Ｓ４，Ｓ６及び最後の視点Ｓ７の映像ピクチャは、階層的Ｂピクチャを利用した時間的予測を介して、同一視点のアンカピクチャを利用して、双方向予測符号化される。非アンカピクチャ１３０のうち、偶数番目の視点Ｓ１，Ｓ３，Ｓ５Ｓ７のピクチャは、階層的Ｂピクチャを利用した時間的予測だけではなく、隣接した視点のピクチャを利用した視点間予測を介して双方向予測される。例えば、Ｔ４時間で、２番目の視点Ｓ２から入力されたピクチャ１３６は、アンカピクチャ１１３，１２３、及び隣接した視点のピクチャ１３１，１３５を利用して予測される。

アンカピクチャ１１０，１２０に具備されたＰピクチャは、前述のように、同一時間に入力された異なる視点のＩピクチャ、または以前のＰピクチャを利用して予測符号化される。例えば、Ｔ８時間で、３番目の視点Ｓ２から入力されたＰピクチャ１２２は、同一時間の最初の視点Ｓ０から入力されたＩピクチャ１２１を参照ピクチャとして利用して予測符号化される。

以下、図１３ないし図２５を参照し、ツリー構造による符号化単位を基に、予測単位及びパーティションに対して予測符号化を行うビデオ符号化方法及びその装置、そして予測復号化を行うビデオ復号化方法及びその装置について述べる。以下で説明するビデオ符号化方法及びその装置は、前述の図３のカラービデオフレーム符号化部３２０に適用され、ビデオ復号化方法及びその装置は、前述の図９のカラービデオフレーム復号化部９２０に適用される。

図１３は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置のブロック図を図示している。

一実施形態によって、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約することにする。

最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位に、縦横の大きさが２の累乗である正四角形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。

一実施形態による符号化単位は、最大サイズ及び最大深度と特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が、最上位深度であり、最小符号化単位が最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは縮小される、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。

前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial domain）の映像データが深度によって、階層的に分類される。

最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。

符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で、映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。

最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。

最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は、増加する。また、１つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定されもし、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。

従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定する。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。

一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの全個数を示す。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度が１に設定され、２回分割された符号化単位の深度が２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度が４、第２最大深度が５に設定される。

最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。

最大符号化単位が、深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成されるあらゆる深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位において、現在深度の符号化単位を基に、予測符号化及び変換について説明する。

一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、あらゆる段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。

例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。

最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になる、それ以上分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。

例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位がそれ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。

予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。

また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同サイズの変換単位を基に変換が行われる。例え、ば変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。

一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によってツリー構造による変換単位によって区画される。

一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に、変換単位の大きさがＮｘＮであるならば、変換深度１に、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。

符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。

一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については後述する。

符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian multiplier）基盤の率・歪曲最適化技法（rate-distortion optimization）を利用して測定することができる。

出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報をビットストリーム形態に出力する。

符号化された映像データは、映像の残差データの符号化結果でもある。

深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含んでもよい。

符号化深度情報は、現在深度に符号化せずに、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。

現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。

１つの最大符号化単位内でツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。

従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。

一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。

例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。

ピクチャ、スライスまたはＧＯＰ（group of pictures）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどに挿入される。

また、現在ビデオに対して許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどを介して出力される。出力部１３０は、符号化単位のスケーラビリティに係わる情報などを符号化して出力することができる。

ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが、２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を、最大４個含んでもよい。

従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。

従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が向上される。

図１４は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置のブロック図を図示している。

一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約する。

一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１３のビデオ符号化装置１００を参照して前述のところと同一である。

受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。

また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度、及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が、最大符号化単位ごとに映像データを復号化する。

最大符号化単位別符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されてもよい。

映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。

一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位において、所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位に類推される。

映像データ復号化部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。

映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。

また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。

映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位大きさ情報を利用して、復号化することができる。

すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。

ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。

従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。

図１５は、本発明の一実施形態による符号化単位の概念を図示している。

符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。

ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１５に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。

解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。

ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。

ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。

図１６は、本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図を図示している。

一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。

イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。

一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。

特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。

図１７は、本発明の一実施形態による、符号化単位に基づいた映像復号化部のブロック図を図示している。

ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。

空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。

イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５としてに出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
ビデオ復号化装置２００の映像データ復号化部２３０で映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０後の段階別作業が行われる。

一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。

特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。

図１８は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。

一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定される。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。

一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び最大幅が６４であり、最大深度が４である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。

すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位として深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。

それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。

同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。

同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。

同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。

最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。

一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。

同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つ含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。

それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。

図１９は、本発明の一実施形態による符号化単位及び変換単位の関係を図示している。

一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり、あるいは復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。

例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。

また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位に対してそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。

図２０は、本発明の一実施形態による深度別符号化情報を図示している。

一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。

パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。

予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。

また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。

図２１は、本発明の一実施形態による深度別符号化単位を図示している。

深度の変化を示すために分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。

深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。

パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに反復して予測符号化が行われる。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。

サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要ない。

サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であれば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。

深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。

また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であれば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。

最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。

パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに反復して、予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。

サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に対する符号化深度が深度ｄ−１として決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）として決定される。また最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報が設定されない。

データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。

かように深度０，１，…，ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。

一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に対する符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。

図２２、図２３及び図２４は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を図示している。

符号化単位１０１０は、最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。

深度別符号化単位１０１０は、最大符号化単位の深度が０であるとするならば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。

予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。

変換単位１０７０において、一部変換単位１０５２の映像データについては、符号化単位に比べて、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償の作業、及び変換／逆変換の作業であるとしても、それぞれ別個のデータ単位を基に行われる。

それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示す。

一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。

分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。

予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。

パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。

変換単位サイズは、イントラモードで、二種の大きさ、インターモードで、二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。

一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。

従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。

従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。

他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。

図２５は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。

最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６，ＮｘＮ １３２８，２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定される。

変換単位分割情報（ＴＵ size flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。

例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ １３２２，２ＮｘＮ １３２４，Ｎｘ２Ｎ １３２６及びＮｘＮ １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。

パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ １３３２，２ＮｘｎＤ １３３４，ｎＬｘ２Ｎ １３３６及びｎＲｘ２Ｎ １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ size flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。

図１ないし図２５を参照して説明した多視点ビデオデータの符号化方法及び復号化方法のそれぞれの実施形態をそれぞれ具現するためのプログラムがコンピュータで読み取り可能な記録媒体に保存されることにより、独立したコンピュータ・システムが、前記記録媒体に保存された実施形態による動作を容易に具現することができる。

説明の便宜のために、先に図１ないし図２５を参照して説明した多視点ビデオデータ符号化方法／復号化方法を、それぞれ「本発明のビデオ符号化方法」及び「本発明のビデオ復号化方法」とする。また、先に図１ないし図２５を参照して説明した多視点ビデオデータ符号化装置／復号化装置を、それぞれ「本発明のビデオ符号化装置」及び「本発明のビデオ復号化装置」とする。

一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体が、ディスク２６０である実施形態について以下で説明する。

図２６Ａは、一実施形態によるプログラムが保存されたディスク２６０の物理的構造を例示している。記録媒体として説明するディスク２６０は、ハードドライブ、ＣＤ（compact disc）−ＲＯＭ（read only memory）ディスク、ブルーレイ（Blu-ray）ディスク、ＤＶＤ（digital versatile disk）ディスクでもある。ディスク２６０は、多数の同心円のトラックＴｒで構成され、トラックＴｒは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０のうち特定領域に、前述の多視点ビデオ予測方法、多視点ビデオ予測復元方法、多視点ビデオ符号化方法及び多視点ビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。

前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータ・システムについて、図２６Ｂを参照して説明する。

図２６Ｂは、ディスク２６０を利用して、プログラムを記録して判読するためのディスクドライブ２６３を図示している。コンピュータ・システム２６５は、ディスクドライブ２６３を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク２６０に保存することができる。ディスク２６０に保存されたプログラムを、コンピュータ・システム２６５上で実行するために、ディスクドライブ２６３によって、ディスク２６０からプログラムが読み取られ、プログラムがコンピュータ・システム２６５に伝送される。

図２６Ａ及び図２６Ｂで例示されたディスク２６０だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid state drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。

前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて、以下に述べる。

図２７は、コンテンツ流通サービス（content distribution service）を提供するためのコンテンツ供給システム（content supply system）１１００の全体的構造を図示している。通信システムのサービス領域、は所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７０，１１８０，１１９０，１２００が設置される。

コンテンツ供給システム１１００は、多数の独立デバイスを含む。例えば、コンピュータ１２１０、ＰＤＡ（personal digital assistant）１２２０、カメラ１２３０及び携帯電話１２５０のような独立デバイスが、インターネットサービス供給者１１２０、通信網１１４０、及び無線基地局１１７０，１１８０，１１９０，１２００を経て、インターネット１１１０に連結される。

しかし、コンテンツ供給システム１１００は、図２７に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７０，１１８０，１１９０，１２００を経ずに、通信網１１４０に直接連結されもする。

ビデオカメラ１２３０は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５０は、ＰＤＣ（personal digital communications）、ＣＤＭＡ（code division multiple access）、Ｗ−ＣＤＭＡ（wideband code division multiple access）、ＧＳＭ（global system for mobile communications）及びＰＨＳ（personal handyphone system）方式のような多様なプロトコルのうち、少なくとも１つの通信方式を採択することができる。

ビデオカメラ１２３０は、無線基地局１１９０及び通信網１１４０を経て、ストリーミング・サーバ１１３０に連結される。ストリーミング・サーバ１１３０は、ユーザが、ビデオカメラ１２３０を使用して伝送したコンテンツをリアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３０から受信されたコンテンツは、ビデオカメラ１２３０またはストリーミング・サーバ１１３０によって符号化される。ビデオカメラ１２３０で撮影されたビデオデータは、コンピュータ１２１０を経て、ストリーミング・サーバ１１３０に伝送されもする。

カメラ１２６０で撮影されたビデオデータも、コンピュータ１２１０を経て、ストリーミング・サーバ１１３０に伝送されもする。カメラ１２６０は、デジタルカメラのように、静止映像とビデオ映像とをいずれも撮影することができる撮像装置である。カメラ１２６０から受信されたビデオデータは、カメラ１２６０またはコンピュータ１２１０によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ１２１０がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピーディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。

また携帯電話１２５０に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５０から受信される。

ビデオデータは、ビデオカメラ１２３０、携帯電話１２５０またはカメラ１２６０に搭載されたＬＳＩ（large scale integrated circuit）システムによって符号化される。

一実施形態によるコンテンツ供給システム１１００で、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３０、カメラ１２６０、携帯電話１２５０または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミング・サーバ１１３０に伝送される。ストリーミング・サーバ１１３０は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。

クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１０、ＰＤＡ １２２０、ビデオカメラ１２３０または携帯電話１２５０でもある。従って、コンテンツ供給システム１１００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１００は、クライアントをして、符号化されたコンテンツデータを受信し、リアルタイムで復号化して再生するようにさせ、個人放送（personal broadcasting）を可能にする。

コンテンツ供給システム１１００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。

図２８及び図２９を参照し、コンテンツ供給システム１１００における携帯電話１２５０の一実施形態について詳細に説明する。図２８は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５０の外部構造を図示している。携帯電話１２５０は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり、あるいは拡張することができるスマートフォンでもある。

携帯電話１２５０は、無線基地局１２００とＲＦ（radio frequency）信号を交換するための内蔵アンテナ１２５１を含み、カメラ１２５３によって撮影された映像、またはアンテナ１２５１によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid crystal display）画面、ＯＬＥＤ（organic light emitting diode）画面のようなディスプレイ画面１２５２を含む。スマートフォン１２５１は、制御ボタン、タッチパネルを含む動作パネル１２５４を含む。ディスプレイ画面１２５２がタッチスクリーンである場合、動作パネル１２５４は、ディスプレイ画面１２５２のタッチ感知パネルをさらに含む。スマートフォン１２５１は、音声、音響を出力するためのスピーカ１２５８または他の形態の音響出力部；及び音声、音響が入力されるマイクロホン１２５５または他の形態の音響入力部；を含む。スマートフォン１２５１は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge coupled device）カメラのようなカメラ１２５３をさらに含む。また、スマートフォン１２５１は、カメラ１２５３によって撮影されたり、あるいは電子メール（Ｅ−mail）に受信されたり、あるいは他の形態で獲得されたビデオや静止映像のように、符号化されたり、あるいは復号化されたデータを保存するための記録媒体１２５７；及び記録媒体１２５７を携帯電話１２５０に装着するためのスロット１２５６；を含んでもよい。記録媒体１２５７は、ＳＤカードまたはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically erasable and programmable read only memory）のような他の形態のフラッシュメモリでもある。

図２９は、携帯電話１２５０の内部構造を図示している。ディスプレイ画面１２５２及び動作パネル１２５４で構成された携帯電話１２５０の各パートを組織的に制御するために、電力供給回路１２７０、動作入力制御部１２６４、映像符号化部１２７２、カメラ・インターフェース１２６３、ＬＣＤ制御部１２６２、映像復号化部１２６９、マルチプレクサ／デマルチプレクサ（ＭＵＸ：multiplexer/ＤＥＭＵＸ：demultiplexer）１２６８、記録／判読部１２６７、変調／復調（modulation/demodulation）部１２６６及び音響処理部１２６５が、同期化バス１２７３を介して中央制御部１２７）に連結される。

ユーザが電源ボタンを動作し、「電源ＯＦＦ」状態から「電源ＯＮ」状態に設定すれば、電力供給回路１２７０は、バッテリパックから、携帯電話１２５０の各パートに全力を供給することにより、携帯電話１２５０が動作モードにセッティングされる。

中央制御部１２７１は、ＣＰＵ（central processing unit）、ＲＯＭ及びＲＡＭ（random access memory）を含む。

携帯電話１２５０に外部で通信データを送信する過程では、中央制御部１２７１の制御によって、携帯電話１２５０でデジタル信号が生成される、例えば、音響処理部１２６５では、デジタル音響信号が生成され、映像符号化部１２７２では、デジタル映像信号が生成され、動作パネル１２５４及び動作入力制御部１２６４を介して、メッセージのテキストデータが生成される。中央制御部１２７１の制御によって、デジタル信号が変調／復調部１２６６に伝達されれば、変調／復調部１２６６は、デジタル信号の周波数帯域を変調し、通信回路１２６１は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog conversion）処理及び周波数変換（frequency conversion）処理を行う。通信回路１２６１から出力された送信信号は、アンテナ１２５１を介して、音声通信基地局または無線基地局１２００に送出される。

例えば、携帯電話１２５０が通話モードであるとき、マイクロホン１２５５によって獲得された音響信号は、中央制御部１２７１の制御によって、音響処理部１２６５で、デジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６及び通信回路１２６１を経て、送信信号に変換され、アンテナ１２５１を介して送出される。

データ通信モードで、電子メールのようなテキスト・メッセージが伝送される場合、動作パネル１２５４を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４を介して、中央制御部１２６１に伝送される。中央制御部１２６１の制御により、テキストデータは、変調／復調部１２６６及び通信回路１２６１を介して送信信号に変換され、アンテナ１２５１を介して、無線基地局１２００に送出される。

データ通信モードで、映像データを伝送するために、カメラ１２５３によって撮影された映像データが、カメラ・インターフェース１２６３を介して、映像符号化部１２７２に提供される。カメラ１２５３によって撮影された映像データは、カメラ・インターフェース１２６３及びＬＣＤ制御部１２６２を介して、ディスプレイ画面１２５２に直ちにディスプレイされる。

映像符号化部１２７２の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２は、カメラ１２５３から提供された映像データを、前述のビデオ符号化装置１００または映像符号化部４００のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを、多重化／逆多重化部１２６８に出力することができる。カメラ１２５３の録画中に、携帯電話１２５０のマイクロホン１２５５によって獲得された音響信号も、音響処理部１２６５を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８に伝達される。

多重化／逆多重化部１２６８は、音響処理部１２６５から提供された音響データと共に、映像符号化部１２７２から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６及び通信回路１２６１を介して送信信号に変換され、アンテナ１２５１を介して送出される。

携帯電話１２５０が外部から通信データを受信する過程では、アンテナ１２５１を介して受信された信号を、周波数復元（frequency recovery）及びＡ／Ｄ変換（analog-digital conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９、音響処理部１２６５またはＬＣＤ制御部１２６２に伝達される。

携帯電話１２５０は、通話モードであるとき、アンテナ１２５１を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換処理を介し、てデジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１の制御によって、変調／復調部１２６６及び音響処理部１２６５を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８を介して出力される。

データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１を介して、無線基地局１２００から受信された信号は、変調／復調部１２６６の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８に伝達される。

アンテナ１２５１を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８は、多重化されたデータを逆多重化して符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３によって、符号化されたビデオデータストリームは、ビデオ復号化部１２６９に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５に提供される。

映像復号化部１２６９の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９は、前述のビデオ復号化装置２００または映像復号化部５００のビデオ復号化方式を利用して符号化されたビデオデータを復号化し、復元されたビデオデータを生成し、復元されたビデオデータを、ＬＣＤ制御部１２６２を経てディスプレイ画面１２５２に提供することができる。

それにより、インターネットのウェブサイトから、アクセスされたビデオファイルのビデオデータがディスプレイ画面１２５２にディスプレイされる。それと同時に、音響処理部１２６５も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８に提供することができる。それにより、インターネットのウェブサイトから、アクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８で再生される。

携帯電話１２５０または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む伝送端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。

本発明の通信システムは、図２７を参照して説明した構造に限定されるものではない。例えば、図３０は本発明による通信システムが適用されたデジタル放送システムを図示している。図３０の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星または地上波のネットワークを介して伝送されるデジタル放送を受信することができる。

具体的に述べれば、放送局１２８９は、電波を介して、ビデオデータストリームを、通信衛星または放送衛星１２９０に伝送する。放送衛星１２９０は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１、セットトップボックス（set-top box）１２８７または他のデバイスによって復号化されて再生される。

再生装置１２８３で、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３が、ディスク及びメモリカードのような記録媒体１２８２に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４で再生される。

衛星／地上波放送のためのアンテナ１２８６、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５に連結されたセットトップボックス１２８７にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７の出力データも、ＴＶモニタ１２８８で再生される。

他の例として、セットトップボックス１２８７の代わりに、ＴＶ受信機１２８１自体に、本発明のビデオ復号化装置が搭載されもする。

適切なアンテナ１２９１を具備した自動車１２９２が、衛星１２８０または無線基地局１１７０から送出される信号を受信することもできる。自動車１２９２に搭載された自動車ナビゲーション・システム１２９３のディスプレイ画面に、復号化されたビデオが再生される。

ビデオ信号は、本発明のビデオ符号化装置によって符号化され、記録媒体に記録されて保存される。具体的に述べれば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６に保存されたり、あるいはハードディスク・レコーダ１２９５によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号はＳＤカード１２９７に保存されもする。ハードディスク・レコーダ１２９５が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６、ＳＤカード１２９７または他の形態の記録媒体に記録されたビデオ信号が、モニタ１２８８で再生される。

自動車ナビゲーション・システム１２９３は、図２９のカメラ１２５３、カメラ・インターフェース１２６３及び映像符号化部１２７２を含まないこともある。例えば、コンピュータ１２１０及びＴＶ受信機１２８１も、図２９のカメラ１２５３、カメラ・インターフェース１２６３及び映像符号化部１２７２を含まないこともある。

図３１は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピュータ・システムのネットワーク構造を図示している。

本発明のクラウドコンピュータ・システムは、クラウドコンピュータ・サーバ１４１０、ユーザＤＢ（database）１４１０、コンピュータ資源１４２０及びユーザ端末機を含んでなる。

クラウドコンピュータ・システムは、ユーザ端末機の要請により、インターネットのような情報通信網を介して、コンピュータ資源のオンデマンド・アウトソーシング・サービスを提供する。クラウドコンピュータ環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンタのコンピュータ資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピュータ資源を、各ユーザ所有の端末に設置して使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを所望する時点で、所望するほど選んで使用することができる。

特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピュータ・サーバ１４１０に接続する。ユーザ端末機は、クラウドコンピュータ・サーバ１４１０から、クラウドコンピュータ・サービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal computer）１４３０、スマートＴＶ １４４０、スマートフォン１４５０、ノート型パソコン１４６０、ＰＭＰ（portable multimedia player）１４７０、タブレットＰＣ １４８０など、インターネット接続が可能なあらゆる電子機器にもなる。

クラウドコンピュータ・サーバ１４１０は、クラウド網に分散されている多数のコンピュータ資源１４２０を統合し、ユーザ端末機に提供することができる。多数のコンピュータ資源１４２０は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かように、クラウドコンピュータ・サーバ１４１０は、さまざまなところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。

ユーザＤＢ １４１０には、クラウドコンピュータ・サービスに加入しているユーザの情報が保存される。ここで、ユーザ情報は、ログイン情報と、住所、氏名など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の静止視点などを含んでもよい。

ユーザＤＢ １４１０に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６０から再生要請され、ノート型パソコン１４６０に所定動画サービスを提供した場合、ユーザＤＢ １４１０に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５０から同一の動画サービスの再生要請が受信される場合、クラウドコンピュータ・サーバ１４１０は、ユーザＤＢ １４１０を参照し、所定動画サービスを探して再生する。スマートフォン１４５０が、クラウドコンピュータ・サーバ１４１０を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先に図２９を参照して説明した携帯電話１２５０の動作と類似している。

クラウドコンピュータ・サーバ１４１０は、ユーザＤＢ １４１０に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピュータ・サーバ１４１０は、ユーザ端末機から、ユーザＤＢ １４１０に保存された動画に対する再生要請を受信する。動画が、以前に再生中であったのであれば、クラウドコンピュータ・サーバ１４１０は、ユーザ端末機による選択によって、最初から再生するか、あるいは以前の停止時点から再生するかによって、ストリーミング方法が変わる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピュータ・サーバ１４１０は、ユーザ端末機に当該動画を最初のフレームからストリーミング伝送する。一方、端末機１０が、以前の停止時点から、続けて再生するように要請した場合には、クラウドコンピュータ・サーバ１４１０は、ユーザ端末機に当該動画を、停止視点のフレームからストリーミング伝送する。

そのとき、ユーザ端末機は、図１ないし図２５を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１ないし図２５を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１ないし図２５を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。

図１ないし図２５を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２６Ａないし図３１で説明した。しかし、図１ないし図２５を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図２６Ａないし図３１の実施形態に限定されるものではない。

本発明で開示されたブロック図は、本発明の原理を具現するための回路を概念的に表現した形態であると当業者に解釈されるであろう。同様に、任意のフローチャート、フロー図表、状態転移図、擬似コードなどは、コンピュータで読み取り可能な媒体で実質的に表現され、コンピュータまたはプロセッサが明示的に図示されていてもいなくとも、かようなコンピュータまたはプロセッサによって実行される多様なプロセスを示すということは、当業者に認識されるであろう。従って、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタル・コンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）；光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

図面に図示された多様な要素の機能は、適切なソフトウェアと関連し、該ソフトウェアを実行することができるハードウェアだけではなく、専用ハードウェアの利用を介して提供される。プロセッサによって提供されるとき、かような機能は単一専用プロセッサ、単一共有プロセッサ、または一部が共有される複数の個別プロセッサによって提供される。また、用語「プロセッサ」または「制御部」の明示的な利用は、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈されるものではなく、制限なしに、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保存するためのＲＯＭ、ＲＡＭ、及び不揮発性保存装置を暗黙的に含んでもよい。

本明細書の特許請求の範囲、特定機能を遂行するための手段として表現された要素は、特定機能を遂行する任意の方式を包括し、かような要素は、特定機能を遂行する回路要素の組み合わせ、または特定機能を遂行するためのソフトウェアを遂行するために適する回路と結合された、ファームウェア、マイクロコードなどを含む任意の形態のソフトウェアを含んでもよい。

本明細書で、本発明の原理の「一実施形態」及び当該表現の多様な変形の指称は、その実施形態と係わって、特定の特徴、構造、特性などが、本発明の原理の少なくとも１つの実施形態に含まれるということを意味する。従って、表現「一実施形態」と、本明細書全体を介して開示された任意の他の変形例は、必ずしも同一の実施形態を指すものではない。

本明細書で、「Ａ及びＢのうち少なくとも一つ」とする場合、「のうち少なくとも一つ」というの表現は、最初のオプション（Ａ）の選択だけ、または次に列挙されたオプション（Ｂ）の選択だけ、または両方オプション（Ａ及びＢ）の選択を包括するために使用される。追加的な例として、「Ａ、Ｂ、及びＣのうち少なくとも一つ」の場合は、最初に列挙されたオプション（Ａ）の選択だけ、または次に列挙されたオプション（Ｂ）の選択だけ、または３番目に列挙されたオプション（Ｃ）の選択だけ、または最初及び２番目に目列挙されたオプション（Ａ及びＢ）の選択だけ、または２番目及び３番目に列挙されたオプション（Ｂ及びＣ）の選択だけ、またはあらゆる３個のオプションの選択（Ａ、Ｂ及びＣ）が包括される。さらに多くの項目が列挙される場合にも、当業者に明白に拡張解釈されるであろう。

以上、本発明について、その望ましい実施形態を中心に説明した。

本明細書を介して開示されたあらゆる実施形態と条件付き例示は、本発明の技術分野で、当業者が、本発明の原理と概念とを理解することができるように一助とするための意図から記述されたものであり、当業者は、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならないであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異は、本発明に含まれるものであると解釈されなければならないのである。

Claims (15)

1. 多視点ビデオデータの深度マップ符号化方法において、
   多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する段階と、
   前記獲得された多視点カラービデオフレームを予測符号化して復元する段階と、
   前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する段階と、
   前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する段階と、
   前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階と、を含むことを特徴とする多視点ビデオデータの深度マップ符号化方法。
2. 前記多視点カラービデオフレームを予測符号化する段階は、
   前記多視点カラービデオフレームを、最大サイズの符号化単位に分割した少なくとも１つの最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、前記符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定し、階層的構造の変換単位を基に変換を行い、ツリー構造による変換単位を決定する段階をさらに含むことを特徴とする請求項１に記載の多視点ビデオデータの深度マップ符号化方法。
3. 前記パラメータを獲得する段階は、
   前記相関関係を利用して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値から獲得された前記深度マップフレームのブロック・パーティションの周辺ピクセル値と、本来の前記深度マップフレームのブロック・パーティションの周辺ピクセル値との差が最小になるパラメータを決定することを特徴とする請求項１に記載の多視点ビデオデータの深度マップ符号化方法。
4. 前記相関関係は、線形関係であり、前記パラメータは、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値と、前記深度マップフレームのブロック・パーティションの対応する周辺ピクセル値との前記線形関係を定義する加重値及びオフセット値を含むことを特徴とする請求項３に記載の多視点ビデオデータの深度マップ符号化方法。
5. 前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値を、Ｒｅｃ＿Ｙ’、前記深度マップフレームのブロック・パーティションの対応する周辺ピクセル値の予測値を、Ｐｒｅｄ＿Ｄ、前記加重値をａ、前記オフセット値をｂとするとき、
   前記相関関係は、次の数式：Ｐｒｅｄ＿Ｄ＝ａ＊Ｒｅｃ＿Ｙ’＋ｂのように定義されることを特徴とする請求項４に記載の多視点ビデオデータの深度マップ符号化方法。
6. 前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階は、
   互いに異なるカラー成分の復元された多視点カラービデオフレームのブロック・パーティションを利用して、前記深度マップフレームブロック・パーティションそれぞれに係わる予測値を獲得する段階と、
   互いに異なるカラー成分の復元された多視点カラービデオフレームのブロック・パーティションから獲得された予測値のコストを比較し、前記深度マップフレームブロック・パーティションの予測に利用される多視点カラービデオフレームのブロック・パーティションを決定する段階と、をさらに含むことを特徴とする請求項１に記載の多視点ビデオデータの深度マップ符号化方法。
7. 多視点ビデオデータの深度マップ符号化装置において、
   多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する映像獲得部と、
   前記獲得された多視点カラービデオフレームを予測符号化するカラービデオフレーム符号化部と、
   前記符号化されたカラービデオフレームを復元する復元部と、
   前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する分割部と、
   前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する相関関係パラメータ獲得部と、
   前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する深度マップフレーム予測部と、を含むことを特徴とする多視点ビデオデータの深度マップ符号化装置。
8. 多視点ビデオデータの深度マップ復号化方法において、
   多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する段階と、
   前記多視点カラービデオフレームを復号化する段階と、
   前記復号化された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復号化された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する段階と、
   前記復号化された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する段階と、
   前記獲得されたパラメータを利用して、前記復号化された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階と、を含むことを特徴とする多視点ビデオデータの深度マップ復号化方法。
9. 前記多視点カラービデオフレームを復号化する段階は、
   前記ビットストリームから、前記多視点カラービデオフレームが分割された最大符号化単位の大きさ、前記最大符号化単位の空間的分割回数を示す深度、前記深度によって階層的に構成される符号化単位の予測符号化時に利用されたパーティション、及び階層的構造の変換単位の構造を示す情報を獲得する段階と、
   前記獲得された情報に基づいて、前記多視点カラービデオフレームを、最大サイズの符号化単位に分割した少なくとも１つの最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、前記符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定し、ツリー構造による変換単位を決定する段階をさらに含むことを特徴とする請求項８に記載の多視点ビデオデータの深度マップ復号化方法。
10. 前記パラメータを獲得する段階は、
    前記相関関係を利用して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値から獲得された前記深度マップフレームのブロック・パーティションの周辺ピクセル値と、本来の前記深度マップフレームのブロック・パーティションの周辺ピクセル値との差が最小になるパラメータを決定することを特徴とする請求項８に記載の多視点ビデオデータの深度マップ復号化方法。
11. 前記相関関係は、線形関係であり、前記パラメータは、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値と、前記深度マップフレームのブロック・パーティションの対応する周辺ピクセル値との前記線形関係を定義する加重値及びオフセット値を含むことを特徴とする請求項１０に記載の多視点ビデオデータの深度マップ復号化方法。
12. 前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値をＲｅｃ＿Ｙ’、前記深度マップフレームのブロック・パーティションの対応する周辺ピクセル値の予測値をＰｒｅｄ＿Ｄ、前記加重値をａ、前記オフセット値をｂとするとき、
    前記相関関係は、次の数式：Ｐｒｅｄ＿Ｄ＝ａ＊Ｒｅｃ＿Ｙ’＋ｂのように定義されることを特徴とする請求項１１に記載の多視点ビデオデータの深度マップ復号化方法。
13. 前記深度マップフレームブロック・パーティションに係わる予測値を獲得する段階は、
    互いに異なるカラー成分の復元された多視点カラービデオフレームのブロック・パーティションを利用して、前記深度マップフレームブロック・パーティションそれぞれに係わる予測値を獲得する段階と、
    互いに異なるカラー成分の復元された多視点カラービデオフレームのブロック・パーティションから獲得された予測値のコストを比較し、前記深度マップフレームブロック・パーティションの予測に利用される多視点カラービデオフレームのブロック・パーティションを決定する段階と、をさらに含むことを特徴とする請求項８に記載の多視点ビデオデータの深度マップ復号化方法。
14. 前記多視点カラービデオフレームのブロックは、
    前記深度マップフレームブロックと同一視点のカラービデオフレームブロック、前記深度マップフレームブロックサイズと同一サイズを有するようにスケーリングされた同一視点のカラービデオフレームブロック、前記深度マップフレームブロックと同一視点のカラービデオフレームブロックの周辺ブロック、前記深度マップフレームブロックサイズと同一サイズを有するようにスケーリングされた同一視点のカラービデオフレームブロックの周辺ブロック、多視点ビデオの視点間差を示す変移ベクトルに基づいて決定された前記深度マップフレームブロックと異なる視点のカラービデオフレームブロック、前記深度マップフレームブロックサイズと同一サイズを有するようにスケーリングされ、前記変移ベクトルに基づいて決定された異なる視点のカラービデオフレームブロック、前記変移ベクトルに基づいて決定された前記深度マップフレームブロックと異なる視点のカラービデオフレームブロックの周辺ブロック、及び前記深度マップフレームブロックサイズと同一サイズを有するようにスケーリングされ、前記変移ベクトルに基づいて決定された異なる視点のカラービデオフレームブロックの周辺ブロックのうち１つであることを特徴とする請求項８に記載の多視点ビデオデータの深度マップ復号化方法。
15. 多視点ビデオデータの深度マップ復号化装置において、
    多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する受信部と、
    前記ビットストリームから獲得された前記符号化された多視点カラービデオフレームを復号化するカラービデオフレーム復号化部と、
    前記復元された多視点カラービデオフレームのブロックのピクセル値に基づいて、前記復元された多視点カラービデオフレームのブロックを、少なくとも１つのパーティションに分割する分割部と、
    前記復元された多視点カラービデオフレームのブロック・パーティションそれぞれに対して、前記多視点カラービデオフレームのブロック・パーティションの周辺ピクセル値、及び前記多視点カラービデオフレームのブロック・パーティションと対応する前記深度マップフレームのブロック・パーティションの周辺ピクセル値を利用して、前記多視点カラービデオフレームのブロック・パーティションと、前記深度マップフレームのブロック・パーティションとの相関関係を示すパラメータを獲得する相関関係パラメータ獲得部と、
    前記獲得されたパラメータを利用して、前記復元された多視点カラービデオフレームのブロック・パーティションから、対応する前記深度マップフレームブロック・パーティションに係わる予測値を獲得する深度マップフレーム復号化部と、を含むことを特徴とする多視点ビデオデータの深度マップ復号化装置。