JP2015523030A

JP2015523030A - ３次元ビデオを表すビットストリームを符号化する装置

Info

Publication number: JP2015523030A
Application number: JP2015520828A
Authority: JP
Inventors: イエーガー，ファビアン; ウィーン，マティアス
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2012-07-13
Filing date: 2012-07-13
Publication date: 2015-08-06
Also published as: KR20150036261A; US20150124867A1; WO2014008951A1; CN104429062B; EP2873240A1; US9998761B2; CN104429062A

Abstract

本発明は、ビューの系列を有する３次元ビデオを表すビットストリームを符号化する装置（100）に関し、デプス・マップは各ビューに関連付けられ、デプス・マップは、ビューを取得するカメラへの位置に関するビューのデプス情報を有し、この装置は、デプス・マップを符号化ユニットに区分する区分器（101）と、符号化ユニットのデプス情報に基づいて各符号化ユニットのモデル関数のタイプを決定する決定器（103）と、符号化ユニットを、モデル関数により生成された各セグメントの単一の残差値に低減する低減器（105）と、使用されたモデル関数と残差値とをビットストリームで伝達する伝達器（107）とを有する。

Description

本発明は、３次元ビデオを表すビットストリームを符号化する装置及び方法に関する。

3Dビデオは、受信機側での更なる柔軟性を可能にするために、従来の2Dビデオデータと共にデプス（depth）・データの送信を必要とする新たな技術である。更なるデプス情報（立体情報）は、任意の視点を合成することを可能にし、認識されるデプスの印象の適応及び多視点（multi-view）のオート立体ディスプレイ（auto-stereoscopic display）の導出を可能にする。デプス情報をそれぞれ送信されるビューに追加することにより、符号化されるデータ量はかなり増加する。従来の加工していない（natural）ビデオ・デプス・マップは、デプスの不連続性（depth discontinuity）に沿った鋭いエッジにより境界される区分的に円滑な領域により特徴付けられる。デプス・マップを圧縮するために従来のビデオ符号化手法を使用することは、これらのデプスの不連続性に沿った強いリンギング・アーチファクト（ringing artifact）を生じる。これは、ビュー合成処理において視覚的に乱れた幾何学歪みをもたらす。従って、デプス・マップの記述された信号特性を保持することは、新たなデプス符号化アルゴリズムにとって重要な要件になる。

デプスの印象を観察者の個人的な嗜好に適合させることを可能にするオート立体ディスプレイ又は立体ディスプレイのような3Dディスプレイ技術の分野における最近の進展は、限られた数の利用可能な復号化されたビューに基づいて更なる任意のビューを合成することを必要とする。この柔軟性の程度を可能にするために、デプス情報は、受信機側で利用可能になる必要があり、従って、従来の2Dビデオデータに加えて符号化される必要がある。これらの更なるデプス・マップは、加工していないビデオデータに比べて異なる信号特性を示す。更に、デプス・マップにおける歪みは、表示されるビデオの視覚品質に間接的な影響を有する。この理由は、これらは同じシーンの新たなビューを合成するために使用され、決してユーザ自身に表示されないからである。加工していない2Dビデオに最適化されたアルゴリズムでデプス・マップを圧縮することは、デプスの不連続性に沿った強いリンギング・アーチファクトを生じる。これは、合成されたビューにおいて幾何学歪みを生じる。

H.264/AVC（例えば、P. Merkle, A. Smolic, K. Muller, and T. Wiegand, “Multi-view video plus depth representation and coding,” 14th IEEE International Conference on Image Processing (ICIP). IEEE, 2007, pp. I201−I204）に見られるように、デプス・データの圧縮に関する以前の研究は、デプス・データをグレー色のビデオデータとしてみなし、従来の変換に基づくビデオ符号化アルゴリズムで圧縮している。これらの従来の符号化ツールは、PSNRに関して比較的高い圧縮効率を生じるが、同時に、元のデプス・マップの鋭いエッジに沿ってリンギング・アーチファクトを導入する。これらのアーチファクトは、ビュー合成段階において幾何学歪みを生じる。最近のデプス圧縮アルゴリズムは、M. Sarkis, W. Zia, and K. Diepold, “Fast depth map compression and meshing with compressed tritree,” Computer Vision−ACCV 2009, pp. 44−55, 2010に記載のように三角形のメッシュ、又はY. Morvan, P. de With, and D. Farin, “Platelet-based coding of depth maps for the transmission of multiview images,” in Proceedings of SPIE, Stereoscopic Displays and Applications, vol. 6055, 2006, pp. 93−100に記載のようにプレートレット（platelet）に分け、各セグメントを適切な2D関数によりモデル化することにより、デプス・マップの信号特性を近似する。これらの純粋なモデルに基づく手法はまた、S. Liu, P. Lai, D. Tian, C. Gomila, and C. Chen, “Sparse dyadic mode for depth map compression,” in 17th IEEE International Conference on Image Processing (ICIP). IEEE, 2010, pp. 3421−3424に記載の疎二分（sparse-dyadic）モードのような更なる符号化モードを導入することにより、従来の変換に基づくツールと組み合わせることもできる。ここで、疎二分符号化されたブロックは、２つのセグメントに区別され、これらは２つの一定のデプス値により記述される。デプスの不連続性の保持はデプス・マップを圧縮するときに最も重要になるため、F. Jager, “Contour-based segmentation and coding for depth map compression,” in Visual Communications and Image Processing (VCIP), 2011 IEEE. IEEE, 2011, pp. 1−4.において以前に提案されているように、他の手法はこれらの不連続性の位置を可逆圧縮し、区分的に円滑な領域を近似することにある。この手法の欠点は、デプスの輪郭の可逆符号化のため、低ビットレートに近づけることができないことである。

要するに、テクスチャ化されたビデオデータに最適化された従来のアルゴリズムでデプス・マップを符号化するときに、変換及び量子化のため、デプスの不連続性に沿ったリンギング・アーチファクトが導入される。強いエッジにより境界される区分的に円滑な領域のような典型的なデプス・マップの特徴は、受信機において高品質のビュー合成を可能にするために異なって符号化される必要がある。従来の符号化アルゴリズムは、方向イントラ予測及びプラナー（planar）モードのような高度な予測方法を使用する。これらは、デプス・マップのエッジ及び勾配を或る程度まで近似することができる。方向予測モードは、現在の符号化ユニットの右上から続かないエッジを近似する機能を欠いている。更に、既知のプラナーモードは、符号化ユニットを表すことができず、符号化ユニットは、２つの異なるデプス・セグメントを含むため、デプス勾配により部分的にのみ特徴付けられる。

デプス・マップの信号特性に適合した圧縮を実行する３次元ビデオの効率的な符号化のための概念を提供することが、本発明の目的である。

上記の目的は、独立請求項の特徴により実現される。更なる実装形式は、従属請求項、詳細な説明及び図面から明らかになる。

本発明の主な概念は、新規のデプス・マップ・モデルに基づく符号化（DMC：depth map model-based coder）方法を提供することである。このDMC方法は、T. Wiegand, B. Bross, W. J. Han, J. R. Ohm, and G. J. Sullivan, “Working Draft 3 of High-Efficiency Video Coding (HEVC),” Joint Collaborative Team on Video Coding (JCT-VC), Doc. JCTVC-C403, 2011に記載のHEVC（High Efficiency Video Coding）符号化モデルに対する拡張であり、モデルに基づくアルゴリズムによってイントラ符号化ツールを置換する。他のモデルに基づく手法と比べて、新たなモデルは、直線的なデプス・セグメントに機能し、更に高度な予測構成が導入される。

新規のデプス・マップ・イントラ符号化器の基礎は、ブロックに基づく手法により形成される。各ブロックは、３つの利用可能なモードのうち１つによりモデル化される。一定のデプスのブロックは、DCブロックにより完全にモデル化されてもよい。段階的なデプスの領域のモデル化については、特別なプラナーモードが導入される。第３のモードは、ブロックを直線で２つのセグメントに分割する。それぞれのサブセグメントは、異なるDC値によりモデル化されてもよい。この第３のモードは、デプス・マップにおいてオブジェクトの境界を記述する典型的に鋭いエッジを近似することを可能にする。これらのデプスの不連続性の位置を明示的に伝達することにより、従来の変換に基づく符号化等におけるリンギング・アーチファクトが完全になくなる。ブロックモード及びこれらの情報は、予測的に符号化される。全てのモードについて、モデルパラメータは周辺ブロックから予測され、結果の残差信号のみがビットストリームに符号化される。予測は常に競合的（competitive）であり、これは、値が上又は左の周辺ブロックから予測可能であることを意味する。提案される符号化方法の全てのフラグ及びモデルパラメータの最後のエントロピー符号化については、周知のCABAC（Context Adaptive Binary Arithmetic Coding）アルゴリズムが使用される。

DMCは、従来のイントラ符号化ツールに代わるものとしてHEVCテストモデルソフトウェアに実装されている。従って、DMCは、ブロック（符号化ユニット）へのフレームの区分及びエントロピー符号化のための前述のCABACエンジンのように、多くのHEVCツールを再利用することができる。以下では、全ての記載の符号化ツールは、n≧2で始まる2ⁿ×2ⁿの任意のブロックサイズについて規定される。周辺ブロックのことに言及する場合、これらは常に実際のブロックの左上角の次に位置している。周辺ブロックのサイズは独立しており、現在のブロックのサイズと一致する必要はない。

本発明を詳細に説明するために、以下の用語、略語及び表記が使用される。

CABAC：Context Adaptive Binary Arithmetic Coding
DLT：デプス参照テーブル（Depth Lookup Table）
DMC：デプス・モードに基づく符号化（Depth Mode-based Coding）
CU：符号化ユニット（Coding Unit）
LCU：最大符号化ユニット（Largest Coding Unit）
第１の態様によれば、本発明は、ビューの系列を有する３次元ビデオを表すビットストリームを符号化する装置に関し、デプス・マップは各ビューに関連付けられ、デプス・マップは、ビューを取得するカメラに関するビューのデプス情報を有し、この装置は、デプス・マップを符号化ユニットに区分する区分器と、符号化ユニットのデプス情報に基づいて各符号化ユニットのモデル関数のタイプを決定する決定器と、符号化ユニットを、モデル関数により生成された各セグメントの単一の残差値に低減する低減器と、使用されたモデル関数と残差値とをビットストリームで伝達する伝達器とを有する。

第１の態様による提案のモデルに基づく（又はタイプに基づく）符号化で圧縮されたデプス・マップに基づく合成されたビューは、従来のビデオ符号化ツールで圧縮されたデプス・マップに基づく合成されたビューに比べて改善した視覚品質を示す。

第１の態様による装置の第１の可能な実装形式では、この装置は、デプス・マップのデプス情報に関連するインデックスを取得して、デプス・マップにより示されたデプス・レベルに関するデプス・マップのデプス情報をインデックス化するインデックス化器と、インデックスに従ってデプス・マップを再マッピングすることにより、デプス情報のサイズを低減する再マッピング器とを更に有する。

第１の態様の第１の実装形式による装置の第２の可能な実装形式では、インデックス化器は、所定数のビューでデプス・マップのデプス情報のインデックス化を実行するように構成され、再マッピング器は、参照テーブルを使用することによりデプス情報のサイズの低減を実行するように構成される。

第１の態様の第１の実装形式又は第１の態様の第２の実装形式による装置の第３の可能な実装形式では、この装置は、デプス・マップのその対応するインデックスにデプス・レベルをマッピングするマッピング器を有する。

第１の態様自体又は第１の態様の前述の実装形式のいずれかによる装置の第４の可能な実装形式では、区分器は、デプス・マップを固定サイズ、特に64×64画素の固定サイズの固定サイズ符号化ユニットに区分し、固定サイズ符号化ユニットを可変サイズの符号化ユニット、特に4×4画素から64×64画素の範囲の可変サイズの符号化ユニットに再分割することにより、符号化ユニットを四分木（quad-tree）構造に配置し、四分木構造をビットストリームで伝達することにより、デプス・マップを符号化ユニットに区分するように構成される。

第１の態様自体又は第１の態様の前述の実装形式のいずれかによる装置の第５の可能な実装形式では、決定器は、四分木構造の符号化ユニットの周辺に配置された符号化ユニットから予測することにより、符号化ユニットのセグメンテーションのタイプの決定を実行するように構成される。

四分木は、それぞれの内部ノードがちょうど４つの子を有するツリーデータ構造である。四分木は、ほとんどの場合、２次元空間を４つの象限又は領域に再帰的に再分割することにより、２次元空間を区分するために使用される。領域は正方形でもよく、矩形でもよく、任意の形を有してもよい。

第１の態様自体又は第１の態様の前述の実装形式のいずれかによる装置の第６の可能な実装形式では、決定器は、符号化ユニットのデプス情報が一定のデプスを示す場合、DCタイプと決定し、符号化ユニットのデプス情報が段階的なデプスの変化を示す場合、勾配タイプと決定し、符号化ユニットのデプス情報が異なるが一定のデプスの２つのセグメントを示す場合、エッジタイプと決定し、全ての他の場合にテクスチャタイプと決定することにより、セグメンテーションのタイプの決定を実行するように構成される。

第１の態様の第６の実装形式による装置の第７の可能な実装形式では、決定器は、符号化ユニットの左上角の画素の左に配置された周辺符号化ユニットと、符号化ユニットの左上角の画素の上に配置された周辺符号化ユニットのうち１つからデプス情報を予測することでDC値を決定することにより、符号化ユニットのDCモデル関数の決定を実行するように構成される。

第１の態様の第６の実装形式又は第１の態様の第７の実装形式による装置の第８の可能な実装形式では、決定器は、符号化ユニットの下の行の第１の画素から符号化ユニットの右下角の目的の画素に符号化ユニットの下の行の段階的なデプスの変化を補間し、符号化ユニットの右の列の第２の画素から符号化ユニットの右下角の目的の画素（Z）に右の列の段階的なデプスの変化を補間し、下の行の段階的なデプスの変化及び右の列の段階的なデプスの変化から段階的なデプスの変化を双一次的（bilinearly）に補完することにより、符号化ユニットのセグメンテーションの勾配タイプの決定を実行するように構成される。

第１の態様の第６から第８の実装形式のいずれかによる装置の第９の可能な実装形式では、決定器は、符号化ユニットを直線で２つのセグメントに分割し、符号化ユニットの左上角の画素の左に配置された周辺符号化ユニットと、符号化ユニットの左上角の画素の上に配置された周辺符号化ユニットとのうち１つからデプス情報を予測することで、２つのセグメントのうち第１のもののDC値を決定し、符号化ユニットの右上角の画素の右に配置された周辺符号化ユニットと、符号化ユニットの右上角の画素の上に配置された周辺符号化ユニットとのうち１つからデプス情報を予測することで、２つのセグメントのうち第２のもののDC値を決定することにより、符号化ユニットのセグメンテーションのエッジタイプの決定を実行するように構成される。

第１の態様の第６から第９の実装形式のいずれかによる装置の第１０の可能な実装形式では、決定器は、符号化ユニットを直線で少なくとも３つのセグメントに分割し、符号化ユニットが分割されたセグメントの数を決定することにより、符号化ユニットのセグメンテーションのテクスチャタイプの決定を実行するように構成される。

第１の態様自体又は第１の態様の前述の実装形式のいずれかによる装置の第１１の可能な実装形式では、この装置は、ビットストリームの以下のセグメント、すなわち、ビューの系列、ピクチャ、スライス、符号化ユニット及び予測ユニットのうち１つに関してビットストリームの符号化を切り替えるように構成される。

第１の態様自体又は第１の態様の前述の実装形式のいずれかによる装置の第１２の可能な実装形式では、この装置は、従来のビデオ符号化、特にHEVCビデオ符号化又はAVCビデオ符号化に従って符号化されたビットストリームの符号化ユニットを用いて、符号化ユニットをインターリーブするように構成されたインターリーバを有する。

第２の態様によれば、本発明は、ビューの系列を有する３次元ビデオを表すビットストリームを符号化する方法に関し、デプス・マップは各ビューに関連付けられ、デプス・マップは、ビューを取得するカメラの位置に関するビューのデプス情報を有し、この方法は、デプス・マップを符号化ユニットに区分し、符号化ユニットのデプス情報に基づいて各符号化ユニットのモデル関数のタイプを決定し、符号化ユニットを、モデル関数により生成された各セグメントの単一の残差値に低減し、残差値をビットストリームで伝達することを有する。

第３の態様によれば、本発明は、第２の態様による方法を実行するコンピュータプログラムに関し、コンピュータプログラムは、コンピュータで実行される。

本発明の更なる態様は、従来のイントラ符号化アルゴリズムに代わるものとしてデプスのためのモデルに基づくイントラ符号化（DMC）に関する。

本発明の更なる態様は、系列毎、ピクチャ毎、スライス毎、符号化ユニット毎又は予測ユニット毎に切り替え可能なDMCの使用方法に関する。

本発明の更なる態様は、従来のイントラ符号化ユニット（CU）を用いたDMC符号化ユニット（CU）のインターリーブに関する。

本発明の更なる態様は、DMCと従来のイントラ符号化ブロックとの間のモードパラメータの予測に関する。

本発明の更なる態様は、対応するパラメータセットの指定された符号化レベルについてのDMCの使用を伝達することに関する。

本発明の更なる態様は、イントラ符号化フレームにおいて残差信号なしに、動き補償された画素データの使用に関する。

本発明の更なる態様は、動き補償されたフレームにおけるモデルパラメータの更新に関する。

本発明の更なる態様は、数個のデプス・レベルのみでデプス・マップの信号ビット・デプスを低減するための、入力デプス値のための適応参照テーブルに関する。

本発明の更なる態様は、符号化ユニット毎にデプス・マップ特性を記述するモデル関数の使用に関し、この特性は、一定のデプスを有する符号化ユニットについてDC値を有し、現在のCUの右下の画素値を伝達して他の画素値を補間することにより、段階的なデプスの領域を有する符号化ユニットについてプラナーモードを有し、符号化ユニットを直線で２つのセグメントに分割すること（エッジ）を有する。各セグメントは、DC値によりモデル化されてもよく、プラナー・セグメント及びDC値によりモデル化されてもよい。

本発明の更なる態様は、周辺ブロックから現在の符号化ユニットへのエッジと、現在のCUにおけるエッジを更新するための信号位置オフセットとを予測することにより、周辺ブロックから３つのモデル関数のパラメータを予測することに関する。周辺ブロックの角の画素の勾配は、プラナーモードの右下の画素を予測する。

デプス・マップの典型的な特徴を記述するために低減されたセットのモデル関数を導入することにより、従来のアルゴリズムのリンギング・アーチファクト及び他の符号化アーチファクトが除去され得る。更に、本発明の態様による符号化は、従来の変換に基づく符号化手法に比べて良いビュー合成品質を可能にする。低減されたセットの可能なモデル関数又は各CUのモードにより、伝達ビットの量も低減され、低減されたビットレートを生じる。

本発明の態様は、3Dビデオにおけるデプス・マップ符号化のための変更されたイントラ符号化方式を記載する。デプス・マップは、デプスの不連続性における鋭いエッジにより境界される区分的に円滑な領域のような固有の特徴を示すため、これらの信号特性を近似するために新たな符号化ツールが必要になる。現在の3DV-HTMソフトウェアでは、デプス・マップについて２つの種類のイントラ予測モードが存在する。すなわち、1)HEVCから知られる方向イントラ予測、及び2)デプス・モデリング・モード（DMM：depth modeling mode）である。後者は、特に前述のデプスの不連続性をモデル化するときに、合成されたビューのBDレートを向上させ得る。

本発明の態様によれば、デプス・マップの鋭いエッジを近似するために、DMMと非常に類似した予測方式が使用される。DMMにより、結果の残差は従来のイントラ予測モードと同様に変換及び量子化される。この段階において、提案のデプス・モードに基づく符号化（DMC）は、結果の残差信号を符号化するために変換及び量子化を使用しない。DMC予測段階は、CU毎に常に２つ又は３つのデプス・セグメントを生じ、これらのセグメントのそれぞれについて単一の残差DCデプス値が符号化される。変換ステップをスキップして画素ドメイン情報に基づいて残差を符号化することにより、DMC符号化されたブロックについてリンギング・アーチファクトが除去される。更に、セグメント毎の残差値を伝達するためのビット数は、デプス参照テーブル（DLT：Depth Lookup Table）を組み込むことにより更に低減され得る。デプス参照テーブル（DLT）のデプス値は、元のデプス・マップの有効なデプス値にマッピングする。DLTは、入力デプス・マップの初期分析に基づいて構成され、SPSに符号化される。強力に量子化されたデプス・マップを用いた系列では、DLTは、DMC自体から生じる利得に加えて、更なる利得を生じる。

デプス・マップの提示されたイントラ符号化方式は、新聞（Newspaper）、剣道（Kendo）及び風船（Balloon）のような特定の系列では、4.02%（デプス・レート）の平均BDレートの節約を生じ、8.75%（デプス・レート）までの節約を生じる。テクスチャ及びデプスを含む全体符号化性能に関して、DMCは平均で0.76%のBDレートの節約を生じる。

全てのイントラテストの場合、提示された符号化方式は、剣道の系列では24.06%（デプス・レート）の平均BDレートの節約を生じ、42.27%（デプス・レート）までの節約を生じる。テクスチャ及びデプスを含む全体イントラ符号化性能に関して、DMCは平均で1.46%のBDレートの節約を生じる。

提示されたDMC符号化手法は、HEVCに基づく3DV-HTM参照（リファレンス）ソフトウェアで利用可能なイントラ符号化モードの拡張である。DMC符号化されたブロックでは、予測モードは、依然としてイントラである。更なるDMCフラグは、DMC予測及び符号化の使用を伝達する。ブロックがDMCで符号化される場合、区分サイズは常に2N×2Nであるため、ビットストリームで伝達されない。量子化された変換係数を符号化する代わりに、DMC符号化されたブロックは、以下の種類の情報、すなわち、現在ブロックのセグメンテーション／予測のタイプを符号化する必要がある。可能な値は、DC（セグメンテーションなし）、勾配（セグメンテーションなし）、エッジ（直線による２つのセグメントへのセグメンテーション）及びテクスチャ（並べて配置されたテクスチャブロックを閾値判定することによる２又は３セグメントへのセグメンテーション）である。エッジ及びテクスチャのセグメンテーションでは、セグメンテーションについてのいくつかの詳細が符号化される必要がある。エッジのセグメンテーションでは、セグメンテーションの直線の開始／終了である。テクスチャのセグメンテーションでは、ブロックを分割するセグメント数である。

セグメント毎に、（画素ドメインの）残差値がビットストリームで伝達される。符号化の前に、残差値は、デプス参照テーブル（DLT）を使用することにより、元の圧縮されていないデプス・マップに存在する値にマッピングされる。従って、残差値は、この参照テーブルへのインデックスのみを伝達することにより符号化され得る。これは、残差の大きさのビット・デプスを低減する。

DMC符号化されたデプス・マップの符号化ユニットは、４つの利用可能な予測モードのうち１つにより予測される。最適なモードはVSO基準に基づいて選択され、ビットストリームに符号化される。最も有望なモードは、周辺符号化ユニットから予測される。フラグは、実際のブロックモードが最も有望なモードに一致するか否かを符号化する。そうでない場合、DMCブロックの実際のモードを伝達するために、２つまでの更なるフラグが必要になる。全ての前述のフラグは、CABACエンジンに割り当てられた自分の新たなコンテキストモデルを有する。HEVCの方向イントラ予測モードは、これらのほとんどがエッジ・セグメンテーション・モードによりモデル化され得るため、DMC符号化されたブロックでは利用可能ではない。これは以下の部分で詳細に説明する。

実装形式による３次元ビデオを表すビットストリームを符号化する装置のブロック図実装形式によるビットストリームを符号化する装置の決定器におけるエッジタイプ判定の概略図実装形式によるビットストリームを符号化する装置の決定機における勾配タイプ判定の概略図実装形式による装置により符号化された３次元ビデオの再現されたビュー

本発明の更なる実施例について図面を参照して説明する。

図１は、実装形式による３次元ビデオを表すビットストリームを符号化する装置100のブロック図を示している。

装置100は、ビューの系列を有する３次元ビデオを表すビットストリームを符号化するためのものであり、デプス・マップは各ビューに関連付けられ、デプス・マップは、ビューを取得するカメラの位置に関するビューのデプス情報を有する。この装置100は、デプス・マップを符号化ユニットに区分する区分器101と、符号化ユニットのデプス情報に基づいて各符号化ユニットのモデル関数のタイプを決定する決定器103と、符号化ユニットを、モデル関数により生成された各セグメントの単一の残差値に低減する低減器105と、モデル関数のタイプと残差値とをビットストリームで伝達する伝達器107とを有する。

実装形式では、この装置100は、デプス・マップのデプス情報に関連するインデックスを取得して、デプス・マップにより示されたデプス・レベルに関するデプス・マップのデプス情報をインデックス化するインデックス化器と、インデックスに従ってデプス・マップを再マッピングすることにより、デプス情報のサイズを低減する再マッピング器とを更に有する。

実装形式では、インデックス化器は、所定数のビューでデプス・マップのデプス情報のインデックス化を実行するように構成され、再マッピング器は、参照テーブルを使用することによりデプス情報のサイズの低減を実行するように構成される。

実装形式では、この装置100は、デプス・マップのその対応するインデックスにデプス・レベルをマッピングするマッピング器を有する。

実装形式では、区分器101は、デプス・マップを固定サイズ、特に64×64画素の固定サイズの固定サイズ符号化ユニットに区分し、固定サイズ符号化ユニットを可変サイズの符号化ユニット、特に4×4画素から64×64画素の範囲の可変サイズの符号化ユニットに再分割することにより、符号化ユニットを四分木（quad-tree）構造に配置し、四分木構造をビットストリームで伝達することにより、デプス・マップを符号化ユニットに区分するように構成される。

実装形式では、決定器103は、四分木構造の符号化ユニットの周辺に配置された符号化ユニットから予測することにより、符号化ユニットのセグメンテーションのタイプの決定を実行するように構成される。

実装形式では、決定器103は、符号化ユニットのデプス情報が一定のデプスを示す場合、DCタイプと決定し、符号化ユニットのデプス情報が段階的なデプスの変化を示す場合、勾配タイプと決定し、符号化ユニットのデプス情報が異なるが一定のデプスの２つのセグメントを示す場合、エッジタイプと決定し、全ての他の場合にテクスチャタイプと決定することにより、セグメンテーションのタイプの決定を実行するように構成される。

実装形式では、決定器103は、符号化ユニットの左上角の画素の左に配置された周辺符号化ユニットと、符号化ユニットの左上角の画素の上に配置された周辺符号化ユニットのうち１つからデプス情報を予測することでDC値を決定することにより、符号化ユニットのセグメンテーションのDCタイプの決定を実行するように構成される。

実装形式では、決定器103は、符号化ユニットの下の行の第１の画素（B）から符号化ユニットの右下角の目的の画素（Z）に符号化ユニットの下の行の段階的なデプスの変化を補間し、符号化ユニットの右の列の第２の画素（A）から符号化ユニットの右下角の目的の画素（Z）に右の列の段階的なデプスの変化を補間し、下の行の段階的なデプスの変化及び右の列の段階的なデプスの変化から段階的なデプスの変化を双一次的（bilinearly）に補完することにより、符号化ユニットのセグメンテーションの勾配タイプの決定を実行するように構成される。

実装形式では、決定器103は、符号化ユニットを直線で２つのセグメントに分割し、符号化ユニットの左上角の画素の左に配置された周辺符号化ユニットと、符号化ユニットの左上角の画素の上に配置された周辺符号化ユニットとのうち１つからデプス情報を予測することで、２つのセグメントのうち第１のもののDC値を決定し、符号化ユニットの右上角の画素の右に配置された周辺符号化ユニットと、符号化ユニットの右上角の画素の上に配置された周辺符号化ユニットとのうち１つからデプス情報を予測することで、２つのセグメントのうち第２のもののDC値を決定することにより、符号化ユニットのセグメンテーションのエッジタイプの決定を実行するように構成される。

実装形式では、決定器103は、符号化ユニットを直線で少なくとも３つのセグメントに分割し、符号化ユニットが分割されたセグメントの数を決定することにより、符号化ユニットのセグメンテーションのテクスチャタイプの決定を実行するように構成される。

実装形式では、この装置100は、ビットストリームの以下のセグメント、すなわち、ビューの系列、ピクチャ、スライス、符号化ユニット及び予測ユニットのうち１つに関してビットストリームの符号化を切り替えるように構成される。

実装形式では、この装置は、従来のビデオ符号化、特にHEVCビデオ符号化又はAVCビデオ符号化に従って符号化されたビットストリームの符号化ユニットを用いて、符号化ユニットをインターリーブするように構成されたインターリーバを有する。

以下では、DMCは、本発明の第１の態様自体又は第１の態様の実装形式のいずれかに従って３次元ビデオを表すビットストリームを符号化及び／又は復号化する装置100を示す。DMC方法は、３次元ビデオを表すビットストリームを符号化及び／又は復号化するための、本発明の第２の態様による方法を示す。以下では、ブロックモードは、本発明の態様によるセグメンテーションのタイプを示す。ブロックは、符号化ユニットを示す。

MPEG Video and Requirement Groups, “Call for proposals on 3D video coding technology,” MPEG output document N12036, Tech. Rep., March 2011からの3DVテスト系列の分析は、全ての推定されたデプス・マップが必ずしも8ビットの全利用可能な信号範囲を利用しているとは限らないことを示している。強力な量子化のため、デプス・レベルに類似する少量の異なる灰色の値のみがこれらの系列に現れる。従って、第１の符号化ステップでは、DMCは、インデックスに従ってデプス・マップを再マッピングする前に、全ての出現するデプス値をインデックス化するマッピング技術を利用する。これにより、信号ビット・デプス及び他のDMC符号化ツールにより使用される残差信号係数が低減される。

前述のように、DMCは、HEVCにより導入された階層的な四分木の分割を再利用するブロックに基づく符号化である。デプス・マップは、64×64画素の初期設定サイズを有する最大符号化ユニット（LCU）に区分される。各LCUは、階層的な四分木ツリー構造に再分割される。区分は、様々なサイズの符号化ユニット（CU）を生じ、異なるレベルの詳細を考慮することができる。初期設定では、CUは、4×4画素より小さくなることはできない。四分木の区分は、HEVCと同様に、対応する分割フラグを用いてビットストリームで伝達される。

セグメンテーションのタイプとも呼ばれる３つの利用可能なモデル関数の１つが、各CUに割り当てられる。選択されたモードは、予測的にビットストリームに符号化される。DMCは、周辺CUから最も有望なブロックモードを導出する。フラグは、実際のブロックモードが予測されたモードに一致するか否かを符号化する。そうでない場合、更なるフラグが必要になる。双方のフラグは、CABACエンジンに割り当てられた自分の新たなコンテキストモデルを有する。

DCタイプとも呼ばれるDCモードは、単一のDC係数で単一色の領域をモデル化する。DMCは、現在ブロックの左上角の画素の左及び上に位置する２つの利用可能な予測子の間を選択して、周辺ブロックから対応するパラメータを予測する。フラグは、２つの予測子のうちどちらを使用するかを伝達する。残差はビットストリームに符号化される。

エッジタイプとも呼ばれるエッジモード（EM：Edge-Mode）は、図２ａを参照して以下に説明するように、ブロックを直線で２つのセグメントに分割する。各セグメントは、その後に単一のDC係数によりモデル化される。第１のセグメントでは、この係数の予測は、DCモードと同じである。セグメント2は、実際のブロックの左下及び右上角に位置する異なるセットの予測子を有する（図２ｂ参照）。ブロックサイズに応じて、分割線を記述するパラメータの符号化の２つの異なる方法が存在する。4×4画素サイズのブロックでは、異なるセットの８個の利用可能なエッジパターンが存在する。エントロピー符号化エンジンを迂回して、対応する3ビットのインデックスがビットストリームに符号化される。このパターンに基づく方法は、大きいブロックには適しておらず、従って、エッジの異なる記述により置換される。図２ａに示すように、エッジは、６個の開始／終了の境界の組み合わせと２つのインデックスとのうち１つにより規定される。この情報は、再びエントロピー符号化器を迂回して符号化される。

複数のEM符号化されたブロックを通じてエッジの連続性を向上させるために、DMCは、エッジパラメータを予測的に符号化することができる。これは、周辺ブロックがEM符号化されており、そのエッジが現在ブロックに入る場合に常に当てはまる。この場合、現在ブロックのエッジの開始点は、周辺ブロックのエッジの終了点から予測される。これが当てはまる場合、実際の境界及び位置係数は、CABACエントロピー符号化器を使用して残差符号化される。

勾配タイプとも呼ばれるDMCのプラナーモード（PM）又は勾配モードは、デプス・マップにおける段階的な色の変化をモデル化するために導入される。このプラナーモードへの入力は、周辺画素値と、現在ブロックの右下角の目的の値Zである。図３に示すように、下の行は、値B及びZから線形的に補間され、右の列はそれぞれA及びZから補間される。第２のステップでは、全ての残りの画素値が周辺の境界値から双一次的に補間される。Zパラメータのみが、予測的及び残差的にビットストリームに符号化される。Z係数の予測処理では、DMCは、２つの場合を区別する。周辺ブロックがPM符号化されていない場合、予測子は、EMブロックの第２のセグメントと同様に導出される（図２ｂ参照）。そうでない場合、周辺のPM符号化されたブロックの勾配は、実際のZ係数を補間するために角の画素の位置から計算される。後者の場合、予測は双方の周辺ブロックがプラナーである場合にのみ競合的である。

全てのDC係数及びプラナーモードのZパラメータは、周辺パラメータにより予測され、残差信号のみがビットストリームに符号化される。第１のフラグは、その値がゼロに等しくないか否かを伝達する。そうである場合、符号フラグが最初に符号化される。残差の大きさのためにビットプレーン（bitplane）符号化が使用される。各モード及びセグメントのそれぞれのビット位置は自分のコンテキストモデルを有する。ゼロでない符号フラグも自分のコンテキストを有する。同じことがゼロでない符号フラグに当てはまる。

DMC符号化器は、ラグランジュ方法に基づいて符号化の決定を行う。モードmは、RDコスト関数J=D(m)+λR(m)を最小化することにより、最善のモードであると考えられる。これにより、ラグランジュ乗数λは、誤差平方和（SSE：sum of squared errors）として測定された、レートRと歪みDとの間のトレードオフの制御を提供する。HEVCとは異なり、λは、量子化パラメータ（QP：quantization parameter）に基づいて内部で計算されず、パラメータとして符号化器の設定に直接設定される。

DMCのDC予測モードは、一定のデプスを有する領域に適する。対応するDC予測値は、上及び左のツリーブロックの全ての直接的に隣接するサンプルの中間値により、周辺ブロックから予測される。結果の残差は、以下に説明する符号化ステップに従ってビットストリームに符号化される。

MPEG Video and Requirement Groups, “Call for proposals on 3D video coding technology,” MPEG output document N12036, March 2011の3DVテスト系列の分析は、推定されたデプス・マップが2⁸の全利用可能なデプス範囲を利用していないことを示している。強力な量子化のため、少量の異なるデプス・レベルのみがこれらの系列に現れる。従って、初期の分析ステップでは、DMCは、入力系列の特定の数のフレームを分析することにより、動的なデプス参照テーブルを構築する。このデプス参照テーブルは、有効な信号ビット・デプスを低減し、従って、他のDMC符号化ツールにより使用される残差信号係数の範囲を低減するために、符号化処理の間に使用される。

分析ステップでは、符号化器は、符号化される入力ビデオ系列から所定の数のフレームを読み取り、利用可能なデプス値について全ての画素をスキャンする。この処理の間に、元の圧縮されていないデプス・マップに基づいて、デプス値を有効なデプス値にマッピングするマッピングテーブルが生成される。

詳細には、アルゴリズムは以下のステップを実行する。
入力：時点tにおけるN×M画素のデプス・マップD_t
出力：デプス参照テーブルD(.)
インデックス参照テーブルI(.)
デプス・マッピング・テーブルM(.)
有効なデプス値の数d_valid
アルゴリズム：
0.初期化する
全てのデプス値dについて、ブーリアン・ベクトルB(d)=FALSE
インデックス・カウンタi=0
1.複数の時点tについてD_tにおける各画素の位置pを処理する
有効なデプス値をマーキングするために、B(D_t(p))=TRUEに設定する
2.B(d)→d_validにおけるTRUE値の数をカウントする
3.B(d)==TRUEとなるd毎に
D(i)=dに設定する
M(d)=dに設定する
I(d)=dに設定する
i=i+1
4.B(d)==FALSEとなるd毎に
を見つける
を設定する
を設定する
符号化ステップは以下の通りである。

所与の符号化ユニットについて残差デプス値を符号化する代わりに、デプス値は、有効なデプス・マップのリストにおけるその対応するインデックスにマッピングされる。このマッピングテーブルは、インデックスから有効なデプス値に逆に参照するために、復号化器に送信される必要がある。

この参照テーブルを使用する利点は、低減したデプス範囲の系列について残差インデックスの低減したビット・デプスにある（例えば、全ての推定されたデプスは、MPEG Video and Requirement Groups, “Call for Proposals on 3D Video Coding Technology,” MPEG output document N12036, March 2011に記載のMPEG 3DVアクティビティにマッピングする）。

アルゴリズムの詳細は以下の通りである。
入力：元のデプス値d_org
予測されたデプス値d_pred
インデックス参照テーブルI(.)
有効なデプス値の数d_valid
出力：符号化される残差インデックスi_resi
アルゴリズム：
i_resi=I(d_orig)-I(d_pred)
計算された残差インデクスi_resiは、有意フラグ（significance flag）、符号フラグ及び残差インデックスの大きさの
で符号化される。

図２は、実装形式によるビットストリームを符号化する装置の決定器におけるエッジタイプ判定の概略図を示している。

エッジタイプの決定とも呼ばれるエッジ予測（EP：Edge Prediction）は、図２に示すように、ブロックを直線で２つのセグメントに分割する。双方のセグメントは、DC値によりモデル化される。DC値は、上及び左の符号化されたツリーブロックの周辺のデプス値から予測される。２つのDC値の予測は、選択されたエッジ分割により規定された同じセグメントに属する周辺のデプス値の中間値により計算される。結果の残差は、図１を参照して説明した符号化ステップに従って符号化される。

６個の異なる開始／終了の境界の組み合わせ及び２つの対応するインデックスは、２つのセグメントへの現在ブロックの分割を規定する。これらの組み合わせの例は図２に示されている。

複数のEP符号化されたブロックを通じたエッジの連続性を向上させ、エッジの伝達のための必要なビットレートを低減するために、DMCは、周辺ブロックからエッジ情報を予測する。これは、周辺ブロックもエッジ予測を使用しており、そのエッジが現在ブロックに入る場合に常に当てはまる。この場合、現在ブロックのエッジの開始点は、そのブロックのエッジの終了点から予測され、現在のエッジの終了点は、周辺のエッジの傾斜を現在ブロックに進めることにより予測される。予測に対する実際の境界及び位置オフセットは、CABACエントロピー符号化器を使用して残差符号化される。非常に類似した予測モードは、DMM（Depth Modeling Mode）の一部として見つかる。これは、エッジ情報の異なる伝達を使用する。更に、DMM予測されたブロックの結果の残差も依然として変換符号化される。

特定のブロックのデプス・マップ信号を予測するときに、同じビューのテクスチャ成分の既に符号化されている並べて配置されたブロックを補間することも可能である。テクスチャブロックの輝度成分の簡単な閾値を適用することにより、２又は３つのセグメントへのブロックのセグメンテーションが計算される。結果のセグメンテーション・マスクは、これらのセグメントのそれぞれの中間デプス値を計算するために使用される。結果のDC値は、特定のセグメントの直接の周辺サンプルの中間デプス値により、再びエッジ又はDC予測と同様に予測される。結果の残差は、図１を参照して説明した符号化ステップに従って符号化される。

現在の参照ソフトウェアに存在するDMM（Depth Modeling Mode）はまた、テクスチャからデプスへの予測を可能にするが、DMMは、２つのセグメントのみを可能にするため、制限があり、デプス値を直接符号化する代わりに次の変換ステップが存在する。

図３は、実装形式によるビットストリームを符号化する装置の決定機における勾配タイプ判定の概略図を示している。

勾配タイプの決定とも呼ばれるDMCの勾配予測（GP：Gradient Prediction）は、デプス・マップにおける段階的なデプスの変化をモデル化するために導入される。このモードへの入力は、周辺画素値と、現在ブロックの右下角の目的の値Zである。図３に示すように、下の行は、値B及びZから線形的に補間され、右の列はそれぞれA及びZから補間される。第２のステップでは、全ての残りの画素値が周辺の値から双一次的に補間される。

同様に、Zパラメータが、上及び左の符号化されたツリーブロックの直接の周辺デプスのサンプルから予測される。現在ブロックの上の水平勾配及び左側の垂直勾配を計算することにより、Z値は、これらの２つの勾配を左上の位置のデプス値に加算することにより予測され得る。結果の残差は図１を参照して説明した符号化ステップに従って符号化される。

図４は、実装形式による装置により符号化された３次元ビデオの再現されたビューを示している。

図４は、(a)圧縮されていないもの、(b)従来のイントラ符号化されたもの、(c)画素毎に0:0043でDMCに基づいて符号化されたデプス・マップ、に基づいて再現されたデプス（上）及び合成結果（下）を示している。

DMCは、従来のイントラ予測及び変換に基づくアルゴリズムに対する代替のイントラ符号化方法として、HEVCテストモデル（HM3.0）に統合されている。現在の実装では、デプス・マップは、付随するテクスチャビデオと独立して符号化されている。それにも拘わらず、四分木分解及びCABACエントロピー符号化器のようなテクスチャ符号化ツールは、デプス・マップの符号化を再利用する。実験において、デプス・マップは、HM3.0ソフトウェアで符号化され、初期設定のイントラ符号化ツールで１回、及び提案のDMC方法で１回符号化されている。DMCの場合の異なるビットレートを達成するために、RDコスト関数のラグランジュ乗数λは変更される。双方の手法は、ほとんど全てのビットレートの範囲で同様にうまく実行する。測定されたPSNRは、再現されたデプス・マップに基づいて計算される。デプス・マップは、典型的にはそれ自体表示されないが、テクスチャビデオに対する補足データとして見られることができる。これらは受信機において任意の視点を合成するために利用されるため、PSNR曲線は、デプス・マップの品質の非常に粗い概念のみを提供する。本発明の態様によれば、従来の変換に基づく符号化器に比べてモデルに基づく手法の最も顕著な利点は、オブジェクトの境界に沿ったリンギング・アーチファクトの除去によるデプスの不連続性の向上した保持にある。

以下では、これらの仮想的なビューの視覚品質の向上を示すために、圧縮されたデプス・マップに基づく合成された視点が提示される。これらの実験結果の生成について、デプスの符号化アーチファクトに集中するために、テクスチャデータは圧縮されないままになっている。ビュー合成では、MPEG VSRS（View Synthesis Reference Software）3.5の変更バージョンが使用された。VSRSにおける全てのデプス・マップの向上したアルゴリズムは、異なって圧縮されたデプス・マップにより導入される純粋な合成アーチファクトを比較することができるように、オフにされている。

図４において、２つの異なる符号化手法の典型的な再現されたデプス・マップは、上の３つの画像で見られる。従来のHMイントラ符号化ツールは、デプスの不連続に沿って強いぼやけたリンギング・アーチファクトを導入するが、本発明の態様による提示のDMCアルゴリズムは、これらのエッジ位置を明示的な表現で近似することにより、これらのエッジ位置を保持する。双方の示されたデプス・マップは、画素毎に0:0043ビットで符号化され、PSNRに関して、これらは非常に類似した品質を有する。更に重要なことに、図４ｅは、HMイントラ符号化ツールの符号化アーチファクトにより導入された幾何学歪みを示している。

人の顔に沿ったぼやけたデプス・マップは、合成されたビューにおいてその人の頭の強い変形を生じる。これに対して、DMC方法は、納得できる合成品質を生じる（図４ｆ参照）。これは、圧縮されていないデプス・マップに基づく合成に比較的近い。

この出願では、符号化デプス・マップの新規なモデルに基づくアルゴリズムが提示される。DMC圧縮されたデプス・マップは、視覚的に向上した合成ビューを生じる。提示のDMC方法は、デプスの不連続性の位置を明示的に伝達することにより、変換に基づく符号化器から知られているリンギング・アーチファクトを除去する。デプス・データの区分的に円滑な領域は、一定のデプス値又はプラナーモードによりモデル化され、これは、デプス勾配をモデル化することができる。実験結果に基づいて視覚化されたように、従来のイントラ符号化ツールに比べて、DMCは、あまり幾何学歪みを導入しないデプス・マップを生じる。

実装形式では、提示された新たなイントラ符号化アルゴリズムは、動き補償のシナリオに組み込まれる。時間予測を使用したフレームでは、モデルパラメータは再利用され、時間的変化に一致するように更新される。実装形式では、従来のイントラ符号化及びモデルに基づく手法は、周辺ブロックからのモードパラメータを予測することにより組み合わされる。実装形式では、テクスチャ及びデプス・データの符号化は組み合わされ、DMCのモデルパラメータの導出は、対応するテクスチャからの情報を組み込むことにより向上する。

提示のアルゴリズムは、SDV-HTM3.1参照（リファレンス）ソフトウェアに実装される。アルゴリズム及びその実装は、参照ソフトウェアの他の符号化ツールと干渉せず、従って、全ての利用可能なツールに加えて使用可能である。４つのDMC予測モードのうち３つは参照の実装に既に存在するDMM（Depth Modeling Mode）に非常に類似するため、DMMは、シミュレーションでは無効にされる。参照のシミュレーションでは、DMMが有効にされている。

DMCは、現在の3DV-HTM3.1参照ソフトウェアに比べてそれほど追加の計算上の複雑さを導入しない。エッジ予測モードのみが符号化器側で比較的複雑である。これは、最適条件を見つけるために全ての可能なセグメントをテストする必要があるからである。この動作は、現在のHTM参照ソフトウェアに見られるDMM Wedgelet予測に非常に類似している。全ての他のDMC成分、及び特に復号化器側のアルゴリズムは、非常に複雑ではない。この理由は、関与するDMC符号化されたブロックのために逆量子化又は逆変換が存在しないからである。

DMCシミュレーションは、MPEG Video and Requirement Groups, “Call for proposals on 3D video coding technology,” MPEG output document N12036, Tech. Rep., March 2011に記載の共通のテスト条件に従って実行された。全イントラ符号化構成は、Core Experiment 6.h on Depth Map Intra Coding Toolsからの構成ファイルである。共通のテスト条件からの唯一の逸脱は、DMCシミュレーションでのDMMの無効化である。これは、DMM予測モードはDMCで使用される予測と非常に類似しており、複雑さの増加は、ビットレートの節約の潜在的に小さい追加利得よりかなり大きいからである。計算上の複雑さの測定は、異なるハードウェア構成を有する異種のクラスタに基づくため、注意して行われる。

表１は、ランダムアクセス構成のレートの節約を示しており、表２は、全イントラ構成のレートの節約を示している。

提案の方法のクロスチェックが行われた。実装についての問題は見つからなかった。

この出願では、デプス・マップのイントラ符号化のためのモデルに基づくアルゴリズムが提示される。提示のDMC方法は、画素ドメインの情報をビットストリームで直接伝達することにより、変換に基づく符号化から知られているリンギング・アーチファクトを除去する。デプス・データの区分的に円滑な領域は、一定のデプス値又はプラナーモードにより予測され、これは、デプス勾配をモデル化することができる。次の残差符号化ステップでは、提案のデプス参照テーブルは、セグメント毎の残差のDC値を残差インデックスにマッピングし、残差インデックスがエントロピー符号化される。本発明の態様は、デプス・マップのイントラ符号化についてかなりの符号化利得を示す。

前述から、様々なデバイス、方法、システム、記録媒体上のコンピュータプログラム等が提供されることが、当業者に明らかになる。

この開示はまた、実行された場合、少なくとも１つのコンピュータに対してここに記載の実行及び計算ステップを実行させるコンピュータ実行可能コード又はコンピュータ実行可能命令を含むコンピュータプログラムプロダクトをサポートする。

この開示はまた、ここに記載の実行及び計算ステップを実行するように構成されたシステムをサポートする。

前述の教示を鑑みて、多くの置換、変更及び変形が当業者に明らかになる。当然ながら、当業者は、ここに記載のもの以外の本発明の多数の用途が存在することを容易に認識する。本発明について１つ以上の特定の実施例を参照して説明したが、当業者は、本発明の範囲を逸脱することなく、多数の変更が行われてもよいことを認識する。従って、特許請求の範囲及びその均等の範囲内で、本発明は特にここに記載したもの以外の方法で実行されてもよいことが分かる。

Claims

ビューの系列を有する３次元ビデオを表すビットストリームを符号化する装置（100）であり、デプス・マップは各ビューに関連付けられ、前記デプス・マップは、前記ビューを取得するカメラへの位置に関する前記ビューのデプス情報を有する装置（100）であって、
前記デプス・マップを符号化ユニットに区分する区分器（101）と、
前記符号化ユニットの前記デプス情報に基づいて各符号化ユニットのモデル関数のタイプを決定する決定器（103）と、
前記符号化ユニットを、前記モデル関数により生成された各セグメントの単一の残差値に低減する低減器（105）と、
使用された前記モデル関数と前記残差値とを前記ビットストリームで伝達する伝達器（107）と
を有する装置。
前記デプス・マップの前記デプス情報に関連するインデックスを取得して、前記デプス・マップにより示されたデプス・レベルに関する前記デプス・マップの前記デプス情報をインデックス化するインデックス化器と、
前記インデックスに従って前記デプス・マップを再マッピングすることにより、前記デプス情報のサイズを低減する再マッピング器とを更に有する、請求項１に記載の装置（100）。
前記インデックス化器は、所定数のビューで前記デプス・マップの前記デプス情報のインデックス化を実行するように構成され、
前記再マッピング器は、参照テーブルを使用することにより前記デプス情報の低減を実行するように構成される、請求項２に記載の装置（100）。
前記デプス・マップの対応するインデックスに前記デプス・レベルをマッピングするマッピング器を有する、請求項２又は３に記載の装置（100）。
前記区分器（101）は、
前記デプス・マップを固定サイズ、特に64×64画素の固定サイズの固定サイズ符号化ユニットに区分し、
前記固定サイズ符号化ユニットを可変サイズの符号化ユニット、特に4×4画素から64×64画素の範囲の可変サイズの符号化ユニットに再分割することにより、前記符号化ユニットを四分木構造に配置し、
前記四分木構造を前記ビットストリームで伝達することにより、
前記デプス・マップを符号化ユニットに区分するように構成される、請求項１ないし４のうちいずれか１項に記載の装置（100）。
前記決定器（103）は、四分木構造の符号化ユニットの周辺に配置された符号化ユニットから予測することにより、符号化ユニットのセグメンテーションのタイプの決定を実行するように構成される、請求項１ないし５のうちいずれか１項に記載の装置（100）。
前記決定器（103）は、
前記符号化ユニットの前記デプス情報が一定のデプスを示す場合、DCタイプと決定し、
前記符号化ユニットの前記デプス情報が段階的なデプスの変化を示す場合、勾配タイプと決定し、
前記符号化ユニットの前記デプス情報が異なるが一定のデプスの２つのセグメントを示す場合、エッジタイプと決定し、
全ての他の場合にテクスチャタイプと決定することにより、
モデル関数のタイプの決定を実行するように構成される、請求項１ないし６のうちいずれか１項に記載の装置（100）。
前記決定器（103）は、符号化ユニットの左上角の画素の左に配置された周辺符号化ユニットと、前記符号化ユニットの左上角の画素の上に配置された周辺符号化ユニットのうち１つから前記デプス情報を予測することでDC値を決定することにより、符号化ユニットのモデル関数のDCタイプの決定を実行するように構成される、請求項７に記載の装置（100）。
前記決定器（103）は、
符号化ユニットの下の行の第１の画素（B）から前記符号化ユニットの右下角の目的の画素（Z）に前記符号化ユニットの下の行の段階的なデプスの変化を補間し、
前記符号化ユニットの右の列の第２の画素（A）から符号化ユニットの右下角の目的の画素（Z）に右の列の段階的なデプスの変化を補間し、
前記下の行の前記段階的なデプスの変化及び前記右の列の前記段階的なデプスの変化から前記段階的なデプスの変化を双一次的に補完することにより、
符号化ユニットのセグメンテーションの勾配タイプの決定を実行するように構成される、請求項７又は８に記載の装置（100）。
前記決定器（103）は、
符号化ユニットを直線で２つのセグメントに分割し、
前記符号化ユニットの左上角の画素の左に配置された周辺符号化ユニットと、前記符号化ユニットの左上角の画素の上に配置された周辺符号化ユニットとのうち１つから前記デプス情報を予測することで、前記２つのセグメントのうち第１のもののDC値を決定し、
前記符号化ユニットの右上角の画素の右に配置された周辺符号化ユニットと、前記符号化ユニットの右上角の画素の上に配置された周辺符号化ユニットとのうち１つから前記デプス情報を予測することで、前記２つのセグメントのうち第２のもののDC値を決定することにより、
符号化ユニットのセグメンテーションのエッジタイプの決定を実行するように構成される、請求項７ないし８のうちいずれか１項に記載の装置（100）。
前記決定器（103）は、符号化ユニットを直線で少なくとも３つのセグメントに分割し、前記符号化ユニットが分割されたセグメントの数を決定することにより、符号化ユニットのセグメンテーションのテクスチャタイプの決定を実行するように構成される、請求項７ないし１０のうちいずれか１項に記載の装置（100）。
ビットストリームの以下のセグメント、すなわち、ビューの系列、ピクチャ、スライス、符号化ユニット及び予測ユニットのうち１つに関して前記ビットストリームの符号化方法を切り替えるように構成される、請求項１ないし１１のうちいずれか１項に記載の装置（100）。
従来のビデオ符号化、特にHEVCビデオ符号化又はAVCビデオ符号化に従って符号化された前記ビットストリームの符号化ユニットを用いて、前記符号化ユニットをインターリーブするように構成されたインターリーバを有する、請求項１ないし１２のうちいずれか１項に記載の装置（100）。
ビューの系列を有する３次元ビデオを表すビットストリームを符号化する方法であり、デプス・マップは各ビューに関連付けられ、前記デプス・マップは、前記ビューを取得するカメラへの位置に関する前記ビューのデプス情報を有する方法であって、
前記デプス・マップを符号化ユニットに区分するステップと、
前記符号化ユニットの前記デプス情報に基づいて各符号化ユニットのモデル関数のタイプを決定するステップと、
前記符号化ユニットを、モデル関数により生成された各セグメントの単一の残差値に低減するステップと、
使用された前記モデル関数と前記残差値とを前記ビットストリームで伝達するステップと
を有する方法。
請求項１４に記載の方法を実行するコンピュータプログラムであり、コンピュータで実行するコンピュータプログラム。