JP2016034050A

JP2016034050A - 画像復号装置、画像符号化装置および、データ構造

Info

Publication number: JP2016034050A
Application number: JP2012286710A
Authority: JP
Inventors: 知宏猪飼; Tomohiro Igai; 内海　端; Tadashi Uchiumi; 端内海; 貴也山本; Takaya Yamamoto
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-12-28
Filing date: 2012-12-28
Publication date: 2016-03-10
Also published as: WO2014103600A1

Abstract

【課題】ＨＥＶＣ拡張で定義される次元ＩＤを用いた場合、３次元スケーラブルに必要なデプスフラグおよびビューＩＤが導出する方法が明確ではないという課題があった。また、依存レイヤにおいて、ビューＩＤおよびデプスフラグを制限していないため、デコーダのメモリが大きくなることがあった。
【解決手段】ビューＩＤおよびデプスフラグに対応する次元ＩＤのインデックスをスケーラブルマスクに基づいて定めることにより、次元ＩＤからデプスフラグおよびビューＩＤを導出する。依存レイヤの次元ＩＤもしくはビューＩＤを制限することによりデコーダのメモリサイズを低減する。
【選択図】図２４

Description

本発明は、画像復号装置、画像符号化装置および、データ構造。

複数視点の画像符号化技術には、複数の視点の画像を符号化する際に画像間の視差を予測することによって情報量を低減する視差予測符号化や、その符号化方法に対応した復号方法が提案されている（例えば、非特許文献１）。視点画像間の視差を表すベクトルを変位ベクトルと呼ぶ。変位ベクトルは、水平方向の要素（ｘ成分）と垂直方向の要素（ｙ成分）を有する２次元のベクトルであり、１つの画像を分割した領域であるブロック毎に算出される。また、複数視点の画像を取得するには、それぞれの視点に配置されたカメラを用いることが一般的である。複数視点の符号化では、各視点画像は、複数のレイヤにおいてそれぞれ異なるレイヤとして符号化される。複数のレイヤから構成される動画像の符号化方法は、一般に、スケーラブル符号化又は階層符号化と呼ばれる。スケーラブル符号化では、レイヤ間で予測を行うことで、高い符号化効率を実現する。レイヤ間で予測を行わずに基準となるレイヤは、ベースレイヤ、それ以外のレイヤは拡張レイヤと呼ばれる。レイヤが視点画像から構成される場合のスケーラブル符号化を、ビュースケーラブル符号化と呼ぶ。このとき、ベースレイヤはベースビュー、拡張レイヤは非ベースビューとも呼ばれる。さらに、ビュースケーラブルに加え、レイヤがテクスチャレイヤ（画像レイヤ）とデプスレイヤ（距離画像レイヤ）から構成される場合のスケーラブル符号化を、３次元スケーラブル符号化と呼ばれる。

また、スケーラブル符号化には、ビュースケーラブル符号化の他、空間的スケーラブル（ベースレイヤとして解像度の低いピクチャ、拡張レイヤが解像度の高いピクチャを処理）、ＳＮＲスケーラブル符号化（ベースレイヤとして画質の低いピクチャ、拡張レイヤとして解像度の高いピクチャを処理）等がある。スケーラブル符号化では、例えばベースレイヤのピクチャを、拡張レイヤのピクチャの符号化において、参照ピクチャとして用いることがある
また、非特許文献１においては、HEVCのスケーラブル符号化技術のパラメータ構造として、符号化データをＮＡＬユニットとしてパケット化するときに、用いるＮＡＬユニットヘッダの構造と、複数のレイヤの拡張方法を規定するビデオパラメータセットの構造が知られている。非特許文献１では、画像符号化データをパケット化するＮＡＬユニットにおいて、レイヤを識別するためのＩＤであるレイヤＩＤ（layer_id）を符号化することが知られており、また、複数レイヤに共通するパラメータを規定するビデオパラメータセットでは、拡張方法を指定するスケーラブルマスクscalable_mask、各レイヤの次元を示すdimension_id、各レイヤの符号化データがどのレイヤに依存するかを示す、依存レイヤのレイヤＩＤref_layer_idなどが符号化される。スケーラブルマスクでは、空間、画質、デプス、ビューのスケーラブル種別ごとにオンオフが指定できる。ビューのスケーラブルをオン、もしくは、デプスとビューのスケーラブルをオンとしたものが、３Ｄスケーラブルに相当する。

非特許文献２においては、HEVCベースの３次元スケーラブル符号化技術として、ビュースケーラブルとデプススケーラブルを用いる技術が知られている。非特許文献２においては、デプスを符号化する技術として、デプスと同時刻のテクスチャの復号画像を用いてデプスの予測画像を予測するデプスイントラ予測（ＤＭＭ）、デプスと同時刻のテクスチャの動き補償パラメータを、デプスの動き補償パラメータとして用いる動きパラメータ継承（ＭＰＩ）技術が知られている。また、非特許文献２においては、レイヤＩＤの０ビット目をデプスとテクスチャの識別に用いるデプスフラグdepth_flagに用い、レイヤＩＤの１ビット目以上を、ビューＩＤに用いる技術が知られている。レイヤＩＤに基づいてデプスか否かを判定し、デプスと判定される場合にのみ、デプス符号化技術であるデプスイントラ予測、動きパラメータ継承をデコーダで用いることができるか否かを示すフラグenable_dmm_flag、use_mpi_flagを符号化する。また、非特許文献２においては、同じ時刻のビュー、デプスのピクチャは同じ符号化単位（アクセスユニット）として符号化することが記述されている。

"NAL unit header and parameter set designs for HEVC extensions"，JCTVC-K1007，JCTVC Shanghai, CN, 10-19 October 2012 G. Tech, K. Wegner, Y. Chen, S. Yea, "3D-HEVC Test Model 1", JCT3V-A1005, JCT3V 1st meeting, Stockholm, SE, 16-20 July, 2012

しかしながら、非特許文献１の符号化データ構造を、３次元スケーラブルに適用する場合には、非特許文献１の符号化データ構造に含まれる次元ＩＤdimension_idから、復号するピクチャの種別の識別に必要なデプスフラグdepth_flagとビューＩＤ（view_id）を導出する必要があるが、この方法が明確ではないという課題があった。また、次元ＩＤdimension_idから、デプスフラグdepth_flagとビューＩＤ（view_id）を導出する場合には、非特許文献２のようなレイヤＩＤから、直接、デプスフラグdepth_flagとビューＩＤ（view_id）を導出する場合に比べ、導出が複雑になるという課題があった。

しかしながら、非特許文献２のデプス用の符号化ツールの利用可能性を示すフラグの場合には、依存レイヤの種別、例えば、依存レイヤのデプスフラグやビューＩＤが考慮されていないために、デプス用符号化ツールが利用不可能な場合にも利用可能として判定されることがあるという課題があった。また、ビューＩＤが考慮されていないという課題があった本発明は上記の点に鑑みてなされたものであり、次元ＩＤdimension_idを用いて、デプスフラグとビューＩＤの導出を可能にする、もしくは依存レイヤを考慮したデプスツールのオンオフ制御を可能にする、画像復号装置、画像符号化装置および、データ構造を提供する。

第１の構成の画像復号装置によれば、１つ以上のレイヤのパラメータを規定するビデオパラメータセットから、スケーラブルの種別を示すスケーラブルマスクと、次元ＩＤを復号するビデオパラメータセット復号部と、レイヤＩＤと次元ＩＤの関係を格納するレイヤパラメータ格納部と、ＮＡＬユニットヘッダからレイヤＩＤを復号するレイヤＩＤ復号部と、さらに、上記レイヤＩＤ復号部で復号された対象レイヤのレイヤＩＤから、上記レイヤパラメータ格納部に格納された次元ＩＤを参照し、対象レイヤのビューＩＤとデプスフラグを導出するビューデプス導出部を備える。

第１の構成の画像復号装置によれば、３次元スケーラブルに関わるビューＩＤとデプスフラグが、空間スケーラブルや画質スケーラビリティと同じ構造のビデオパラメータから導出可能になるという効果を奏する。

第１の構成の画像復号装置はさらに、上記ビデオパラメータセット復号部は、１つ以上のレイヤに対して、第１の次元ＩＤと第２の次元ＩＤを復号し、上記レイヤパラメータ格納部に格納し、
上記ビューデプス導出部は、上記レイヤパラメータ格納部に格納された、対象レイヤに対応する第１の次元ＩＤをビューＩＤとして割り当て、上記レイヤパラメータ格納部に格納された、対象レイヤに対応する第２の次元ＩＤをデプスフラグとして割り当てることを特徴としても良い。

以上の構成の画像復号装置によれば、レイヤの種別がスケーラブルの種類に応じて意味が変化する次元ＩＤによって規定された場合においても、ビューＩＤとデプスフラグを導出することが可能であるという効果を奏する。

第１の構成の画像復号装置はさらに、シーケンスパラメータセットから、ツールの使用可能性を規定するツール有効性フラグを復号するツール有効性情報復号部を備え、
前記ツール有効性情報復号部は、上記第２の次元ＩＤから割り当てられた対象レイヤのデプスフラグが１の場合にのみ、前記ツール有効性フラグを復号することを特徴としても良い。

以上の構成の画像復号装置によれば、レイヤの種別がスケーラブルの種類に応じて意味が変化する次元ＩＤによって規定された場合においても、デプスに特化したツールの利用可能性を冗長性な符号を復号することなく、復号することが可能であるという効果を奏する。

第２の構成の画像復号装置は、上記ビデオパラメータセット復号部は、さらに、レイヤの依存関係を示す依存レイヤＩＤを復号する依存レイヤＩＤ復号部を備え、
上記ツール有効性情報復号部は、上記ビューデプス導出部において上記依存レイヤＩＤのレイヤを規定する上記ビデオパラメータセットから導出された依存レイヤのビューＩＤが、上記ビューデプス導出部において復号された対象レイヤのビューＩＤと等しい場合にのみ、前記ツール有効性フラグを復号することを特徴とする。

一般に、依存レイヤのビューＩＤが、対象レイヤのビューＩＤと等しくない場合には、依存レイヤの情報（例えば依存レイヤの画像や予測パラメータ）と、対象レイヤの情報とは変位ベクトル分だけのずれが発生している。そのため、変位ベクトルを考慮しないツールでは、依存レイヤのビューＩＤが、対象レイヤのビューＩＤと等しくない場合には符号化効率が低下する。以上、第２の構成の画像復号装置によれば、画像復号装置によれば、依存レイヤのビューＩＤが、対象レイヤのビューＩＤと等しい場合にのみ、ツール有効性フラグを符号化データから復号するため、このような符号化効率が低い場合を防ぐ効果を奏する。

第３の構成の画像復号装置は、上記ビデオパラメータセット復号部は、さらに、レイヤの依存関係を示す依存レイヤＩＤを復号する依存レイヤＩＤ復号部を備え、上記ツール有効性情報復号部は、上記次元ＩＤ復号部において上記依存レイヤＩＤのレイヤを規定する上記ビデオパラメータセットから導出された依存レイヤのデプスフラグが、デプスではないことを示す場合のみ、前記ツール有効性フラグを復号することを特徴とする。

第３の構成の画像復号装置によれば、依存レイヤのデプスフラグが、デプスである場合には、ツールが禁止されるため、デプスを復号する場合において、依存レイヤのために、符号化パラメータを格納する必要が無くなる、これにより、デコーダのメモリを削減する効果を奏する。

第４の構成の符号化データ構造は、ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データにおいて、上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬＬユニットタイプnal_unit_typeを含み、上記ＮＡＬユニットデータに含まれるビデオパラメータセットにおいて、スケーラブルの種別を示すスケーラブルマスクと、スケーラブルの種別ごとの内容を示す次元ＩＤが規定される符号化データ構造であって、次元ＩＤがレイヤＩＤによって規定されることを特徴とする。

第４の構成の符号化データ構造によれば、３次元スケーラブルのビデオパラメータが、空間スケーラブルや画質スケーラビリティと同じ構造のビデオパラメータを持つという性質をた後ながら、ビデオパラメータで指定されたマッピング規則を用いることなく、簡易な方法でレイヤＩＤから、デプスフラグとビューＩＤを導出することができるという効果を奏する。

第４の構成の符号化データ構造は、さらに前記符号化データは、複数の次元ＩＤを含み第１の次元ＩＤが、レイヤＩＤの１ビット目以上からビューＩＤとして規定され、第２の次元ＩＤが、レイヤＩＤの０ビット目からデプスフラグとして規定されることを特徴としても良い。

第５の構成の画像復号装置は、上記ビデオパラメータセット復号部は、さらに、各レイヤのレイヤの有効性を示すレイヤ有効性フラグを復号するレイヤ有効性フラグ復号部を備えることを特徴とする。

第５の構成の画像復号装置によれば、レイヤ有効フラグvalid_layer_flag[i]によって、符号化データに存在しないレイヤを明示的に示すことにより、ＶＰＳで規定される最大レイヤ数よりも小さいレイヤＩＤがデコーダ側に届いていない場合、そのレイヤが始めから存在しないか否かを識別することができるという効果を奏する。

第５の構成の符号化データ構造は、ＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データにおいて、
上記ＮＡＬユニットデータに含まれるビデオパラメータセットにおいて、スケーラブルの種別を示すスケーラブルマスクと、スケーラブルの種別ごとの内容を示す次元ＩＤと、有効なレイヤを示すレイヤ有効性フラグが規定される。

本発明の画像復号装置によれば、３次元スケーラブルに関わるビューＩＤとデプスフラグが、空間スケーラブルや画質スケーラビリティと同じ符号化データ構造のビデオパラメータから導出可能になるという効果を奏する。

本発明の画像復号装置によれば、冗長性な符号を復号することなく、デプスに特化したツールの利用可能性を復号することが可能であるという効果を奏する。

本発明の画像復号装置によれば、依存レイヤのビューＩＤが、対象レイヤのビューＩＤと等しい場合にのみ、ツール有効性フラグを符号化データから復号するため、符号化効率が低い冗長なフラグを防ぐ効果を奏する。

本発明の画像復号装置によれば、依存レイヤのデプスフラグがデプスである場合にはツールが禁止することにより、デコーダのメモリを削減する効果を奏する。

本発明の実施形態に係る画像伝送システムの構成を示す概略図である。本実施形態に係る符号化データ＃１のデータの階層構造を示す図である。参照ピクチャリストの一例を示す概念図である。参照ピクチャの例を示す概念図である。本実施形態に係るピクチャ復号部１１の構成を示す概略図である。本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。本実施形態に係るAMVP予測パラメータ導出部３０３２の構成を示す概略図である。ベクトル候補の一例を示す概念図である。本実施形態に係るイントラ予測画像生成部３１０の構成を示す概略図である。本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。本実施形態に係る残差予測の概念図である。本実施形態に係る照度補償の概念図である。本実施形態に係る照度補償で用いるテーブルを示す図である。本発明の実施形態に係るイントラ予測画像生成部３１０で処理されるデプスイントラ予測を説明するための図である。本発明の実施形態に係るイントラ予測画像生成部３１０で処理されるデプスイントラ予測を説明するための図である。本発明の実施形態に係るＮＡＬユニットの構成を示す概略図である。本発明の実施形態に係るＮＡＬユニットの符号化データの構成を示す図である。本発明の実施形態に係るＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。本発明の実施形態に係るＶＰＳの符号化データの構成を示す図である。本発明の実施形態に係るＶＰＳ拡張の符号化データの構成を示す図である。本発明の実施形態に係るランダムアクセスピクチャの構成を示す図である。本発明の実施形態に係る画像復号装置１の概略的構成について示した機能ブロック図である。本発明の実施形態に係るヘッダ復号部１０の概略的構成について示した機能ブロック図である。本発明の実施形態に係るＮＡＬユニットヘッダ復号部２１１の概略的構成について示した機能ブロック図である。本発明の実施形態に係るＶＰＳ復号部２１２の概略的構成について示した機能ブロック図である。本発明の実施形態に係るレイヤ情報格納部２１３で格納される情報を示す図である。本実施形態に係るピクチャ構造の構成を示す概略図である。本実施形態に係る画像符号化装置２の構成を示す概略図である。本実施形態に係るピクチャ符号化部２１の構成を示すブロック図である。本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。本実施形態に係るヘッダ復号部１０の概略的構成について示した機能ブロック図である。本実施形態に係るＮＡＬユニットヘッダ符号化部２１１Ｅの概略的構成について示した機能ブロック図である。本実施形態に係るＶＰＳ符号化部２１２Ｅの概略的構成について示した機能ブロック図である。本発明の実施形態に係るヘッダ復号部１０Ｂの概略的構成について示した機能ブロック図である。本発明の実施形態に係るツール有効性情報復号部２１５の概略的構成について示した機能ブロック図である。本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの構成を示す図である。本発明の実施形態に係るツール有効性情報復号部２１５Ｂの概略的構成について示した機能ブロック図である。本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの別の構成を示す図である。本発明の実施形態に係るツール有効性情報復号部２１５Ｃの概略的構成について示した機能ブロック図である。本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの別の構成を示す図である。本発明の実施形態に係るツール有効性情報復号部２１５Ｄの概略的構成について示した機能ブロック図である（ａ）は本発明の実施形態に係るＶＰＳ復号部２１２Ｄの概略的構成について示した機能ブロック図である。（ｂ）は本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの別の構成を示す図である。本発明の実施形態に係るツール有効性情報符号化部２１５Ｅの概略的構成について示した機能ブロック図である。本発明の実施形態に係るヘッダ符号化部１０ＢＥの概略的構成について示した機能ブロック図である。本発明の実施形態に係るツール有効性情報符号化部２１５ＢＥの概略的構成について示した機能ブロック図である。本発明の実施形態に係るツール有効性情報符号化部２１５ＣＥの概略的構成について示した機能ブロック図である。

（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。

図１は、本実施形態に係る画像伝送システム５の構成を示す概略図である。

画像伝送システム５は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム５は、画像符号化装置２、ネットワーク３、画像復号装置１及び画像表示装置４を含んで構成される。

画像符号化装置２には、複数のレイヤ画像（テクスチャ画像ともいう）を示す信号Ｔ（入力画像＃１０）が入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて３次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置２は、この信号のそれぞれを符号化して符号化データ＃１（符号化データ）を生成する。符号化データ＃１の詳細については、後述する。視点画像とは、ある視点において観測される２次元画像（平面画像）である。視点画像は、例えば２次元平面内に配置された画素毎の輝度値、又は色信号値で示される。以下では、１枚の視点画像又は、その視点画像を示す信号をピクチャ（ｐｉｃｔｕｒｅ）と呼ぶ。また、複数のレイヤ画像を用いて空間スケーラブル符号化を行う場合、その複数のレイヤ画像は、解像度の低いベースレイヤ画像と、解像度の高い拡張レイヤ画像からなる。複数のレイヤ画像を用いてＳＮＲスケーラブル符号化を行う場合、その複数のレイヤ画像は、画質の低いベースレイヤ画像と、画質の高い拡張レイヤ画像からなる。なお、ビュースケーラブル符号化、空間スケーラブル符号化、ＳＮＲスケーラブル符号化を任意に組み合わせて行っても良い。

ネットワーク３は、画像符号化装置２が生成した符号化データ＃１を画像復号装置１に伝送する。ネットワーク３は、インターネット（ｉｎｔｅｒｎｅｔ）、広域ネットワーク（ＷＡＮ：ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）、小規模ネットワーク（ＬＡＮ：ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）又はこれらの組み合わせである。ネットワーク３は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク３は、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）、ＢＤ（Ｂｌｕｅ−ｒａｙＤｉｓｃ）等の符号化データ＃１を記録した記憶媒体で代替されても良い。

画像復号装置１は、ネットワーク３が伝送した符号化データ＃１のそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Ｔｄ（復号視点画像Ｔｄ、復号画像＃２）を生成する。

画像表示装置４は、画像復号装置１が生成した複数の復号レイヤ画像Ｔｄ（復号画像＃２）の全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置１、画像表示装置４が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。

＜符号化データ＃１の構造＞
本実施形態に係る画像符号化装置２および画像復号装置１の詳細な説明に先立って、画像符号化装置２によって生成され、画像復号装置１によって復号される符号化データ＃１のデータ構造について説明する。

（ＮＡＬユニットレイヤ）
図１７は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、ＮＡＬ（Network Abstraction Layer）ユニットと呼ばれる単位で符号化される。

ＮＡＬは、動画像符号化処理を行う層であるＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。

ＶＣＬは、画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。

図１８（ａ）は、ＮＡＬ（Network Abstraction Layer）ユニットのシンタックステーブルを示す。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ（ＮＡＬユニットヘッダ：nal_unit_header()）が含まれる。なお、ＮＡＬユニットヘッダは、例えば、図１８（ｂ）に示すシンタックスで表わされる。ＮＡＬユニットヘッダには、ＮＡＬユニットに格納された符号化データの種類を表わす”nal_unit_type”、格納された符号化データが属するサブレイヤの識別子（テンポラル識別子）を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識別子（レイヤ識別子）を表わす”nuh_layer_id”（または、nuh_reserved_zero_6bits）が記述されている。ＮＡＬユニットデータには、後述のパラメータセット、ＳＥＩ、スライスなどが含まれる。

図１９は、ＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。図１９に示す通り、SYNA101 で示される０から１５の値のＮＡＬユニットタイプを持つＮＡＬユニットは、非ＲＡＰ(ランダムアクセスピクチャ)のスライスである。SYNA102 で示される１６から２１の値のＮＡＬユニットタイプを持つＮＡＬユニットは、ＲＡＰ(ランダムアクセスピクチャ)のスライスである。ＲＡＰピクチャには、大きく分けて、ＢＬＡピクチャ、ＩＤＲピクチャ、ＣＲＡピクチャがあり、ＢＬＡピクチャは、さらに、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、ＢＬＡ＿Ｎ＿ＬＰに分類される。ＩＤＲピクチャは、さらに、ＩＤＲ＿Ｗ＿ＤＬＰ、ＩＤＲ＿Ｎ＿ＬＰに分類される。ＲＡＰピクチャ以外のピクチャには後述のＬＰピクチャ、ＴＳＡピクチャ、ＳＴＳＡピクチャ、ＴＲＡＩＬピクチャなどがある。

図２０は、本発明の実施形態に係るＶＰＳ（Video Parameter Set）の符号化データの構成を示す図である。一部シンタック要素について意味を示すと、次の通りである。ＶＰＳは、複数のレイヤに共通するパラメータを規定するためのパラメータセットである。パラメータセットは、ピクチャを圧縮データである符号化データからＩＤ（video_parameter_set_id）を用いて参照される。
・video_parameter_set_id（図２０のＳＹＮＡ４０１）は、各ＶＰＳを識別するための識別子である。
・vps_temporal_id_nesting_flag（図２０のＳＹＮＡ４０２）は、当該ＶＰＳを参照するピクチャにおけるインター予測に関して、追加の制約をするか否かを表わすフラグである。
・vps_max_num_sub_layers_minus1（図２０のＳＹＮＡ４０３）は、少なくとも基本レイヤを含む階層符号化データに関して、時間スケーラビリティを除く、その他のスケーラビリティに関するレイヤの数の上限値MaxNumLayersを算出するために用いるシンタックスである。なお、レイヤ数の上限値MaxNumLayersは、MaxNumLayers = vps_max_num_sub_layers_minus1 + 1によって表わされる。階層符号化データが基本レイヤのみで構成される場合は、vps_max_num_sub_layers_minus1 = 0となる。
・vps_extension_flag（図２０のＳＹＮＡ４０４）は、ＶＰＳがさらにＶＰＳ拡張を含むか否かを示すフラグである。
・vps_extension_data_flag（図２０のＳＹＮＡ４０５）は、ＶＰＳ拡張本体であり、具体的には図２１で説明する。

なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。

図２１は、本発明の実施形態に係るＶＰＳ拡張の符号化データの構成を示す図である。一部シンタックス要素について意味を示すと、次の通りである。本明細書では、符号化データの構成（シンタックステーブル）と、符号化データ構成が含むシンタックス要素の意味や制限（セマンティクス）を、符号化データ構造と呼ぶ。符号化データ構造は、画像復号装置において符号化データを復号する場合のランダムアクセス性やメモリサイズ、異なる画像復号装置間で同じ動作を補償することに関連すると共に、符号化データの符号化効率にも影響を与える重要な技術要素である。
・scalability_mask（図２１のＳＹＮ５０１）は、スケーラブルの種別を示す値である。スケーラブルマスクは、各ビットが各スケーラブル種別に対応する。ビット１（１ビット目）は空間スケーラブル、ビット２は画質スケーラブル、ビット３はデプススケーラブル、ビット４はビュースケーラブルに対応する。各ビットが１である場合に対応するスケーラブル種別が有効であることを意味する。複数のビットが１であることも可能であり、例えばscalability_maskが１２の場合は、ビット３とビット４が１であるから、デプススケーラブルとビュースケーラブルが有効である。すなわち、複数のビューとデプスを含む３Ｄスケーラブルを意味する。
・dimension_id_len_minus1（図２１のＳＹＮ５０２）は、スケーラブルの種別ごとに含まれる次元ＩＤdimention_idの数num_dimensionsを示す。num_dimensions＝dimension_id_len_minus1[1]+1である。例えば、num_dimensionsは、スケーラブルの種別がデプスの場合２、ビューの場合には視点数が復号される。
・次元ＩＤdimention_id（図２１のＳＹＮ５０３）は、スケーラブルの種別ごとのピクチャの種別を示す情報である。
・依存レイヤ数num_direct_ref_layers（図２１のＳＹＮ５０４）は、依存レイヤref_layer_idの数を示す情報である。
・依存レイヤref_layer_id（図２１のＳＹＮ５０５）は、対象レイヤが参照するレイヤのレイヤＩＤを示す情報である。
・図２１のＳＹＮ５０６で、「・・・」として示される部分は、プロファイルもしくはスケーラブルの種別ごとに異なる情報である（詳細は後述する）。

図２は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図２の（ａ）〜（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Coding Unit；ＣＵ）を規定する符号化ユニットレイヤを示す図である。

（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図２の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤ０（レイヤＩＤが０のレイヤ）とレイヤ１（レイヤＩＤが１のレイヤ）の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。

ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。

シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。

ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図２の（ｂ）に示すように、スライスS0〜SNS-1を含んでいる（NSはピクチャＰＩＣＴに含まれるスライスの総数）。

なお、以下、スライスS0〜SNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図２の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータSDATAを含んでいる。

スライスヘッダＳＨには、対象スライスの復号方法を決定するために画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。

なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）を含んでいても良い。

（スライスデータレイヤ）
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置１が参照するデータの集合が規定されている。スライスデータSDATAは、図２の（ｄ）に示すように、符号化ツリーブロック（CTB:Coded Tree Block）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（ＬＣＵ:Largest Cording Unit）と呼ぶこともある。

（符号化ツリーレイヤ）
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化ツリーユニット（CTU:Coded Tree Unit）であり、符号化ツリーブロック自身も最上位のCTUとして規定される。CTUは、分割フラグ（split_flag）を含み、split_flagが１の場合には、４つの符号化ツリーユニットCTUに分割される。split_flagが０の場合には、符号化ツリーユニットCTUは４つの符号化ユニット(CU：Coded Unit)に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。

また、符号化ツリーブロックＣＴＢのサイズ６４×６４画素の場合には、符号化ユニットのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。

（符号化ユニットレイヤ）
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリー、ＣＵヘッダＣＵＦから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートとなる。ＣＵヘッダＣＵＦは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。

予測ツリーは、符号化ユニットが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。

予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。

イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。

また、インター予測の場合、分割方法は、符号化データのpart_modeにより符号化され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×0.5Ｎと２Ｎ×1.5Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×1.5Ｎと２Ｎ×0.5Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に0.5Ｎ×２Ｎと1.5Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に1.5Ｎ×２Ｎと0.5Ｎ×1.5Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にPU0、PU1、PU2、PU3と表現する。

また、変換ツリーにおいては、符号化ユニットが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。

（予測パラメータ）
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idxで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idxが用いられる。

符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。

（参照ピクチャリストの一例）
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、復号ピクチャバッファ１２に記憶された参照ピクチャからなる列である。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、復号ピクチャバッファ１２において参照ピクチャＱ０を参照するインデックスであることを示す。

（参照ピクチャの例）
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸は視点を示す。図４に示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ０は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ２は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ２が用いられる。

（ランダムアクセスピクチャ）
本実施例で扱うランダムアクセスピクチャ（ＲＡＰ）の構成について説明する。図２２は、ランダムアクセスピクチャの構成を説明する図である。ＲＡＰには、ＩＤＲ（Instantaneous Decoding Refresh）、ＣＲＡ（Clean Randum Access）、ＢＬＡ(Broken Link Access)の３種類がある。あるＮＡＬユニットが、ＲＡＰピクチャのスライスを含むＮＡＬユニットであるか否かは、ＮＡＬユニットタイプにより識別される。ＩＤＲ_Ｗ＿ＬＰ、ＩＤＲ_Ｎ＿ＬＰ、ＣＲＡ、ＢＬＡ_Ｗ＿ＬＰ、ＢＬＡ_Ｗ＿ＤＬＰ、ＢＬＡ_Ｎ＿ＬＰのＮＡＬユニットタイプは、各々、後述のＩＤＲ_Ｗ＿ＬＰピクチャ、ＩＤＲ_Ｎ＿ＬＰピクチャ、ＣＲＡピクチャ、ＢＬＡ_Ｗ＿ＬＰピクチャ、ＢＬＡ_Ｗ＿ＤＬＰピクチャ、ＢＬＡ_Ｎ＿ＬＰピクチャに対応する。すなわち、上記ピクチャのスライスを含むＮＡＬユニットは、上述のＮＡＬユニットタイプを有する。

図２２（ａ）は、ＲＡＰピクチャが先頭ピクチャ以外にない場合である。ボックス中の英字はピクチャの名前、数字はＰＯＣを示す（以下同様）。図中左から右に表示順が並ぶ。ＩＤＲ０、Ａ１、Ａ２、Ｂ４、Ｂ５、Ｂ６が、ＩＤＲ０、Ｂ４、Ａ１、Ａ２、Ｂ６、Ｂ５の順で復号される。以下、図２２（ａ）のＢ４で示されるピクチャがＲＡＰピクチャに変更される場合を、図２２（ｂ）から図２２（ｇ）に示す。

図２２（ｂ）は、ＩＤＲピクチャ（特にＩＤＲ_Ｗ＿ＬＰピクチャ）が挿入される例である。本例では、ＩＤＲ０、ＩＤＲ´０、Ａ１、Ａ２、Ｂ２、Ｂ１の順で復号される。２つのＩＤＲピクチャを区別するために時刻が先（復号順も先）のピクチャをＩＤＲ０、時刻が後のピクチャをＩＤＲ´０ピクチャと呼ぶ。本例のＩＤＲピクチャを含め全てのＲＡＰピクチャは、他のピクチャの参照は禁止される。他のピクチャの参照は、ＲＡＰピクチャのスライスを後述のようにイントラI_SLICEに制限することで行われる（この制限は、後述の実施例では、レイヤＩＤが０以外のレイヤに対して緩和される）。よって、ＲＡＰピクチャ自身は、他のピクチャの復号によらず独立して復号が可能である。さらに、ＩＤＲピクチャの復号時点で、後述のリファレンスピクチャセット（ＲＰＳ）が初期化される。そのため、ＩＤＲピクチャ以前に復号されたピクチャを用いた予測、例えば、Ｂ２からＩＤＲ０への予測は禁止される。ピクチャＡ３は、ＲＡＰ（ここではＩＤＲ´０）の表示時刻ＰＯＣより前の表示時刻ＰＯＣを有するが、ＲＡＰピクチャよりも後に復号される。このようなＲＡＰピクチャよりも後に復号されるが、ＲＡＰピクチャよりも前に再生されるピクチャをLeadingピクチャ（ＬＰピクチャ）と呼ぶ。ＲＡＰピクチャ、ＬＰピクチャ以外のピクチャは、ＲＡＰピクチャよりも後に復号され、再生されるピクチャであり一般にＴＲＡＩＬピクチャと呼ばれる。ＩＤＲ_Ｗ＿ＬＰは、Instantaneous Decoding Refresh With Leading Pictureの略であり、ピクチャＡ３のようなＬＰピクチャが含まれていても良い。ピクチャＡ２は、図２２（ａ）の例では、ＩＤＲ０とＰＯＣ４のピクチャを参照していたが、ＩＤＲピクチャの場合には、ＩＤＲ´０を復号した時点で、ＲＰＳが初期化されるため、Ａ２からＩＤＲ´０への参照は禁止される。またＩＤＲピクチャを復号した時点で、ＰＯＣは初期化される。

以上をまとめると、ＩＤＲピクチャは以下の制約を有するピクチャである。
・ピクチャ復号時点でＰＯＣは初期化される
・ピクチャ復号時点でＲＰＳは初期化される
・他のピクチャの参照の禁止
・復号順でＩＤＲより後のピクチャから、復号順でＩＤＲより前のピクチャの参照の禁止
・ＲＡＳＬピクチャ（後述）の禁止
・ＲＡＤＬピクチャ（後述）を持つことができる（ＩＤＲ_Ｗ＿ＬＰピクチャの場合）。

図２２（ｃ）は、ＩＤＲピクチャ（特にＩＤＲ_Ｎ＿ＬＰピクチャ）が挿入される例である。ＩＤＲ_Ｎ＿ＬＰは、Instantaneous Decoding Refresh No Leading Pictureの略であり、ＬＰピクチャの存在が禁止される。従って、図２２（ｂ）のＡ３ピクチャの存在が禁止される。よって、Ａ３ピクチャは、ＩＤＲ´０ピクチャの代わりに、ＩＤＲ０ピクチャを参照することで、ＩＤＲ´０ピクチャより前に復号される必要がある。

図２２（ｄ）は、ＣＲＡピクチャが挿入される例である。本例では、ＩＤＲ０、ＣＲＡ４、Ａ１、Ａ２、Ｂ６、Ｂ５の順で復号される。ＣＲＡピクチャでは、ＩＤＲピクチャと異なり、ＲＰＳの初期化は行われない。従って、復号順でＲＡＰ（ここではＣＲＡ）より後のピクチャから、復号順でＲＡＰ（ここではＣＲＡ）より前のピクチャの参照の禁止（Ａ２からＣＲＡ４への参照禁止）は、必要とされない。しかしながら、ＲＡＰピクチャであるＣＲＡピクチャから復号を開始する場合には、ＣＲＡより表示順が後のピクチャは復号可能であることが必要なため、表示順でＲＡＰ（ＣＲＡ）より後のピクチャから、復号順でＲＡＰ（ＣＲＡ）より前のピクチャの参照の禁止（Ｂ６からＩＤＲ０への参照禁止）は必要とされる。なお、ＣＲＡではＰＯＣは初期化されない。

以上をまとめると、ＣＲＡピクチャは以下の制約を有するピクチャである。
・ピクチャ復号時点でＰＯＣは初期化されない
・ピクチャ復号時点でＲＰＳは初期化されない
・他のピクチャの参照の禁止
・表示順でＣＲＡより後のピクチャから、復号順でＣＲＡより前のピクチャの参照の禁止
・ＲＡＤＬピクチャとＲＡＳＬピクチャを持つことできる。

図２２（ｅ）から（ｇ）は、ＢＬＡピクチャの例である。ＢＬＡピクチャはＣＲＡピクチャを含む符号化データの編集などにより、ＣＲＡピクチャを先頭としてシーケンスを再構成した場合に利用されるＲＡＰピクチャであり、以下の制限を有する。
・ピクチャ復号時点でＰＯＣは初期化される
・他のピクチャの参照の禁止
・表示順でＢＬＡより後のピクチャから、復号順でＢＬＡより前のピクチャの参照の禁止・ＲＡＳＬピクチャ（後述）を持つことができる（ＢＬＡ_Ｗ＿ＬＰの場合）
・ＲＡＤＬピクチャ（後述）を持つことができる（ＢＬＡ_Ｗ＿ＬＰ、ＢＬＡ_Ｗ＿ＤＬＰピクチャの場合）。

図２２（ｅ）は、ＢＬＡピクチャ（特にＢＬＡ_Ｗ＿ＬＰピクチャ）を用いる例である。ＢＬＡ_Ｗ＿ＬＰは、Broken Link Access With Leading Pictureの略であり、ＬＰピクチャの存在が許容される。ＣＲＡ４ピクチャをＢＬＡ_Ｗ＿ＬＰピクチャに置き換えた場合、ＢＬＡピクチャのＬＰピクチャであるＡ２ピクチャ、Ａ３ピクチャは符号化データ中に存在しても良い。しかしながら、Ａ２ピクチャは、ＢＬＡ_Ｗ＿ＬＰピクチャよりも前に復号されるピクチャであるから、ＢＬＡ_Ｗ＿ＬＰピクチャを先頭ピクチャとして編集した符号化データでは符号化データ中に存在しない。ＢＬＡ_Ｗ＿ＬＰピクチャではそのような復号不可能なＬＰピクチャをＲＡＳＬ（random access skipped leading）ピクチャとして扱い、復号、表示しないことで対応する。なお、Ａ３ピクチャは、復号可能なＬＰピクチャであり、このようなピクチャはＲＡＤL（random access decodable leading）ピクチャと呼ばれる。上記ＲＡＳＬピクチャ、ＲＡＤＬピクチャはRASL_NUT、RADL_NUTのＮＡＬユニットタイプにより識別される。

図２２（ｆ）は、ＢＬＡピクチャ（特にＢＬＡ_Ｗ＿ＤＬＰピクチャ）を用いる例である。ＢＬＡ_Ｗ＿ＤＬＰは、Broken Link Access With Decorable Leading Pictureの略であり、復号可能なＬＰピクチャの存在が許容される。よって、ＢＬＡ_Ｗ＿ＤＬＰピクチャでは、図２２（ｅ）と異なり、復号不可能なＬＰピクチャ（ＲＡＳＬ）であるＡ２ピクチャは、符号化データ中に存在を許されない。復号可能なＬＰピクチャ（ＲＡＤＬ）であるＡ３ピクチャは符号化データ中に存在が許される。

図２２（ｇ）は、ＢＬＡピクチャ（特にＢＬＡ_Ｎ＿ＬＰピクチャ）を用いる例である。ＢＬＡ_Ｎ＿ＬＰは、Broken Link Access No Leading Pictureの略であり、ＬＰピクチャの存在が許容されない。よって、ＢＬＡ_Ｎ＿ＤＬＰピクチャでは、図２２（ｅ）、図２２（ｆ）と異なり、Ａ２ピクチャ（ＲＡＳＬ）だけでなく、Ａ３ピクチャ（ＲＡＤＬ）も符号化データ中に存在を許されない。

（インター予測フラグと予測リスト利用フラグ）
インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。

インター予測フラグ＝ (predFlagL1<<1) + predFlagL0
predFlagL0 ＝インター予測フラグ & 1
predFlagL1 ＝インター予測フラグ >> 1
ここで、>>は右シフト、<<は左シフトである。

（マージ予測とAMVP予測）
予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idx）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル(mvdLX)として符号化される。

インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。L0参照リスト、L1参照リストを用いた予測を各々L0予測、L1予測と呼ぶ。Pred_Biは２枚の参照ピクチャを用いること（双予測）を示し、L0参照リストとL1参照リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、LXをL0、L1に置き換えることでL0参照リストに対するパラメータとL1参照リストに対するパラメータを区別するする。例えば、refIdxL0はL0予測に用いる参照ピクチャインデックス、refIdxL1はL1予測に用いる参照ピクチャインデックス、refIdx（refIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。

マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。

（動きベクトルと変位ベクトル）
ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。

（画像復号装置の構成）
本実施形態に係る画像復号装置１の構成について説明する。図２３は、本実施形態に係る画像復号装置１の構成を示す概略図である。画像復号装置１は、ヘッダ復号部１０、ピクチャ復号部１１、復号ピクチャバッファ１２、参照ピクチャ管理部１３を含んで構成される。画像復号装置１は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。

［ヘッダ復号部１０］
ヘッダ復号部１０は、画像符号化装置２より供給される符号化データ＃１から、ＮＡＬユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を復号する。復号された情報は、ピクチャ復号部１１及び参照ピクチャ管理部１３に出力される。

ヘッダ復号部１０は、符号化データ＃１に含まれるＶＰＳおよびＳＰＳを既定のシンタックス定義に基づいてパースして、シーケンス単位で復号に利用される情報を復号する。例えば、レイヤ数に関する情報がＶＰＳから復号され、復号画像の画像サイズに関連する情報がＳＰＳから復号される。

また、ヘッダ復号部１０は、符号化データ＃１に含まれるスライスヘッダを既定のシンタックス定義に基づいてパースして、スライス単位で復号に利用される情報を復号する。例えば、スライスタイプがスライスヘッダから復号される。

図２４は、ヘッダ復号部１０の概略的構成について示した機能ブロック図である。図２４に示すようにヘッダ復号部１０は、ＮＡＬユニットヘッダ復号部２１１、ＶＰＳ復号部２１２（ビデオパラメータセット復号部）、レイヤ情報格納部２１３、ビューデプス導出部２１４、ツール有効性情報復号部２１５を備えている。

[ＮＡＬユニットヘッダ復号部２１１]
図２５は、ＮＡＬユニットヘッダ復号部２１１の概略的構成について示した機能ブロック図である。図２５に示すように、ＮＡＬユニットヘッダ復号部２１１はレイヤＩＤ復号部２１１１とＮＡＬユニットタイプ復号部２１１２を含んで構成される。

レイヤＩＤ復号部２１１１は、符号化データからレイヤＩＤを復号する。ＮＡＬユニットタイプ復号部２１１２は、符号化データからＮＡＬユニットタイプを復号する。レイヤＩＤは、例えば０から６３の６ビットの情報であり、レイヤＩＤが０のレイヤは、ベースレイヤを示す。ＮＡＬユニットタイプは、例えば０から６３の６ビットの情報であり、ＮＡＬユニットに含まれるデータの種別を示す。後述するようにデータの種別には、例えば、ＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセット、ＩＤＲピクチャ、ＣＲＡピクチャ、ＬＢＡピクチャなどのＲＰＳピクチャ、ＬＰピクチャなどの非ＲＰＳピクチャ、ＳＥＩなどがＮＡＬユニットタイプから識別される。

［ＶＰＳ復号部２１２］
ＶＰＳ復号部２１２は、符号化データに含まれるＶＰＳおよびＶＰＳ拡張から規定のシンタックス定義に基づいて、複数のレイヤで復号に利用される情報を復号する。例えば、ＶＰＳからは図２０に示すシンタックス、ＶＰＳ拡張から図２１に示すシンタックスが復号される。ＶＰＳ拡張は、フラグvps_extension_flagが１の場合に復号される。

図２６は、ＶＰＳ復号部２１２の概略的構成について示した機能ブロック図である。図２６に示すように、ＶＰＳ復号部２１２はスケーラブルタイプ復号部２１２１と次元ＩＤ復号部２１２２、依存レイヤＩＤ復号部２１２３を含んで構成される。

ＶＰＳ復号部２１２は、図示しない内部のレイヤ数復号部により、符号化データからレイヤ数を示すシンタックス要素vps_max_layers_minus1を復号し、次元ＩＤ復号部２１２２、依存レイヤＩＤ復号部２１２３に出力すると共に、レイヤ情報格納部２１３に格納する。

スケーラブルタイプ復号部２１２１は、符号化データからスケーラブルマスクscalable_maskを復号し、次元ＩＤ復号部２１２２に出力すると共に、レイヤ情報格納部２１３に格納する。

次元ＩＤ復号部２１２２は、符号化データから次元ＩＤdimension_idを復号し、レイヤ情報格納部２１３に格納する。具体的には、次元ＩＤ復号部２１２２は、まずスケーラブルマスクの各ビットを操作し、１であるビットの数NumScalabilityTypesを導出する。例えば、scalable_mask=1の場合は、ビット０（０ビット目）のみが１なのでNumScalabilityTypes=1、scalable_mask=12の場合は、ビット２（＝４）とビット３（＝８）の２つが１であるのでNumScalabilityTypes=2である。

なお、本実施形態ではＬＳＢ側からみて１個目のビットをビット０（０ビット目）と表現する。つまりＮ個目のビットをビットＮ−１と表現する。

続いて、次元ＩＤ復号部２１２２は、レイヤi、スケーラブルの種別j毎に次元ＩＤdimension_id[i][j]を復号する。レイヤＩＤのインデックスiは１からvps_max_layers_minus1までの値、スケーラブル種別を示すインデックスjは0〜NumScalabilityTypes-1までの値を取る。

依存レイヤＩＤ復号部２１２３は、符号化データから依存レイヤ数num_direct_ref_layersと依存レイヤフラグref_layer_idを復号し、レイヤ情報格納部２１３に格納する。具体的には、レイヤiごとに依存レイヤ数num_direct_ref_layersの数だけdimension_id[i][j]を復号する。レイヤＩＤのインデックスiは１からvps_max_layers_minus1までの値、依存レイヤフラグのインデックスjは、0〜num_direct_ref_layers-1までの値を取る。例えばレイヤＩＤが１のレイヤが、レイヤＩＤが２のレイヤ、レイヤＩＤが３のレイヤに依存する場合は、２つのレイヤに依存するため依存レイヤ数num_direct_ref_layers[]=2であり、依存レイヤＩＤは２つ、すなわちref_layer_id [1][0]=2、ref_layer_id [1][1]=3となる。

［レイヤ情報格納部２１３］
図２７は、本発明の実施形態に係るレイヤ情報格納部２１３で格納される情報を示す図である。図２７では、レイヤ数が６（vps_max_layers_minus1＝５）の場合で、スケーラブルマスクが３Ｄスケーラブルを意味する場合（デプススケーラブルを意味するビット３とビュースケーラブルを示すビット４がどちらも１の場合の場合、つまり、scalable_mask=24の場合）を示している。図２７に示すように、レイヤ情報格納部２１３では、レイヤ数vps_max_layers_minus1とスケーラブルマスクscalable_maskの他、レイヤ毎（layer_id=0からlayer_id=5まで）の、個々の次元ＩＤdimension_id[][]と依存レイヤref_layer_id[][]を格納する。

［ビューデプス導出部２１４］
ビューデプス導出部２１４は、ビューデプス導出部２１４に入力された対象レイヤのレイヤＩＤlayer_id（以下対象layer_id）に基づいて、レイヤ情報格納部２１３を参照し、対象レイヤのビューＩＤview_idとデプスフラグdepth_flagを導出する。具体的には、ビューデプス導出部２１４は、レイヤ情報格納部２１３に格納されたスケーラブルマスクを読み出し、スケーラブルマスクの値に応じて以下の処理を行う。

スケーラブルマスクがデプススケーラブルを意味する場合（デプススケーラブルを示すビット３が１の場合の場合、つまり、scalable_mask=8の場合）、ビューデプス導出部２１４は、ビューＩＤを示す次元ＩＤview_dimension_idに０を設定し、以下の式によりview_idとdepth_flagを導出する。

view_dimension_id = 0
depth_flag = dimension_id[layer_id][view_dimension_id]
すなわち、ビューデプス導出部２１４は、対象layer_idに対応するdimension_id[][]をレイヤ情報格納部２１３から読み出しデプスフラグdepth_flagに設定する。ビューＩＤは０に設定する。

スケーラブルマスクがビュースケーラブルを意味する場合（ビュースケーラブルを示すビット４が１の場合の場合、つまり、scalable_mask=16の場合）、ビューデプス導出部２１４は、デプスフラグを示す次元ＩＤdepth_dimension_idに０を設定し、以下の式によりview_idとdepth_flagを導出する。

depth_dimension_id = 0
view_id = dimension_id[layer_id][depth_dimension_id]
depth_flag = 0
すなわち、ビューデプス導出部２１４は、対象layer_idに対応するdimension_id[][]をレイヤ情報格納部２１３から読み出しビューＩＤview_idに設定する。デプスフラグdepth_flagは０に設定する。

スケーラブルマスクが３Ｄスケーラブルを意味する場合（デプススケーラブルを意味するビット３とビュースケーラブルを示すビット４がどちらも１の場合の場合、つまり、scalable_mask=24の場合）ビューデプス導出部２１４は、デプスフラグを示す次元ＩＤdepth_dimension_idに０、ビューＩＤを示す次元ＩＤview_dimension_idに１を設定し、以下の式によりview_idとdepth_flagを導出する。

depth_dimension_id = 0
view_dimension_id = 1
depth_flag = dimension_id[layer_id][depth_dimension_id]
view_id = dimension_id[layer_id][view_dimension_id]
すなわち、ビューデプス導出部２１４は、対象layer_idに対応する２つのdimension_id[][]をレイヤ情報格納部２１３から読み出し一方をデプスフラグdepth_flag、他方をview_idに設定する。

以上の構成では、ビューデプス導出部２１４は、スケーラブルの種別がデプススケーラブルを含む場合、対象レイヤがテクスチャであるか、デプスであるかを示すデプスフラグdepth_flagに相当するdimention_idを読み出し、デプスフラグdepth_flagに設定する。また、スケーラブルの種別がビュースケーラブルを含む場合、ビューＩＤview_idに相当するdimention_idを読み出し、ビューＩＤview_idに設定する。なお、スケーラブルの種別がデプススケーラブルかつビュースケーラブルの場合、２つのdimension_idを読み出し、各々をdepth_flagとview_idに設定する。

［ツール有効性情報復号部２１５］
ツール有効性情報復号部２１５は、ＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセットから、特定のツールが使用可能か否かを表すフラグ（ツール有効性フラグ）を復号する。ツール有効性フラグは、例えば、インタービュー予測フラグmulti_view_mv_pred_flag、残差予測フラグmulti_view_residual_pred_flag、デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flagなどがある。インタービュー予測フラグmulti_view_mv_pred_flag、残差予測フラグmulti_view_residual_pred_flagは、対象レイヤがベースレイヤ以外の場合に利用可能なツールであり、デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flagは、対象レイヤがデプスピクチャである場合に利用可能なツールである。

ツール有効性情報復号部２１５は、ツール有効性フラグが符号化データ中に存在するか否かを判定し、ツール有効性フラグが符号化データ中に存在する場合には、ツール有効性フラグを符号化データから抽出して復号し、ツール有効性フラグが符号化データ中に存在しない場合には、ツール有効性フラグとしてツールが有効でない（使用しないこと）を意味する０を導出する。

図３６は、ツール有効性情報復号部２１５の概略的構成について示した機能ブロック図である。図３６に示すように、ツール有効性情報復号部２１５は対象レイヤデプス判定部２１５１を含んで構成される。

対象レイヤデプス判定部２１５１は、入力されたレイヤＩＤlayer_idに基づいて、対象レイヤがデプスであるか否かを判定する。具体的には、ビューデプス導出部２１４に対象layer_idを入力し、ビューデプス導出部２１４からデプスフラグdepth_flagを得る。

ツール有効性情報復号部２１５は、対象レイヤがベースレイヤ以外の場合に利用可能なツール（インタービュー予測フラグmulti_view_mv_pred_flag、残差予測フラグmulti_view_residual_pred_flag）のツール有効性フラグを、対象レイヤlayer_idが０以外の場合に符号化データから復号し、対象レイヤlayer_idが０の場合には、符号化データを参照せずに、０として導出する。

ツール有効性情報復号部２１５は、対象レイヤがデプスの場合に利用可能なツール（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）のツール有効性フラグを、導出されたデプスフラグdepth_flagが１の場合に符号化データから復号し、導出されたデプスフラグdepth_flagが０の場合には、符号化データを参照せずに０として導出する。

図３７は、本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの構成の一部を示す図である。図３７の符号化データのＳＹＮＸ８０１に示す「・・・」には、図２１に示すＶＰＳ拡張の符号化データが含まれる（逆に、図３７の符号化データは、図２１のＳＹＮ５０６に含まれる）。図３７のＶＰＳ拡張データは、マルチビュープロファイルもしくはスケーラブルタイプがデプススケーラブルを示す場合に含まれる情報である。図３７の構成の符号化データは、ツール有効性情報復号部２１５により復号される符号化データである。図３７のＳＹＮＸ８０２に示す部分は、ビューデプス導出部２１４が、デプスフラグを示す次元ＩＤdepth_dimension_idに０、ビューＩＤを示す次元ＩＤview_dimension_idに１を設定する動作に相当する。図３７のＳＹＮＸ８０３に示す通り、本実施形態の符号化データは、対象レイヤlayer_idが０以外（図ではiが０以外の場合）に、対象レイヤがベースレイヤ以外の場合に利用可能なツールのツール有効性フラグ（インタービュー予測フラグmulti_view_mv_pred_flag、残差予測フラグmulti_view_residual_pred_flag）を含む。また、図３７のＳＹＮＸ８０４に示す通り、対象レイヤがデプスの場合に利用可能なツール（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）のツール有効性フラグを、対象レイヤlayer_idに対応するデプスに相当する次元ＩＤが０以外（図ではdimension_id[ i ][ depth_dimension_id ]）に、対象レイヤがデプスピクチャの場合に利用可能なツールのツール有効性フラグ（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）を含む。対象レイヤがデプスの場合に利用可能なツールのツール有効性フラグデプスを含む場合にのみ含むため、ツール有効性フラグが常に０であることが分かっているような対象ピクチャがデプスではない場合において、冗長なデータを含むことがない。

以上の構成の画像復号装置によれば、１つ以上のレイヤのパラメータを規定するビデオパラメータセットから、スケーラブルの種別を示すスケーラブルマスクと、次元ＩＤを復号するビデオパラメータセット復号部と、レイヤＩＤと次元ＩＤの関係を格納するレイヤパラメータ格納部と、ＮＡＬユニットヘッダからレイヤＩＤを復号するレイヤＩＤ復号部と、さらに、上記レイヤＩＤ復号部で復号された対象レイヤのレイヤＩＤから、上記レイヤパラメータ格納部に格納された次元ＩＤを参照し、対象レイヤのビューＩＤとデプスフラグを導出するビューデプス導出部を備えことにより、３次元スケーラブルに関わるビューＩＤとデプスフラグが、空間スケーラブルや画質スケーラビリティと同じ符号化データ構造のビデオパラメータから導出可能になるという効果を奏する。

以上の構成のＶＰＳ復号部２１２によれば、デプスで利用されるツール有効性フラグに対して、スケーラブルマスクの値に応じて、デプスフラグに対応する次元ＩＤを特定し、特定された次元ＩＤから導出されたデプスフラグが１の場合にのみ、ツール有効性フラグを復号する。これによりレイヤの種別がスケーラブルの種類に応じて意味が変化する次元ＩＤによって規定された場合においても、冗長性な符号を復号することなく、デプスに特化したツールの利用可能性を復号することが可能であるという効果を奏する。

図３５は、ヘッダ復号部１０の別の構成であるヘッダ復号部１０Ｂの概略的構成について示した機能ブロック図である。図３５に示すようにヘッダ復号部１０Ｂは、ＮＡＬユニットヘッダ復号部２１１、ＶＰＳ復号部２１２Ｂ（ビデオパラメータセット復号部）、レイヤ情報格納部２１３、ビューデプス導出部２１４、ツール有効性情報復号部２１５Ｂを備えている。図２４と異なり、ヘッダ復号部１０Ｂの備えるツール有効性情報復号部２１５Ｂは、依存レイヤも入力され、依存レイヤに基づいてツール有効性を判定する。（ツール有効性情報復号部２１５Ｂ）
図３８は、ツール有効性情報復号部２１５の別の構成であるツール有効性情報復号部２１５Ｂの概略的構成について示した機能ブロック図である。図３８に示すように、ツール有効性情報復号部２１５Ｂは対象レイヤデプス判定部２１５１と参照レイヤビュー判定部２１５２を含んで構成される。対象レイヤデプス判定部２１５１は既に説明した通りであり、対象レイヤのデプスフラグを導出する。

参照レイヤビュー判定部２１５２は、対象レイヤlayer_idのビューＩＤと依存レイヤのビューＩＤが一致するか否かを以下の手順で判定する。まず、参照レイヤビュー判定部２１５２は、対象レイヤlayer_idをビューデプス導出部２１４に出力し、以下のように対象レイヤのビューＩＤview_idを得る。

view_id = dimension_id [layer_id] [view_dimension_id]
ここで、view_dimension_idはをビューＩＤの次元ＩＤを示すインデックスである。

続いて、レイヤ情報格納部２１３から、依存レイヤのビューＩＤref_layer_id[layer_id]を読み出し、ビューデプス導出部２１４に出力し、以下のように依存レイヤのビューＩＤref_view_idを得る。

ref_view_id = dimension_id [ref_layer_id[layer_id]] [view_dimension_id]
最後に参照レイヤビュー判定部２１５２は、最後に、対象レイヤlayer_idのビューＩＤview_idと依存レイヤのビューＩＤref_view_idが一致するか否か判定する。すなわち以下の式が成り立つ場合に1、成り立たない場合に0とする。

(dimension_id [layer_id] [view_dimension_id] == dimension_id [ref_layer_id[layer_id]] [view_dimension_id])
ツール有効性情報復号部２１５Ｂは、参照レイヤビュー判定部２１５２の判定に基づいて、対象レイヤlayer_idのビューＩＤと依存レイヤのビューＩＤが一致する場合に、対象レイヤがデプスの場合に利用可能なツール（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）のツール有効性フラグを、符号化データから復号し、一致しない場合には、符号化データを参照せずに０として導出する。

ここで、ツール有効性情報復号部２１５Ｂは、さらに対象レイヤがデプスであるかを考慮し、導出されたデプスフラグdepth_flagが１の場合かつ対象レイヤlayer_idのビューＩＤと依存レイヤのビューＩＤが一致する場合に、ツール有効性フラグを符号化データから復号し、それ以外の場合は、符号化データを参照せずに０として導出しても良い。

図３９は、ツール有効性情報復号部２１５Ｂにより復号される、本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの構成の一部を示す図である。図３９の符号化データのＳＹＮＸ１００１に示す「・・・」には、図２１に示すＶＰＳ拡張の符号化データが含まれる。図３９のＳＹＮＸ１００２に示す部分は、ビューデプス導出部２１４が、デプスフラグを示す次元ＩＤdepth_dimension_idに０、ビューＩＤを示す次元ＩＤview_dimension_idに１を設定する動作に相当する。図３９のＳＹＮＸ１００３に示す通り本実施形態の符号化データは、対象レイヤlayer_idが０以外（図ではiが０以外の場合）に、対象レイヤがベースレイヤ以外の場合に利用可能なツールのツール有効性フラグ（インタービュー予測フラグmulti_view_mv_pred_flag、残差予測フラグmulti_view_residual_pred_flag）を含む。また、図３９のＳＹＮＸ１００４に示す通り対象レイヤがデプスの場合に利用可能なツール（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）のツール有効性フラグを、対象レイヤlayer_idに対応するデプスに相当する次元ＩＤが０以外（図ではdimension_id[ i ][ depth_dimension_id ]）で、かつ、対象レイヤlayer_idのビューＩＤと依存レイヤのビューＩＤが一致する場合(dimension_id [layer_id ] [view_dimension_id] == dimension_id [ref_layer_id[layer_id] ] [view_dimension_id]) に、対象レイヤがデプスピクチャの場合に利用可能なツールのツール有効性フラグ（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）を含む。

上記の構成のツール有効性情報復号部２１５Ｂを備える画像復号装置および上記、図３９を用いて説明した符号化データ構造によれば、ヘッダ復号部１０Ｂにおいて、レイヤの依存関係を示す依存レイヤＩＤを復号する依存レイヤＩＤ復号部２１２３を含むＶＰＳ復号部２１２Ｂを備え、依存レイヤのビューＩＤが、対象ピクチャのビューＩＤと等しい場合のみ、対象レイヤがデプスの場合に利用可能なツールのツール有効性フラグを復号する。一般に、依存レイヤのビューＩＤが、対象レイヤのビューＩＤと等しくない場合には、依存レイヤの情報（例えば依存レイヤの局所復号画像や予測パラメータ）と、対象レイヤの情報（例えば、対象レイヤの対象画像や予測パラメータ）とは、同じ座標を有する領域（例えば同じ左上座標、同じサイズのＰＵ）でも異なるオブジェクトに対応する。すなわち、同じオブジェクトに対応する領域の座標が、対象レイヤと依存レイヤとでは、変位ベクトル分だけのずれが発生している。そのため、変位ベクトルを導出し、補正を行わないツール（例えば、デプスピクチャの場合に利用可能なツールであるデプスイントラ予測や動きパラメータ継承ＭＰＩ）では、依存レイヤのビューＩＤが、対象レイヤのビューＩＤと等しくない場合には符号化効率が低下する。上記画像復号装置によれば、依存レイヤのビューＩＤが、対象レイヤのビューＩＤと等しい場合にのみ、ツール有効性フラグを符号化データから復号するため、このような符号化効率が低い場合に冗長なフラグが符号化されることを防ぐ効果を奏する。

（ツール有効性情報復号部２１５Ｃ）
図４０は、ツール有効性情報復号部２１５のさらに別の構成であるツール有効性情報復号部２１５Ｃの概略的構成について示した機能ブロック図である。図４０に示すように、ツール有効性情報復号部２１５Ｃは、対象レイヤデプス判定部２１５１と参照レイヤデプス判定部２１５３から構成される。対象レイヤデプス判定部２１５１は既に説明した通りであり、対象レイヤのデプスフラグを導出する。なお、ツール有効性情報復号部２１５Ｃを備えるＶＰＳ復号部２１２Ｃ（ビデオパラメータセット復号部）は、図３５のＶＰＳ復号部２１２Ｂにおいて、ツール有効性情報復号部２１５Ｂをツール有効性情報復号部２１５Ｃに置き換えた構成を備える。

参照レイヤデプス判定部２１５３は、依存レイヤがテクスチャピクチャであるか（デプスフラグが０であるか）否かを以下の手順で判定する。参照レイヤデプス判定部２１５３は、対象レイヤlayer_idをビューデプス導出部２１４に出力し、以下のように対象レイヤのデプスフラグdepth_flagを得る。

depth_flag = dimension_id [layer_id] [depth_dimension_id]
ここで、view_dimension_idはをデプスフラグの次元ＩＤを示すインデックスである。

続いて、レイヤ情報格納部２１３から、依存レイヤのビューＩＤref_layer_id[layer_id]を読み出し、ビューデプス導出部２１４に出力し、以下のように依存レイヤのデプスフラグref_depth_flagを得る。

ref_depth_flag = dimension_id [ref_layer_id[layer_id]] [depth_dimension_id]
最後に、参照レイヤデプス判定部２１５３は、依存レイヤがテクスチャピクチャであるか（デプスフラグref_depth_flagが０であるか）否かを判定する。ここでは、以下の式が成り立つ場合に1、成り立たない場合に0とする。

(!dimension_id [ref_layer_id[layer_id]] [depth_dimension_id])
なお、!Xは、値Xが０の場合に真（１）、１の場合に偽（０）とする関数である。

ツール有効性情報復号部２１５Ｃは、依存レイヤがテクスチャピクチャである場合（!ref_depth_flagが１の場合）に、対象レイヤがデプスの場合に利用可能なツール（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）のツール有効性フラグを、符号化データから復号し、テクスチャピクチャではない場合には、符号化データを参照せずに０として導出する。

ツール有効性情報復号部２１５Ｃは、さらに対象レイヤがデプスであるかを考慮し、導出されたデプスフラグdepth_flagが１の場合かつ対象レイヤがテクスチャピクチャである場合にツール有効性フラグを符号化データから復号し、それ以外の場合は、符号化データを参照せずにツール有効性フラグを０として導出しても良い。

図４１（ａ）は、ツール有効性情報復号部２１５Ｃにより復号される、本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの構成を示す図である。図３９の符号化データのＳＹＮＸ１００１に示す「・・・」には、図２１に示すＶＰＳ拡張の符号化データが含まれる。図４１（ａ）のＳＹＮＸ１２０２に示す部分は、ビューデプス導出部２１４が、デプスフラグを示す次元ＩＤdepth_dimension_idに０、ビューＩＤを示す次元ＩＤview_dimension_idに１を設定する動作に相当する。図４１（ａ）のＳＹＮＸ１２０３に示す通り本実施形態の符号化データ構造は、対象レイヤlayer_idが０以外（図ではiが０以外の場合）に、対象レイヤがベースレイヤ以外の場合に利用可能なツールのツール有効性フラグ（インタービュー予測フラグmulti_view_mv_pred_flag、残差予測フラグmulti_view_residual_pred_flag）を含む。また、図４１（ａ）のＳＹＮＸ１２０４に示す通り、対象レイヤlayer_idに対応するデプスに相当する次元ＩＤが０以外（図ではdimension_id[ i ][ depth_dimension_id ]）で、かつ、依存レイヤがテクスチャピクチャである場合(!dimension_id [ref_layer_id[layer_id] ] [depth_dimension_id])に、対象レイヤがデプスピクチャの場合に利用可能なツールのツール有効性フラグ（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）を含む。

上記の構成のツール有効性情報復号部２１５Ｃを備える画像復号装置は、ヘッダ復号部１０Ｃにおいて、レイヤの依存関係を示す依存レイヤＩＤを復号する依存レイヤＩＤ復号部２１２３を含むＶＰＳ復号部２１２Ｃを備え、依存レイヤのデプスフラグが、デプスではないことを示す場合のみ、対象レイヤがデプスの場合に利用可能なツールのツール有効性フラグを復号する。

上記のツール有効性情報復号部２１５Ｃを備える画像復号装置および上記、図４１（ａ）を用いて説明した符号化データ構造によれば、依存レイヤのデプスフラグがデプスである場合にはツールが禁止されるため、デプスピクチャの場合に利用可能なツールはテクスチャのレイヤのピクチャもしくは符号化パラメータのみに依存する。この場合、デプスのレイヤもしくは符号化パラメータには依存しないため、デプスのレイヤを復号する場合において、後続のレイヤのために符号化パラメータを格納する必要が無くなり、後続のレイヤのために符号化パラメータを格納する必要があるのはテクスチャのレイヤを復号する場合に限定されるため、デコーダのメモリを削減する効果を奏する。

（ツール有効性情報復号部２１５Ｂ、ツール有効性情報復号部２１５Ｃの別の構成）
本実施形態のツール有効性情報復号部は、上述のツール有効性情報復号部２１５Ｂ、ツール有効性情報復号部２１５Ｃの両者の特徴を備えるツール有効性情報復号部２１５ＢＣであっても良い。

図４１（ｂ）は、ツール有効性情報復号部２１５ＢＣにより復号される、本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの構成を示す図である。図４１（ｂ）のＳＹＮＸ１２０１〜ＳＹＮＸ１２０３は、図４１（ａ）と同じ構造なので説明を省略する。

ツール有効性情報復号部２１５ＢＣは、対象レイヤlayer_idに対応するデプスに相当する次元ＩＤが０以外（図ではdimension_id[ i ][ depth_dimension_id ]）で、かつ、依存レイヤがテクスチャピクチャである場合(!dimension_id [ref_layer_id[layer_id] ] [depth_dimension_id])に、かつ、かつ、対象レイヤlayer_idのビューＩＤと依存レイヤのビューＩＤが一致する場合(dimension_id [layer_id ] [view_dimension_id] == dimension_id [ref_layer_id[layer_id] ] [view_dimension_id]) に、対象レイヤがデプスピクチャの場合に利用可能なツールのツール有効性フラグ（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）を復号する。

また、図４１（ｂ）のＳＹＮＸ１２０４ＢＣに示す通り、本実施形態の符号化データ構造は、対象レイヤlayer_idに対応するデプスに相当する次元ＩＤが０以外（図ではdimension_id[ i ][ depth_dimension_id ]）で、かつ、依存レイヤがテクスチャピクチャである場合(!dimension_id [ref_layer_id[layer_id] ] [depth_dimension_id])に、かつ、かつ、対象レイヤlayer_idのビューＩＤと依存レイヤのビューＩＤが一致する場合(dimension_id [layer_id ] [view_dimension_id] == dimension_id [ref_layer_id[layer_id] ] [view_dimension_id]) に、対象レイヤがデプスピクチャの場合に利用可能なツールのツール有効性フラグを含む。

上記のツール有効性情報復号部２１５ＢＣを備える画像復号装置および上記、図４１（ｂ）を用いて説明した符号化データ構造によれば、対象レイヤのビューＩＤと等しい場合にのみ、ツール有効性フラグを符号化データから復号するため、符号化効率が低い場合に冗長なフラグが符号化されることを防ぐ効果を奏すると共に、依存レイヤのデプスフラグがデプスである場合にはツールが禁止されるため、デコーダのメモリを削減する効果を奏する。

（ヘッダ復号部１０Ｄ）
以下、ヘッダ復号部１０の別の構成であるヘッダ復号部１０Ｄを説明する。ヘッダ復号部１０Ｄは、ＮＡＬユニットヘッダ復号部２１１、ＶＰＳ復号部２１２Ｄ、レイヤ情報格納部２１３、ビューデプス導出部２１４Ｄ、ツール有効性情報復号部２１５Ｄを含んで構成される。

図４３（ａ）は、ＶＰＳ復号部２１２Ｄの概略的構成について示した機能ブロック図である。図４２に示すように、ＶＰＳ復号部２１２Ｄはスケーラブルタイプ復号部２１２１と次元ＩＤ復号部２１２２、依存レイヤＩＤ復号部２１２３、レイヤ有効性フラグ復号部２１２４を含んで構成される。スケーラブルタイプ復号部２１２１、次元ＩＤ復号部２１２２、依存レイヤＩＤ復号部２１２３は既に説明済みであるので、詳細の説明を省略する。

レイヤ有効性フラグ復号部２１２４は、レイヤi毎にレイヤ有効性フラグvalid_layer_flag[i]を復号する。レイヤＩＤのインデックスiは１からvps_max_layers_minus1までの値である。レイヤ有効性フラグvalid_layer_flag[i]は、レイヤｉに対応するピクチャが符号化データ中に存在するか否かを示す。レイヤ有効性フラグvalid_layer_flag[i]が０の場合には、符号化データ中に、レイヤｉのピクチャが存在してはならない。レイヤ有効性フラグvalid_layer_flag[i]が１の場合には、符号化データ中に、レイヤｉのピクチャが存在しても良い。

図４３（ｂ）は、本実施形態のツール有効性情報復号部２１５Ｄにより復号される、本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの構成を示す図である。図４３（ｂ）のＳＹＮＸ１４０１に示すvalid_layer_flag[i]が、上述のレイヤ有効性フラグである。

本実施形態のヘッダ復号部１０Ｄを含む画像復号装置が復号する符号化データは、次元ＩＤについて以下の式の制限を設ける。

「dimension_id[ layer_id ][ 1 ]はlayer_id >>1と等しくなくてはならない」
「dimension_id[ layer_id ][ 0 ]はlayer_id % 2と等しくなくてはならない」
すなわちビューＩＤに対応する次元ＩＤdimension_id[ layer_id ][ 1 ]は、レイヤＩＤの所定の範囲のビットの値を設定し（例えば下位１ビット目から下位６ビット目）、デプスフラグに対応する次元ＩＤdimension_id[ layer_id ][ 0 ]は、レイヤＩＤの所定の位置の１ビット（例えば、下位０ビット目）の値を設定する。

上記制限を備える符号化データは、レイヤＩＤの所定の範囲のビットの値がビューＩＤであり、レイヤＩＤの所定の位置の１ビット（例えば、下位０ビット目）の値がデプスフラグであるという関係がある。

ビューデプス導出部２１４Ｄは、レイヤＩＤを所定のビットだけ左シフトすることでビューＩＤを、レイヤＩＤの２の剰余（もしくは１との論理積）を取ることにより、以下の式により、ビューＩＤとデプスフラグdepth_flagを導出する。

ViewIdx = layer_id >> 1
DepthFlag = layer_id%2
なお、上記の符号化データの制限、ビューデプス導出部２１４Ｄの処理は、スケーラブルマスクが３Ｄスケーラブルを意味する場合（デプススケーラブルを意味するビット３とビュースケーラブルを示すビット４がどちらも１の場合の場合、つまり、scalable_mask=24の場合）に行われる。

スケーラブルマスクがビュースケーラブルの場合（ビュースケーラブルを示すビット４が１の場合の場合、つまり、scalable_mask=16の場合）、符号化データは以下の制限を受ける。

「dimension_id[ layer_id ][ 0 ]はlayer_idと等しくなくてはならない」
また、ビューデプス導出部２１４Ｄは以下の式によりビューＩＤを導出する。

ViewIdx = layer_id
スケーラブルマスクがデプススケーラブルの場合（デプススケーラブルを示すビット３が１の場合の場合、つまり、scalable_mask=8の場合）、符号化データは以下の制限を受ける。

「dimension_id[ layer_id ][ 0 ]はlayer_id % 2と等しくなくてはならない」
また、ビューデプス導出部２１４Ｄは以下の式によりデプスフラグを導出する。

DepthFlag = layer_id%2
以上に説明した符号化データの制限によれば、ビューＩＤに対応する第１の次元ＩＤが、レイヤＩＤの１ビット目以上と等しく、デプスフラグに対応する第２の次元ＩＤが、レイヤＩＤの０ビット目と等しく制限されることにより、ＶＰＳを復号して初めて導出される次元ＩＤを参照することなく、ＮＡＬユニットヘッダに復号されるレイヤＩＤのみを参照することで、ビューＩＤとデプスフラグを導出することができる。そのため、ビューＩＤとデプスフラグを導出する処理が容易になるという効果を奏する。

以上に説明した符号化データの制限の場合、レイヤ数が６の３Ｄスケーラブル画像においては、レイヤＩＤ＝０がビューＩＤ＝０のテクスチャ、レイヤＩＤ＝１がビューＩＤ＝０のデプス、レイヤＩＤ＝２がビューＩＤ＝１のテクスチャ、レイヤＩＤ＝３がビューＩＤ＝１のデプス、レイヤＩＤ＝４がビューＩＤ＝２のテクスチャ、レイヤＩＤ＝５がビューＩＤ＝２のデプスに対応する。この場合、テクスチャとデプスのカメラの位置や数が異なる場合、例えば、ビューＩＤ＝０、ビューＩＤ＝２のテクスチャと、ビューＩＤ＝1のデプスから構成される画像の場合、上述のようにレイヤ数を６として符号化する必要があるが、実際には、レイヤＩＤ＝０、３、４のみが符号化され、レイヤＩＤ＝１（ビューＩＤ＝０のデプス）、レイヤＩＤ＝２（ビューＩＤ＝１のテクスチャ）、レイヤＩＤ＝５（ビューＩＤ＝２のデプス）は符号化されない。そのため、デコーダでは、このような符号化されないレイヤが、符号化データ中に始めから存在しないか、符号化データには存在したが、ネットワークのパケットロスなどにより、デコーダに届いていないかを識別することができないという課題がある。

そこで、以上に説明したレイヤ有効フラグvalid_layer_flag[i]によって、符号化データに存在しないレイヤを明示的に示すことにより、ＶＰＳで規定される最大レイヤ数よりも小さいレイヤＩＤがデコーダ側に届いていない場合、そのレイヤが始めから存在しないか否かを識別することができるという効果を奏する。レイヤ有効フラグvalid_layer_flag[i]によりデコーダにおいてレイヤが存在するか否かを識別することができる場合、デコーダでは、レイヤが存在するが届いていない場合に、エンコーダ側に再送を要求することや、デコーダでは表示を行わず、次のＲＡＰピクチャから再度再生を再開するなどを行うことができる、
［ランダムアクセスとＮＡＬユニットタイプ制限］
３Ｄスケーラブルの符号化データでステレオ映像を再生する場合には、例えば、レイヤＩＤ＝０のベースビューのテクスチャレイヤ、レイヤＩＤ＝１のベースビューのデプスレイヤ、レイヤＩＤ＝２の依存ビューのテクスチャレイヤ、レイヤＩＤ＝３の依存ビューのデプスレイヤを復号し、ベースビューのテクスチャピクチャを左目用画像、レイヤＩＤ＝０からレイヤＩＤ＝３のピクチャから合成される合成画像を右目用画像として再生する。この場合、同じ時刻の複数のレイヤの画像の復号が必要になる。そのため、符号化データの途中から再生するためには、複数のレイヤの画像についてランダムアクセスが必要になる。

（第１のＮＡＬユニットタイプ制限）
本実施形態の符号化データでは、第１のＮＡＬユニットタイプ制限として、全ての同じ時刻を有する全てのレイヤのピクチャ、すなわち、同じアクセスユニットの全てのレイヤのピクチャはＮＡＬユニットタイプを有しなければならないという制限を設ける。例えば、レイヤＩＤが０のピクチャがＩＤＲ＿Ｗ＿ＬＰピクチャであれば、同じ時刻のレイヤＩＤが１のピクチャもＩＤＲ＿Ｗ＿ＬＰピクチャであるとする。

（第２のＮＡＬユニットタイプ制限）
本実施形態の符号化データでは、第２のＮＡＬユニットタイプ制限として、レイヤＩＤが０のピクチャが、ＲＡＰピクチャである場合（ＩＤＲ、ＢＬＡ、ＣＲＡである場合）には、同じ時刻を有する全てのレイヤのピクチャ、すなわち、同じアクセスユニットの全てのレイヤのピクチャは、いずれかのＲＡＰのＮＡＬユニットタイプを有しなければならないという制限を設ける。

上記、第１のＮＡＬユニットタイプ制限、及び、第２のＮＡＬユニット制限を有する符号化データ構成によれば、同じ時刻を有する複数のレイヤのピクチャは、同じタイミングでＲＡＰピクチャを有する。これにより、複数のレイヤのピクチャをランダムアクセス再生する際に、任意のレイヤにおけるＲＡＰピクチャのタイミングから、ランダムアクセスが可能になるという効果を奏する。

上記、ＮＡＬユニットタイプ制限を有する符号化データに対して、画像復号装置１は、ヘッダ復号部１０、ピクチャ復号部１１、復号ピクチャバッファ１２、参照ピクチャ管理部１３を用いて、以下の処理により、複数のレイヤを含む画像において特定の時刻のピクチャから復号を行う。

画像復号装置１は、レイヤＩＤが０のピクチャがＲＡＰピクチャである場合において、復号の対象とする全てのレイヤのピクチャを復号する。上記３Ｄスケーラブルの符号化データの例であれば、レイヤＩＤ＝０からレイヤＩＤ＝３のピクチャを復号する。この時、ＮＡＬユニットタイプ制限を有する符号化データであれば、レイヤＩＤが０のピクチャがＲＡＰピクチャである場合においては、レイヤＩＤ＝１からレイヤＩＤ＝３のピクチャのＲＡＰピクチャであるため、以下の制限を有する。
・他時刻のピクチャの参照の禁止
・再生順でＲＡＰピクチャより後のピクチャから、復号順でＲＡＰピクチャよりも前のピクチャの参照の禁止
従って、復号対象となる全てのレイヤのピクチャにおいて、復号開始対象とするＲＡＰピクチャおよびそれ以後のピクチャを復号することができる。

なお、従来技術の符号化データにおいては、レイヤＩＤが０のピクチャがＲＡＰピクチャである場合において、同じ時刻を有する複数のレイヤのピクチャがＲＡＰピクチャであるとは限らない。従って、符号化データの途中から復号を開始する場合においては、復号対象とする全てのレイヤ、上記３Ｄスケーラブルの符号化データの例であれば、レイヤＩＤ＝０からレイヤＩＤ＝３のレイヤのピクチャが全てＲＡＰピクチャであることを確認し、全てのレイヤにおいてＲＡＰピクチャであると確認された場合に限り、復号を開始する。この場合には復号開始するピクチャの特定には、符号化データを走査し、レイヤＩＤが０のレイヤのピクチャからＲＡＰピクチャであるピクチャを探索し、次に、復号対象のレイヤ全てにおいて探索されたピクチャがＲＡＰピクチャであるかをテストする。全てのレイヤのピクチャがＲＡＰピクチャである場合には探索を終了し、それ以外の場合には、レイヤＩＤが０のレイヤにおけるＲＡＰピクチャの探索を再開する必要が有り、復号の処理量が大きくなるという課題が有る。

［復号ピクチャバッファ１２］
復号ピクチャバッファ１２には、ピクチャ復号部で復号された各ピクチャの局所復号画像が、レイヤＩＤ、当該ピクチャのＰＯＣ（Picture Order Count、ピクチャ順序情報）と関連付けられて記録されている。復号ピクチャバッファ１２は、所定の出力タイミングで、出力対象のＰＯＣを決定する。その後、当該ＰＯＣに対応する局所復号画像を、復号画像＃２を構成するピクチャの一つとして外部に出力する。

図２８は、復号ピクチャメモリの構成を示す概念図である。図中内部に数字を記したボックスが局所復号画像を示す。数字はＰＯＣを示す。図２８の図の通り、複数のレイヤの局所復号画像が、そのレイヤＩＤ、ＰＯＣ、局所復号画像に関連づけられて記録される。さらに、レイヤＩＤに対応するビューＩＤview_id、デプスフラグdepth_flagも局所復号画像に関連づけられて記録される。

［ピクチャ復号部１１］
ピクチャ復号部１１は、符号化データ＃１、ヘッダ復号部１０より入力されるヘッダ情報、復号ピクチャバッファ１２に記録されている参照ピクチャ、および、参照ピクチャリスト導出部１５より入力される参照ピクチャリストに基づいて、各ピクチャの局所復号画像を生成して復号ピクチャバッファ１２に記録する。

図５は、本実施形態に係るピクチャ復号部１１の構成を示す概略図である。ピクチャ復号部１１は、エントロピー復号部３０１、予測パラメータ復号部３０２、予測パラメータメモリ（予測パラメータ記憶部）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、及び加算部３１２を含んで構成される。

また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。

エントロピー復号部３０１は、外部から入力された符号化データ＃１に対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。

エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードPredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ、離散コサイン変換）を行い量子化して得られる係数である。

インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。

インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。

イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号とツール有効性情報復号部２１５から入力されたデプスイントラ予測フラグenable_dmm_flagに基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを生成する。イントラ予測パラメータとは、復号対象ブロックの予測画像をイントラ予測を用いて生成する際に必要な情報であり、例えば、イントラ予測モードIntraPredModeである。

デプスイントラ予測フラグenable_dmm_flagが１の場合には、イントラ予測パラメータ復号部３０４は、入力された符号から、デプスイントラ予測モードdmm_modeを復号する。イントラ予測パラメータ復号部３０４は、デプスイントラ予測モードdmm_modeを用いて、イントラ予測モードIntraPredModeを以下の式から生成する。

IntraPredMode = dmm_mode + 35
デプスイントラ予測フラグenable_dmm_flagが０の場合には、デプスイントラ予測モードdmm_modeを復号しない。すなわち、デプスイントラ予測による予測画像生成を行わない。対象レイヤがテクスチャの場合には、デプスイントラ予測フラグenable_dmm_flagを０とすれば、デプスイントラ予測を行わない場合に、無駄にデプスイントラ予測モードdmm_modeを復号することがないため、冗長なフラグの符号化を防ぐことができる。

デプスイントラ予測モードdmm_modeが０または１、即ち、MODE_DMM_WFULLまたはMODE_DMM_WFULLDELTAを示している場合には、イントラ予測パラメータ復号部３０４は、入力された符号から、ウェッジレットパターンインデックスwedge_full_tab_idxを復号する。

デプスイントラ予測モードdmm_modeが、MODE_DMM_WFULLDELTAまたはMODE_DMM_CPREDTEXDELTAである場合には、イントラ予測パラメータ復号部３０４は、入力された符号から、ＤＣ１絶対値、ＤＣ１符号、ＤＣ２絶対値、ＤＣ２符号を復号する。デプスイントラ予測モードdmm_modeは、ＤＣ１絶対値、ＤＣ１符号、ＤＣ２絶対値、ＤＣ２符号から量子化オフセットＤＣ１DmmQuantOffsetDC1、量子化オフセットＤＣ２DmmQuantOffsetDC2を以下の式より生成する。

DmmQuantOffsetDC1 = ( 1 - 2 *dmm_dc_1_sign_flag ) * dmm_dc_1_abs
DmmQuantOffsetDC2 = ( 1 - 2 *dmm_dc_2_sign_flag ) * dmm_dc_2_abs
イントラ予測パラメータ復号部３０４は、生成したイントラ予測モードIntraPredMode、デルタエンド、量子化オフセットＤＣ１DmmQuantOffsetDC1、量子化オフセットＤＣ２DmmQuantOffsetDC2と復号したウェッジレットパターンインデックスwedge_full_tab_idxを予測パラメータとする。

イントラ予測パラメータ復号部３０４は、イントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。

予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idx）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。

予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、復号ピクチャバッファ１２から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。

ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰはＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。

インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（L0参照リスト、もしくはL1参照リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準としてベクトルmvLXが示す位置にある参照ピクチャブロックを復号ピクチャバッファ１２から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。

予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを復号ピクチャバッファ１２から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。

イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックと、入力された予測パラメータを用いて予測ピクチャブロックを生成する。図１０は、本実施形態に係るイントラ予測画像生成部３１０の構成を示す概略図である。イントラ予測画像生成部３１０は、方向予測部３１０１とＤＭＭ予測部３１０２を含んで構成される。

イントラ予測画像生成部３１０は、予測パラメータに含まれるイントラ予測モードIntraPredModeの値が３４以下であれば、方向予測部３１０１において、例えば、非特許文献３に記載されているイントラ予測を用いて予測ピクチャブロックを生成する。

イントラ予測モードIntraPredModeの値が３５以上の場合には、イントラ予測画像生成部３１０は、ＤＭＭ予測部３１０２において、デプスイントラ予測を用いて予測ピクチャブロックを生成する。

図１５は、イントラ予測画像生成部３１０で処理されるデプスイントラ予測を説明するための図である。デプスマップには、オブジェクト内ではほとんど画素値が変わらず、オブジェクトの境界では鋭いエッジが発生する特徴があるため、デプスイントラ予測では、図１５（ａ）に示すように、対象ブロックをオブジェクトのエッジに沿った２つの領域に分割し、各領域を各々の予測値で埋めることによって予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、図１５（ｂ）に示すような、対象ブロックの分割方法を示す情報であるウェッジレットパターンを生成する。ウェッジレットパターンは、対象ブロックの幅ｘ高さ分の大きさのあるマトリックスであり、要素ごとに０または１が設定されており、対象ブロックの各画素が２つの領域のうちどちらに属するかを示している。

イントラ予測モードIntraPredModeの値が３５の場合には、イントラ予測画像生成部３１０は、デプスイントラ予測におけるMODE_DMM_WFULLモードを用いて予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、まず、ウェッジレットパターンリストを生成する。以下、ウェッジレットパターンリストの生成方法について説明する。

イントラ予測画像生成部３１０は、まず、全要素が０のウェッジレットパターンを生成する。次に、イントラ予測画像生成部３１０は、ウェッジレットパターン内に、開始位置Sp(xs,ys)と終了位置Ep(xe,ye)を設定する。図１６の（ａ）の場合では、初期値として、開始位置Sp(xs,ys)=(0,0)、終了位置Ep(xe,ye)=(0,0)と設定し、開始位置Spと終了位置Epの間をBresenhamのアルゴリズムを用いて線分を引き、その線分上及び線分より左側の座標に対応する要素を１に設定する（図１６（ａ）中の灰色の要素）。イントラ予測画像生成部３１０は、生成したウェッジレットパターンをウェッジレットパターンリストに格納する。続けて、イントラ予測画像生成部３１０は、開始位置SpのＸ座標と終了位置EpのＹ座標に１を加算し、同様の方法でウェッジレットパターンを生成する。これを開始位置Spもしくは終了位置Epがウェッジレットパターンの範囲を超えるまで続ける。

図１６の（ｂ）の場合では、初期値として、開始位置Sp(xs,ys)=(blocksize-1,0)、終了位置Ep(xe,ye)=(blocksize-1,0)と設定し、開始位置SpのＹ座標に１を加算、終了位置EpのＸ座標に１を減算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。なお、blocksizeとは対象ブロックの幅及び高さのサイズを示す。

図１６の（ｃ）の場合では、初期値として、開始位置Sp(xs,ys)=(blocksize-1, blocksize-1)、終了位置Ep(xe,ye)=(blocksize-1, blocksize-1)と設定し、開始位置SpのＸ座標及び終了位置EpのＹ座標に１を減算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。

図１６の（ｄ）の場合では、初期値として、開始位置Sp(xs,ys)=(0, blocksize-1)、終了位置Ep(xe,ye)=(0, blocksize-1)と設定し、開始位置SpのＹ座標に１を減算、終了位置EpのＸ座標に１を加算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。

図１６の（ｅ）の場合では、初期値として、開始位置Sp(xs,ys)=(0,0)、終了位置Ep(xe,ye)=(0, blocksize-1)と設定し、開始位置SpのＸ座標及び終了位置EpのＸ座標に１を加算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。

図１６の（ｆ）の場合では、初期値として、開始位置Sp(xs,ys)=(blocksize-1 ,0)、終了位置Ep(xe,ye)=(0,0)と設定し、開始位置SpのＹ座標及び終了位置EpのＹ座標に１を加算することを繰り返しながら、図１６（ａ）と同様の方法でウェッジレットパターンを生成し、ウェッジレットパターンリストに追加する。

イントラ予測画像生成部３１０は、上記、図１６の（ａ）から（ｆ）の方法のうちいずれか、もしくは、全ての方法を用いて、ウェッジレットパターンリストを生成する。

次に、イントラ予測画像生成部３１０は、予測パラメータに含まれるウェッジレットパターンインデックスwedge_full_tab_idxを用いてウェッジレットパターンリストからウェッジレットパターンを選択する。イントラ予測画像生成部３１０は、ウェッジレットパターンに従って予測ピクチャブロックを２つの領域に分割し、領域毎に予測値dmmPredPartitionDC1、dmmPredPartitionDC2を導出する。予測値の導出方法としては、例えば、領域に隣接する参照ピクチャブロックの画素値の平均値を予測値とする。領域に隣接する参照ピクチャブロックが無い場合には、画素のビット深度をBitDepthとした場合、1 << ( BitDepth - 1 )を予測値とする。イントラ予測画像生成部３１０は、予測値dmmPredPartitionDC1、dmmPredPartitionDC2で各領域を埋めることで予測ピクチャブロックを生成する。

イントラ予測モードIntraPredModeの値が３６の場合には、イントラ予測画像生成部３１０は、デプスイントラ予測におけるMODE_DMM_WFULLDELTAモードを用いて予測ピクチャブロックを生成する。まず、イントラ予測画像生成部３１０は、MODE_DMM_WFULLモードの時と同様に、ウェッジレットパターンリストからウェッジレットパターンを選択し、領域毎に予測値dmmPredPartitionDC1、dmmPredPartitionDC2を導出する。

次に、イントラ予測画像生成部３１０は、予測パラメータに含まれる量子化オフセットＤＣ１DmmQuantOffsetDC1、量子化オフセットＤＣ２DmmQuantOffsetDC2を用いて、デプスイントラ予測オフセットdmmOffsetDC1, dmmOffsetDC2を、量子化パラメータをＱＰとして場合、以下の式により導出する。

dmmOffsetDC1 = DmmQuantOffsetDC1 * Clip3( 1, ( 1 << BitDepth_Y ) - 1, 2^((QP/10)-2)
dmmOffsetDC2 = DmmQuantOffsetDC2 * Clip3( 1, ( 1 << BitDepth_Y ) - 1, 2^((QP/10)-2)
イントラ予測画像生成部３１０は、予測値dmmPredPartitionDC1、dmmPredPartitionDC2それぞれにイントラ予測オフセットdmmOffsetDC1, dmmOffsetDC2を加算した値で各領域を埋めることにより予測ピクチャブロックを生成する。

イントラ予測モードIntraPredModeの値が３７の場合には、イントラ予測画像生成部３１０は、デプスイントラ予測におけるMODE_DMM_CPREDTEXモードを用いて予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、対応ブロックを復号ピクチャバッファ１２から読みだす。イントラ予測画像生成部３１０は、対応ブロックの画素値の平均値を算出する。イントラ予測画像生成部３１０は、算出した平均値を閾値とし、対応ブロックを閾値以上の領域１と閾値以下の領域２に分ける。イントラ予測画像生成部３１０は、領域１、領域２と同じ形状で、予測ピクチャブロックを２つの領域に分割する。イントラ予測画像生成部３１０は、MODE_DMM_WFULLモードの時と同様の方法を用いて、領域毎に予測値dmmPredPartitionDC1、dmmPredPartitionDC2を導出する。イントラ予測画像生成部３１０は、予測値dmmPredPartitionDC1、dmmPredPartitionDC2で各領域を埋めることで予測ピクチャブロックを生成する。

イントラ予測モードIntraPredModeの値が３８の場合には、イントラ予測画像生成部３１０は、デプスイントラ予測におけるMODE_DMM_CPREDTEXDELTAモードを用いて予測ピクチャブロックを生成する。まず、イントラ予測画像生成部３１０は、MODE_DMM_CPREDTEXモードと同様に、予測ピクチャブロックを２つの領域に分割し、領域毎に予測値dmmPredPartitionDC1、dmmPredPartitionDC2を導出する。次に、イントラ予測画像生成部３１０は、MODE_DMM_WFULLDELTAモードと同様に、イントラ予測オフセットdmmOffsetDC1, dmmOffsetDC2を導出し、予測値dmmPredPartitionDC1、dmmPredPartitionDC2それぞれにイントラ予測オフセットdmmOffsetDC1, dmmOffsetDC2を加算した値で各領域を埋めることにより予測ピクチャブロックを生成する。

イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。

逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（ＩｎｖｅｒｓｅＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２に出力する。

加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを復号ピクチャバッファ１２に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Ｔｄを外部に出力する。

（インター予測パラメータ復号部の構成）
次に、インター予測パラメータ復号部３０３の構成について説明する。

図６は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、AMVP予測パラメータ導出部３０３２、加算部３０３５及びマージ予測パラメータ導出部３０３６を含んで構成される。

インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。

インター予測パラメータ復号制御部３０３１は、まず、をマージフラグ抽出する。インター予測パラメータ復号制御部３０３１が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が１、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部３０３６に出力する。

マージフラグmerge_flagが０、すなわち、AMVP予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、エントロピー復号部３０１を用いて符号化データからAMVP予測パラメータを抽出する。AMVP予測パラメータとして、例えば、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。インター予測パラメータ復号制御部３０３１は、抽出したインター予測フラグinter_pred_idxから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXをAMVP予測パラメータ導出部３０３２及び予測画像生成部３０８（図５）に出力し、また予測パラメータメモリ３０７（図５）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出したベクトルインデックスmvp_LX_idxをAMVP予測パラメータ導出部３０３２に出力する。インター予測パラメータ復号制御部３０３１は、抽出した差分ベクトルmvdLXを加算部３０３５に出力する。

図７は、本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１は、マージ候補格納部３０３６１１と、拡張マージ候補導出部３０３６１２と、基本マージ候補導出部３０３６１３とＭＰＩ候補導出部３０３６１４を含んで構成される。

マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２及び基本マージ候補導出部３０３６１３から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成されている。マージ候補格納部３０３６１１において、格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。例えば、拡張マージ候補導出部３０３６１２またはＭＰＩ候補導出部３０３６１４から入力されたマージ候補には、インデックスとして「０」を割り当てる。

ＭＰＩ候補導出部３０３６１４は、対象ブロックのレイヤがデプスレイヤであり、なお且つ、動きパラメータ継承を用いることが可能であれば、即ち、デプスフラグdepth_flag及び動きパラメータ継承フラグuse_mpi_flagが共に１の場合に、対象レイヤとは異なるレイヤの動き補償パラメータを用いて、マージ候補を導出する。対象レイヤとは異なるレイヤとしては、例えば、対象のデプスピクチャと同一ビューＩＤview_id、同一ＰＯＣを持つテクスチャレイヤのピクチャである。

ＭＰＩ候補導出部３０３６１４は、対象レイヤとは異なるレイヤのピクチャ中の、対象ブロックと同一座標のブロック（対応ブロックとも呼ぶ）の予測パラメータを予測パラメータメモリ３０７から読みだす。

対応ブロックのサイズが対象ブロックよりも小さい場合には、ＭＰＩ候補導出部３０３６１４は、対応するテクスチャピクチャ中の対象ブロックと同一座標のＣＴＵの分割フラグsplit_flagと、該ＣＴＵに含まれる複数のブロックの予測パラメータを読み出す。

対応ブロックのサイズが対象ブロックよりも大きい場合には、ＭＰＩ候補導出部３０３６１４は、対応ブロックの予測パラメータを読み出す。

ＭＰＩ候補導出部３０３６１４は、読みだした予測パラメータをマージ候補としてマージ候補格納部３０３６１１に出力する。なお、ＣＴＵの分割フラグsplit_flagも読みだした場合には、該分割情報もマージ候補に含める。

拡張マージ候補導出部３０３６１２は、変位ベクトル取得部３０３６１２２と、インターレイヤマージ候補導出部３０３６１２１とインターレイヤ変位マージ候補導出部３０３６１２３を含んで構成される。

拡張マージ候補導出部３０３６１２は、対象ブロックのレイヤがデプスレイヤでない、又は、動きパラメータ継承を用いることが不可能であれば、即ち、デプスフラグdepth_flagまたは動きパラメータ継承フラグuse_mpi_flagのどちらかが０の場合に、マージ候補を導出する。なお、拡張マージ候補導出部３０３６１２は、デプスフラグdepth_flag及び動きパラメータ継承フラグuse_mpi_flagが共に１である場合に、マージ候補を導出してもよい。この場合には、マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２とＭＰＩ候補導出部３０３６１４が導出するマージ候補に異なるインデックスを割り当てる。

変位ベクトル取得部３０３６１２２は、まず、復号対象ブロックに隣接する複数の候補ブロック（例えば、左、上、右上に隣接するブロック）から順に変位ベクトルを取得する。具体的には、候補ブロックの一つを選択し、選択した候補ブロックのベクトルが変位ベクトルであるか動きベクトルであるかを、候補ブロックの参照ピクチャインデックスrefIdxLXを用いてリファレンスレイヤ判定部３０３１１１（後述）を用いて判定し変位ベクトルが有る場合には、それを変位ベクトルとする。候補ブロックに変位ベクトルがない場合には、次の候補ブロックを順に走査する。隣接するブロックに変位ベクトルがない場合、変位ベクトル取得部３０３６１２２は、時間的に別の表示順の参照ピクチャに含まれるブロックの対象ブロックに対応する位置のブロックの変位ベクトルの取得を試みる。変位ベクトルが取得できなかった場合には、変位ベクトル取得部３０３６１２２は、変位ベクトルとしてゼロベクトルを設定する。変位ベクトル取得部３０３６１２２は、変位ベクトルをインターレイヤマージ候補導出部３０３６１２１及びインターレイヤ変位マージ候補導出部に出力する。

インターレイヤマージ候補導出部３０３６１２１は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。インターレイヤマージ候補導出部３０３６１２１は、別レイヤ（例えばベースレイヤ、ベースビュー）の復号対象ピクチャと同一ＰＯＣを持つピクチャ内から、変位ベクトル取得部３０３６１２２から入力された変位ベクトルだけが示すブロックを選択し、該ブロックが有する動きベクトルである予測パラメータを予測パラメータメモリ３０７から読み出す。より具体的には、インターレイヤマージ候補導出部３０３６１２１が読みだす予測パラメータは、対象ブロックの中心点を起点にしたときに、起点の座標に変位ベクトルを加算した座標を含むブロックの予測パラメータである。
参照ブロックの座標（xRef、yRef）は、対象ブロックの座標が(xP、yP)、変位ベクトルが（mvDisp[0]、mvDisp[1]）、対象ブロックの幅と高さがnPSW、nPSHの場合に以下の式により導出する。

xRef = Clip3( 0, PicWidthInSamples_L - 1, xP + ( ( nPSW - 1 ) >> 1 ) + ( ( mvDisp[0] + 2 ) >> 2 ) )
yRef = Clip3( 0, PicHeightInSamples_L - 1, yP + ( ( nPSH - 1 ) >> 1 ) + ( ( mvDisp[1] + 2 ) >> 2 ))
なお、インターレイヤマージ候補導出部３０３６１２１は、予測パラメータが動きベクトルか否かを、インター予測パラメータ復号制御部３０３１に含まれる後述するリファレンスレイヤ判定部３０３１１１の判定方法において偽（変位ベクトルではない）と判定した方法により判定する。インターレイヤマージ候補導出部３０３６１２１は、読みだした予測パラメータをマージ候補としてマージ候補格納部３０３６１１に出力する。また、インターレイヤマージ候補導出部３０３６１２１は、予測パラメータを導出出来なかった際には、その旨をインターレイヤ変位マージ候補導出部に出力する。本マージ候補は、動き予測のインターレイヤ候補（インタービュー候補）でありインターレイヤマージ候補（動き予測）とも記載する。

インターレイヤ変位マージ候補導出部３０３６１２３は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。インターレイヤ変位マージ候補導出部３０３６１２３は、入力された変位ベクトルと、変位ベクトルが指す先のレイヤ画像の参照ピクチャインデックスrefIdxLX（例えば、復号対象ピクチャと同一ＰＯＣを持つベースレイヤ画像のインデックス）をマージ候補としてマージ候補格納部３０３６１１に出力する。本マージ候補は、変位予測のインターレイヤ候補（インタービュー候補）でありインターレイヤマージ候補（変位予測）とも記載する。

基本マージ候補導出部３０３６１３は、空間マージ候補導出部３０３６１３１と時間マージ候補導出部３０３６１３２と結合マージ候補導出部３０３６１３３とゼロマージ候補導出部３０３６１３４を含んで構成される。

空間マージ候補導出部３０３６１３１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係る予測パラメータである。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。

時間マージ候補導出部３０３６１３２は、復号対象ブロックの右下の座標を含む参照画像中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダに置いて指定された参照ピクチャインデックスrefIdxLXでも良いし、復号対象ブロックに隣接するブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。

結合マージ候補導出部３０３６１３３は、既に導出されマージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。

ゼロマージ候補導出部３０３６１３４は、参照ピクチャインデックスrefIdxLXが０であり、ベクトルmvLXのＸ成分、Ｙ成分が共に０であるマージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。

マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を予測パラメータメモリ３０７（図５）に記憶するとともに、予測画像生成部３０８（図５）に出力する。なお、マージ候補選択部３０３６２が、ＭＰＩ候補導出部３０３６１４が導出したマージ候補を選択し、なお且つ、該マージ候補が分割フラグsplit_flagを含んでいる場合には、分割フラグsplit_flagによって分割されたブロックそれぞれに対応する複数の予測パラメータが予測パラメータメモリ３０７に記憶され、予測画像生成部３０８に出力される。

図８は、本実施形態に係るAMVP予測パラメータ導出部３０３２の構成を示す概略図である。AMVP予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３と予測ベクトル選択部３０３４を備える。ベクトル候補導出部３０３３は、参照ピクチャインデックスrefIdxに基づいて予測パラメータメモリ３０７（図５）が記憶するベクトル（動きベクトル又は変位ベクトル）をベクトル候補として読み出す。読み出されるベクトルは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係るベクトルである。

予測ベクトル選択部３０３４は、ベクトル候補導出部３０３３が読み出したベクトル候補のうち、インター予測パラメータ復号制御部３０３１から入力されたベクトルインデックスmvp_LX_idxが示すベクトル候補を予測ベクトルmvpLXとして選択する。予測ベクトル選択部３０３４は、選択した予測ベクトルmvpLXを加算部３０３５に出力する。

図９は、ベクトル候補の一例を示す概念図である。図９に示す予測ベクトルリスト６０２は、ベクトル候補導出部３０３３において導出される複数のベクトル候補からなるリストである。予測ベクトルリスト６０２において、左右に一列に配列された５個の長方形は、それぞれ予測ベクトルを示す領域を示す。左端から２番目のmvp_LX_idxの真下の下向きの矢印とその下のmvpLXは、ベクトルインデックスmvp_LX_idxが、予測パラメータメモリ３０７においてベクトルmvpLXを参照するインデックスであることを示す。

候補ベクトルは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック（例えば、隣接ブロック）を参照し、参照したブロックに係るベクトルに基づいて生成される。なお、隣接ブロックには、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接するブロック、例えば、対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。

加算部３０３５は、予測ベクトル選択部３０３４から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部から入力された差分ベクトルmvdLXを加算してベクトルmvLXを算出する。加算部３０３５は、算出したベクトルmvLXを予測画像生成部３０８（図５）に出力する。

（インター予測パラメータ復号制御部の構成）
次に、インター予測パラメータ復号制御部３０３１の構成について説明する。インター予測パラメータ復号制御部３０３１は、図１０に示すように、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３、及び図示しない、分割モード復号部、マージフラグ復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル差分復号部を含んで構成される。分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを復号する。

追加予測フラグ復号部３０３１１は、内部に、追加予測フラグ判定部３０３１４を備える。追加予測フラグ判定部３０３１４は、追加予測フラグxpred_flagを符号化データに含まれるか否か（符号化データから読み出して復号するか否か）を判定する。追加予測フラグ判定部３０３１４において、追加予測フラグを符号化データに符号化データに含めると判定された場合には、追加予測フラグ復号部３０３１１は、エントロピー復号部３０１に、追加予測フラグの復号を通知し、エントロピー復号部３０１を通じて符号化データから、追加予測フラグに対応するシンタックス要素を抽出する。逆に、追加予測フラグ判定部３０３１４において、符号化データに含めないと判定した場合には、追加予測フラグに、追加予測を示す値（ここでは１）を導出（infer）する。追加予測フラグ判定部３０３１４については後述する。

（変位ベクトル取得部）
変位ベクトル取得部は、対象ＰＵに隣接するブロックが変位ベクトルを持つ場合には、その変位ベクトルを予測パラメータメモリ３０７から抽出し、予測パラメータメモリ３０７を参照し、対象ＰＵに隣接するブロックの予測フラグpredFlagLX、参照ピクチャインデックスrefIdxLXとベクトルmvLXを読み出す。変位ベクトル取得部は、内部にリファレンスレイヤ判定部３０３１１１を備える。変位ベクトル取得部は、対象ＰＵに隣接するブロックの予測パラメータを順に読み出し、リファレンスレイヤ判定部３０３１１１を用いて、隣接ブロックの参照ピクチャインデックスから隣接ブロックが変位ベクトルを備えるか否かを判定する。隣接ブロックが変位ベクトルを備える場合には、その変位ベクトルを出力する。隣接ブロックの予測パラメータに変位ベクトルが無い場合にはゼロベクトルを変位ベクトルとして出力する。

(リファレンスレイヤ判定部３０３１１１）
リファレンスレイヤ判定部３０３１１１は、入力された参照ピクチャインデックスrefIdxLXに基づいて、参照ピクチャインデックスrefIdxLXが指す参照ピクチャと、対象ピクチャの関係を示すリファレンスレイヤ情報reference_layer_infoを定める。リファレンスレイヤ情報reference_layer_infoは、参照ピクチャへのベクトルmvLXが変位ベクトルであるか動きベクトルであるかを示す情報である。

対象ピクチャのレイヤと参照ピクチャのレイヤが同じレイヤである場合の予測を、同一レイヤ予測と呼び、この場合に得られるベクトルは動きベクトルである。対象ピクチャのレイヤと、参照ピクチャのレイヤが異なるレイヤである場合の予測をインターレイヤ予測と呼び、この場合に得られるベクトルは変位ベクトルである。

ここで、リファレンスレイヤ判定部３０３１１１の判定処理の例について、第１の判定方法から第３の判定方法を説明する。リファレンスレイヤ判定部３０３１１１は、第１の判定方法から第３の判定方法のいずれか、又は、それらの方法のうち任意の組み合わせを用いてもよい。

＜第１の判定方法＞
リファレンスレイヤ判定部３０３１１１は、参照ピクチャインデックスrefIdxLXが示す参照ピクチャに係る表示時刻（ＰＯＣ：ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ、ピクチャ順序番号）が復号対象ピクチャに係る表示時刻（ＰＯＣ）と等しい場合に、ベクトルmvLXが変位ベクトルであると判定する。ＰＯＣは、ピクチャを表示する順序を示す番号であって、そのピクチャが取得された表示時刻を示す整数（離散時刻）である。変位ベクトルと判定しなかった場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが動きベクトルであると判定する。

具体的には、参照ピクチャインデックスrefIdxLXが示す参照ピクチャのピクチャ順序番号ＰＯＣが復号対象ピクチャのＰＯＣと等しい場合、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが変位ベクトルであると、例えば以下の式により判定する。

POC == ReflayerPOC (refIdxLX, ListX)
ここで、POCは復号対象ピクチャのＰＯＣ、RefPOC（X, Y）は参照ピクチャインデックスＸ、参照ピクチャリストＹで指定される参照ピクチャのＰＯＣである。

なお、復号対象ピクチャのＰＯＣと等しいＰＯＣの参照ピクチャを参照することができる、ということは、その参照ピクチャのレイヤは、復号対象ピクチャのレイヤと異なることを意味する。従って、復号対象ピクチャのＰＯＣと参照ピクチャのＰＯＣが等しい場合には、インターレイヤ予測が行われた（変位ベクトル）、それ以外は同一レイヤ予測が行われた（動きベクトル）と判定する。

＜第２の判定方法＞
また、リファレンスレイヤ判定部３０３１１１は、参照ピクチャインデックスrefIdxLXが示す参照ピクチャに係る視点と復号対象ピクチャに係る視点が異なる場合に、ベクトルmvLXを変位ベクトルであると判定しても良い。具体的には、参照ピクチャインデックスrefIdxLXが示す参照ピクチャのビューＩＤview_idが復号対象ピクチャのビューＩＤview_idと異なる場合に、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが変位ベクトルであると、例えば以下の式により判定する。

ViewID == ReflayerViewID (refIdxLX, ListX)
ここで、ViewIDは復号対象ピクチャのビューＩＤ、RefViewID（X, Y）は参照ピクチャインデックスＸ、参照ピクチャリストＹで指定される参照ピクチャのビューＩＤである。

ビューＩＤview_idは、それぞれの視点画像を識別する情報である。変位ベクトルに係る差分ベクトルｄｖｄＬＸは、異なる視点のピクチャ間で得られ、同一の視点のピクチャ間からは得られないことに基づく。なお、変位ベクトルと判定しなかった場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが動きベクトルであると判定する。

なお、個々の視点画像はレイヤの一種であるから、ビューＩＤview_idが異なると判定された場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXを変位ベクトル（インターレイヤ予測が行われた）、それ以外は動きベクトル（同一レイヤ予測が行われた）と判定する。

＜第３の判定方法＞
また、リファレンスレイヤ判定部３０３１１１は、参照ピクチャインデックスrefIdxLXが示す参照ピクチャに係るレイヤＩＤlayer_idと復号対象ピクチャに係るレイヤＩＤlayer_idが異なる場合に、ベクトルmvLXが変位ベクトルであると、例えば以下の式により判定しても良い。

layerID != ReflayerID (refIdxLX, ListX)
ここで、layerIDは復号対象ピクチャのレイヤＩＤ、ReflayerID（X, Y）は参照ピクチャインデックスＸ、参照ピクチャリストＹで指定される参照ピクチャのレイヤＩＤである。レイヤＩＤlayer_idは、１枚のピクチャが複数の階層（レイヤ）のデータを含んで構成される場合において、それぞれのレイヤを識別するデータである。異なる視点のピクチャが符号化された符号化データにおいて、レイヤＩＤは、視点によって異なる値を有することに基づく。すなわち、変位ベクトルに係る差分ベクトルｄｖｄＬＸは、対象ピクチャと、異なるレイヤに係るピクチャとの間で得られるベクトルである。なお、変位ベクトルと判定しなかった場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXが動きベクトルであると判定する。

なお、レイヤＩＤlayer_idが異なる場合には、リファレンスレイヤ判定部３０３１１１は、ベクトルmvLXを変位ベクトル（インターレイヤ予測が行われた）、それ以外は動きベクトル（同一レイヤ予測が行われた）と判定する。

（インター予測画像生成部３０９）
図１１は、本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。インター予測画像生成部３０９は、動き変位補償部３０９１、残差予測部３０９２、照度補償部３０９３、重み予測部３０９４を含んで構成される。

（動き変位補償）
動き変位補償部３０９１は、インター予測パラメータ復号部３０３から入力された、予測リスト利用フラグｐｒｅｄＦｌａｇＬＸ、参照ピクチャインデックスｒｅｆＩｄｘＬＸ、動きベクトルｍｖＬＸに基づいて、復号ピクチャバッファ１２から、参照ピクチャインデックスｒｅｆＩｄｘＬＸで指定された参照ピクチャの対象ブロックの位置を起点として、ベクトルｍｖＬＸだけずれた位置にあるブロックを読み出すことによって動き変位補償画像を生成する。ここで、ベクトルｍｖＬＸが整数ベクトルでない場合には、動き補償フィルタ（もしくは変位補償フィルタ）と呼ばれる小数位置の画素を生成するためのフィルタを施して、動き変位補償画像を生成する。一般に、ベクトルｍｖＬＸが動きベクトルの場合、上記処理を動き補償と呼び、変位ベクトルの場合は変位補償と呼ぶ。ここでは総称して動き変位補償と表現する。以下、Ｌ０予測の動き変位補償画像をｐｒｅｄＳａｍｐｌｅｓＬ０、Ｌ１予測の動き変位補償画像をｐｒｅｄＳａｍｐｌｅｓＬ１と呼ぶ。両者を区別しない場合ｐｒｅｄＳａｍｐｌｅｓＬＸと呼ぶ。以下、動き変位補償部３０９１で得られた動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに、さらに残差予測および照度補償が行われる例を説明するが、これらの出力画像もまた、動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸと呼ぶ。なお、以下の残差予測および照度補償において、各手段の入力画像と出力画像を区別する場合には、入力画像をｐｒｅｄＳａｍｐｌｅｓＬＸ、出力画像をｐｒｅｄＳａｍｐｌｅｓＬＸ´と表現する。

（残差予測）
残差予測部３０９２は、残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが１の場合に、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに対して、残差予測を行う。残差予測フラグｒｅｓ＿ｐｒｅｄ＿ｆｌａｇが０の場合には、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸをそのまま出力する。インター予測パラメータ復号部３０３から入力された変位ベクトルｍｖＤｉｓｐと、残差格納部３１３に格納された残差ｒｅｆＲｅｓＳａｍｐｌｅｓを用いて、動き変位補償部３０９１で得られた動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに対し残差予測を行う。残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差を、対象レイヤの予測した画像である動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに加えることにより行われる。すなわち、参照レイヤと同様の残差が対象レイヤにも生じると仮定して、既に導出された参照レイヤの残差を対象レイヤの残差の推定値として用いる。ベースレイヤ（ベースビュー）では同じレイヤの画像のみが参照画像となる。従って、参照レイヤ（第１のレイヤ画像）がベースレイヤ（ベースビュー）である場合には、参照レイヤの予測画像は動き補償による予測画像であることから、対象レイヤ（第２のレイヤ画像）による予測においても、動き補償による予測画像である場合に、残差予測は有効である。すなわち、残差予測は対象ブロックが動き補償の場合に有効であるという特性を持つ。

残差予測部３０９２は、図示しない残差取得部３０９２１と、残差フィルタ部３０９２２から構成される。図１２は、残差予測を説明するための図である。対象レイヤ上の対象ブロックに対応する対応ブロックは、参照レイヤ上の画像の対象ブロックの位置を起点として、参照レイヤと対象レイヤの位置関係を示すベクトルである変位ベクトルｍｖＤｉｓｐだけずれた位置になるブロックに位置する。従って、残差予測に用いる残差は、変位ベクトルｍｖＤｉｓｐだけずれた位置にある残差を用いる。具体的には、残差取得部３０９２１は、対象ブロックの画素の座標（ｘ，ｙ）を、対象ブロックの変位ベクトルｍｖＤｉｓｐの整数画素成分だけずらした位置の画素を導出する。変位ベクトルｍｖＤｉｓｐが小数精度であることを考慮し、残差取得部３０９２１は、対象ブロックの画素の座標が（ｘＰ、ｙＰ）である場合に対応する画素Ｒ０のＸ座標ｘＲ０と、画素Ｒ０の隣接画素Ｒ１のＸ座標ｘＲ１を以下の式により導出する。

ｘＲ０＝Ｃｌｉｐ３（０，ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓ_Ｌ - １，ｘＰ＋ｘ＋（ｍｖＤｉｓｐ［０］＞＞２））
ｘＲ１＝Ｃｌｉｐ３（０，ＰｉｃＷｉｄｔｈＩｎＳａｍｐｌｅｓ_Ｌ - １，ｘＰ＋ｘ＋（ｍｖＤｉｓｐ［０］＞＞２）＋１）
ここで、Ｃｌｉｐ３（ｘ，ｙ，ｚ）は、ｚをｘ以上、ｙ以下に制限（クリップ）する関数である。なお、ｍｖＤｉｓｐ［０］
＞＞２は、１／４ペル精度のベクトルにおいて整数成分を導出する式である。

残差取得部３０９２１は、変位ベクトルｍｖＤｉｓｐで指定される座標の小数画素位置（ｍｖＤｉｓｐ［０］ - （（ｍｖＤｉｓｐ［０］＞＞２）＜＜２））に応じて、画素Ｒ０の重み係数ｗ０と、画素Ｒ１の重み係数ｗ１を以下の式により導出する。

ｗ０＝４ - ｍｖＤｉｓｐ［０］＋（（ｍｖＤｉｓｐ［０］＞＞２）＜＜２）
ｗ１＝ｍｖＤｉｓｐ［０］ - （（ｍｖＤｉｓｐ［０］＞＞２）＜＜２）
続いて、残差取得部３０９２１は、残差格納部３１３から、画素Ｒ０、画素Ｒ１の残差をｒｅｆＲｅｓＳａｍｐｌｅｓ_Ｌ［ｘＲ０，ｙ］、ｒｅｆＲｅｓＳａｍｐｌｅｓ_Ｌ［ｘＲ１，ｙ］により取得する。残差フィルタ部３０９２２は、推定残差ｄｅｌｔａＬを以下の式で導出する。

ｄｅｌｔａ_Ｌ＝（ｗ０＊ｒｅｆＲｅｓＳａｍｐｌｅｓ_Ｌ［ｘＲ０，ｙ］＋ｗ１＊ｒｅｆＲｅｓＳａｍｐｌｅｓ_Ｌ［ｘＲ１，ｙ］＋２）＞＞２

上記処理は、変位ベクトルｍｖＤｉｓｐが小数精度を有する場合に、線形補間により画素を導出していたが、線形補間を用いず、近傍の整数画素を用いても良い。具体的には、残差取得部３０９２１は、対象ブロックの画素に対応する画素として画素ｘＲ０のみを取得し、以下の式を用いて推定残差ｄｅｌｔａＬを導出しても良い。

ｄｅｌｔａ_Ｌ＝ｒｅｆＲｅｓＳａｍｐｌｅｓ_Ｌ［ｘＲ０，ｙ］
（照度補償）
照度補償部３０９３は、照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが１の場合に、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸに対して、照度補償を行う。照度補償フラグｉｃ＿ｅｎａｂｌｅ＿ｆｌａｇが０の場合には、入力された動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸをそのまま出力する。照度補償部３０９３に入力される動き変位補償画像ｐｒｅｄＳａｍｐｌｅｓＬＸは、残差予測がオフの場合には、動き変位補償部３０９１の出力画像であり、残差予測がオンの場合には、残差予測部３０９２の出力画像である。照度補償は、予測画像生成の対象となる対象ブロックに隣接する隣接領域の動き変位画像の画素値と、隣接領域の復号画像の変化が、対象ブロック内の画素値と、対象ブロックの原画との変化に類似しているとの仮定に基づいて行われる。

照度補償部３０９３は、図示しない照度パラメータ推定部３０９３１と、照度補償フィルタ部３０９３２から構成される。

照度パラメータ推定部３０９３１は、対象ブロック（対象予測ユニット）の画素を、参照ブロックの画素から推定するための推定パラメータを求める。図１３は、照度補償を説明するための図である。図１３では、対象ブロックの周囲の画素Ｌと、対象ブロックから変位ベクトルだけずれた位置にある、参照レイヤ画像上の参照ブロックの周囲の画素Ｃの位置を示している。

照度パラメータ推定部３０９３１は、上記対象ブロックの周囲の画素Ｌ（Ｌ０〜ＬＮ−１）と上記参照ブロックの周囲の画素Ｃ（Ｃ０〜ＣＮ−１）から、推定パラメータ（照度変化パラメータ）ａとｂを最小２乗法を用いて以下の式より求める。

ＬＬ＝ ΣＬｉ × Ｌｉ
ＬＣ＝ ΣＬｉ × Ｃｉ
Ｌ＝ ΣＬｉ
Ｃ＝ ΣＣｉ
ａ＝（Ｎ＊ＬＣ - Ｌ＊Ｃ）／（Ｎ＊ＣＣ - Ｃ＊Ｃ）
ｂ＝（ＬＬ＊Ｃ - ＬＣ＊Ｌ）／（Ｎ＊ＣＣ - Ｃ＊Ｃ）
ここでΣはｉに対して和をとる関数。ｉは０〜Ｎ−１までの変数である。

以上は、推定パラメータが小数の場合であるため上記式も小数演算で行う必要がある。なお、装置としては、推定パラメータおよびパラメータの導出は整数であることが望ましい。

以下、推定パラメータが整数の場合を説明する。照度補償部３０９３は、以下の式によ推定パラメータ（照度変化パラメータ）ｉｃａｉｄｘ、ｉｃｋｉｄｘ、ｉｃｂｉｄｘを導出する。

ｋ３＝Ｍａｘ（０，ｂｉｔＤｅｐｔｈ＋Ｌｏｇ２（ｎＣｂＷ＞＞ｎＳｉｄｘ） - １４）
ｋ２＝Ｌｏｇ２（（２＊（ｎＣｂＷ＞＞ｎＳｉｄｘ））＞＞ｋ３）
ａ１＝（ＬＣ＜＜ｋ２） - Ｌ＊Ｃ
ａ２＝（ＬＬ＜＜ｋ２） - Ｌ＊Ｌ
ｋ１＝Ｍａｘ（０，Ｌｏｇ２（ａｂｓ（ａ２）） - ５） - Ｍａｘ（０，Ｌｏｇ２（ａｂｓ（ａ１）） - １４）＋２
ａ１ｓ＝ａ１＞＞Ｍａｘ（０，Ｌｏｇ２（ａｂｓ（ａ１）） - １４）
ａ２ｓ＝ａｂｓ（ａ２＞＞Ｍａｘ（０，Ｌｏｇ２（ａｂｓ（ａ２）） - ５））
ａ３＝ａ２ｓ＜１？０：Ｃｌｉｐ３（ -２１５，２１５-１，（ａ１ｓ＊ｉｃＤｉｖＣｏｅｆｆ＋（１＜＜（ｋ１ ? １）））＞＞ｋ１）
ｉｃａｉｄｘ＝ａ３＞＞Ｍａｘ（０，Ｌｏｇ２（ａｂｓ（ａ３）） - ６）
ｉｃｋｉｄｘ＝１３ - Ｍａｘ（０，Ｌｏｇ２（ａｂｓ（ｉｃａｉｄｘ）） - ６）
ｉｃｂｉｄｘ＝（Ｌ - （（ｉｃａｉｄｘ＊Ｃ）＞＞ｋ１）＋（１＜＜（ｋ２ - １）））＞＞ｋ２
ここで、ｂｉｔＤｅｐｔｈは、画素のビット幅（通常８〜１２）、ｎＣｂＷは、対象ブロックの幅、Ｍａｘ（ｘ，ｙ）はｘとｙの最大値を求める関数、Ｌｏｇ２（ｘ）はｘの２の対数を求める関数、ａｂｓ（ｘ）はｘの絶対値を求める関数である。また、ｉｃＤｉｖＣｏｅｆｆは、ａ２ｓを入力として所定の定数を導出する図１４に示すテーブルである。

照度補償部３０９３の備える照度補償フィルタ部３０９３２は、照度パラメータ推定部３０９３１が導出した推定パラメータを用いて、対象画素から、照度変化を補償した画素を導出する。例えば、推定パラメータが小数ａ、ｂの場合には次の式により求める。

ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝ａ＊ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＋ｂ
ここで、ｐｒｅｄＳａｍｐｌｅｓは対象ブロック中の座標（ｘ，ｙ）の画素である。
また、推定パラメータが上述の整数ｉｃａｉｄｘ、ｉｃｋｉｄｘ、ｉｃｂｉｄｘの場合には次の式により求める。

ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ） - １，（（（（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋ｏｆｆｓｅｔ１）＞＞ｓｈｉｆｔ１）＊ｉｃａ０）＞＞ｉｃｋ０）＋ｉｃｂ０）
（重み予測）
重み予測部３０９４は、入力される動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸに重み係数を乗算することにより予測ピクチャブロックＰ（予測画像）を生成する。入力される動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸは、残差予測、照度補償が行われる場合には、それらが施された画像である。参照リスト利用フラグの一方（ｐｒｅｄＦｌａｇＬ０もしくはｐｒｅｄＦｌａｇＬ１）が１の場合（単予測の場合）で、重み予測を用いない場合には入力された動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬＸ（ＬＸはＬ０もしくはＬ１）を画素ビット数に合わせる以下の式の処理を行う。

ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ） - １，（ｐｒｅｄＳａｍｐｌｅｓＬＸ［ｘ］［ｙ］＋ｏｆｆｓｅｔ１）＞＞ｓｈｉｆｔ１）
ここで、ｓｈｉｆｔ１＝１４−ｂｉｔＤｅｐｔｈ、ｏｆｆｓｅｔ１＝１＜＜（ｓｈｉｆｔ１−１）である。

また、参照リスト利用フラグの両者（ｐｒｅｄＦｌａｇＬ０もしくはｐｒｅｄＦｌａｇＬ１）が１の場合（双予測の場合）で、重み予測を用いない場合には、入力された動き変位画像ｐｒｅｄＳａｍｐｌｅｓＬ０、ｐｒｅｄＳａｍｐｌｅｓＬ１を平均し画素ビット数に合わせる以下の式の処理を行う。

ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ） - １，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＋ｏｆｆｓｅｔ２）＞＞ｓｈｉｆｔ２）
ここで、ｓｈｉｆｔ２＝１５−ｂｉｔＤｅｐｔｈ、ｏｆｆｓｅｔ２＝１＜＜（ｓｈｉｆｔ２−１）である。

さらに、単予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数ｗ０とオフセットｏ０を導出し、以下の式の処理を行う。

ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ） - １，（（ｐｒｅｄＳａｍｐｌｅｓＬＸ［ｘ］［ｙ］＊ｗ０＋２ｌｏｇ２ＷＤ - １）＞＞ｌｏｇ２ＷＤ）＋ｏ０）
ここで、ｌｏｇ２ＷＤは所定のシフト量を示す変数である。

さらに、双予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数ｗ０、ｗ１、ｏ０、ｏ１を導出し、以下の式の処理を行う。

ｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］＝Ｃｌｉｐ３（０，（１＜＜ｂｉｔＤｅｐｔｈ） - １，（ｐｒｅｄＳａｍｐｌｅｓＬ０［ｘ］［ｙ］＊ｗ０＋ｐｒｅｄＳａｍｐｌｅｓＬ１［ｘ］［ｙ］＊ｗ１＋（（ｏ０＋ｏ１＋１）＜＜ｌｏｇ２ＷＤ））＞＞（ｌｏｇ２ＷＤ＋１））
〔画像符号化装置〕
以下において、本実施形態に係る画像符号化装置２について、図２９を参照して説明する。

（画像符号化装置の概要）
画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。

（画像符号化装置の構成）
本実施形態に係る画像符号化装置２の構成例について説明する。図２９は、本実施形態に係る画像符号化装置２の構成を示す概略図である。画像符号化装置２は、ヘッダ符号化部１０Ｅ、ピクチャ符号化部２１、復号ピクチャバッファ１２、参照ピクチャ決定部１３Ｅを含んで構成される。画像符号化装置２は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。

［ヘッダ符号化部１０Ｅ］
ヘッダ符号化部１０Ｅは、入力画像＃１０に基づいて、ＮＡＬユニットヘッダ、ＳＰＳ、ＰＰＳ、および、スライスヘッダなどをの、ＮＡＬユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を生成し、符号化して出力する。

ヘッダ符号化部１０Ｅは、符号化データ＃１に含まれるＶＰＳおよびＳＰＳを既定のシンタックス定義に基づいてパースして、シーケンス単位で復号に利用される情報を符号化する。例えば、レイヤ数に関する情報がＶＰＳに符号化され、復号画像の画像サイズに関連する情報がＳＰＳに符号化される。

また、ヘッダ符号化部１０Ｅは、符号化データ＃１に含まれるスライスヘッダを既定のシンタックス定義に基づいてパースして、スライス単位で復号に利用される情報を符号化する。例えば、スライスタイプがスライスヘッダから符号化される。

図３２は、ヘッダ符号化部１０Ｅの概略的構成について示した機能ブロック図である。図３２に示すようにヘッダ符号化部１０Ｅは、ＮＡＬユニットヘッダ符号化部２１１Ｅ、ＶＰＳ符号化部２１２Ｅ、レイヤ情報格納部２１３、ビューデプス導出部２１４、ツール有効性情報符号化部２１５Ｅを備えている。レイヤ情報格納部２１３、ビューデプス導出部２１４は、ヘッダ復号部１０で既に説明済みであるので、詳細の説明は省略する。

[ＮＡＬユニットヘッダ符号化部２１１Ｅ]
図３３は、ＮＡＬユニットヘッダ符号化部２１１Ｅの概略的構成について示した機能ブロック図である。図３３に示すように、ＮＡＬユニットヘッダ符号化部２１１ＥはレイヤＩＤ符号化部２１１１ＥとＮＡＬユニットタイプ符号化部２１１２Ｅを含んで構成される。

レイヤＩＤ符号化部２１１１Ｅは、符号化データにレイヤＩＤを符号化する。ＮＡＬユニットタイプ符号化部２１１２Ｅは、符号化データにＮＡＬユニットタイプを符号化する。

［ＶＰＳ符号化部２１２Ｅ］
ＶＰＳ符号化部２１２Ｅは、規定のシンタックス定義に基づいて、複数のレイヤで符号化に利用される情報を符号化データにＶＰＳおよびＶＰＳ拡張として符号化する。例えば、ＶＰＳからは図２０に示すシンタックス、ＶＰＳ拡張から図２１に示すシンタックスが符号化される。ＶＰＳ拡張を符号化するために、フラグvps_extension_flagとして１を符号化する。

図３４は、ＶＰＳ符号化部２１２Ｅの概略的構成について示した機能ブロック図である。図３４に示すように、ＶＰＳ符号化部２１２Ｅはスケーラブルタイプ符号化部２１２１Ｅと次元ＩＤ符号化部２１２２Ｅ、依存レイヤ符号化部２１２３Ｅを含んで構成される。

ＶＰＳ符号化部２１２は、図示しない内部のレイヤ数符号化部により、レイヤ数を示すシンタックス要素vps_max_layers_minus1を符号化する。

スケーラブルタイプ符号化部２１２１Ｅは、レイヤ情報格納部２１３から、スケーラブルマスクscalable_maskを読み出して符号化データに符号化する。次元ＩＤ符号化部２１２２Ｅは、レイヤi、スケーラブルの種別j毎に次元ＩＤdimension_id[i][j]を符号化する。レイヤＩＤのインデックスiは１からvps_max_layers_minus1までの値、スケーラブル種別を示すインデックスjは0〜NumScalabilityTypes-1までの値を取る。

依存レイヤ符号化部２１２３Ｅは、符号化データに依存レイヤ数num_direct_ref_layersと依存レイヤフラグref_layer_idを符号化する。具体的には、レイヤi、ごとに依存レイヤ数num_direct_ref_layersの数だけdimension_id[i][j]を符号化する。レイヤＩＤのインデックスiは１からvps_max_layers_minus1までの値、依存レイヤフラグのインデックスjは、0〜num_direct_ref_layers-1までの値を取る。例えばレイヤＩＤが１のレイヤが、レイヤＩＤが２のレイヤ、レイヤＩＤが３のレイヤに依存する場合は、依存レイヤ数num_direct_ref_layers[1]=2であり、ref_layer_id [1][0]=2、ref_layer_id [1][1]=3を符号化する。

［ツール有効性情報符号化部２１５Ｅ］
ツール有効性情報符号化部２１５Ｅは、ＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセットに、特定のツールが使用可能か否かを表すフラグ（ツール有効性フラグ）を符号化する。ツール有効性情報符号化部２１５Ｅは、ツール有効性フラグが符号化データ中に存在するか否か（符号化データ中に含めるか否か）を判定し、ツール有効性フラグが符号化データ中に存在する場合には、ツール有効性フラグを符号化データに符号化する。

図４４は、ツール有効性情報符号化部２１５Ｅの概略的構成について示した機能ブロック図である。図４４に示すように、ツール有効性情報符号化部２１５Ｅは対象レイヤデプス判定部２１５１を含んで構成される。

対象レイヤデプス判定部２１５１は、入力されたレイヤＩＤlayer_idに基づいて、対象レイヤがデプスであるか否かを判定する。具体的には、対象layer_idをビューデプス導出部２１４に入力し、デプスフラグdepth_flagを得る。

ツール有効性情報符号化部２１５Ｅは、対象レイヤがベースレイヤ以外の場合に利用可能なツール（インタービュー予測フラグmulti_view_mv_pred_flag、残差予測フラグmulti_view_residual_pred_flag）のツール有効性フラグを、対象レイヤlayer_idが０以外の場合に符号化データに符号化する。

ツール有効性情報符号化部２１５Ｅは、対象レイヤがデプスの場合に利用可能なツール（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）のツール有効性フラグを、導出されたデプスフラグdepth_flagが１の場合に符号化データに符号化する。

図３７は、本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの構成の一部を示す図である。図３７の詳細は既に説明したので説明を省略する。

以上の構成の画像符号化装置によれば、１つ以上のレイヤのパラメータを規定するビデオパラメータセットから、スケーラブルの種別を示すスケーラブルマスクと、次元ＩＤを符号化するビデオパラメータセット符号化部と、レイヤＩＤと次元ＩＤの関係を格納するレイヤパラメータ格納部と、ＮＡＬユニットヘッダからレイヤＩＤを符号化するレイヤＩＤ符号化部と、さらに、上記レイヤＩＤ符号化部で符号化された対象レイヤのレイヤＩＤから、上記レイヤパラメータ格納部に格納された次元ＩＤを参照し、対象レイヤのビューＩＤとデプスフラグを導出するビューデプス導出部を備えことにより、３次元スケーラブルに関わるビューＩＤとデプスフラグが、空間スケーラブルや画質スケーラビリティと同じ構造のビデオパラメータから導出可能になるという効果を奏する。

以上の構成のＶＰＳ符号化部２１２Ｅによれば、デプスで利用されるツール有効性フラグに対して、スケーラブルマスクの値に応じて、デプスフラグに対応する次元ＩＤを特定し、特定された次元ＩＤから導出されたデプスフラグが１の場合にのみ、ツール有効性フラグを符号化する。これによりレイヤの種別がスケーラブルの種類に応じて意味が変化する次元ＩＤによって規定された場合においても、冗長性な符号を符号化することなく、デプスに特化したツールの利用可能性を符号化することが可能であるという効果を奏する。

図４６は、ツール有効性情報符号化部２１５Ｅの別の構成であるツール有効性情報符号化部２１５ＢＥの概略的構成について示した機能ブロック図である。図４６に示すように、ツール有効性情報符号化部２１５ＢＥは対象レイヤデプス判定部２１５１と参照レイヤビュー判定部２１５２を含んで構成される。対象レイヤデプス判定部２１５１は既に説明した通りであり、対象レイヤのデプスフラグを導出する。

参照レイヤビュー判定部２１５２は、対象レイヤlayer_idのビューＩＤと依存レイヤのビューＩＤが一致するか否か判定する。判定方法は、既に説明済みであるので詳細は省略する。

図４５は、ヘッダ符号化部１０Ｅの別の構成例であるヘッダ符号化部１０ＢＥの概略的構成について示した機能ブロック図である。ヘッダ符号化部１０ＢＥは、ＮＡＬユニットヘッダ符号化部２１１Ｅ、ＶＰＳ符号化部２１２Ｅ、レイヤ情報格納部２１３、ビューデプス導出部２１４、ツール有効性情報符号化部２１５ＢＥを備えている。ＮＡＬユニットヘッダ符号化部２１１Ｅ、ＶＰＳ符号化部２１２Ｅは、ヘッダ符号化部１０Ｅで既に説明済みであるので、詳細の説明は省略する。レイヤ情報格納部２１３、ビューデプス導出部２１４は、ヘッダ復号部１０で既に説明済みであるので、詳細の説明は省略する。

ツール有効性情報符号化部２１５ＢＥは、参照レイヤビュー判定部２１５２の判定に基づいて、対象レイヤlayer_idのビューＩＤと依存レイヤのビューＩＤが一致する場合に、対象レイヤがデプスの場合に利用可能なツール（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）のツール有効性フラグを、符号化データに符号化し、一致しない場合には、符号化データに符号化しない。

ここで、ツール有効性情報符号化部２１５ＢＥは、さらに対象レイヤがデプスであるかを考慮し、導出されたデプスフラグdepth_flagが１の場合かつ対象レイヤlayer_idのビューＩＤと依存レイヤのビューＩＤが一致する場合に、ツール有効性フラグを符号化データに符号化し、それ例外の場合は、符号化データに符号化しない構成でも良い。

図３９は、ツール有効性情報符号化部２１５ＢＥにより符号化される、本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの構成の一部を示す図である。図３９の詳細は既に説明済みであるので説明を省略する。

上記画像符号化装置によれば、依存レイヤのビューＩＤが、対象レイヤのビューＩＤと等しい場合にのみ、ツール有効性フラグを符号化データに符号化するため、このような符号化効率が低い場合を防ぐ効果を奏する。

図４７は、ツール有効性情報符号化部２１５Ｅのさらに別の構成であるツール有効性情報符号化部２１５ＣＥの概略的構成について示した機能ブロック図である。図４７に示すように、ツール有効性情報符号化部２１５ＣＥは対象レイヤデプス判定部２１５１と参照レイヤデプス判定部２１５３から構成される。対象レイヤデプス判定部２１５１は既に説明した通りであり、対象レイヤのデプスフラグを導出する。

参照レイヤデプス判定部２１５３は、依存レイヤがテクスチャピクチャであるか（デプスフラグが０であるか）否かを判定する。判定方法は、既に説明済みであるので詳細は省略する。

ツール有効性情報符号化部２１５ＣＥは、依存レイヤがテクスチャピクチャである場合（!ref_depth_flagが１の場合）に、対象レイヤがデプスの場合に利用可能なツール（デプスイントラ予測フラグenable_dmm_flag、動きパラメータ継承フラグuse_mpi_flag）のツール有効性フラグし、それ以外の場合には、符号化データに符号化しない。

ツール有効性情報符号化部２１５ＣＥは、さらに対象レイヤがデプスであるかを考慮し、導出されたデプスフラグdepth_flagが１の場合かつ対象レイヤがテクスチャピクチャである場合に符号化データに符号化し、それ以外の場合には、符号化データに符号化しない構成でも良い。

図４１は、ツール有効性情報符号化部２１５ＣＥにより符号化される、本発明の実施形態に係るツール有効性フラグに関するＶＰＳ拡張の符号化データの構成を示す図である。図４１の詳細は既に説明したため説明を省略する。

上記ＶＰＳ符号化部２１２（ビデオパラメータセット符号化部）によれば、レイヤの依存関係を示す依存レイヤＩＤを符号化する依存レイヤＩＤ符号化部を備え、上記ツール有効性情報符号化部は、上記次元ＩＤ符号化部において上記依存レイヤＩＤのレイヤを規定する上記ビデオパラメータセットから導出された依存レイヤのデプスフラグが、デプスではないことを示す場合のみ、前記ツール有効性フラグを符号化する。

上記の構成によれば、依存レイヤのデプスフラグがデプスである場合にはツールが禁止されるため、デプスピクチャの場合に利用可能なツールはテクスチャのレイヤのピクチャもしくは符号化パラメータのみに依存する。この場合、デプスのレイヤもしくは符号化パラメータには依存しないため、デプスのレイヤを復号する場合において、後続のレイヤのために符号化パラメータを格納する必要が無くなる、後続のレイヤのために符号化パラメータを格納する必要があるのはテクスチャのレイヤを復号する場合に限定されるため、本符号化装置で生成した符号化データを復号するデコーダのメモリを削減する効果を奏する。

［ランダムアクセスとＮＡＬユニットタイプ制限］
既に、画像復号装置１において説明した用に、本実施形態の符号化データでは、第１のＮＡＬユニットタイプ制限もしくは第２のＮＡＬユニットタイプ制限を行う符号化データを生成する。

画像符号化装置２は、第１のＮＡＬユニットタイプ制限の場合には、複数のレイヤのピクチャを符号化する場合において、レイヤＩＤが０以外のピクチャのＮＡＬユニットタイプを、レイヤＩＤが０のピクチャのＮＡＬユニットタイプと等しくするように符号化データを生成する。より具体的には、画像符号化装置２の含む参照ピクチャ管理部１３は、複数のレイヤにおいて同じピクチャ構造（ＧＯＰ構造）を有するように符号化することで行うことができる。すなわち、レイヤＩＤが０以外のピクチャ（例えばレイヤＩＤがＭのピクチャ）が参照する参照ピクチャを、レイヤＩＤが０のピクチャが参照するピクチャのＰＯＣと等しいレイヤＩＤがＭのピクチャに限定することで、第１のＮＡＬユニットタイプ制限を有する符号化データを生成することができる。

なお、画像符号化装置２が、対象ピクチャと異なるレイヤピクチャを用いて符号化効率を向上させた符号化データを生成する場合には、符号化対象とするレイヤがＲＡＰピクチャでない場合において、レイヤＩＤが０以外のピクチャ（例えばレイヤＩＤがＭのピクチャ）が参照する参照ピクチャを、レイヤＩＤが０のピクチャが参照するピクチャのＰＯＣと等しいレイヤＩＤがＭのピクチャもしくは、同じＰＯＣを有する対象とするレイヤと異なるレイヤＩＤのピクチャとすることで、第１のＮＡＬユニットタイプ制限を有する符号化データを生成することができる。

画像符号化装置２は、第２のＮＡＬユニットタイプ制限の場合には、複数のレイヤのピクチャを符号化する場合において、レイヤＩＤが０のピクチャがＲＡＰピクチャのＮＡＬユニットタイプの場合には、レイヤＩＤが０以外のピクチャもＲＡＰピクチャのＮＡＬユニットタイプとなるように符号化データを生成する。

より具体的には、画像符号化装置２の含む参照ピクチャ管理部１３は、レイヤＩＤが０のピクチャがＲＡＰピクチャである場合において、レイヤＩＤが０以外のピクチャのスライスをＩスライスに限定し、レイヤＩＤが０のピクチャと同じＮＡLユニットタイプを用いることで第２のＮＡＬユニットタイプ制限を有する符号化データを生成することができる。

（ピクチャ符号化部２１の構成）
次に、本実施形態に係るピクチャ符号化部２１の構成について説明する。図３０は、本実施形態に係るピクチャ符号化部２１の構成を示すブロック図である。ピクチャ符号化部２１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ１０８、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。

予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて復号ピクチャバッファ１２から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。

予測画像生成部１０１は、予測方式を選択するために、例えば、レイヤ画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックＰの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。予測方式を選択する方法は、これには限られない。

符号化対象のピクチャがベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャがノンベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。さらに、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）に対して、追加予測（残差予測および照度補償）を行う場合と行わない場合の予測がある。

予測画像生成部１０１は、イントラ予測を選択した場合、予測ピクチャブロックＰを生成する際に用いたイントラ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。

予測画像生成部１０１は、動き予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた動きベクトルmvLXを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号ＰＯＣ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。

予測画像生成部１０１は、変位予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた変位ベクトルを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。変位ベクトルdvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルdvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ビューＩＤview_id）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。

予測画像生成部１０１は、マージ予測を選択した場合、選択した参照ピクチャブロックを示すマージインデックスmerge_idxをインター予測パラメータ符号化部１１２に出力する。また、予測画像生成部１０１は、マージ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。

上記の、動き予測、変位予測、マージ予測において、予測画像生成部１０１は、追加予測として残差予測を行う場合には、既に説明したように予測画像生成部１０１に含まれる残差予測部３０９２において残差予測を行い、追加予測として照度補償を行う場合には、既に説明したように予測画像生成部１０１に含まれる照度補償部３０９３において照度補償予測を行う。

減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３と符号化パラメータ決定部１１０に出力する。

ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。

エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、符号化パラメータ決定部１１０から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。

エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化データ＃１を生成し、生成した符号化データ＃１を外部に出力する。

逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、符号化残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した符号化残差信号を加算部１０６に出力する。

加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された符号化残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを復号ピクチャバッファ１２に記憶する。

予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。

復号ピクチャバッファ１２は、加算部１０６が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。

符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックＰを生成する。

符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化データ＃１の情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化データ＃１として外部に出力し、選択されなかった符号化パラメータのセットを出力しない。

予測パラメータ符号化部１１１は、予測画像生成部１０１から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。

予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。

予測パラメータ符号化部１１１は、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。

インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。

イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをインター予測パラメータのセットとして定める。

次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、インター予測パラメータ復号部３０３に対応する手段である。

図３１は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。

インター予測パラメータ符号化部１１２は、インター予測パラメータ符号化制御部１０３１、マージ予測パラメータ導出部１１２１、AMVP予測パラメータ導出部１１２２、減算部１１２３、及び予測パラメータ統合部１１２６を含んで構成される。

マージ予測パラメータ導出部１１２１は、上述のマージ予測パラメータ導出部３０３６（図７参照）と同様な構成を有する。

インター予測パラメータ符号化制御部１０３１は、インター予測に関連する符号（シンタックス要素の符号化をエントロピー符号化部１０４に指示し、符号化データ＃１に含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。

マージ予測パラメータ導出部１１２１には、予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合、符号化パラメータ決定部１１０からマージインデックスmerge_idxが入力される。マージインデックスmerge_idxは、予測パラメータ統合部１１２６に出力される。マージ予測パラメータ導出部１１２１は、マージ候補のうちマージインデックスmerge_idxが示す参照ブロックの参照ピクチャインデックスrefIdxLX、ベクトルmvLXを予測パラメータメモリ１０８から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック（例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロックのうち）であって、符号化処理が完了した参照ブロックである。

AMVP予測パラメータ導出部１１２２は、上述のAMVP予測パラメータ導出部３０３２（図８参照）と同様な構成を有する。

AMVP予測パラメータ導出部１１２２には、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、符号化パラメータ決定部１１０からベクトルmvLXが入力される。AMVP予測パラメータ導出部１１２２は、入力されたベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。AMVP予測パラメータ導出部１１２２は、導出した予測ベクトルmvpLXを減算部１１２３に出力する。なお、参照ピクチャインデックスrefIdx及びベクトルインデックスmvp_LX_idxは、予測パラメータ統合部１１２６に出力される。

減算部１１２３は、符号化パラメータ決定部１１０から入力されたベクトルmvLXからAMVP予測パラメータ導出部１１２２から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXは予測パラメータ統合部１１２６に出力する。

予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合には、予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力されたマージインデックスmerge_idxをエントロピー符号化部１０４に出力する。

予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合には、予測パラメータ統合部１１２６は、次の処理を行う。

予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスrefIdxLX及びベクトルインデックスmvp_LX_idx、減算部１１２３から入力された差分ベクトルｍｖｄＬＸを統合する。予測パラメータ統合部１１２６は、統合した符号をエントロピー符号化部１０４に出力する。

なお、上述した実施形態における画像符号化装置２、画像復号装置１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部１０１、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置２、画像復号装置１のいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における画像符号化装置２、画像復号装置１の一部、または全部を、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置２、画像復号装置１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

１…画像復号装置
２…画像符号化装置
３…ネットワーク
４…画像表示装置
５…画像伝送システム
１０…ヘッダ復号部
１０Ｂ…ヘッダ復号部
１０ＢＥ…ヘッダ符号化部
１０Ｃ…ヘッダ復号部
１０Ｄ…ヘッダ復号部
１０Ｅ…ヘッダ符号化部
１１…ピクチャ復号部
１２…復号ピクチャバッファ
１３…参照ピクチャ管理部
１３Ｅ…参照ピクチャ決定部
１５…参照ピクチャリスト導出部
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０３１…インター予測パラメータ符号化制御部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１１２１…マージ予測パラメータ導出部
１１２２…ＡＭＶＰ予測パラメータ導出部
１１２３…減算部
１１２６…予測パラメータ統合部
１１３…イントラ予測パラメータ符号化部
２１…ピクチャ符号化部
２１１…ＮＡＬユニットヘッダ復号部
２１１１…レイヤＩＤ復号部
２１１２…ＮＡＬユニットタイプ復号部
２１１Ｅ…ＮＡＬユニットヘッダ符号化部
２１１１Ｅ…レイヤＩＤ符号化部
２１１２Ｅ…ＮＡＬユニットタイプ符号化部
２１２…ＶＰＳ復号部（ビデオパラメータセット復号部）
２１２Ｂ…ＶＰＳ復号部（ビデオパラメータセット復号部）
２１２Ｃ…ＶＰＳ復号部（ビデオパラメータセット復号部）
２１２Ｄ…ＶＰＳ復号部（ビデオパラメータセット復号部）
２１２１…スケーラブルタイプ復号部
２１２２…次元ＩＤ復号部
２１２３…依存レイヤＩＤ復号部
２１２４…レイヤ有効性フラグ復号部
２１２Ｅ…ＶＰＳ符号化部（ビデオパラメータセット符号化部）
２１２１Ｅ…スケーラブルタイプ符号化部
２１２２Ｅ…次元ＩＤ符号化部
２１２３Ｅ…依存レイヤ符号化部
２１３…レイヤ情報格納部（レイヤパラメータ格納部）
２１４…ビューデプス導出部
２１４Ｄ…ビューデプス導出部
２１５…ツール有効性情報復号部
２１５１…対象レイヤデプス判定部
２１５２…参照レイヤビュー判定部
２１５３…参照レイヤデプス判定部
２１５Ｂ…ツール有効性情報復号部
２１５Ｃ…ツール有効性情報復号部
２１５ＢＣ…ツール有効性情報復号部
２１５Ｄ…ツール有効性情報復号部
２１５Ｅ…ツール有効性情報符号化部
２１５ＢＥ…ツール有効性情報符号化部
２１５ＣＥ…ツール有効性情報符号化部
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０３１…インター予測パラメータ復号制御部
３０３１１…追加予測フラグ復号部
３０３１１１…リファレンスレイヤ判定部
３０３１２…マージインデックス復号部
３０３１３…ベクトル候補インデックス復号部
３０３１４…追加予測フラグ判定部
３０３２…ＡＭＶＰ予測パラメータ導出部
３０３３…ベクトル候補導出部
３０３４…予測ベクトル選択部
３０３５…加算部
３０３６…マージ予測パラメータ導出部
３０３６１…マージ候補導出部
３０３６１１…マージ候補格納部
３０３６１２…拡張マージ候補導出部
３０３６１２１…インターレイヤマージ候補導出部
３０３６１２２…変位ベクトル取得部
３０３６１２３…インターレイヤ変位マージ候補導出部
３０３６１３…基本マージ候補導出部
３０３６１３１…空間マージ候補導出部
３０３６１３２…時間マージ候補導出部
３０３６１３３…結合マージ候補導出部
３０３６１３４…ゼロマージ候補導出部
３０３６１４…ＭＰＩ候補導出部
３０３６２…マージ候補選択部
３０４…イントラ予測パラメータ復号部
３０７…予測パラメータメモリ
３０８…予測画像生成部
３０９…インター予測画像生成部
３０９１…変位補償部
３０９２…残差予測部
３０９２１…残差取得部
３０９２２…残差フィルタ部
３０９３…照度補償部
３０９３１…照度パラメータ推定部
３０９３２…照度補償フィルタ部
３０９４…予測部
３１０…イントラ予測画像生成部
３１０１…方向予測部
３１０２…ＤＭＭ予測部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
３１３…残差格納部

Claims

１つ以上のレイヤのパラメータを規定するビデオパラメータセットから、スケーラブルの種別を示すスケーラブルマスクと、次元ＩＤを復号するビデオパラメータセット復号部と、
レイヤＩＤと次元ＩＤの関係を格納するレイヤパラメータ格納部と、
ＮＡＬユニットヘッダからレイヤＩＤを復号するレイヤＩＤ復号部と
さらに、上記レイヤＩＤ復号部で復号された対象レイヤのレイヤＩＤから、上記レイヤパラメータ格納部に格納された次元ＩＤを参照し、対象レイヤのビューＩＤとデプスフラグを導出するビューデプス導出部を備える画像復号装置。
上記画像復号装置は、さらに、ツールの使用可能性を規定するツール有効性フラグを復号するツール有効性情報復号部を備え、
上記ビデオパラメータセット復号部は、さらに、レイヤの依存関係を示す依存レイヤＩＤを復号する依存レイヤＩＤ復号部を備え、
上記ツール有効性情報復号部は、上記ビューデプス導出部において上記依存レイヤＩＤのレイヤを規定する上記ビデオパラメータセットから導出された依存レイヤのビューＩＤが、上記ビューデプス導出部において復号された対象レイヤのビューＩＤと等しい場合にのみ、前記ツール有効性フラグを復号することを特徴とする請求項１に記載の画像復号装置。
上記ビデオパラメータセット復号部は、さらに、レイヤの依存関係を示す依存レイヤＩＤを復号する依存レイヤＩＤ復号部を備え、
上記ツール有効性情報復号部は、上記次元ＩＤ復号部において上記依存レイヤＩＤのレイヤを規定する上記ビデオパラメータセットから導出された依存レイヤのデプスフラグが、デプスではないことを示す場合のみ、前記ツール有効性フラグを復号することを特徴とする請求項１に記載の画像復号装置。
ＮＡＬユニットヘッダとＮＡＬユニットデータを単位（ＮＡＬユニット）とし、１つ以上のＮＡＬユニットから構成される符号化データにおいて、
上記ＮＡＬユニットヘッダは、レイヤＩＤと、ＮＡＬユニットの種類を規定するＮＡＬＬユニットタイプnal_unit_typeを含み、
上記ＮＡＬユニットデータに含まれるビデオパラメータセットにおいて、スケーラブルの種別を示すスケーラブルマスクと、スケーラブルの種別ごとの内容を示す次元ＩＤが規定される符号化データであって、
次元ＩＤがレイヤＩＤによって規定されることを特徴とする符号化データ構造。
上記ビデオパラメータセット復号部は、さらに、各レイヤのレイヤの有効性を示すレイヤ有効性フラグを復号するレイヤ有効性フラグ復号部を備えることを特徴とする請求項１から請求項３に記載の画像復号装置。