JP2015050506A - 画像復号装置および画像符号化装置 - Google Patents

Abstract

【課題】少ない符号量で符号化データを復号する画像復号装置を提供する。
【解決手段】画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する装置であって、参照ピクチャセットを導出するＲＰＳ導出部を備え、上記ＲＰＳ導出部は、上記参照ピクチャセットを構成するサブＲＰＳとして、少なくとも第一のサブＲＰＳと、第二のサブＲＰＳを導出し、上記第一のサブＲＰＳは、画素依存のレイヤ間参照ピクチャを含み、上記第二のサブＲＰＳは、画素非依存のレイヤ間参照ピクチャを含む。
【選択図】図４

Description

本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。

通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。

動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。

これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

イントラ予測では、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。

インター予測では、ピクチャ間の動き補償により予測画像が生成される。インター予測で予測画像生成に用いられる復号済のピクチャは参照ピクチャと呼ばれる。

また、複数の相互に関連性のある動画像をレイヤ（階層）に分けて符号化することで、複数の動画像から符号化データを生成する技術も知られており、階層符号化技術と呼ばれる。階層符号化技術により生成される符号化データは階層符号化データとも呼ばれる。

代表的な階層符号化技術としてHEVCを基礎とするSHVC（Scalable HEVC）が知られている（非特許文献２）。

SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、複数の異なる解像度の動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に原画像をレイヤ間の冗長性を除去するためにレイヤ間予測を適用した上で、上位レイヤとして符号化する。

別の代表的な階層符号化技術としてHEVCを基礎とするMV-HEVC（Multi View HEVC）が知られている（非特許文献３）。

MV-HEVCではビュースケーラビリティをサポートする。ビュースケーラビリティでは、複数の異なる視点（ビュー）に対応する動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、基本となる視点（ベースビュー）に対応する動画像を下位レイヤとして符号化する。次に、異なる視点に対応する動画像を、レイヤ間予測を適用した上で、上位レイヤとして符号化する。

SHVCやMV-HEVCにおけるレイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、下位レイヤの復号画像を利用して、予測画像を生成する。レイヤ間動き予測では、下位レイヤの動き情報を利用して、動き情報の予測値を導出する。レイヤ間予測において予測に用いられるピクチャはレイヤ間参照ピクチャと呼ばれる。また、レイヤ間参照ピクチャを含むレイヤは参照レイヤと呼ばれる。なお、以下では、インター予測に用いられる参照ピクチャと、レイヤ間予測に用いられる参照ピクチャを総称して単に参照ピクチャと呼称する。

SHVCやMV-HEVCでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。

SHVCやMV-HEVCにおけるインター予測やレイヤ間予測では、複数の参照ピクチャを所定の順序で並べて構成される参照ピクチャリストを生成し、当該参照ピクチャリスト内の特定参照ピクチャを示す識別子である参照ピクチャインデックスにより、インター予測やレイヤ間予測に用いる参照ピクチャを特定する。参照ピクチャインデックスは、小さい値ほど（参照ピクチャリストの先頭に対応する値ほど）より少ない符号量で符号化データに含まれている。

「Recommendation H.265 (04/13)」, ITU-T (２０１３年６月７日公開) JCT3V-E1004_v6 「MV-HEVC Draft Text 5」, Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 115th Meeting: Vienna, AT, 27 Jul. -2 Aug. 2013 (２０１３年８月７日公開) JCTVC-N1008_v1 「SHVC Draft 3」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Vienna, AT, 25 July - 2 Aug. 2013 （２０１３年８月２０日公開）

しかしながら、従来技術として挙げたSHVCやMV-HEVCでは、参照ピクチャリスト生成において、参照ピクチャの性質が十分考慮されておらず、インター予測やレイヤ間予測における選択頻度が低い参照ピクチャが既定の参照ピクチャリスト（暫定参照リスト）の先頭に近い位置に来る場合があるという課題があった。そのため、参照ピクチャインデックスの符号量が多く、結果として符号化データの符号量が多いという課題があった。

本発明は、上記問題に鑑みてされたものであり、その目的は、階層符号化方式において、インター予測やレイヤ間予測における選択頻度が比較的高い参照ピクチャのグループを、暫定参照リストにおいて先頭に近い位置に配置することで、参照ピクチャインデックスの符号量を低減し、結果としてより少ない符号量で符号化データを符号化／復号する画像符号化装置および画像復号装置を実現することにある。

上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、参照ピクチャセットを導出するRPS導出部を備え、上記RPS導出部は、上記参照ピクチャセットを構成するサブRPSとして、少なくとも第一のサブRPSと、第二のサブRPSを導出し、上記第一のサブRPSは、画素依存のレイヤ間参照ピクチャを含み、上記第二のサブRPSは、画素非依存のレイヤ間参照ピクチャを含むことを特徴としている。

また、上記画像復号装置において、参照ピクチャリストを導出するRPL導出部を備え、上記RPL導出部は、上記第一のサブRPSが上記第二のサブRPSに較べてリスト前方に位置する暫定参照リストを少なくとも一つ生成し、該暫定参照リストに基づいて上記参照ピクチャリストを導出することが好ましい。

また、上記ＲＰＳ導出部は、上記参照ピクチャセットを構成するサブＲＰＳとして、さらに、前方短期ＲＰＳ、後方短期ＲＰＳを導出し、上記ＲＰＬ導出部は、上記第二のサブＲＰＳを、上記、前方短期ＲＰＳ、後方短期ＲＰＳよりも後方に位置する暫定参照リストを少なくとも一つ生成し、該暫定参照リストに基づいて上記参照ピクチャリストを導出する、ことが好ましい。

また、上記画像復号装置において、上記第一のサブRPSは、関連付けられた依存タイプが、画素依存かつ動き依存を示し、上記第二のサブRPSは、関連付けられた依存タイプが、画素非依存かつ動き依存を示す、ことが好ましい。

また、上記画像復号装置において、上記暫定参照リスト内のサブRPS順序に係るサブRPS順序情報を復号する可変長復号部を備え、上記RPL導出部は、上記サブRPS順序情報に基づいて、上記暫定参照リストを生成する、ことが好ましい。

また、上記画像復号装置において、上記サブRPS順序情報は、複数のピクチャから参照可能であるパラメータセットに含まれている、ことが好ましい。

また、上記画像復号装置において、上記サブRPS順序情報は、レイヤ間サブRPSを上記暫定参照リストの先頭に設定するか否かを示すフラグを含む、ことが好ましい。

また、上記画像復号装置において、上記サブRPS順序情報は、上記第一のサブRPSと上記第二のサブRPSの暫定参照リスト内での位置として、既定の暫定参照リスト内での位置を用いるか、既定の暫定参照リスト内での位置に対して上記第一のサブRPSと上記第二のサブRPSを入れ替えた位置を用いるかを示すフラグを含む、ことが好ましい。

上記課題を解決するために、本発明に係る画像符号化装置は、入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、参照ピクチャセットを導出するRPS導出部を備え、上記RPS導出部は、上記参照ピクチャセットを構成するサブRPSとして、少なくとも第一のサブRPSと、第二のサブRPSを導出し、上記第一のサブRPSは、復号画素が参照される可能性のあるレイヤ間参照ピクチャを含み、上記第二のサブRPSは、復号画素が参照される可能性のないレイヤ間参照ピクチャを含むことを特徴としている。

本発明に係る画像復号装置はRPS導出部を備えており、前記RPS導出部は、復号画素が参照される可能性のあるレイヤ間参照ピクチャを含む第一のサブRPSと、復号画素が参照される可能性のないレイヤ間参照ピクチャを含む第二のサブRPSを導出する。また、本発明に係る階層動画像復号装置は、RPL導出部を備えており、前記RPL導出部は、前記第一のサブRPSが前記第二のサブRPSに較べてリスト先頭に近い位置にある暫定参照リストを生成し、当該暫定参照リストに基づいて参照リストを生成する。したがって、本発明に係る画像復号装置は、レイヤ間予測における選択頻度の高いレイヤ間参照ピクチャである上記第一のRPSに含まれるレイヤ間参照ピクチャを指定する参照ピクチャインデックスが少ない符号量で符号化された符号化データを復号できる。

本発明の一実施形態に係る階層動画像復号装置において生成されるレイヤ間RPSに含まれるサブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）と依存タイプの関係を例示する図である。 本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。 本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、符号化ツリーユニットＣＴＵを規定するＣＴＵレイヤを示しており、（ｅ）は、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。 上記階層動画像復号装置の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置に含まれる復号ピクチャ管理部の構成を例示した機能ブロック図である。 上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットおよび参照ピクチャリストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部から短期参照ピクチャセット情報の復号時に利用されるシンタックス表を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットに係る部分を示す図である。 VPSに含まれるVPS拡張（vps_extension）の復号時に参照されるシンタックス表の一部であって、IL-RPS情報に相当する部分を示す図である。 スライス復号時に参照されるシンタックス表の一部であって、IL-RPS情報に相当する部分を示す図である。 レイヤ間予測の種類にレイヤ間画像予測とレイヤ間動き予測がある場合の依存タイプと各レイヤ間予測の使用可否の関係を示す図である。 レイヤ間RPSに含まれるサブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）の導出処理を表わすフロー図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャリストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部から参照ピクチャリスト修正情報の復号時に利用されるシンタックス表を示す図である。 上記階層動画像復号装置のRPL導出部におけるＬ０参照リストとＬ１参照リスト導出の中間過程で生成される暫定Ｌ０参照リストと暫定Ｌ１参照リストの概略を示す図である。 上記階層動画像復号装置に含まれるベース復号部の構成を例示する機能ブロック図である。 レイヤ間画素動きRPSとレイヤ間限定RPSを例示する図である。 レイヤ間画素動きRPSとレイヤ間画素限定RPSとレイヤ間動き限定RPSを例示する図である。 参照レイヤに対応する視点位置と対象レイヤに対する視点位置の相対関係によるサブRPSの分類と、依存タイプに基づくサブRPSの分類を組み合わせる場合のサブRPSを例示する図である。 レイヤ間サブRPS先頭フラグが「１」の場合に生成される暫定参照リストを例示する図である。 レイヤ間サブRPS順序交換フラグが「１」の場合に生成される暫定参照リストを例示する図である。 レイヤ間サブRPS順序情報の復号に係るシンタックス表の一部を示す図である。 本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。 上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。

図１〜図２５に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２を説明すれば以下のとおりである。

〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。

また、階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。

本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。

〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。

以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。

図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。

まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。

下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。

また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。

また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。

このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。

次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。

なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。

例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。

なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。

また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。

なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。

本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。

上位レイヤ ： ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。

下位レイヤ ： ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。

対象レイヤ ： 復号または符号化の対象となっている階層のことをいう。

参照レイヤ（reference layer） ： 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。

図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。

基本レイヤ（base layer） ： 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。

拡張レイヤ ： 基本レイヤの上位レイヤは、拡張レイヤと称される。

レイヤ識別子 ： レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。

一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。

レイヤ間予測 ： レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。

なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。

〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。

また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されてもよいし、同一の伝送路を介して階層動画像復号装置１に供給されてもよい。

例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をHEVCにより符号化して、インターネットで伝送してもよい。

（基本レイヤ）
図３は、基本レイヤにおいて採用できる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造を例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。

階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤ、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。

（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ_１〜ＰＩＣＴ_NP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。

ビデオパラメータセットＶＰＳでは、符号化データに含まれるレイヤ数、レイヤ間の依存関係が規定されている。

シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定シーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、対象シーケンスに対するアクティブＳＰＳを意味する。

ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定ピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスヘッダＳＨ₁〜ＳＨ_NS、及び、スライスＳ₁〜Ｓ_NSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。

なお、以下、スライスヘッダＳＨ₁〜ＳＨ_NSやスライスＳ₁〜Ｓ_NSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータも同様である。

スライスヘッダＳＨ_kには、対応するスライスＳ_kの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、符号化ツリーユニットＣＴＵ₁〜ＣＴＵ_NC（ＮＣはスライスＳに含まれるＣＴＵの総数）を含んでいる。

（ＣＴＵレイヤ）
ＣＴＵレイヤでは、処理対象の符号化ツリーユニットＣＴＵ（以下、対象ＣＴＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーユニットのことを符号化ツリーブロック（CTB: Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。

符号化ツリーユニットＣＴＵは、ＣＴＵヘッダＣＴＵＨと、符号化単位情報ＣＵ_１〜ＣＵ_ＮＬ（ＮＬはＣＴＵに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーユニットＣＴＵと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。

符号化ツリーユニットＣＴＵは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するための単位に分割される。

符号化ツリーユニットＣＴＵの上記単位は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。

以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応する単位を、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。

つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ_１〜ＣＵ_ＮＬは、符号化ツリーユニットＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。

また、符号化ツリーのルート（root）は、符号化ツリーユニットＣＴＵに対応付けられる。換言すれば、符号化ツリーユニットＣＴＵは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。

なお、各符号化ノードのサイズは、当該符号化ノードの親ノードとなる符号化ノード（すなわち、当該符号化ノードの１階層上位のノード）のサイズの縦横とも半分である。

また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。

（ＣＴＵヘッダ）
ＣＴＵヘッダＣＴＵＨには、対象ＣＴＵの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＵの各ＣＵへの分割パターンを指定するＣＴＵ分割情報ＳＰ＿ＣＴＵ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。

ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＴＵを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＵに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＵ内での位置を指定する情報である。

なお、ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＵ分割情報ＳＰ＿ＣＴＵは、対象ＣＴＵ全体またはＣＴＵの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＵの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。

また、量子化パラメータ差分Δｑｐは、対象ＣＴＵにおける量子化パラメータｑｐと、当該対象ＣＴＵの直前に符号化されたＣＴＵにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。

（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。

ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。

予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。換言すれば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。

予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。

イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。

また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。

また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。換言すれば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。

（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容を説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。

スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。

予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。

予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤにおいては、イントラ予測の場合にイントラ予測情報PP_Intraが含まれる。また、インター予測の場合にはインター予測情報PP_Interを含む。

インター予測情報PP_Interは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報PP_Interは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照ピクチャインデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。

イントラ予測情報PP_Intraは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報PP_Intraには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。

ここで、イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデックスであるmpm_idx、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。

また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。

［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。

ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ₁〜ＱＤ_NT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。

ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現できる。

また、例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。

各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。

処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^qp/6）。

（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２^ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。

（拡張レイヤ）
拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用できる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略できる。

スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。

また、ＣＵ情報ＣＵに含まれる予測タイプ情報ＰＴｙｐｅは、対象ＣＵについての予測画像生成方法がイントラ予測、インター予測、または、レイヤ間画像予測のいずれかを指定する情報である。予測タイプ情報ＰＴｙｐｅには、レイヤ間画像予測モードの適用有無を指定するフラグ（レイヤ間画像予測フラグ）を含む。なお、レイヤ間画像予測フラグは、texture_rl_flag、inter_layer_pred_flag、または、base_mode_flagと呼ばれることもある。

拡張レイヤにおいて、対象ＣＵのＣＵタイプが、イントラＣＵ、レイヤ間ＣＵ、インターＣＵ、スキップＣＵのいずれであるかが指定されていてもよい。

イントラＣＵは、ベースレイヤにおけるイントラＣＵと同様に定義できる。イントラＣＵでは、レイヤ間画像予測フラグが“０”に、予測モードフラグが“０”に設定される。

レイヤ間ＣＵは、参照レイヤのピクチャの復号画像を予測画像生成に用いるＣＵと定義できる。レイヤ間ＣＵでは、レイヤ間画像予測フラグが“１”に、予測モードフラグが“０”に設定される。

スキップＣＵは、上述のHEVC方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。

インターＣＵは、非スキップかつ動き補償（MC；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。

また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。

下位レイヤが、例えば、MPEG-2や、H.264/AVC方式によって符号化されていてもよい。

拡張レイヤ符号化データでは、VPSが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。

また、拡張レイヤ符号化データでは、SPS、PPS、スライスヘッダが拡張されて、レイヤ間画像予測に用いる参照レイヤの復号画像に係る情報（例えば、後述のレイヤ間参照ピクチャセット、レイヤ間参照ピクチャリスト、ベース制御情報等を直接、または、間接的に導出するためのシンタックス）が含まれていてもよい。

なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。

〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１〜図２２を参照して説明する。

（階層動画像復号装置の構成）
図４を用いて、階層動画像復号装置１の概略的構成を説明すると次のとおりである。図４は、階層動画像復号装置１の概略的構成を示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。なお、以下では、対象レイヤは拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。

図４に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２、ピクチャ復号部１３、復号ピクチャ管理部１４、および、ベース復号部１５を備える。

ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。

ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。

ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、H.264/AVCおよびHEVCのファイルフォーマットや、MPEG-2システムに対応する。

なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニット格納されることでＮＡＬ多重化されて階層動画像復号装置１に伝送される。

ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１５に供給する。

可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号して出力する。

可変長復号部１２で復号されるシンタックス値には、変換係数や予測情報に係るシンタックス値が含まれる。

また、可変長復号部１２で復号されるシンタックス値には、対象レイヤの復号に用いるパラメータセット、すなわち、VPS、SPS、PPSに含まれるシンタックス値が含まれる。また、スライスヘッダに含まれるシンタックス値も含まれる。

可変長復号部１２は、スライスヘッダ、予測情報、および、変換係数に係るシンタックス値をピクチャ復号部１３に供給する。また、可変長復号部１２は、パラメータセット、および、スライスヘッダに係るシンタックス値を復号ピクチャ管理部１４に供給する。

ピクチャ復号部１３は、対象ピクチャに関するスライスヘッダ、予測情報、および、変換係数に係るシンタックス値に基づいて、対象ピクチャの復号ピクチャを復号する。復号ピクチャは復号ピクチャ管理部１４に出力される。

なお、ピクチャ復号部１３におけるインター予測による予測画像生成には、復号ピクチャ管理部１４内のDPBに記録されている復号ピクチャであって、入力される参照ピクチャリストに含まれるピクチャが参照ピクチャとして利用される。また、ピクチャ復号部１３におけるレイヤ間画像予測による予測画像生成には、復号ピクチャ管理部１４内のDPBに記録されているレイヤ間参照ピクチャであって、入力される参照ピクチャリストに含まれるピクチャが参照ピクチャとして利用される。

復号ピクチャ管理部１４は、入力される復号ピクチャやベース復号ピクチャを内部のDPBに記録するとともに、入力されるシンタックス値に基づいて参照ピクチャリスト生成や出力ピクチャ決定を行う。なお、復号ピクチャ管理部１４は本実施形態における重要な構成要素であるため、詳細を後述する。

ベース復号部１５は、参照レイヤ符号化データＤＡＴＡ＃Ｒからベース復号ピクチャを復号する。ベース復号ピクチャは、対象レイヤの復号ピクチャ復号時に利用される参照レイヤの復号ピクチャである。ベース復号部１５は、復号したベース復号ピクチャを復号ピクチャ管理部１４に供給する。なお、ベース復号部１５の詳細は後述する。

以下では、復号ピクチャ管理部１４とベース復号部１５の詳細を説明する。

（復号ピクチャ管理部）
図５を用いて、復号ピクチャ管理部１４の詳細構成を説明する。図５は、復号ピクチャ管理部１４の構成を例示した機能ブロック図である。

図５に示すように、復号ピクチャ管理部１４は、DPB１４１、RPS導出部１４２、参照ピクチャ制御部１４３、ベース参照ピクチャ制御部１４４、RPL導出部１４５、出力制御部１４６を備える。

＜DPB１４１＞
DPB１４１は、復号ピクチャバッファ（Decoded Picture Buffer）とも呼ばれ、ピクチャ復号部１３で復号された対象レイヤの各ピクチャの復号ピクチャを記録する。DPBには、対象レイヤの各ピクチャに対応する復号ピクチャが出力順（POC: Picture Order Count）に関連付けて記録されている。加えて、DPBの各ピクチャに対しては、参照マークおよび出力マークを設定できる。

参照マークは、DPB上のピクチャが対象ピクチャ以降の復号処理における予測画像生成処理（例えば、インター予測やレイヤ間画像予測）への利用可否を示す情報である。参照マークは、具体的には、「短期参照使用」（「used for short-term reference」）、「長期参照使用」（「used for long-term reference」）、「参照不使用」（「not used for reference」）のいずれかの値を取る。

なお、参照マークの取り得る値を上記とするがそれに限らない。例えば、「レイヤ間参照使用」（「used for inter-layer reference」）の値に参照マークを設定できてもよい。また、「短期参照使用」と「長期参照使用」の区別をせず、両者の和集合を「参照使用」（「used for reference」）と定義してもよい。

出力マークは、DPB上のピクチャを外部へ出力する必要性の有無を示す情報である。出力マークは、具体的には、「出力要」（「needed for output」）、「出力不要」（「not needed for output」）のいずれかの値を取る。

なお、参照マークや出力マークは復号処理や符号化処理の特定のタイミングで明示的に設定されていなくてもよく、その場合、参照マークまたは出力マークは「未定義」と判定する。

＜RPS導出部１４２＞
RPS導出部１４２は、入力されるシンタックス値に基づいて対象ピクチャの復号処理に用いるRPS（Reference Picture Set；参照ピクチャセット）を導出してベース参照ピクチャ制御部１４４、参照ピクチャ制御部１４３、および、RPL導出部１４５に出力する。

RPSは、概略的には、対象ピクチャの復号処理、または、復号順で対象ピクチャに後続するピクチャの復号処理において利用されうる参照ピクチャの集合を表わす。

（サブRPSの定義）
RPSは、参照ピクチャの性質に基づいて複数のサブRPSに分割できる。本実施形態では、RPSは以下の５種類のサブRPSから構成される。

（１）前方短期RPS：対象ピクチャを基準とする表示順の相対位置により指定される参照ピクチャであって、対象ピクチャと同一レイヤに属し、かつ、表示順が対象ピクチャより前の参照ピクチャを含むサブRPS。

（２）後方短期RPS：対象ピクチャを基準とする表示順の相対位置により指定される参照ピクチャであって、対象ピクチャと同一レイヤに属し、かつ、表示順が対象ピクチャより後の参照ピクチャを含むサブRPS。

（３）長期RPS：表示順の絶対位置により指定される参照ピクチャであって、対象ピクチャと同一レイヤに属する参照ピクチャを含むサブRPS。

（４）レイヤ間画素RPS：対象ピクチャと異なるレイヤに属し、かつ、レイヤ間予測で画素値が参照される参照ピクチャを含むサブRPS。

（５）レイヤ間動き限定RPS：対象ピクチャと異なるレイヤに属し、かつ、レイヤ間予測で動き情報が参照されて画素値が参照されない参照ピクチャを含むサブRPS。

なお、以下では、前方短期RPSと後方短期RPSの和集合を短期RPSとも称する。つまり、短期RPSは、対象ピクチャを基準とする表示順の相対位置により指定される参照ピクチャであって、対象ピクチャと同一レイヤに属するピクチャを含む。また、レイヤ間画素RPSとレイヤ間動き限定RPSの和集合をレイヤ間RPSとも称する。つまり、レイヤ間RPSは、対象ピクチャと異なるレイヤに属する参照ピクチャ（レイヤ間参照ピクチャ）を含む。

（サブRPSの導出）
サブRPS導出部１４２におけるRPS導出はサブRPS毎に実行される。以下では、前述のサブRPS毎に関連シンタックスを説明するとともに、当該シンタックスからサブRPSを導出する処理を説明する。

（短期RPS）
短期RPS（前方短期RPSと後方短期RPS）に係るシンタックスに、SPSに含まれる短期参照ピクチャセット情報であるSPS短期RPS情報と、スライスヘッダに含まれる短期参照ピクチャセット情報であるSH短期RPS情報がある。

（SPS短期RPS情報）
SPS短期RPS情報は、SPSを参照する各ピクチャにおいて短期SPSとして選択され得る複数の短期RPS候補の情報を含む。なお、短期RPSは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのPOC差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。

SPS短期RPS情報を、図６を参照して説明する。図６は、SPS復号時に利用されるSPSシンタックス表の一部を例示している。図６の（Ａ）の部分がSPS短期RPS情報に相当する。SPS短期RPS情報には、SPSに含まれる短期RPS数（num_short_term_ref_pic_sets）、および、各短期RPSの定義（short_term_ref_pic_set(i)）が含まれる。

短期RPS情報について、図７を参照して説明する。図７は、SPS復号時、および、スライスヘッダ復号時に利用される短期RPSのシンタックス表を例示している。

短期RPS情報には、対象ピクチャより表示順が早い短期参照ピクチャ数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照ピクチャ数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照ピクチャを前方短期参照ピクチャ、対象ピクチャより表示順が遅い短期参照ピクチャを後方短期参照ピクチャと呼ぶ。

また、短期RPS情報には、各前方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。

（SH短期RPS情報）
SH短期RPS情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期RPSの情報を含む。

SPS短期RPS情報の復号について、図８を参照して説明する。図８は、スライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図８の（Ａ）の部分がSH短期RPS情報に相当する。SH短期RPS情報は、短期RPSをSPSで復号済みの短期RPS候補の中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。短期RPS候補から選択する場合、何れか一つの短期RPS候補を選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスヘッダに明示的に含める場合は、前述の図７を参照して説明したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、SPS短期RPS情報に含まれる。

（短期RPS導出処理）
短期RPS情報から短期RPS、すなわち、前方短期RPSと後方短期RPSが導出される。また、後続参照短期RPSも導出される。
・前方短期RPS：SPS短期RPS情報またはSH短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いピクチャを含む。
・後方短期RPS：SPS短期RPS情報またはSH短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより遅いピクチャを含む。
・後続参照短期RPS：現ピクチャでは参照されないが、復号順で現ピクチャに後続するピクチャにおいて参照されえるピクチャを含む。

前方短期RPS（ListStCurrBefore）、後方短期RPS（ListStCurrAfter）、後続参照短期RPS（ListStFoll）を以下の手順で導出する。なお、前方短期RPS、後方短期RPS、および、後続参照短期RPSは、以下の処理の開始前に空に設定されている。
（Ｓ１０１）SPS短期RPS情報、および、SH短期RPS情報に基づいて、対象ピクチャの復号に用いる短期RPS情報を特定する。具体的には、SH短期RPS情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、SH短期RPS情報に含まれるスライスヘッダで明示的に伝送された短期RPSを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期RPS情報に含まれるshort_term_ref_pic_set_idxが示す短期RPSを、SPS短期RPS情報に含まれる複数の短期RPS候補から選択する。
（Ｓ１０２）選択された短期RPSに含まれる参照ピクチャ各々のPOCを導出する。参照ピクチャのPOCは、参照ピクチャが前方短期RPSに属する場合、対象ピクチャのPOCから「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期RPSに属する場合、対象ピクチャのPOCに「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ１０３）短期RPSに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャをListStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照ピクチャをListStFollに追加する。
（Ｓ１０４）短期RPSに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャをListStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０）の場合、当該後方参照ピクチャをListStFollに追加する。

（長期RPS）
長期RPSに係るシンタックスに、SPSに含まれる長期参照ピクチャ情報であるSPS長期RPS情報と、スライスヘッダに含まれる長期参照ピクチャ情報であるSH長期RPS情報がある。

（SPS長期RPS情報）
SPS長期RPS情報は、SPSを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばPOC）により指定される参照ピクチャである。

SPS長期RPS情報の復号について、図６を再び参照して説明する。図６の（Ｂ）の部分がSPS長期RPS情報に相当する。SPS長期RPS情報には、SPSでの長期参照ピクチャ伝送有無を示すフラグ（long_term_ref_pics_present_flag）、SPSで伝送される長期参照ピクチャ数（num_long_term_ref_pics_sps）、および、各長期参照ピクチャの情報が含まれる。長期参照ピクチャの情報には、参照ピクチャのPOC（lt_ref_pic_poc_lsb_sps[i]）、および、長期参照ピクチャが対象ピクチャにおいて参照される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。

なお、上記参照ピクチャのPOCは、参照ピクチャに関連付けられたPOCの値自体であってもよいし、POCのLSB（Least Significant Bit）、すなわち、POCを既定の２の冪乗の数で割った余りの値を用いてもよい。

（SH長期RPS情報）
SH長期RPS情報は、スライスヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。

SH長期RPS情報の復号について、図８を再び参照して説明する。図８の（Ｂ）の部分がSH長期RPS情報に相当する。SH長期RPS情報は、長期参照ピクチャを利用することがフラグ（long_term_ref_pic_present_flag）で示されている場合にスライスヘッダに含まれる。SPS長期RPS情報が１以上の長期参照ピクチャを含む場合（num_long_term_ref_pics_sps>0）、SPSで復号済の長期参照ピクチャの中で対象ピクチャで参照され得る参照ピクチャの数（num_long_term_sps）がSH長期RPS情報に含まれる。また、スライスヘッダで明示的に伝送される長期参照ピクチャ数（num_long_term_pics）がSH長期RPS情報に含まれる。加えて、上記num_long_term_spsの数の長期参照ピクチャをSPS長期RPS情報に含まれる長期参照ピクチャから選択する情報（lt_idx_sps[i]）がSH長期RPS情報に含まれる。さらに、スライスヘッダに明示的に含める長期参照ピクチャの情報として、上記num_long_term_picsの数だけ、参照ピクチャのPOC（poc_lsb_lt [i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。

（長期RPS導出処理）
長期RPS情報から長期RPSが導出される。また、後続参照長期RPSも導出される。
・長期RPS：SPS長期RPS情報またはSH長期RPS情報により指定される現ピクチャ参照可能ピクチャを含む。
・後続参照長期RPS：現ピクチャでは参照されないが、復号順で現ピクチャに後続するピクチャにおいて参照されえる参照ピクチャを含む。

長期RPS（ListLtCurr）、後続参照長期RPS（ListLtFoll）を以下の手順で導出する。なお、長期RPS、および、後続参照長期RPSは、以下の処理の開始前に空に設定されている。
（Ｓ２０１） SPS長期RPS情報、および、SH長期RP情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャを特定する。具体的には、num_long_term_spsの数の参照ピクチャをSPS長期RPS情報に含まれる参照ピクチャの中から選択して、長期RPSに追加すする。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。
（Ｓ２０２）続いて、num_long_term_picsの数のSH長期RPS情報に含まれる参照ピクチャを順に長期RPSに追加する。
（Ｓ２０３）長期RPSに含まれる参照ピクチャ各々のPOCを導出する。長期参照ピクチャのPOCは、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。
（Ｓ２０４）長期RPSに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャをListLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続参照長期RPS（ListLtFoll）に追加する。

（レイヤ間RPS）
レイヤ間画素RPSとレイヤ間動き限定RPSに係るシンタックスに、IL-RPS情報（レイヤ間RPS情報、レイヤ間参照ピクチャセット情報）がある。

（IL-RPS情報）
IL-RPS情報は、スライスヘッダを含むピクチャからレイヤ間予測で参照され得るレイヤ間参照ピクチャの情報を含む。

IL-RPS情報について、図９と図１０を参照して説明する。

図９はVPSに含まれるVPS拡張（vps_extension）の復号時に参照されるシンタックス表の一部であって、IL-RPS情報に相当する部分である。図９に示すように、VPSには、IL-RPS情報に含まれるシンタックスであるmax_one_active_ref_layer_flag、direct_dep_type_len_minus2、direct_dependency_type[i][j]が含まれる。

シンタックスmax_one_active_ref_layer_flagは、任意レイヤの任意ピクチャの復号時に参照されるレイヤの最大値が１以下であるかを示すフラグである。最大値が１以下の場合に当該フラグの値に１、それ以外（最大値が２以上）の場合に当該フラグの値に０が設定される。

シンタックスdirect_dep_type_len_minus2は、シンタックスdirect_dependency_type[i][j]のビット数を表わす値である。direct_dependency_type[i][j]のビット数は（direct_dep_type_len_minus2+2）となる。

シンタックスdirect_dependency_type[i][j]は、“i”で示されるレイヤから“j”で示されるレイヤを参照する際に使用可能なレイヤ間予測の種類を示す値である。以降の説明では、direct_dependency_type[i][j]のことを、対象レイヤ（レイヤi）から参照レイヤ（レイヤj）参照時の依存タイプ、とも称する。また、レイヤiとレイヤjを省略して、依存タイプ（direct_dependency_type）とも称する。

レイヤ間予測の種類にレイヤ間画像予測とレイヤ間動き予測がある場合の依存タイプと各レイヤ間予測の使用可否の関係を図１１に示す。依存タイプが「０」の場合、画素依存であり、かつ、動き依存である。依存タイプが「１」の場合、画素依存であり、かつ、動き依存ではない。依存タイプが「２」の場合、動き依存であり、かつ、画素依存ではない。

ここで、依存タイプが画素依存を示す場合には、対象レイヤiは、参照レイヤjの画素を予測に用いることができる。例えば、レイヤ間画像予測に用いることができる。依存タイプが動き依存を示す場合には、対象レイヤiは、参照レイヤjの動き情報（動きベクトルおよび参照ピクチャインデックス）を予測に用いることができる。例えば、レイヤ間動き予測に用いることができる。レイヤ間画像予測は、参照レイヤの復号画像の画素値を用いて対象ピクチャの予測画像を生成する処理である。また、レイヤ間動き予測は、参照レイヤの動き情報（動きベクトル、参照ピクチャインデックス、インター予測タイプ）を直接または間接的に用いて対象ピクチャの予測画像を生成する処理である。

したがって、依存タイプが「０」の場合は、参照レイヤの復号画素（復号画像の画素値）と動き情報のいずれも対象ピクチャの復号処理で利用される可能性があることを意味する。依存タイプが「１」の場合は、参照レイヤの復号画素は利用される可能性があるが、動き情報は利用される可能性がないことを意味する。依存タイプが「２」の場合は、参照レイヤの動き情報は利用される可能性があるが、復号画素は利用される可能性がないことを意味する。

依存タイプが参照レイヤの復号画素を参照することを示す場合（上記の定義でいえば、依存タイプが「０」または「１」）の場合、依存タイプが画素依存を示すと表現できる。一方、依存タイプが参照レイヤの復号画素を参照しないことを示す場合（上記の定義でいえば、依存タイプが「２」）の場合、依存タイプが画素非依存を示すと表現できる。

同様に、依存タイプが参照レイヤの動き情報を参照することを示す場合（上記の定義でいえば、依存タイプが「０」または「２」）の場合、依存タイプが動き依存を示すと表現できる。一方、依存タイプが参照レイヤの復号画素を参照しないことを示す場合（上記の定義でいえば、依存タイプが「２」）の場合、依存タイプが動き非依存を示すと表現できる。

例えば、対象レイヤiが参照レイヤjの復号画素を用いるか否か（画素依存）を示す画素依存フラグSampleEnableFlag[i][j]、対象レイヤiが参照レイヤjの動き情報を用いるか否か（動き依存）を示す動き依存フラグMotionEnableFlag[i][j]は、以下の式において導出することができる。

SampleEnableFlag[i][j] = (3 - direct_dependency_type[i][j]) & 2) >> 1
MotionEnableFlag[i][j] = (3 - direct_dependency_type[i][j]) & 1)
なお、依存タイプの値の意味は必ずしも上記に限らない。例えば、依存タイプが「０」の場合に画素依存かつ動き非依存を示し、依存タイプが「１」の場合に動き依存かつ画素非依存を示し、依存タイプが「２」の場合に画素依存かつ動き依存を示していてもよい。

この例では、上記、画素依存フラグSampleEnableFlag[i][j]、動き依存フラグMotionEnableFlag[i][j]は以下の式から導出される。

SampleEnableFlag[i][j] = (direct_dependency_type[i][j] + 1) & 1)
MotionEnableFlag[i][j] = (direct_dependency_type[i][j] + 1) & 2) >> 1
また、対象レイヤが、参照レイヤの復号画素および動き情報以外を参照することを示すために、依存タイプによって、画素依存および動き依存以外の依存の種類を示しても良い。例えば、依存の種類には、ブロック分割情報、変換係数情報（変換係数の有無など）、ループフィルタ情報などが可能である。この場合も、画素依存フラグ、動き依存フラグは、上述の式などにより、導出することが可能であり、追加の依存があるか否かを示すフラグ（例えば、ＸＸＸ依存フラグXXXEnableFlag、ＸＸＸは、ブロック分割情報、変換係数情報、ループフィルタ情報など）は以下の式により導出することができる。

XXXEnableFlag[i][j] = (direct_dependency_type[i][j] + 1) & 4) >> 2 図１０はスライスヘッダ復号時に参照されるシンタックス表の一部であって、IL-RPS情報に相当する部分である。

IL-RPS情報は、レイヤ間予測有効フラグ（inter_layer_pred_enabled_flag）を含む。さらに、レイヤ間予測有効フラグが１であり（レイヤ間予測が有効であり）、かつ、対象ピクチャから参照可能な参照レイヤ数（NumDirectRefLayers[nuh_layer_id]）が１より大きい場合、レイヤ間参照ピクチャ数を表すシンタックス（num_inter_layr_ref_pics_minus1）がIL-RPS情報に含まれる。アクティブレイヤ間参照ピクチャ数（NumActiveRefLayerPics）は“num_inter_layer_ref_pics_minus1 + 1”の値に設定される。アクティブレイヤ間参照ピクチャ数は、対象ピクチャにおいてレイヤ間予測により参照可能なレイヤ間参照ピクチャ数に相当する。加えて、各レイヤ間参照ピクチャの属するレイヤを示すレイヤ識別子（inter_layer_pred_layer_idc[i]）がIL-RPS情報に含まれる。

なお、IL-RPS情報に含まれる上記の各シンタックスは、自明である場合は省略されてもよい。例えば、１つのピクチャから参照可能なレイヤ間参照ピクチャ数が１枚に制限されている場合、レイヤ間参照ピクチャ数に係るシンタックスは不要である。

（レイヤ間RPS導出処理）
IL-RPS情報からレイヤ間RPS、すなわちレイヤ間画素RPSとレイヤ間動き限定RPSが導出される。

導出処理の説明に先立って、本実施形態のRPS導出部１４２により導出されるレイヤ間画素RPSとレイヤ間動き限定RPSと依存タイプの関係について図１を用いて説明する。図１はレイヤ間RPSに含まれるサブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）と依存タイプの関係を例示する図である。

図１に示すように、レイヤ間RPSはレイヤ間画素RPSとレイヤ間動き限定RPSの２つのサブRPSを含む。以下、レイヤ識別子がx、依存タイプがyであるレイヤ間参照ピクチャを「LID=x,DT=y」と表記する。図１の例では、レイヤ間RPSは3枚のレイヤ間参照ピクチャ（「LID=0,DT=0」、「LID=1,DT=1」、「LID=3,DT=0」）を含む。レイヤ間動き限定RPSは2枚のレイヤ間参照ピクチャ（「LID=2,DT=2」、「LID=4,DT=2」）を含む。

すなわち、レイヤ間画素RPSは依存タイプが「０」の参照ピクチャと依存タイプが「１」のレイヤ間参照ピクチャを含む。一方、レイヤ間動き限定RPSは依存タイプが「２」のレイヤ間参照ピクチャを含む。換言すると、レイヤ間画素RPSは、復号画素が参照される可能性のあるレイヤ間参照ピクチャを含む。一方、レイヤ間動き限定RPSは、復号画素が参照される可能性のあるレイヤ間参照ピクチャを含まず、動き情報が参照される可能性のあるレイヤ間参照ピクチャを含む。

レイヤ間画素RPS（IL-RPS0）、レイヤ間動き限定RPS（IL-RPS1）の導出手順を図１２を用いて説明する。図１２は、レイヤ間RPSに含まれるサブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）の導出処理を表わすフロー図である。

（Ｓ３０１）レイヤ間画素RPSを表わすリストIL-RPS0、および、レイヤ間動き限定RPSを表わすリストIL-RPS1をそれぞれ空に設定する。

（Ｓ３０２）変数iを「０」に設定する。Ｓ３０３に進む。

（Ｓ３０３）i番目のアクティブレイヤ間参照ピクチャの依存タイプが「０」または「１」の場合（YESの場合）、Ｓ３０４に進む。それ以外の場合（NOの場合）、Ｓ３０５に進む。

（Ｓ３０４）i番目のアクティブレイヤ間参照ピクチャをIL-RPS0（レイヤ間画素RPS）の末尾に追加して、Ｓ３０７に進む。

（Ｓ３０５）i番目のアクティブレイヤ間参照ピクチャの依存タイプが「２」の場合（YESの場合）、Ｓ３０６に進む。それ以外の場合（NOの場合）、Ｓ３０７に進む。

（Ｓ３０６）i番目のアクティブレイヤ間参照ピクチャをIL-RPS1（レイヤ間動き限定RPS）の末尾に追加して、Ｓ３０７に進む。

（Ｓ３０７）iの値がアクティブレイヤ間参照ピクチャ数（NumActiveRefLayerPics）より小さい場合（YESの場合）、Ｓ３０８に進む。それ以外の場合（NOの場合）、処理を終了する。

（Ｓ３０８）変数iの値を１加算して、Ｓ３０３に進む。

以上の処理により、図１を用いて説明した性質を持つレイヤ間画素RPSとレイヤ間動き限定RPSをIL-RPS情報に基づいて導出できる。

なお、Ｓ３０３とＳ３０５の判定は、より一般的には次のように表現できる。

（Ｓ３０３ｒ１）i番目のアクティブレイヤ間参照ピクチャの依存タイプが、レイヤ間参照ピクチャの復号画素が参照される可能性のあることを示す場合（i番目のアクティブレイヤ間参照ピクチャに対応する参照ピクチャのSampleEnableFlagが1の場合）、Ｓ３０４に進む。それ以外の場合、Ｓ３０５に進む。

（Ｓ３０５ｒ１）i番目のアクティブレイヤ間参照ピクチャの依存タイプが、レイヤ間参照ピクチャの動き情報が参照される可能性のあることを示す場合（i番目のアクティブレイヤ間参照ピクチャに対応する参照ピクチャのSampleEnableFlagが０かつMotionEnableFlagが1の場合）、Ｓ３０６に進む。それ以外の場合、Ｓ３０７に進む。 上記の図１２を用いて説明したレイヤ間画素RPSとレイヤ間動き限定RPSの導出方法はあくまで一例である。レイヤ間画素RPSとレイヤ間動き限定RPSが特定の性質、すなわち、レイヤ間画素RPSは復号画素が参照される可能性のあるレイヤ間参照ピクチャを含み、また、レイヤ間動き限定RPSは復号画素が参照される可能性のあるレイヤ間参照ピクチャを含まず、動き情報が参照される可能性のあるレイヤ間参照ピクチャを含む、という性質を満たす限りにおいては、異なる方法で導出しても構わない。

なお、上記では、レイヤ間画素RPSとレイヤ間動き限定RPSのサブRPSを導出したが、レイヤ間画素RPSとレイヤ間画素非依存RPSのサブRPSを導出しても良い。この場合、Ｓ３０３とＳ３０５の判定を、各々、以下の判定Ｓ３０３ｒ２とＳ３０５ｒ２に置き換える。

（Ｓ３０３ｒ２）i番目のアクティブレイヤ間参照ピクチャの依存タイプが、レイヤ間参照ピクチャの復号画素が参照される可能性のあることを示す場合（i番目のアクティブレイヤ間参照ピクチャに対応する参照ピクチャのSampleEnableFlagが1の場合）、Ｓ３０４に進む。それ以外の場合、Ｓ３０５に進む。

（Ｓ３０５ｒ２）i番目のアクティブレイヤ間参照ピクチャの依存タイプが、レイヤ間参照ピクチャの復号画素が参照されることを示さない場合（i番目のアクティブレイヤ間参照ピクチャに対応する参照ピクチャのSampleEnableFlagが０の場合）、Ｓ３０６に進む。それ以外の場合、Ｓ３０７に進む。

なお、依存タイプの種類が、画素依存と動き依存の２つのみの場合は、レイヤ間動き限定RPSとレイヤ間画素非依存RPSは等しくなる。

＜参照ピクチャ制御部１４３＞
参照ピクチャ制御部１４３は、入力されるRPSに基づいて、DPB１４１を更新する。概略的には、参照ピクチャ制御部１４３は、入力されたRPSにおいて 対象ピクチャ（現ピクチャ）のインター予測で参照可能と示されているピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」）に設定する。加えて、DPBに記録されている対象レイヤの復号ピクチャであって、前記の処理で「参照使用」とマークされないピクチャを「参照不使用」に設定する。なお、DPB上のレイヤ間参照ピクチャの参照マークは参照ピクチャ制御部１４３では変更しない。言い換えると、ベース復号ピクチャに由来するDPB上のピクチャの参照マークの変更は参照ピクチャ制御部１４３では行わず、後述のベース参照ピクチャ制御部１４４で行う。

＜ベース参照ピクチャ制御部１４４＞
ベース参照ピクチャ制御部１４４は、入力されるベース復号ピクチャとRPSに基づいて、DPB１４１を更新する。概略的には、ベース参照ピクチャ制御部１４４は、入力されたRPSにおいて 対象ピクチャ（現ピクチャ）のレイヤ間インター予測で参照可能と示されているピクチャに対応するベース復号ピクチャをDPBに記録する。加えて、DPB上で当該ピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」に設定する。加えて、DPB上で当該ピクチャの出力マークを「出力不要」に設定する。

なお、ベース復号ピクチャを記録する際に、必要に応じてスケーリングやフィルタリングを適用した後に前記ピクチャバッファに記録してもよい。特に、参照レイヤと対象レイヤの出力ピクチャの解像度が異なる場合（空間スケーラビリティの場合）、参照レイヤの復号ピクチャであるベース復号ピクチャを、対象レイヤの出力ピクチャの解像度に合わせてスケーリングする必要がある。

＜RPL導出部１４５＞
RPL導出部１４５は、入力RPS、および、入力シンタックス値に含まれるRPL情報に基づいて対象ピクチャの対象スライスのインター予測またはレイヤ間予測で利用する参照ピクチャリストを導出して出力する。

（RPL情報）
RPL情報は、参照ピクチャリストRPLを構築するためにSPSまたはスライスヘッダより復号されるシンタックス値である。RPL情報は、SPSリスト修正情報、および、SHリスト修正情報から構成される。

SPSリスト修正情報はSPSに含まれる情報であり、参照ピクチャリスト修正の制約に係る情報である。SPSリスト修正情報について、図６を再び参照して説明する。図６の（Ｃ）の部分がSPSリスト修正情報に相当する。SPSリスト修正情報には、ピクチャに含まれる前スライスで参照ピクチャリストが共通か否かを示すフラグ（restricted_ref_pic_lists_flag）、および、スライスヘッダ内にリスト並べ替えに関する情報が存在するか否かを示すフラグ（lists_modification_present_flag）が含まれる。

ＳＨリスト修正情報はスライスヘッダに含まれる情報であり、対象ピクチャに適用される参照ピクチャリストの長さ（参照リスト長）の更新情報、および、参照ピクチャリストの並べ替え情報（参照リスト並べ替え情報）が含まれる。SHリスト修正情報について、図１３を参照して説明する。図１３はスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図１３の（Ｃ）の部分がＳＨリスト修正情報に相当する。

参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_ref_idx_active_override_flag）が含まれる。加えて、Ｌ０参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l0_active_minus1）、および、Ｌ１参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l1_active_minus1）が含まれる。

参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図１４を参照して説明する。図１４はスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。

参照リスト並べ替え情報には、Ｌ０参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l0）が含まれる。前記フラグの値が１（Ｌ０参照リストの並べ替えが有る場合）、かつ、NumPocTotalCurrが２より大きい場合、Ｌ０参照リスト並べ替え順序（list_entry_l0[i]）が参照リスト並べ替え情報に含まれる。ここで、NumPocTotalCurrは、現ピクチャにおいて利用可能な参照ピクチャの数を表す変数である。したがって、Ｌ０参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ０参照リスト並べ替え順序がスライスヘッダに含まれる。

同様に、参照ピクチャがＢスライスである場合、つまり、対象ピクチャにおいてＬ１参照リストが利用可能である場合、Ｌ１参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l1）が参照リスト並べ替え情報に含まれる。前記フラグの値が１、かつ、NumPocTotalCurrが２より大きい場合、Ｌ１参照リスト並べ替え順序（list_entry_l1[i]）が参照リスト並べ替え情報に含まれる。言い換えると、Ｌ１参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ１参照リスト並べ替え順序がスライスヘッダに含まれる。

（RPL導出処理）
参照ピクチャリスト導出処理（RPL導出処理）の詳細を説明する。参照ピクチャリスト導出部は、参照ピクチャセットRPSと、RPL修正情報に基づいて、対象ピクチャの復号に用いる参照ピクチャリストRPLを生成する。

参照ピクチャリストにはＬ０参照リストとＬ１参照リストの２つのリストがある。各参照ピクチャリスト導出の説明に先立って、導出処理の過程で生成される暫定Ｌ０参照リストと暫定Ｌ１参照リストの特徴を図１５を用いて説明しておく。図１５は、RPL導出部１４５におけるＬ０参照リストとＬ１参照リスト導出の中間過程で生成される暫定Ｌ０参照リストと暫定Ｌ１参照リストの概略を示す図である。

図１５（ａ）に示すように、暫定Ｌ０参照リストは、リストの先頭から順に（優先度の高い順に）前方短期RPS（図中でStBef）、レイヤ間画素RPS（図中でILSample）、後方短期RPS（図中でStAft）、長期RPS（図中でLt）、レイヤ間動き限定RPS（図中でILMotion）の順にサブRPSを含む。

図１５（ｂ）に示すように、暫定Ｌ１参照リストは、リストの先頭から順に（優先度の高い順に）後方短期RPS（図中でStAft）、前方短期RPS（図中でStBef）、長期RPS（図中でLt）、レイヤ間画素RPS（図中でILSample）、レイヤ間動き限定RPS（図中でILMotion）の順にサブRPSを含む。

つまり、RPL導出部１４５にて生成される暫定参照リスト（暫定参照Ｌ０参照リストおよび暫定Ｌ１参照リスト）は、レイヤ間画素RPSを、レイヤ間動き限定RPSに較べて、よりリストの先頭に近い位置に含んでいる。換言すると、暫定参照リストは、レイヤ間画素RPSを、レイヤ間動き限定RPSに較べてより高い優先度に対応する位置に含んでいる。

続いて、Ｌ０参照リストとＬ１参照リストの導出手順を説明する。Ｌ０参照リストは、以下のＳ４０１〜Ｓ４０９に示す手順で構築される。

（Ｓ４０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。

（Ｓ４０２）暫定Ｌ０参照リストに対し、前方短期RPSに含まれる参照ピクチャを順に追加する。

（Ｓ４０３）暫定Ｌ０参照リストに対し、レイヤ間画素RPSに含まれる参照ピクチャを順に追加する。

（Ｓ４０４）暫定Ｌ０参照リストに対し、後方短期RPSに含まれる参照ピクチャを順に追加する。

（Ｓ４０５）暫定Ｌ０参照リストに対し、長期RPSに含まれる参照ピクチャを順に追加する。

（Ｓ４０６）暫定Ｌ０参照リストに対し、レイヤ間動き限定RPSに含まれる参照ピクチャを順に追加する。

（Ｓ４０７）参照ピクチャリストが修正される場合（RPL修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ４０８に進む。それ以外の場合（lists_modification_present_flagの値が０の場合）、Ｓ４０９に進む。

（Ｓ４０８）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照ピクチャインデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。

RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ０参照リストのrIdxの位置の参照ピクチャとして格納する。

（Ｓ４０９）暫定Ｌ０参照リストをＬ０参照リストとする。

次にＬ１参照リストの構築手順を説明する。Ｌ１参照リストの構築は、以下のＳ５０１〜Ｓ５０９に記載の手順で実行される。

（Ｓ５０１）暫定Ｌ１参照リストを生成して、空のリストに初期化する。

（Ｓ５０２）暫定Ｌ１参照リストに対し、後方短期RPSに含まれる参照ピクチャを順に追加する。

（Ｓ５０３）暫定Ｌ１参照リストに対し、前方短期RPSに含まれる参照ピクチャを順に追加する。

（Ｓ５０４）暫定Ｌ１参照リストに対し、長期RPSに含まれる参照ピクチャを順に追加する。

（Ｓ５０５）暫定Ｌ１参照リストに対し、レイヤ間画素RPSに含まれる参照ピクチャを順に追加する。

（Ｓ５０６）暫定Ｌ１参照リストに対し、レイヤ間動き限定RPSに含まれる参照ピクチャを順に追加する。

（Ｓ５０７）参照ピクチャリストが修正される場合（RPL修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ５０８に進む。それ以外の場合（lists_modification_present_flagの値が０の場合）、Ｓ５０９に進む。

（Ｓ５０８）参照リスト並べ替え順序list_entry_l1 [i]の値に基づいて、暫定Ｌ１参照リストの要素を並べ換えて、Ｌ１参照リストとする。参照ピクチャインデックスrIdxに対応するＬ１参照リストの要素RefPicList1[rIdx]は、次式により導出される。ここで、RefListTemp1[i]は、暫定Ｌ１参照リストのi番目の要素を表す。

RefPicList1[ rIdx ] = RefPicListTemp1[ list_entry_l1[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l1[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ１参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ１参照リストのrIdxの位置の参照ピクチャとして格納する。

（Ｓ５０９）暫定Ｌ１参照リストをＬ１参照リストとする。

上記の参照ピクチャリスト導出手順によれば、参照ピクチャリスト（参照リストＬ０と参照リストＬ１）が、対応する暫定参照リスト（暫定参照リストＬ０と暫定参照リストＬ１）をRPL修正情報に基づいて選択および並べ替えることにより生成される。その際、暫定参照リストは、レイヤ間画素RPSを、レイヤ間動き限定RPSに較べてより高い優先度に対応する位置に含んでいる。言い換えると、暫定参照リストは、レイヤ間画素RPSを、レイヤ間動き限定RPSに較べてよりリストの先頭に近い位置に含んでいる。

RPL修正情報が並べ替えを行わないことを示す場合、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャが、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャ較べて参照ピクチャリストの先頭に近い位置（より小さい参照ピクチャインデックスに対応する位置）に関連付けられる。したがって、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャを、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャ較べてより小さい値の参照ピクチャインデックスで指定できる。レイヤ間画素RPSに含まれるレイヤ間参照ピクチャは、レイヤ間画素予測に使われる可能性のあるレイヤ間参照ピクチャである。一方、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャは、レイヤ間画素予測に使われる可能性はなく、レイヤ間動き予測に使われる可能性のあるレイヤ間参照ピクチャである。一般に、レイヤ間画像予測に用いる参照ピクチャを指定するための参照ピクチャインデックスの方が、レイヤ間動き予測に用いる参照ピクチャを指定するための参照ピクチャインデックスに較べてより多数含まれている。例えば、前者は予測単位毎に含まれるのに対し、後者はスライス毎に含まれる。したがって、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャを、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャに較べて小さい参照ピクチャインデックスを割り当てて、より少ない符号量で指定できるようにすることで、符号化データ全体の符号量を低減できる。

RPL修正情報が並べ変えを行うことを示す場合、参照リスト並べ替え情報（list_entry_l0、list_entry_l1）により暫定参照リスト中の位置を指定することで、暫定参照リストを並べ替えて参照リストを生成する。この場合、参照ピクチャリストの先頭に並べ替えられる可能性の高い参照ピクチャを、より小さい値の参照リスト並べ替え情報で指定できるようにすることで、RPL修正情報の符号量を削減できる。暫定参照リストでは、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャが、参照ピクチャリストの先頭に並べ替えられる可能性のより低いレイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャに較べて、暫定参照リストの先頭に近い位置にあるため、より小さい値の参照リスト並べ替え情報で指定できる。したがって、上記手順で導出した暫定参照リストを用いることで、RPL修正情報の符号量を低減できる。

加えて、上記の暫定参照リストは、動き限定RPSを暫定参照リストの末尾に含んでいる。また、上記の暫定参照リストは、動き限定RPSを短期RPSよりもリストの後方に近い位置に含んでいる。動き限定参照リストに含まれるレイヤ間参照ピクチャは、同一レイヤ内のインター予測に係るサブRPSである短期RPSや長期RPSに含まれる参照ピクチャよりも選択頻度が低いため、上記のように暫定参照リストを構成することで、参照ピクチャの選択に係る情報をより少ない符号量で復号できる。

なお、レイヤ間画素RPSとレイヤ間動き限定RPSのサブRPSの代わりに、レイヤ間画素RPSとレイヤ間画素非依存RPSのサブRPSを導出する場合には、上記、参照ピクチャリスト導出処理（RPL導出処理）において、レイヤ間動き限定RPSを、レイヤ間画素非依存RPSに読み替えて処理する。より具体的には、Ｓ４０６とＳ５０６の処理を以下の処理に置き換える。

（Ｓ４０６ｒ２）暫定Ｌ０参照リストに対し、レイヤ間画素非依存RPSに含まれる参照ピクチャを順に追加する。

（Ｓ５０６ｒ２）暫定Ｌ１参照リストに対し、レイヤ間画素非依存RPSに含まれる参照ピクチャを順に追加する。

これにより、暫定参照リストは、レイヤ間画素RPSを、レイヤ間画素非依存RPSに較べてより高い優先度に対応する位置に含んでいる。言い換えると、暫定参照リストは、レイヤ間画素RPSを、レイヤ間画素非依存RPSに較べてよりリストの先頭に近い位置に含んでいる。また、上記の暫定参照リストは、画素非依存限定RPSを暫定参照リストの末尾に含んでいる。また、上記の暫定参照リストは、画素非依存RPSを短期RPSよりもリストの後方に近い位置に含んでいる。

上述のように、レイヤ間画像予測に用いる参照ピクチャを指定するための参照ピクチャインデックスは予測単位毎に含まれるため、一般の場合においても、レイヤ間画像予測以外の予測（例えば、動き情報依存の場合のレイヤ間動き予測）の場合に、参照ピクチャを指定するための参照ピクチャインデックスよりも、多数含まれると考えられる。従って、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャを、レイヤ間画素非依存RPSに含まれるレイヤ間参照ピクチャに較べて小さい参照ピクチャインデックスを割り当てて、より少ない符号量で指定できるようにすることで、符号化データ全体の符号量を低減できる。

＜出力制御部１４６＞
出力制御部１４６は、概略的には、所定のタイミングでDPB141のピクチャを外部に出力するとともに出力マークを更新する。具体的には、出力制御部１４６によるピクチャ出力処理は次の手順で実行される。

まず、DPB上のピクチャであって、出力マークが「出力要」であるピクチャのうちPOCが最小であるピクチャを出力する。次に、出力されたピクチャの出力マークを「出力不要」に設定する。最後に、DPB上のピクチャの中から、参照マークが「参照不使用」であり、かつ、出力マークが「出力不要」であるピクチャを選択して、当該ピクチャをDPBから削除する。

（ベース復号部）
図１６を用いて、ベース復号部１５の詳細構成を説明する。図１６は、ベース復号部１５の構成について例示した機能ブロック図である。

図１６に示すように、ベース復号部１５は、可変長復号部１５１、ベースピクチャ復号部１５３、ベース復号ピクチャ管理部１５４を備える。

可変長復号部１５１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種符号化パラメータ（代表的には変換係数、予測情報、RPS情報、RPL情報）に係る各種シンタックス値を復号する。可変長復号部１５１が復号する予測情報および変換係数のシンタックスは、図４の可変長復号部１２と同様であるため詳細説明は省略する。

可変長復号部１５１は、復号したシンタックス値をベースピクチャ復号部１５３およびベース復号ピクチャ管理部１５４に供給する。

ベースピクチャ復号部１５３は、参照レイヤ上の対象ピクチャに関するスライスヘッダ、予測情報、および、変換係数に係るシンタックス値に基づいて、参照レイヤ上の対象ピクチャの復号ピクチャ（ベース復号ピクチャ）を復号して出力される。なお、ベースピクチャ復号部１５３におけるベース復号ピクチャ復号処理は、図４のピクチャ復号部１３におけるピクチャ復号処理と同様であるため詳細説明は省略する。

ベース復号ピクチャ管理部１５４は、入力されるベース復号ピクチャを内部のDPBに記録するとともに、入力されるシンタックス値に基づいて参照ピクチャリスト生成や出力するベース復号ピクチャの決定を行う。生成された参照ピクチャリストはベースピクチャ復号部１５３に出力され、ベース復号ピクチャは外部に出力される。なお、ベース復号ピクチャ管理部１５４における処理は、図４の復号ピクチャ管理部１４における処理と同様であり詳細説明は省略する。

（動画像復号装置１の効果）
以上説明した本実施形態に係る階層動画像復号装置１は、RPS導出部１４２を備えており、前記RPS導出部は、復号画素（復号画像の画素値）が参照される可能性のあるレイヤ間参照ピクチャを含むレイヤ間画素RPS（依存タイプが画素依存のサブRPS）と、復号画素が参照される可能性のないレイヤ間参照ピクチャを含むレイヤ間動き限定RPS（依存タイプが画素非依存のサブRPS）を導出する。また、階層動画像復号装置１は、RPL導出部１４５を備えており、前記RPL導出部は、レイヤ間画素RPSがレイヤ間動き限定RPSに較べてリスト先頭に近い位置にある暫定参照リストを生成し、当該暫定参照リストに基づいて参照リストを生成する。したがって、階層動画像復号装置１は、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャを指定する参照ピクチャインデックスが少ない符号量で符号化された符号化データを復号できる。

より一般には、階層動画像復号装置１を次のように表現できる。すなわち、階層動画像復号装置１は第一のサブRPS（レイヤ間画素RPS）と第二のサブRPS（レイヤ間動き限定RPS）を導出するRPS導出部を備え、上記第一のサブRPSが含むレイヤ間参照ピクチャの復号画素が利用される頻度は、上記第二のサブRPSが含むレイヤ間参照ピクチャの復号画素が利用される頻度に較べて低い。したがって、階層動画像復号装置１は、上記第一のサブRPSに含まれるレイヤ間参照ピクチャを、上記第二のサブRPSに含まれるレイヤ間参照ピクチャに較べてより少ない符号量で選択できるよう暫定参照リストにおけるサブRPSの並び順を設定することで、符号化データの符号量を低減できる。

［変形例１：サブRPS定義の別の例］
上記の階層動画像復号装置１の説明では、RPS導出部１４２においてレイヤ間RPSとしてレイヤ間画素RPSとレイヤ間動き限定RPSを導出する例を挙げたが、それに限らない。以下で別のレイヤ間RPSを導出する例を記載する。

（１−１．レイヤ間画素動きRPSとレイヤ間限定RPS）
レイヤ間RPSとレイヤ間動き限定RPSの代わりに、レイヤ間画素動きRPSとレイヤ間限定RPSを導出する。図１７は、レイヤ間画素動きRPSとレイヤ間限定RPSを例示する図である。図１７に示すように、レイヤ間画素動きRPSは、依存タイプが「０」のレイヤ間参照ピクチャを含む。一方、レイヤ間限定RPSは、依存タイプが「１」または「２」のレイヤ間参照ピクチャを含む。換言すると、レイヤ間画素動きRPSは、復号画素と動き情報の両方が参照される可能性のあるレイヤ間参照ピクチャを含む。一方、レイヤ間限定RPSは、復号画素、または、動き情報の何れか一方のみが参照される可能性のあるレイヤ間参照ピクチャを含む。

RPL導出部１４５では、暫定参照リストにおいて、レイヤ間画素動きRPSが、レイヤ間限定RPSよりもリスト先頭に近い位置に設定する。

一般に、レイヤ間の依存関係を設定する場合、対象レイヤと近い性質を有するレイヤに対して復号画素と動き情報の両方が参照できるように設定する場合が多い。そのため、レイヤ間画素動きRPSに含まれるレイヤ間参照ピクチャは、復号画素と動き情報の何れか一方のみしか参照されない、レイヤ間限定RPSに含まれるレイヤ間参照ピクチャに較べて、より高い頻度でレイヤ間画像予測の参照ピクチャとして選択される可能性が高い。したがって、レイヤ間画素RPSとレイヤ間動き限定RPSを用いる場合と同様に、参照ピクチャインデックスの符号量を低減できる。

なお、レイヤ間限定RPS内では、依存タイプが「１」のレイヤ間参照ピクチャが、依存タイプが「２」のレイヤ間参照ピクチャに較べて、よりサブRPS内の先頭に近い位置に置くことが好ましい。これは、復号画素が参照されるレイヤ間参照ピクチャが、動き情報が参照されるレイヤ間参照ピクチャに較べて、レイヤ間予測で選択される頻度が高いためである。なお、必ずしも、全ての依存タイプが「１」のレイヤ間参照ピクチャが、全ての依存タイプが「２」のレイヤ間参照ピクチャよりもサブRPS内で前に位置する必要はなく、平均的に前に位置すれば効果は得られる。

（１−２．３種類以上のサブRPS）
レイヤ間RPSとして３種類以上のサブRPSを導出してもよい。例えば、レイヤ間画素動きRPSとレイヤ間画素限定RPSとレイヤ間動き限定RPSを導出する。図１８は、レイヤ間画素動きRPSとレイヤ間画素限定RPSとレイヤ間動き限定RPSを例示する図である。図１８に示すように、レイヤ間画素動きRPSは、依存タイプが「０」のレイヤ間参照ピクチャを含む。また、レイヤ間画素限定RPSは、依存タイプが「１」のレイヤ間参照ピクチャを含む。また、レイヤ間動き限定RPSは、依存タイプが「２」のレイヤ間参照ピクチャを含む。換言すると、レイヤ間画素動きRPSは、復号画素と動き情報の両方が参照される可能性のあるレイヤ間参照ピクチャを含む。他方、レイヤ間画素限定RPSは復号画素のみが参照される可能性のあるレイヤ間参照ピクチャを含む。他方、他方、レイヤ間動き限定RPSは動き情報のみが参照される可能性のあるレイヤ間参照ピクチャを含む。

RPL導出部１４５では、暫定参照リストにおいて、レイヤ間画素動きRPSが、レイヤ間画素限定RPSよりもリスト先頭に近い位置に設定する。加えて、レイヤ間画素限定RPSが、レイヤ間動き限定RPSよりもリスト先頭に近い位置に設定する。必ずしも全ての暫定参照リストにおいて、上記の位置にサブRPSを設定する必要はないが、少なくとも一つのサブRPSでは、上記の位置にサブRPSを設定することが好ましい。

上記の例によれば、性質の異なる３種類のサブRPS（レイヤ間画素動きRPS、レイヤ間画素限定RPS、レイヤ間動き限定RPS）を、参照頻度の高い順に並べて暫定参照リストを構築できるため、符号量を低減できる。

（１−３．別の性質との組み合わせ）
依存タイプにより特定されるレイヤ間参照の種別とは別の性質を組み合わせてレイヤ間RPSに分類されるサブRPSを構築してもよい。例えば、ビュースケーラビリティを用いる場合に、参照レイヤに対応する視点位置と対象レイヤに対する視点位置の相対関係によるサブRPSの分類と、依存タイプに基づくサブRPSの分類を組み合わせてもよい。さらに具体的な例を挙げると、一つのサブRPSを依存タイプを、「２」のレイヤ間参照ピクチャ（動き情報のみ利用）を除く視点位置が基礎視点（ベースビュー）と同じ方向に位置するレイヤ間参照ピクチャから構成する。もう一方のサブRPSを上記以外のレイヤ間参照ピクチャ（視点位置がベースビューと反対側、または、依存タイプが「２」のレイヤ間参照ピクチャ）から構成する。

図１９は、参照レイヤに対応する視点位置と対象レイヤに対する視点位置の相対関係によるサブRPSの分類と、依存タイプに基づくサブRPSの分類を組み合わせる場合のサブRPSを例示する図である。図１９に示すように、レイヤ間サブRPS0は、視点位置が基礎視点と同じ側（図中でVD=0）、かつ、依存タイプが「０」または「１」（図中でDT=0またはDT=1）のレイヤ間参照ピクチャを含む。一方、レイヤ間サブRPS1は、それ以外のレイヤ間参照ピクチャ、例えば、視点位置が基礎視点と反対側（図中でVD=1）のレイヤ間参照ピクチャや、依存タイプが「２」（図中でDT=2）のレイヤ間参照ピクチャを含む。

RPL導出部１４５では、暫定参照リストにおいて、上記レイヤ間サブRPS0（視点位置が基礎視点と同じ側で、かつ、復号画素を利用可能なレイヤ間参照ピクチャを含むサブRPS）を、上記レイヤ間サブRPS1（視点位置が基礎視点と反対側、または、動き情報のみを利用可能なレイヤ間参照ピクチャを含むサブRPS）よりもリスト内で前に位置するように設定する。必ずしも全ての暫定参照リストにおいて、レイヤ間サブRPS0をレイヤ間サブRPS1よりも前に設定する必要はないが、少なくとも一部の暫定参照リストにおいてそのように設定することが好ましい。

上記の例によれば、選択頻度の比較的低い、動き情報のみを利用可能なレイヤ間参照ピクチャを含むサブRPSであるサブRPS1が、サブRPS0に対して暫定参照リストにおいて後方に設定される。したがって、選択頻度が比較的高いサブRPS0に属するレイヤ間参照ピクチャの選択に係る符号量を低減できる。

なお、レイヤ間サブRPS1内におけるレイヤ間参照ピクチャの並べ順において、依存タイプ「２」のレイヤ間参照ピクチャを、他のレイヤ間参照ピクチャより後にする順序にすることが好ましい。

さらに、２つの参照ピクチャリストが存在する場合、Ｐスライスで使用される参照ピクチャリスト（例えばSHVCにおけるＬ０参照ピクチャリスト）を構築するための暫定参照リストにおいて、上記の順番でサブRPSの位置を設定することが好ましい。

Ｐスライスで使用される参照ピクチャリストは、他方の参照ピクチャリストに較べて使用頻度が高いため、レイヤ間サブRPSの順番を上記のように設定することで符号量を低減できる。

（１−４．スケーラビリティに関するピクチャ種別に基づくサブRPS）
対象レイヤと参照レイヤのスケーラビリティに関するピクチャの種別（スケーラビリティID）に基づいてレイヤ間サブRPSを導出してもよい。ここで、スケーラビリティIDは、用いられるスケーラビリティ（デプススケーラビリティ、ビュースケーラビリティ、空間/SNRスケーラビリティ）及びその組み合わせに応じて、対象レイヤに付加されるピクチャの種別を示すＩＤである。例えば、ビュースケーラビリティの場合には、ピクチャに付随する視点を区別することが必要になり、この視点を区別するためのＩＤであるビューＩＤが、スケーラブルＩＤとなる（ビューＩＤがスケーラブルとしてレイヤに付加される）。デプススケーラビリティの場合にはピクチャが、デプスであるかテクスチャであるかを区別する必要があるため、デプスであるか否かを示すデプスフラグがスケーラブルＩＤとなる。また、空間/ＳＮＲスケーラビリティの場合には、スケーラビリティIDの一つは、依存ＩＤとなる。なお、複数のスケーラビリティが用いられる場合（例えば、デプススケーラブルかつビュースケーラブルの場合）には、スケーラビリティIDは、使用されるスケーラブルの数分（例えば、デプスフラグとビュＩＤの２個）のスケーラブルＩＤが各々のレイヤに付加される。

対象レイヤのスケーラビリティＩＤは、例えばVPSで伝送されるシンタックスdimension_id[i][j]として伝送される。dimension_id[i][j]は、レイヤｉに対して定義されているｊ番目のスケーラビリティＩＤである。例えば、デプススケーラビリティとビュースケーラビリティが用いられる場合には、最初（j=0）のスケーラビリティＩＤは、デプスフラグを示し、次の(j=1)のスケーラビリティＩＤはビューＩＤを示す。すなわち、デプスフラグDepthFlagと、ビューＩＤ(ViewID)は次の式により導出される。

DepthFlag = dimension_id[i][0]
ViewID = dimension_id[i][1]
なお、スケーラブルＩＤ（デプスフラグ、ビューＩＤ、依存ＩＤ）は、dimension_id[i][j]で伝送される方法の他、ＮＡＬユニットヘッダに付加されるレイヤＩＤなどから導出しても良い。

本実施形態のRPS導出部１４２は、対象レイヤと参照レイヤのスケーラブルＩＤが同じであるか異なるかに応じて、レイヤ間サブRPSを導出する。具体的には、参照レイヤのスケーラブルＩＤと対象レイヤのスケーラブルＩＤが等しい場合には、レイヤ間参照ピクチャをIL-RPS0（同一スケーラブルRPS）に設定し、参照レイヤのスケーラブルＩＤと対象レイヤのスケーラブルＩＤが異なる場合には、レイヤ間参照ピクチャをIL-RPS1（異スケーラブルRPS）に設定する。

ここで、複数のスケーラビリティが用いられる場合、（例えば、デプススケーラブルかつビュースケーラブルの場合）には、一つのレイヤに複数のスケーラブルＩＤが付加される。この場合には、複数のスケーラブルＩＤから一つのスケーラブルＩＤを選択して、対象レイヤと参照レイヤのスケーラブルＩＤが等しいか否かの一致判定を行う。このとき、複数のスケーラブルＩＤとして、以下のＩＤが付加されている場合には、次のスケーラブルＩＤを優先して、スケーラブルＩＤの一致判定に用いる。

デプススケーラビリティ（デプスフラグ）、ビュースケーラビリティ（ビューＩＤ）、空間/SNRスケーラビリティ（依存ＩＤ）
また、一致判定に用いるスケーラブルＩＤを、パラメータセット（ＶＰＳ）で伝送しても構わない。この場合、例えば、dimension_id[i][j]を、レイヤｉに対して定義されているｊ番目のスケーラビリティＩＤとして伝送する場合、一致判定に用いるスケーラブルＩＤのインデックスを判定用ＩＤ（reference_picture_order_decision_id）をパラメータセットから復号し、RPS導出部１４２は、dimension_id[i][reference_picture_order_decision_id]で示されるＩＤを用いて上記、一致判定を行う。また、reference_picture_order_decision_idに応じて、例えば値が０であれば、デプスフラグ、値が１であればビューＩＤ、値が２であれば依存ＩＤを用いて判定を行っても良い。

特に、スケーラブルＩＤとして、デプススケーラビリティがあれば、デプススケーラビリティに対応するスケーラブルＩＤ（デプスフラグ）を用いることが好適である。

参照ピクチャリスト導出処理（RPL導出処理）において、本実施形態のRPL導出部１４５は、同一スケーラブルRPSを、異スケーラブルRPSに較べて、よりリストの先頭に近い位置に含むように暫定参照リスト（暫定参照Ｌ０参照リストおよび暫定Ｌ１参照リスト）を導出する。換言すると、暫定参照リストは、同一スケーラブルRPSを、異スケーラブルRPSに較べてより高い優先度に対応する位置に含んでいる。より具体的には、図１５を参照して説明した暫定参照リスト導出処理におけるＳ４０３、Ｓ４０６、Ｓ５０５、Ｓ５０６の処理を以下の処理に置き換える。

（Ｓ４０３ｒ３）暫定Ｌ０参照リストに対し、同一スケーラブルRPSに含まれる参照ピクチャを順に追加する。

（Ｓ４０６ｒ３）暫定Ｌ０参照リストに対し、異スケーラブルRPSに含まれる参照ピクチャを順に追加する。

（Ｓ５０５ｒ３）暫定Ｌ１参照リストに対し、同一スケーラブルRPSに含まれる参照ピクチャを順に追加する。

（Ｓ５０６ｒ３）暫定Ｌ１参照リストに対し、異スケーラブルRPSに含まれる参照ピクチャを順に追加する。

一般に、スケーラブルＩＤが異なる場合には、スケーラブルＩＤが同じ場合よりも、復号画素および符号化パラメータ（動き情報、ブロック分割情報、変換係数情報、ループフィルタ情報）の相関が小さい、従って、復号画像および符号化パラメータを、予測のために、参照ピックチャから参照する場合において、対象ピクチャとスケーラブルＩＤが同じ（同一スケーラブルRPSに含まれる）参照ピクチャの方が、対象ピクチャとスケーラブルＩＤが異なる（異なスケーラブルRPSに含まれる）参照ピクチャよりも選択頻度が高い。レイヤ間参照ピクチャの選択に係る情報（例えば参照ピクチャインデックス）の符号量は、参照ピクチャリストの前方に位置する参照ピクチャの方が小さくなる。

上記のRPL導出処理によれば、選択頻度の比較的低い、対象ピクチャとスケーラブルＩＤが異なるレイヤ間参照ピクチャを含むサブRPSであるサブRPS1が、サブRPS0に対して暫定参照リストにおいて後方に設定される。したがって、選択頻度が比較的高いサブRPS0に属するレイヤ間参照ピクチャの選択に係る符号量を低減できる。特に、
上記のRPL導出処理は、サブRPSの区分けを行うスケーラブルＩＤがデプススケーラビリティに関する値である場合（デプスフラグに応じてサブRPSを導出する場合）に特に有効である。つまり、対象ピクチャと参照ピクチャのデプスフラグが等しい場合には、同一スケーラブルRPS（同一デプスフラグRPS）とし、対象ピクチャと参照ピクチャのデプスフラグが異なる場合には、異スケーラブルRPS（異デプスフラグRPS）とし、同一デプスフラグRPSを、異デプスフラグRPSに較べて、よりリストの先頭に近い位置に含むように暫定参照リスト（暫定参照Ｌ０参照リストおよび暫定Ｌ１参照リスト）を導出する構成が好適である。

また、上記のRPL導出処理によれば、異スケーラブルRPSを短期RPSよりもリストの後方に近い位置に含める。また、上記の暫定参照リストは、異スケーラブルRPSを暫定参照リストの末尾に含める。この構成は、サブRPSの区分けを行うスケーラブルＩＤがデプススケーラビリティに関する値である場合（デプスフラグに応じてサブRPSを導出する場合）に特に有効である。

対象ピクチャと参照ピクチャのビュースケーラビリティのスケーラビリティＩＤが異なる場合（ビューＩＤが異なる場合）や、対象ピクチャと参照ピクチャの空間/SNRスケーラビリティのスケーラビリティＩＤが異なる場合（解像度や量子化ステップ、ビット深度が異なる場合）にも、対象レイヤと参照レイヤの間で、画素間の依存性は比較的高い。しかしながら、対象ピクチャと参照ピクチャのデプススケーラビリティのスケーラビリティＩＤが異なる場合、には、対象レイヤがデプスであり、参照レイヤがテクスチャである場合、もしくは、対象レイヤがテクスチャであり、参照レイヤがデプスである場合であるには、画素間の相関は低い。これは、テクスチャの場合には、対象オブジェクトの明るさや色に応じて画素値が定まり、デプスの場合には、対象オブジェクトの奥行きに応じて画素値が定まるためである。なお、オブジェクトの動きを示す動き情報や、オブジェクト境界の位置に依存するその他の符号化パラメータの相関は比較的高い。

レイヤ間画像予測に用いる参照ピクチャを指定するための参照ピクチャインデックスは予測単位毎に含まれる（高頻度で符号化される）ため、画素間の相関が低いピクチャを、参照ピクチャリストの前方に配置すると、参照ピクチャインデックスの符号量が大きくなるという問題が生じる。従って、画素間の相関が低い対象レイヤと参照レイヤのデプスフラグが異なる場合の異スケーラブルRPS（異デプスフラグRPS）を、画素間の相関が高い短期RPSよりも方向に配置することで符号量が低減できる。また、同じレイヤに属する短期RPS、長期RPS、及び、同一スケーラブルRPSに含まれる参照ピクチャは全てデプスフラグが等しいため、異デプスフラグRPSに含まれる参照ピクチャよりも画素間の相関が高いと考えら得る。従って、相関の低い異デプスフラグRPSを暫定参照リストの末尾に含めることで符号量の低減が可能である。

（１−５．スケーラビリティタイプに基づくサブRPS）
対象レイヤと参照レイヤの間のスケーラビリティの種別（スケーラビリティタイプ）に基づいてレイヤ間サブRPSを導出してもよい。対象レイヤと参照レイヤの間のスケーラビリティタイプは、例えばVPSで伝送されるシンタックスdimension_id[i][j]として伝送される。dimension_id[i][j]は、レイヤｉに対して定義されているｊ番目のスケーラビリティの種類を示す値であり、例えば、ｊ番目のスケーラビリティとしてｊについて「０」がデプススケーラビリティ、「１」がビュースケーラビリティ、「２」が空間またはＳＮＲスケーラビリティを示す。

レイヤ間サブRPSは、例えば、ビューRPSとしてビュースケーラビリティを示す参照レイヤ（対象レイヤとビューＩＤが異なる参照レイヤ）に属する参照ピクチャを含むサブRPSを生成し、SNR空間RPSとして空間またはＳＮＲスケーラビリティを含むサブRPS（対象レイヤと依存ＩＤが異なる参照レイヤ）を生成できる。

また、参照レイヤkのスケーラビリティタイプが奥行き情報（デプスフラグが１）を示し、かつ、対象レイヤがテクスチャ情報（デプスフラグが０）である場合に、前記参照レイヤkに含まれる参照ピクチャを含むサブRPS（奥行き情報RPS）を生成してもよい。その場合、前記奥行き情報RPSは、他のサブRPSに対して暫定参照リスト内で後方に設定することが好ましい。なぜならば、奥行き情報の性質は通常のテクスチャ情報と異なるため、奥行き情報RPSに含まれる参照ピクチャの選択頻度が低いためである。逆に、参照レイヤkのスケーラビリティタイプがテクスチャ情報（デプスフラグが０）を示し、かつ、対象レイヤが奥行き情報（デプスフラグが１）である場合も、前記参照レイヤkに含まれる参照ピクチャを含むサブRPS（テクスチャ情報RPS）を生成してもよい。その場合、前記テクスチャ情報RPSは、他のサブRPSに対して暫定参照リスト内で後方に設定することが好ましい。この場合も、テクスチャ情報の性質は、通常のデプス情報と異なるため、テクスチャ情報RPSに含まれる参照ピクチャの選択頻度が低いためである。

［変形例２：サブRPSの並べ替え］
上記の階層動画像復号装置１の説明では、RPL導出部１４５における暫定参照リストの生成時に、レイヤ間サブRPSを規定の順序で並べることで暫定参照リストを生成する例を挙げたが、それに限らない。暫定参照リスト内のサブRPSの順序に係る情報（サブRPS順序情報）を伝送して、当該サブRPS順序情報に基づいて暫定参照リストを構築してもよい。符号化対象の入力動画像の特性に合わせて異なるサブRPS順序を適用することで、サブRSP順序が固定の場合に較べて、より少ない符号量で参照ピクチャの選択に係る情報を符号化できるため、符号化データの符号量を低減できる。以下、サブRPS順序情報を伝送する例を説明する。

なお、以下では、階層動画像復号装置１で図１を用いて説明したレイヤ間サブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）を例として説明を記載する。なお、本変形例に記載する技術は、上記以外のレイヤ間サブRPS定義を用いる場合にも適用可能であり、同様の効果を奏する。例えば、変形例１で説明した各種のレイヤ間サブRPS定義に対しても適用できる。

（２−１．レイヤ間サブRPSの先頭への移動）
特定のレイヤ間サブRPSを暫定参照リスト内で先頭に配置するか否かを示すフラグ（レイヤ間サブRPS先頭フラグ）を伝送し、当該フラグの値に基づいて暫定参照リストを設定できる。

レイヤ間サブRPS先頭フラグは、パラメータセット（VPSまたはSPS）に含まれるフラグであって、レイヤ毎に伝送される。なお、ベースレイヤにはレイヤ間参照ピクチャが存在しないため、レイヤ間サブRPS先頭フラグのシグナルを省略することが好ましい。

レイヤ間サブRPS先頭フラグが「０」の場合、規定の順序でサブRPSを並べて暫定参照リストを生成することを意味する。具体的には、RPL導出部１４５は、図１５を用いて説明した方法で暫定参照リスト（暫定Ｌ０参照リスト、および、暫定Ｌ１参照リスト）を生成する。

レイヤ間サブRPS先頭フラグが「１」の場合、レイヤ間画素RPSを暫定Ｌ０参照リストの先頭に配置することを示す。具体的には、レイヤ間サブRPS先頭フラグが「０」の場合と同じ並び順で暫定Ｌ０参照リストを構築した後に、レイヤ間画素RPSを暫定参照リストの先頭に配置する。生成される暫定参照リストの例を図２０に示す。図２０はレイヤ間サブRPS先頭フラグが「１」の場合に生成される暫定参照リストを例示する図である。レイヤ間画素RPSが、暫定Ｌ０参照リストの先頭に配置されている。

なお、レイヤ間サブRPS先頭フラグが「１」の場合、に暫定Ｌ０参照リスト、および、暫定Ｌ１参照リストの両方でレイヤ間画素RPSを先頭に配置してもよい。

一般に、同一レイヤ内の参照ピクチャ（例えば前方短期RPSに含まれる参照ピクチャ）は、レイヤ間参照ピクチャ（例えばレイヤ間画素RPSに含まれる参照ピクチャ）に較べて選択頻度が高い。しかしながら、スケーラビリティの種類や、入力動画像の性質によっては、レイヤ間参照ピクチャの選択頻度が高くなる場合もある。したがって、そのような場合に、上記のレイヤ間サブRPS先頭フラグを用いることで、暫定参照リスト内で選択頻度の比較的高いレイヤ間参照ピクチャを前方に配置できるため、レイヤ間参照ピクチャの選択に係る情報（例えば参照ピクチャインデックス）をより少ない符号量で符号化できるため、符号化データの符号量を低減できる。

なお、上記の例では２種類あるレイヤ間サブRPSのうち、レイヤ間画素RPSを暫定参照リストの先頭に配置すると説明した。一般に、複数のレイヤ間サブRPSが存在する場合、選択頻度が比較的高いレイヤ間参照ピクチャを含むレイヤ間サブRPSの位置が先頭か否かを、レイヤ間サブRPS先頭フラグで指定することが好ましい。換言すると、既定の暫定参照リスト生成方法（レイヤ間サブRPS先頭フラグが「０」の場合の暫定参照リスト生成方法）において、暫定参照リスト内で最も先頭に近い位置にあるレイヤ間サブRPSを対象として、当該レイヤ間サブRPSが暫定参照リストの先頭か否かの情報をレイヤ間サブRPS先頭フラグで伝送することが好ましい。

なお、レイヤ間サブRPS先頭フラグが「１」の場合に、必ずしも全ての暫定参照リストで特定のレイヤ間サブRPSを先頭に配置する必要はない。少なくとも一つの暫定参照リストにおいて、特定のレイヤ間サブRPSが先頭に配置されていれば、効果が得られる。

また、参照ピクチャリストの種類毎に独立にレイヤ間サブRPS先頭フラグを伝送しても構わない。例えば、暫定Ｌ０参照リストに対するレイヤ間サブRPS先頭フラグと、暫定Ｌ１参照リストに対するレイヤ間サブRPS先頭フラグをそれぞれ伝送し、各フラグの値に基づいて、暫定Ｌ０参照リストと暫定Ｌ１参照リストを設定してもよい。

（２−２．レイヤ間サブRPSの入れ替え）
複数のレイヤ間サブRPSの順序を暫定参照リスト内で入れ替えるか否かを示すフラグ（レイヤ間サブRPS順序交換フラグ）を伝送し、当該フラグの値に基づいて暫定参照リストを設定できる。

レイヤ間サブRPS順序交換フラグは、パラメータセット（VPSまたはSPS）に含まれるフラグであって、レイヤ毎に伝送される。なお、ベースレイヤにはレイヤ間参照ピクチャが存在しないため、レイヤ間サブRPS順序交換フラグのシグナルを省略することが好ましい。

レイヤ間サブRPS順序交換フラグが「０」の場合、規定の順序でサブRPSを並べて暫定参照リストを生成することを意味する。具体的には、RPL導出部１４５は、図１５を用いて説明した方法で暫定参照リスト（暫定Ｌ０参照リスト、および、暫定Ｌ１参照リスト）を生成する。

レイヤ間サブRPS順序交換フラグが「１」の場合、２つのレイヤ間サブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）の暫定参照リスト内での順序を交換することを示す。具体的には、レイヤ間サブRPS順序交換フラグが「０」の場合と同じ並び順で暫定参照リストを構築した後に、レイヤ間画素RPSとレイヤ間動き限定RPSの順序を交換する。生成される暫定参照リストの例を図２１に示す。図２１はレイヤ間サブRPS順序交換フラグが「１」の場合に生成される暫定参照リストを例示する図である。既定の順序でレイヤ間動き限定RPSの前方にあったレイヤ間画素RPSが、レイヤ間動き限定RPSの後方に設定されている。

一般に、復号画素が利用不可能であり、かつ、動き情報が参照可能なレイヤ間参照ピクチャ（例えばレイヤ間動き限定RPSに含まれる参照ピクチャ）の選択頻度は低い。しかしながら、メモリの低減を目的として、特定のピクチャに対して、レイヤ間画像予測を禁止する場合がある。そのような場合、レイヤ間画像予測が利用できないため、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャの選択頻度が、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャに較べて高くなる。したがって、そのような場合に、上記のレイヤ間サブRPS順序交換フラグを用いることで、暫定参照リスト内で選択頻度の比較的高いレイヤ間参照ピクチャ（この場合、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャ）を前方に配置できるため、レイヤ間参照ピクチャの選択に係る情報（例えば参照ピクチャインデックス）をより少ない符号量で符号化できるため、符号化データの符号量を低減できる。

なお、レイヤ間サブRPSが３以上ある場合には、複数のレイヤ間サブRPS順序交換フラグを伝送してもよいし、特定の２つのレイヤ間サブRPS（例えば、既定の暫定参照リストの順序で先頭に近い２つのレイヤ間サブRPS）に対してのみレイヤ間サブRPS順序交換フラグを伝送してもよい。

（２−３．一般的表現）
複数のレイヤ間サブRPSの順序を明示的に指定する情報（レイヤ間サブRPS順序情報）を伝送し、当該情報に基づいて暫定参照リストを設定できる。

レイヤ間サブRPS順序情報は、パラメータセット（VPSまたはSPS）に含まれる情報である。レイヤ間サブRPS順序情報に係るシンタックスは対応するシンタックス表に基づいて可変長復号部１２において符号化データより復号される。図２２は、レイヤ間サブRPS順序情報の復号に係るシンタックス表の一部を示す。

図２２に示すように、レイヤ間サブRPS順序情報は、サブRPS並べ替え有効フラグ（sub_rps_reorder_enabled_flag）を含む。サブRPS並べ替え有効フラグが「０」の場合、サブRPS並べ替えが無効であることを示す。サブRPS並べ替え有効フラグが「１」の場合（真の場合）、サブRPS並べ替えが有効であることを示す。サブRPS並べ替えが有効である場合、以降に説明するシンタックスが追加で復号される。なお、サブRPS並べ替え有効フラグは省略して、常に残りのレイヤ間サブRPS順序情報を復号してもよい。サブRPS並べ替え有効フラグを用いることで、典型的なケースである、サブRPS並べ替えを行わない場合の符号量のオーバーヘッドを低減できるため、好ましい。

レイヤ間サブRPS順序情報は、サブRPSの最大数（MaxNumSubRps）が２より大きい場合（MaxNumSubRps>2の場合）、並べ替え対象サブRPS個数を示すシンタックス（num_reordered_sub_rps_minus2）を復号する。実際の並べ替え対象サブRPS個数（NumReorderedSubRps）はシンタックスnum_reoredered_sub_rps_minus2に２を加算した値に設定される。num_reoredered_sub_rps_minus2が伝送されない場合、num_reoredered_sub_rps_minus2の値は０と推定される。なお、サブRPS最大個数の値に係らず、並べ替え対象サブRPS個数を示すシンタックスを復号してもよいが、サブRPS最大個数が２より大きい場合のみ復号することで符号量を削減できる。

次に、並べ替え対象サブRPS個数分のサブRPS位置（sub_rps_position[i]）が復号される。ここで、０からNumReorderedSubRps-1の範囲のｉに対応するシンタックスsub_rps_position[i]が復号される。NumReorderedSubRpsからMaxNumSubRps-1の範囲のｉに対応するsub_rps_position[i]の値は伝送されず、sub_rps_position[i]の値はｉと推定される。これは、NumReorderedSubRpsからMaxNumSubRps-1の範囲のサブRPSの並べ替えを実行しないことを意味する。なお、０からMaxNumSubRps-1の範囲のサブRPS（全てのサブRPS）に対してサブRPSを明示的に伝送してもよい。しかしながら、０からNumReorderedSubRps-1の範囲のｉにのみサブRPSを明示的に伝送する方が、例えば典型的なケースである２つのサブRPSの順序のみを入れ替える場合に、より少ない符号量でサブRPS位置を伝送できるため、好ましい。

次にRPL導出部１４５において、前述のレイヤ間サブRPS順序情報に基づいて暫定参照リストを導出する手順を説明する。なお、前提として、レイヤ間サブRPSには、暫定参照リスト内での既定位置を表わす番号（既定位置番号）が割り当てられているものとする。既定位置番号は０から始まる昇順の整数であって、暫定参照リスト内での既定の位置が先頭に近いレイヤ間サブRPSほど小さい番号が対応付けられている。例えば、暫定参照リスト内での既定位置が先頭に近い方から順に３つのレイヤ間サブRPS（IL-subRPS0、IL-subRPS1、IL-subRPS2）がある場合、IL-subRPS0の既定位置番号は「０」、IL-subRPS1の既定位置番号は「１」、IL-subRPS2の既定位置番号は「２」となる。

サブRPS位置（sub_rps_position[i]）は、既定位置番号が「ｉ」のレイヤ間参照ピクチャの、サブRPS並べ替え適用後の暫定参照リスト内の位置を示す。例えば、IL-subRPS0のサブRPS位置が「２」、IL-subRPS1のサブRPS位置が「１」、IL-subRPS2のサブRPS位置が「０」の場合、並べ替え後の暫定参照リストでは、リスト前方に近い方から、IL-subRPS2、IL-subRPS1、IL-subRPS0の順にレイヤ間サブRPSが含まれている。

上記の変形例によると、複数のレイヤ間サブRPSの暫定参照リスト内での並び順を、符号化データより復号されたサブRPS位置を用いて変更できる。入力動画像の特性に応じて、より選択頻度の高いサブRPSが暫定参照リスト内で先頭に近い位置に設定できるため、参照ピクチャ選択に係る情報をより少ない符号量で復号できるため、符号化データの符号量を低減できる。

なお、上記の説明ではレイヤ間サブRPSの位置のみを並べ替える例を挙げたが、同一レイヤ内の参照ピクチャを含むRPS（例えば、前方短期RPS、後方短期RPS、長期RPS）を含めた位置を指定してサブRPSを並べ替えることで暫定参照リストを生成してもよい。

（２−４．スケーラビリティタイプに基づくサブRPSの並べ替え）
複数のレイヤ間サブRPSの順序を暫定参照リスト内で並べ替える情報を追加で伝送せず、レイヤ間のスケーラビリティの種類を示すスケーラビリティタイプに基づいてレイヤ間サブRPSの順序を決定して暫定参照リストを設定できる。

例えば、対象レイヤと参照レイヤの間のスケーラビリティの種類がビュースケーラビリティの場合に、当該スケーラビリティの種類が空間スケーラビリティの場合に較べて、レイヤ間サブRPSがリストの前方に位置するように暫定参照リストを生成してもよい。

ビュースケーラビリティの場合、対象レイヤと参照レイヤの解像度が等しいため、両レイヤの解像度が異なる空間スケーラビリティの場合に較べて、レイヤ間参照ピクチャの選択頻度が高い。したがって、ビュースケーラビリティの場合に、レイヤ間参照ピクチャを含むレイヤ間サブRPSを暫定参照リスト内で前方に近い位置に設定することで、参照ピクチャ選択に係る情報をより少ない符号量で復号できるため、符号化データの符号量を低減できる。

なお、ビュースケーラビリティの場合だけではなく、ＳＮＲスケーラビリティの場合にも同様の技術が利用できる。すなわち、対象レイヤと参照レイヤの間のスケーラビリティの種類がＳＮＲスケーラビリティの場合に、当該スケーラビリティの種類が空間スケーラビリティの場合に較べて、レイヤ間サブRPSがリストの前方に位置するように暫定参照リストを生成してもよい。

一般に、レイヤ間予測の精度（選択率）がより高くなるスケーラビリティの種類の場合に、レイヤ間予測の精度が低いスケーラビリティの種類に較べて、レイヤ間サブRPSがリストの前方に位置するように暫定参照リストを生成することが好ましい。

〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図２３を参照して説明する。

（２−５．サブRPS情報の伝送位置）
上記の２−１から２−３に示した例ではサブRPS順序情報（レイヤ間サブRPS先頭、フラグレイヤ間サブRPS順序交換フラグ、レイヤ間サブRPS順序情報）をパラメータセット（VPSまたはSPS）で伝送すると記載したが、それに限らない。例えば、ピクチャパラメータセットやスライスヘッダに含めて伝送しても構わない。

しかしながら、階層動画像復号装置がスライス単位やピクチャ単位で参照ピクチャリスト内の参照ピクチャの並び替えを行う機能を有する場合、複数のピクチャやスライスに共通して適用可能であるパラメータセット（VPSやSPS）においてサブRPS順序情報を伝送することが好ましい。パラメータセットでサブRPS単位の並べ替え情報を伝送し、スライスやピクチャで参照ピクチャ単位の並べ替え情報を伝送することで、より少ない符号量の符号化データから参照ピクチャ選択に係る情報を復号できる。 （階層動画像符号化装置の構成）
図２３を用いて、階層動画像符号化装置２の概略構成を説明する。図２３は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。

図２３に示すように階層動画像符号化装置２は、ピクチャ符号化部２１、可変長符号化部２２、ＮＡＬ多重化部２３、復号ピクチャ管理部１４、および、ベース復号部１５を備える。

ピクチャ符号化部２１は、入力画像ＰＩＮ＃Ｔを符号化して対応するシンタックス値を生成して出力する。また、同時に出力したシンタックス値を用いて復号処理を行うことで復号ピクチャを生成して出力する。ピクチャ符号部２１は、シンタックス値または復号ピクチャの生成に、入力される参照ピクチャリストを利用したインター予測またはレイヤ間画像予測を用いる。

可変長符号化部は、入力されるシンタックス値を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔとして出力する。

ＮＡＬ多重化部２３は、入力される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。

復号ピクチャ管理部１４は、既に説明した階層動画像復号装置１の備える復号ピクチャ管理部１４と同一の構成要素である。ただし、階層動画像符号化装置２の備える復号ピクチャ管理部１４では、DPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略できる。なお、階層動画像復号装置１の復号ピクチャ管理部１４の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置２の復号ピクチャ管理部１４にも適用できる。

ベース復号部１５は、既に説明した階層動画像復号装置１の備えるベース復号部１５と同一の構成要素であり、詳細説明は省略する。

（動画像符号化装置２の効果）
以上説明した本実施形態に係る階層動画像符号化装置２は、ピクチャ管理部１４内にRPS導出部１４２を備えており、前記RPS導出部は、復号画素（復号画像の画素値）が参照される可能性のあるレイヤ間参照ピクチャを含むレイヤ間画素RPSと、復号画素が参照される可能性のあるレイヤ間参照ピクチャを含まず、かつ、動き情報が参照される可能性のあるレイヤ間参照ピクチャを含むレイヤ間動き限定RPSを導出する。また、階層動画像符号化装置２は、ピクチャ管理部１４内にRPL導出部１４５を備えており、前記RPL導出部は、レイヤ間画素RPSがレイヤ間動き限定RPSに較べてリスト先頭に近い位置にある暫定参照リストを生成し、当該暫定参照リストに基づいて参照リストを生成する。したがって、階層動画像復号装置１は、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャを指定する参照ピクチャインデックスが少ない符号量で符号化して符号化データを生成できる。

（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。

図２４に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図２４の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。

図２４の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。

送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２４の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図２４の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２４の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。

受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２４の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。

図２５に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図２５の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。

図２５の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２５の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。

図２５の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２５の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２５の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。

（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用できる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用できる。

１ 階層動画像復号装置（画像復号装置）
１１ ＮＡＬ逆多重化部
１２ 可変長復号部
１３ ピクチャ復号部
１４ 復号ピクチャ管理部
１４１ ＤＰＢ
１４２ ＲＰＳ導出部
１４３ 参照ピクチャ制御部
１４４ ベース参照ピクチャ制御部
１４５ ＲＰＬ導出部
１４６ 出力制御部
１５ ベース復号部
１５１ 可変長復号部
１５３ ベースピクチャ復号部
１５４ ベース復号ピクチャ管理部
２ 階層動画像符号化装置（画像符号化装置）
２１ ピクチャ符号化部
２２ 可変長符号化部
２３ ＮＡＬ多重化部

Claims (9)

1. 階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、
   参照ピクチャセットを導出するＲＰＳ導出部を備え、
   上記ＲＰＳ導出部は、上記参照ピクチャセットを構成するサブＲＰＳとして、少なくとも第一のサブＲＰＳと、第二のサブＲＰＳを導出し、
   上記第一のサブＲＰＳは、画素依存のレイヤ間参照ピクチャを含み、
   上記第二のサブＲＰＳは、画素非依存のレイヤ間参照ピクチャを含むことを特徴とする画像復号装置。
2. 参照ピクチャリストを導出するＲＰＬ導出部を備え、
   上記ＲＰＬ導出部は、上記第一のサブＲＰＳが上記第二のサブＲＰＳに較べてリスト前方に位置する暫定参照リストを少なくとも一つ生成し、該暫定参照リストに基づいて上記参照ピクチャリストを導出することを特徴とする請求項１に記載の画像復号装置。
3. 上記ＲＰＳ導出部は、上記参照ピクチャセットを構成するサブＲＰＳとして、さらに、前方短期ＲＰＳ、後方短期ＲＰＳを導出し、
   上記ＲＰＬ導出部は、上記第二のサブＲＰＳを、上記、前方短期ＲＰＳ、後方短期ＲＰＳよりも後方に位置する暫定参照リストを少なくとも一つ生成し、該暫定参照リストに基づいて上記参照ピクチャリストを導出することを特徴とする請求項２に記載の画像復号装置。
4. 上記第一のサブＲＰＳは、関連付けられた依存タイプが、画素依存かつ動き依存を示し、
   上記第二のサブＲＰＳは、関連付けられた依存タイプが、画素非依存かつ動き依存を示すことを特徴とする、請求項１から請求項３に記載の画像復号装置。
5. 上記暫定参照リスト内のサブＲＰＳ順序に係るサブＲＰＳ順序情報を復号する可変長復号部を備え、
   上記ＲＰＬ導出部は、上記サブＲＰＳ順序情報に基づいて、上記暫定参照リストを生成することを特徴とする請求項２または請求項３に記載の画像復号装置。
6. 上記サブＲＰＳ順序情報は、複数のピクチャから参照可能であるパラメータセットに含まれていることを特徴とする請求項５に記載の画像復号装置。
7. 上記サブＲＰＳ順序情報は、レイヤ間サブＲＰＳを上記暫定参照リストの先頭に設定するか否かを示すフラグを含むことを特徴とする請求項５または請求項６に記載の画像復号装置。
8. 上記サブＲＰＳ順序情報は、上記第一のサブＲＰＳと上記第二のサブＲＰＳの暫定参照リスト内での位置として、既定の暫定参照リスト内での位置を用いるか、既定の暫定参照リスト内での位置に対して上記第一のサブＲＰＳと上記第二のサブＲＰＳを入れ替えた位置を用いるかを示すフラグを含むことを特徴とする請求項５または請求項６に記載の画像復号装置。
9. 入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、
   参照ピクチャセットを導出するＲＰＳ導出部を備え、
   上記ＲＰＳ導出部は、上記参照ピクチャセットを構成するサブＲＰＳとして、少なくとも第一のサブＲＰＳと、第二のサブＲＰＳを導出し、
   上記第一のサブＲＰＳは、画素依存のレイヤ間参照ピクチャを含み、
   上記第二のサブＲＰＳは、画素非依存のレイヤ間参照ピクチャを含むことを特徴とする画像符号化装置。