JP2015035642A

JP2015035642A - 画像復号装置、および画像符号化装置

Info

Publication number: JP2015035642A
Application number: JP2013152608A
Authority: JP
Inventors: 知宏猪飼; Tomohiro Igai; 貴也山本; Takaya Yamamoto; 山本　智幸; Tomoyuki Yamamoto; 智幸山本
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2013-07-10
Filing date: 2013-07-23
Publication date: 2015-02-19

Abstract

【課題】符号化処理、または、復号処理におけるメモリを削減する。
【解決手段】階層動画像復号装置１は、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号するＮＡＬユニットヘッダ復号部を備えている。
【選択図】図１８

Description

本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。

通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。

動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている。

これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

イントラ予測では、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。

インター予測では、ピクチャ間の動き補償により予測画像が生成される。インター予測で予測画像生成に用いられる復号済のピクチャは参照ピクチャと呼ばれる。

HEVCでは、60fpsのコンテンツを30fpsで再生する場合のような、時間的に間引いたフレームレートで再生する場合を想定してテンポラルスケーラブルのための技術が用いられている。具体的には、各ピクチャに時間識別子(TemporalID、サブレイヤ識別子とも呼ばれる)を割り当て、時間識別子の高いピクチャは、その時間識別子よりも小さい時間識別子のピクチャを参照しない、という制約を課している。これにより、特定の時間識別子のピクチャのみを間引いて再生する場合には、それよりも高い時間識別子が付加されたピクチャの復号は不要になる。

また、近年、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術が提案されている。代表的な階層符号化方式の一つとしてSHVC（Scalable HEVC）およびMV-HEVC(MultiView HEVC)が知られている。

SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う（非特許文献２）。

MV-HEVCでは、視点スケーラビリティをサポートする。例えば、視点画像０（レイヤ０）、視点画像１（レイヤ１）、視点画像２（レイヤ２）の３つの視点画像を符号化する場合、下位レイヤ（レイヤ０）から、上位レイヤである視点画像１、視点画像２をレイヤ間予測により予測することによりレイヤ間の冗長性の除去が可能である。

レイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、下位レイヤの復号画像を利用して、予測画像を生成する。レイヤ間動き予測では、下位レイヤの動き情報を利用して、動き情報の予測値を導出する。

SHVCおよびMV-HEVCでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。

SHVCおよびMV-HEVCでは、非特許文献３に示すような、レイヤ単位で、レイヤ間予測に用いる最大サブレイヤmax_tid_il_ref_pics_plus1を指定し、その最大サブレイヤmax_tid_il_ref_pics_plus1以上（max_tid_il_ref_pics_plus1 - 1より大きい）の時間識別子のピクチャは、レイヤ間予測で参照されない技術が用いられている。これにより、時間識別子が所定の時間識別子よりも大きい下位レイヤのピクチャは、レイヤ間予測で用いることがないので、上位レイヤを復号する場合において、復号を省略することができる。レイヤ間予測で用いられない場合においても、同じレイヤの後続のピクチャで参照する場合には、時間識別子が大きいピクチャも復号する必要がある。実際には、同じレイヤの後続のピクチャで参照する場合は、参照するピクチャの時間識別子は、所定の時間識別子と同じか、より大きい時間識別子を備えるが、これらピクチャもまた、レイヤ間予測に用いることがないため、上位レイヤのみを復号する場合には、所定の時間識別子より大きいピクチャの復号は不要となる。

また、シーケンス全体において、参照に使用し得るレイヤに関する情報はVPSで符号化されるが、個々のピクチャでは参照しないことがある。そのため、ピクチャ単位で、参照するレイヤ数及び、どのレイヤを参照するかどうかを示す情報を符号化する技術が知られている。

JCTVC-M1008_v3 「SHVC Working Draft 2」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR, 18-26 Apr. 2013 (２０１３年６月１４日公開) JCTVC-D1004_v4 「MV-HEVC Draft 4」, Joint Collaborative Team on Video Coding (JCT-3V) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Incheon, KR, 20-26 Apr. 2013 (２０１３年６月２４日公開) JCTVC-L0449 「Design Considered for Signalling Inter-layer Prediction Indication」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013 (２０１３年１月２２日公開)

しかしながら、従来技術では、ピクチャ単位で付加される時間識別子が、異なるレイヤ間で一致することが保障されていないため、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能であるとは限らない。そのため、間引き再生中にあるレイヤ（例えば低解像度のレイヤ）から、別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像１であるレイヤ１）を同じ間引き再生において、再生することができないという課題があった。

また、同じアクセスユニットの別のレイヤの時間識別子をどのように設定するかについて、明確にされていなかった。

また、所定の時間識別子より大きい時間識別子のサブレイヤにおいて、視点間予測を禁止する最大サブレイヤの指定がレイヤ単位であるため、全てのレイヤで同じ最大サブレイヤを指定する場合にもレイヤ単位で最大サブレイヤを復号する必要があるため、冗長な符号を復号する必要があるという課題があった。

また、全てのレイヤで同じ最大サブレイヤを指定する場合には、時間識別子が当該最大サブレイヤよりも大きい場合には、レイヤ間予測が行われないため、ピクチャ単位で符号化される参照レイヤ数や参照レイヤの指定は不要であるにも関わらず、それら情報を符号化する必要があるという課題があった。

また、実依存レイヤ情報がテンポラルＩＤ（ＴＩＤ）およびレイヤ間予測最大ＴＩＤによらずに復号されるため、実際には参照されない依存レイヤから、実依存レイヤ（レイヤ間参照ピクチャ、レイヤ間予測ピクチャ）を選択することになり、実依存レイヤを示す実依存レイヤ情報が冗長であるという課題がある。

本発明は、上記課題を鑑みてされたものであり、その目的は、階層符号化方式において、ピクチャ単位で付加される時間識別子がレイヤ間で一致していること示すフラグを符号化することにより、該フラグが真の場合は、間引き再生中にあるレイヤから、別のレイヤに再生を変えることや、複数の視点を同じ間引き再生において再生することが可能となる仕組みを提供することにある。

また、最大サブレイヤが全てのレイヤで同じであることを示すフラグを符号化することにより、冗長な符号の符号化を回避することが可能となる画像符号化装置および画像復号装置を実現することにある。さらに、全てのレイヤで同じ最大サブレイヤを指定する場合に、時間識別子が当該最大サブレイヤよりも大きいピクチャに関しては、参照レイヤ数や参照レイヤの指定を省略することで、符号化効率が向上する画像符号化装置および画像復号装置を実現することにある。

また、ＴＩＤおよびレイヤ間予測最大ＴＩＤに応じて、実依存レイヤ情報を符号化・復号することにより、符号化効率が向上する画像符号化装置および画像復号装置を実現することにある。

本発明の１実施形態の画像復号装置によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。

上記の構成の画像復号装置によれば、同じアクセスユニットに属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生中にあるレイヤ（例えば低解像度のレイヤ）から、別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）を同じ間引き再生において、再生することができるという効果を奏する。

本発明の１実施形態の画像復号装置によれば、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。

上記の構成の画像復号装置によれば、レイヤ間サブレイヤアライメントフラグが１の場合には、同じアクセスユニットに属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生中にあるレイヤ（例えば低解像度のレイヤ）から、別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）を同じ間引き再生において、再生することができるという効果を奏する。

本発明の１実施形態の画像復号装置によれば、パラメータセットから少なくともプロファイルを復号するパラメータセット復号部を備え、前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像のプロファイルを示す場合には、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。

本発明の１実施形態の画像復号装置によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部を備え、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。

上記の構成の画像復号装置によれば、同じ表示時刻に属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤがＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である場合には、他のレイヤもＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である。そのため、どのレイヤにおいても、同じタイミングであるサブレイヤから、より上位のサブライヤに移行することができる（間引き再生中から非間引き再生に移行するなど間引きの粒度を下げることができる）という効果を奏する。

本発明の１実施形態の画像復号装置によれば、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻（アクセスユニット）に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。

本発明の１実施形態の画像復号装置によれば、パラメータセットから少なくともプロファイルを復号するパラメータセット復号部を備え、前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像のプロファイルを示す場合には、ベースレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。

本発明の１実施形態の画像復号装置によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間予測最大ＴＩＤを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのレイヤ間予測最大ＴＩＤより小さいＴＩＤを有するピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、パラメータセット復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合には、全てのレイヤに共通のレイヤ間予測最大ＴＩＤを割り当て、共通のレイヤ間予測最大ＴＩＤが用いられないと判定される場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。

上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤが用いられる場合にはレイヤ毎にレイヤ間予測最大ＴＩＤの復号を行う必要がないため、冗長なフラグの復号を削減する効果を奏する。

本発明の１実施形態の画像復号装置によれば、上記パラメータセット復号部は、レイヤ間予測最大ＴＩＤアライメントフラグを復号し、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、１つのレイヤ間予測最大ＴＩＤを復号し、全てのレイヤに復号した１つのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間予測最大ＴＩＤアライメントフラグが０の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。

本発明の１実施形態の画像復号装置によれば、パラメータセット復号部は、共通レイヤ間予測最大ＴＩＤを復号し、共通レイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号した共通レイヤ間予測最大ＴＩＤを割り当て、共通レイヤ間予測最大ＴＩＤが所定の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。

本発明の１実施形態の画像復号装置によれば、上記パラメータセット復号部は、レイヤ間サブレイヤアライメントフラグを復号し、レイヤ間サブレイヤアライメントフラグが１、かつ、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号したベースレイヤのレイヤのレイヤ間予測最大ＴＩＤを割り当て、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。

本発明の１実施形態の画像復号装置によれば、上記画像復号装置は、さらに、レイヤ間予測が可能であるか否かを示すフラグであるレイヤ間予測可能フラグを復号するレイヤ間予測可能フラグ復号部を備え、上記レイヤ間予測可能フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測可能フラグを復号し、それ以外の場合には、レイヤ間予測可能フラグを０に設定することを特徴とする。
上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤ以上のＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測可能フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。

本発明の１実施形態の画像復号装置によれば、上記画像復号装置は、さらに、レイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグを復号するレイヤ間予測限定フラグ復号部を備え、上記レイヤ間予測限定フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測限定フラグを復号し、それ以外の場合には、レイヤ間予測限定フラグを０に設定することを特徴とする。

上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤ以上のＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測限定フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。

本発明の１実施形態の画像復号装置によれば、上記画像復号装置は、さらに、テンポラル動き予測用の参照ピクチャを、レイヤＩＤによって指定するか否かを示すフラグである代替コロケート指示フラグを復号する代替コロケート指示情報復号部を備え、
上記代替コロケート指示情報復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記代替コロケート指示フラグを復号し、それ以外の場合には、代替コロケート指示フラグを０に設定することを特徴とする。

上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤ以上のＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、代替コロケート指示フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。

本発明の１実施形態の画像復号装置によれば、対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号するレイヤ依存情報復号手段と、前記対象レイヤのある対象ピクチャが参照する、前記対象レイヤとは異なるレイヤのピクチャを示す情報を復号する実依存レイヤ情報復号手段と、前記実依存レイヤ情報に基づいて、少なくともレイヤ間参照ピクチャセットを生成する参照ピクチャセット導出手段を備え、前記レイヤ依存情報復号手段は、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグを、前記対象ピクチャのＴＩＤが、前記依存レイヤのレイヤ間予測最大ＴＩＤ未満にのみ、上記レイヤ間予測可能フラグに復号することを特徴とする。

本発明によれば、同じ表示時刻（出力順、アクセスユニット）の全てのレイヤで同じＴＩＤを有することにより、異なるレイヤで同じ間引き再生を可能とする。

本発明によれば、同じ表示時刻（出力順、アクセスユニット）の全てのレイヤでサブレイヤアクセスピクチャの位置をアライメントすることによって、間引き再生におけるサブレイヤの移行をレイヤ間で揃えることを可能とする。

また、本発明によれば、レイヤ間のサブレイヤアライメントを制御するフラグを設けることによって、レイヤ間でサブレイヤアライメントを行う場合と、行わない場合の両方をサポートする。

また、本発明によれば、ステレオ画像において、レイヤ間のサブレイヤアライメントを行うことによって、複数の視点を同期して間引き再生する、もしくは、間引き再生のレイヤを移行することが可能になる。

また、本発明によれば、全てのレイヤで同じレイヤ間予測に用いる最大サブレイヤを指定することにより、レイヤ毎に最大サブレイヤを復号するような無駄を無くせる。

また、本発明によれば、レイヤ間サブレイヤアライメントの情報を用いることで、実依存レイヤに関する情報の符号量を低減できる。

また、本発明によれば、レイヤ間予測最大ＴＩＤに応じて、実依存レイヤ情報を復号することにより、実依存レイヤ情報の符号量を低減できる。

本発明の一実施形態に係る階層動画像復号装置に含まれる復号ピクチャ管理部におけるピクチャ管理処理を例示するフロー図である。本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、符号化ツリーユニットＣＴＵを規定するＣＴＵレイヤを示しており、（ｅ）は、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。上記階層動画像復号装置の概略的構成を示す機能ブロック図である。上記階層動画像復号装置に含まれる復号ピクチャ管理部の構成を例示した機能ブロック図である。復号処理の特定のタイミングでのDPBの状態を例示した図である。上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットおよび参照ピクチャリストに係る部分を示す図である。上記階層動画像復号装置の可変長復号部から短期参照ピクチャセット情報の復号時に利用されるシンタックス表を示す図である。上記階層動画像復号装置の可変長復号部からスライスセグメントヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットに係る部分を示す図である。スライス復号時に参照されるシンタックス表の一部であって、ILRP情報に相当する部分を示す図である。上記階層動画像復号装置の可変長復号部からスライスセグメントヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャリストに係る部分を示す図である。上記階層動画像復号装置の可変長復号部から参照ピクチャリスト修正情報の復号時に利用されるシンタックス表を示す図である。本発明の実施形態に係る符号化データ＃１におけるデータの階層構造を示す図である。ＮＡＬ（Network Abstraction Layer）ユニットのシンタックステーブルを示す。本発明の実施形態に係るＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。本発明の実施形態に係るテンポラルスケーラビリティを説明するための図である。本発明の実施形態に係るＴＳＡピクチャ、ＳＴＳＡピクチャを説明するための図である。本発明の実施形態に係るレイヤ間でＴＩＤのアライメントを行う例である。レイヤ間でＴＩＤのアライメントを行わない例である。レイヤ間でＴＩＤのアライメントを行わないさらに別の例である。レイヤ間で、ＴＳＡピクチャのアライメントを行う例である。レイヤ間で、ＳＴＳＡピクチャのアライメントを行う例である。レイヤ間で、ＴＳＡピクチャ、ＳＴＳＡピクチャのアライメントを行わない例である。レイヤ間で、ＴＳＡピクチャ、ＳＴＳＡピクチャの半アライメント（セミアライメント）が行われている例である。レイヤ間予測最大ＴＩＤMaxTidIlRefPicsを説明するための図である。レイヤ間でレイヤ間予測最大ＴＩＤがアライメントされている場合を説明する図である。レイヤ間でレイヤ間予測最大ＴＩＤがアライメントされていない場合を説明する図である。本発明の実施形態に係る可変長復号部１２の構成を例示した機能ブロック図である。本発明の実施形態に係るパラメータセット復号部１２１の復号する符号化データの構成を説明する図である。本発明の実施形態に係るパラメータセット復号部１２１の構成を例示した機能ブロック図である。本発明の実施形態に係るスライスセグメントヘッダ復号部１２２の構成を例示した機能ブロック図である。本発明の実施形態に係るレイヤ間予測最大ＴＩＤに関するＤ３の処理を示す図である。本発明の第２の実施形態に係るパラメータセット復号部１２１ａの復号する符号化データの構成を説明する図である。本発明の第２の実施形態に係るパラメータセット復号部１２１ａの構成を例示した機能ブロック図である。本発明の第２の実施形態に係るパラメータセット復号部１２１ｂの復号する符号化データの構成を説明する図である。本発明の第２の実施形態に係るパラメータセット復号部１２１ｂの構成を例示した機能ブロック図である。本発明の第２の実施形態に係るパラメータセット復号部１２１ｃの復号する符号化データの構成を説明する図である。本発明の第２の実施形態に係るパラメータセット復号部１２１ｃの構成を例示した機能ブロック図である。本発明の第３の実施形態に係るパラメータセット復号部１２１ａの構成を例示した機能ブロック図である。本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ａの復号する符号化データの構成を説明する図である。本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ａの構成を例示した機能ブロック図である。本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ｂの復号する符号化データの構成を説明する図である。本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ｂの構成を例示した機能ブロック図である。本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ｃの復号する符号化データの構成を説明する図である。本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ｃの構成を例示した機能ブロック図である。本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ａｂｃの構成を例示した機能ブロック図である。本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。本実施形態に係るレイヤ間サブレイヤアライメントフラグをＶＰＳに符号化する場合における符号化データの構成を説明する図である。本実施形態に係るレイヤ間サブレイヤアライメントフラグをＳＰＳ（ＶＵＩ）に符号化する場合における符号化データの構成を説明する図である。本発明の第４の実施形態に係るレイヤ依存情報復号部４０１１ａにおける依存レイヤRefLayers[]の導出処理を示す図である。本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃａの復号する符号化データの構成を説明する図である。本発明の第４の実施形態に係るスライスセグメントヘッダ復号部１２２Ｃａの構成を例示した機能ブロック図である。本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃａにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。本実施形態の依存レイヤを説明する図である。本実施形態の実依存レイヤを説明する図である。本実施形態のレイヤ間予測最大ＴＩＤ制限を説明する図である。本発明の第４の実施形態に係るレイヤ依存情報復号部４０１１ｂにおける依存レイヤの導出処理を示す図である。本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｂの復号する符号化データの構成を説明する図である。本発明の第４の実施形態に係るスライスセグメントヘッダ復号部１２２Ｃｂの構成を例示した機能ブロック図である。本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｂにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｃの復号する符号化データの構成を説明する図である。本発明の第４の実施形態に係るスライスセグメントヘッダ復号部１２２Ｃｃの構成を例示した機能ブロック図である。本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｃにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｃにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。

図１〜図６４に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２を説明すれば以下の通りである。

〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SHVCやMV-HEVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。

また、階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。

本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。

〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。

以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。

図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。

まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。

下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。

また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。

また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。

このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。

次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。

なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。

例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。

なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。

また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。

なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。

本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。

上位レイヤ：ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。

下位レイヤ：ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。

対象レイヤ：復号または符号化の対象となっている階層のことをいう。

参照レイヤ（reference layer）：対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。

図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。

基本レイヤ（base layer）：最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。

拡張レイヤ：基本レイヤの上位レイヤは、拡張レイヤと称される。

レイヤ識別子：レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。

一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。

レイヤ間予測：レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。

なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。

（ＮＡＬユニットレイヤ）
図１３は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、ＮＡＬ（Network Abstraction Layer）ユニットと呼ばれる単位で符号化される。

ＮＡＬは、動画像符号化処理を行う層であるＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。

ＶＣＬは、画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。

図１４（ａ）は、ＮＡＬ（Network Abstraction Layer）ユニットのシンタックステーブルを示す。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ（ＮＡＬユニットヘッダ：nal_unit_header()）が含まれる。なお、ＮＡＬユニットヘッダは、例えば、図１４（ｂ）に示すシンタックスで表わされる。ＮＡＬユニットヘッダには、ＮＡＬユニットに格納された符号化データの種類を表わす”nal_unit_type”、格納された符号化データが属するサブレイヤの識別子（テンポラル識別子）を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識別子（レイヤ識別子）を表わす”nuh_layer_id”が記述されている。

ＮＡＬユニットデータには、後述のパラメータセット、ＳＥＩ、スライスなどが含まれる。

図１５は、ＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。図１５に示す通り、SYNA101 で示される０から１５の値のＮＡＬユニットタイプを持つＮＡＬユニットは、非ＲＡＰ(ランダムアクセスピクチャ)のスライスである。SYNA102 で示される１６から２１の値のＮＡＬユニットタイプを持つＮＡＬユニットは、ＲＡＰ(ランダムアクセスピクチャ)のスライスである。ＲＡＰピクチャには、大きく分けて、ＢＬＡピクチャ、ＩＤＲピクチャ、ＣＲＡピクチャがあり、ＢＬＡピクチャは、さらに、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、ＢＬＡ＿Ｎ＿ＬＰに分類される。ＩＤＲピクチャは、さらに、ＩＤＲ＿Ｗ＿ＤＬＰ、ＩＤＲ＿Ｎ＿ＬＰに分類される。ＴＳＡ＿Ｒ、ＴＳＡ＿ＮのＮＡＬユニットタイプは、ＴＳＡピクチャ（temporal sub-layer accessピクチャ））を表す、ＳＴＳＡ＿Ｒ、ＳＴＳＡ＿ＮのＮＡＬユニットタイプは、ＳＴＳＡピクチャ（step-wise temporal sub-layer accessピクチャ）を表す。また図１５において、ＮＡＬユニットに応じて、ＶＣＬもくはnon-VCLが区別される。ＶＣＬＮＡＬユニットは、符号化ユニット構成、予測パラメータ、残差などの画像の符号化データ。non-VCLＮＡＬユニットは、パラメータセットなど、画像を復号するために用いる上位のパラメータの符号化データである。

（アクセスユニット）
特定の分類ルールにより集約されたＮＡＬユニットの集合のことをアクセスユニットと呼ぶ。レイヤ数が１の場合には、アクセスユニットは１ピクチャを構成するＮＡＬユニットの集合である。レイヤ数が１より大きい場合には、アクセスユニットは同じ時刻の複数のレイヤのピクチャを構成するＮＡＬユニットの集合である。なお、アクセスユニットの区切りを示すために、符号化データはアクセスユニットデリミタ（Access unit delimiter）と呼ばれるＮＡＬユニットを含んでも良い。アクセスユニットデリミタは、符号化データ中にあるアクセスユニットを構成するＮＡＬユニットの集合と、別のアクセスユニットを構成するＮＡＬユニットの集合の間に含まれる。

（基本レイヤ）
図３は、ＮＡＬユニットデータの符号化データのデータ構造を例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。

図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤ、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。

（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ_１〜ＰＩＣＴ_NP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。

ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。例えば、VPSは、対象レイヤで参照する対象レイヤ以外のレイヤである参照レイヤを規定する。具体的には、レイヤ依存フラグdirect_dependent_flag[i][j]をVPSに含め、レイヤ依存フラグdirect_dependent_flag[i][j]が1である場合に、対象レイヤiは参照レイヤjを参照し、レイヤ依存フラグが0であれば、対象レイヤiは参照レイヤjを参照しない。また、対象レイヤiに対応する0でないレイヤ依存フラグdirect_dependent_flag[i][j]の数から、対象レイヤiが参照する参照レイヤの数（レイヤ間予測参照レイヤ数ともいう）NumDirectRefLayers[i]が定まる。また、レイヤ依存フラグdirect_dependent_flag[i][j]が１の場合に、レイヤ依存タイプdirect_dependency_type[i][j]がさらにVPSに含まれる。

シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定シーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、対象シーケンスに対するアクティブＳＰＳを意味する。

ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定ピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスセグメントヘッダＳＨ₁〜ＳＨ_NS、及び、スライスＳ₁〜Ｓ_NSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。

なお、以下、スライスセグメントヘッダＳＨ₁〜ＳＨ_NSやスライスＳ₁〜Ｓ_NSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータも同様である。

スライスセグメントヘッダＳＨ_kには、対応するスライスＳ_kの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスセグメントヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、符号化ツリーユニットＣＴＵ₁〜ＣＴＵ_NC（ＮＣはスライスＳに含まれるＣＴＵの総数）を含んでいる。

（ＣＴＵレイヤ）
ＣＴＵレイヤでは、処理対象の符号化ツリーユニットＣＴＵ（以下、対象ＣＴＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーユニットのことを符号化ツリーブロック（CTB: Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。

符号化ツリーユニットＣＴＵは、ＣＴＵヘッダＣＴＵＨと、符号化単位情報ＣＵ_１〜ＣＵ_ＮＬ（ＮＬはＣＴＵに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーユニットＣＴＵと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。

符号化ツリーユニットＣＴＵは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するための単位に分割される。

符号化ツリーユニットＣＴＵの上記単位は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。

以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応する単位を、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。

つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ_１〜ＣＵ_ＮＬは、符号化ツリーユニットＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。

また、符号化ツリーのルート（root）は、符号化ツリーユニットＣＴＵに対応付けられる。換言すれば、符号化ツリーユニットＣＴＵは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。

なお、各符号化ノードのサイズは、当該符号化ノードの親ノードとなる符号化ノード（すなわち、当該符号化ノードの１階層上位のノード）のサイズの縦横とも半分である。

また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。

（ＣＴＵヘッダ）
ＣＴＵヘッダＣＴＵＨには、対象ＣＴＵの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＵの各ＣＵへの分割パターンを指定するＣＴＵ分割情報ＳＰ＿ＣＴＵ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。

ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＴＵを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＵに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＵ内での位置を指定する情報である。

なお、ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＵ分割情報ＳＰ＿ＣＴＵは、対象ＣＴＵ全体またはＣＴＵの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＵの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。

また、量子化パラメータ差分Δｑｐは、対象ＣＴＵにおける量子化パラメータｑｐと、当該対象ＣＴＵの直前に符号化されたＣＴＵにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。

（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵともＳ！称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。

ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。

予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。換言すれば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。

予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。

イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。

また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。

また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。換言すれば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。

（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容を説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。

スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。

予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。

予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤにおいては、イントラ予測の場合にイントラ予測情報PP_Intraが含まれる。また、インター予測の場合にはインター予測情報PP_Interを含む。

インター予測情報PP_Interは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報PP_Interは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照ピクチャインデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。

イントラ予測情報PP_Intraは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報PP_Intraには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。

ここで、イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデックスであるmpm_idx、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。

また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。

［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。

ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ₁〜ＱＤ_NT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。

ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現できる。

また、例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。

各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。

処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^qp/6）。

（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２^ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。

（拡張レイヤ）
拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用できる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略できる。

スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。

また、ＣＵ情報ＣＵに含まれる予測タイプ情報ＰＴｙｐｅは、対象ＣＵについての予測画像生成方法がイントラ予測、インター予測、または、レイヤ間画像予測のいずれかを指定する情報である。予測タイプ情報ＰＴｙｐｅには、レイヤ間画像予測モードの適用有無を指定するフラグ（レイヤ間画像予測フラグ）を含む。なお、レイヤ間画像予測フラグは、texture_rl_flag、inter_layer_pred_flag、または、base_mode_flagと呼ばれることもある。

拡張レイヤにおいて、対象ＣＵのＣＵタイプが、イントラＣＵ、レイヤ間ＣＵ、インターＣＵ、スキップＣＵのいずれであるかが指定されていてもよい。

イントラＣＵは、ベースレイヤにおけるイントラＣＵと同様に定義できる。イントラＣＵでは、レイヤ間画像予測フラグが“０”に、予測モードフラグが“０”に設定される。

レイヤ間ＣＵは、参照レイヤのピクチャの復号画像を予測画像生成に用いるＣＵと定義できる。レイヤ間ＣＵでは、レイヤ間画像予測フラグが“１”に、予測モードフラグが“０”に設定される。

スキップＣＵは、上述のHEVC方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。

インターＣＵは、非スキップかつ動き補償（MC；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。

また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。

下位レイヤが、例えば、MPEG-2や、H.264/AVC方式によって符号化されていてもよい。

拡張レイヤ符号化データでは、VPSが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。

また、拡張レイヤ符号化データでは、SPS、PPS、スライスセグメントヘッダが拡張されて、レイヤ間画像予測に用いる参照レイヤの復号画像に係る情報（例えば、後述のレイヤ間参照ピクチャセット、レイヤ間参照ピクチャリスト、ベース制御情報等を直接、または、間接的に導出するためのシンタックス）が含まれていてもよい。

なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。

（サブレイヤ）
サブレイヤは時間スケーラビリティを表現するために用いられる。一般的には各サブレイヤに属するピクチャに対して時間識別子（TemporalID, Tid）が割り当てられている。時間識別子は、低次サブレイヤほど、言い換えると低いフレームレートに相当するサブレイヤほど、小さい値が割り当てられている。特定のサブレイヤに相当するフレームレートの出力画像を得たい場合には、当該サブレイヤに割り当てられている時間識別子以下の値を持つ時間識別子が割り当てられた符号化データを抽出して復号すればよい。

例えば、時間識別子の値がａであることをTID=aと表記した上で、TID=0が15fps（frame per second）に、TID=1が30fps、TID=2が60fpsに相当するとする。この場合、15fpsの出力画像を得るためにはTID=0の符号化データを抽出して復号すればよい。また、60fpsの出力画像を得るためにはTID=0、TID=1、TID=2の符号化データを抽出して復号すればよい。なお、階層符号化データに含まれる最大の時間識別子は最高次時間識別子（Highest Temporal Id）とも呼ばれる。

上記の特性を実現するため、TID=kのピクチャは、k以下の時間識別子を持つピクチャのみをインター予測で参照可能という特徴を持つ。そのため、最高次時間識別子を持つピクチャは、インター予測で参照されない場合には、レイヤ間画像予測による参照ピクチャ（レイヤ間参照ピクチャ、レイヤ間予測ピクチャ）としてのみ利用され得る。

図１６は、サブレイヤを説明するための図である。図中の図形は、ピクチャを示す、図形中の数字は復号順を示す番号である。以下、復号順Ｘのピクチャを、ピクチャＸと呼ぶ。図１６では、３つのサブレイヤ（TID=0, 1,2）が用いられている。ここでは、復号順０、１のピクチャがサブレイヤ０（TID=0）のピクチャ、ピクチャ２がサブレイヤ１（TID=1）のサブレイヤ非参照ピクチャ、復号順４、５、７のピクチャが、サブレイヤ１（TID=2）のサブレイヤ参照ピクチャとする。サブレイヤ非参照ピクチャであるピクチャ３は、後述のＣＦ条件（Ｔ３）により、自身と同じもしくのTIDのピクチャから参照されてはならないため、ピクチャ６は、復号順序が前のピクチャであっても同じサブレイヤのピクチャ３を参照してはならない。これに対し、復号順５のサブレイヤ参照ピクチャは、サブレイヤ参照ピクチャであるから、同じサブレイヤ階層のピクチャから参照可能である。そのため、この図では、同じTID=3のサブレイヤのピクチャ７から参照されている。なお、サブレイヤ参照ピクチャであるか、サブレイヤ非参照ピクチャであるかに関わらず、後述のＣＦ条件（Ｔ４）により、あるピクチャは、自身よりも低いTIDのピクチャから参照されてはならない（参照ピクチャのＴＩＤは、対象ピクチャのTIDよりも大きくなくてはならない）ため、TID=2のサブレイヤのピクチャ５は、TID=1のサブレイヤであるピクチャ６から参照することはできない。

再生において、高いサブレイヤから低いサブレイヤへの遷移（TIDが大きいサブレイヤも再生する状態からTIDの小さいサブレイヤだけを再生する状態への遷移）は常に行うことができるが、低いサブレイヤから高いサブレイヤへの遷移（TIDが小さいサブレイヤだけを再生する状態からTIDの大きいサブレイヤも再生する状態への遷移）はできないことがある。低いサブレイヤから高いサブレイヤへの遷移が可能なピクチャを示すものがＴＳＡピクチャおよびＳＴＳＡピクチャである。

図１７は、ＴＳＡピクチャ、ＳＴＳＡピクチャを説明するための図である。ＴＳＡピクチャは、復号順で後続のピクチャにおいて、ＴＳＡピクチャ自身と同じサブレイヤか、それよりも高いサブレイヤに遷移可能なピクチャである。図１７（ａ）に示すように、ピクチャ３およびその後続のピクチャ４は、自身よりも低いサブレイヤのピクチャのみを参照しているため、常に低いサブレイヤから高いサブレイヤへの遷移が可能である。すなわち、ピクチャ３では、ピクチャ３のサブレイヤより低いサブレイヤ（TID=0）から、ピクチャ３と同じサブレイヤ（TID=1）に遷移することができる。また、復号順４において、ピクチャ３よりも高いサブレイヤ（TID=2）に遷移することもできる。このようなピクチャであるピクチャ３をＴＳＡピクチャと呼ぶ。ＴＳＡピクチャは、ＴＳＡ＿Ｄ、ＴＳＡ＿ＮのＮＡＬユニットタイプにより示すことができる。ＴＳＡ＿Ｄ、ＴＳＡ＿Ｎは各々、サブレイヤ参照ピクチャのＴＳＡピクチャ、サブレイヤ非参照ピクチャのＴＳＡピクチャを示す。

ＳＴＳＡピクチャは、復号順で後続のピクチャにおいて、ＳＴＳＡピクチャ自身と同じサブレイヤに遷移可能なピクチャである。図１７（ｂ）に示すように、ピクチャ３は、自身よりも低いサブレイヤのピクチャのみを参照しているため、この時点では、高いサブレイヤへの遷移が可能である。但し、ピクチャ４、ピクチャ３よりも高いサブピクチャのピクチャを参照している。そのため、この時点では復号順３のサブピクチャと同じサブピクチャまでしか遷移することができない。このようなピクチャであるピクチャ３をＳＴＳＡピクチャと呼ぶ。ＳＴＳＡピクチャは、ＳＴＳＡ＿Ｄ、ＳＴＳＡ＿ＮのＮＡＬユニットタイプにより示すことができる。ＳＴＳＡ＿Ｄ、ＳＴＳＡ＿Ｎは各々、サブレイヤ参照ピクチャのＴＳＡピクチャ、サブレイヤ非参照ピクチャのＴＳＡピクチャを示す。

（レイヤ間サブレイヤアライメントとユースケース）
以下、レイヤ間サブレイヤアライメントと関連するユースケースを説明する。レイヤ間サブレイヤアライメントとは、同じ表示時刻（出力順、以下アクセスユニット）を有する異なるピクチャの間で、サブレイヤのパラメータであるＴＩＤ、もしくは、サブレイヤの遷移をサポートする参照関係を示すＴＳＡピクチャおよびＳＴＳＡピクチャについて同じ値を用いることである。

以下に説明するユースケースのうち（Ｕ１）（Ｕ２）がサブレイヤ情報がアライメントされている場合、ユースケースのうち（Ｕ３）（Ｕ４）がサブレイヤ情報がアライメントされていない場合に対応する。

レイヤ間で、ＴＩＤがアライメントされている場合には、以下のユースケース（Ｕ１）を実現することができる。

あるレイヤで時間的な間引き再生が可能である場合には、別のレイヤでも同様の間引き再生が可能である。例えば、間引き再生を変化させずに、あるレイヤ（例えば低解像度のレイヤ）から別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数のレイヤ（例えば、視点画像０のレイヤ０と、視点画像１のレイヤ１）を同時に同じ間引き再生を用いて、再生することができる・・・（Ｕ１）
レイヤ間で、ＴＳＡピクチャおよびＳＴＳＡピクチャがアライメントされている場合には、以下のユースケース（Ｕ２）を実現することができる
あるレイヤのある表示時刻で低いサブレイヤから高いサブレイヤに移行することが可能である場合には、同じ表示時刻の別のレイヤも、同様に低いサブレイヤから高いサブレイヤに移行することが可能である。低いサブレイヤから高いサブレイヤへの移行において、レイヤの制限がないため、どのレイヤを再生しているかにかかわらず、レイヤに応じてサブレイヤ間の移行タイミングを逃すことがない。また、複数のレイヤを同時に再生している場合において、同じタイミングで低いサブレイヤから高いサブレイヤに移行することができる・・・（Ｕ２）
逆に、レイヤ間で、サブレイヤ情報がアライメントされていない場合には、以下のユースケース（Ｕ３）（Ｕ４）を実現することができる。

レイヤ間で、ＴＩＤがアライメントされていない場合には、以下のユースケース（Ｕ３）（Ｕ３´）を実現することができる。

ベースレイヤでは細かいレベル（例えば３レベル）のサブレイヤを設定して、高い粒度のテンポラルスケーラビリティをサポートし、非ベースレイヤでは粗いレベル（例えば２レベル）のサブレイヤを設定し粒度の低いテンポラルスケーラビリティをサポートにとどめ高い符号化効率を実現する・・・（Ｕ３）
ベースレイヤのみ複数のサブレイヤを有し、テンポラルスケーラビリティをサポートし、非ベースレイヤでは単一のサブレイヤのみを有しテンポラルスケーラビリティをサポートせず高い符号化効率を実現する・・・（Ｕ３´）
レイヤ間で、ＴＳＡピクチャおよびＳＴＳＡピクチャがアライメントされていない場合には、以下のユースケース（Ｕ４）を実現することができる
あるレイヤでは、高い頻度でＴＳＡピクチャもしくはＳＴＳＡピクチャを挿入し、低いサブレイヤから高いサブレイヤに移行することが容易に可能であるようにし利便性が高くするが、別のレイヤではＴＳＡピクチャもしくはＳＴＳＡピクチャを挿入しない、もしくは、低い頻度とすることによって、高い符号化を実現する。・・・（Ｕ４）
図１８は、レイヤ間で時間識別子（TemporalID、ＴＩＤ）のアライメント（レイヤ間ＴＩＤアライメント、レイヤ間サブレイヤ同期）を行う例である。この例は、ユースケース（Ｕ１）に対応する。図１８に示すように、同じ表示時刻（出力順、アクセスユニット）のピクチャはレイヤが異なっても同じＴＩＤを有する。例えば、同じ表示時刻のレイヤ０のピクチャ５とレイヤ１のピクチャ６は同じＴＩＤ＝１を有し、同じ表示時刻のレイヤ０のピクチャ９とレイヤ１のピクチャ１０は同じＴＩＤ＝２を有する。

図１９は、レイヤ間でＴＩＤのアライメントを行わない例である。この例は、ユースケース（Ｕ３）に対応する。

図１９に示すように、レイヤ０では、ピクチャ９は、自身よりも高いサブレイヤのピクチャであるピクチャ７のピクチャを参照できないのに対し、レイヤ１では、ピクチャ１０は、ピクチャ８を参照することができる。これは、レイヤ０が３つのサブレイヤ（ＴＩＤ＝０、１、２）に分かれているのに対し、レイヤ１が１つのサブレイヤのみ（ＴＩＤ＝０）であることから、サブレイヤに関する制約を受けないためである。なお、図１９では、同じアクセスユニットであるピクチャ７とピクチャ１０は各々異なるＴＩＤを持つことから、レイヤ間で同じＴＩＤを共有しない。つまり、レイヤ間でＴＩＤのアライメントを行わない例となっている。

図２０は、レイヤ間でＴＩＤのアライメントを行わないさらに別の例である。この例では、ユースケース（Ｕ３´）に対応する。レイヤ０が３つのサブレイヤ（ＴＩＤ＝０、１、２）に分かれているのに対し、レイヤ１が２つのサブレイヤのみ（ＴＩＤ＝０、１）である。

図２０に示すように、レイヤ０では、ピクチャ１３は、自身よりも高いサブレイヤのピクチャであるピクチャ９のピクチャを参照できないのに対し、レイヤ１では、復号順１３に対応するピクチャ１４は、ピクチャ９に対応するピクチャ１０を参照することができる。図１９、図２０では共通して、細かいサブレイヤ構成のレイヤ０では参照できないピクチャを、粗いサブレイヤ構成のレイヤ１では参照できることため、レイヤ１の方が符号化効率を高めることができる。

上記、ユースケース（Ｕ２）（Ｕ３）を考慮すれば、レイヤ間のＴＩＤがレイヤ間アライメントが同じではない場合を許して、ユースケース（Ｕ１）〜（Ｕ３）に対応しつつ、後述のレイヤ間サブレイヤアライメントフラグによって、ユースケース（Ｕ１）が可能であることを復号装置に伝送することが好適である。

図２１は、レイヤ間で、ＴＳＡピクチャのアライメント（レイヤ間サブレイヤピクチャ同期）を行う例である。この例では、ユースケースのＵ２に対応する。
図２１に示すように、同じ表示時刻のピクチャ５とピクチャ６はともにＴＳＡピクチャであり、同期されている。すなわち、同じ表示時刻において、レイヤに限定されずに（レイヤ０でもレイヤ１でも）、低サブレイヤから高サブレイヤに移行できる。ここではＴＳＡピクチャであるので、ＴＳＡピクチャ自身と同じサブレイヤか、それよりも高いサブレイヤに移行可能である。

図２２は、レイヤ間で、ＳＴＳＡピクチャのアライメントを行う例である。この例では、ユースケースのＵ２に対応する。図２２に示すように、同じ表示時刻のピクチャ５とピクチャ６はともにＳＴＳＡピクチャであり、同期されている。すなわち、同じ表示時刻において、レイヤに限定されずに（レイヤ０でもレイヤ１でも）、低サブレイヤから高サブレイヤに移行できる。ここではＳＴＳＡピクチャであるので、ＴＳＡピクチャ自身と同じサブレイヤに移行可能である。

図２３は、レイヤ間で、ＴＳＡピクチャ、ＳＴＳＡピクチャのアライメント（レイヤ間サブレイヤピクチャ同期）が行われていない例である。この例では、ユースケースのＵ４に対応する。図２３に示すように、同じ表示時刻のピクチャ５はＳＴＳＡピクチャであるが、ピクチャ６はＳＴＳＡピクチャではない。すなわち、レイヤ０では、低サブレイヤから高サブレイヤに移行できるピクチャ５の表示時刻において、レイヤ１では、低サブレイヤから高サブレイヤに移行できない。その代わりに、ピクチャ６は、ピクチャ５では参照できない同じサブレイヤのピクチャを参照しており、高い符号化効率を実現することができる。

図２４は、レイヤ間で、ＴＳＡピクチャ、ＳＴＳＡピクチャの半アライメント（セミアライメント、レイヤ間サブレイヤピクチャ同期）が行われている例である。この例も、ユースケースのＵ４に対応する。図２２に示すように、同じ表示時刻のピクチャ５はＴＳＡピクチャ、ピクチャ６はＳＴＳＡピクチャであり、いずれかのサブレイヤ移行ピクチャであるという意味では同期されている。すなわち、同じ表示時刻において、レイヤに限定されずに（レイヤ０でもレイヤ１でも）、低サブレイヤから高サブレイヤに移行できる。しかしながら、レイヤ０では、移行可能点のピクチャは、ＴＳＡピクチャであるので、ＴＳＡピクチャ自身と同じサブレイヤか、それよりも高いサブレイヤに移行可能であるのに対し、レイヤ１では、、移行可能点のピクチャは、ＳＴＳＡピクチャであるので、ＴＳＡピクチャ自身と同じサブレイヤにのみ移行可能である。

（レイヤ間予測最大ＴＩＤ）
図２５は、レイヤ間予測最大ＴＩＤMaxTidIlRefPicsを説明するための図である。レイヤ間予測最大ＴＩＤは、あるTIDのサブレイヤのピクチャが、レイヤ間予測に用いられるか否かを判別するために用いられる。レイヤ間予測最大ＴＩＤMaxTidIlRefPicsは、MaxTidIlRefPics以下のＴＩＤのピクチャは、レイヤ間予測に用いられるが、レイヤ間予測最大ＴＩＤMaxTidIlRefPicsより大きいＴＩＤのピクチャは、レイヤ間予測に用いられないことを示す。符号化データでは、MaxTidIlRefPicsに１を加えたmax_tid_il_ref_pics_plus1が符号化される。max_tid_il_ref_pics_plus1を復号した際、レイヤ間予測最大ＴＩＤMaxTidIlRefPicsは、
MaxTidIlRefPics ＝max_tid_il_ref_pics_plus1-１
により導出される。

MaxTidIlRefPicsの代わりにmax_tid_il_ref_pics_plus1を用いると、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1は、max_tid_il_ref_pics_plus1より小さいＴＩＤのピクチャは、レイヤ間予測に用いられるが、max_tid_il_ref_pics_plus以上のＴＩＤのピクチャは、レイヤ間予測に用いられないことを示す。

図２５に示すように、レイヤ０のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[0]が２の場合には、ＴＩＤ＝１以下のサブレイヤのピクチャのみがレイヤ間予測において参照される。従って、ＴＩＤ＝０のピクチャ１、ピクチャ３およびＴＩＤ＝１のピクチャ５のみがレイヤ間予測で参照される。ＴＩＤ＝２のピクチャ７、ピクチャ９は、レイヤ間予測で参照することができない。図２５に示すように、レイヤ０を再生せず、レイヤ１のみを再生する場合には、レイヤ間予測最大ＴＩＤを超えるＴＩＤのピクチャ、すなわち、ピクチャ７、ピクチャ９は、参照されないことが分かっているので、復号する必要がない。このように、あるレイヤのレイヤ間予測最大ＴＩＤは、自身以外のレイヤを再生する場合に、高いサブレイヤのピクチャの復号を省略するのに使用することができ、処理量を低減可能である。

レイヤ間でＴＩＤがアライメントされている場合は、レイヤ１のピクチャのＴＩＤは、同じ表示時刻（出力順、アクセスユニット）のレイヤ０のピクチャのＴＩＤであるから、レイヤ０にレイヤ間予測最大ＴＩＤによりレイヤ間予測が制限されている場合には、レイヤ１のピクチャのＴＩＤを参照することで、レイヤ０のピクチャがレイヤ間予測で参照されないことが分かる。

（レイヤ間予測最大ＴＩＤ）
図２６は、レイヤ間予測最大ＴＩＤのレイヤ間アライメントを示す図である。レイヤ間予測最大ＴＩＤがレイヤ間アライメントされているとは、異なるレイヤで同じレイヤ間予測最大ＴＩＤを有することである。図２６に示す通り、レイヤ０のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[0]、レイヤ１のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[1]はどちらも１であり、レイヤ間でアライメントされている。レイヤ間予測最大ＴＩＤがレイヤ間アライメントされている場合には、レイヤを区別することなく、あるレイヤがレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[]によりレイヤ間予測が制御されている場合には、他の全てのレイヤで同じレイヤ間予測最大ＴＩＤで、レイヤ間予測が制御される。従って、参照先がどのレイヤのピクチャであるのかを考慮することなく、対象ピクチャのＴＩＤが、レイヤ間予測最大ＴＩＤより大きい場合には、レイヤ間予測を行わない、ことを判別することができる。

図２７は、レイヤ間予測最大ＴＩＤのレイヤ間アライメントがなされていない例を示す図である。レイヤ０のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[0]は１、レイヤ１のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[1]は３であり、レイヤ間でアライメントされていない。この場合、レイヤ２のピクチャであるピクチャ９からすると、同じ表示時刻のレイヤ０のピクチャ７は、レイヤ間予測最大ＴＩＤによりレイヤ間予測が制限されているのに対し、同じ表示時刻のレイヤ０のピクチャ７は、レイヤ間予測最大ＴＩＤによりレイヤ間予測がＴＩＤ＝０以下に制限されているのに対し、同じ表示時刻のレイヤ０のピクチャ８は、レイヤ間予測最大ＴＩＤによるレイヤ間予測の制限はＴＩＤ＝２以下であるから、参照することができる。このようにレイヤ間予測最大ＴＩＤがレイヤ間でアライメントされていない場合には、レイヤ間予測最大ＴＩＤによりレイヤ間予測が制限されているかがレイヤ依存となる。

（RPS情報）
参照ピクチャセット（RPS）に係るシンタックス値（以下、RPS情報）は以下を含む。
１．SPS短期RPS情報：SPSに含まれる短期参照ピクチャセット情報
２．SPS長期RP情報：SPSに含まれる長期参照ピクチャ情報
３．SH短期RPS情報：スライスセグメントヘッダに含まれる短期参照ピクチャセット情報
４．SH長期RP情報：スライスセグメントヘッダに含まれる長期参照ピクチャ情報
５．ILRP情報：レイヤ間参照ピクチャ情報
（１．SPS短期RPS情報）
SPS短期RPS情報は、SPSを参照する各ピクチャから利用され得る複数の短期RPSの情報を含む。なお、短期RPSは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのPOC差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。

SPS短期RPS情報を、図７を参照して説明する。図７は、SPS復号時に利用されるSPSシンタックス表の一部を例示している。図７の（Ａ）の部分がSPS短期RPS情報に相当する。SPS短期RPS情報には、SPSに含まれる短期RPS数（num_short_term_ref_pic_sets）、および、各短期RPSの定義（short_term_ref_pic_set(i)）が含まれる。

短期RPS情報について、図８を参照して説明する。図８は、SPS復号時、および、スライスセグメントヘッダ復号時に利用される短期RPSのシンタックス表を例示している。

短期RPS情報には、対象ピクチャより表示順が早い短期参照ピクチャ数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照ピクチャ数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照ピクチャを前方短期参照ピクチャ、対象ピクチャより表示順が遅い短期参照ピクチャを後方短期参照ピクチャと呼ぶ。

また、短期RPS情報には、各前方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。

（２．SPS長期RP情報）
SPS長期RP情報は、SPSを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばPOC）により指定されるピクチャである。

SPS長期RP情報の復号について、図７を再び参照して説明する。図７の（Ｂ）の部分がSPS長期RP情報に相当する。SPS長期RP情報には、SPSで伝送される長期参照ピクチャの有無を示す情報（long_term_ref_pics_present_flag）、SPSに含まれる長期参照ピクチャ数（num_long_term_ref_pics_sps）、および、各長期参照ピクチャの情報が含まれる。長期参照ピクチャの情報には、参照ピクチャのPOC（lt_ref_pic_poc_lsb_sps[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。

なお、上記参照ピクチャのPOCは、参照ピクチャに関連付けられたPOCの値自体であってもよいし、POCのLSB（Least Significant Bit）、すなわち、POCを既定の２の冪乗の数で割った余りの値を用いてもよい。

（３．SH短期RPS情報）
SH短期RPS情報は、スライスセグメントヘッダを参照するピクチャから利用され得る単一の短期RPSの情報を含む。

SPS短期RPS情報の復号について、図９を参照して説明する。図９は、スライスセグメントヘッダ復号時に利用されるスライスセグメントヘッダシンタックス表の一部を例示している。図９の（Ａ）の部分がSH短期RPS情報に相当する。SH短期RPS情報は、短期RPSをSPSで復号済みの短期RPSの中から選択するか、スライスセグメントヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。SPSで復号済の中から選択する場合、復号済の短期RPSを一つ選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスセグメントヘッダに明示的に含める場合は、前述の図８を参照して説明したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、SPS短期RPS情報に含まれる。

（４．SH長期RP情報）
SH長期RP情報は、スライスセグメントヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。

SH長期RP情報の復号について、図９を再び参照して説明する。図９の（Ｂ）の部分がSH長期RP情報に相当する。SH長期RP情報は、対象ピクチャで長期参照ピクチャが利用可能（long_term_ref_pic_present_flag）である場合のみスライスセグメントヘッダに含まれる。SPSで１以上の長期参照ピクチャを復号済である場合（num_long_term_ref_pics_sps>0）、SPSで復号済の長期参照ピクチャの中で対象ピクチャで参照され得る参照ピクチャの数（num_long_term_sps）がSH長期RP情報に含まれる。また、スライスセグメントヘッダで明示的に伝送される長期参照ピクチャ数（num_long_term_pics）がSH長期RP情報に含まれる。加えて、上記num_long_term_spsの数の長期参照ピクチャをSPSで伝送済の長期参照ピクチャの中から選択する情報（lt_idx_sps[i]）がSH長期RP情報に含まれる。さらに、スライスセグメントヘッダに明示的に含める長期参照ピクチャの情報として、上記num_long_term_picsの数だけ、参照ピクチャのPOC（poc_lsb_lt [i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。

（５．ILRP情報）
ILRP情報は、スライスセグメントヘッダを含むピクチャからレイヤ間予測で参照され得るレイヤ間参照ピクチャの情報を含む。

ILRP情報について、図１０を参照して説明する。図１０はスライス復号時に参照されるシンタックス表の一部であって、ILRP情報に相当する部分である。

ILRP情報は、レイヤ間予測可能フラグ（inter_layer_pred_enabled_flag）を含む。さらに、レイヤ間予測有効フラグが１であり（レイヤ間予測が有効であり）、かつ、対象ピクチャから参照可能な参照レイヤ数（NumDirectRefLayers[nuh_layer_id]）が１より大きい場合、レイヤ間参照ピクチャ数を表すシンタックス（num_inter_layr_ref_pics_minus1）がILRP情報に含まれる。対象ピクチャにおけるレイヤ間参照ピクチャ数（NumActiveRefLayerPics）は“num_inter_layer_ref_pics_minus1 + 1”の値に設定される。加えて、各レイヤ間参照ピクチャの属するレイヤを示すレイヤ識別子（inter_layer_pred_layer_idc[i]）がILRP情報に含まれる。

なお、ILRP情報に含まれる上記の各シンタックスは、自明である場合は省略されてもよい。例えば、１つのピクチャから参照可能なレイヤ間参照ピクチャ数が１枚に制限されている場合、レイヤ間参照ピクチャ数に係るシンタックスは不要である。

〔階層動画像復号装置〕
以下では、第１の実施形態に係る階層動画像復号装置１の構成について、図２８〜図３１、図２９〜図３０を参照して説明する。

（階層動画像復号装置の構成）
図４を用いて、階層動画像復号装置１の概略的構成を説明すると次のとおりである。図４は、階層動画像復号装置１の概略的構成を示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。なお、以下では、対象レイヤは拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。

図４に示すように階層動画像復号装置１は、可変長復号部１２、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。

可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号して出力する。

図２８は、可変長復号部１２の構成を例示した機能ブロック図である。図２８に示すように、可変長復号部１２は、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を含んで構成される。

ＮＡＬユニットヘッダ復号部１１は、ＮＡＬユニットヘッダを復号する。図１４の（ｂ）は、ＮＡＬユニットヘッダの構成を示す図である。ＮＡＬユニットヘッダ復号部１１は、ＮＡＬユニットヘッダから、ＮＡＬユニットタイプ(nal_unit_type)、レイヤＩＤ（nuh_layer_id）、テンポラルＩＤ（nuh_temporal_id_plus1）などのＮＡＬユニットヘッダ情報を復号する。

テンポラルＩＤ（TemporalID, TID）は、nuh_temporal_id_plus1から以下の式により復号される。

TemporalID = nuh_temporal_id_plus1 - 1
なお、テンポラルＩＤに関しては、ビットストリームコンフォーマンスとして、以下のＣＦ条件（Ｔ１）〜ＣＦ条件（Ｔ４）を満たす必要がある。

ＮＡＬユニットタイプがＩＲＡＰピクチャの場合にはTemporalID=0とする・・・ＣＦ条件（Ｔ１）
ＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡの場合にはTemporalID=0としてはならない・・・ＣＦ条件（Ｔ２）
対象ピクチャがサブレイヤ非参照ピクチャの場合には、ＲＰＳには対象ピクチャのTemporalIDと同じTemporalIDを有するピクチャを参照ピクチャとして入れてはならない・・・ＣＦ条件（Ｔ３）
ＲＰＳには、対象ピクチャのTemporalIDよりも大きいTemporalIDを有するピクチャを参照ピクチャとして入れてはならない・・・ＣＦ条件（Ｔ４）
なお、ビットストリームコンフォーマンスとは、画像復号装置（ここでは本発明の実施形態に係る画像復号装置）が復号するビットストリームが満たす必要がある条件である。

パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、各々、パラメータセット（VPS、SPS、PPS）に含まれるシンタックス値、予測情報、および、変換係数に係るシンタックス値を復号する。

図３０は、パラメータセット復号部１２１の構成を例示した機能ブロック図である。図３０に示すようにパラメータセット復号部１２１は、レイヤ間サブレイヤアライメントフラグ復号部１２１１を含んで構成される。

パラメータセット復号部１２１は、対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号する。

具体的には、対象レイヤiが、参照レイヤjに依存するか否かを示すレイヤ依存フラグdirect_dependent_flag[i][j]を復号し、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]を導出する。依存レイヤリストRefLayers[][]は、レイヤＩＤのリストで表現される。依存レイヤリストRefLayers[ nuh_layer_id ][]は、nuh_layer_idで指定される対象レイヤが参照する、対照レイヤとは異なるレイヤのリストである。依存レイヤリストRefLayers[][]は、依存レイヤ識別子RefLayers[i][j]のセット（リスト）である。以下、RefLayersを単に依存レイヤ、と呼ぶこともある。また、各依存レイヤ識別子RefLayers[i][j]を復号することにより、依存レイヤリストRefLayers が復号される。

レイヤ依存情報復号部４０１１は、対象レイヤiが、参照レイヤjのレイヤ依存フラグdirect_dependent_flag[ i ][ j ]が１である場合に、以下の式により導出される。

if( direct_dependent_flag[ i ][ j ] )
RefLayerId[ i ][ NumDirectRefLayers[ i ]++ ] = j
なお、レイヤを示すインデックスiをレイヤＩＤに変換するテーブルlayer_id_in_nuh[]を用いて、
RefLayerId[ layer_id_in_nuh[i] ][ NumDirectRefLayers[ layer_id_in_nuh [i] ]++ ] = layer_id_in_nuh[j]
を用いても良い。direct_dependent_flag[ i ][ j ]が１である場合に、依存レイヤ数NumDirectRefLayers[]をインクリメントする。

全ての対象レイヤiが、参照レイヤjについて上記処理を行うことにより、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]が導出される。パラメータセット復号部１２１は、ＶＰＳからレイヤ依存タイプdirect_dependency_type[i][j]をさらに復号しても良い。

図２９は、パラメータセット復号部１２１の復号する符号化データの構成を説明する図である。図中、ＳＳ１００１に示すようにパラメータセット（ここではＶＰＳ）の符号化データは、レイヤ間サブレイヤアライメントフラグ（レイヤ間ＴＩＤアライメントフラグ、tid_alignment_flag）を含む。

パラメータセット復号部１２１は、パラメータセットからレイヤ間サブレイヤアライメントフラグ（tid_alignment_flag）を復号する。

レイヤ間サブレイヤアライメントフラグは、同じ表示時刻（アクセスユニット）に属する全てのレイヤのＶＣＬＮＡＬユニットのピクチャが同じTemporalIDを有することを示す。すなわち、以下のＣＦ条件（Ｓ１）をビットストリームコンフォーマンスとして要求する。

レイヤ間サブレイヤアライメントフラグが１の場合には、同じアクセスユニットの全てのＶＣＬＮＡＬユニットは、同じ値のTemporalIDを有していなければならない・・・ＣＦ条件（Ｓ１）
なお、同様の判定をビットストリームコンフォーマンスとする場合にも可能である。例えば、以下のＣＦ条件（Ｓ１´）なども可能である。

レイヤ間サブレイヤアライメントフラグが１の場合には、あるＶＣＬＮＡＬユニットのTIDは、同じアクセスユニットの他のＶＣＬＮＡＬユニットのTemporalIDと同じ値を有していなければならない・・・ＣＦ条件（Ｓ１´）
なお、同様のコンフォーマンス条件は、単一のレイヤだけをサポートするHEVC Main Profile規格にも存在するが、HEVC Main Profileは同じ表示時刻を有する複数のスライスが同じTemporalIDを持つことを定義しているだけであり、HEVC Main Profileの定義の外にある複数のレイヤの場合を定義したものではない。

なお、個別レイヤの間引き再生においては、同じ表示時刻を有する同じレイヤに属する全てのスライスは同じTemporalIDを持つ必要があるため、本発明の実施形態においても、以下のＣＦ条件（Ｓ０）をビットストリームコンフォーマンスとして要求する。

同じレイヤＩＤを有する同じアクセスユニットの全てのＶＣＬＮＡＬユニットは、同じ値のTIDを有していなければならない・・・ＣＦ条件（Ｓ０）
上記ＣＦ条件（Ｓ０）は、以下のように表現することもできる。

あるアクセスユニットのある符号化ピクチャに属する全てのＶＣＬＮＡＬユニットは、同じTIDを有していなくてはならない。

符号化ピクチャとは、１つもしくは複数のスライスセグメントから構成されるピクチャである。そのため、「ある符号化ピクチャに属する全てのＶＣＬＮＡＬユニットは、同じTIDを有する」、により、全てのスライスで同じTIDを有する制限を示すことになる。なお、上記符号化ピクチャの定義は、ある１つのレイヤのピクチャのことである。別のレイヤのピクチャは、別の符号化ピクチャとして扱われるため、ＣＦ条件（Ｓ０）の定義では、異なるレイヤのピクチャは、同じアクセスユニットであっても、異なる値のTIDを有することができる。

なお、単一レイヤ用の動画復号装置に対して、ＣＦ条件（Ｓ１）が要求されている場合、階層動画復号装置においては、その要求をＣＦ条件（Ｓ０）に置き換える。

ＣＦ条件（Ｓ１）により、本実施形態の備えるＮＡＬユニットヘッダ復号部１１は、レイヤ間サブレイヤアライメントフラグが１の場合には、同じ表示時刻（アクセスユニット）に属する全てのレイヤの符号化データから同じTemporalIDを復号する。

図３１は、スライスセグメントヘッダ復号部１２２の構成を例示した機能ブロック図である。図３１に示すようにスライスセグメントヘッダ復号部１２２は、RPS情報復号部１２２１、RPL情報復号部１２２２、実依存レイヤ復号部１２２３（レイヤ間参照ピクチャ情報復号部）、代替コロケート指示情報復号部１２２４を含んで構成される。

RPS情報復号部１２２１は、スライスセグメントヘッダからSH短期RPS情報、SH長期RP情報を復号する。

RPL情報復号部１２２２は、スライスセグメントヘッダから図１１に示すSHリスト修正情報を復号する。

実依存レイヤ復号部１２２３は、依存レイヤリストRefLayersに属する依存レイヤから、復号対象ピクチャ（例えばスライスセグメントヘッダに対応するピクチャ）で実際に用いられる実依存レイヤ（レイヤ間参照ピクチャ、レイヤ間予測ピクチャ）の情報（実依存レイヤ情報、レイヤ間参照ピクチャ情報）を復号する。実依存レイヤも依存レイヤRefLayersと同様、レイヤＩＤのリストで表現される。実依存レイヤRefPicLayerIdは、実依存レイヤ識別子RefPicLayerId[i]のセット（リスト）である。以下、RefPicLayerIdを単に実依存レイヤ、と呼ぶこともある。実依存レイヤ復号部１２２３は、対象スライスセグメントにおけるレイヤ間予測に関する実依存レイヤ情報として、実依存レイヤピクチャごとのレイヤ識別情報である参照ピクチャレイヤ識別子RefPicLayerId[]、実参照レイヤピクチャの中で実際にサンプル予測および動き予測で参照するレイヤ数を示す、実サンプル依存レイヤ数NumActiveSamplePredRefLayersおよび実動き依存レイヤ数NumActiveMotionPredRefLayers、そして、サンプル予測と動き予測それぞれの実依存レイヤ数に対応する依存レイヤの識別情報である、実サンプル依存レイヤ識別子ActiveSamplePredRefLayerId[]および実動き依存レイヤ識別子ActiveMotionPredRefLayerId[]を導出する。

代替コロケート指示情報復号部１２２４は、テンポラル動き予測に用いる参照ピクチャcolPicを特定するための情報を復号する。

ピクチャ復号部１３は、可変長復号部１２から復号された対象ピクチャに関するスライスセグメントヘッダ、予測情報、および、変換係数に係るシンタックス値と復号ピクチャ管理部１４から入力される参照ピクチャリストに基づいて、対象ピクチャの復号ピクチャを復号する。復号ピクチャは復号ピクチャ管理部１４に出力される。

なお、ピクチャ復号部１３におけるインター予測による予測画像生成には、復号ピクチャ管理部１４内のDPBに記録されている復号ピクチャであって、ピクチャ復号部１３に入力される参照ピクチャリストに含まれるピクチャが参照ピクチャとして利用される。また、ピクチャ復号部１３におけるレイヤ間画像予測による予測画像生成には、復号ピクチャ管理部１４内のDPBに記録されているレイヤ間参照ピクチャであって、上述の参照ピクチャリストに含まれるピクチャが参照ピクチャとして利用される。

復号ピクチャ管理部１４は、入力される復号ピクチャや参照レイヤピクチャを内部のDPBに記録するとともに、入力されるシンタックス値に基づいて参照ピクチャリスト生成や出力ピクチャ決定を行う。

復号ピクチャ管理部１４は、復号されたSH短期RPS情報、SH長期RP情報に基づいて、ＣＦ条件（Ｔ４）を満たす同じレイヤの復号対象ピクチャ、もしくは、実依存レイヤ復号部１２２３で復号されたILRP情報（実依存レイヤもしくは実サンプル依存レイヤ）に基づいて復号対象ピクチャとは異なるレイヤのピクチャである参照レイヤピクチャを含むように、参照ピクチャセット（ＲＰＳ）および参照ピクチャリストを導出する。

本実施形態の備える復号ピクチャ管理部１４は、レイヤ間サブレイヤアライメントフラグが１の場合には、ＣＦ条件（Ｓ１）により、復号対象ピクチャと同じTemporalIDのピクチャを、対象ピクチャと異なるレイヤから参照し、参照ピクチャに設定する。

本実施形態の備える復号ピクチャ管理部１４は、ＣＦ条件（Ｔ４）により、復号対象ピクチャと同じレイヤの復号対象ピクチャのTemporalID以下のTemporalIDを有するピクチャを参照ピクチャに設定する。

なお、復号ピクチャ管理部１４は、復号対象ピクチャのTemporalIDに基づいてＣＦ条件（Ｓ１）およびＣＦ条件（Ｔ４）に対応する処理を行う必要はなく、符号化データが、復号ピクチャ管理部１４を満たしていれば自動的に、上記処理を行うことができる。

復号ピクチャ管理部１４の詳細について後述する。

生成される参照ピクチャセットがＣＦ条件（Ｓ１）（Ｔ４）を満たすことによって、本実施形態の画像復号装置が復号対象とする符号化データを再生する場合においては、レイヤによらず、間引き再生が可能となる。

ピクチャの復号においては、復号対象となるピクチャのほか、復号対象ピクチャが参照するピクチャも復号しておく必要があるが、復号対象と同じレイヤの参照ピクチャに関しては、再生すべきＴＩＤＡ以下のサブレイヤのピクチャは、それより上のサブレイヤのピクチャを参照することがないため、再生対象ではないＴＩＤＡより上のサブレイヤのピクチャを復号する必要がない。復号対象と異なるレイヤの参照ピクチャについても、レイヤ間サブレイヤアライメントがなされている場合には、レイヤ間参照ピクチャは、復号対象と同じＴＩＤを有することから、レイヤ間参照ピクチャは、それより上のサブレイヤのピクチャを参照することがないため、再生対象ではないＴＩＤＡより上のサブレイヤのピクチャを復号する必要がない。この関係が全てのピクチャ、レイヤで成り立つため、結果として、全てのレイヤにおいて、同じサブレイヤ再生が可能となる。

上記構成の階層動画像復号装置１によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部１１と、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部１２１と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、同じ表示時刻（アクセスユニット）に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。

上記構成の階層動画像復号装置１によれば、同じ表示時刻に属する全てのレイヤのＴＩＤが共通であることが示されている場合（レイヤ間サブレイヤアライメントフラグが１の場合）には、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生を変化させずに、あるレイヤ（例えば低解像度のレイヤ）から別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）のピクチャを同時に同じ間引き再生を用いて、再生することができるという効果を奏する。

（階層動画像復号装置Ｓ１´）
以下では、第１の実施形態に係る階層動画像復号装置１の変形例である階層動画像復号装置Ｓ１´について説明する。本例は、階層動画像復号装置１Ｓ１´と同様、フラグによらずに、レイヤ間ＴＩＤアライメントが行われている場合を扱う。

本変形例の復号装置が復号する符号化データのコンフォーマンス要求は以下の通りである。本変形例の階層動画像復号装置Ｓ１´が復号する符号化データは、レイヤ間サブレイヤアライメントフラグによらず、ＣＦ条件（Ｓ１）を要求する。

上記構成の階層動画像復号装置１Ｓ１´によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、同じ表示時刻（アクセスユニット）に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。

上記の構成の画像復号装置によれば、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生を変化させずに、あるレイヤ（例えば低解像度のレイヤ）から別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）のピクチャを同時に同じ間引き再生を用いて、再生することができるという効果を奏する。

階層動画像復号装置１Ｓ１´では、レイヤ間サブレイヤアライメントフラグ（レイヤ間ＴＩＤアライメントフラグ）を用いないため、レイヤ間でサブレイヤを非同期するユースケースをサポートしないが、レイヤ間サブレイヤアライメントがなされていることを前提とした機能であるユースケース（Ｕ１）を全ての符号化データに対してサポートすることができる。また、階層動画像復号装置と送信側で、パラメータセットをやり取りし、レイヤ間サブレイヤアライメントフラグを確認（ネゴシエーション）することなく、レイヤ間サブレイヤアライメントがなされていることを知ることができるため、ネゴシエーションの手間を省略できる。

（階層動画像復号装置Ｓ１´´）
以下では、第１の実施形態に係る階層動画像復号装置１の変形例である階層動画像復号装置１Ｓ１´´について説明する。

本変形例の復号装置が復号する符号化データが、ステレオ画像のプロファイルを有する符号化データである場合には、ＣＦ条件（Ｓ１）を要求する。

この条件は、階層動画像復号装置Ｓ１´と同様に、レイヤ間サブレイヤアライメントフラグを用いない条件とすることもできるが、以下のようにレイヤ間サブレイヤアライメントフラグを用いた上で、その値をプロファイルに応じて制限することによっても実現できる。

本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグ（レイヤ間ＴＩＤアライメントフラグ）が１の場合に、ＣＦ条件（Ｓ１）を要求する。

本変形例の復号装置が復号する符号化データが、ステレオ画像のプロファイルを有する符号化データである場合には、レイヤ間サブレイヤアライメントフラグ（レイヤ間ＴＩＤアライメントフラグ）が１であることを要求する。

階層動画像復号装置１Ｓ１´´は、可変長復号部１２Ｓ１´´、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｓ１´´は、ＮＡＬユニットヘッダ復号部１１Ｓ２´、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。

ＮＡＬユニットヘッダ復号部１１Ｓ１´´は、ステレオ画像のプロファイルを有する符号化データである場合には、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号する。

パラメータセット復号部１２１は、少なくともプロファイルを復号する。プロファイルは、ＶＰＳもしくはＳＰＳから、general_profile_idcもしくはgeneral_profile_compatibility_flag[]を復号することで得られる。

上記構成の階層動画像復号装置１Ｓ１´´によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともプロファイルを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、プロファイルが、ステレオ画像である場合には、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。

上記の構成の画像復号装置によれば、プロファイルがステレオ画像である場合には、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）のピクチャを同時に同じ間引き再生を用いて、再生することができるという効果を奏する。

つまり、プロファイルがステレオ画像を示す全ての符号化データの場合に、レイヤ間サブレイヤアライメントがなされていることを前提としたユースケース（Ｕ１）をサポートする。

なお、上記条件では、ステレオ画像を示すプロファイルである、ステレオプロファイルではなく、多視点画像を示すプロファイルであるマルチビュープロファイルや、多視点にデプスを追加したマルチビュープラスデプスプロファイルに適用しても良い。

（階層動画像復号装置１Ｓ２）
以上説明した階層動画像復号装置１、階層動画像復号装置１Ｓ１´、階層動画像復号装置１Ｓ１´´では、レイヤ間の間引き再生の同期を実現するため、もしくは、レイヤ間の間引き再生を行わない代わりに高い符号化効率を得る復号装置である。これらは、図１８から図２０を用いて説明したレイヤ間ＴＩＤアライメントに関する。なお、間引き再生を行う場合には、低いサブレイヤから高いサブレイヤに移行することも同様に重要である。これらは、図２１〜図２４を用いて説明したレイヤ間サブレイヤピクチャアライメントに関する。

以下、第１の実施形態に係る階層動画像復号装置１の変形例である階層動画像復号装置１Ｓ２として、レイヤ間サブレイヤピクチャアライメントを示すレイヤ間サブレイヤアライメントフラグ（レイヤ間サブレイヤアクセスピクチャ同期フラグ）を用いる例を説明する。レイヤ間サブレイヤアライメントフラグは、ＴＳＡピクチャおよびＳＴＳＡピクチャに関するレイヤ間サブレイヤピクチャアライメントを行うフラグであるが、同時に、レイヤ間でＴＩＤを同期するフラグを兼ねても良い。

本変形例の復号装置が復号する符号化データのコンフォーマンス要求は以下の通りである。

本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグ（レイヤ間サブレイヤアクセスピクチャ同期フラグ）が１の場合に、ＣＦ条件（Ｓ１）を要求する。

本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合に、以下のＣＦ条件（Ｓ２）ＣＦ条件（Ｓ３）を要求する。

但し、ＣＦ条件（Ｓ２）ＣＦ条件（Ｓ３）の代わりにＣＦ条件（Ｓ４）でも良い。

本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合に、ＣＦ条件（Ｓ４）を要求する。

本変形例における、レイヤ間サブレイヤアライメントフラグは、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダであることを示す。すなわち、ＣＦ条件（Ｓ１）に加えて、以下のＣＦ条件（Ｓ２）とＣＦ条件（Ｓ３）をビットストリームコンフォーマンスとして要求する。

あるアクセスユニットに属するピクチャのＮＡＬユニットタイプがＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤのピクチャのＮＡＬユニットのＮＡＬユニットタイプはＴＳＡピクチャでなければならない・・・ＣＦ条件（Ｓ２）
あるアクセスユニットに属するピクチャのＮＡＬユニットタイプがＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤのピクチャのＮＡＬユニットのＮＡＬユニットタイプはＳＴＳＡピクチャでなければならない・・・ＣＦ条件（Ｓ３）
ＣＦ条件（Ｓ２）、ＣＦ条件（Ｓ３）は、図２１、図２２に対応する。

なお、本変形例における、レイヤ間サブレイヤアライメントフラグは、ＣＦ条件（Ｓ２）（Ｓ３）よりも、緩いレイヤ間アライメントでも良い。つまり、図２４に対応するセミアライメント条件の場合でも良い。

この場合、ＣＦ条件（Ｓ２）、ＣＦ条件（Ｓ３）の代わりに、以下のＣＦ条件（Ｓ４）をビットストリームコンフォーマンスとして要求する。

あるアクセスユニットに属するピクチャのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤのピクチャのＮＡＬユニットのＮＡＬユニットタイプもＴＳＡピクチャもしくはＳＴＳＡピクチャでなければならない・・・ＣＦ条件（Ｓ４）
また、セミアライメント条件は、ＣＦ条件（Ｓ４）の代わりに、ベースレイヤを基準とする次のＣＦ条件（Ｓ４´）等でも良い。

アクセスユニットに属するベースレイヤピクチャ（ＮＡＬユニットＩＤが０のピクチャ）のＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤのピクチャのＮＡＬユニットのＮＡＬユニットタイプもＴＳＡピクチャもしくはＳＴＳＡピクチャでなければならない・・・ＣＦ条件（Ｓ４´）
なお、上記では、ＣＦ条件（Ｓ２）かつＣＦ条件（Ｓ３）を条件としていたが、より緩いレイヤ間アライメントとして、ＣＦ条件（Ｓ２）とＣＦ条件（Ｓ３）のどちらか一方を要求しても良い。ＣＦ条件（Ｓ２）のみを条件とする場合には、ＴＳＡピクチャのレイヤ間アライメントが行われているため、間引き再生から間引き再生のない（もしくは殆どない）状態に遷移が可能という効果を奏する。ＣＦ条件（Ｓ３）のみを条件とする場合には、比較的挿入が容易なＳＴＳＡピクチャのレイヤ間アライメントに限定されるため、間引き再生状態の遷移が可能であるという効果を保ちながら、レイヤ間アライメントともない符号化効率低下が小さいという効果を奏する。

また、レイヤ間サブレイヤアライメントフラグを０か１かの２択のフラグではなく、３択を示すフラグとしても良い。この場合のフラグをレイヤ間サブレイヤアライメント識別子inter_layer_sublayer_alignment_idxと呼び。１つの値は、レイヤ間アライメントを要求しない。ほかの１つの場合に、緩いレイヤ間アライメントを要求するように割り当て、ほかの１つの場合に、強いレイヤ間アライメントを要求するように割り当てることが望ましい。例えば、１つを緩いアライメントであるＣＦ条件（Ｓ４）、ほかを強いアライメントであるＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）としても良い。

inter_layer_sublayer_alignment_idx＝０：ＴＳＡ、ＳＴＳＡのレイヤ間アライメントを要求しない（ＴＳＡ、ＳＴＳＡのアライメントが行われていても良い）
inter_layer_sublayer_alignment_idx＝１：ＣＦ条件（Ｓ４）
inter_layer_sublayer_alignment_idx＝２：ＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）
また、ＣＦ条件（Ｓ２）とＣＦ条件（Ｓ３）を区別可能なように、１つの値の場合にＣＦ条件（Ｓ２）を要求し、別の１つの値の場合にＣＦ条件（Ｓ３）を要求しても良い。例えば、レイヤ間サブレイヤアライメント識別子inter_layer_sublayer_alignment_idxの１つの値は、レイヤ間アライメントを要求しないことを示し。他の１つの値は緩いアライメントであるＣＦ条件（Ｓ２）もしくはＣＦ条件（Ｓ３）を示し、他の値を強いアライメントであるＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）としても良い。

inter_layer_sublayer_alignment_idx＝０：ＴＳＡ、ＳＴＳＡのレイヤ間アライメントを要求しない（ＴＳＡ、ＳＴＳＡのアライメントが行われていても良い）
inter_layer_sublayer_alignment_idx＝１：ＣＦ条件（Ｓ２）
inter_layer_sublayer_alignment_idx＝２：ＣＦ条件（Ｓ３）
inter_layer_sublayer_alignment_idx＝３：ＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）
他の構成として、例えば、レイヤ間サブレイヤアライメント識別子inter_layer_sublayer_alignment_idxの１つの値は、レイヤ間アライメントを要求しないことを示し。他の値を緩いアライメントであるＣＦ条件（Ｓ４）およびＣＦ条件（Ｓ２）およびＣＦ条件（Ｓ３）とし、ほかの１つの値を強いアライメントであるＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）を示すようにしても良い。

inter_layer_sublayer_alignment_idx＝０：ＴＳＡ、ＳＴＳＡのレイヤ間アライメントを要求しない（ＴＳＡ、ＳＴＳＡのアライメントが行われていても良い）
inter_layer_sublayer_alignment_idx＝１：ＣＦ条件（Ｓ４）
inter_layer_sublayer_alignment_idx＝２：ＣＦ条件（Ｓ１）
inter_layer_sublayer_alignment_idx＝３：ＣＦ条件（Ｓ２）
inter_layer_sublayer_alignment_idx＝４：ＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）
また、緩いレイヤ間アライメントとしては、必ずしも、ＣＦ条件（Ｓ４）、ＣＦ条件（Ｓ２）、ＣＦ条件（Ｓ３）の３つを区別する必要はなくＣＦ条件（Ｓ４）を含む以下の構成でも良い。

inter_layer_sublayer_alignment_idx＝０：ＴＳＡ、ＳＴＳＡのレイヤ間アライメントを要求しない（ＴＳＡ、ＳＴＳＡのアライメントが行われていても良い）
inter_layer_sublayer_alignment_idx＝１：ＣＦ条件（Ｓ４）
inter_layer_sublayer_alignment_idx＝２：ＣＦ条件（Ｓ２）
inter_layer_sublayer_alignment_idx＝３：ＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）
＜ＶＰＳにおける符号化＞
図４８は、レイヤ間サブレイヤアライメントフラグ（図ではinter_layer_sublayer_alignment_idx）を全レイヤ共通の１つのフラグとして、符号化データのＶＰＳに含める構成を示す。ＶＰＳは、全てのレイヤに共通のパラメータを指定するパラメータセットであるため、ＶＰＳで、レイヤ間サブレイヤアライメントフラグを符号化する構成によれば、全てのレイヤに対してレイヤ間アライメントを強制することができる効果を奏する。また、個別のレイヤでフラグを符号化する構成に比べて、全てのレイヤで１つのフラグを共有するため、符号量が低減できる効果を奏する。

なお、ＶＰＳで符号化する場合においても、個々のレイヤ毎に、レイヤ間サブレイヤアライメントフラグを含める構成も可能である。例えば、ベースレイヤを除くレイヤ（例えば、１からレイヤ数−１までのインデックスiで識別されるレイヤ）について、レイヤ間サブレイヤアライメントフラグinter_layer_sublayer_alignment_idx[i]を含めることもできる。個別のレイヤのレイヤ間アライメントを示すフラグを符号化する場合には、どのレイヤとアライメントしているか（どのレイヤのピクチャがＴＳＡもしくはＳＴＳＡピクチャであれば、同じアクセスユニットに属する対象とするレイヤもＴＳＡもしくはＳＴＳＡピクチャであるか）を示す参照レイヤを識別する情報（例えば、参照レイヤのレイヤＩＤを含める構成でも良い。レイヤ間サブレイヤアライメントフラグinter_layer_sublayer_alignment_idx[i]毎に、アライメント対象となる参照レイヤinter_layer_sublayer_alignment_pic_idx[i]を含める構成とすれば自由度が高い構成が可能である。自由度の高い指定、例えば、レイヤ１、レイヤ３、レイヤ５だけをアライメントするような指定が行うことができる。

なお、アライメント対象となる参照レイヤのレイヤＩＤを符号化せず、かならずレイヤＩＤ０つまり、ベースレイヤとアライメントすることにしても良い。参照レイヤのレイヤＩＤを符号化する場合には、参照レイヤのレイヤＩＤを符号化しない場合には、自由度は低いが、レイヤ間アライメントの基準となるレイヤが明確であるので、基準となるレイヤであるベースレイヤのピクチャがＴＳＡもしくはＳＴＳＡピクチャであるかを判定することで、レイヤ間アライメントがなされているほかのレイヤでもＴＳＡもしくはＳＴＳＡピクチャであり、同じピクチャでサブレイヤの遷移が行えることが容易にわかる。なお、基準となるレイヤを、依存レイヤの内で最小インデックスとなるレイヤとしても良い。

＜ＳＰＳ・ＶＵＩにおける符号化＞
図４９は、レイヤ間サブレイヤアライメントフラグ（図ではinter_layer_sublayer_alignment_flag）を符号化データのＳＰＳ（ＶＵＩ）に含める場合の例である。ＳＰＳは基本的には個々のレイヤ毎に符号化されるパラメータである。そのためＳＰＳ（ＶＵＩ）で含めることによって、個々のレイヤで異なるレイヤ間アライメント状態を示すことができる。なお、１つのＳＰＳパラメータを複数のレイヤで共有することも可能である。ＶＵＩはＳＰＳ内のパラメータであり、ＶＵＩが存在するというフラグvui_parameters_present_flagが１の場合に符号化される。また、ＶＵＩではビットストリームに制約を課すか否かのフラグbitstream_restriction_flagが１の場合にレイヤ間サブレイヤアライメントフラグ（図ではinter_layer_sublayer_alignment_flag）を含む。個別のレイヤでフラグを符号化することが可能なＳＰＳ（ＶＵＩ）で符号化する場合には、あるレイヤはレイヤ間アライメントがされており、ほかのレイヤではレイヤ間アライメントがなされていない状態を明示的に識別することができるという効果を奏する。また、ＳＰＳはＶＰＳよりも高い周期で切り替えることが可能であるから、ある区間でレイヤ間アライメントを行い、ほかの区間ではレイヤ間アライメントを行わないような指定がより容易に行えるという効果を奏する。また、ＶＵＩにはビットストリームに対する制約を集めたパラメータを含めているため、ほかのビットストリーム制約のパラメータと共通の場所で符号化できるという効果を奏する。なお、ＳＰＳ（ＶＵＩ）に含める場合にも、アライメント対象となる参照レイヤinter_layer_sublayer_alignment_pic_idx[i]を含める構成としても良いし、参照レイヤの情報を含めずにベースレイヤ（もしくは依存レイヤの内で最小インデックスとなるレイヤ）とアライメントする構成としても良い。

階層動画像復号装置１Ｓ２は、可変長復号部１２Ｓ２、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｓ２は、ＮＡＬユニットヘッダ復号部１１Ｓ２、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。

ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャの値を設定する。

また、ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＳＴＳＡピクチャの値を設定する。

なお、ＣＦ条件（Ｓ２）（Ｓ３）の代わりに、ＣＦ条件（Ｓ４）を用いる場合には、以下の構成でも良い。

ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャもしくはＳＴＳＡピクチャの値を設定する。

なお、ＣＦ条件（Ｓ２）（Ｓ３）およびＣＦ条件（Ｓ４）の代わりに、ＣＦ条件（Ｓ２）のみおよびＣＦ条件（Ｓ３）のみを要求しても良い。例えばＣＦ条件（Ｓ２）のみの場合には、ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャピクチャの値を設定する。

また、さらに、既に説明したように、レイヤ間サブレイヤアライメントフラグinter_layer_sublayer_alignment_idxとして３選択以上のフラグを用いても良い。例えば、一つの構成では、
ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、ＣＦ条件（Ｓ４）により、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャピクチャの値を設定する。

また、ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが２の場合に、ＣＦ条件（Ｓ２）により、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャの値を設定する。

また、ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが３の場合に、ＣＦ条件（Ｓ３）により、あるレイヤのＮＡＬユニットタイプがＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＳＴＳＡピクチャの値を設定する。

また、ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが４の場合に、ＣＦ条件（Ｓ２）＋ＣＦ（３）により、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャの値を設定し、あるレイヤのＮＡＬユニットタイプがＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＳＴＳＡピクチャの値を設定する。

上記構成の階層動画像復号装置１Ｓ２によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。

上記の構成の画像復号装置によれば、同じアクセスユニットに属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤがＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である場合には、他のレイヤもＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である。そのため、どのレイヤにおいても、同じタイミングであるサブレイヤから、より上位のサブライヤに移行することができる（間引き再生中から非間引き再生に移行するなど間引きの粒度を下げることができる）という効果を奏する。

上記の構成の画像復号装置によれば、レイヤ間サブレイヤアライメントフラグを１とすることにより、ユースケース（Ｕ１）とユースケース（Ｕ２）をサポートすることができる。また、上記の構成の画像復号装置は、コンフォーマンス条件を、レイヤ間サブレイヤアライメントフラグ依存としているため、レイヤ間サブレイヤアライメントフラグを０とすることにより、ユースケース（Ｕ３）とユースケース（Ｕ４）もサポートすることができる。

（階層動画像復号装置１Ｓ２´）
以下では、第１の実施形態に係る階層動画像復号装置１の変形例である階層動画像復号装置１Ｓ２´について、図１〜図１６を参照して説明する。本例は、階層動画像復号装置１Ｓ１´と同様、フラグによらずに、レイヤ間ＴＩＤアライメントが行われている場合を扱う。

本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグによらず、ＣＦ条件（Ｓ１）を要求する。

本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合には、ＣＦ条件（Ｓ２）、ＣＦ条件（Ｓ３）を要求する。

階層動画像復号装置１Ｓ２´は、可変長復号部１２Ｓ２´、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｓ２´は、ＮＡＬユニットヘッダ復号部１１Ｓ２´、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。

ＮＡＬユニットヘッダ復号部１１Ｓ２´は、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号する。

ＮＡＬユニットヘッダ復号部１１Ｓ２´は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャもしくはＳＴＳＡピクチャの値を設定する。

パラメータセット復号部１２１は、パラメータセットからレイヤ間サブレイヤアライメントフラグを復号する。

上記構成の階層動画像復号装置１Ｓ２´によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。

上記の構成の画像復号装置によれば、あるレイヤがＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である場合には、他のレイヤもＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である。そのため、どのレイヤにおいても、同じタイミングであるサブレイヤから、より上位のサブライヤに移行することができる（間引き再生中から非間引き再生に移行するなど間引きの粒度を下げることができる）という効果を奏する。

上記の構成の画像復号装置によれば、全ての符号化データに対してユースケース（Ｕ１）とユースケース（Ｕ２）をサポートすることができる。

（階層動画像復号装置１Ｓ２´´）
以下では、第１の実施形態に係る階層動画像復号装置１Ｓ２の変形例である階層動画像復号装置１Ｓ２´´について説明する。一般に、ステレオ画像符号化では、同じアクセスユニットの複数のレイヤのピクチャを復号し再生する。間引き再生においても、複数のレイヤのピクチャが同時に再生できた方が好ましい。従って、特に、ステレオ画像を示すプロファイルの場合には、レイヤ間サブレイヤアライメントを行うことをビットストリームコンフォーマンスとして要求する。

本変形例の復号装置が復号する符号化データが、ステレオ画像のプロファイルを有する符号化データである場合には、ＣＦ条件（Ｓ２）（Ｓ３）もしくはＣＦ条件（Ｓ４）を要求する。

この条件は、以下のようにレイヤ間サブレイヤアライメントフラグを用いた条件としても同値である。

本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合に、ＣＦ条件（Ｓ１）を要求する。

本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合に、ＣＦ条件（Ｓ２）（Ｓ３）もしくはＣＦ条件（Ｓ４）を要求する。

本変形例の復号装置が復号する符号化データが、ステレオ画像のプロファイルを有する符号化データである場合には、レイヤ間サブレイヤアライメントフラグが１であることを要求する。

階層動画像復号装置１Ｓ２´´は、可変長復号部１２Ｓ２´´、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｓ２´´は、ＮＡＬユニットヘッダ復号部１１Ｓ２´、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。

ＮＡＬユニットヘッダ復号部１１Ｓ２´´は、プロファイルがステレオプロファイルを示す場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号する。

ＮＡＬユニットヘッダ復号部１１Ｓ２´´は、プロファイルがステレオプロファイルを示す場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャもしくはＳＴＳＡピクチャの値を設定する。

パラメータセット復号部１２１は、パラメータセットから少なくともプロファイルを復号する。プロファイルは、ＶＰＳもしくはＳＰＳから、general_profile_idcもしくはgeneral_profile_compatibility_flag[]を復号することで得られる。

ＮＡＬユニットヘッダ復号部１１Ｓ２´´は、パラメータセット復号部１２１が復号したプロファイルがステレオ画像を示す場合に、アクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号する。

ＮＡＬユニットヘッダ復号部１１Ｓ２´´は、パラメータセット復号部１２１が復号したプロファイルがステレオ画像を示す場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャもしくはＳＴＳＡピクチャの値を設定する。

上記構成の階層動画像復号装置１Ｓ２´´によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともプロファイルを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像を示す場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。

上記の構成の画像復号装置によれば、ステレオ画像の再生において、あるレイヤがＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である場合には、他のレイヤもＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である。そのため、どのレイヤにおいても、同じタイミングであるサブレイヤから、より上位のサブライヤに移行することができる（間引き再生中から非間引き再生に移行するなど間引きの粒度を下げることができる）という効果を奏する。

つまり、プロファイルがステレオ画像を示す符号化データの場合に、レイヤ間サブレイヤアライメントがなされていることを前提としたユースケース（Ｕ１）とユースケース（Ｕ２）をサポートすることができる。

なお、上記条件では、ステレオ画像を示すプロファイルである、ステレオプロファイルではなく、多視点画像を示すプロファイルであるマルチビュープロファイルや、多視点に奥行き情報（デプス）を追加したマルチビュープラスデプスプロファイルに適用しても良い。

（第２の実施形態）
以下では、第２の実施形態に係る階層動画像復号装置の構成について、図３４〜図Ａ８を参照して説明する。第２の実施形態に係る階層動画像復号装置は、全てのレイヤが同じレイヤ間予測最大ＴＩＤを用いる場合を示すフラグを有する、もしくは、全てのレイヤが同じレイヤ間予測最大ＴＩＤを用いる場合において、レイヤ毎に符号化されるレイヤ間予測最大ＴＩＤの冗長性を低減する。以下、第２の実施形態に係る階層動画像復号装置について、階層動画像復号装置１Ａａ、階層動画像復号装置１Ａｂ、階層動画像復号装置１Ａｃを順に説明する。

（階層動画像復号装置１Ａａ）
以下、第２の実施形態に係る階層動画像復号装置として、階層動画像復号装置１Ａａ、階層動画像復号装置１Ａｂ、階層動画像復号装置１Ａｃの３つの例を説明する。

階層動画像復号装置１Ａａは、可変長復号部１２Ａａ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ａａは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。

図３４は、パラメータセット復号部１２１ａの構成を例示した機能ブロック図である。図３４に示すようにパラメータセット復号部１２１ａは、レイヤ間予測最大ＴＩＤアライメントフラグ復号部１２１２ａ、レイヤ間予測最大ＴＩＤ復号部１２１３ａを含んで構成される。

図３３は、パラメータセット復号部１２１ａの復号する符号化データの構成を示すシンタックスデーブルである。図中、ＳＡ１００１に示すように、パラメータセット（ここではＶＰＳ）の符号化データはレイヤ間予測最大ＴＩＤアライメントフラグ（max_tid_alignment_flag）を含む。また、ＳＡ１００２に示すように、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、符号化データは１つのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を含む。ＳＡ１００３に示すように、レイヤ間予測最大ＴＩＤアライメントフラグが１以外の場合には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含む。ここでiはレイヤＩＤを示す0から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックス。

なお、最大レイヤ数が２以下の場合には、レイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを含まないようにすることが好ましい。すなわち、最大レイヤ数―１vps_max_layers_minus1が１以下の場合は、レイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを含まず、vps_max_layers_minus1が１より大きい場合（２以上の場合）に、レイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを含むことが望ましい。

パラメータセット復号部１２１ａのレイヤ間予測最大ＴＩＤアライメントフラグ復号部１２１２ａ、パラメータセットからレイヤ間予測最大ＴＩＤアライメントフラグ（max_tid_alignment_flag）を復号する。パラメータセット復号部１２１ａのレイヤ間予測最大ＴＩＤ復号部１２１３ａは、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、１つのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を復号し、レイヤ間予測最大ＴＩＤアライメントフラグが１以外の場合には、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を復号する。ここでiはレイヤＩＤを示す0から最大レイヤ数―１vps_max_layers_minus1までのインデックス。なお、最大レイヤ数が３以上の場合（最大レイヤ数―１vps_max_layers_minus1が１より大きい場合）に、レイヤ間予測最大ＴＩＤアライメントフラグ復号部１２１２ａはレイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを符号化データから復号する。レイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを符号化データから復号しない場合には、レイヤ間予測最大ＴＩＤアライメントフラグ復号部１２１２ａはmax_tid_alignment_flagに０もしくは１を設定する。

パラメータセット復号部１２１ａは、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、復号した１つのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を共通レイヤ間予測最大ＴＩＤ（general_max_tid_il_ref_pics_plus1）に設定する。

general_max_tid_il_ref_pics_plus1 = max_tid_il_ref_pics_plus1[ 0 ]
パラメータセット復号部１２１ａのレイヤ間予測最大ＴＩＤ復号部１２１３ａは、共通レイヤ間予測最大ＴＩＤを、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]に設定する。

上記構成の階層動画像復号装置１Ａａ、また後述の階層動画像復号装置１Ａｂ、階層動画像復号装置１Ａｃによれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間予測最大ＴＩＤを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのレイヤ間予測最大ＴＩＤより小さいＴＩＤを有するピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、パラメータセット復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合には、全てのレイヤに共通のレイヤ間予測最大ＴＩＤを割り当て、共通のレイヤ間予測最大ＴＩＤが用いられないと判定される場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。

上記構成の階層動画像復号装置１Ａａによれば、上記パラメータセット復号部は、レイヤ間予測最大ＴＩＤアライメントフラグを復号し、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、１つのレイヤ間予測最大ＴＩＤを復号し、全てのレイヤに復号した１つのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間予測最大ＴＩＤアライメントフラグが０の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。

（階層動画像復号装置１Ａｂ）
以下、第２の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ａｂを説明する。

階層動画像復号装置１Ａｂは、可変長復号部１２Ａｂ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ａｂは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ｂ、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。

図３６は、パラメータセット復号部１２１ｂの構成を例示した機能ブロック図である。図３６に示すようにパラメータセット復号部１２１ｂは、共通レイヤ間予測最大ＴＩＤ復号部１２１２ｂ、レイヤ間予測最大ＴＩＤ復号部１２１３ｂを含んで構成される。

図３５は、パラメータセット復号部１２１ｂの復号する符号化データの構成を説明する図である。図中、ＳＡ２００１に示すように、パラメータセット（ここではＶＰＳ）の符号化データは共通レイヤ間予測最大ＴＩＤ（general_max_tid_il_ref_pics_plus1）を含む。また、ＳＡ２００２に示すように、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1が所定の値以外の場合（ここでは７未満の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含まない（導出される）。ＳＡ２００３に示すように、共通レイヤ間予測最大ＴＩＤが所定の値の場合（ここでは７の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含む。ここでiはレイヤＩＤを示す0から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックス。

なお、最大レイヤ数が３以上の場合（最大レイヤ数―１vps_max_layers_minus1が１より大きい場合）には、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1を符号化データから復号する。符号化データから復号しない場合には、general_max_tid_il_ref_pics_plus1として所定の値（ここでは７）を設定する。

パラメータセット復号部１２１ｂの共通レイヤ間予測最大ＴＩＤ復号部１２１２ｂは、パラメータセットから共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1を復号する。

パラメータセット復号部１２１ｂのレイヤ間予測最大ＴＩＤ復号部１２１３ｂは、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1が制限しないことを示す所定の値（ここでは７）の場合には、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を復号する。ここでiはレイヤＩＤを示す０から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックスである。

さらに、レイヤ間予測最大ＴＩＤ復号部１２１３ｂは、共通レイヤ間予測最大ＴＩＤが所定の値以外の場合には、ＳＡ２００２に示すように、共通レイヤ間予測最大ＴＩＤを、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]に設定する。ここでiはレイヤＩＤを示す０から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックスである。

上記構成の階層動画像復号装置１Ａｂによれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間予測最大ＴＩＤを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのレイヤ間予測最大ＴＩＤより小さいＴＩＤを有するピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、パラメータセット復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合には、全てのレイヤに共通のレイヤ間予測最大ＴＩＤを割り当て、共通のレイヤ間予測最大ＴＩＤが用いられないと判定される場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。

上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤが所定の値の場合にはレイヤ毎にレイヤ間予測最大ＴＩＤの復号を行う必要がないため、冗長なフラグの復号を削減する効果を奏する。

パラメータセット復号部は、共通レイヤ間予測最大ＴＩＤを復号し、共通レイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号した共通レイヤ間予測最大ＴＩＤを割り当て、共通レイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする画像復号装置。

（階層動画像復号装置１Ａｃ）
以下、第２の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ａｃを説明する。

階層動画像復号装置１Ａｃは、可変長復号部１２Ａｃ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ａｃは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ｃ、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。

図３８は、パラメータセット復号部１２１ｃの構成を例示した機能ブロック図である。図３８に示すようにパラメータセット復号部１２１ｃは、レイヤ間サブレイヤアライメントフラグ復号部１２１１、レイヤ間予測最大ＴＩＤ復号部１２１３ｃを含んで構成される。

図３７は、パラメータセット復号部１２１ｃの復号する符号化データの構成を説明する図である。図中、ＳＡ３０００、ＳＡ３００１に示すように、パラメータセット（ここではＶＰＳ）の符号化データはレイヤ間サブレイヤアライメントフラグ（tid_alignment_flag）と、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を含む。また、ＳＡ３００２に示すように、レイヤ間サブレイヤアライメントフラグが１であり、なお且つ、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値以外の場合（ここでは７未満の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含まない（導出される）。ＳＡ３００３に示すように、レイヤ間サブレイヤアライメントフラグが０の場合、もしくは、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値の場合（ここでは７の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含む。ここでiはレイヤＩＤを示す０から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックスである。

なお、第１の実施形態で説明したように、レイヤ間サブレイヤアライメントフラグの値にかかわらず、ＴＩＤのサブレイヤアライメントが行われる場合、すなわちＣＦ条件（Ｓ１）が成り立つ場合には、レイヤ間サブレイヤアライメントフラグによらず、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値以外の場合（ここでは７未満の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含まない（導出される）としても良い。

パラメータセット復号部１２１ｃのレイヤ間予測最大ＴＩＤ復号部１２１３ｃは、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値以外の場合（ここでは７未満の場合）には、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1にベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を設定する。そして、レイヤ間予測最大ＴＩＤ復号部１２１３ｃは、ＳＡ３００２に示すように、共通レイヤ間予測最大ＴＩＤ（ベースレイヤのレイヤ間予測最大ＴＩＤ）を、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]に設定する。

パラメータセット復号部１２１ｃのレイヤ間予測最大ＴＩＤ復号部１２１３ｃは、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値の場合（ここでは７以上の場合）には、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を復号する。ここでiはレイヤＩＤを示す１から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックスである。

上記構成の階層動画像復号装置１Ａ３によれば、上記パラメータセット復号部は、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに、復号したベースレイヤのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間サブレイヤアライメントフラグが０、又は、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。

なお、上記パラメータセット復号部は、レイヤ間サブレイヤアライメントフラグが１、かつ、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに、復号したベースレイヤのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間サブレイヤアライメントフラグが０、又は、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とするように構成しても良い。

上記構成の階層動画像復号装置１Ａｃによれば、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤの復号を行う必要がないため、冗長なフラグの復号を削減する効果を奏する。

（第３の実施形態）
以下では、第３の実施形態に係る階層動画像復号装置１Ｂの構成について、図４０〜図４６を参照して説明する。第３の実施形態に係る階層動画像復号装置１Ｂは、全てのレイヤが同じレイヤ間予測最大ＴＩＤを用いる場合において、スライスセグメントヘッダで符号化されるレイヤ間予測に関する情報の冗長性を低減する。以下、第３の実施形態に係る階層動画像復号装置１Ｂの構成として、階層動画像復号装置１Ｂａ、階層動画像復号装置１Ｂｂ、階層動画像復号装置１Ｂｃを順に説明する。

（階層動画像復号装置１Ｂａ）
階層動画像復号装置１Ｂａは、可変長復号部１２Ｂａ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｂａは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２ａ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。なお、パラメータセット復号部は、第２の実施形態で説明したパラメータセット復号部を用いることができる。すなわち、パラメータセット復号部１２１ａの代わりに、パラメータセット復号部１２１ｂ、パラメータセット復号部１２１ｃを用いても良い。

図４１は、スライスセグメントヘッダ復号部１２２ａの構成を例示した機能ブロック図である。図４１に示すようにスライスセグメントヘッダ復号部１２２ａは、実依存レイヤ復号部１２２３として、レイヤ間予測可能フラグ復号部１２２３１を含んで構成される。

図４０は、スライスセグメントヘッダ復号部１２２ａの復号する符号化データの構成を説明する図である。図中、ＳＢ１００１に示すように、スライスセグメントヘッダの符号化データは、レイヤ間予測可能フラグ（inter_layer_pred_enabled_flag）を含む。ＳＢ１００２に示すように、レイヤ間予測可能フラグ（inter_layer_pred_enabled_flag）が１の場合には、符号化データは、さらに、num_inter_layer_ref_pics_minus1と、inter_layer_pred_layer_idc[ i ]を含む。

スライスセグメントヘッダ復号部１２２ａのレイヤ間予測可能フラグ復号部１２２３１は、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤ（general_max_tid_il_ref_pics_plus1から１を減算した値）以下の場合で、かつ、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumDirectRefLayers[ nuh_layer_id ]が０より大きい場合に、符号化データからレイヤ間予測可能フラグを復号する。

レイヤ間予測可能フラグ復号部１２２３１は、レイヤ間予測可能フラグが符号化データから復号されない場合には、レイヤ間予測可能フラグとして、レイヤ間予測を行わないことを示す０を導出する。つまり、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1以上の場合（general_max_tid_il_ref_pics_plus1から１を減算した値よりも大きい場合）には、符号化データからレイヤ間予測可能フラグを復号せずに、レイヤ間予測可能フラグとして０を設定する。

スライスセグメントヘッダ復号部１２２ａは、レイヤ間予測が可能であるか否かを示すフラグであるレイヤ間予測可能フラグを復号するレイヤ間予測可能フラグ復号部を備え、
上記レイヤ間予測可能フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測可能フラグを復号し、それ以外の場合には、レイヤ間予測可能フラグを０に設定することを特徴とする。

上記構成の階層動画像復号装置１Ｂａによれば、スライスセグメントヘッダ復号部１２２ａを備えることにより、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤよりも大きいＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測可能フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。

（階層動画像復号装置１Ｂｂ）
以下、第３の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ｂｂを説明する。

階層動画像復号装置１Ｂｂは、可変長復号部１２Ｂｂ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｂｂは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２ｂ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。なお、パラメータセット復号部は、第２の実施形態で説明したパラメータセット復号部１２１ａを用いることができる。

図４３は、スライスセグメントヘッダ復号部１２２ｂの構成を例示した機能ブロック図である。図４３に示すようにスライスセグメントヘッダ復号部１２２ｂは、実依存レイヤ復号部１２２３として、レイヤ間予測限定フラグ復号部１２２３２を含んで構成される。

図４２は、スライスセグメントヘッダ復号部１２２ｂの復号する符号化データの構成を説明する図である。図中、ＳＢ２００１に示すように、スライスセグメントヘッダの符号化データは、スライスがレイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグ（inter_layer_sample_pred_only_flag）を含む。

スライスセグメントヘッダ復号部１２２ｂのレイヤ間予測限定フラグ復号部１２２３２は、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤ（general_max_tid_il_ref_pics_plus1から１を減算した値）以下の場合で、かつ、依存レイヤNumSamplePredRefLayers[ nuh_layer_id ]が０より大きい場合に、符号化データからレイヤ間予測限定フラグを復号する。

レイヤ間予測限定フラグ復号部１２２３２は、レイヤ間予測限定フラグが符号化データから復号されない場合には、レイヤ間予測限定フラグとして０を導出する。つまり、レイヤ間予測限定フラグ復号部１２２３２は、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1以上の場合（general_max_tid_il_ref_pics_plus1から１を減算した値よりも大きい場合）には、符号化データからレイヤ間予測限定フラグを復号せずに、レイヤ間予測限定フラグとして０を設定する。

スライスセグメントヘッダ復号部１２２ｂは、レイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグを復号するレイヤ間予測限定フラグ復号部を備え、
上記レイヤ間予測限定フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測限定フラグを復号し、それ以外の場合には、レイヤ間予測限定フラグを０に設定することを特徴とする。

上記構成の階層動画像復号装置１Ｂｂによれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤよりも大きいＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測限定フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。

（階層動画像復号装置１Ｂｃ）
以下、第３の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ｂｃを説明する。

階層動画像復号装置１Ｂｃは、可変長復号部１２Ｂｃ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｂｃは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２ｃ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。なお、パラメータセット復号部は、第２の実施形態で説明したパラメータセット復号部１２１ａを用いることができる。

図４５は、スライスセグメントヘッダ復号部１２２ｃの構成を例示した機能ブロック図である。図４５に示すようにスライスセグメントヘッダ復号部１２２ｃは、代替コロケート指示情報復号部１２２４を含んで構成される。

図４４は、スライスセグメントヘッダ復号部１２２ｃの復号する符号化データの構成を説明する図である。図中、ＳＢ３００１に示すように、スライスセグメントヘッダの符号化データは、代替コロケート指示フラグ（alt_collocated_indication_flag）を含む。

スライスセグメントヘッダ復号部１２２ｂの代替コロケート指示情報復号部１２２４は、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1から１を減算した値以下の場合で、かつ、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumActiveMotionPredRefLayers[ nuh_layer_id ]が０より大きい場合に、符号化データから代替コロケート指示フラグを復号する。

代替コロケート指示情報復号部１２２４は、代替コロケート指示フラグが符号化データから復号されない場合には、代替コロケート指示フラグとして、テンポラル動き予測用の参照ピクチャをレイヤＩＤによって指定しないことを示す０を導出する。つまり、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1以上の場合（general_max_tid_il_ref_pics_plus1-1よりも大きい場合）には、符号化データから代替コロケート指示フラグを復号せずに、代替コロケート指示フラグとして０を設定する。

スライスセグメントヘッダ復号部１２２ｃは、テンポラル動き予測用の参照ピクチャを、レイヤＩＤによって指定するか否かを示すフラグである代替コロケート指示フラグを復号する代替コロケート指示情報復号部を備え、上記代替コロケート指示情報復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記代替コロケート指示フラグを復号し、それ以外の場合には、代替コロケート指示フラグを０に設定することを特徴とする。

上記構成の階層動画像復号装置１Ｂｃによれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤよりも大きいＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、代替コロケート指示フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。

（階層動画像復号装置１Ｂａｂｃ）
以下、第３の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ｂａｂｃを説明する。階層動画像復号装置１Ｂａ、階層動画像復号装置１Ｂｂ、階層動画像復号装置１Ｂｃにおいて説明したレイヤ間予測可能フラグ復号部１２２３１、レイヤ間予測限定フラグ復号部１２２３２、代替コロケート指示情報復号部１２２４は組み合わせて用いることも可能である。ここでは、全てを組み合わせて利用した場合を例として説明する。

階層動画像復号装置１Ｂａｂｃは、可変長復号部１２Ｂａｂｃ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｂａｂｃは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２ａｂｃ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。なお、パラメータセット復号部は、第２の実施形態で説明したパラメータセット復号部１２１ａを用いることができる。

図４６は、スライスセグメントヘッダ復号部１２２ａｂｃの構成を例示した機能ブロック図である。図４６に示すようにスライスセグメントヘッダ復号部１２２ａｂｃは、実依存レイヤ復号部１２２３として、レイヤ間予測可能フラグ復号部１２２３１、レイヤ間予測限定フラグ復号部１２２３２、代替コロケート指示情報復号部１２２４を含んで構成される。

上記構成の階層動画像復号装置１Ｂａｂｃによれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤよりも大きいＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測可能フラグ、レイヤ間予測限定フラグ、代替コロケート指示フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。

以下、第１の実施形態から第３の実施形態の共通部分についてより詳細に説明する。

（第４の実施形態）
以下では、第４の実施形態に係る階層動画像復号装置１Ｃの構成について、図５０〜図６４を参照して説明する。第４の実施形態に係る階層動画像復号装置１Ｃは、対象ピクチャにおいてレイヤ間予測に用いるピクチャであるレイヤ間参照ピクチャを依存レイヤのから選択する方法に関する。特に、レイヤ間参照ピクチャを依存レイヤのから選択する方法として、依存レイヤ毎に、その依存レイヤがレイヤ間参照ピクチャとして用いられるか否かを示す１ビットのフラグ（実レイヤ依存フラグ）を、対象ピクチャのＴＩＤが、該依存レイヤのレイヤ間予測最大ＴＩＤ未満の場合にのみに復号することを特徴とする。すなわち、実依存レイヤを復号する場合に、対象ピクチャのＴＩＤと、レイヤ間予測最大ＴＩＤに応じて、実レイヤ依存フラグを復号するかを否かを切り替える。以下、第４の実施形態に係る階層動画像復号装置１Ｃの構成として、階層動画像復号装置１Ｃａ、階層動画像復号装置１Ｃｂ、階層動画像復号装置１Ｃｃを順に説明する。

（階層動画像復号装置１Ｃａ）
階層動画像復号装置１Ｃａは、可変長復号部１２Ｃａ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｃａは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１Ｃａ、スライスセグメントヘッダ復号部１２２Ｃａ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１は、階層動画像復号装置１で説明済みであるため説明は省略する。

パラメータセット復号部１２１Ｃａは、レイヤ依存情報復号部４０１１ａを含んで構成される。レイヤ依存情報復号部４０１１ａは、対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報をＶＰＳから復号する。

具体的には、パラメータセット復号部１２１Ｃａは、対象レイヤiが、参照レイヤjに依存するか否かを示すレイヤ依存フラグdirect_dependent_flag[i][j]を復号し、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]を導出する。依存レイヤリストRefLayers[][]は、レイヤＩＤのリストで表現される。依存レイヤリストRefLayers[ nuh_layer_id ][]は、nuh_layer_idで指定される対象レイヤが参照する、対照レイヤとは異なるレイヤのリストである。依存レイヤリストRefLayers[][]は、依存レイヤ識別子RefLayers[i][j]のセット（リスト）である。以下、RefLayersを単に依存レイヤ、と呼ぶこともある。

図５０は、レイヤ依存情報復号部４０１１ａにおける依存レイヤRefLayers[]の導出処理を示す図である。

レイヤ依存情報復号部４０１１ａは、SC1001ａに示すように、i(0〜63)、j(0〜63)に対して、依存レイヤリストRefLayerId[i][j]および、依存レイヤ数NumDirectRefLayers[ i ]を０に初期化する。

レイヤ依存情報復号部４０１１ａは、SC1002ａに示すように、i(0〜63)、j(i〜63)に対して、対象レイヤiが、参照レイヤjのレイヤ依存フラグdirect_dependent_flag[ i ][ j ]を復号する。direct_dependent_flag[ i ][ j ]が１である場合には、以下の式により、依存レイヤリストRefLayerIdに、レイヤＩＤを追加し、依存レイヤ数をNumDirectRefLayers[ iNuhLId ][ k ]を１だけインクリメントする。

RefLayerId[ iNuhLId ][ NumDirectRefLayers[ iNuhLId ][ k ]++ ][k] = layer_id_in_nuh[ j ]
なおレイヤＩＤは、レイヤを示すインデックスiをレイヤＩＤに変換するテーブルlayer_id_in_nuh[]を用いて、layer_id_in_nuh[ j ]により導出される。

全ての対象レイヤiが、参照レイヤjについて上記処理を行うことにより、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]が導出される。

図５４は、依存レイヤの例を示す。図５４に示すように、レイヤ依存フラグdirect_dependent_flagが１となる参照レイヤ、ここではレイヤ０、レイヤ２、レイヤ３のレイヤＩＤのリストRefLayers[][]= {0, 2, 3}が依存レイヤリストである。

レイヤ依存情報復号部４０１１ａは、依存レイヤRefLayers[i][j]の各々に対し、レイヤ依存タイプdirect_dependency_type[i][j]を復号する。レイヤ依存タイプは、レイヤ依存フラグから導出された依存レイヤRefLayerIdごとに、レイヤ間予測の種類を示す情報であり、少なくとも画素の予測に用いるサンプル予測、動きベクトルの予測に用いる動き予測を示すことができる。

ある対象ピクチャで実際に用いられる依存レイヤのリストを実依存レイヤリストRefPicLayerId[]と呼ぶ。実依存レイヤリストRefPicLayerId[]は、レイヤＩＤのリストで表現される。

図５５は、実依存レイヤの例を示す。実レイヤ依存フラグactive_direct_dependent_flagは、各依存レイヤが対象ピクチャにおいてレイヤ間参照ピクチャとして用いられるか否かを示す０か１のフラグである。図５５では、依存レイヤRefLayers[][]= {0, 2, 3}に対して、各々active_direct_dependent_flag[0]、active_direct_dependent_flag[1]、active_direct_dependent_flag[2]が割り当てられている。その値は、各々、１、０、１である。active_direct_dependent_flag = {1,0,1}である。図５５では、レイヤ０、３に対応するインデックス０と２の実レイヤ依存フラグは１（active_direct_dependent_flag[0]=1、active_direct_dependent_flag[2]=1）、レイヤ２に対応するインデックス１の実レイヤ依存フラグ（active_direct_dependent_flag[1]=0）の例を示しており、レイヤ２は、実依存レイヤ情報で選択されなかったため、実依存レイヤには格納されない。レイヤ１は、レイヤ依存フラグを復号した段階で、元々依存レイヤに格納されていなかったので実レイヤ依存フラグは復号されない。

なお、実レイヤ依存フラグactive_direct_dependent_flagの表記は、レイヤ間参照ピクチャ有効フラグinter_layer_ref_pic_enable_flagや、レイヤ間予測ピクチャ存在フラグinter_layer_pred_pic_present_flagや、その他の表記でも良い。

図５６は、レイヤ間予測最大ＴＩＤの制限を説明する図である。レイヤ０からレイヤ２までの３レイヤがあり、レイヤ０のレイヤ間予測最大ＴＩＤがmax_tid_il_ref_pics_plus1[0] = 2、レイヤ１のレイヤ間予測最大ＴＩＤがmax_tid_il_ref_pics_plus1[1] = 1の例である。レイヤＸのレイヤ間予測最大ＴＩＤがmax_tid_il_ref_pics_plus1[X]の場合には、レイヤＸのピクチャは、レイヤ間予測最大ＴＩＤがmax_tid_il_ref_pics_plus1[X]未満のレイヤのみをレイヤ間参照ピクチャとして参照できる。従って、レイヤ０のピクチャは、ＴＩＤ＝０もしくは１のサブレイヤのピクチャのみが、他のレイヤからレイヤ間参照ピクチャとして参照することができる。レイヤ１のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[1]が1であるので、レイヤ１のピクチャは、すなわちＴＩＤ＝０のサブレイヤのピクチャのみが、他のレイヤからレイヤ間参照ピクチャとして参照することができる。レイヤ２からみると、ＴＩＤ＝０のピクチャでは、レイヤ０、レイヤ１の２つの依存レイヤのピクチャをレイヤ間参照ピクチャとして参照できるのに対し、ＴＩＤ＝１のピクチャでは、レイヤ０の依存レイヤのピクチャのみがレイヤ間参照ピクチャとして参照できる。以下に説明するように、レイヤ間参照ピクチャを導出する実依存レイヤ復号部１２２３Ｃａは、ＴＩＤに応じて参照できないことが予め分かっている依存レイヤについては、レイヤ間参照ピクチャとして用いるか否かを示すフラグである実レイヤ依存フラグactive_direct_dependent_flagを復号しない（実依存レイヤ復号部１２２３Ｃｂ、実依存レイヤ復号部１２２３Ｃｃも同様）ことにより、実レイヤ依存フラグの符号量を低減する。

図５２は、スライスセグメントヘッダ復号部１２２Ｃａの構成を例示した機能ブロック図である。図５２に示すようにスライスセグメントヘッダ復号部１２２Ｃａは、実依存レイヤ復号部１２２３として、実依存レイヤ復号部１２２３Ｃａを含んで構成される。

図５１は、実依存レイヤ復号部１２２３Ｃａの復号する符号化データの構成を説明する図である。図中、ＳＢ１００１に示すように、スライスセグメントヘッダの符号化データは、実レイヤ間依存情報active_inter_layer_info()に示す情報、具体的には、ある依存レイヤに対象ピクチャと同時刻のピクチャが、レイヤ間参照ピクチャとして、参照可能であるか否かを示す実レイヤ依存フラグactive_direct_dependent_flagを含む。

本実施形態の階層動画像復号装置１Ｃａが復号する符号化データは、図５１に示すように、実レイヤ間依存情報として、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1）において、対象ピクチャのTemporalIDが、依存レイヤiのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]より小さい場合に実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。

ここで、ref_layer_idは、図５１で以下の式で示すように依存レイヤiのレイヤＩＤを示し、依存レイヤリストRefLayerId[][]の対象レイヤnuh_layer_id、インデックスiの識別子RefLayerId[ nuh_layer_id][i] から導出することができる。

ref_layer_id = RefLayerId[ nuh_layer_id][i]
スライスセグメントヘッダ復号部１２２Ｃａは、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumDirectRefLayers[ nuh_layer_id ]が０より大きい場合に、実依存レイヤ復号部１２２３Ｃにより、実依存レイヤを復号する。

実依存レイヤ復号部１２２３Ｃａは、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1より小さい場合に符号化データから実レイヤ依存フラグを復号する。

実依存レイヤ復号部１２２３Ｃａは、図５１の符号化データから、実レイヤ依存フラグactive_direct_dependent_flag[i]を復号し、実依存レイヤRefPicLayerId[]を導出する。すなわち、実依存レイヤ復号部１２２３Ｃａは、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1）について、依存レイヤiのレイヤ間予測最大ＴＩＤであるmax_tid_il_ref_pics_plus1[ref_layer_id]よりも、対象ピクチャのTemporalIDが小さい場合には、対象ピクチャにおいて依存レイヤが用いられるか否かを示す実レイヤ依存フラグactive_direct_dependent_flag[i]を復号する。なお、実依存レイヤ復号部１２２３Ｃａは、参照レイヤiの実レイヤ依存フラグactive_direct_dependent_flag[i]が符号化データに含まれない場合には、実レイヤ依存フラグactive_direct_dependent_flag[i]として０を導出する。

また、上記では、依存レイヤiが、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1に対する
active_direct_dependent_flag[i]を復号すると説明したが、予め実依存レイヤ数（例えばmax_active_ref_layers）が定まる場合には、active_direct_dependent_flag[i]を復号する度に、active_direct_dependent_flag[i]が１となるレイヤ数をNumActiveRefLayerPicsとしてカウントし、そのレイヤ数NumActiveRefLayerPicsが既に復号された実依存レイヤ数max_active_ref_layersに達するまで、active_direct_dependent_flag[i]を復号する構成にしても良い。すなわち、実依存レイヤ数max_active_ref_layersに達っした時点でループを終了しても良い。

図５３は、実依存レイヤ復号部１２２３Ｃａにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。図５３（ａ）に示すように、実依存レイヤ復号部１２２３Ｃａは、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1）について、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i]を、実依存レイヤリストRefPicLayerId[ j++ ]に格納する。このとき、実依存レイヤ数を示すインデックスjを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスjを、実依存レイヤ数NumActiveRefLayerPicsに格納する。

なお、図５３（ｂ）、図５３（ｃ）に示すように、実依存レイヤと同様に、レイヤ間依存タイプから導出されるサンプル依存フラグSamplePredEnabledFlag[][]、動き依存フラグMotionPredEnabledFlag[][]を用いて、実サンプル依存フラグ、実動き依存フラグを導出しても良い。すなわち、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１であり、かつ、SamplePredEnabledFlag nuh_layer_id ][i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i]を、実サンプル依存レイヤリストActiveSamplePredRefLayerId[k++]に格納する。このとき、実依存レイヤ数を示すインデックスkを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスkを、実サンプル依存レイヤ数NumActiveSamplePredRefLayersに格納する。動き実サンプル依存レイヤについても、上記処理の、サンプル依存フラグSamplePredEnabledFlag、実サンプル依存レイヤActiveSamplePredRefLayerId、実サンプル依存レイヤ数NumActiveSamplePredRefLayers、インデックスkを、各々、動き依存フラグMotionPredEnabledFlag、実動き依存レイヤActiveMotionPredRefLayerId、実動き依存レイヤ数NumMotionSamplePredRefLayers、インデックスｌに置き換えることで処理できる。

上記の構成によれば、対象ピクチャにおいて用いられる実依存レイヤを、依存レイヤi毎のフラグactive_direct_dependent_flag[i]に応じて復号する。このとき、依存レイヤi毎に対応するレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]（ref_layer_idはiから定まるレイヤＩＤ）があることから、実依存フラグactive_direct_dependent_flag[i]を、対象ピクチャのTIDと、依存レイヤiを参照可能なサブレイヤの制限を示すレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]に応じて導出する。

上記構成の階層動画像復号装置１Ｃａによれば、対象ピクチャが、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグ復号手段を備え、前記実レイヤ依存フラグ復号手段は、実レイヤ依存フラグを、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1未満の場合（general_max_tid_il_ref_pics_plus1から１を減算した値よりも以下の場合）に、符号化データから復号することを特徴とする。

上記構成の動画像復号装置によれば、対象ピクチャのTemporalIDが、依存レイヤのmax_tid_il_ref_pics_plus1以上の場合には、該依存レイヤを参照するか否かを示すフラグである実レイヤ依存フラグを復号しないため、符号量を低減する効果を奏する。

（階層動画像復号装置１Ｃｂ）
階層動画像復号装置１Ｃｂは、可変長復号部１２Ｃｂ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｃｂは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１Ｃｂ、スライスセグメントヘッダ復号部１２２Ｃｂ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１は、階層動画像復号装置１で説明済みであるため説明は省略する。階層動画像復号装置１Ｃｂでは、依存レイヤ情報が、TemporalIDで管理される場合を示す。

パラメータセット復号部１２１Ｃｂは、レイヤ依存情報復号部４０１１ｂを含んで構成される。レイヤ依存情報復号部４０１１ｂは、対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号する。

具体的には、対象レイヤiが、参照レイヤjに依存するか否かを示すレイヤ依存フラグdirect_dependent_flag[i][j]を復号し、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]を導出する。依存レイヤリストRefLayers[][][]は、レイヤＩＤのリストで表現される。依存レイヤリストRefLayers[ nuh_layer_id ][TemporalID][]は、nuh_layer_idで指定される対象レイヤが参照する、対照レイヤとは異なるレイヤのリストである。依存レイヤリストRefLayers[][][]は、依存レイヤ識別子RefLayers[i][j][k]のセット（リスト）である。以下、RefLayersを単に依存レイヤ、と呼ぶこともある。図５７は、レイヤ依存情報復号部４０１１ｂにおける依存レイヤRefPicLayerId[]の導出処理を示す図である。

レイヤ依存情報復号部４０１１ｂは、対象レイヤiが、参照レイヤjのレイヤ依存フラグdirect_dependent_flag[ i ][ j ]と、参照レイヤjのレイヤ間予測最大ＴＩＤであるmax_tid_il_ref_pics_plus1[j]に応じて、依存レイヤリストRefLayerId[i] [k] []を導出する。なおkは、テンポラルIDのインデックスを示し０から所定の値（ここでは7）の値をとる。

レイヤ依存情報復号部４０１１ｂは、SC1001ｂに示すように、i(0〜63)、j(0〜63)、k(0〜7)に対して、依存レイヤリストRefLayerId[i] [k][j]および、依存レイヤ数NumDirectRefLayers[ i ][ k ]を０に初期化する。

レイヤ依存情報復号部４０１１ｂは、SC1002ｂに示すように、i(0〜63)、j(i〜63)に対して、対象レイヤiが、参照レイヤjのレイヤ依存フラグdirect_dependent_flag[ i ][ j ]を復号する。direct_dependent_flag[ i ][ j ]が１である場合には、０からレイヤ間予測最大ＴＩＤ−１max_tid_il_ref_pics_plus1[j]までのテンポラルＩＤを示すインデックスkに対して、以下の式により、依存レイヤリストRefLayerIdに、レイヤＩＤを追加し、依存レイヤ数をNumDirectRefLayers[ iNuhLId ][ k ]を１だけインクリメントする。

RefLayerId[ iNuhLId ] [k] [ NumDirectRefLayers[ iNuhLId ][ k ]++ ] = layer_id_in_nuh[ j ]
なおレイヤＩＤは、レイヤを示すインデックスiをレイヤＩＤに変換するテーブルlayer_id_in_nuh[]を用いて、layer_id_in_nuh[ j ]により導出される。

全ての対象レイヤiが、参照レイヤjについて上記処理を行うことにより、依存レイヤリストRefLayers[][][]と依存レイヤ数NumDirectRefLayers[][]が導出される。すなわち、
対象レイヤi、テンポラルＩＤｋにおいて、依存レイヤリストRefLayers[i][k][]と依存レイヤ数NumDirectRefLayers[i][k]が導出される。なお、配列として表現する場合のi、j、kは上記[i][k][j]の順によらず、[i][j][k]等としても良い。

図５９は、スライスセグメントヘッダ復号部１２２Ｃｂの構成を例示した機能ブロック図である。図５９に示すようにスライスセグメントヘッダ復号部１２２Ｃｂは、実依存レイヤ復号部１２２３として、実依存レイヤ復号部１２２３Ｃｂを含んで構成される。

図５８は、実依存レイヤ復号部１２２３Ｃｂの復号する符号化データの構成を説明する図である。図中に示すように、スライスセグメントヘッダの符号化データは、実レイヤ間依存情報active_inter_layer_info()に示す情報、具体的には、実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。

本実施形態の階層動画像復号装置１Ｃｂが復号する符号化データは、図５８に示すように、実レイヤ間依存情報として、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ] [TemporalID]-1）において、対象ピクチャのTemporalIDが、依存レイヤiのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]より小さい場合に実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。

ここで、ref_layer_idは、図５８に示すように依存レイヤiのレイヤＩＤを示し、依存レイヤリストRefLayerId[][]の対象レイヤnuh_layer_id、インデックスiの識別子RefLayerId[ nuh_layer_id][i] から導出することができる。

ref_layer_id = RefLayerId[ nuh_layer_id][i] [TemporalID]
スライスセグメントヘッダ復号部１２２Ｃｂは、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumDirectRefLayers[ nuh_layer_id ]が０より大きい場合に、実依存レイヤ復号部１２２３Ｃｂにより、実依存レイヤを復号する。

実依存レイヤ復号部１２２３Ｃｂは、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1より小さい場合に符号化データから実レイヤ依存フラグを復号する。

実依存レイヤ復号部１２２３Ｃｂは、図５８の符号化データから、実レイヤ依存フラグactive_direct_dependent_flag[i]を復号し、実依存レイヤRefPicLayerId[]を導出する。すなわち、実依存レイヤ復号部１２２３Ｃｂは、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ] [TemporalID]-1）について、依存レイヤiのレイヤ間予測最大ＴＩＤであるmax_tid_il_ref_pics_plus1[ref_layer_id]よりも、対象ピクチャのTemporalIDが小さい場合には、対象ピクチャにおいて依存レイヤが用いられるか否かを示す実レイヤ依存フラグactive_direct_dependent_flag[i]を復号する。なお、実依存レイヤ復号部１２２３Ｃｂは、参照レイヤiの実レイヤ依存フラグactive_direct_dependent_flag[i]が符号化データに含まれない場合には０が導出する。

図６０は、実依存レイヤ復号部１２２３Ｃｂにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。図６０（ａ）に示すように、実依存レイヤ復号部１２２３Ｃｂは、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ][TemporalID]-1）について、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i][TemporalID]を、実依存レイヤリストRefPicLayerId[ j++ ]に格納する。このとき、実依存レイヤ数を示すインデックスjを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスjを、実依存レイヤ数NumActiveRefLayerPicsに格納する。

なお、図６０（ｂ）、図６０（ｃ）に示すように、実依存レイヤと同様に、レイヤ間依存タイプから導出されるサンプル依存フラグSamplePredEnabledFlag[][]、動き依存フラグMotionPredEnabledFlag[][]を用いて、実サンプル依存フラグ、実動き依存フラグを導出しても良い。すなわち、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１であり、かつ、SamplePredEnabledFlag nuh_layer_id ][i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i][TemporalID]を、実サンプル依存レイヤリストActiveSamplePredRefLayerId[k++]に格納する。このとき、実依存レイヤ数を示すインデックスkを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスkを、実サンプル依存レイヤ数NumActiveSamplePredRefLayersに格納する。動き実サンプル依存レイヤについても、上記処理の、サンプル依存フラグSamplePredEnabledFlag、実サンプル依存レイヤActiveSamplePredRefLayerId、実サンプル依存レイヤ数NumActiveSamplePredRefLayers、インデックスkを、各々、動き依存フラグMotionPredEnabledFlag、実動き依存レイヤActiveMotionPredRefLayerId、実動き依存レイヤ数NumMotionSamplePredRefLayers、インデックスｌに置き換えることで処理できる。

上記の構成によれば、対象ピクチャにおいて用いられる実依存レイヤを、各依存レイヤi毎のフラグactive_direct_dependent_flag[i]に応じて復号する。このとき、依存レイヤi毎に対応するレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]があることから、実依存フラグactive_direct_dependent_flag[i]を、対象ピクチャのTIDと、依存レイヤiを参照可能なサブレイヤの制限を示すレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]に応じて導出する。

上記構成の階層動画像復号装置１Ｃｂによれば、対象ピクチャが、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグ復号手段を備え、前記実レイヤ依存フラグ復号手段は、実レイヤ依存フラグを、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1未満の場合（max_tid_il_ref_pics_plus1から１を減算した値よりも以下の場合）に、符号化データから復号することを特徴とする。

（階層動画像復号装置１Ｃｃ）
階層動画像復号装置１Ｃｃは、可変長復号部１２Ｃｃ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｃｃは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１Ｃｃ、スライスセグメントヘッダ復号部１２２Ｃｃ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１は、階層動画像復号装置１で説明済みであるため説明は省略する。

パラメータセット復号部１２１Ｃａは、レイヤ依存情報復号部４０１１ａを含んで構成される。レイヤ依存情報復号部４０１１ａは、既に説明したように対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号する。

図６２は、スライスセグメントヘッダ復号部１２２Ｃｃの構成を例示した機能ブロック図である。図６２に示すようにスライスセグメントヘッダ復号部１２２Ｃｃは、実依存レイヤ復号部１２２３として、実依存レイヤ復号部１２２３Ｃｃを含んで構成される。

図６１は、実依存レイヤ復号部１２２３Ｃｃの復号する符号化データの構成を説明する図である。図に示すように、スライスセグメントヘッダの符号化データは、実レイヤ間依存情報active_inter_layer_info()に示す情報、具体的には、実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。

本実施形態の階層動画像復号装置１Ｃｃが復号する符号化データは、図６１に示すように、実レイヤ間依存情報として、対象ピクチャの属するレイヤnuh_layer_idの各々の参照レイヤi（ここでiは、0〜nuh_layer_id-1）において、参照レイヤiが対象レイヤnuh_layer_idの依存レイヤである場合、つまり、レイヤ依存フラグdirect_dependent_flag[nuh_layer_id][i]が１の場合には、実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。

スライスセグメントヘッダ復号部１２２Ｃｃは、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumDirectRefLayers[ nuh_layer_id ]が０より大きい場合に、実依存レイヤ復号部１２２３Ｃｃにより、実依存レイヤを復号する。

実依存レイヤ復号部１２２３Ｃｃは、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1より小さい場合に符号化データから実レイヤ依存フラグを復号する。

実依存レイヤ復号部１２２３Ｃｃは、図６１の符号化データから、実レイヤ依存フラグactive_direct_dependent_flag[i]を復号し、実依存レイヤRefPicLayerId[]を導出する。すなわち、実依存レイヤ復号部１２２３Ｃｃは、対象ピクチャの属するレイヤnuh_layer_idの各々の参照レイヤi（ここでiは、0〜nuh_layer_id-1）について、参照レイヤiが依存レイヤであり（レイヤ依存フラグdirect_dependent_flag[nuh_layer_id][i]が１）、依存レイヤiのレイヤ間予測最大ＴＩＤであるmax_tid_il_ref_pics_plus1[i]よりも、対象ピクチャのTemporalIDが小さい場合には、対象ピクチャにおいて依存レイヤが用いられるか否かを示す実レイヤ依存フラグactive_direct_dependent_flag[i]を復号する。なお、実依存レイヤ復号部１２２３Ｃｃは、参照レイヤiの実レイヤ依存フラグactive_direct_dependent_flag[i]が符号化データに含まれない場合には０が導出する。

図６３は、実依存レイヤ復号部１２２３Ｃｃにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。図６３（ａ）に示すように、実依存レイヤ復号部１２２３Ｃｃは、対象ピクチャの属するレイヤnuh_layer_idの各々の参照レイヤi（ここでiは、0〜nuh_layer_id -1）について、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i2]を、実依存レイヤリストRefPicLayerId[ j++ ]に格納する。このとき、実依存レイヤ数を示すインデックスjを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスjを、実依存レイヤ数NumActiveRefLayerPicsに格納する。ここで、i2は、依存レイヤのインデックスであり、初期値を０として、レイヤ依存フラグdirect_dependent_flag[nuh_layer_id][i]が１のときに、インクリメントすることで導出すすることができる。

図６４は、実依存レイヤ復号部１２２３Ｃｃにおける実依存レイヤRefPicLayerId[]の導出処理を示す別の例である。図６３で説明した方法では、依存レイヤのインデックスとしてi2を用いていたが、他の方法で、レイヤＩＤを導出することも可能である。具体的には、RefLayerId[ nuh_layer_id ][i2]のかわりに、レイヤを示すインデックスiをレイヤＩＤに変換するテーブルlayer_id_in_nuh[]を用いて、layer_id_in_nuh[ j ]により導出されるiNuhLIdを用いる。

なお、図６３（ｂ）、図６３（ｃ）に示すように、実依存レイヤと同様に、レイヤ間依存タイプから導出されるサンプル依存フラグSamplePredEnabledFlag[][]、動き依存フラグMotionPredEnabledFlag[][]を用いて、実サンプル依存フラグ、実動き依存フラグを導出しても良い。

上記の構成によれば、対象ピクチャにおいて用いられる実依存レイヤを、各依存レイヤi毎のフラグactive_direct_dependent_flag[i]に応じて復号する。このとき、依存レイヤi毎に対応するレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[i]があることから、実依存フラグactive_direct_dependent_flag[i]を、対象ピクチャのTIDと、依存レイヤiを参照可能なサブレイヤの制限を示すレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[i]に応じて導出する。

上記構成の階層動画像復号装置１Ｃｃによれば、対象ピクチャが、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグ復号手段を備え、前記実レイヤ依存フラグ復号手段は、実レイヤ依存フラグを、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1未満の場合（max_tid_il_ref_pics_plus1から１を減算した値よりも以下の場合）に、符号化データから復号することを特徴とする。

（復号ピクチャ管理部）
図５を用いて、復号ピクチャ管理部１４の詳細構成を説明する。図５は、復号ピクチャ管理部１４の構成を例示した機能ブロック図である。

図５に示すように、復号ピクチャ管理部１４は、DPB１４１、RPS導出部１４２、参照ピクチャ制御部１４３、レイヤ間参照ピクチャ制御部１４４、RPL導出部１４５、出力制御部１４６を備える。

＜DPB１４１＞
DPB１４１は、復号ピクチャバッファ（Decoded Picture Buffer）とも呼ばれ、ピクチャ復号部１３で復号された対象レイヤの各ピクチャの復号ピクチャを記録する。DPBには、対象レイヤの各ピクチャに対応する復号ピクチャが出力順（POC: Picture Order Count）に関連付けて記録されている。加えて、DPBの各ピクチャに対しては、参照マークおよび出力マークを設定できる。

参照マークは、DPB上のピクチャが対象ピクチャ以降の復号処理における予測画像生成処理（例えば、インター予測やレイヤ間画像予測）への利用可否を示す情報である。参照マークは、具体的には、「短期参照使用」（「used for short-term reference」）、「長期参照使用」（「used for long-term reference」）、「参照不使用」（「not used for reference」）のいずれかの値を取る。

なお、参照マークの取り得る値を上記とするがそれに限らない。例えば、「レイヤ間参照使用」（「used for inter-layer reference」）の値に参照マークを設定できてもよい。また、「短期参照使用」と「長期参照使用」の区別をせず、両者の和集合を「参照使用」（「used for reference」）と定義してもよい。

出力マークは、DPB上のピクチャを外部へ出力する必要性の有無を示す情報である。出力マークは、具体的には、「出力要」（「needed for output」）、「出力不要」（「not needed for output」）のいずれかの値を取る。

＜RPS導出部１４２＞
RPS導出部１４２は、入力されたRPSに係るシンタックス値に基づいて対象ピクチャの復号処理に用いるRPS（参照ピクチャセット）を導出してレイヤ間参照ピクチャ制御部１４４、参照ピクチャ制御部１４３、および、RPL導出部１４５に出力する。

（RPS導出処理）
次にRPS情報に基づくRPS導出処理の詳細を説明する。

RPS導出処理は複数のRPSのサブセットを導出処理に分けられる。RPSのサブセットは以下のように定義される。

RPSは参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現ピクチャ参照可能リストListCurr：対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照可能リストListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能なピクチャのリスト
なお、現ピクチャ参照可能リストに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。

現ピクチャ参照可能リストは、さらに４つの部分リストから構成される。
・現ピクチャ長期参照可能リストRefPicSetLtCurr：SPS長期RP情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・現ピクチャ短期前方参照可能リストRefPicSetStCurrBefore：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャ短期後方参照可能リストRefPicSetStCurrAfter：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャレイヤ間参照可能リストRefPicSetInterLayer：ILRP情報により指定される現ピクチャ参照可能ピクチャ
後続ピクチャ参照可能リストは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照可能リストRefPicSetLtFoll：SPS長期RP情報またはＳＨ長期RP情報により指定される後続ピクチャ参照可能ピクチャ。
・後続ピクチャ短期参照可能リストRefPicSetStFoll：SPS短期RPS情報またはＳＨ短期RPS情報により指定される後続ピクチャ参照可能ピクチャ。

＜RPS導出部１４２＞
RPS導出部１４２は、RPSを構成する、現ピクチャ短期前方参照可能リストRefPicSetStCurrBefore、現ピクチャ短期後方参照可能リストRefPicSetStCurrAfter、現ピクチャ長期参照可能リストRefPicSetLtCurr、現ピクチャレイヤ間参照可能リストRefPicSetInterLayer、後続ピクチャ短期参照可能リストRefPicSetStFoll、および、後続ピクチャ長期参照可能リストRefPicSetLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数NumPocTotalCurrを導出する。なお、前記各参照可能リストは、以下の処理の開始前に空に設定されている。
（Ｓ１０１）SPS短期RPS情報、および、SH短期RPS情報に基づいて、対象ピクチャの復号に用いる単一の短期参照ピクチャセットを特定する。具体的には、SH短期RPS情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、SH短期RPS情報に含まれるスライスセグメントヘッダで明示的に伝送された短期RPSを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期RPS情報に含まれるshort_term_ref_pic_set_idxが示す短期RPSを、SPS短期RPS情報に含まれる複数の短期RPSの中から選択する。
（Ｓ１０２）選択された短期RPSに含まれる参照ピクチャ各々のPOCを導出する。参照ピクチャのPOCは、参照ピクチャが前方短期参照ピクチャの場合、対象ピクチャのPOCから「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期参照ピクチャの場合、対象ピクチャのPOCに「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ１０３）短期RPSに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャを現ピクチャ短期前方参照可能リストRefPicSetStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストRefPicSetStFollに追加する。
（Ｓ１０４）短期RPSに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャを現ピクチャ短期後方参照可能リストRefPicSetStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストRefPicSetStFollに追加する。
（Ｓ１０５） SPS長期RP情報、および、SH長期RP情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャを特定する。具体的には、num_long_term_spsの数の参照ピクチャをSPS長期RP情報に含まれる参照ピクチャの中から選択して、順に長期RPSに追加する。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。続いて、num_long_term_picsの数の参照ピクチャをSH長期RP情報に含まれる参照ピクチャを順に長期RPSに追加する。
（Ｓ１０６）長期RPSに含まれる参照ピクチャ各々のPOCを導出する。長期参照ピクチャのPOCは、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。
（Ｓ１０７）長期RPSに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャを現ピクチャ長期参照可能リストRefPicSetLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続ピクチャ長期参照可能リストRefPicSetLtFollに追加する。
（Ｓ１０８）ILRP情報により指定された実依存レイヤ（もしくは実サンプル依存レイヤ）で指定される参照ピクチャを現ピクチャレイヤ間参照可能リストRefPicSetInterLayerに追加する。
（Ｓ１０９）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照ピクチャの和に設定する。すなわち、変数NumPocTotalCurrの値を、現ピクチャ短期前方参照可能リストRefPicSetStCurrBefore、現ピクチャ短期後方参照可能リストRefPicSetStCurrAfter、現ピクチャ長期参照可能リストRefPicSetLtCurr、および、現ピクチャレイヤ間参照可能リストRefPicSetInterLayerの４つのリストの各要素数の和に設定する。

＜参照ピクチャ制御部１４３＞
参照ピクチャ制御部１４３は、入力されるRPSに基づいて、DPB１４１を更新する。概略的には、参照ピクチャ制御部１４３は、入力されたRPSにおいて対象ピクチャ（現ピクチャ）のインター予測で参照可能と示されているピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」）に設定する。加えて、DPBに記録されている対象レイヤの復号ピクチャであって、前記の処理で「参照使用」とマークされないピクチャを「参照不使用」に設定する。なお、DPB上のレイヤ間参照ピクチャの参照マークは参照ピクチャ制御部１４３では変更しない。言い換えると、参照レイヤピクチャに由来するDPB上のピクチャの参照マークの変更は参照ピクチャ制御部１４３では行わず、後述のレイヤ間参照ピクチャ制御部１４４で行う。

参照ピクチャ制御部１４３での参照マーク設定処理は以下の手順で実行される。
（Ｓ２０１）DPB上のレイヤ間参照ピクチャを除く全てのピクチャの参照マークを「参照不使用」に設定する。
（Ｓ２０２）次の（ａ）または（ｂ）の条件を満たすピクチャ各々について、対応するDPB上のピクチャ、すなわち同一のPOCが割り当てられているピクチャ、を特定して参照マークを「短期参照使用」に設定する。

（ａ）RPSの現ピクチャ短期前方参照可能リストRefPicSetStCurrBeforeに含まれているピクチャ。

（ｂ）RPSの現ピクチャ長期後方参照可能リストRefPicSetStCurrAfterに含まれている各ピクチャ。
（Ｓ２０３）次の（ｃ）の条件を満たすピクチャ各々について、対応するDPB上のピクチャを特定して参照マークを「長期参照使用」に設定する。

（ｃ）RPSの現ピクチャ長期参照可能リストRefPicSetLtCurrに含まれているピクチャ。

なお、上記の参照マーク設定手順は一例であり、DPB上のピクチャの参照マークが同じになる限りは別の手順で参照マークを設定してもよい。例えば、上記手順のＳ２０２とＳ２０３の処理を先に実行し、両手順で参照マークが変更されなかったピクチャであって、かつ、対象レイヤの復号ピクチャであるDPB上の各ピクチャのマークを「参照不使用」に設定してもよい。

＜レイヤ間参照ピクチャ制御部１４４＞
レイヤ間参照ピクチャ制御部１４４は、入力される参照レイヤピクチャとRPSに基づいて、DPB１４１を更新する。概略的には、レイヤ間参照ピクチャ制御部１４４は、入力されたRPSにおいて対象ピクチャ（現ピクチャ）のレイヤ間インター予測で参照可能と示されているピクチャに対応する参照レイヤピクチャをDPBに記録する。加えて、DPB上で当該ピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」に設定する。加えて、DPB上で当該ピクチャの出力マークを「出力不要」に設定する。

より具体的には、レイヤ間参照ピクチャ制御部１４４における参照マーク設定処理は、次の手順で実行される。

（Ｓ３０１）次の（ｄ）の条件を満たすピクチャ各々について、DPB上のピクチャバッファを確保し、入力される参照レイヤピクチャを当該ピクチャバッファに記録する。

（ｄ）RPSの現ピクチャレイヤ間参照可能リストRefPicSetInterLayerに含まれているピクチャ。

なお、参照レイヤピクチャを記録する際に、必要に応じてスケーリングやフィルタリングを適用した後に前記ピクチャバッファに記録してもよい。特に、参照レイヤと対象レイヤの出力ピクチャの解像度が異なる場合（空間スケーラビリティの場合）、参照レイヤの復号ピクチャである参照レイヤピクチャを、対象レイヤの出力ピクチャの解像度に合わせてスケーリングする必要がある。

（Ｓ３０２）Ｓ３０１でDPBに記録した各ピクチャの参照マークを「参照使用」に設定する。

（Ｓ３０３）Ｓ３０１でDPBに記録した各ピクチャの出力マークを「出力不要」に設定する。

＜RPL導出部１４５＞
RPL導出部１４５は、入力RPS、および、入力シンタックス値に含まれるRPL情報に基づいて対象ピクチャの対象スライスのインター予測またはレイヤ間画像予測で利用する参照ピクチャリストを導出して出力する。

（RPL導出処理）
参照ピクチャリスト構築処理の詳細を説明する。参照ピクチャリスト導出部は、参照ピクチャセットRPSと、RPL修正情報に基づいて参照ピクチャリストRPLを生成する。

参照ピクチャリストはＬ０参照リストとＬ１参照リストの２つのリストから構成される。始めに、Ｌ０参照リストの構築手順を説明する。Ｌ０参照リストは、以下のＳ３０１〜Ｓ３０７に示す手順で構築される。（Ｓ３０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。
（Ｓ３０２）暫定Ｌ０参照リストに対し、現ピクチャ短期前方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０３）暫定Ｌ０参照リストに対し、現ピクチャ短期後方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０４）暫定Ｌ０参照リストに対し、現ピクチャ長期参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０５）参照ピクチャリストが修正される場合（RPL修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ３０６ａ〜Ｓ３０６ｂの処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ３０７の処理を実行する。
（Ｓ３０６ａ）Ｌ０参照ピクチャの修正が有効な場合（RPL修正情報に含まれるref_pic_list_modification_flag_l0の値が１の場合）であって、かつ、現ピクチャ参照可能ピクチャ数NumCurrListが２に等しい場合、Ｓ３０６ｂを実行する。そうでない場合、Ｓ３０６ｃを実行する。
（Ｓ３０６ｂ）RPL修正情報に含まれるリスト並べ替え順序list_entry_l0[i]の値を下記の式により設定し、その後、Ｓ３０６ｃを実行する。

list_entry_l0[0] = 1
list_entry_l0[1] = 0
（Ｓ３０６ｃ）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照ピクチャインデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。

RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ０参照リストのrIdxの位置の参照ピクチャとして格納する。
（Ｓ３０７）暫定Ｌ０参照リストをＬ０参照リストとする。

次にＬ１参照リストを構築する。なお、Ｌ１参照リストも、上記Ｌ０参照リストと同様の手順で構築できる。上記Ｌ０参照リストの構築手順（Ｓ３０１〜Ｓ３０７）において、Ｌ０参照ピクチャ、Ｌ０参照リスト、暫定Ｌ０参照リスト、list_entry_l0をそれぞれ、Ｌ１参照ピクチャ、Ｌ１参照リスト、暫定Ｌ１参照リスト、list_entry_l1と置き換えればよい。

＜出力制御部１４６＞
出力制御部１４６は、概略的には、所定のタイミングでDPB141のピクチャを外部に出力するとともに出力マークを更新する。具体的には、出力制御部１４６によるピクチャ出力処理は次の手順で実行される。

（Ｓ４０１）DPB上のピクチャであって、出力マークが「出力要」であるピクチャのうちPOCが最小であるピクチャを出力する。

（Ｓ４０２）Ｓ４０１で出力されたピクチャの出力マークを「出力不要」に設定する。

（Ｓ４０３）DPB上のピクチャの中から、参照マークが「参照不使用」であり、かつ、出力マークが「出力不要」であるピクチャを選択して、当該ピクチャをDPBから削除する。

なお、上記の処理は一般的なDPB上の不要ピクチャ削除処理（一般的なバンピング処理）と呼称できる。一般的なバンピング処理では、DPB上の各ピクチャが対象レイヤの復号ピクチャであるかレイヤ間参照ピクチャ（参照レイヤの復号ピクチャに由来するピクチャ）であるかの判定を行うことなくDPB上のピクチャの出力およびDPB上の不要ピクチャの削除を実行できる。

（ピクチャ管理処理手順）
次に、復号ピクチャ管理部１４におけるピクチャ管理処理を図１を参照して説明する。図１は、復号ピクチャ管理部１４における対象ピクチャ復号時のピクチャ管理処理の概略を示したフロー図である。対象ピクチャ復号時のピクチャ管理処理は、以下のＳ５０１〜Ｓ５１０の手順で実行される。

（Ｓ５０１）RPS導出部１４２は、入力されたシンタックス値から対象ピクチャのRPSを導出する。導出されたRPSは参照ピクチャ制御部１４３、レイヤ間参照ピクチャ制御部１４４、および、RPL導出部１４５に出力する。Ｓ５０２に進む。

（Ｓ５０２）参照ピクチャ制御部１４３は、入力RPSに基づきDPB上の対象レイヤの復号ピクチャの参照マークを更新する。Ｓ５０３に進む。

（Ｓ５０３）レイヤ間参照ピクチャ制御部１４４は、入力のRPSにレイヤ間参照ピクチャの参照マークが含まれるか判定する。含まれる場合（Ｓ５０３でYESの場合）、Ｓ５０４に進む。一方、含まれない場合（Ｓ５０３でNOの場合）、Ｓ５０６に進む。

（Ｓ５０４）レイヤ間参照ピクチャ制御部１４４は、入力の参照レイヤピクチャをレイヤ間参照ピクチャとしてDPB１４１上のピクチャバッファに記録する。Ｓ５０５に進む。

（Ｓ５０５）レイヤ間参照ピクチャ制御部１４４は、Ｓ５０４で記録したレイヤ間参照ピクチャの出力マークを「出力不要」に設定する。Ｓ５０６に進む。

（Ｓ５０６）出力制御部１４６は、DPB１４１上のピクチャを必要に応じて外部に出力して当該ピクチャの出力マークを更新する。Ｓ５０７に進む。

（Ｓ５０７）RPL導出部１４５は、入力のRPSとシンタックス値に基づき、対象ピクチャ復号時に用いられる参照ピクチャリストを生成して外部に出力する。Ｓ５０８に進む。なお、このタイミングで、外部では当該参照ピクチャリストおよびDPB１４１上の参照ピクチャを利用して対象ピクチャの復号処理を実行して、対象ピクチャの復号ピクチャを生成する。

（Ｓ５０８）入力される対象ピクチャの復号ピクチャをDPB１４１上のピクチャバッファに記録する。Ｓ５０９に進む。

（Ｓ５０９）廃棄可能フラグ（discardable_flag）の値に応じて対象ピクチャの参照マークを更新する。廃棄可能フラグは、対象ピクチャが後続のピクチャ復号時に参照ピクチャまたはレイヤ間参照ピクチャとして利用される可能性の有無を示すフラグである。廃棄可能フラグの値が１の場合、参照マークを「参照不使用」に更新する。廃棄可能フラグの値が０の場合、参照マークを「参照使用」に更新する。

（Ｓ５１０）DPB上に記録されているピクチャのうち、下記条件Ｄ１、Ｄ２、およびＤ３を全て満たすピクチャの参照マークを「参照不使用」に設定する。

Ｄ１：対象ピクチャのPOCと同一POCを有するピクチャ。

Ｄ２：対象ピクチャより復号順の遅い対象ピクチャのPOCと同一POCを有するピクチャの復号時にレイヤ間参照ピクチャとして利用されないピクチャ。

Ｄ３：同一レイヤ内の予測（例えばインター予測）により利用されないピクチャ。

なお、図３２は、レイヤ間予測最大ＴＩＤに関するＤ３の処理を示す図である。

復号ピクチャ管理部１４は、参照レイヤピクチャに対するremainingInterLayerReferencesFlagを導出する。図３２に示すように、復号ピクチャ管理部１４は、対象ピクチャのTemporalID（currTid）が、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1から１を減算した値以下であるか否かを判定する。真の場合には、lastestDecからnumTargetDecLayersの間のインデックスについて、依存レイヤテーブルNumDirectRefLayersとレイヤＩＤRefLayerIdを比較し、一致する場合に、remainingInterLayerReferencesFlagを１とする。以上の処理により、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1から１を減算した値以下のTemporalIDを有し、かつ、依存レイヤテーブルNumDirectRefLayersにあるレイヤのみで、remainingInterLayerReferencesFlagが１となる。そして、復号ピクチャ管理部１４は、remainingInterLayerReferencesFlagが１となったピクチャには、参照する（used for reference）事を示す参照マークを付ける。復号ピクチャ管理部１４は、remainingInterLayerReferencesFlagが０となったピクチャには、参照しない（unused for reference）事を示す参照マークを付ける。すなわち、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1から１を減算した値より大きいTemporalIDを有するか、もしくは、依存レイヤテーブルNumDirectRefLayersにないレイヤに、参照しない事を示す参照マークが付加される。この導出規則を規則（ＭＴ１）と呼ぶ。

復号ピクチャ管理部１４は、参照する（used for reference）の参照マークの付いた参照レイヤピクチャのみを、参照ピクチャセットに用いる。

参照レイヤピクチャ管理部１５４は、入力される参照レイヤピクチャを内部のDPBに記録するとともに、入力されるシンタックス値に基づいて参照ピクチャリスト生成や出力する参照レイヤピクチャの決定を行う。生成された参照ピクチャリストは参照レイヤピクチャ復号部１５３に出力され、参照レイヤピクチャは外部に出力される。なお、参照レイヤピクチャ管理部１５４における処理は、図４の復号ピクチャ管理部１４における処理と同様であり詳細説明は省略する。

〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図４７を参照して説明する。

（階層動画像符号化装置の構成）
図４７を用いて、階層動画像符号化装置２の概略構成を説明する。図４７は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。

図４７に示すように階層動画像符号化装置２は、ピクチャ符号化部２１、可変長符号化部２２、復号ピクチャ管理部１４を備える。

ピクチャ符号化部２１は、入力画像ＰＩＮ＃Ｔを符号化して対応するシンタックス値を生成して出力する。また、同時に出力したシンタックス値を用いて復号処理を行うことで復号ピクチャを生成して出力する。ピクチャ符号部２１は、シンタックス値または復号ピクチャの生成に、入力される参照ピクチャリストを利用したインター予測またはレイヤ間画像予測を用いる。

可変長符号化部２２は、入力されるシンタックス値を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔとして出力する。

復号ピクチャ管理部１４は、既に説明した階層動画像復号装置１の備える復号ピクチャ管理部１４と同一の構成要素である。ただし、階層動画像符号化装置２の備える復号ピクチャ管理部１４では、DPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略できる。なお、階層動画像復号装置１の復号ピクチャ管理部１４の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置２の復号ピクチャ管理部１４にも適用できる。

可変長符号化部２２は、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化するＮＡＬユニットヘッダ符号化部２２１を備え、ＮＡＬユニットヘッダ符号化部２２１は、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化する。また、復号ピクチャ管理部１４は、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する。

また、可変長符号化部２２は、さらに、レイヤ間サブレイヤアライメントフラグを符号化するパラメータセット符号化部２２２を備え、
ＮＡＬユニットヘッダ符号化部２２１は、レイヤ間サブレイヤアライメントフラグが１である場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化しても良い。

また、可変長符号化部２２は、さらに、プロファイルを符号化するパラメータセット符号化部２２２を備え、ＮＡＬユニットヘッダ符号化部２２１は、プロファイルがステレオ画像のプロファイルである場合には、レイヤ間サブレイヤアライメントフラグが１である場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化しても良い。

以上の階層動画像符号化装置２が生成する符号化データは、階層動画像復号装置１、階層動画像復号装置１Ｓ１´、階層動画像復号装置１Ｓ１´´で復号される。

（階層動画像符号化装置２Ｓ２）
以下、階層動画像符号化装置２の変形例である階層動画像符号化装置２Ｓ２を説明する。階層動画像符号化装置２Ｓが生成する符号化データは、階層動画像復号装置１Ｓ２、Ｓ２´、Ｓ２´´で復号される。階層動画像符号化装置２は、ピクチャ符号化部２１、可変長符号化部２２Ｓ２、復号ピクチャ管理部１４を備える。ピクチャ符号化部２１、復号ピクチャ管理部１４、前述の実施形態と同様であるので説明を省略する。同様に、既に説明した手段と同一の符号を付した手段は、本実施形態でも同様の構成であるので、以降説明を省略する。

可変長符号化部２２Ｓ２の備えるＮＡＬユニットヘッダ符号化部２２１Ｓ２は、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化し、
ＮＡＬユニットヘッダ符号化部Ｓ２は、ベースレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを符号化する。

上記の構成の画像符号化装置２が生成する符号化データを再生する場合には、同じアクセスユニットに属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生中にあるレイヤ（例えば低解像度のレイヤ）から、別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）を同じ間引き再生において、再生することができるという効果を奏する。

また、可変長符号化部２２Ｓ２は、さらに、レイヤ間サブレイヤアライメントフラグを符号化するパラメータセット符号化部２２２を備え、
ＮＡＬユニットヘッダ符号化部２２１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１である場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化しても良い。

また、可変長符号化部２２Ｓ２は、さらに、プロファイルを符号化するパラメータセット符号化部２２２を備え、
ＮＡＬユニットヘッダ符号化部２２１Ｓ２は、プロファイルがステレオ画像のプロファイルである場合には、レイヤ間サブレイヤアライメントフラグが１である場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化しても良い。

（階層動画像符号化装置２Ａ）
以下、階層動画像符号化装置２の変形例である階層動画像符号化装置２Ａを説明する。階層動画像符号化装置２Ａが生成する符号化データは、階層動画像復号装置１Ａａ、階層動画像復号装置１Ａｂ、階層動画像復号装置１Ａｃで復号される。階層動画像符号化装置２は、ピクチャ符号化部２１、可変長符号化部２２Ａ、復号ピクチャ管理部１４を備える。ピクチャ符号化部２１、復号ピクチャ管理部１４、前述の実施形態と同様であるので説明を省略する。同様に、既に説明した手段と同一の符号を付した手段は、本実施形態でも同様の構成であるので、以降説明を省略する。

可変長符号化部２２Ａは、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化するＮＡＬユニットヘッダ符号化部２２１Ａと、少なくともレイヤ間予測最大ＴＩＤを符号化するパラメータセット符号化部２２２Ａを備える。

ＮＡＬユニットヘッダ符号化部２２１は、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化する。また、ラメータセット符号化部２２２Ａは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、全てのレイヤに対して１つのレイヤ間予測最大ＴＩＤを共通レイヤ間予測最大ＴＩＤとして符号化し、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを符号化する。また、復号ピクチャ管理部１４は、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する。

上記の構成の画像符号化装置Ａによれば、共通レイヤ間予測最大ＴＩＤが用いられる場合にはレイヤ毎にレイヤ間予測最大ＴＩＤの符号化を行う必要がないため、符号化データから冗長なフラグの符号をなくし符号量を削減する効果を奏する。

また、パラメータセット符号化部２２２Ａは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、レイヤ間予測最大ＴＩＤアライメントフラグを１として符号化し、全てのレイヤに復号した１つのレイヤ間予測最大ＴＩＤを符号化し、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いらない場合には、レイヤ間予測最大ＴＩＤアライメントフラグを０として符号化し、レイヤ毎にレイヤ間予測最大ＴＩＤを符号化しても良い。

また、パラメータセット符号化部２２２Ａは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、所定の値以外（ここでは７未満）の共通レイヤ間予測最大ＴＩＤを符号化し、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いらない場合には、共通レイヤ間予測最大ＴＩＤとして、所定の値（ここでは７）を符号化し、レイヤ毎にレイヤ間予測最大ＴＩＤを符号化することを特徴とする。

また、パラメータセット符号化部２２２Ａは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、レイヤ間サブレイヤアライメントフラグを１として符号化し、ベースレイヤのレイヤ間予測最大ＴＩＤを所定の値以外（ここでは７未満）として符号化し、１つのレイヤ間予測最大ＴＩＤを共通レイヤ間予測最大ＴＩＤとして符号化し、てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられない場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを符号化しても良い。

（階層動画像符号化装置２Ｂ）
以下、階層動画像符号化装置２の変形例である階層動画像符号化装置２Ｂを説明する。階層動画像符号化装置２Ｂが生成する符号化データは、階層動画像復号装置１Ｂａ、階層動画像復号装置１Ｂｂ、階層動画像復号装置１Ｂｃ、階層動画像復号装置１Ｂａｂｃで復号される。

階層動画像符号化装置２Ｂは、ピクチャ符号化部２１、可変長符号化部２２Ｂ、復号ピクチャ管理部１４を備える。ピクチャ符号化部２１、復号ピクチャ管理部１４、前述の実施形態と同様であるので説明を省略する。同様に、既に説明した手段と同一の符号を付した手段は、本実施形態でも同様の構成であるので、以降説明を省略する。

可変長符号化部２２Ｂは、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化するＮＡＬユニットヘッダ符号化部２２１Ａと、少なくともレイヤ間予測最大ＴＩＤを符号化するパラメータセット符号化部２２２Ａと、レイヤ間予測が可能であるか否かを示すフラグであるレイヤ間予測可能フラグを符号化するレイヤ間予測可能フラグ符号化部２２３Ｂを備える。レイヤ間予測可能フラグ符号化部２２３Ｂは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測可能フラグを符号化し、それ以外の場合には、レイヤ間予測可能フラグを０として符号化しない。

また、可変長符号化部２２Ｂは、レイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグを符号化するレイヤ間予測限定フラグ符号化部２２４Ｂを備える。レイヤ間予測可能フラグ符号化部２２４Ｂは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測限定フラグを符号化し、それ以外の場合には、レイヤ間予測限定フラグを０として符号化しない。

また、可変長符号化部２２Ｂは、テンポラル動き予測用の参照ピクチャを、レイヤＩＤによって指定するか否かを示すフラグである代替コロケート指示フラグを符号化する代替コロケート指示フラグ符号化部２２５Ｂを備える。代替コロケート指示フラグ符号化部２２５Ｂは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記代替コロケート指示フラグを符号化し、それ以外の場合には、代替コロケート指示フラグを０として符号化しない。

（階層動画像符号化装置２Ｃ）
以下、階層動画像符号化装置２の変形例である階層動画像符号化装置２Ｃを説明する。階層動画像符号化装置２Ｂが生成する符号化データは、階層動画像復号装置１Ｃａ、階層動画像復号装置１Ｃｂ、階層動画像復号装置１Ｃｃで復号される。

階層動画像符号化装置２Ｃは、ピクチャ符号化部２１、可変長符号化部２２Ｂ、復号ピクチャ管理部１４を備える。ピクチャ符号化部２１、復号ピクチャ管理部１４、前述の実施形態と同様であるので説明を省略する。同様に、既に説明した手段と同一の符号を付した手段は、本実施形態でも同様の構成であるので、以降説明を省略する。

可変長符号化部２２Ｃは、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化するＮＡＬユニットヘッダ符号化部２２１Ｃと、少なくともレイヤ間予測最大ＴＩＤを符号化するパラメータセット符号化部２２２Ｃと、実依存レイヤ符号化部２２３Ｃを備える。実依存レイヤ符号化部２２３Ｃは、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1より小さい場合（max_tid_il_ref_pics_plus1から１を減算した値よりも以下の場合）に、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグactive_direct_dependent_flagを符号化する。

上記構成の動画像符号化装置によれば、対象ピクチャのTemporalIDが、依存レイヤのmax_tid_il_ref_pics_plus1以上の場合には、該依存レイヤを参照するか否かを示すフラグである実レイヤ依存フラグを符号化しないため、符号量を低減する効果を奏する。

なお、上述した実施形態における階層動階層動画像符号化装置２、階層動画像復号装置１の全部もしくは一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、階層動画像復号装置１、階層動階層動画像符号化装置２のいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

また、上述した実施形態における階層動画像符号化装置２、階層動画像復号装置１の一部、または全部を、ＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。階層動画像符号化装置２、階層動画像復号装置１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用できる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用できる。

１階層動画像復号装置（画像復号装置）
１１ＮＡＬユニットヘッダ復号部
１１Ｓ１ＮＡＬユニットヘッダ復号部
１１Ｓ２ＮＡＬユニットヘッダ復号部
１２可変長復号部（可変長復号手段）
１２１パラメータセット復号部
１２１ａパラメータセット復号部
１２１ｂパラメータセット復号部
１２１ｂパラメータセット復号部
１２１Ｃａパラメータセット復号部
１２１Ｃｂパラメータセット復号部
１２１Ｃｃパラメータセット復号部
１２２ａスライスセグメントヘッダ復号部
１２２ｂスライスセグメントヘッダ復号部
１２２ｃスライスセグメントヘッダ復号部
１２２Ｃａスライスセグメントヘッダ復号部
１２２Ｃｂスライスセグメントヘッダ復号部
１２２Ｃｃスライスセグメントヘッダ復号部
１２１２ａレイヤ間予測最大ＴＩＤアライメントフラグ復号部
１２１２ｂ共通レイヤ間予測最大ＴＩＤ復号部
１２１３ａレイヤ間予測最大ＴＩＤ復号部
１２１３ｂレイヤ間予測最大ＴＩＤ復号部
１２１３ｃレイヤ間予測最大ＴＩＤ復号部
１２２１ RPS情報復号部
１２２２ RPL情報復号部
１２２３実依存レイヤ復号部（レイヤ間参照ピクチャ情報復号部）
１２２３Ｃａ実依存レイヤ復号部
１２２３Ｃｂ実依存レイヤ復号部
１２２３Ｃｃ実依存レイヤ復号部
１２２３１レイヤ間予測可能フラグ復号部
１２２３２レイヤ間予測限定フラグ復号部
１２２４代替コロケート指示情報復号部
１２３スライスセグメントデータ復号部
１３ピクチャ復号部（ピクチャ復号手段）
１４復号ピクチャ管理部（復号ピクチャ管理手段）
１４１ＤＰＢ
１４２ＲＰＳ導出部
１４３参照ピクチャ制御部
１４４レイヤ間参照ピクチャ制御部（ベース参照ピクチャ制御手段）
１４５ＲＰＬ導出部
１４６出力制御部（出力制御手段）
１５１可変長復号部（可変長復号手段）
１５３参照レイヤピクチャ復号部
１５４参照レイヤピクチャ管理部（参照レイヤピクチャ管理手段）
２階層動画像符号化装置（画像符号化装置）
２１ピクチャ符号化部
２２可変長符号化部
２２Ｓ２可変長符号化部
２２Ａ可変長符号化部
２２Ｂ可変長符号化部
２２Ｃ可変長符号化部
２２１Ｓ２ＮＡＬユニットヘッダ符号化部
２２１ＡＮＡＬユニットヘッダ符号化部
２２２パラメータセット符号化部
２２２Ａパラメータセット符号化部
２２３Ｂレイヤ間予測可能フラグ符号化部
２２４Ｂレイヤ間予測限定フラグ符号化部
２２５Ｂ代替コロケート指示フラグ符号化部
２２３Ｃ実レイヤ依存フラグ符号化部

Claims

ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、
復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、
前記ＮＡＬユニットヘッダ復号部は、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする画像復号装置。
前記画像復号装置であって、
パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部を備え、
前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする請求項１に記載の画像復号装置。
前記画像復号装置であって、
パラメータセットから少なくともプロファイルを復号するパラメータセット復号部を備え、
前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像のプロファイルを示す場合には、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする請求項１から請求項２に記載の画像復号装置
ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部を備え、
復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、
前記ＮＡＬユニットヘッダ復号部は、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする画像復号装置。
前記画像復号装置であって、
パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部を備え、
前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする請求項４に記載の画像復号装置。
前記画像復号装置であって、
パラメータセットから少なくともプロファイルを復号するパラメータセット復号部を備え、
前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像のプロファイルを示す場合には、ベースレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする請求項４に記載の画像復号装置。
ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、
パラメータセットから少なくともレイヤ間予測最大ＴＩＤを復号するパラメータセット復号部と、
復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのレイヤ間予測最大ＴＩＤより小さいＴＩＤを有するピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、
パラメータセット復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合には、全てのレイヤに共通のレイヤ間予測最大ＴＩＤを割り当て、共通のレイヤ間予測最大ＴＩＤが用いられないと判定される場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする画像復号装置。
上記パラメータセット復号部は、レイヤ間予測最大ＴＩＤアライメントフラグを復号し、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、１つのレイヤ間予測最大ＴＩＤを復号し、全てのレイヤに復号した１つのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間予測最大ＴＩＤアライメントフラグが０の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする請求項７に記載の画像復号装置。
上記パラメータセット復号部は、共通レイヤ間予測最大ＴＩＤを復号し、共通レイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号した共通レイヤ間予測最大ＴＩＤを割り当て、共通レイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする請求項７に記載の画像復号装置。
上記パラメータセット復号部は、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号したベースレイヤのレイヤのレイヤ間予測最大ＴＩＤを割り当て、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする請求項７に記載の画像復号装置。
上記画像復号装置は、さらに、レイヤ間予測が可能であるか否かを示すフラグであるレイヤ間予測可能フラグを復号するレイヤ間予測可能フラグ復号部を備え、
上記レイヤ間予測可能フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測可能フラグを復号し、それ以外の場合には、レイヤ間予測可能フラグを０に設定することを特徴とする請求項７から請求項１０に記載の画像復号装置。
上記画像復号装置は、さらに、レイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグを復号するレイヤ間予測限定フラグ復号部を備え、
上記レイヤ間予測限定フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測限定フラグを復号し、それ以外の場合には、レイヤ間予測限定フラグを０に設定することを特徴とする請求項７から請求項１０に記載の画像復号装置。
上記画像復号装置は、さらに、テンポラル動き予測用の参照ピクチャを、レイヤＩＤによって指定するか否かを示すフラグである代替コロケート指示フラグを復号する代替コロケート指示情報復号部を備え、
上記代替コロケート指示情報復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記代替コロケート指示フラグを復号し、それ以外の場合には、代替コロケート指示フラグを０に設定することを特徴とする請求項７から請求項１０に記載の画像復号装置。
対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号するレイヤ依存情報復号手段と、
前記対象レイヤのある対象ピクチャが参照する、前記対象レイヤとは異なるレイヤのピクチャを示す情報を復号する実依存レイヤ情報復号手段と、
前記実依存レイヤ情報に基づいて、少なくともレイヤ間参照ピクチャセットを生成する参照ピクチャセット導出手段を備え、
前記レイヤ依存情報復号手段は、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグを、前記対象ピクチャのＴＩＤが、前記依存レイヤのレイヤ間予測最大ＴＩＤ未満にのみ、上記レイヤ間予測可能フラグに復号することを特徴とする動画像復号装置。