JP2016506178A - ピクチャの符号化／復号化方法及びこれを利用する装置 - Google Patents

ピクチャの符号化／復号化方法及びこれを利用する装置 Download PDF

Info

Publication number
JP2016506178A
JP2016506178A JP2015550312A JP2015550312A JP2016506178A JP 2016506178 A JP2016506178 A JP 2016506178A JP 2015550312 A JP2015550312 A JP 2015550312A JP 2015550312 A JP2015550312 A JP 2015550312A JP 2016506178 A JP2016506178 A JP 2016506178A
Authority
JP
Japan
Prior art keywords
layer
picture
information
current
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015550312A
Other languages
English (en)
Other versions
JP6517152B2 (ja
Inventor
カン、ジョン、ウォン
リー、ハ、ヒョン
リー、ジン、ホ
チェ、ジン、ス
キム、ジン、ウン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2016506178A publication Critical patent/JP2016506178A/ja
Application granted granted Critical
Publication of JP6517152B2 publication Critical patent/JP6517152B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本発明に係る複数の階層を支援するピクチャの復号化方法は、現在の階層が前記ビットストリーム全体で参照することのできる参照階層に対する階層依存性情報を受信してパーシングするステップと；前記現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられる場合、前記参照階層のうち前記現在のピクチャが参照する参照階層に対する階層情報を受信してパーシングするステップと；前記階層情報に基づき前記現在のピクチャのデコーディングを行うステップとを含むことができる。

Description

本発明は、ピクチャの符号化及び復号化処理に関し、より詳しくは、階層的ビデオ符号化において多重参照階層を適用した階層間ピクチャ符号化／復号化方法及びその装置に関する。
最近、HD（High Definition）解像度を有する放送サービスが国内だけでなく世界的に拡大されるにつれ、多くの使用者が高解像度、高画質のピクチャに慣れてきており、これに伴い、多くの機関が次世代ピクチャ機器に対する開発に拍車をかけている。さらに、HDTVとともにHDTVの4倍以上の解像度を有するUHD（Ultra High Definition）に対する関心の増大に伴い、より高い解像度、高画質のピクチャに対する圧縮技術が求められている。
ピクチャの圧縮のため、時間的に以前及び／又は以後のピクチャから現在のピクチャに含まれている画素値を予測するインタ（inter）予測技術、現在のピクチャ内の画素情報を利用して現在のピクチャに含まれている画素値を予測するイントラ（intra）予測技術、出現頻度の高いシンボル（symbol）に短い符号を割り当て、出現頻度の低いシンボルに長い符号を割り当てるエントロピー符号化技術などが用いられ得る。
ピクチャ圧縮技術には、流動的なネットワーク環境を考慮することなく、ハードウェアの制限的な動作環境下で一定のネットワーク帯域幅を提供する技術がある。しかし、随時に帯域幅が変化するネットワーク環境に適用されるピクチャデータを圧縮するためには新しい圧縮技術が求められ、このため、スケーラブル（scalable）ビデオ符号化／復号化方法が用いられ得る。
本発明は、一つ以上の参照階層を含む参照ピクチャリストを効率よく生成及び管理し、符号化／復号化効率を向上させることができるピクチャの符号化／復号化方法及びこれを利用する装置を提供する。
本発明の一実施形態は、階層間予測を行うとき、動き推定及び動き補償のための参照ピクチャリストの生成において、一つ以上の参照階層を含んで参照ピクチャリストを生成することができるピクチャの符号化／復号化方法及びこれを利用する装置を提供する。
本発明の一実施形態は、参照階層の復元されたピクチャを含んで参照ピクチャリストを生成するとき、参照ピクチャリスト内での参照階層等の復元されたピクチャの位置、及び参照階層の復元されたピクチャの間の順番を調整することができるピクチャの符号化／復号化方法及びこれを利用する装置を提供する。
本発明の一実施形態に係る、複数の階層を支援するピクチャの復号化方法は、現在の階層が前記ビットストリーム全体で参照することのできる参照階層に対する階層依存性情報を受信してパーシングするステップと；前記現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられる場合、前記参照階層のうち前記現在のピクチャが参照する参照階層に対する階層情報を受信してパーシングするステップと；前記階層情報に基づき前記現在のピクチャのデコーディングを行うステップとを含むことができる。
前記階層依存性情報は、ビデオパラメータセット拡張に含まれて受信されてよい。
前記階層情報は、前記現在のピクチャが参照することのできる参照ピクチャの階層のIDに対する情報であり、前記階層情報はスライスヘッダーに含まれて受信されてよい。
前記階層依存性情報に基づき、前記現在の階層が前記ビットストリーム全体で参照することのできる参照階層の個数を誘導するステップと；前記参照階層の個数が0より大きければ、前記現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられるのか否かを表わすフラグ情報を受信してパーシングするステップとをさらに含むことができる。
前記フラグ情報が1であり、前記参照階層の個数が1より大きく、全体のビットストリームに含まれている全ての階層が一つの参照階層を用いるものでなければ、前記現在のピクチャの前記階層間予測のために用いられ得る階層参照ピクチャの個数を特定することのできる階層参照ピクチャ個数情報を受信してパーシングするステップをさらに含むことができる。
前記階層情報は、前記参照階層の個数と前記階層参照ピクチャの個数とが同一でない場合に受信され得る。
前記階層参照ピクチャの個数は、前記階層参照ピクチャ個数情報に1を足した値に特定されてよい。
本発明の他の実施形態に係る、複数の階層を支援するピクチャの復号化装置は、現在の階層が前記ビットストリーム全体で参照することのできる参照階層に対する階層依存性情報を受信してパーシングし、前記現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられる場合、前記参照階層のうち前記現在のピクチャが参照する参照階層に対する階層情報を受信してパーシングするパーシング部と；前記階層情報に基づき前記現在のピクチャのデコーディングを行うデコーディング部とを含むことができる。
本発明の一実施形態によれば、一つ以上の参照階層を含む参照ピクチャリストを効率よく生成及び管理し、符号化／復号化効率を向上させることができるピクチャの符号化／復号化方法及びこれを利用する装置が提供される。
本発明の一実施形態によれば、階層間予測を行うとき、動き推定及び動き補償のための参照ピクチャリストの生成において、一つ以上の参照階層を含んで参照ピクチャリストを生成することができるピクチャの符号化／復号化方法及びこれを利用する装置が提供される。
本発明の一実施形態は、参照階層の復元されたピクチャを含んで参照ピクチャリストを生成するとき、参照ピクチャリスト内での参照階層等の復元されたピクチャの位置、及び参照階層の復元されたピクチャの間の順番を調整することができるピクチャの符号化／復号化方法及びこれを利用する装置が提供される。
ピクチャ符号化装置の一実施形態に係る構成を示すブロック図である。 ピクチャ復号化装置の一実施形態に係る構成を示すブロック図である。 本発明が適用可能な、複数階層を利用したスケーラブルビデオコーディング構造の一実施形態を概略的に示す概念図である。 本発明の一実施形態に基づき、空間画質階層及び視点階層を概略的に示す概念図である。 本発明の一実施形態に係る符号化装置において、上位階層の符号化を行う方法を説明するための制御フローチャートである。 本発明の一実施形態に係る復号化装置において、上位階層の復号化を行う方法を説明するための制御フローチャートである。 本発明の一実施形態に係るピクチャデコーディング装置の制御ブロック図である。 本発明の一実施形態に係るピクチャデコーディング装置のデコーディング方法を説明するための制御フローチャートである。
以下、図面を参照しつつ、本発明の実施形態に対し具体的に説明する。本明細書の実施形態の説明において、関連する公知の構成または機能に対する具体的な説明が本明細書の要旨を濁し得ると判断される場合は、その詳細な説明は省略する。
ある構成要素が他の構成要素に『連結されて』いるか『接続されて』いると言及されたときは、その他の構成要素に直接的に連結されているか接続されていることもあり得るが、中間に他の構成要素が存在することもあり得ると理解されなければならないはずである。併せて、本発明で特定の構成を『含む』と記述する内容は、当該構成以外の構成を排除するものではなく、追加的な構成が本発明の実施または本発明の技術的思想の範囲に含まれ得ることを意味する。
第1、第2などの用語は多様な構成要素の説明に用いられ得るが、前記構成要素等は前記用語等によって限定されてはならない。前記用語等は、一つの構成要素を他の構成要素から区別する目的にだけ用いられる。例えば、本発明の権利範囲を外れることなく第1構成要素は第2構成要素に命名されてよく、同様に第2構成要素も第1構成要素に命名されてよい。
さらに、本発明の実施形態に表れる構成部等は、互いに異なる特徴的な機能等を表わすために独立的に図示されるものであって、各構成部が分離したハードウェアや一つのソフトウェアの構成単位からなることを意味しない。つまり、各構成部は、説明の便宜上、それぞれの構成部で並べて含んだものであって、各構成部のうち少なくとも二つの構成部が合わせられて一つの構成部でなるか、一つの構成部が複数個の構成部に分けられて機能を行うことができ、このような各構成部の統合された実施形態及び分離した実施形態も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
さらに、一部の構成要素は、本発明で本質的な機能を行う必須の構成要素ではなく、ただ性能を向上させるための選択的な構成要素であり得る。本発明は、ただ性能の向上のために用いられる構成要素を除いた、本発明の本質を具現するために必須の構成部のみを含んで具現されてよく、ただ性能の向上のために用いられる選択的な構成要素を除いた必須の構成要素のみを含んだ構造も本発明の権利範囲に含まれる。
図1は、ピクチャ符号化装置の一実施形態に係る構成を示すブロック図である。スケーラブル（scalable）ビデオ符号化／復号化方法または装置は、スケーラビリティ（scalability）を提供しない一般的なピクチャ符号化／復号化方法または装置の拡張（extension）によって具現されてよく、図1のブロック図は、スケーラブルビデオ符号化装置の基礎となり得るピクチャ符号化装置の一実施形態を示す図である。
図1に示す通り、前記ピクチャ符号化装置100は、動き推定部111、動き補償部112、イントラ予測部120、スイッチ115、減算器125、変換部130、量子化部140、エントロピー符号化部150、逆量子化部160、逆変換部170、加算器175、フィルタ部180及びデコーディングされたピクチャバッファ190を含む。
ピクチャ符号化装置100は、入力ピクチャに対してイントラ（intra）モードまたはインタ（inter）モードで符号化を行い、ビットストリーム（bit stream）を出力することができる。イントラ予測は画面内予測、インタ予測は画面間予測を意味する。イントラモードの場合、スイッチ115がイントラに切り換えられ、インタモードの場合、スイッチ115がインタに切り換えられる。ピクチャ符号化装置100は、入力ピクチャの入力ブロックに対する予測ブロックを生成した後、入力ブロックと予測ブロックの差分を符号化することができる。
イントラモードの場合、イントラ予測部120は、現在のブロック周辺の既に符号化されたブロックの画素値を利用して空間的予測を行い、予測ブロックを生成することができる。
インタモードの場合、動き推定部111は、動き推定過程でデコーディングされたピクチャバッファ190に保存されている参照ピクチャから、入力ブロックと最もよくマッチされる領域を捜して動きベクターを求めることができる。動き補償部112は、動きベクターとデコーディングされたピクチャバッファ190に保存されている参照ピクチャを利用して動き補償を行うことにより、予測ブロックを生成することができる。
減算器125は、入力ブロックと生成された予測ブロックの差分により残余ブロック（residual block）を生成することができる。変換部130は、残余ブロックに対し変換（transform）を行って変換係数（transform coefficient）を出力することができる。また、量子化部140は、入力された変換係数を量子化パラメータに従って量子化し、量子化された係数（quantized coefficient）を出力することができる。
エントロピー符号化部150は、量子化部140で算出された値、または符号化過程で算出された符号化パラメータ値などに基づき、シンボル（symbol）を確率分布に従いエントロピー符号化してビットストリーム（bit stream）を出力することができる。エントロピー符号化方法は、多様な値を有するシンボルの入力を受け、統計的な重複性を取り除きながら、復号可能な二進数の列で表現する方法である。
ここで、シンボルとは、符号化／復号化対象構文要素（syntax element）及び符号化パラメータ（coding parameter）、残余信号（residual signal）の値などを意味する。符号化パラメータは、符号化及び復号化に必要な媒介変数であって、構文要素のように符号化装置で符号化されて復号化装置に伝えられる情報だけでなく、符号化或いは復号化過程で類推可能な情報を含むことができ、ピクチャを符号化または復号化するときに必要な情報を意味する。符号化パラメータは、例えば、イントラ／インタ予測モード、移動／動きベクター、参照ピクチャ索引、符号化ブロックパターン、残余信号の有無、変換係数、量子化された変換係数、量子化パラメータ、ブロックの大きさ、ブロック分割情報などの値または統計を含むことができる。さらに、残余信号は、原信号と予測信号の差を意味することができ、かつ、原信号と予測信号の差が変換（transform）された形態の信号、または原信号と予測信号の差が変換され量子化された形態の信号を意味することもできる。残余信号は、ブロック単位では残余ブロックと言える。
エントロピー符号化が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに多い数のビットが割り当てられてシンボルが表現されることにより、符号化対象シンボル等に対するビット列の大きさが縮小し得る。したがって、エントロピー符号化を介しピクチャ符号化の圧縮性能が高くなり得る。
エントロピー符号化のため、指数ゴロム（exponential golomb）、CAVLC（Context-Adaptive Variable Length Coding）、CABAC（Context-Adaptive Binary Arithmetic Coding）のような符号化方法が用いられてよい。例えば、エントロピー符号化部150には、可変長さ符号化（VLC：Variable Length Coding／Code）テーブルのようなエントロピー符号化を行うためのテーブルが保存されてよく、エントロピー符号化部150は、保存された可変長さ符号化（VLC）テーブルを用いてエントロピー符号化を行うことができる。さらに、エントロピー符号化部150は、対象シンボルの二進化（binarization）方法及び対象シンボル／ビン（bin）の確率モデル（probability model）を導き出した後、導き出された二進化方法または確率モデルを用いてエントロピー符号化を行うこともできる。
量子化された係数は、逆量子化部160で逆量子化され、逆変換部170で逆変換されてよい。逆量子化、逆変換された係数は、加算器175を介し予測ブロックと加えられて復元ブロックが生成されてよい。
復元ブロックはフィルタ部180を経て、フィルタ部180は、デブロッキングフィルタ（deblocking filter）、SAO（Sample Adaptive Offset）、ALF（Adaptive Loop Filter）のうち少なくとも一つ以上を復元ブロックまたは復元ピクチャに適用することができる。フィルタ部180を経た復元ブロックは、デコーディングされたピクチャバッファ190に保存されてよい。
図2は、ピクチャ復号化装置の一実施形態に係る構成を示すブロック図である。図1で前述したところのように、スケーラブルビデオ符号化／復号化方法または装置は、スケーラビリティを提供しない一般的なピクチャ符号化／復号化方法または装置の拡張によって具現されてよく、図2のブロック図は、スケーラブルビデオ復号化装置の基礎となり得るピクチャ復号化装置の一実施形態を示す図である。
図2に示す通り、前記ピクチャ復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、イントラ予測部240、動き補償部250、フィルタ部260及びデコーディングされたピクチャバッファ270を含む。
ピクチャ復号化装置200は、符号化装置から出力されたビットストリームの入力を受けてイントラモードまたはインタモードで復号化を行い、再構成されたピクチャ、即ち、復元ピクチャを出力することができる。イントラモードの場合、スイッチがイントラに切り換えられ、インタモードの場合、スイッチがインタに切り換えられ得る。ピクチャ復号化装置200は、入力を受けたビットストリームから復元された残余ブロック（residual block）を得て予測ブロックを生成した後、復元された残余ブロックと予測ブロックを加えて再構成されたブロック、即ち、復元ブロックを生成することができる。
エントロピー復号化部210は、入力されたビットストリームを確率分布に従ってエントロピー復号化し、量子化された係数（quantized coefficient）形態のシンボルを含んだシンボル等を生成することができる。エントロピー復号化方法は、二進数の列の入力を受けて各シンボルを生成する方法である。エントロピー復号化方法は、前述したエントロピー符号化方法と類似する。
量子化された係数は、逆量子化部220で逆量子化されて逆変換部230で逆変換され、量子化された係数が逆量子化／逆変換された結果、復元された残余ブロック（residual block）が生成され得る。
イントラモードの場合、イントラ予測部240は、現在のブロック周辺の既に符号化されたブロックの画素値を利用して空間的予測を行い、予測ブロックを生成することができる。インタモードの場合、動き補償部250は、動きベクター及びデコーディングされたピクチャバッファ270に保存されている参照ピクチャを利用して動き補償を行うことにより、予測ブロックを生成することができる。
復元された残余ブロックと予測ブロックは加算器255を介して加えられ、加えられたブロックはフィルタ部260を経る。フィルタ部260は、デブロッキングフィルタ、SAO、ALFのうち少なくとも一つ以上を復元ブロックまたは復元ピクチャに適用することができる。フィルタ部260は、再構成されたピクチャ、即ち、復元ピクチャを出力する。復元ピクチャは、デコーディングされたピクチャバッファ270に保存されて画面間予測に用いられてよい。
前記ピクチャ復号化装置200に含まれているエントロピー復号化部210、逆量子化部220、逆変換部230、イントラ予測部240、動き補償部250、フィルタ部260及びデコーディングされたピクチャバッファ270のうち、ピクチャの復号化に直接的に係わる構成要素等、例えば、エントロピー復号化部210、逆量子化部220、逆変換部230、イントラ予測部240、動き補償部250、フィルタ部260などを他の構成要素と区分して復号化部またはデコーディング部に表現することができる。
さらに、ピクチャ復号化装置200は、ビットストリームに含まれているエンコードされたピクチャに係わる情報をパーシングする、図示していないパーシング部をさらに含むことができる。パーシング部は、エントロピー復号化部210を含むこともでき、エントロピー復号化部210に含まれてもよい。このようなパーシング部はまた、デコーディング部の一つの構成要素として具現されてもよい。
図3は、本発明が適用可能な、複数階層を利用したスケーラブルビデオコーディング構造の一実施形態を概略的に示す概念図である。図3におけるGOP（Group of Picture）は、ピクチャ群、即ち、ピクチャのグループを表わす。
ピクチャデータを伝送するためには伝送媒体が必要であり、その性能は、多様なネットワーク環境によって伝送媒体別に差がある。このような多様な伝送媒体またはネットワーク環境への適用のため、スケーラブルビデオコーディング方法が提供されてよい。
スケーラブルビデオコーディング方法は、階層（layer）間のテクスチャ情報、動き情報、残余信号などを活用し、階層間の重複性を取り除いて符号化／復号化性能を高めるコーディング方法である。スケーラブルビデオコーディング方法は、伝送ビット率、伝送エラー率、システム資源などの周辺の条件に従い、空間的、時間的、画質的観点で多様なスケーラビリティを提供することができる。
スケーラブルビデオコーディングは、多様なネットワーク状況に適用可能なビットストリームを提供することができるよう、複数階層（multiple layers）構造を用いて行われてよい。例えば、スケーラブルビデオコーディング構造は、一般的なピクチャ符号化方法を利用し、ピクチャデータを圧縮して処理する基本階層を含むことができ、基本階層の符号化情報及び一般的なピクチャ符号化方法を共に用いてピクチャデータを圧縮処理する向上階層を含むことができる。
ここで、階層（layer）は、空間（spatial、例えば、ピクチャの大きさ）、時間（temporal、例えば、符号化の順、ピクチャ出力の順、フレーム率）、画質、複雑度などを基準に区分されるピクチャまたはビットストリーム（bitstream）の集まりを意味する。また、基本階層は、下位階層、参照階層または基本階層（Base layer）、向上階層は上位階層、向上階層（Enhancement layer）を意味することができる。さらに、複数の階層は相互間に従属性を有することもできる。
図3に示す通り、例えば、基本階層は、SD（standard definition）、15Hzのフレーム率、1Mbpsのビット率で定義されてよく、第1向上階層は、HD（high definition）、30Hzのフレーム率、3.9Mbpsのビット率で定義されてよく、第2向上階層は、4K-UHD（ultra high definition）、60Hzのフレーム率、27.2Mbpsのビット率で定義されてよい。前記フォーマット（format）、フレーム率、ビット率などは一つの実施形態であって、必要に応じて別に定められてよい。さらに、用いられる階層の数も本実施形態に限定されず、状況に応じて別に定められてよい。
例えば、伝送帯域幅が4Mbpsであれば、前記第1向上階層HDのフレーム率を減らして15Hz以下で伝送することができる。スケーラブルビデオコーディング方法は、前記図3の実施形態で前述した方法によって時間的、空間的、画質的スケーラビリティを提供することができる。
ビットストリーム内の複数の階層を支援するビデオの符号化及び復号化、即ち、スケーラブルコーディング（scalable coding）の場合、複数の階層間には強い関連性（correlation）が存在するため、かかる関連性を利用して予測を行えば、データの重複要素を取り除くことができ、ピクチャの符号化性能を向上させることができる。他の階層の情報を利用して予測の対象となる現在の階層の予測を行うことを、以下では階層間予測（inter-layer prediction）と表現する。スケーラブルビデオコーディングは、以下の符号化観点ではスケーラブルビデオ符号化、復号化観点ではスケーラブルビデオ復号化と同じ意味を有する。
複数の階層は、解像度、フレーム率、カラーフォーマットのうち少なくとも一つが互いに異なることがあり、階層間予測時の解像度の調節のため、階層のアップサンプリングまたはダウンサンプリングが行われてよい。
図4は、本発明の一実施形態に基づき、空間画質階層及び視点階層を概略的に示す概念図である。
図示されている通り、ビットストリームは複数の階層を含むことができる。
ビットストリームは、空間（spatial）及び画質（quality）は同一であるものの、相違する視点（view）に対する複数の視点階層（視点1、視点2、視点3）を含むことができる。
さらに、ビットストリームは、視点は同一であるものの、空間及び画質が相違する階層で構成されてもよい。空間画質階層はSD級階層とHD級階層に分類されてよく、SD級階層とHD級階層は再度基本階層と向上階層で構成されてよい。
図示されている通り、空間、画質及び視点が混在されている階層を識別するため、各階層は識別子（layer_id）で互いに区分することができる。各識別子が如何なる階層（例えば、視点階層、空間及び画質階層）なのか、階層内で上位階層なのか下位階層なのかに対する情報は、VPS（video parameter set）またはSPS（sequence parameter set）、NALユニットヘッダー（nal unit header）などに含まれてシグナリングされてよい。
前述した通り、階層間の関連性を利用して階層間予測を行う場合、少なくとも一つ以上の下位階層を参照して上位階層を予測することになる。以下、説明の便宜のため、予測が行われる階層を対象階層と命名し、対象階層の予測に利用または参照される階層を参照階層と表現する。
本発明は、同じスライス内のブロック等を符号化する場合、一つ以上の参照階層を利用して符号化するに際し、空間、画質、視点スケーラビリティの符号化効率を考慮した効率的な参照階層リストの生成及び管理のための発明である。
通常、画面間予測は、現在のピクチャの以前のピクチャまたは以後のピクチャのうち少なくとも一つを参照ピクチャとし、参照ピクチャに基づき現在のブロックに対する予測を行うことができる。現在のブロックの予測に利用されるピクチャを、参照ピクチャ（reference picture）または参照フレーム（reference frame）という。
参照ピクチャ内の領域は、参照ピクチャを指示する参照ピクチャインデックス（refIdx）及び動きベクター（motion vector）などを利用して表わすことができる。
画面間予測は、参照ピクチャ及び参照ピクチャ内で現在のブロックに対応する参照ブロックを選択し、現在のブロックに対する予測ブロックを生成することができる。
画面間予測で符号化装置及び復号化装置は、現在のブロックの動き情報を導き出した後、導き出された動き情報に基づき画面間予測及び／または動き補償を行うことができる。このとき、符号化装置及び復号化装置は、復元された周辺ブロック（neighboring block）及び／または既に復元されたコル（col）ピクチャ（collocated picture）内で現在のブロックに対応されるコル（col）ブロック（collocated block）の動き情報を利用することにより、符号化／復号化効率を向上させることができる。
ここで、復元された周辺ブロックは、既に符号化及び／または復号化されて復元された現在のピクチャ内のブロックであって、現在のブロックに隣接したブロック及び／または現在のブロックの外部コーナーに位置したブロックを含むことができる。さらに、符号化装置及び復号化装置は、コルピクチャ内で現在のブロックと空間的に対応される位置に存在するブロックを基準に所定の相対的な位置を決定することができ、前記決定された所定の相対的な位置（前記現在のブロックと空間的に対応される位置に存在するブロックの内部及び／または外部の位置）に基づき前記コルブロックを導き出すことができる。ここで、一例として、コルピクチャは、参照ピクチャリストに含まれている参照ピクチャのうち一つのピクチャに該当されてよい。
画面間予測は、現在のブロックとのレジデュアル（residual）信号が最小化され、動きベクターの大きさもまた最小になるように予測ブロックを生成することができる。
一方、動き情報の導出方式は、現在のブロックの予測モードによって変わり得る。インタ予測のために適用される予測モードには、AMVP（Advanced Motion Vector Predictor）、マージ（merge）などがあり得る。
一例として、AMVP（Advanced Motion Vector Predictor）が適用される場合、符号化装置及び復号化装置は、復元された周辺ブロックの動きベクター及び／またはコルブロックの動きベクターを利用して予測動きベクターの候補リストを生成することができる。つまり、復元された周辺ブロックの動きベクター及び／またはコルブロックの動きベクターは、予測動きベクターの候補として用いられ得る。符号化装置は、前記リストに含まれている予測動きベクターの候補の中から選択された最適の予測動きベクターを指示する予測動きベクターインデックスを復号化装置に伝送することができる。このとき、復号化装置は、前記予測動きベクターインデックスを利用し、予測動きベクターの候補リストに含まれている予測動きベクターの候補の中から、現在のブロックの予測動きベクターを選択することができる。
符号化装置は、現在のブロックの動きベクターと予測動きベクターとの間の動きベクターの差分（MVD：Motion Vector Difference）を求めることができ、これを符号化して復号化装置に伝送することができる。このとき、復号化装置は、受信された動きベクターの差分を復号化することができ、復号化された動きベクターの差分と予測動きベクターの和を介し現在のブロックの動きベクターを導き出すことができる。
符号化装置はさらに、参照ピクチャを指示する参照ピクチャインデックスなどを復号化装置に伝送することができる。
復号化装置は、周辺ブロックの動き情報等を利用して現在のブロックの動きベクターを予測し、符号化装置から受信した動きベクターに対する差分値を利用して現在のブロックに対する動きベクターを誘導することができる。復号化装置は、誘導した動きベクターと符号化装置から受信した参照ピクチャインデックス情報に基づき、現在のブロックに対する予測ブロックを生成することができる。
他の例として、マージ（merge）が適用される場合、符号化装置及び復号化装置は、復元された周辺ブロックの動き情報及び／またはコルブロックの動き情報を利用し、マージ候補リストを生成することができる。つまり、符号化装置及び復号化装置は、復元された周辺ブロック及び／またはコルブロックの動き情報が存在する場合、これを現在のブロックに対するマージ候補として用いることができる。
符号化装置は、マージ候補リストに含まれているマージ候補の中から、最適の符号化効率を提供することのできるマージ候補を現在のブロックに対する動き情報として選択することができる。このとき、前記選択されたマージ候補を指示するマージインデックスがビットストリームに含まれて復号化装置に伝送されてよい。復号化装置は、前記伝送されたマージインデックスを利用し、マージ候補リストに含まれているマージ候補の中から一つを選択することができ、前記選択されたマージ候補を現在のブロックの動き情報として決定することができる。よって、マージモードが適用される場合、復元された周辺ブロック及び／またはコルブロックの動き情報が、現在のブロックの動き情報としてそのまま用いられ得る。復号化装置は、予測ブロックと符号化装置から伝送されるレジデュアルを加えて現在のブロックを復元することができる。
前述したAMVP及びマージモードでは、現在のブロックの動き情報を導き出すため、復元された周辺ブロックの動き情報及び／またはコルブロックの動き情報が用いられ得る。
画面間予測に利用される他のモードのうち一つであるスキップモードの場合、周辺ブロックの情報をそのまま現在のブロックに利用することができる。したがって、スキップモードの場合、符号化装置は、現在のブロックの動き情報として如何なるブロックの動き情報を利用するのかを指示する情報以外に、レジデュアルなどのようなシンタックス情報を復号化装置に伝送しない。
符号化装置及び復号化装置は、前記導き出された動き情報に基づいて現在のブロックに対する動き補償を行うことにより、現在のブロックの予測ブロックを生成することができる。ここで、予測ブロックは、現在のブロックに対する動き補償の遂行の結果で生成された、動き補償されたブロックを意味することができる。さらに、複数の動き補償されたブロックは、一つの動き補償されたピクチャを構成することができる。
復号化装置は、符号化装置から受信したスキップフラグ、マージフラグなどを確認し、現在のブロックのインタ予測に必要な動き情報、例えば、動きベクター、参照ピクチャインデックスなどに関する情報をこれに対応して誘導することができる。
予測が行われる処理単位と予測方法及び具体的な内容が定められる処理単位は、互いに異なり得る。例えば、予測ブロック単位で予測モードが定められて変換ブロック単位で予測が行われてもよく、予測ブロック単位で予測モードが定められて変換ブロック単位で画面内予測が行われてもよい。
図5は、本発明の一実施形態に係る符号化装置において、上位階層の符号化を行う方法を説明するための制御フローチャートである。
以下では、図5を参照して、少なくとも一種類以上のスケーラビリティ （例えば、空間、画質、視点スケーラビリティ）を支援しながら多階層構造を用いるビデオ符号化方法において、上位階層の符号化を行う方法、より具体的に、対象ピクチャが参照することのできる参照階層リストを構成する方法に対し検討してみる。
先ず、符号化装置は、現在の符号化対象ピクチャが参照することのできる階層のリストを構成する（S510）。
符号化装置は、現在の符号化対象階層の下位階層等のうち、現在の符号化対象階層が符号化するとき、同一視点内で参照することのできる少なくとも一つ以上の階層を含む参照階層リストを構成することができる。参照階層リストは、下記で説明された方法のうち少なくとも一つによって構成され得る。
第一の実施形態によれば、符号化装置は、全体のビットストリームで現在の符号化対象階層と同一の階層等が参照することのできる参照階層リストを構成することができる。
符号化装置は、対象階層と同一の階層等が参照可能な参照階層等を任意の順に構成して参照階層リストを生成することができる。
または、参照階層等のうち、layer_id値が対象階層のlayer_id値との差が小さい階層（即ち、近い階層）から大きい階層の順に構成されてよい。
または、現在の符号化対象階層の参照階層リストは、参照階層等のうち、優先順位（priority）が高い階層から低い階層の順に構成されてよい。
優先順位と係わる情報は、NALユニットヘッダー（NALU header）或いはビデオパラメータセット（video parameter set）などに含まれてシグナリングされてよい。
または、現在の符号化対象階層と同一視点を有する階層に対しては、現在の符号化対象階層と空間解像度の差が小さい階層から大きい階層の順に参照階層リストが構成されてよい。このとき、同一の空間解像度での画質参照階層の順は、現在の符号化対象階層のlayer_id値との差が小さい階層（即ち、近い階層）から大きい階層の順であってよい。
追加的に、現在の符号化対象階層の視点と近い視点から遠い視点の順に、階層等を参照階層リストに含ませることができる。同一の視点内の階層等を参照階層リストに含ませる順は、前述した現在の符号化対象階層と同一の視点を有する階層等と同一の方式を適用することができる。
例えば、図4のようなビットストリーム構造でlayer_idがnである階層の参照階層リストは、layer_idがn-1、n-2、n-3、n-4、n-5、n-6、n-7、n-8、n-9、n-10、n-11である階層の順に構成されてよい。
または、現在の符号化対象階層と同一視点の参照階層を含む参照階層リストは、現在の符号化対象階層と空間解像度の差が小さい階層から大きい階層の順に構成されてよい。このとき、同一の空間解像度での画質参照階層の順は、符号化を図る量子化パラメータ（quantization parameter）値が低い値から高い値の順（即ち、復号時の画質が良好な階層から低い階層の順）であってよい。
追加的に、現在の符号化対象階層の視点と近い視点から遠い視点の順に、階層等を参照階層リストに含ませることができる。同一の視点内の階層等を参照階層リストに含ませる順は、前述した現在の符号化対象階層と同一の視点を有する階層等と同一の方式を適用することができる。
対象階層が参照する参照階層に対しては、ビットストリーム内でシグナリングされるlayer_idを利用して記述されてよい。参照階層を記述しているビデオパラメータセット（video parameter set）に対する例は、表1及び表2の通りである。
表1に示す通り、num_direct_ref_layers[i]はi番目の階層（即ち、nuh_layer_id[i]のlayer_idを有する階層）が直接的に参照する参照階層の数を表わす。
ref_layer_id[i][j]は、i番目の階層が参照するj番目の参照階層のlayer_idを表わす。つまり、ref_layer_id[i][j]は、layer_idがnuh_layer_id[i]である階層が、layer_idがnuh_layer_id[j]である階層を参照することを意味する。
表2に示す通り、direct_dependency_flag[i][j]が1であれば、i番目の階層（即ち、nuh_layer_id[i]のlayer_idを有する階層）がj番目の参照階層（即ち、nuh_layer_id[j]のlayer_idを有する階層）を直接的に参照することを表わす。
max_one_active_ref_layer_flagが1であれば、全体のビットストリームで各ピクチャ（picture）、即ち、i番目の階層の階層間予測のため、最大一つのピクチャが用いられることを表わす。max_one_active_ref_layer_flagが0であれば、ビットストリーム内の特定のピクチャ、即ち、i番目の階層の階層間予測のため、一つより多いピクチャが用いられてもよいことを表わすことができる。または、max_one_active_ref_layer_flagが0である場合は、i番目の階層が階層間予測を用いないことを表わすこともできる。
一方、max_one_active_ref_layer_flagは階層ごとにシグナリングされてもよく、全体のビットストリームで一回だけシグナリングされてもよい。
max_one_active_ref_layer_flagが全体のビットストリームで一回シグナリングされるとき、全ての階層が一つの参照階層のみを参照するとき、max_one_active_ref_layer_flagの値は1になり得る。よって、max_one_active_ref_layer_flag値が0であっても、特定の階層の参照階層の個数を表わすslice_numdirect_ref_layers値が「1」となり得る。
参照階層リストを構成する第二の実施形態によれば、符号化装置は、現在符号化を図る対象ピクチャが参照可能な参照階層リストを構成することができる。これは、現在符号化を図るピクチャの現在の符号化対象階層が参照することのできる参照階層リストを構成することであって、下記方法のうち一つで構成することができる。
符号化装置は、参照階層等を任意の順に構成し、現在の符号化対象ピクチャが参照することのできる参照階層リストを生成することができる。
または、符号化装置は、参照階層等のうち、layer_id値が符号化対象階層のlayer_id値との差が小さい階層 （即ち、近い階層）から大きい階層の順に構成し、参照階層リストを生成することができる。
または、参照階層リストは、対象階層と同一視点を有する参照階層等のうち、優先順位（priority）が高い階層から低い階層の順に構成されてよい。
このとき、優先順位と係わる情報は、NALユニットヘッダー（NALU header）或いはビデオパラメータセット（video parameter set）などに含まれてシグナリングされてよい。
または、現在の符号化対象階層と同一視点の階層等で構成され得る参照階層リストは、現在の符号化対象階層と空間解像度の差が小さい階層から大きい階層の順に構成されてよい。このとき、同一の空間解像度を有する参照階層の順は、現在の符号化対象階層のlayer_id値との差が小さい階層（即ち、近い階層）から大きい階層の順であってよい。
追加的に、現在の符号化対象階層の視点と近い視点から遠い視点の順に、階層等を参照階層リストに含ませることができる。同一の視点内の階層等を参照階層リストに含ませる順は、前述した現在の符号化対象階層と同一の視点を有する階層等と同一の方式を適用することができる。
例えば、図4のようなビットストリーム構造でlayer_idがnである階層の参照階層リストは、layer_idがn-1、n-2、n-3、n-4、n-5、n-6、n-7、n-8、n-9、n-10、n-11である階層の順に構成されてよい。
または、現在の符号化対象階層と同一視点を有する階層等で構成される参照階層リストは、参照階層等のうち、現在の符号化対象階層と空間解像度の差が小さい階層から大きい階層の順に構成されてよい。このとき、同一の空間解像度での画質参照階層の順は、符号化を図る量子化パラメータ（quantization parameter）値が低い値から高い値の順（即ち、復号時の画質が良好な階層から低い階層の順）であってよい。
追加的に、現在の符号化対象階層の視点と近い視点から遠い視点の順に、階層等を参照階層リストに含ませることができる。同一の視点内の階層等を参照階層リストに含ませる順は、前述した現在の符号化対象階層と同一の視点を有する階層等と同一の方式を適用することができる。
現在の符号化対象階層の当該スライスが符号化するとき参照することのできる参照階層は、多様な方法を介して記述されてよい。以下、表3から表24を参照しつつ、スライスヘッダー（slice header）で参照階層等を記述してシグナリングすることを説明する。
表3から表11に対応する実施形態によれば、スライスヘッダーは、ビデオパラメータセットでシグナリングされる全体のビットストリームで、現在の符号化対象階層と同一の階層等が参照することのできる参照階層等のサブセット（sub-set）のうち、現在符号化を図る当該スライスが参照することのできる階層等の情報を含んでいる。
このとき、現在符号化を図る当該スライスが階層間予測を用いて符号化される場合にだけ、表3から表10のシンタックスのうちいずれか一つが適用されてもよい。
表3に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
ref_layer_id[j]は、当該ピクチャが直接的に参照するj番目の参照階層のlayer_idを表わす。
表4に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
ref_layer_id_delta[j]は、当該ピクチャが直接的に参照するj番目の参照階層のlayer_idと、j-1番目の参照階層のlayer_idとの差を表わす。このとき、レイヤーidの差分が『0』に近いほど、現在のピクチャは、現在のピクチャが該当する階層と近いlayer_idを有する参照階層を参照することを意味する。このとき、ref_layer_id_delta[0]は、0番目の参照階層のlayer_idと、現在のピクチャが属する階層のlayer_idとの差を表わす。
表5に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
ref_layer_idx_delta[j]：当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットで記述されたインデックス基準）と、j-1番目の参照階層のインデックス（ビデオパラメータセットで記述されたインデックス基準）との差を表わす。このとき、ref_layer_idx_delta[0]は0番目の参照階層のインデックスを表わす。
表6に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
ref_layer_idx[j]は、当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットで記述されたインデックス基準）を表わす。
表7に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id （即ち、nuh_layer_id ）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。slice_num_direct_ref_layersが『0』の場合は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一の階層に該当する参照階層を現在のピクチャの参照階層として用いることができるとのことを意味する。
ref_layer_id[j]は、当該ピクチャが直接的に参照するj番目の参照階層のlayer_idを表わす。
表8に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。slice_num_direct_ref_layersが『0』の場合は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一の階層に該当する参照階層を現在のピクチャの参照階層として用いることができるとのことを表わす。
ref_layer_id_delta[j]は、当該ピクチャが直接的に参照するj番目の参照階層のlayer_idと、j-1番目の参照階層のlayer_idとの差を表わす。このとき、レイヤーidの差分が『0』に近いほど、現在のピクチャは、現在のピクチャが該当する階層と近いlayer_idを有する参照階層を参照することを意味する。ref_layer_id_delta[0]は、0番目の参照階層のlayer_idと、現在のピクチャが該当する階層のlayer_idとの差を表わす。
表9に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
slice_num_direct_ref_layersが『0』の場合、ビデオパラメータセットでシグナリングされる当該ピクチャと同一の階層に該当する参照階層を現在のピクチャの参照階層として用いることができるとのことを表わす。
ref_layer_idx_delta[j]は、当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）と、j-1番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）との差を表わす。ref_layer_idx_delta[0]は、0番目の参照階層のインデックスを表わす。
表10に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
slice_num_direct_ref_layersが『0』の場合は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一の階層に該当する参照階層を現在のピクチャの参照階層として用いることができるとのことを意味する。
ref_layer_idx[j]は、当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）を表わす。
表11から表14に対応する実施形態によれば、ビデオパラメータセットでシグナリングされる現在の符号化対象階層と同一の階層等が参照することのできる参照階層等を、現在符号化を図る当該スライスで同様に用いるのか否かを知らせるフラグ、例えば、layer_dependency_vps_flagをスライスヘッダーにシグナリングする。
フラグが『1』の場合は、ビデオパラメータセットでシグナリングされる参照階層情報が用いられ、フラグが『0』の場合は、スライスヘッダーで記述される参照階層等の情報が用いられ得る。
このとき、現在符号化を図る当該スライス或いはピクチャが階層間予測を用いて符号化する場合にだけ、表11から表14のシンタックスのうちいずれか一つが適用されてもよい。
表11に示す通り、layer_dependency_vps_flagは、参照階層情報をスライスヘッダーまたはスライスセグメントヘッダー（slice segment header）でシグナリングするのか否かを表わす。layer_dependency_vps_flagが『0』の場合、スライスセグメントヘッダーで参照階層情報をシグナリングする。layer_dependency_vps_flagが『1』の場合は、スライスセグメントヘッダーで参照階層情報をシグナリングせず、ビデオパラメータセット拡張（VPS extension）でシグナリングされた参照階層情報を当該ピクチャの参照階層情報として用いることができる。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
ref_layer_id[j]は、当該ピクチャが直接的に参照するj番目の参照階層の layer_idを表わす。
表12に示す通り、layer_dependency_vps_flagは、参照階層情報をスライスヘッダーまたはスライスセグメントヘッダーでシグナリングするのか否かを表わす。layer_dependency_vps_flagが『0』の場合、スライスセグメントヘッダーで参照階層情報をシグナリングする。layer_dependency_vps_flagが『1』の場合は、スライスセグメントヘッダーで参照階層情報をシグナリングせず、ビデオパラメータセット拡張（VPS extension）でシグナリングされた参照階層情報を当該ピクチャの参照階層情報として用いることができる。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
ref_layer_id_delta[j]は、当該ピクチャが直接的に参照するj番目の参照階層のlayer_idと、j-1番目の参照階層のlayer_idとの差を表わす。ref_layer_id_delta[0]は、ref_layer_id[0]と現在のピクチャのlayer_idとの差を表わす。
表13に示す通り、layer_dependency_vps_flagは、参照階層情報をスライスヘッダーまたはスライスセグメントヘッダーでシグナリングするのか否かを表わす。layer_dependency_vps_flagが『0』の場合、スライスセグメントヘッダーで参照階層情報をシグナリングする。layer_dependency_vps_flagが『1』の場合は、スライスセグメントヘッダーで参照階層情報をシグナリングせず、ビデオパラメータセット拡張（VPS extension）でシグナリングされた参照階層情報を当該ピクチャの参照階層情報として用いることができる。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
ref_layer_idx_delta[j]は、当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）と、j-1番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）との差を表わす。ref_layer_idx_delta[0]は、0番目の参照階層のインデックスを表わす。
表14に示す通り、layer_dependency_vps_flagは、参照階層情報をスライスヘッダーまたはスライスセグメントヘッダーでシグナリングするのか否かを表わす。layer_dependency_vps_flagが『0』の場合、スライスセグメントヘッダーで参照階層情報をシグナリングする。layer_dependency_vps_flagが『1』の場合は、スライスセグメントヘッダーで参照階層情報をシグナリングせず、ビデオパラメータセット拡張（VPS extension）でシグナリングされた参照階層情報を当該ピクチャの参照階層情報として用いることができる。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
ref_layer_idx[j]は、当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）を表わす。
表15から表18に対応する実施形態によれば、現在符号化を図る当該スライスの参照階層の数がスライスヘッダーに含まれてシグナリング（例えば、slice_num_direct_ref_layers）されてよい。このとき、参照階層等は、シグナリングされた参照階層の数が、ビデオパラメータセットでシグナリングされる現在の符号化対象階層と同一の階層等が参照することのできる参照階層の数（例えば、NumDirectRefLayers[nuh_layer_id]）と同一でない場合にだけシグナリングされる。
このとき、現在符号化を図る当該スライスが階層間予測を用いて符号化する場合、表15から表18のシンタックスのうちいずれか一つが適用されてもよい。
表15に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一である場合は、ビデオパラメータセット拡張（VPS extension）でシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用い、NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一でない場合は、スライスセグメントヘッダーでシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用いる。
ref_layer_id[j]は、当該ピクチャが直接的に参照するj番目の参照階層のlayer_idを表わす。
表16に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一である場合は、ビデオパラメータセット拡張（VPS extension）でシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用い、NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一でない場合は、スライスセグメントヘッダーでシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用いる。
ref_layer_id_delta[j]は、当該ピクチャが直接的に参照するj番目の参照階層のlayer_idと、j-1番目の参照階層のlayer_idとの差を表わす。ref_layer_id_delta[0]は、ref_layer_id[0]と現在のピクチャのlayer_idとの差を表わす。
表17に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一である場合は、ビデオパラメータセット拡張（VPS extension）でシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用い、NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一でない場合は、スライスセグメントヘッダーでシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用いる。
ref_layer_idx_delta[j]は、当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）と、j-1番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）との差を表わす。ref_layer_idx_delta[0]は、0番目の参照階層のインデックスを表わす。
表18に示す通り、slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一である場合は、ビデオパラメータセット拡張（VPS extension）でシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用い、NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一でない場合は、スライスセグメントヘッダーでシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用いる。
ref_layer_idx[j]は、当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）を表わす。
本発明のさらに他の実施形態によれば、現在符号化を図る当該スライスが階層間予測を用いて符号化する場合に対し、表19から表24に示されている信号等がシグナリングされてよい。
表2に示す通り、ビデオパラメータセットで現在の符号化対象階層と同一の階層等が参照することのできる参照階層の数が最大一つなのか否かを知らせるフラグ（例えば、max_one_active_ref_layer_flag）がシグナリングされ、当該フラグが『0』であるとき、表19から表24が適用されてよい。つまり、表19から表24を参照し、現在の符号化対象階層と同一の階層等が二つ以上の参照階層を有する場合、現在符号化を図る当該スライスの参照階層の数をシグナリング（例えば、slice_num_direct_ref_layers）する実施形態に対して記述される。
具体的に、表19、表21、表23は、ビデオパラメータセットでシグナリングされる参照階層等を当該スライスで同様に用いるのか否かを知らせるフラグ（例えば、layer_dependency_vps_flag）がスライスヘッダーでシグナリングされ、当該フラグが『1』の場合は、ビデオパラメータセットでシグナリングされる参照階層情報が用いられ、フラグが『0』の場合は、スライスヘッダーで参照階層等を記述してシグナリングする。
表20、表22、表24に係る実施形態は、現在符号化を図る当該スライスの参照階層の数（例えば、slice_num_direct_ref_layers）が、ビデオパラメータセットでシグナリングされる現在の符号化対象階層と同一の階層等が参照することのできる参照階層の数と同一でない場合にだけ参照階層等をシグナリングする。
表19に示す通り、inter_layer_pred_enabled_flagが『1』であれば、当該ピクチャが階層間予測を用いることを表わし、inter_layer_pred_enabled_flagが『0』であれば、階層間予測を用いないことを表わす。
layer_dependency_vps_flagは、参照階層情報をスライスヘッダー（スライスセグメントヘッダー）でシグナリングするのか否かを表わす。layer_dependency_vps_flagが『0』の場合、参照階層情報をスライスヘッダーでシグナリングすることを表わし、layer_dependency_vps_flagが『1』の場合は、スライスセグメントヘッダーで参照階層情報をシグナリングせず、ビデオパラメータセット拡張（VPS extension）でシグナリングされた参照階層情報を当該ピクチャの参照階層情報として用いることを表わす。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。max_one_active_ref_layer_flagが『1』の場合は、NumActiveRefLayerPics = 1（NumActiveRefLayerPics = slice_num_driect_ref_layers）になるので、slice_num_direct_ref_layersはシグナリングされない。
ref_layer_idx[i]は、当該ピクチャが直接的に参照するi番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）を表わす。
表20に示す通り、inter_layer_pred_enabled_flagが『1』であれば、当該ピクチャが階層間予測を用いることを表わし、inter_layer_pred_enabled_flagが『0』であれば、階層間予測を用いないことを表わす。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一である場合は、ビデオパラメータセット拡張（VPS extension）でシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用い、NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一でない場合は、スライスセグメントヘッダーでシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用いる。
ref_layer_idx[i]は、当該ピクチャが直接的に参照するi番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）を表わす。
表21に示す通り、inter_layer_pred_enabled_flagが『1』であれば、当該ピクチャが階層間予測を用いることを表わし、inter_layer_pred_enabled_flagが『0』であれば、階層間予測を用いないことを表わす。
layer_dependency_vps_flagは、参照階層情報をスライスヘッダー（スライスセグメントヘッダー）でシグナリングするのか否かを表わす。layer_dependency_vps_flagが『0』の場合、参照階層情報をスライスヘッダーでシグナリングすることを表わし、layer_dependency_vps_flagが『1』の場合は、スライスセグメントヘッダーで参照階層情報をシグナリングせず、ビデオパラメータセット拡張（VPS extension）でシグナリングされた参照階層情報を当該ピクチャの参照階層情報として用いることを表わす。
layer_dependency_vps_flagが『1』であれば、slice_num_direct_ref_layersはNumDirectRefLayers[nuh_layer_id]値と同一であり得、ref_layer_idx[i]はiとみなされてよい。layer_dependency_vps_flag値がシグナリングされない場合は、『0』の値にみなされてよい。max_one_active_ref_layer_flag値が『1』の場合は、layer_dependency_vps_flagは『0』の値を有することができる。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
max_one_active_ref_layer_flagが『1』の場合は、NumActiveRefLayerPics = 1（NumActiveRefLayerPics = slice_num_driect_ref_layers）になるので、slice_num_direct_ref_layersはシグナリングされない。
ref_layer_idx[i]は、当該ピクチャが直接的に参照するi番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）を表わす。
表22に示す通り、inter_layer_pred_enabled_flagが『1』であれば、当該ピクチャが階層間予測を用いることを表わし、inter_layer_pred_enabled_flagが『0』であれば、階層間予測を用いないことを表わす。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わすか、ピクチャの階層間予測に用いられる階層参照ピクチャの数を表わすことができる。slice_num_direct_ref_layersに特定される参照階層の数または階層参照ピクチャの数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一である場合は、ビデオパラメータセット拡張（VPS extension）でシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用い、NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一でない場合は、スライスセグメントヘッダーでシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用いる。
ref_layer_idx[i]は、当該ピクチャが直接的に参照するi番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）を表わす。
表22のNumDirecRefLayers[nuh_layer_id]は、ビデオパラメータセット拡張で受信される階層依存性情報に基づいて誘導されてよい。階層依存性情報は、シンタックス要素direct_dependency_flag[i][j]にシグナリングされてよく、全体のビットストリームでi番目のインデックスを有する階層がj番目の階層を直接的に参照するのか否かを表わす。このような階層依存性情報により、全体のビットストリームでi番目の階層が参照する参照階層の情報を把握することができる。
つまり、direct_dependency_flag[i][j]のようなフラグ情報（参照階層情報）を介し、現在の階層がビットストリーム全体で参照することのできる参照階層の個数を誘導することができる。
現在の階層のnuh_layer_id値が0より大きく、即ち、現在の階層が基本階層ではなく、誘導された参照階層の個数が0より大きければ、現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられるのか否かを表わすフラグ情報（inter_layer_pred_enabled_flag）が受信される。
inter_layer_pred_enabled_flagが1であり、NumDirectRefLayers[nuh_layer_id]が1より大きく（NumDirectRefLayers[nuh_layer_id ] ＞ 1）、全体のビットストリームに含まれている全ての階層が一つの参照階層を用いるものでなければ（!max_one_active_ref_layer_flag）、現在のピクチャの階層間予測のために用いられ得る参照ピクチャの個数を特定することのできる参照ピクチャ個数情報（slice_num_direct_ref_layers）が受信される。以下では、階層間予測のために用いられ得る参照ピクチャを階層参照ピクチャ（inter layer reference picture）と表現し、階層参照ピクチャの個数を特定することのできる情報を階層参照ピクチャ個数情報と表現する。
もし、現在のピクチャの属した階層が参照する参照階層の個数が最大一つであれば、現在のピクチャが参照する階層の数も一つになる。
階層参照ピクチャ個数情報は、num_inter_layer_ref_pics_minus1のようなシンタックス要素にシグナリングされてもよい。
階層参照ピクチャの個数（NumActiveRefLayerPics）は、シグナリングされる階層参照ピクチャ情報の値（slice_num_direct_ref_layersの場合）に特定されてよく、階層参照ピクチャ個数情報に1を足した値（num_inter_layer_ref_pics_minus1の場合）に特定されてもよい。
参照階層の個数（NumDirecRefLayers[nuh_layer_id]）と階層参照ピクチャの個数（NumActiveRefLayerPics）が同一でなければ（NumDirectRefLayers[ nuh_layer_id ] != NumActiveRefLayerPics）、参照階層のうち現在のピクチャが参照する参照階層に対する階層情報（ref_layer_idx [i]）が受信される。
階層情報は、現在のピクチャが参照することのできる参照ピクチャの階層のIDに対する情報であってよい。
表23に示す通り、inter_layer_pred_enabled_flagが『1』であれば、当該ピクチャが階層間予測を用いることを表わし、inter_layer_pred_enabled_flagが『0』であれば、階層間予測を用いないことを表わす。
layer_dependency_vps_flagは、参照階層情報をスライスヘッダー（スライスセグメントヘッダー）でシグナリングするのか否かを表わす。layer_dependency_vps_flagが『0』の場合、参照階層情報をスライスヘッダーでシグナリングすることを表わし、layer_dependency_vps_flagが『1』の場合は、スライスセグメントヘッダーで参照階層情報をシグナリングせず、ビデオパラメータセット拡張（VPS extension）でシグナリングされた参照階層情報を当該ピクチャの参照階層情報として用いることを表わす。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。
max_one_active_ref_layer_flagが『1』の場合は、NumActiveRefLayerPics = 1（NumActiveRefLayerPics = slice_num_driect_ref_layers）になるので、slice_num_direct_ref_layersはシグナリングされない。
ref_layer_idx_delta[j]は、当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）と、j-1番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）との差を表わす。ref_layer_idx_delta[0]は、0番目の参照階層のインデックスを表わす。
表24に示す通り、inter_layer_pred_enabled_flagが『1』であれば、当該ピクチャが階層間予測を用いることを表わし、inter_layer_pred_enabled_flagが『0』であれば、階層間予測を用いないことを表わす。
slice_num_direct_ref_layersは、当該ピクチャが直接的に参照する参照階層の数を表わす。slice_num_direct_ref_layersに特定される参照階層の数は、ビデオパラメータセットでシグナリングされる当該ピクチャと同一のlayer_id（即ち、nuh_layer_id）を有する階層等が参照する参照階層の数（即ち、NumDirectRefLayers[nuh_layer_id]）と同一であるか小さくなければならない。NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一である場合は、ビデオパラメータセット拡張（VPS extension）でシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用い、NumDirectRefLayers[nuh_layer_id]値とslice_num_direc_ref_layers値が同一でない場合は、スライスセグメントヘッダーでシグナリングされる参照階層情報を当該ピクチャの参照階層情報として用いる。
ref_layer_idx_delta[j]は、当該ピクチャが直接的に参照するj番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）と、j-1番目の参照階層のインデックス（ビデオパラメータセットに記述されたインデックス基準）との差を表わす。ref_layer_idx_delta[0]は、0番目の参照階層のインデックスを表わす。
このとき、スライスヘッダーで記述される当該スライスが符号化するときに参照することのできる階層等は、全体のビットストリームで現在の符号化対象階層と同一の階層等が参照することのできる参照階層等のサブセットであってよい。
例えば、スライスヘッダーにシグナリングされる参照階層等は、ビデオパラメータセットでシグナリングされる現在の符号化対象階層と同一の階層等が参照することのできる参照階層リストのサブセットであってよい。
さらに、図5に戻り、現在の符号化対象階層のピクチャが参照することのできる階層のリストを構成した符号化装置は、現在の符号化対象ピクチャの画面間予測のため対象階層が参照することのできる参照階層の復元されたピクチャが含まれている参照ピクチャ集合（reference picture set）を構成し、参照ピクチャ形態表示（reference picture marking）を行う（S520）。
このとき、符号化装置は、参照階層リストに含まれているピクチャ等で構成された復元されたピクチャに可用なのか（available）を確認し、可用である場合、当該復元ピクチャを参照ピクチャ集合に含ませ、可用でない場合、当該復元ピクチャを『no reference picture』と表示することができる。
参照階層リストに含まれているピクチャ等で構成された参照ピクチャ集合（以下、第1集合）は『used for long term reference』に表示され、現在の符号化対象ピクチャの画面間予測時に長期参照ピクチャ（long-term reference picture）に取り扱われてよい。
第1集合、即ち、参照階層リストに含まれているピクチャ等で構成された参照ピクチャ集合以外に、現在の符号化対象階層と同一の階層のピクチャ等でなる画面間予測のための参照ピクチャ集合は、多様な形態で存在することができる。
画面間予測のための参照ピクチャ集合は、現在の符号化対象ピクチャの画面間予測に用いられ、ディスプレーの順で現在の符号化対象ピクチャを基準に以前である短期参照ピクチャ（short-term reference picture）（第2集合）、現在の符号化対象ピクチャの画面間予測に用いられ、ディスプレーの順で現在の符号化対象ピクチャを基準に以後である短期参照ピクチャ（第3集合）、現在の符号化対象ピクチャの画面間予測のための長期参照ピクチャ（第4集合）、現在の符号化対象ピクチャ以後に符号化することのできるピクチャのための短期参照ピクチャ（第5集合）、現在の符号化対象ピクチャ以後に符号化することのできるピクチャのための長期参照ピクチャ（第6集合）で構成されてよい。
その後、符号化装置は、参照ピクチャ集合と参照ピクチャ形態に従って参照ピクチャリストを生成する（S530）。
符号化装置は、前記のような幾多の参照ピクチャ集合に基づき、参照ピクチャ集合の特性と参照ピクチャ形態に従って現在の符号化対象ピクチャの参照ピクチャリストを生成することができる。
一例として、符号化装置は、現在の符号化対象ピクチャと同一の階層のピクチャ等からなる参照ピクチャ集合等で構成された画面間参照ピクチャリストL0及びL1に、ステップS520で生成された参照階層リストで構成された参照ピクチャ集合を次のように追加して最終の参照ピクチャリストを生成することができる。
この場合、符号化装置は、参照ピクチャリストの生成の都度、固定された位置に参照階層の復元されたピクチャを追加することもでき、効率的な符号化のため、参照ピクチャリストを生成した後、さらに参照階層の復元されたピクチャの位置を変更することもできる。
参照ピクチャリストの生成の都度、固定された位置に参照階層の復元されたピクチャを追加する場合、L0リストの生成時に第1集合を最後或いは一番目（ref_idx=0）或いは二番目（ref_idx=1）の位置から追加することができる。
参照階層の復元されたピクチャをL0リストの中間位置に追加する場合、当該位置及びそれ以後にあるピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
または、符号化装置は、L0リストの生成時に、一番目（ref_idx=0）或いは二番目（ref_idx=1）の位置から参照階層リストを構成する参照ピクチャの数ほどの参照ピクチャ等を第1集合で代替することができる。
符号化装置は、L0リストの生成時に、第1集合を任意のシグナリングされた位置から追加することができる。第1集合がリストの中間位置に追加される場合、当該位置及びそれ以後にあったピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
または、符号化装置は、L0リストの生成時に、任意のシグナリングされた位置から参照階層リストを構成する参照ピクチャの数ほどの参照ピクチャ等を第1集合で代替することができる。
または、符号化装置は、L0リストの生成時に、第1集合の参照階層リストに含まれているそれぞれのピクチャ等を任意の互いに異なる位置に追加することができる。このとき、符号化装置は、追加されたピクチャ等の当該位置及びそれ以後にあったピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
または、符号化装置は、L0リストの生成時に、任意の互いに異なる位置にある参照ピクチャ等を、第1集合の参照階層リストに含まれているそれぞれのピクチャ等で代替することができる。
または、符号化装置は、L1リストの生成時に、第1集合を最後或いは一番目（ref_idx=0）或いは二番目（ref_idx=1）の位置に追加することができる。
参照階層をL1リストの中間位置に追加する場合、符号化装置は、当該位置及びそれ以後にあるピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
または、符号化装置は、L1リストの生成時に、一番目（ref_idx=0）或いは二番目（ref_idx=1）の位置から参照階層リストで構成された参照ピクチャ集合の数ほどの参照ピクチャ等を第1集合で代替することができる。
符号化装置は、L1リストの生成時に、第1集合を任意のシグナリングされた位置から追加することができる。第1集合がリストの中間位置に追加される場合、当該位置及びそれ以後にあったピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
または、符号化装置は、L1リストの生成時に、任意のシグナリングされた位置から参照階層リストを構成する参照ピクチャの数ほどの参照ピクチャ等を第1集合で代替することができる。
または、符号化装置は、L1リストの生成時に、第1集合の参照階層リストに含まれているそれぞれのピクチャ等を任意の互いに異なる位置に追加することができる。このとき、符号化装置は、追加されたピクチャ等の当該位置及びそれ以後にあったピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
または、符号化装置は、L1リストの生成時に、任意の互いに異なる位置にある参照ピクチャ等を、第1集合の参照階層リストに含まれているそれぞれのピクチャ等で代替することができる。
一方、参照ピクチャリストを生成した後、さらに効率的な符号化のため参照階層の復元されたピクチャの位置を変更する場合、スライスヘッダー或いはピクチャパラメータセットに含まれ得る符号化パラメータを利用し、参照階層の復元されたピクチャの位置を参照ピクチャリストの如何なる位置へも変更させることができる。
参照階層リストが生成されると、符号化装置は、参照ピクチャリスト内の参照ピクチャを利用し、現在の符号化対象ピクチャに対する動き推定及び動き補償を行うことができる（S540）。
符号化装置は、通常の画面間予測方法により、参照ピクチャリスト内の参照ピクチャを利用して、現在の符号化対象ピクチャに対する動き推定及び動き補償を行うことができる。
図6は、本発明の一実施形態に係る復号化装置において、上位階層の復号化を行う方法を説明するための制御フローチャートである。本発明に係る復号化装置は、少なくとも一つ以上のスケーラビリティ（例えば、空間、画質、視点スケーラビリティ）を支援し、多階層構造を支援するビデオ構造で上位階層の復号化を行う。
図6に示す通り、先ず、復号化装置は、現在の復号化対象ピクチャが参照することのできる階層等のリストを構成する（S610）。
ビットストリームが少なくとも一種類以上のスケーラビリティ（例えば、空間、画質、視点スケーラビリティ）を支援すれば、本発明の一実施形態に係る復号化装置は、少なくとも一つ以上の階層に対する参照階層リストを構成することができる。このような構成を有する参照階層リスト等は、現在の復号化対象ピクチャを復号化するために用いられ得る。
復号化装置は、ビデオパラメータセット等に含まれてシグナリングされる現在の復号化対象階層の参照階層情報を利用し、下記のような参照階層リストを構成することができる。
本発明の一実施形態によれば、復号化装置は、全体のビットストリームで現在の復号化対象階層と同一の階層等が参照することのできる参照階層リストを構成することができる。参照階層リストは、現在の復号化対象ピクチャの属した階層と同一の階層に属したピクチャ等を復号化するために用いられてよく、ビデオパラメータセットでシグナリングされる現在の復号化対象階層の参照階層情報に基づいて構成されてよい。
例えば、復号化装置は、表1に示す通り、シグナリングされるnuh_layer_id[i]の値のうち、現在の復号化対象ピクチャの属した階層と同一のnuh_layer_id値を有する階層の参照階層等（ref_layer_id）で参照階層リストを構成することができる。
シグナリングされた参照階層情報を利用した参照階層リストの構成において、リスト内での参照階層の順は、次の方法のうち一つで決められてよい。
先ず、参照階層は、表1及び表2でシグナリングされる順に構成されてよい。
または、復号化装置は、layer_id値が復号化対象階層のlayer_id値との差が小さい階層（即ち、近い階層）から大きい階層の順に参照階層リストを構成することができる。
または、復号化装置は、優先順位（priority）が高い階層から低い階層の順に空間画質参照階層リストを構成することができる。
このとき、優先順位に対する情報は、NALユニットヘッダー或いはビデオパラメータセット等でシグナリングされてよい。
または、復号化装置は、現在の復号化対象と同一視点を有する参照階層等のうち、現在の復号化対象階層と空間解像度の差が小さい階層から大きい階層の順に空間画質参照階層リストを構成することができる。
このとき、同一の空間解像度での画質参照階層の順は、現在の復号化対象階層のlayer_id値との差が小さい階層（即ち、近い階層）から大きい階層の順に構成することができる。
さらに、現在の復号化対象階層の視点と近い視点から遠い視点の順に階層等が参照階層リストに含まれてよく、同一の視点内の階層等が参照階層リストに含まれる順は、前で記述した現在の復号化対象階層と同一視点の階層等と同一の方式を適用することができる。
例えば、図4のようなビットストリーム構造で、layer_idがnである階層の参照階層リストは、layer_idがn-1、n-2、n-3、n-4、n-5、n-6、n-7、n-8、n-9、n-10、n-11である階層の順に構成されてよい。
または、現在の復号化対象階層と同一視点を有する階層等のうち、現在の復号化対象階層と空間解像度の差が小さい階層から大きい階層の順に構成されてよい。このとき、同一の空間解像度での画質参照階層の順は、復号化を図る量子化パラメータ（quantization parameter）値が低い値から高い値の順（即ち、復号時の画質が良好な階層から低い階層の順）であってよい。
さらに、現在の復号化対象階層の視点と近い視点から遠い視点の順に階層等が参照階層リストに含まれてよく、同一の視点内の階層等が参照階層リストに含まれる順は、前で記述した現在の復号化対象階層と同一視点の階層等と同一の方式を適用することができる。
本発明の他の実施形態に基づき、復号化装置は、現在復号化を図るピクチャの現在の復号化対象階層（或いは当該スライス）が参照可能な参照階層リストを構成することができ、構成された参照階層リストは、現在の復号化対象ピクチャを復号化するために用いられ得る。
復号化装置は、現在の復号化対象階層のスライスヘッダーでシグナリングされる参照階層情報を利用して参照階層リストを構成することができる。
現在の復号化対象ピクチャが一つ以上のスライスに分けられている場合も、スライスヘッダーでシグナリングされる参照階層情報は同一であってもよく、スライスごとに異なる参照階層情報を有することもできる。
復号化装置は、表3から表24までのいずれか一つによってシグナリングされる情報に基づき、参照階層等で参照階層リストを構成することができる。
このとき、スライスヘッダーでシグナリングされる参照階層等は、全体のビットストリームで現在の復号化対象階層と同一の階層等が参照することのできる参照階層等のサブセットであってよい。
例えば、スライスヘッダーにシグナリングされる参照階層等は、ビデオパラメータセットでシグナリングされる現在の復号化対象階層と同一の階層等が参照することのできる参照階層リストのサブセットであってよい。
シグナリングされるか、シグナリングされた情報を活用して得られる参照階層情報（ref_layer_id）を利用した参照階層リストの構成において、参照階層リスト内で参照階層の順は、下記のように多様に構成することができる。
先ず、復号化装置は、表3から表24までのいずれか一つによってシグナリングされる順に、参照階層を参照階層リストに追加することができる。
または、復号化装置は、参照階層のlayer_id値が復号化対象階層のlayer_id値との差が小さい階層（即ち、近い階層）から大きい階層の順に構成して空間画質参照階層リストを生成することができる。
または、参照階層リストは、参照階層等のうち、優先順位（priority）が高い階層から低い階層の順に構成されてよい。
このとき、優先順位と係わる情報は、NALユニットヘッダー（NALU header）或いはビデオパラメータセット（video parameter set）などに含まれてシグナリングされてよい。
または、現在の復号化対象階層と同一視点を有する参照階層リストは、現在の復号化対象階層と空間解像度の差が小さい階層から大きい階層の順に構成されてよい。このとき、同一の空間解像度を有する画質参照階層の順は、現在の復号化対象階層のlayer_id値との差が小さい階層（即ち、近い階層）から大きい階層の順であってよい。
この場合、さらに、現在の復号化対象階層の視点と近い視点から遠い視点の順に階層等が参照階層リストに含まれてよく、同一の視点内の階層等が参照階層リストに含まれる順は、前で記述した現在の復号化対象階層と同一視点の階層等と同一の方式を適用することができる。
例えば、図4のようなビットストリーム構造で、layer_idがnである階層の参照階層リストは、layer_idがn-1、n-2、n-3、n-4、n-5、n-6、n-7、n-8、n-9、n-10、n-11である階層の順に構成されてよい。
または、現在の復号化対象階層と同一視点を有する階層等のうち、現在の復号化対象階層と空間解像度の差が小さい階層から大きい階層の順に参照階層リストが構成されてよい。このとき、同一の空間解像度での画質参照階層の順は、復号化を図る量子化パラメータ（quantization parameter）値が低い値から高い値の順（即ち、復号時の画質が良好な階層から低い階層の順）であってよい。
この場合、さらに、現在の復号化対象階層の視点と近い視点から遠い視点の順に階層等が参照階層リストに含まれてよく、同一の視点内の階層等が参照階層リストに含まれる順は、前で記述した現在の復号化対象階層と同一視点の階層等と同一の方式を適用することができる。構成された参照階層リストは、当該スライスを復号化するために用いられ得る。
最大限に参照することのできる階層の数はビットストリーム全体に対し制限されてよく、これはビデオパラメータセット、シーケンスパラメータセット或いはスライスヘッダーなどでシグナリングされてもよく、プロファイル及びレベルによって制約を設けることもできる。
復号化装置は、構成された参照階層リストに対し追加シグナリング（例えば、スライスヘッダーのような上位レベルのシグナリング）がある場合、シグナリングで表現する内容に従ってリスト内での順を変更することができる。
次に、復号化装置は、現在の復号化対象ピクチャの画面間予測のため、参照階層の復元されたピクチャを含む参照ピクチャ集合を構成し、参照ピクチャ形態を表示する（S620）。
復号化装置は、現在の復号化対象ピクチャの画面間予測のため、参照階層の復元されたピクチャを含む参照ピクチャ集合（reference picture set）を構成し、参照ピクチャ形態を表示（reference picture marking）することができる。
即ち、復号化装置は、参照階層リストに含まれているピクチャ等で構成された参照ピクチャ集合（第1集合）を構成する。このとき、参照階層リストに含まれているピクチャが復元されたピクチャに可用なのか（available）を確認し、可用である場合、当該復元ピクチャを参照ピクチャ集合に含ませ、可用でない場合、当該復元ピクチャを『no reference picture』と表示することができる。
第1集合は『used for long term reference』に表示し、現在の復号化対象ピクチャの画面間予測時に長期参照ピクチャとして取り扱うことができる。
復号化装置は、第1集合、即ち、参照階層リストに含まれているピクチャ等で構成された参照ピクチャ集合以外に、現在の復号化対象階層と同一の階層のピクチャからなる、画面間予測のための下記のように多様な参照ピクチャ集合を構成することができる。
参照ピクチャ集合等は、現在の復号化対象ピクチャの画面間予測に用いられ、ディスプレーの順で現在の復号化対象ピクチャを基準に以前である短期参照ピクチャ（第2集合）、現在の復号化対象ピクチャの画面間予測に用いられ、ディスプレーの順で現在の復号化対象ピクチャを基準に以後である短期参照ピクチャ（第3集合）、現在の復号化対象ピクチャの画面間予測のための長期参照ピクチャ（第4集合）、現在の復号化対象ピクチャ以後に復号化することのできるピクチャのための短期参照ピクチャ（第5集合）、現在の復号化対象ピクチャ以後に復号化することのできるピクチャのための長期参照ピクチャ（第6集合）のうち少なくとも一つであってよい。
その後、復号化装置は、参照ピクチャ集合と参照ピクチャ形態に従って参照ピクチャリストを生成する（S630）。
復号化装置は、参照ピクチャ集合と参照ピクチャ形態に従って現在の復号化対象ピクチャの参照ピクチャリストを生成することができる。つまり、復号化装置は、第1集合と前記第2集合から第4集合を組み合わせて参照ピクチャリストを生成することができる。
例えば、復号化装置は、現在の復号化対象ピクチャの参照ピクチャリストの生成において、現在の復号化対象ピクチャと同一の階層のピクチャ等からなる参照ピクチャ集合等で構成された画面間参照ピクチャリストL0及びL1に、第1集合に含まれている参照階層リストで構成された参照ピクチャ集合を追加し、最終の参照ピクチャリストを生成することができる。
この場合、参照ピクチャリストの生成の都度、固定された位置に参照階層の復元されたピクチャを追加することもでき、効率的な符号化のため、参照階層の復元されたピクチャの位置を変更することもできる。
参照ピクチャリストの生成の都度、固定された位置に参照階層の復元されたピクチャを追加する場合、L0リストの生成時に、第1集合を最後或いは一番目（ref_idx=0）或いは二番目（ref_idx=1）の位置から追加することができる。
参照階層をL0リストの中間位置に追加する場合、当該位置以後にあるピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
または、復号化装置は、L0リストの生成時に、一番目（ref_idx=0）或いは二番目（ref_idx=1）の位置から、参照階層リストを構成する参照ピクチャの数ほどの参照ピクチャ等を第1集合で代替することができる。
または、復号化装置は、L0リストの生成時に、第1集合を任意のシグナリングされた位置から追加することができる。このとき、リストの中間位置に追加する場合、当該位置及びそれ以後にあったピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
復号化装置は、L0リストの生成時に、任意のシグナリングされた位置から、参照階層リストを構成する参照ピクチャの数ほどの参照ピクチャ等を第1集合で代替することができる。
復号化装置は、L0リストの生成時に、第1集合に含まれているそれぞれのピクチャ等を任意の互いに異なる位置に追加することができる。このとき、追加されたピクチャ等の当該位置及びそれ以後にあったピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
復号化装置は、L0リストの生成時に、第1集合に含まれているそれぞれのピクチャ等で任意の互いに異なる位置にある参照ピクチャ等を代替することができる。
または、復号化装置は、L1リストの生成時に、第1集合を最後或いは一番目（ref_idx=0）或いは二番目（ref_idx=1）の位置に追加することができる。
参照階層をL1リストの中間位置に追加する場合、当該位置以後にあるピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
または、復号化装置は、L1リストの生成時に、一番目（ref_idx=0）或いは二番目（ref_idx=1）の位置から、参照階層リストを構成する参照ピクチャの数ほどの参照ピクチャ等を第1集合で代替することができる。
復号化装置は、L1リストの生成時に、第1集合を任意のシグナリングされた位置から追加することができる。このとき、リストの中間位置に追加する場合、当該位置及びそれ以後にあったピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
復号化装置は、L1リストの生成時に、任意のシグナリングされた位置から、参照階層リストを構成する参照ピクチャの数ほどの参照ピクチャ等を第1集合で代替することができる。
復号化装置は、L1リストの生成時に、第1集合に含まれているそれぞれのピクチャ等を任意の互いに異なる位置に追加することができる。このとき、追加されたピクチャ等の当該位置及びそれ以後にあったピクチャ等のリストにおけるインデックスを追加した参照階層の数（参照階層リストを構成する参照ピクチャの数）ほどずつ増加させることができる。
復号化装置は、L1リストの生成時に、第1集合に含まれているそれぞれのピクチャ等で、任意の互いに異なる位置にある参照ピクチャ等を代替することができる。
一方、参照ピクチャリストを生成した後、さらに効率的な符号化のため、参照階層の復元されたピクチャの位置を変更する場合、スライスヘッダー或いはピクチャパラメータセットに含まれ得る符号化パラメータを利用し、参照階層の復元されたピクチャの位置を参照ピクチャリストの如何なる位置へも変更することができる。
参照階層リストが生成されると、参照ピクチャリスト内の参照ピクチャを利用し、現在の復号化対象ピクチャに対する動き推定及び動き補償を行うことができる（S640）。
現在の階層の現在の復号化対象ブロックが画面間予測を行う場合、復号化装置は、参照ピクチャリスト内の参照ピクチャを利用し、現在の復号化対象ブロックに対する動き補償を行うことができる。
図7は、本発明の一実施形態に係るピクチャデコーディング装置の制御ブロック図である。
図示されている通り、デコーディング装置は、ピクチャ情報をパーシングするパーシング部710と、パーシング部710のピクチャ情報を利用して現在のピクチャを予測するデコーディング部720とを含む。
パーシング部710は、現在の階層がビットストリーム全体で参照することのできる参照階層に対する階層依存性情報を受信してパーシングし、現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられる場合、参照階層のうち現在のピクチャが参照する参照階層に対する階層情報を受信してパーシングする。
階層依存性情報は、ビデオパラメータセット拡張に含まれて受信されてよい。
一方、現在のピクチャが参照する参照階層に対する階層情報は、現在のピクチャが参照することのできる参照ピクチャの階層のIDに対する情報であり、階層情報はスライスヘッダーに含まれてよい。
このとき、階層依存性情報に基づき、現在の階層がビットストリーム全体で参照することのできる参照階層の個数が誘導されてよい。
パーシング部710は、誘導された参照階層の個数が0より大きければ、現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられるのか否かを表わすフラグ情報を受信してパーシングすることができる。
フラグ情報が1であり、参照階層の個数が1より大きく、全体のビットストリームに含まれている全ての階層が一つの参照階層を用いるものでなければ、パーシング部710は、現在のピクチャの階層間予測のために用いられ得る階層参照ピクチャの個数を特定することのできる階層参照ピクチャ個数情報を受信してパーシングすることができる。
階層参照ピクチャの個数は、階層参照ピクチャ個数情報に1を足した値に特定されてよい。つまり、階層参照ピクチャ個数情報は、階層参照ピクチャの個数から1を引いた値でシグナリングされてよい。
このとき、階層情報は、参照階層の個数と階層参照ピクチャの個数とが同一でない場合にだけ受信されてよい。
デコーディング部720は、階層情報に基づいて現在のピクチャのデコーディングを行うことができる。
図8は、本発明の一実施形態に係るピクチャデコーディング装置のデコーディング方法を説明するための制御フローチャートである。
先ず、デコーディング装置は、現在の階層がビットストリーム全体で参照することのできる参照階層に対する階層依存性情報を受信してパーシングする（S810）。
階層依存性情報は、ビデオパラメータセット拡張に含まれて受信されてよい。
その後、デコーディング装置は、階層依存性情報に基づき、現在の階層がビットストリーム全体で参照することのできる参照階層の個数を誘導する（S820）。
参照階層の個数が0より大きければ、デコーディング装置は、現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられるのか否かを表わすフラグ情報を受信してパーシングすることができる（S830）。
フラグ情報が1であり、参照階層の個数が1より大きく、全体のビットストリームに含まれている全ての階層が最大一つの参照階層を用いるものでなければ、デコーディング装置は、現在のピクチャの階層間予測のために用いられ得る階層参照ピクチャの個数を特定することのできる階層参照ピクチャ個数情報を受信してパーシングすることができる（S840）。
階層参照ピクチャの個数は、シグナリングされる階層参照ピクチャ情報の値に特定されてもよく、階層参照ピクチャ個数情報に1を足した値に特定されてよい。
ステップS820で誘導された参照階層の個数と、ステップS840で確認された階層参照ピクチャの個数とが同一でなければ（S850）、デコーディング装置は、参照階層のうち現在のピクチャが参照する参照階層に対する階層情報を受信してパーシングする（S860）。
つまり、デコーディング装置は、現在の階層内の現在のピクチャのデコーディングに階層間予測が行われ、前記条件等が満足すれば、階層情報を受信する。
階層情報は、現在のピクチャが参照することのできる参照ピクチャの階層のIDに対する情報であってよく、ビットストリームでスライスヘッダーに含まれて受信されてよい。
階層情報が把握されると、デコーディング装置は、階層情報に基づいて現在のピクチャのデコーディングを行う（S870）。
一方、参照階層の個数と階層参照ピクチャの個数とが同一であれば、VPSでシグナリングされた階層依存性情報に基づいて現在のピクチャをデコーディングする（S880）。
このように、本発明による場合、一つ以上の参照階層を含んだ参照ピクチャリストを効率よく生成及び管理し、符号化／復号化効率を向上させることのできるピクチャの符号化／復号化方法、及びこれを利用する装置が提供される。
さらに、参照階層の復元されたピクチャを含み、参照ピクチャリストを生成するとき、参照ピクチャリスト内での参照階層等の復元されたピクチャの位置、及び参照階層の復元されたピクチャの間の順を調整することのできるピクチャの符号化／復号化方法、及びこれを利用する装置が提供される。
前述した実施形態で、方法等は一連のステップまたはブロックでフローチャートに基づき説明されているが、本発明は、ステップ等の順に限定されるものではなく、あるステップは、前述したところと異なるステップと異なる順に、または同時に発生することができる。さらに、当該技術分野で通常の知識を有する者であれば、フローチャートに示されたステップ等が排他的でなく、他のステップが含まれるか、フローチャートの一つまたはそれ以上のステップが、本発明の範囲に影響を及ぼすことなく削除され得ることを理解することができるはずである。
前述した実施形態は、多様な態様の例示を含む。多様な態様を表わすためのあらゆる可能な組み合わせを記述することはできないが、当該技術分野の通常の知識を有する者は、他の組み合わせが可能であることを認識することができるはずである。よって、本発明は、特許請求の範囲内に属する全ての他の交替、修正及び変更を含むと言える。

Claims (14)

  1. 複数の階層を支援するピクチャの復号化方法において、
    現在の階層が前記ビットストリーム全体で参照することのできる参照階層に対する階層依存性情報を受信してパーシングするステップと；
    前記現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられる場合、前記参照階層のうち前記現在のピクチャが参照する参照階層に対する階層情報を受信してパーシングするステップと；
    前記階層情報に基づき前記現在のピクチャのデコーディングを行うステップと
    を含むことを特徴とするピクチャの復号化方法。
  2. 前記階層依存性情報は、ビデオパラメータセット拡張に含まれて受信されることを特徴とする請求項1に記載のピクチャの復号化方法。
  3. 前記階層情報は、前記現在のピクチャが参照することのできる参照ピクチャの階層のIDに対する情報であり、前記階層情報はスライスヘッダーに含まれて受信されることを特徴とする請求項1に記載のピクチャの復号化方法。
  4. 前記階層依存性情報に基づき、前記現在の階層が前記ビットストリーム全体で参照することのできる参照階層の個数を誘導するステップと；
    前記参照階層の個数が0より大きければ、前記現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられるのか否かを表わすフラグ情報を受信してパーシングするステップと
    をさらに含むことを特徴とする請求項1に記載のピクチャの復号化方法。
  5. 前記フラグ情報が1であり、前記参照階層の個数が1より大きく、全体のビットストリームに含まれている全ての階層が一つの参照階層を用いるものでなければ、
    前記現在のピクチャの前記階層間予測のために用いられ得る階層参照ピクチャの個数を特定することのできる階層参照ピクチャ個数情報を受信してパーシングするステップをさらに含むことを特徴とする請求項4に記載のピクチャの復号化方法。
  6. 前記階層情報は、前記参照階層の個数と前記階層参照ピクチャの個数とが同一でない場合に受信されることを特徴とする請求項5に記載のピクチャの復号化方法。
  7. 前記階層参照ピクチャの個数は、前記階層参照ピクチャ個数情報に1を足した値に特定されることを特徴とする請求項5に記載のピクチャの復号化方法。
  8. 複数の階層を支援するピクチャの復号化装置において、
    現在の階層が前記ビットストリーム全体で参照することのできる参照階層に対する階層依存性情報を受信してパーシングし、前記現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられる場合、前記参照階層のうち前記現在のピクチャが参照する参照階層に対する階層情報を受信してパーシングするパーシング部と；
    前記階層情報に基づき前記現在のピクチャのデコーディングを行うデコーディング部と
    を含むことを特徴とするピクチャの復号化装置。
  9. 前記階層依存性情報は、ビデオパラメータセット拡張に含まれて受信されることを特徴とする請求項8に記載のピクチャの復号化装置。
  10. 前記階層情報は、前記現在のピクチャが参照することのできる参照ピクチャの階層のIDに対する情報であり、前記階層情報はスライスヘッダーに含まれて受信されることを特徴とする請求項8に記載のピクチャの復号化装置。
  11. 前記階層依存性情報に基づき、前記現在の階層が前記ビットストリーム全体で参照することのできる参照階層の個数が誘導され、
    前記参照階層の個数が0より大きければ、前記パーシング部は、前記現在の階層内の現在のピクチャのデコーディングに階層間予測が用いられるのか否かを表わすフラグ情報を受信してパーシングすることを特徴とする請求項8に記載のピクチャの復号化装置。
  12. 前記フラグ情報が1であり、前記参照階層の個数が1より大きく、全体のビットストリームに含まれている全ての階層が一つの参照階層を用いるものでなければ、
    前記パーシング部は、前記現在のピクチャの前記階層間予測のために用いられ得る階層参照ピクチャの個数を特定することのできる階層参照ピクチャ個数情報を受信してパーシングすることを特徴とする請求項11に記載のピクチャの復号化装置。
  13. 前記階層情報は、前記参照階層の個数と前記階層参照ピクチャの個数とが同一でない場合に受信されることを特徴とする請求項12に記載のピクチャの復号化装置。
  14. 前記階層参照ピクチャの個数は、前記階層参照ピクチャ個数情報に1を足した値に特定されることを特徴とする請求項12に記載のピクチャの復号化装置。
JP2015550312A 2012-12-26 2013-12-24 ピクチャの符号化／復号化方法及びこれを利用する装置 Active JP6517152B2 (ja)

Applications Claiming Priority (11)

Application Number Priority Date Filing Date Title
KR20120153421 2012-12-26
KR10-2012-0153421 2012-12-26
KR10-2013-0040658 2013-04-12
KR1020130040658A KR20140087971A (ko) 2012-12-26 2013-04-12 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
KR1020130071844A KR20140087977A (ko) 2012-12-26 2013-06-21 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부복호화장치
KR10-2013-0071844 2013-06-21
KR10-2013-0083101 2013-07-15
KR1020130083101A KR20140087981A (ko) 2012-12-26 2013-07-15 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부/복호화 방법 및 그 장치
KR1020130162524A KR102271877B1 (ko) 2012-12-26 2013-12-24 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR10-2013-0162524 2013-12-24
PCT/KR2013/012135 WO2014104725A1 (ko) 2012-12-26 2013-12-24 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019027746A Division JP6874032B2 (ja) 2012-12-26 2019-02-19 ピクチャの符号化／復号化方法及びこれを利用する装置

Publications (2)

Publication Number Publication Date
JP2016506178A true JP2016506178A (ja) 2016-02-25
JP6517152B2 JP6517152B2 (ja) 2019-05-22

Family

ID=51736798

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015550312A Active JP6517152B2 (ja) 2012-12-26 2013-12-24 ピクチャの符号化／復号化方法及びこれを利用する装置
JP2019027746A Active JP6874032B2 (ja) 2012-12-26 2019-02-19 ピクチャの符号化／復号化方法及びこれを利用する装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019027746A Active JP6874032B2 (ja) 2012-12-26 2019-02-19 ピクチャの符号化／復号化方法及びこれを利用する装置

Country Status (6)

Country Link
US (3) US10154278B2 (ja)
EP (2) EP2941002B1 (ja)
JP (2) JP6517152B2 (ja)
KR (4) KR20140087971A (ja)
CN (6) CN108540806B (ja)
WO (1) WO2014104725A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140087971A (ko) 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
KR20160021222A (ko) * 2013-06-18 2016-02-24 브이아이디 스케일, 인크. Ｈｅｖｃ 확장을 위한 계층간 파라미터 집합
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US20160191933A1 (en) * 2013-07-10 2016-06-30 Sharp Kabushiki Kaisha Image decoding device and image coding device
MX348561B (es) * 2013-07-12 2017-06-20 Sony Corp Aparato y método para la codificación de imágenes.
EP3022921A4 (en) * 2013-07-14 2017-03-15 Sharp Kabushiki Kaisha Signaling indications and constraints
CN105556975A (zh) * 2013-10-11 2016-05-04 夏普株式会社 信令告知用于编码的信息
US10511835B2 (en) * 2015-09-02 2019-12-17 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding
US10841617B2 (en) 2018-11-27 2020-11-17 Semiconductor Components Industries, Llc Methods and apparatus for successive intra block prediction
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
EP3926954A4 (en) * 2019-02-15 2022-04-06 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD AND DECODING METHOD
US11418813B2 (en) * 2019-09-20 2022-08-16 Tencent America LLC Signaling of inter layer prediction in video bitstream
US11310492B2 (en) * 2019-09-20 2022-04-19 Tencent America LLC Signaling of inter layer prediction in video bitstream
US20210092406A1 (en) * 2019-09-23 2021-03-25 Qualcomm Incorporated Inter-layer reference picture signaling in video coding
US12088813B2 (en) * 2019-12-23 2024-09-10 Lg Electronics Inc. Picture splitting-based image coding device and method
US20230209041A1 (en) * 2020-05-22 2023-06-29 Lg Electronics Inc. Multilayer-based image coding method in video or image coding system

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100579230C (zh) * 1997-04-01 2010-01-06 索尼公司 图像编码器及其方法、图像译码器及其方法
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
KR20060068254A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법 그리고, 복호화 장치
CN101171845A (zh) * 2005-03-17 2008-04-30 Lg电子株式会社 对使用层间预测编码的视频信号进行解码的方法
KR100931912B1 (ko) * 2005-04-13 2009-12-15 노키아 코포레이션 스케일러블 비디오 코딩에서 ｆｇｓ 식별
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
WO2006123913A1 (en) 2005-05-19 2006-11-23 Lg Electronics Inc. Method for coding/decoding video data
KR20060119736A (ko) 2005-05-19 2006-11-24 엘지전자 주식회사 영상 신호의 인코딩 방법
KR20060122663A (ko) 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
KR20060122671A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100878811B1 (ko) 2005-05-26 2009-01-14 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 이의 장치
KR100878812B1 (ko) 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
EP1949701A1 (en) * 2005-10-11 2008-07-30 Nokia Corporation Efficient decoded picture buffer management for scalable video coding
US9635396B2 (en) * 2005-10-11 2017-04-25 Nokia Technologies Oy System and method for efficient scalable stream adaptation
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
EP1879399A1 (en) * 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
KR100841558B1 (ko) 2006-10-18 2008-06-26 주식회사 휴맥스 계층 구조를 이용한 디코딩 방법 및 장치
AP2545A (en) * 2006-10-20 2012-12-20 Nokia Corp Virtual decoded reference picture marking and reference picture list
CN101401430B (zh) * 2006-11-17 2012-02-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
CN101888555B (zh) * 2006-11-17 2013-04-03 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
EP2304940A4 (en) 2008-07-22 2011-07-06 Thomson Licensing METHODS OF ERROR DISSIMULATION DUE TO ENHANCEMENT LAYER PACKET LOSS IN SCALEABLE VIDEO ENCODING DECODING (SVC)
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
CN102656885B (zh) * 2009-12-14 2016-01-27 汤姆森特许公司 合并编码比特流
JP5738434B2 (ja) * 2011-01-14 2015-06-24 ヴィディオ・インコーポレーテッド 改善されたｎａｌユニットヘッダ
JP5833682B2 (ja) * 2011-03-10 2015-12-16 ヴィディオ・インコーポレーテッド スケーラブルなビデオ符号化のための依存性パラメータセット
US20130195201A1 (en) * 2012-01-10 2013-08-01 Vidyo, Inc. Techniques for layered video encoding and decoding
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
JP6110410B2 (ja) * 2012-01-31 2017-04-05 ヴィド スケール インコーポレイテッド スケーラブルな高効率ビデオコーディング（ｈｅｖｃ）のための参照ピクチャセット（ｒｐｓ）シグナリング
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US20140010291A1 (en) * 2012-07-05 2014-01-09 Vid Scale, Inc. Layer Dependency and Priority Signaling Design for Scalable Video Coding
CN104620585A (zh) * 2012-09-09 2015-05-13 Lg电子株式会社 图像解码方法和使用其的装置
CN108718411B (zh) * 2012-09-09 2022-07-15 Lg 电子株式会社 图像解码方法和使用其的装置
CN104813662A (zh) * 2012-09-28 2015-07-29 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
US9936215B2 (en) * 2012-10-04 2018-04-03 Vid Scale, Inc. Reference picture set mapping for standard scalable video coding
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US10805605B2 (en) * 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
KR20140087971A (ko) 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
KR20160021222A (ko) 2013-06-18 2016-02-24 브이아이디 스케일, 인크. Ｈｅｖｃ 확장을 위한 계층간 파라미터 집합
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DO-KYOUNG KWON ET AL., DESCRIPTION OF SCALABLE VIDEO CODING TECHNOLOGY PROPOSAL BY TEXAS INSTRUMENTS INC., JPN6017037637, 10 October 2012 (2012-10-10), pages 7 - 9 *
JIANLE CHEN ET AL., SHVC DRAFT TEXT 1, JPN6018003458, 20 March 2013 (2013-03-20), pages 7 - 16 *
JILL BOYCE ET AL., NAL UNIT HEADER AND PARAMETER SET DESIGNS FOR HEVC EXTENSIONS, JPN6017037636, 19 October 2012 (2012-10-19) *
YE-KUI WANG ET AL., AHG9: SIGNALLING AND DERIVATION OF INTER-LAYER RPS FOR HEVC 3DV AND SCALABLE EXTENSIONS, JPN6018003456, 9 April 2013 (2013-04-09) *
YE-KUI WANG ET AL., MV-HEVC/SHVC HLS: ON SIGNALLING AND DERIVATION OF INTER-LAYER RPS, JPN6017037639, 18 April 2013 (2013-04-18) *

Also Published As

Publication number Publication date
CN108540804A (zh) 2018-09-14
CN108650513B (zh) 2022-07-26
US20200092580A1 (en) 2020-03-19
CN108540803A (zh) 2018-09-14
JP6517152B2 (ja) 2019-05-22
US11245917B2 (en) 2022-02-08
US10154278B2 (en) 2018-12-11
CN108540803B (zh) 2022-07-26
CN104969553A (zh) 2015-10-07
CN108540805B (zh) 2022-07-26
CN108540806B (zh) 2022-07-26
CN108540806A (zh) 2018-09-14
JP2019092213A (ja) 2019-06-13
US20150319453A1 (en) 2015-11-05
EP2941002B1 (en) 2017-08-02
EP2941002A4 (en) 2016-07-06
JP6874032B2 (ja) 2021-05-19
CN108540805A (zh) 2018-09-14
US10531115B2 (en) 2020-01-07
US20190068990A1 (en) 2019-02-28
CN108650513A (zh) 2018-10-12
CN104969553B (zh) 2018-06-01
KR20140087971A (ko) 2014-07-09
EP3223522B1 (en) 2019-10-23
KR102271877B1 (ko) 2021-07-02
KR20140087981A (ko) 2014-07-09
WO2014104725A1 (ko) 2014-07-03
EP2941002A1 (en) 2015-11-04
EP3223522A1 (en) 2017-09-27
CN108540804B (zh) 2022-07-26
KR20140087977A (ko) 2014-07-09
KR20140088014A (ko) 2014-07-09

Similar Documents

Publication Publication Date Title
JP6874032B2 (ja) ピクチャの符号化／復号化方法及びこれを利用する装置
KR101962183B1 (ko) 인트라 예측 모드 부호화/복호화 방법 및 장치
KR102273183B1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
KR102209109B1 (ko) 영상 부호화/복호화 방법 및 장치
US11032559B2 (en) Video encoding and decoding method and apparatus using the same
KR20140043240A (ko) 영상 부호화/복호화 방법 및 장치
KR102356481B1 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR102219841B1 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR101685556B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20210013254A (ko) 영상 부호화/복호화 방법 및 장치
KR20120028262A (ko) 엔트로피 부호화/복호화 방법 및 장치
KR102271878B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR102418524B1 (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190219

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190417

R150 Certificate of patent or registration of utility model

Ref document number: 6517152

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250