JP2022540448A - スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング - Google Patents

スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング Download PDF

Info

Publication number
JP2022540448A
JP2022540448A JP2022500909A JP2022500909A JP2022540448A JP 2022540448 A JP2022540448 A JP 2022540448A JP 2022500909 A JP2022500909 A JP 2022500909A JP 2022500909 A JP2022500909 A JP 2022500909A JP 2022540448 A JP2022540448 A JP 2022540448A
Authority
JP
Japan
Prior art keywords
information
aps
scaling
list
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022500909A
Other languages
English (en)
Other versions
JP7303367B2 (ja
Inventor
シタル パルリ
スンファン キム
チエ チャオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2022540448A publication Critical patent/JP2022540448A/ja
Priority to JP2023102428A priority Critical patent/JP2023112110A/ja
Application granted granted Critical
Publication of JP7303367B2 publication Critical patent/JP7303367B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】ビデオ／画像コーディング効率を上げる方法及び装置を提供する。【解決手段】本文書の開示によれば、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）から伝達されるスケーリングリストデータが階層的構造を介してシグナリングされることができ、また、ＡＰＳから伝達されるスケーリングリストデータに対する制限をおくことにより、ビデオ／画像コーディングのためにシグナリングされなければならないデータ量を減らし、実現上の容易さを与えることができる。【選択図】図１３

Description

本技術は、ビデオまたは画像コーディングに関し、例えば、スケーリングリストデータのシグナリングに基づくコーディング技術に関する。
近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像／ビデオのような高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、既存の格納媒体を利用して画像／ビデオデータを格納する場合、送信費用と格納費用が増加される。
また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに対する放送が増加している。
これにより、上記のような様々な特性を有する高解像度・高品質の画像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の画像／ビデオ圧縮技術が求められる。
また、圧縮効率を向上させて主観的／客観的ビジュアル品質を高めるために、スケーリング過程での適応的周波数別加重量子化（ａｄａｐｔｉｖｅ ｆｒｅｑｕｅｎｃｙ ｗｅｉｇｈｔｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ）技術に関する議論がある。このような技術を効率的に適用するために関連した情報をシグナリングする方法が必要である。
本文書の技術的課題は、ビデオ／画像コーディング効率を上げる方法及び装置を提供することにある。
本文書の他の技術的課題は、スケーリング過程でのコーディング効率を上げる方法及び装置を提供することにある。
本文書の他の技術的課題は、スケーリング過程で使われるスケーリングリストを効率的に構成する方法及び装置を提供することにある。
本文書の他の技術的課題は、スケーリング過程で使われるスケーリングリスト関連情報を階層的にシグナリングする方法及び装置を提供することにある。
本文書の他の技術的課題は、スケーリングリストベースのスケーリング過程を効率的に適用する方法及び装置を提供することにある。
本文書の一実施形態によれば、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）を介してスケーリングリストデータがシグナリングされ得る。ＡＰＳは、ＡＰＳ ＩＤ情報及びＡＰＳタイプ情報を含み、スケーリングリストデータは、ＡＰＳ ＩＤ情報及びＡＰＳタイプ情報に基づいてＡＰＳに含まれることができる。
本文書の一実施形態によれば、ヘッダ情報に基づいてＡＰＳを介してスケーリングリストデータがシグナリングされ得る。ヘッダ情報は、スケーリングリストデータ関連のＡＰＳ ＩＤ情報を含み、ヘッダ情報に含まれたスケーリングリストデータ関連のＡＰＳ ＩＤ情報に基づいてスケーリングリストデータを含むＡＰＳが特定され得る。
本文書の一実施形態によれば、ＡＰＳタイプ情報に基づいてスケーリングリストデータを含むＡＰＳに対するＡＰＳ ＩＤ情報の値の範囲が決定され得る。１つのピクチャ内のスライスは、ＡＰＳ ＩＤが同じ値を有するスケーリングリストデータを含むＡＰＳを参照できる。
本文書の一実施形態によれば、デコード装置によって行われるビデオ／画像デコード方法を提供する。前記ビデオ／画像デコード方法は、本文書の実施形態において開示された方法を含むことができる。
本文書の一実施形態によれば、ビデオ／画像デコードを行うデコード装置を提供する。前記デコード装置は、本文書の実施形態において開示された方法を行うことができる。
本文書の一実施形態によれば、エンコード装置によって行われるビデオ／画像エンコード方法を提供する。前記ビデオ／画像エンコード方法は、本文書の実施形態において開示された方法を含むことができる。
本文書の一実施形態によれば、ビデオ／画像エンコードを行うエンコード装置を提供する。前記エンコード装置は、本文書の実施形態において開示された方法を行うことができる。
本文書の一実施形態によれば、本文書の実施形態のうち、少なくとも１つに開示されたビデオ／画像エンコード方法によって生成されたエンコードされたビデオ／画像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書の一実施形態によれば、デコード装置によって本文書の実施形態のうち、少なくとも１つに開示されたビデオ／画像デコード方法を行うように引き起こすエンコードされた情報またはエンコードされたビデオ／画像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書は、様々な効果を有することができる。例えば、本文書の一実施形態によれば、全般的な画像／ビデオ圧縮効率を上げることができる。また、本文書の一実施形態によれば、効率的なスケーリング過程を適用することによってコーディング効率を上げ、主観的／客観的ビジュアル品質を向上させることができる。また、本文書の一実施形態によれば、スケーリング過程で使用されるスケーリングリストを効率的に構成することができ、これを介してスケーリングリスト関連情報を階層的にシグナリングすることができる。また、本文書の一実施形態によれば、スケーリングリストに基づくスケーリング過程を効率的に適用することによってコーディング効率が増加され得る。また、本文書の一実施形態によれば、スケーリング過程で使用されるスケーリングリストマトリックスに対する制限をおくことによって、実現を容易にし、最大メモリ要求事項（ｗｏｒｓｔ ｃａｓｅ ｍｅｍｏｒｙ ｒｅｑｕｉｒｅｍｅｎｔ）を制限するという効果を得ることができる。
本文書の具体的な実施形態を介して得ることができる効果は、以上で並べられた効果に制限されない。例えば、関連した技術分野の通常の知識を有する者（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本文書から理解したり、導くことのできる様々な技術的効果が存在しうる。これにより、本文書の具体的な効果は、本文書に明示的に記載されたことに制限されず、本文書の技術的特徴から理解されるか、導かれることができる様々な効果を含むことができる。
本文書の実施形態が適用され得るビデオ／画像コーディングシステムの例を概略的に示す。 本文書の実施形態が適用され得るビデオ／画像エンコード装置の構成を概略的に説明する図である。 本文書の実施形態が適用され得るビデオ／画像デコード装置の構成を概略的に説明する図である。 本文書の実施形態が適用可能な概略的なイントラ予測に基づくビデオ／画像エンコード方法の一例を示す。 本文書の実施形態が適用可能な概略的なイントラ予測に基づくビデオ／画像デコード方法の一例を示す。 イントラ予測手順を例示的に示す。 本文書の実施形態が適用可能な概略的なインター予測に基づくビデオ／画像エンコード方法の一例を示す。 本文書の実施形態が適用可能な概略的なインター予測に基づくビデオ／画像デコード方法の一例を示す。 インター予測手順を例示的に示す。 コーディングされた画像／ビデオに対する階層構造を例示的に示す。 本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施形態（等）に係るビデオ／画像デコード方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施形態（等）に係るビデオ／画像デコード方法及び関連コンポーネントの一例を概略的に示す。 本文書において開示された実施形態が適用され得るコンテンツストリーミングシステムの例を示す。
本開示は、様々な変更を加えることができ、様々な実施形態を有することができるところ、特定の実施形態を図面に例示し、詳細に説明しようとする。しかし、これは、本開示を特定の実施形態に限定しようとするものではない。本文書において常用する用語は、単に特定の実施形態を説明するために使用されたものであって、本開示の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明らかに異なるように意味しない限り、複数の表現を含む。本明細書において、「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを指定しようとするものであり、１つ又はそれ以上の他の特徴や、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものの存在又は付加可能性を予め排除しないことと理解されるべきである。
一方、本開示において説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで実現されるということを意味するものではない。例えば、各構成のうち、２つ以上の構成を合わせて１つの構成をなすことがあり、１つの構成が複数の構成に分けられることもある。各構成が統合及び／又は分離された実施形態も、本文書の本質から逸脱しない限り、本開示の権利範囲に含まれる。
本文書において、１つの図面内で個別的に説明される技術的特徴は、個別的で実現されることもでき、同時で実現されることもできる。
以下、添付図面を参照して、本文書の好ましい実施形態をより詳細に説明する。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重複した説明は、省略されることができる。
図１は、本文書の実施形態に適用されることができるビデオ／画像コーディングシステムの例を概略的に示す。
図１を参照すると、ビデオ／画像コーディングシステムは、第１の装置（ソースデバイス）及び第２の装置（受信デバイス）を含むことができる。ソースデバイスは、エンコードされたビデオ（ｖｉｄｅｏ）／画像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。
前記ソースデバイスは、ビデオソース、エンコード装置、送信部を含むことができる。前記受信デバイスは、受信部、デコード装置、及びレンダラを含むことができる。前記エンコード装置は、ビデオ／画像エンコード装置と呼ばれることができ、前記デコード装置は、ビデオ／画像デコード装置と呼ばれることができる。送信機は、エンコード装置に含まれることができる。受信機は、デコード装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
ビデオソースは、ビデオ／画像のキャプチャ、合成または生成過程などを介してビデオ／画像を取得することができる。ビデオソースは、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、１つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／画像が生成されることができ、この場合、関連データが生成される過程にビデオ／画像キャプチャ過程が代替されることができる。
エンコード装置は、入力ビデオ／画像をエンコードすることができる。エンコード装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコードされたデータ（エンコードされたビデオ／画像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。
送信部は、ビットストリーム形態で出力されたエンコードされたビデオ／画像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコード装置に伝達できる。
デコード装置は、エンコード装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／画像をデコードすることができる。
レンダラは、デコードされたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介してディスプレイされることができる。
本文書において“ＡまたはＢ（Ａ ｏｒ Ｂ）”は“ただＡ”、“ただＢ”または“ＡとＢの両方とも”を意味することができる。また、本文書において“ＡまたはＢ（Ａ ｏｒ Ｂ）”は“Ａ及び／又はＢ（Ａ ａｎｄ／ｏｒ Ｂ）”と解釈されることができる。例えば、本文書において“Ａ、ＢまたはＣ（Ａ、Ｂ ｏｒ Ｃ）”は“ただＡ”、“ただＢ”、“ただＣ”、または“Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。
本文書において使われるスラッシュ（／）や読点（ｃｏｍｍａ）は“及び／又は（ａｎｄ／ｏｒ）”を意味することができる。例えば、“Ａ／Ｂ”は“Ａ及び／又はＢ”を意味することができる。それによって、“Ａ／Ｂ”は“ただＡ”、“ただＢ”、または“ＡとＢの両方とも”を意味することができる。例えば、“Ａ、Ｂ、Ｃ”は“Ａ、ＢまたはＣ”を意味することができる。
本文書において“少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”は、“ただＡ”、“ただＢ”または“ＡとＢの両方とも”を意味することができる。また、本文書において“少なくとも１つのＡまたはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）”や“少なくとも１つのＡ及び／又はＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）”という表現は“少なくとも１つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”と同じく解釈されることができる。
また、本文書において“少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”は、“ただＡ”、“ただＢ”、“ただＣ”、または“Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。また、“少なくとも１つのＡ、ＢまたはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ｏｒ Ｃ）”や“少なくとも１つのＡ、Ｂ及び／又はＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ａｎｄ／ｏｒ Ｃ）”は“少なくとも１つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。
また、本文書において使われる括弧は“例えば（ｆｏｒ ｅｘａｍｐｌｅ）”を意味することができる。具体的に、“予測（イントラ予測）”で表示された場合、“予測”の一例として“イントラ予測”が提案されたものである。他の表現としては、本文書の“予測”は“イントラ予測”に制限（ｌｉｍｉｔ）されるものではなく、“イントラ予測”が“予測”の一例として提案されたものである。また、“予測（即ち、イントラ予測）”で表示された場合も、“予測”の一例として“イントラ予測”が提案されたものである。
本文書は、ビデオ／画像コーディングに関する。例えば、本文書に開示された方法／実施形態は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準に開示される方法に適用されることができる。また、本文書に開示された方法／実施形態は、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶ１（ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）標準、ＡＶＳ２（２ｎｄ ｇｅｎｅｒａｔｉｏｎ ｏｆ ａｕｄｉｏ ｖｉｄｅｏ ｃｏｄｉｎｇ ｓｔａｎｄａｒｄ）または次世代ビデオ／画像コーディング標準（例えば、Ｈ．２６７またはＨ．２６７）に開示される方法に適用されることができる。
本文書においてはビデオ／画像コーディングに関する多様な実施形態を提示し、他の言及がない限り、前記実施形態は、互いに組み合わせて実行されることもできる。
本文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の画像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の１つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、１つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。１つのピクチャは、１つ以上のスライス／タイルで構成されることができる。タイルは、ピクチャ内の特定タイル列及び特定タイル列以内のＣＴＵの四角領域である（Ａ ｔｉｌｅ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｗｉｔｈｉｎ ａ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｃｏｌｕｍｎ ａｎｄ ｐａｒｔｉｃｕｌａｒ ｔｉｌｅ ｒｏｗ ｉｎ ａ ｐｉｃｔｕｒｅ）。前記タイル列は、ＣＴＵの四角領域であり、前記四角領域は、前記ピクチャの高さと同じ高さを有し、幅は、ピクチャパラメータセット内のシンタックス要素により明示されることができる（Ｔｈｅ ｔｉｌｅ ｃｏｌｕｍｎ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｅｑｕａｌ ｔｏ ｔｈｅ ｈｅｉｇｈｔ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ ａｎｄ ａ ｗｉｄｔｈ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ）。前記タイル行は、ＣＴＵの四角領域であり、前記四角領域は、ピクチャパラメータセット内のシンタックス要素により明示される幅を有し、高さは、前記ピクチャの高さと同じである（Ｔｈｅ ｔｉｌｅ ｒｏｗ ｉｓ ａ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ＣＴＵｓ ｈａｖｉｎｇ ａ ｈｅｉｇｈｔ ｓｐｅｃｉｆｉｅｄ ｂｙ ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ ｉｎ ｔｈｅ ｐｉｃｔｕｒｅ ｐａｒａｍｅｔｅｒ ｓｅｔ ａｎｄ ａ ｗｉｄｔｈ ｅｑｕａｌ ｔｏ ｔｈｅ ｗｉｄｔｈ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。タイルスキャンは、ピクチャをパーティショニングするＣＴＵの特定の順次的オーダリングを示すことができ、前記ＣＴＵは、タイル内のＣＴＵラスタースキャンで連続的に整列されることができ、ピクチャ内のタイルは、前記ピクチャの前記タイルのラスタースキャンで連続的に整列されることができる（Ａ ｔｉｌｅ ｓｃａｎ ｉｓ ａ ｓｐｅｃｉｆｉｃ ｓｅｑｕｅｎｔｉａｌ ｏｒｄｅｒｉｎｇ ｏｆ ＣＴＵｓ ｐａｒｔｉｔｉｏｎｉｎｇ ａ ｐｉｃｔｕｒｅ ｉｎ ｗｈｉｃｈ ｔｈｅ ＣＴＵｓ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ＣＴＵ ｒａｓｔｅｒ ｓｃａｎ ｉｎ ａ ｔｉｌｅ ｗｈｅｒｅａｓ ｔｉｌｅｓ ｉｎ ａ ｐｉｃｔｕｒｅ ａｒｅ ｏｒｄｅｒｅｄ ｃｏｎｓｅｃｕｔｉｖｅｌｙ ｉｎ ａ ｒａｓｔｅｒ ｓｃａｎ ｏｆ ｔｈｅ ｔｉｌｅｓ ｏｆ ｔｈｅ ｐｉｃｔｕｒｅ）。スライスは、単一ＮＡＬユニットに排他的に含まれることができる、整数個の完全なタイルまたはピクチャのタイル内の整数個の連続的な完全なＣＴＵ行を含むことができる（Ａ ｓｌｉｃｅ ｉｎｃｌｕｄｅｓ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｍｐｌｅｔｅ ｔｉｌｅｓ ｏｒ ａｎ ｉｎｔｅｇｅｒ ｎｕｍｂｅｒ ｏｆ ｃｏｎｓｅｃｕｔｉｖｅ ｃｏｍｐｌｅｔｅ ＣＴＵ ｒｏｗｓ ｗｉｔｈｉｎ ａ ｔｉｌｅ ｏｆ ａ ｐｉｃｔｕｒｅ ｔｈａｔ ｍａｙ ｂｅ ｅｘｃｌｕｓｉｖｅｌｙ ｃｏｎｔａｉｎｅｄ ｉｎ ａ ｓｉｎｇｌｅ ＮＡＬ ｕｎｉｔ）。
一方、１つのピクチャは、２つ以上のサブピクチャに区分されることができる。サブピクチャは、ピクチャ内の１つ以上のスライスの四角領域である（ａｎ ｒｅｃｔａｎｇｕｌａｒ ｒｅｇｉｏｎ ｏｆ ｏｎｅ ｏｒ ｍｏｒｅ ｓｌｉｃｅｓ ｗｉｔｈｉｎ ａ ｐｉｃｔｕｒｅ）。
ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、１つのピクチャ（または、画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用され得る。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。
ユニット（ｕｎｉｔ）は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち少なくとも１つを含むことができる。１つのユニットは、１つのルマブロック及び２つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）、または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。
また、本文書において、量子化／逆量子化及び／又は変換／逆変換のうち少なくとも１つは、省略されることができる。量子化／逆量子化が省略される場合、量子化された変換係数は、変換係数と呼ばれることができる。変換／逆変換が省略される場合、変換係数は、係数またはレジデュアル係数と呼ばれることもでき、または、表現の統一性のために、 依然として変換係数と呼ばれることもできる。
本文書において、量子化された変換係数及び変換係数は、各々、変換係数及びスケーリングされた（ｓｃａｌｅｄ）変換係数と呼ばれることができる。この場合、レジデュアル情報は、変換係数（ら）に関する情報を含むことができ、変換係数（ら）に関する情報は、レジデュアルコーディングシンタックスを介してシグナリングされることができる。レジデュアル情報（または、変換係数（ら）に関する情報）に基づいて変換係数が導出されることができ、変換係数に対する逆変換（スケーリング）を介してスケーリングされた変換係数が導出されることができる。スケーリングされた変換係数に対する逆変換（変換）に基づいて、レジデュアルサンプルが導出されることができる。これは本文書の他の部分でも同様に適用／表現されることができる。
図２は、本文書の実施形態が適用され得るビデオ／画像エンコード装置の構成を概略的に説明する図である。以下、エンコード装置とは、画像エンコード装置及び／又はビデオエンコード装置を含むことができる。
図２を参照すると、エンコード装置２００は、画像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコード部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を含んで構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を含むことができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を含むことができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ）２３１をさらに含むことができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。前述した画像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコード部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに含むこともできる。
画像分割部２１０は、エンコード装置２００に入力された入力画像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／又はターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／又はターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本文書によるコーディング手順が実行されることができる。この場合、画像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに含むことができる。この場合、前記予測ユニット及び前記変換ユニットは、各々前述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であり、前記変換ユニットは、変換係数を誘導する単位及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位である。
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すこともでき、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、画像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。
エンコード装置２００は、入力画像信号（原本ブロック、原本サンプルアレイ）からインター予測部２２１またはイントラ予測部２２２から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算してレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。この場合、図示されたように、エンコーダ２００内において入力画像信号（原本ブロック、原本サンプルアレイ）から予測信号（予測ブロック、予測サンプルアレイ）を減算するユニットは、減算部２３１と呼ばれることができる。予測部は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードについての説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコード部２４０に伝達することができる。予測に関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または、離れて位置することもできる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは、同じであってもよく、異なってもよい。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは違ってレジデュアル信号が送信されない場合がある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることによって、現在ブロックの動きベクトルを指示することができる。
予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することもできる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、または、パレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点においてインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報に基づいてピクチャ内のサンプル値をシグナリングすることができる。
前記予測部（インター予測部２２１及び／又は前記イントラ予測部２２２を含む）を介して生成された予測信号は、復元信号を生成するために用いられ、またはレジデュアル信号を生成するために用いられることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうち少なくとも１つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形でない可変サイズのブロックに適用されることもできる。
量子化部２３３は、変換係数を量子化してエントロピーエンコード部２４０に送信し、エントロピーエンコード部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコードしてビットストリームに出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列することができ、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコード部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコード方法を実行することができる。エントロピーエンコード部２４０は、量子化された変換係数外に、ビデオ／イメージ復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別にエンコードすることもできる。エンコードされた情報（例えば、エンコードされたビデオ／画像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書において、エンコード装置からデコード装置に伝達／シグナリングされる情報及び／又はシンタックス要素は、ビデオ／画像情報に含まれることができる。前記ビデオ／画像情報は、前述したエンコード手順を介してエンコードされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、または、デジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコード部２４０から出力された信号は、送信する送信部（図示せず）及び／又は格納する格納部（図示せず）がエンコード装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコード部２４０に含まれることもできる。
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部１５５は、復元されたレジデュアル信号をインター予測部２２１またはイントラ予測部２２２から出力された予測信号に加えることによって、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）が生成され得る。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部２５０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャエンコード及び／又は復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコード部２４０に伝達することができる。フィルタリングに関する情報は、エントロピーエンコード部２４０でエンコードされてビットストリーム形態で出力されることができる。
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２２１で参照ピクチャとして使用されることができる。エンコード装置は、これを介してインター予測が適用される場合、エンコード装置１００とデコード装置における予測ミスマッチを避けることができ、符号化効率も向上させることができる。
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１における参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２２１に伝達することができる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達することができる。
図３は、本文書の実施形態が適用され得るビデオ／画像デコード装置の構成を概略的に説明する図である。以下、デコード装置とは、画像デコード装置及び／又はビデオデコード装置を含むことができる。
図３を参照すると、デコード装置３００は、エントロピーデコード部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を含んで構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を含むことができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を含むことができる。前述したエントロピーデコード部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに含むこともできる。
ビデオ／画像情報を含むビットストリームが入力されると、デコード装置３００は、図２のエンコード装置でビデオ／画像情報が処理されたプロセスに対応して画像を復元することができる。例えば、デコード装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出できる。デコード装置３００は、エンコード装置で適用された処理ユニットを利用してデコードを実行することができる。したがって、デコードの処理ユニットは、例えば、コーディングユニットであり、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／又はターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出されることができる。そして、デコード装置３００を介してデコード及び出力された復元画像信号は、再生装置を介して再生されることができる。
デコード装置３００は、図２のエンコード装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコード部３１０を介してデコードされることができる。例えば、エントロピーデコード部３１０は、前記ビットストリームをパーシングして画像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出できる。前記ビデオ／画像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）、またはビデオパラメータセット（ＶＰＳ）など、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコード装置は、前記パラメータセットに関する情報及び／又は前記一般制限情報にも基づいてピクチャをデコードすることができる。本文書において後述されるシグナリング／受信される情報及び／又はシンタックス要素は、前記デコード手順を介してデコードされ、前記ビットストリームから取得されることができる。例えば、エントロピーデコード部３１０は、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基づいてビットストリーム内の情報をデコードし、画像復元に必要なシンタックスエレメントの値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しく、ＣＡＢＡＣエントロピーデコード方法は、ビットストリームで各シンタックス要素に該当するｂｉｎを受信し、デコード対象のシンタックス要素情報と隣接及びデコード対象ブロックのデコード情報または以前ステップでデコードされたシンボル／ｂｉｎの情報を利用して文脈（ｃｏｎｔｅｘｔ）モデルを決定し、決定された文脈モデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコード（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで、各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコード方法は、文脈モデル決定後、次のシンボル／ｂｉｎの文脈モデルのためにデコードされたシンボル／ｂｉｎの情報を利用して文脈モデルをアップデートすることができる。エントロピーデコード部３１０でデコードされた情報のうち、予測に関する情報は、予測部（インター予測部３３２及びイントラ予測部３３１）に提供され、エントロピーデコード部３１０でエントロピーデコードが実行されたレジデュアル値、即ち、量子化された変換係数及び関連パラメータ情報は、レジデュアル処理部３２０に入力されることができる。レジデュアル処理部３２０は、レジデュアル信号（レジデュアルブロック、レジデュアルサンプル、レジデュアルサンプルアレイ）を導出できる。また、エントロピーデコード部３１０でデコードされた情報のうち、フィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコード装置から出力された信号を受信する受信部（図示せず）がデコード装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコード部３１０の構成要素であることもある。一方、本文書によるデコード装置は、ビデオ／画像／ピクチャデコード装置と呼ばれることができ、前記デコード装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコード部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、加算部３４０、フィルタリング部３５０、メモリ３６０、インター予測部３３２、及びイントラ予測部３３１のうち少なくとも１つを含むことができる。
逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコード装置で実行された係数スキャン順序に基づいて再整列を実行することができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を利用して量子化された変換係数に対する逆量子化を実行し、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。
予測部は、現在ブロックに対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコード部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。
予測部３２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、１つのブロックに対する予測のために、イントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測とを同時に適用することができる。これは、ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のために、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）予測モードに基づくこともでき、または、パレットモード（ｐａｌｅｔｔｅ ｍｏｄｅ）に基づくこともできる。前記ＩＢＣ予測モードまたはパレットモードは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのように、ゲームなどのコンテンツ画像／動画像コーディングのために使用されることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書において説明されるインター予測技法のうち少なくとも１つを利用することができる。パレットモードは、イントラコーディングまたはイントラ予測の一例と見なすことができる。パレットモードが適用される場合、パレットテーブル及びパレットインデックスに関する情報が前記ビデオ／画像情報に含まれてシグナリングされることができる。
イントラ予測部３３１は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置することもでき、または離れて位置することもできる。イントラ予測における予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３１は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部３３２は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。例えば、インター予測部３３２は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出できる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
加算部３４０は、取得されたレジデュアル信号を予測部（インター予測部３３２及び／又はイントラ予測部３３１を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように、処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。
加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使用されることもできる。
一方、ピクチャデコード過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ３６０、具体的に、メモリ３６０のＤＰＢに送信することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３２で参照ピクチャとして使用されることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコードされた）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３１に伝達することができる。
本文書において、エンコード装置２００のフィルタリング部２６０、インター予測部２２１、及びイントラ予測部２２２で説明された実施形態は、各々、デコード装置３００のフィルタリング部３５０、インター予測部３３２、及びイントラ予測部３３１にも同一または対応するように適用されることができる。
前述したように、ビデオコーディングを実行するにあたって、圧縮効率を上げるために予測を実行する。これを介してコーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。予測されたブロックは、エンコード装置及びデコード装置で同じく導出され、エンコード装置は、原本ブロックの原本サンプル値自体でない原本ブロックと予測されたブロックとの間のレジデュアルに関する情報（レジデュアル情報）をデコード装置にシグナリングすることで画像コーディング効率を上げることができる。デコード装置は、レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、レジデュアルブロックと予測されたブロックとを合わせて復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコード装置は、原本ブロックと予測されたブロックとの間のレジデュアルブロックを導出し、レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコード装置にシグナリングされることができる。ここで、レジデュアル情報は、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコード装置は、レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出できる。デコード装置は、予測されたブロックとレジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコード装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
イントラ予測は、現在ブロックが属するピクチャ（以下、現在ピクチャという）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する隣接参照サンプルが導出されることができる。現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨサイズの現在ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１個のサンプルを含むことができる。または、現在ブロックの隣接参照サンプルは、複数列の上側隣接サンプル及び複数行の左側隣接サンプルを含むこともできる。また、現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨサイズの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。
ただし、現在ブロックの隣接参照サンプルのうち一部は、まだデコードされない、または利用可能でない場合がある。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）して予測に使用する隣接参照サンプルを構成することができる。または、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して予測に使用する隣接参照サンプルを構成することができる。
隣接参照サンプルが導出された場合、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｏｎａｌ）モードまたは非角度（ｎｏｎ－ａｎｇｕｌａｒ）モードと呼ばれ、（ｉｉ）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。
また、隣接参照サンプルのうち現在ブロックの予測サンプルを基準にして、現在ブロックのイントラ予測モードの予測方向に位置する第１の隣接サンプルと前記予測方向の反対方向に位置する第２の隣接サンプルとの補間を介して予測サンプルが生成されることもできる。前述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることができる。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ、ＬＭ）を利用してルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭモードまたはＣＣＬＭ（ｃｈｒｏｍａ ｃｏｍｐｏｎｅｎｔ ＬＭ）モードと呼ばれることができる。
また、フィルタリングされた隣接参照サンプルに基づいて現在ブロックの臨時予測サンプルを導出し、既存の隣接参照サンプル、即ち、フィルタリングされない隣接参照サンプルのうち、前記イントラ予測モードによって導出された少なくとも１つの参照サンプルと臨時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して現在ブロックの予測サンプルを導出することもできる。前述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。
また、現在ブロックの隣接多重参照サンプルラインの中から最も予測正確度が高い参照サンプルラインを選択して該当ラインで予測方向に位置する参照サンプルを利用して予測サンプルを導出し、このときに使用された参照サンプルラインをデコード装置に指示（シグナリング）する方法でイントラ予測符号化を実行することができる。前述した場合は、多重参照ライン（ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ）イントラ予測またはＭＲＬベースのイントラ予測と呼ばれることができる。
また、現在ブロックを垂直または水平のサブパーティションに分けて同じイントラ予測モードに基づいてイントラ予測を実行し、サブパーティション単位で隣接参照サンプルを導出して利用できる。即ち、この場合、現在ブロックに対するイントラ予測モードがサブパーティションに同じく適用され、サブパーティション単位で隣接参照サンプルを導出して利用することによって、場合によって、イントラ予測性能を高めることができる。このような予測方法は、ＩＳＰ（ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）ベースのイントラ予測と呼ばれることができる。
前述したイントラ予測方法は、イントラ予測モードと区分してイントラ予測タイプと呼ばれることができる。イントラ予測タイプは、イントラ予測技法または付加イントラ予測モードなど、多様な用語で呼ばれることができる。例えば、イントラ予測タイプ（または、付加イントラ予測モードなど）は、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうち少なくとも１つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定イントラ予測タイプを除いた一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、前記のような特定イントラ予測タイプが適用されない場合、一般的に適用されることができ、前述したイントラ予測モードに基づいて予測が実行されることができる。一方、必要によって、導出された予測サンプルに対する後処理フィルタリングが実行されることもできる。
具体的に、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、隣接参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要によって、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが実行されることもできる。
また、イントラ予測モードのうち、非方向性モード（または、非角度モード）は、現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）ベースのＤＣモードまたは補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）ベースのプラナー（ｐｌａｎａｒ）モードを含むことができる。
図４は、本文書の実施形態が適用可能な概略的なイントラ予測に基づくビデオ／画像エンコード方法の一例を示す。
図４に開示された方法は、上述した図２のエンコード装置２００によって行われることができる。具体的に、Ｓ４００は、エンコード装置２００のイントラ予測部２２２によって行われることができ、Ｓ４１０は、エンコード装置２００の減算部２３１によって行われることができ、Ｓ４２０は、エンコード装置２００のエントロピーエンコード部２４０によって行われることができる。
図４に示すように、エンコード装置は、現在ブロックに対するイントラ予測を行うことができる（Ｓ４００）。エンコード装置は、現在ブロックに対するイントラ予測モード／タイプを導出し、現在ブロックの周辺参照サンプルを導出でき、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて現在ブロック内の予測サンプルを生成できる。ここで、イントラ予測モード／タイプ決定、周辺参照サンプル導出、及び予測サンプル生成手順は、同時に行われることができ、いずれか１つの手順が他の手順より先に行われることもできる。エンコード装置は、複数のイントラ予測モード／タイプのうち、現在ブロックに対して適用されるモード／タイプを決定できる。エンコード装置は、イントラ予測モード／タイプに対するＲＤ ｃｏｓｔを比較し、現在ブロックに対する最適のイントラ予測モード／タイプを決定できる。
一方、エンコード装置は、予測サンプルフィルタリング手順を行うこともできる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。予測サンプルフィルタリング手順によって予測サンプルのうち一部または全部がフィルタリングされ得る。場合によって、予測サンプルフィルタリング手順は省略されることができる。
エンコード装置は、（フィルタリングされた）予測サンプルに基づいて現在ブロックに対するレジデュアルサンプルを生成できる（Ｓ４１０）。エンコード装置は、現在ブロックの原本サンプルで予測サンプルを位相に基づいて比較し、レジデュアルサンプルを導出できる。
エンコード装置は、イントラ予測に関する情報（予測情報）及びレジデュアルサンプルに関するレジデュアル情報を含む画像情報をエンコードすることができる（Ｓ４２０）。予測情報は、イントラ予測モード情報、イントラ予測タイプ情報を含むことができる。エンコード装置は、エンコードされた画像情報をビットストリーム形態で出力することができる。出力されたビットストリームは、格納媒体またはネットワークを介してデコード装置に伝達されることができる。
レジデュアル情報は、レジデュアルコーディングシンタックスを含むことができる。エンコード装置は、レジデュアルサンプルを変換／量子化して、量子化された変換係数を導出できる。レジデュアル情報は、量子化された変換係数に関する情報を含むことができる。
一方、上述したように、エンコード装置は、復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成できる。このために、エンコード装置は、量子化された変換係数を再度逆量子化／逆変換処理して（修正された）レジデュアルサンプルを導出できる。このように、レジデュアルサンプルを変換／量子化後、再度逆量子化／逆変換を行う理由は、上述したように、デコード装置で導出されるレジデュアルサンプルと同じレジデュアルサンプルを導出するためである。エンコード装置は、予測サンプルと（修正された）レジデュアルサンプルとに基づいて現在ブロックに対する復元サンプルを含む復元ブロックを生成できる。復元ブロックに基づいて現在ピクチャに対する復元ピクチャが生成され得る。復元ピクチャにインループフィルタリング手順などがさらに適用され得ることは、上述したとおりである。
図５は、本文書の実施形態が適用可能な概略的なイントラ予測に基づくビデオ／画像デコード方法の一例を示す。
図５に開示された方法は、上述した図３のデコード装置３００によって行われることができる。具体的に、Ｓ５００は、デコード装置３００のイントラ予測部３３１によって行われることができる。Ｓ５００でビットストリームに含まれた予測情報をデコードして関連シンタックス要素の値を導出する手順は、デコード装置３００のエントロピーデコード部３１０によって行われることができる。Ｓ５１０、Ｓ５２０は、デコード装置３００のイントラ予測部３３１によって行われることができ、Ｓ５３０は、デコード装置３００のレジデュアル処理部３２０によって行われることができ、Ｓ５４０は、デコード装置３００の加算部３４０によって行われることができる。
図５に示すように、デコード装置は、エンコード装置で行われた動作と対応する動作を行うことができる。デコード装置は、予測情報及びレジデュアル情報をビットストリームから取得することができる。レジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルが導出され得る。具体的に、デコード装置は、レジデュアル情報に基づいて導出された量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、変換係数に対する逆変換を行って現在ブロックに対するレジデュアルサンプルを導出できる。
具体的に、デコード装置は、受信された予測情報（イントラ予測モード／タイプ情報）に基づいて現在ブロックに対するイントラ予測モード／タイプを導出できる（Ｓ５００）。デコード装置は、現在ブロックの周辺参照サンプルを導出できる（Ｓ５１０）。デコード装置は、イントラ予測モード／タイプ及び周辺参照サンプルに基づいて現在ブロック内の予測サンプルを生成できる（Ｓ５２０）。この場合、デコード装置は、予測サンプルフィルタリング手順を行うことができる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。予測サンプルフィルタリング手順によって予測サンプルのうち一部または全部がフィルタリングされ得る。場合によって、予測サンプルフィルタリング手順は省略されることができる。
デコード装置は、受信されたレジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを生成できる（Ｓ５３０）。デコード装置は、予測サンプル及びレジデュアルサンプルに基づいて現在ブロックに対する復元サンプルを生成し、復元サンプルを含む復元ブロックを導出できる（Ｓ５４０）。復元ブロックに基づいて現在ピクチャに対する復元ピクチャが生成され得る。復元ピクチャにインループフィルタリング手順などがさらに適用され得ることは、上述したとおりである。
ここで、イントラ予測モード情報は、例えば、ＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）が現在ブロックに適用されるか、それとも、リメイニングモード（ｒｅｍａｉｎｉｎｇ ｍｏｄｅ）が適用されるかの可否を表すフラグ情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができる。ＭＰＭが現在ブロックに適用される場合、予測モード情報は、イントラ予測モード候補（ＭＰＭ候補）のうち１つを指すインデックス情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。イントラ予測モード候補（ＭＰＭ候補）は、ＭＰＭ候補リストまたはＭＰＭリストで構成されることができる。また、ＭＰＭが現在ブロックに適用されない場合、イントラ予測モード情報は、イントラ予測モード候補（ＭＰＭ候補）を除いた残りのイントラ予測モードのうち１つを指すリメイニングモード情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。デコード装置は、イントラ予測モード情報に基づいて現在ブロックのイントラ予測モードを決定できる。
また、イントラ予測タイプ情報は、様々な形態で実現されることができる。一例として、イントラ予測タイプ情報は、イントラ予測タイプのうち１つを指示するイントラ予測タイプインデックス情報を含むことができる。他の例として、イントラ予測タイプ情報は、ＭＲＬが現在ブロックに適用されるか、及び適用される場合には、何番目の参照サンプルラインが利用されるかの可否を表す参照サンプルライン情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、ＩＳＰが現在ブロックに適用されるかを表すＩＳＰフラグ情報（ｅｘ．ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、ＩＳＰが適用される場合に、サブパーティションの分割タイプを指示するＩＳＰタイプ情報（ｅｘ．ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＣＰの適用可否を表すフラグ情報、またはＬＩＰの適用可否を表すフラグ情報のうち、少なくとも１つを含むことができる。また、イントラ予測タイプ情報は、現在ブロックにＭＩＰ（ｍａｔｒｉｘ－ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が適用されるか否かを表すＭＩＰフラグを含むことができる。
イントラ予測モード情報及び／又はイントラ予測タイプ情報は、本文書において説明したコーディング方法を介してエンコード／デコードされることができる。例えば、イントラ予測モード情報及び／又はイントラ予測タイプ情報は、エントロピーコーディング（ｅｘ．ＣＡＢＡＣ、ＣＡＶＬＣ）を介してエンコード／デコードされることができる。
図６は、イントラ予測手順を例示的に示す。図６に開示されたイントラ予測手順は、上述した図４及び図５に開示されたイントラ予測過程（イントラ予測モードが適用される場合）に適用されることができる。
図６を参照すれば、上述したように、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、周辺参照サンプル導出ステップ、イントラ予測実行（予測サンプル生成）ステップを含むことができる。イントラ予測手順は、上述したように、エンコード装置及びデコード装置で行われることができる。本文書においてコーディング装置とは、エンコード装置及び／又はデコード装置を含むことができる。
コーディング装置は、イントラ予測モード／タイプを決定できる（Ｓ６００）。
エンコード装置は、上述した様々なイントラ予測モード／タイプのうち、現在ブロックに適用されるイントラ予測モード／タイプを決定でき、予測関連情報を生成できる。予測関連情報は、現在ブロックに適用されるイントラ予測モードを表すイントラ予測モード情報及び／又は現在ブロックに適用されるイントラ予測タイプを表すイントラ予測タイプ情報を含むことができる。デコード装置は、予測関連情報に基づいて現在ブロックに適用されるイントラ予測モード／タイプを決定できる。
ここで、イントラ予測モード情報は、例えば、ＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）が現在ブロックに適用されるか、それともリメイニングモード（ｒｅｍａｉｎｉｎｇ ｍｏｄｅ）が適用されるかの可否を表すフラグ情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができる。ＭＰＭが現在ブロックに適用される場合、予測モード情報は、イントラ予測モード候補（ＭＰＭ候補）のうち１つを指すインデックス情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。イントラ予測モード候補（ＭＰＭ候補）は、ＭＰＭ候補リストまたはＭＰＭリストで構成されることができる。また、ＭＰＭが現在ブロックに適用されない場合、イントラ予測モード情報は、イントラ予測モード候補（ＭＰＭ候補）を除いた残りのイントラ予測モードのうち１つを指すリメイニングモード情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。デコード装置は、イントラ予測モード情報に基づいて現在ブロックのイントラ予測モードを決定できる。
また、イントラ予測タイプ情報は、様々な形態で実現されることができる。一例として、イントラ予測タイプ情報は、イントラ予測タイプのうち１つを指示するイントラ予測タイプインデックス情報を含むことができる。他の例として、イントラ予測タイプ情報は、ＭＲＬが現在ブロックに適用されるか、及び適用される場合には、何番目の参照サンプルラインが利用されるかの可否を表す参照サンプルライン情報（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、ＩＳＰが現在ブロックに適用されるかを表すＩＳＰフラグ情報（ｅｘ．ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、ＩＳＰが適用される場合に、サブパーティションが分割タイプを指示するＩＳＰタイプ情報（ｅｘ．ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＣＰの適用可否を表すフラグ情報、またはＬＩＰの適用可否を表すフラグ情報のうち、少なくとも１つを含むことができる。また、イントラ予測タイプ情報は、現在ブロックにＭＩＰ（ｍａｔｒｉｘ－ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が適用されるか否かを表すＭＩＰフラグを含むことができる。
例えば、イントラ予測が適用される場合、周辺ブロックのイントラ予測モードを用いて現在ブロックに適用されるイントラ予測モードが決定され得る。例えば、コーディング装置は、現在ブロックの周辺ブロック（ｅｘ．左側及び／又は上側周辺ブロック）のイントラ予測モード及び／又は追加的な候補モードに基づいて導出されたＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）リスト内のＭＰＭ候補のうち１つを受信されたＭＰＭインデックスに基づいて選択することができ、または、ＭＰＭ候補（及びプラナーモード）に含まれなかった残りのイントラ予測モードのうち１つをＭＰＭリメインダー情報（リメイニングイントラ予測モード情報）に基づいて選択することができる。ＭＰＭリストは、プラナーモードを候補として含むか、含まないように構成されることができる。例えば、ＭＰＭリストがプラナーモードを候補として含む場合、ＭＰＭリストは、６個の候補を有することができ、ＭＰＭリストがプラナーモードを候補として含まない場合、ＭＰＭリストは、５個の候補を有することができる。ＭＰＭリストがプラナーモードを候補として含まない場合、現在ブロックのイントラ予測モードがプラナーモードでないか表すｎｏｔプラナーフラグ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）がシグナリングされ得る。例えば、ＭＰＭフラグが先にシグナリングされ、ＭＰＭインデックス及びｎｏｔプラナーフラグは、ＭＰＭフラグの値が１である場合、シグナリングされることができる。また、ＭＰＭインデックスは、ｎｏｔプラナーフラグの値が１である場合、シグナリングされることができる。ここで、ＭＰＭリストがプラナーモードを候補として含まないように構成されることは、プラナーモードがＭＰＭでないというよりは、ＭＰＭとして常にプラナーモードが考慮されるので、先にフラグ（ｎｏｔ ｐｌａｎａｒ ｆｌａｇ）をシグナリングしてプラナーモードであるかの可否を先に確認するためである。
例えば、現在ブロックに適用されるイントラ予測モードがＭＰＭ候補（及びプラナーモード）の中にあるか、それとも、リメイニングモードの中にあるかは、ＭＰＭフラグ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）に基づいて指示されることができる。ＭＰＭフラグの値１は、現在ブロックに対するイントラ予測モードがＭＰＭ候補（及びプラナーモード）内にあることを表すことができ、ＭＰＭフラグの値０は、現在ブロックに対するイントラ予測モードがＭＰＭ候補（及びプラナーモード）内にないことを表すことができる。ｎｏｔ ｐｌａｎａｒ ｆｌａｇ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）値０は、現在ブロックに対するイントラ予測モードがプラナーモードであることを表すことができ、ｎｏｔ ｐｌａｎａｒ ｆｌａｇ値１は、現在ブロックに対するイントラ予測モードがプラナーモードでないことを表すことができる。ＭＰＭインデックスは、ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘシンタックス要素の形態でシグナリングされることができ、リメイニングイントラ予測モード情報は、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンタックス要素の形態でシグナリングされることができる。例えば、リメイニングイントラ予測モード情報は、全体イントラ予測モードのうち、ＭＰＭ候補（及びプラナーモード）に含まれない残りのイントラ予測モードを予測モード番号順にインデクシングして、そのうち１つを指すことができる。イントラ予測モードは、ルマ成分（サンプル）に対するイントラ予測モードであることができる。以下、イントラ予測モード情報は、ＭＰＭフラグ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）、ｎｏｔ ｐｌａｎａｒ ｆｌａｇ（ｅｘ．ｉｎｔｒａ＿ｌｕｍａ＿ｎｏｔ＿ｐｌａｎａｒ＿ｆｌａｇ）、ＭＰＭインデックス（ｅｘ．ｍｐｍ＿ｉｄｘまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）、リメイニングイントラ予測モード情報（ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅまたはｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）のうち、少なくとも１つを含むことができる。本文書においてＭＰＭリストは、ＭＰＭ候補リスト、ｃａｎｄＭｏｄｅＬｉｓｔなど、様々な用語と呼ばれることができる。
ＭＩＰ（ｍａｔｒｉｘ－ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が現在ブロックに適用される場合、ＭＩＰのための別のｍｐｍ ｆｌａｇ（ｅｘ．ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇ）、ｍｐｍインデックス（ｅｘ．ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｉｄｘ）、リメイニングイントラ予測モード情報（ｅｘ．ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）がシグナリングされ得るし、ｎｏｔ ｐｌａｎａｒ ｆｌａｇは、シグナリングされないことができる。
言い換えれば、一般的に、画像に対するブロック分割になると、コーディングしようとする現在ブロックと周辺（ｎｅｉｇｈｂｏｒｉｎｇ）ブロックとは、類似した画像特性を有するようになる。したがって、現在ブロックと周辺ブロックとは、互いに同一であるか、類似したイントラ予測モードを有する確率が高い。したがって、エンコーダは、現在ブロックのイントラ予測モードをエンコードするために、周辺ブロックのイントラ予測モードを用いることができる。
上述したように、周辺ブロックのイントラ予測モードを用いて現在ブロックに適用されるイントラ予測モードが決定された場合、コーディング装置は、現在ブロックに対するＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅｓ）リストを構成できる。ＭＰＭリストは、ＭＰＭ候補リストと表すこともできる。ここで、ＭＰＭとは、イントラ予測モードコーディングの際、現在ブロックと周辺ブロックとの類似性を考慮して、コーディング効率を向上させるために用いられるモードを意味することができる。上述したように、ＭＰＭリストは、プラナーモードを含んで構成されることができ、または、プラナーモードを除いて構成されることができる。例えば、ＭＰＭリストがプラナーモードを含む場合、ＭＰＭリストの候補の個数は、６個であることができる。そして、ＭＰＭリストがプラナーモードを含まない場合、ＭＰＭリストの候補の個数は、５個であることができる。
エンコード装置は、様々なイントラ予測モードに基づいて予測を行うことができ、これに基づいたＲＤＯ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）に基づいて最適のイントラ予測モードを決定できる。エンコード装置は、この場合、ＭＰＭリストに構成されたＭＰＭ候補及びプラナーモードのみを用いて最適のイントラ予測モードを決定することができ、または、ＭＰＭリストに構成されたＭＰＭ候補及びプラナーモードだけでなく、残りのイントラ予測モードをさらに用いて最適のイントラ予測モードを決定することもできる。具体的に、例えば、仮りに、現在ブロックのイントラ予測タイプがノーマルイントラ予測タイプでない特定タイプ（例えば、ＬＩＰ、ＭＲＬ、またはＩＳＰ）である場合、エンコード装置は、ＭＰＭ候補及びプラナーモードのみを現在ブロックに対するイントラ予測モード候補として考慮して最適のイントラ予測モードを決定できる。すなわち、この場合、現在ブロックに対するイントラ予測モードは、ＭＰＭ候補及びプラナーモードの中でのみ決定されることができ、この場合には、ｍｐｍ ｆｌａｇをエンコード／シグナリングしないことができる。デコード装置は、この場合には、ｍｐｍ ｆｌａｇを別にシグナリングされなくても、ｍｐｍ ｆｌａｇが１であるものと推定することができる。
一方、一般的に、現在ブロックのイントラ予測モードがプラナーモードでなく、ＭＰＭリスト内にあるＭＰＭ候補のうち１つである場合、エンコード装置は、ＭＰＭ候補のうち１つを指すｍｐｍインデックス（ｍｐｍ ｉｄｘ）を生成する。または、現在ブロックのイントラ予測モードがＭＰＭリスト内にもない場合には、ＭＰＭリスト（及びプラナーモード）に含まれない残りのイントラ予測モードの中で現在ブロックのイントラ予測モードと同じモードを指すＭＰＭリメインダー情報（リメイニングイントラ予測モード情報）を生成する。ＭＰＭリメインダー情報は、例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンタックス要素を含むことができる。
デコード装置は、ビットストリームからイントラ予測モード情報を取得する。イントラ予測モード情報は、上述したように、ＭＰＭフラグ、ｎｏｔプラナーフラグ、ＭＰＭインデックス、ＭＰＭリメインダー情報（リメイニングイントラ予測モード情報）のうち、少なくとも１つを含むことができる。デコード装置は、ＭＰＭリストを構成できる。ＭＰＭリストは、エンコード装置で構成されたＭＰＭリストと同一に構成される。すなわち、ＭＰＭリストは、周辺ブロックのイントラ予測モードを含むことができ、予め決められた方法によって特定イントラ予測モードをさらに含むこともできる。
デコード装置は、ＭＰＭリスト及びイントラ予測モード情報に基づいて現在ブロックのイントラ予測モードを決定できる。一例として、ＭＰＭフラグの値が１である場合、デコード装置は、プラナーモードを現在ブロックのイントラ予測モードとして導出するか（ｎｏｔ ｐｌａｎａｒ ｆｌａｇ基盤）、ＭＰＭリスト内のＭＰＭ候補の中でＭＰＭインデックスが指す候補を現在ブロックのイントラ予測モードとして導出することができる。ここで、ＭＰＭ候補とは、ＭＰＭリストに含まれる候補のみを表すこともでき、または、ＭＰＭリストに含まれる候補だけでなく、ＭＰＭフラグの値が１である場合に適用されることができるプラナーモードも含まれることができる。
他の例として、ＭＰＭフラグの値が０である場合、デコード装置は、ＭＰＭリスト及びプラナーモードに含まれない残りのイントラ予測モードの中でリメイニングイントラ予測モード情報（ｍｐｍ ｒｅｍａｉｎｄｅｒ情報と呼ばれることができる）が指すイントラ予測モードを現在ブロックのイントラ予測モードとして導出することができる。一方、さらに他の例として、現在ブロックのイントラ予測タイプが特定タイプ（ｅｘ．ＬＩＰ、ＭＲＬ、またはＩＳＰ等）である場合、デコード装置は、ＭＰＭフラグのパーシング／デコード／確認なしにも、プラナーモードまたはＭＰＭリスト内でＭＰＭフラグが指す候補を現在ブロックのイントラ予測モードとして導出することもできる。
コーディング装置は、現在ブロックの周辺参照サンプルを導出できる（Ｓ６１０）。
現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する周辺参照サンプルが導出され得る。現在ブロックの周辺参照サンプルは、ｎＷ×ｎＨサイズの現在ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣り合う総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣り合う総２×ｎＷ個のサンプル、及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣り合う１個のサンプルを含むことができる。または、現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むことができる。また、現在ブロックの周辺参照サンプルは、ｎＷ×ｎＨサイズの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣り合う１個のサンプルを含むこともできる。
一方、ＭＲＬが適用される場合（すなわち、ＭＲＬインデックスの値が０より大きい場合）、周辺参照サンプルは、左側／上側で現在ブロックに隣接した０番ラインでない、１番ないし２番ラインに位置することができ、この場合、周辺参照サンプルの個数は、さらに増えることができる。一方、ＩＳＰが適用される場合、周辺参照サンプルをサブパーティション単位で導出することができる。
コーディング装置は、現在ブロックにイントラ予測を行って予測サンプルを導出できる（Ｓ６２０）。
コーディング装置は、イントラ予測モード／タイプ及び周辺サンプルに基づいて予測サンプルを導出できる。コーディング装置は、現在ブロックの周辺参照サンプルのうち、現在ブロックのイントラ予測モードによる参照サンプルを導出でき、参照サンプルに基づいて現在ブロックの予測サンプルを導出できる。
一方、インター予測が適用される場合、エンコード装置／デコード装置の予測部は、ブロック単位でインター予測を実行して予測サンプルを導出できる。インター予測は、現在ピクチャ以外のピクチャ（ら）のデータ要素（例えば、サンプル値、または動き情報）に依存した方法で導出される予測を示すことができる（Ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ ｃａｎ ｂｅ ａ ｐｒｅｄｉｃｔｉｏｎ ｄｅｒｉｖｅｄ ｉｎ ａ ｍａｎｎｅｒ ｔｈａｔ ｉｓ ｄｅｐｅｎｄｅｎｔ ｏｎ ｄａｔａ ｅｌｅｍｅｎｔｓ（例えば、ｓａｍｐｌｅ ｖａｌｕｅｓ ｏｒ ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）ｏｆ ｐｉｃｔｕｒｅ（ｓ） ｏｔｈｅｒ ｔｈａｎ ｔｈｅ ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ）。現在ブロックにインター予測が適用される場合、参照ピクチャインデックスが指す参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロック（予測サンプルアレイ）を誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、現在ブロックの動き情報をブロック、サブブロックまたはサンプル単位で予測できる。動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。また、動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測が適用される場合、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。参照ブロックを含む参照ピクチャと時間的隣接ブロックを含む参照ピクチャは、同じであってもよく、異なってもよい。時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌＣＵ）などの名称で呼ばれることができ、時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、現在ブロックの隣接ブロックに基づいて動き情報候補リストが構成されることができ、現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が選択（使用）されるかを指示するフラグまたはインデックス情報がシグナリングされることができる。多様な予測モードに基づいてインター予測が実行されることができ、例えば、スキップモードとマージモードの場合、現在ブロックの動き情報は、選択された隣接ブロックの動き情報と同じである。スキップモードの場合、マージモードとは違って、レジデュアル信号が送信されない。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、選択された隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として利用し、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）はシグナリングされることができる。この場合、前記動きベクトル予測子及び動きベクトル差分の和を利用して現在ブロックの動きベクトルを導出できる。
動き情報は、インター予測タイプ（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）によってＬ０動き情報及び／又はＬ１動き情報を含むことができる。Ｌ０方向の動きベクトルは、Ｌ０動きベクトルまたはＭＶＬ０と呼ばれることができ、Ｌ１方向の動きベクトルは、Ｌ１動きベクトルまたはＭＶＬ１と呼ばれることができる。Ｌ０動きベクトルに基づく予測はＬ０予測と呼ばれることができ、Ｌ１動きベクトルに基づく予測はＬ１予測と呼ばれることができ、Ｌ０動きベクトル及びＬ１動きベクトルの両方ともに基づく予測は対（Ｂｉ）予測と呼ばれることができる。ここで、Ｌ０動きベクトルは、参照ピクチャリストＬ０（Ｌ０）に関連した動きベクトルを示すことができ、Ｌ１動きベクトルは、参照ピクチャリストＬ１（Ｌ１）に関連した動きベクトルを示すことができる。参照ピクチャリストＬ０は、現在ピクチャより出力順序上以前ピクチャを参照ピクチャとして含むことができ、参照ピクチャリストＬ１は、現在ピクチャより出力順序上以後ピクチャを含むことができる。以前ピクチャは、順方向（参照）ピクチャと呼ばれることができ、以後ピクチャは、逆方向（参照）ピクチャと呼ばれることができる。参照ピクチャリストＬ０は、現在ピクチャより出力順序上以後ピクチャを参照ピクチャとしてさらに含むことができる。この場合、参照ピクチャリストＬ０内で以前ピクチャが先にインデクシングされ、以後ピクチャは、その次にインデクシングされることができる。参照ピクチャリストＬ１は、現在ピクチャより出力順序上以前ピクチャを参照ピクチャとしてさらに含むことができる。この場合、参照ピクチャリストＬ１内で以後ピクチャが先にインデクシングされ、以前ピクチャは、その次にインデクシングされることができる。ここで、出力順序は、ＰＯＣ（ｐｉｃｔｕｒｅ ｏｒｄｅｒ ｃｏｕｎｔ）順序（ｏｒｄｅｒ）に対応されることができる。
図７は、本文書の実施形態が適用可能な概略的なインター予測に基づくビデオ／画像エンコード方法の一例を示す。
図７に開示された方法は、上述した図２のエンコード装置２００によって行われることができる。具体的に、Ｓ７００は、エンコード装置２００のインター予測部２２１によって行われることができ、Ｓ７１０は、エンコード装置２００の減算部２３１によって行われることができ、Ｓ７２０は、エンコード装置２００のエントロピーエンコード部２４０によって行われることができる。
図７に示すように、エンコード装置は、現在ブロックに対するインター予測を行うことができる（Ｓ７００）。エンコード装置は、現在ブロックのインター予測モード及び動き情報を導出し、現在ブロックの予測サンプルを生成できる。ここで、インター予測モード決定、動き情報導出、及び予測サンプル生成手順は、同時に行われることができ、いずれか１つの手順が他の手順より先に行われることもできる。例えば、エンコード装置のインター予測部は、予測モード決定部、動き情報導出部、予測サンプル導出部を含むことができ、予測モード決定部で現在ブロックに対する予測モードを決定し、動き情報導出部で現在ブロックの動き情報を導出し、予測サンプル導出部で現在ブロックの予測サンプルを導出できる。例えば、エンコード装置のインター予測部は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）を介して参照ピクチャの一定領域（サーチ領域）内で現在ブロックと類似したブロックをサーチし、現在ブロックとの差が最小または一定基準以下である参照ブロックを導出できる。これに基づいて参照ブロックが位置する参照ピクチャを指す参照ピクチャインデックスを導出し、参照ブロックと現在ブロックとの位置差に基づいて動きベクトルを導出できる。エンコード装置は、様々な予測モードのうち、現在ブロックに対して適用されるモードを決定できる。エンコード装置は、様々な予測モードに対するＲＤ ｃｏｓｔを比較し、現在ブロックに対する最適の予測モードを決定できる。
例えば、エンコード装置は、現在ブロックにスキップモードまたはマージモードが適用される場合、マージ候補リストを構成し、マージ候補リストに含まれたマージ候補が指す参照ブロックのうち、現在ブロックとの差が最小または一定基準以下である参照ブロックを導出できる。この場合、導出された参照ブロックと連関したマージ候補が選択され、前記選択されたマージ候補を指すマージインデックス情報が生成されてデコード装置にシグナリングされることができる。前記選択されたマージ候補の動き情報を利用して現在ブロックの動き情報が導出され得る。
他の例として、エンコード装置は、現在ブロックに（Ａ）ＭＶＰモードが適用される場合、（Ａ）ＭＶＰ候補リストを構成し、（Ａ）ＭＶＰ候補リストに含まれたｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち、選択されたｍｖｐ候補の動きベクトルを現在ブロックのｍｖｐとして用いることができる。この場合、例えば、上述した動き推定によって導出された参照ブロックを指す動きベクトルが現在ブロックの動きベクトルとして用いられることができ、ｍｖｐ候補のうち、現在ブロックの動きベクトルとの差が最も小さい動きベクトルを有するｍｖｐ候補が前記選択されたｍｖｐ候補になり得る。現在ブロックの動きベクトルからｍｖｐを減算した差分であるＭＶＤ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）が導出され得る。この場合、前記ＭＶＤに関する情報がデコード装置にシグナリングされることができる。また、（Ａ）ＭＶＰモードが適用される場合、参照ピクチャインデックスの値は、参照ピクチャインデックス情報で構成されて別にデコード装置にシグナリングされることができる。
エンコード装置は、予測サンプルに基づいてレジデュアルサンプルを導出できる（Ｓ７１０）。エンコード装置は、現在ブロックの原本サンプルと予測サンプルとの比較を介してレジデュアルサンプルを導出できる。
エンコード装置は、予測情報及びレジデュアル情報を含む画像情報をエンコードすることができる（Ｓ７２０）。エンコード装置は、エンコードされた画像情報をビットストリーム形態で出力することができる。ここで、予測情報は、予測手順に関連した情報であって、予測モード情報（ｅｘ．ｓｋｉｐ ｆｌａｇ、ｍｅｒｇｅ ｆｌａｇ ｏｒ ｍｏｄｅ ｉｎｄｅｘ等）及び動き情報に関する情報を含むことができる。動き情報に関する情報は、動きベクトルを導出するための情報である候補選択情報（ｅｘ．ｍｅｒｇｅ ｉｎｄｅｘ、ｍｖｐ ｆｌａｇ ｏｒ ｍｖｐ ｉｎｄｅｘ）を含むことができる。また、動き情報に関する情報は、上述したＭＶＤに関する情報及び／又は参照ピクチャインデックス情報を含むことができる。また、動き情報に関する情報は、Ｌ０予測、Ｌ１予測、または双（ｂｉ）予測が適用されるか否かを表す情報を含むことができる。レジデュアル情報は、レジデュアルサンプルに関する情報である。レジデュアル情報は、レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。
出力されたビットストリームは、（デジタル）格納媒体に格納されてデコード装置に伝達されることができ、または、ネットワークを介してデコード装置に伝達されることもできる。
一方、上述したように、エンコード装置は、参照サンプル及びレジデュアルサンプルに基づいて復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成できる。これは、デコード装置で行われることと同じ予測結果をエンコード装置で導出するためであり、これを介してコーディング効率を上げることができるためである。したがって、エンコード装置は、復元ピクチャ（または、復元サンプル、復元ブロック）をメモリに格納し、インター予測のための参照ピクチャとして活用することができる。復元ピクチャにインループフィルタリング手順などがさらに適用され得ることは、上述したとおりである。
図８は、本文書の実施形態が適用可能な概略的なインター予測に基づくビデオ／画像デコード方法の一例を示す。
図８に開示された方法は、上述した図３のデコード装置３００によって行われることができる。具体的に、Ｓ８００は、デコード装置３００のインター予測部３３２によって行われることができる。Ｓ８００でビットストリームに含まれた予測情報をデコードして関連シンタックス要素の値を導出する手順は、デコード装置３００のエントロピーデコード部３１０によって行われることができる。Ｓ８１０、Ｓ８２０は、デコード装置３００のインター予測部３３２によって行われることができ、Ｓ８３０は、デコード装置３００のレジデュアル処理部３２０によって行われることができ、Ｓ８４０は、デコード装置３００の加算部３４０によって行われることができる。
図８に示すように、デコード装置は、エンコード装置で行われた動作と対応する動作を行うことができる。デコード装置は、受信された予測情報に基づいて現在ブロックに予測を行い、予測サンプルを導出できる。
具体的に、デコード装置は、受信された予測情報に基づいて現在ブロックに対する予測モードを決定できる（Ｓ８００）。デコード装置は、予測情報内の予測モード情報に基づいて現在ブロックにどのインター予測モードが適用されるか決定することができる。
例えば、ｍｅｒｇｅ ｆｌａｇに基づいて現在ブロックにマージモードが適用されるか、または（Ａ）ＭＶＰモードが決定されるかの可否を決定できる。または、ｍｏｄｅ ｉｎｄｅｘに基づいて様々なインター予測モード候補のうち１つを選択できる。インター予測モード候補は、スキップモード、マージモード、及び／又は（Ａ）ＭＶＰモードを含むことができ、または様々なインター予測モードを含むことができる。
デコード装置は、決定されたインター予測モードに基づいて現在ブロックの動き情報を導出できる（Ｓ８１０）。例えば、デコード装置は、現在ブロックにスキップモードまたはマージモードが適用される場合、マージ候補リストを構成し、マージ候補リストに含まれたマージ候補のうち１つのマージ候補を選択できる。前記選択は、上述した選択情報（ｍｅｒｇｅ ｉｎｄｅｘ）に基づいて行われることができる。前記選択されたマージ候補の動き情報を利用して現在ブロックの動き情報が導出され得る。前記選択されたマージ候補の動き情報が現在ブロックの動き情報として利用されることができる。
他の例として、デコード装置は、現在ブロックに（Ａ）ＭＶＰモードが適用される場合、（Ａ）ＭＶＰ候補リストを構成し、（Ａ）ＭＶＰ候補リストに含まれたｍｖｐ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）候補のうち、選択されたｍｖｐ候補の動きベクトルを現在ブロックのｍｖｐとして用いることができる。前記選択は、上述した選択情報（ｍｖｐ ｆｌａｇ ｏｒ ｍｖｐ ｉｎｄｅｘ）に基づいて行われることができる。この場合、ＭＶＤに関する情報に基づいて現在ブロックのＭＶＤを導出でき、現在ブロックのｍｖｐとＭＶＤとに基づいて現在ブロックの動きベクトルを導出できる。また、参照ピクチャインデックス情報に基づいて現在ブロックの参照ピクチャインデックスを導出できる。現在ブロックに関する参照ピクチャリスト内で参照ピクチャインデックスが指すピクチャが現在ブロックのインター予測のために参照される参照ピクチャとして導出されることができる。
一方、候補リスト構成なしに現在ブロックの動き情報が導出され得るし、この場合、後述する予測モードにおいて開示された手順によって現在ブロックの動き情報が導出され得る。この場合、上述したような候補リスト構成は省略されることができる。
デコード装置は、現在ブロックの動き情報に基づいて現在ブロックに対する予測サンプルを生成できる（Ｓ８２０）。この場合、現在ブロックの参照ピクチャインデックスに基づいて参照ピクチャを導出し、現在ブロックの動きベクトルが参照ピクチャ上で指す参照ブロックのサンプルを用いて現在ブロックの予測サンプルを導出できる。この場合、後述するように、場合によって、現在ブロックの予測サンプルのうち、全部または一部に対する予測サンプルフィルタリング手順がさらに行われることができる。
例えば、デコード装置のインター予測部は、予測モード決定部、動き情報導出部、予測サンプル導出部を含むことができ、予測モード決定部で受信された予測モード情報に基づいて現在ブロックに対する予測モードを決定し、動き情報導出部で受信された動き情報に関する情報に基づいて現在ブロックの動き情報（動きベクトル及び／又は参照ピクチャインデックス等）を導出し、予測サンプル導出部で現在ブロックの予測サンプルを導出できる。
デコード装置は、受信されたレジデュアル情報に基づいて現在ブロックに対するレジデュアルサンプルを生成できる（Ｓ８３０）。デコード装置は、予測サンプル及びレジデュアルサンプルに基づいて現在ブロックに対する復元サンプルを生成し、これに基づいて復元ピクチャを生成できる（Ｓ８４０）。その後、復元ピクチャにインループフィルタリング手順などがさらに適用され得ることは、上述したとおりである。
図９は、インター予測手順を例示的に示す。図９に開示されたインター予測手順は、上述した図７及び図８に開示されたインター予測過程（インター予測モードが適用される場合）に適用されることができる。
図９を参照すれば、上述したように、インター予測手順は、インター予測モード決定ステップ、決定された予測モードによる動き情報導出ステップ、導出された動き情報に基づいた予測実行（予測サンプル生成）ステップを含むことができる。インター予測手順は、上述したように、エンコード装置及びデコード装置で行われることができる。本文書においてコーディング装置とは、エンコード装置及び／又はデコード装置を含むことができる。
コーディング装置は、現在ブロックに対するインター予測モードを決定できる（Ｓ９００）。ピクチャ内の現在ブロックの予測のために、様々なインター予測モードが使用され得る。例えば、マージモード、スキップモード、ＭＶＰ（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モード、アファイン（Ａｆｆｉｎｅ）モード、サブブロックマージモード、ＭＭＶＤ（ｍｅｒｇｅ ｗｉｔｈ ＭＶＤ）モードなど、様々なモードが使用され得る。ＤＭＶＲ（Ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ）モード、ＡＭＶＲ（ａｄａｐｔｉｖｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｓｏｌｕｔｉｏｎ）モード、Ｂｉ－ｐｒｅｄｉｃｔｉｏｎ ｗｉｔｈ ＣＵ－ｌｅｖｅｌ ｗｅｉｇｈｔ（ＢＣＷ）、Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ（ＢＤＯＦ）などが付随的なモードとしてさらにあるいはその代わりに使用されることができる。アファインモードは、アファイン動き予測（ａｆｆｉｎｅ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもできる。ＭＶＰモードは、ＡＭＶＰ（ａｄｖａｎｃｅｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ）モードと呼ばれることもできる。本文書において一部モード及び／又は一部モードによって導出された動き情報候補は、他のモードの動き情報関連候補のうち１つで含まれることもできる。例えば、ＨＭＶＰ候補は、マージ／スキップモードのマージ候補に追加されることができ、または、ＭＶＰモードのｍｖｐ候補として追加されることもできる。ＨＭＶＰ候補がマージモードまたはスキップモードの動き情報候補として使用される場合、ＨＭＶＰ候補は、ＨＭＶＰマージ候補と呼ばれることができる。
現在ブロックのインター予測モードを指す予測モード情報がエンコード装置からデコード装置にシグナリングされることができる。予測モード情報は、ビットストリームに含まれてデコード装置に受信されることができる。予測モード情報は、複数の候補モードのうち１つを指示するインデックス情報を含むことができる。または、フラグ情報の階層的シグナリングを介してインター予測モードを指示することもできる。この場合、予測モード情報は、１つ以上のフラグを含むことができる。例えば、スキップフラグをシグナリングしてスキップモード適用可否を指示し、スキップモードが適用されない場合に、マージフラグをシグナリングしてマージモード適用可否を指示し、マージモードが適用されない場合に、ＭＶＰモードが適用されることと指示するか、追加的な区分のためのフラグをさらにシグナリングすることもできる。アファインモードは、独立的なモードでシグナリングされることができ、または、マージモードまたはＭＶＰモードなどに従属的なモードでシグナリングされることもできる。例えば、アファインモードは、アファインマージモード及びアファインＭＶＰモードを含むことができる。
コーディング装置は、現在ブロックに対する動き情報を導出できる（Ｓ９１０）。動く情報導出は、インター予測モードに基づいて導出されることができる。
コーディング装置は、現在ブロックの動き情報を利用してインター予測を行うことができる。エンコード装置は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）手順を介して現在ブロックに対する最適の動き情報を導出できる。例えば、エンコード装置は、現在ブロックに対する原本ピクチャ内の原本ブロックを用いて相関性の高い類似した参照ブロックを参照ピクチャ内の決められた探索範囲内で分数ピクセル単位で探索することができ、これを介して動き情報を導出できる。ブロックの類似性は、位相（ｐｈａｓｅ）に基づくサンプル値の差に基づいて導出することができる。例えば、ブロックの類似性は、現在ブロック（または、現在ブロックのテンプレート）と参照ブロック（または、参照ブロックのテンプレート）との間のＳＡＤに基づいて計算されることができる。この場合、探索領域内のＳＡＤが最も小さい参照ブロックに基づいて動き情報を導出できる。導出された動き情報は、インター予測モードに基づいて様々な方法によってデコード装置にシグナリングされることができる。
コーディング装置は、現在ブロックに対する動き情報に基づいてインター予測を行うことができる（Ｓ９２０）。コーディング装置は、動き情報に基づいて現在ブロックに対する予測サンプル（等）を導出できる。予測サンプルを含む現在ブロックは、予測されたブロックと呼ばれることができる。
一方、前述したように、エンコード装置の量子化部は、変換係数に量子化を適用して量子化された変換係数を導出でき、エンコード装置の逆量子化部またはデコード装置の逆量子化部は、量子化された変換係数に逆量子化を適用して変換係数を導出できる。
一般的に、ビデオ／画像コーディングでは、量子化率を変化させることができ、変化された量子化率を利用して圧縮を調節することができる。実現観点では、複雑度を考慮して量子化率を直接使用する代わりに量子化パラメータ（ＱＰ、ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）を使用することができる。例えば、０から６３までの整数値の量子化パラメータを使用することができ、各量子化パラメータ値は、実際量子化率に対応されることができる。ルマ成分（ルマサンプル）に対する量子化パラメータ（ＱＰＹ）とクロマ成分（クロマサンプル）に対する量子化パラメータ（ＱＰＣ）は、異なるように設定されることができる。
量子化過程は、変換係数（Ｃ）を入力とし、量子化率（Ｑｓｔｅｐ）に分けて、これに基づいて量子化された変換係数（Ｃ`）を得ることができる。このとき、計算複雑度を考慮して量子化率にスケールを掛け算して整数形態にし、スケール値に該当する値ほどシフト演算を実行することができる。量子化率とスケール値の掛け算に基づいて量子化スケール（ｑｕａｎｔｉｚａｔｉｏｎ ｓｃａｌｅ）が導出されることができる。即ち、ＱＰによって量子化スケールが導出されることができる。変換係数（Ｃ）に量子化スケールを適用し、これに基づいて量子化された変換係数（Ｃ`）を導出することもできる。
逆量子化過程は、量子化過程の逆過程で量子化された変換係数（Ｃ`）に量子化率（Ｑｓｔｅｐ）を掛け算して、これに基づいて復元された変換係数（Ｃ``）を得ることができる。この場合、量子化パラメータによってレベルスケール（ｌｅｖｅｌ ｓｃａｌｅ）が導出されることができ、量子化された変換係数（Ｃ`）にレベルスケールを適用し、これに基づいて復元された変換係数（Ｃ``）を導出できる。復元された変換係数（Ｃ``）は、変換及び／又は量子化過程での損失（ｌｏｓｓ）によって最初変換係数（Ｃ）と多少差がある。したがって、エンコード装置でもデコード装置と同じく逆量子化を実行する。
また、周波数によって量子化強度を調節する適応的周波数別加重量子化（ａｄａｐｔｉｖｅ ｆｒｅｑｕｅｎｃｙ ｗｅｉｇｈｔｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ）技術が適用され得る。適応的周波数別加重量子化技術は、周波数別に量子化強度を異なるように適用する方法である。適応的周波数別加重量子化は、あらかじめ定義された量子化スケーリングマトリクスを利用して各周波数別量子化強度を異なるように適用できる。即ち、前述した量子化／逆量子化の過程は、量子化スケーリングマトリクスに基づいてさらに実行されることができる。例えば、現在ブロックのサイズ及び／又は現在ブロックのレジデュアル信号を生成するために、現在ブロックに適用された予測モードがインター予測であるか、または、イントラ予測であるかによって、異なる量子化スケーリングマトリクスが使われることができる。量子化スケーリングマトリクスは、量子化マトリクスまたはスケーリングマトリクスと呼ばれることができる。量子化スケーリングマトリクスは、あらかじめ定義されることができる。また、周波数適応的スケーリングのために、量子化スケーリングマトリクスに対する周波数別量子化スケール情報がエンコード装置で構成／エンコードされてデコード装置にシグナリングされることができる。周波数別量子化スケール情報は、量子化スケーリング情報と呼ばれることができる。周波数別量子化スケール情報は、スケーリングリストデータ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ）を含むことができる。スケーリングリストデータに基づいて（修正された）量子化スケーリングマトリクスが導出されることができる。また、周波数別量子化スケール情報は、スケーリングリストデータの存否可否を指示する存否フラグ（ｐｒｅｓｅｎｔ ｆｌａｇ）情報を含むことができる。または、スケーリングリストデータが上位レベル（例えば、ＳＰＳ）でシグナリングされた場合、より下位レベル（例えば、ＰＰＳ ｏｒ ｔｉｌｅ ｇｒｏｕｐ ｈｅａｄｅｒ ｅｔｃ）でスケーリングリストデータが修正されるかどうかを指示する情報などがさらに含まれることができる。
前述したように、スケーリングリストデータは、量子化／逆量子化に使われる（周波数ベースの量子化）スケーリングマトリクスを示すためにシグナリングされることができる。
デフォルト及びユーザ定義スケーリングマトリクスのシグナリング支援は、ＨＥＶＣ標準に存在し、現在ＶＶＣ標準に採択された。しかし、ＶＶＣ標準の場合、下記の機能のシグナリングのための追加的支援が統合された。
－スケーリングマトリクスのための３つモード：ＯＦＦ、ＤＥＦＡＵＬＴ、ＵＳＥＲ＿ＤＥＦＩＮＥＤ
－ブロックに対するさらに大きいサイズ範囲（ルマの場合、４×４～６４×６４、クロマの場合、２×２～３２×３２）
－四角形変換ブロック（ＴＢｓ）
－依存的量子化（Ｄｅｐｅｎｄｅｎｔ ｑｕａｎｔｉｚａｔｉｏｎ）
－多重変換選択（Ｍｕｌｔｉｐｌｅ Ｔｒａｎｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ；ＭＴＳ）
－高周波係数をゼロにする変換（Ｌａｒｇｅ ｔｒａｎｓｆｏｒｍｓ ｗｉｔｈ ｚｅｒｏｉｎｇ－ｏｕｔ ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ ｃｏｅｆｆｉｃｉｅｎｔｓ）
－イントラサブブロックパーティショニング（Ｉｎｔｒａ ｓｕｂ－ｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｉｎｇ；ＩＳＰ）
－イントラブロックコピー（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ；ＩＢＣ）（現在ピクチャ参照（ｃｕｒｒｅｎｔ ｐｉｃｔｕｒｅ ｒｅｆｅｒｅｎｃｉｎｇ；ＣＰＲ）ともいう）
－全てのＴＢサイズに対するＤＥＦＡＵＬＴスケーリングマトリクス、デフォルト値は１６
スケーリングマトリクスは、全てのサイズに対する変換スキップ（Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ；ＴＳ）及び二次変換（Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ；ＳＴ）に適用されてはならないという点に留意しなければならない。
以下では、ＶＶＣ標準でスケーリングリストを支援するための上位レベルシンタックス（Ｈｉｇｈ Ｌｅｖｅｌ Ｓｙｎｔａｘ；ＨＳＬ）構造が詳細に説明される。まず、スケーリングリストがデコードされる現在ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）に対して可用であるということを指示するために、フラグがシーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＳＰＳ）を介してシグナリングされることができる。その次に、前記フラグが可用な場合、ＳＰＳでスケーリングリストに特定データが存在するかを示すために追加フラグがパーシングされることができる。これは表１のように示すことができる。
表１は、ＣＶＳに対するスケーリングリストを説明するためにＳＰＳから抄出したものである。
Figure 2022540448000002
前記表１のＳＰＳシンタックスに含まれているシンタックス要素のセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表２のように示すことができる。
Figure 2022540448000003
前記表１及び表２を参照すると、ＳＰＳからｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇがシグナリングされることができる。例えば、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、スケーリングリストが変換係数に対するスケーリング過程に使われることを示すことができ、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、スケーリングリストが変換係数に対するスケーリング過程に使用されないことを示すことができる。このとき、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがＳＰＳからさらにシグナリングされることができる。例えば、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）シンタックス構造がＳＰＳに存在することを示し、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）シンタックス構造がＳＰＳに存在しないことを示すことができる。ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが存在しない場合、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、０に類推されることができる。
また、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ＰＰＳ）でフラグ（例：ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）が先にパーシングされることができる。このフラグが可用な場合、ＰＰＳでｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）がパーシングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）が先にＳＰＳで存在し、後にＰＰＳでパーシングされる場合、ＰＰＳでのデータがＳＰＳでのデータに優先することができる。以下の表３は、スケーリングリストデータを説明するためにＰＰＳから抄出したものである。
Figure 2022540448000004
前記表３のＰＰＳシンタックスに含まれているシンタックス要素のセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表４のように示すことができる。
Figure 2022540448000005
前記表３及び表４を参照すると、ＰＰＳからｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがシグナリングされることができる。例えば、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、ＰＰＳを参照するピクチャに使用されたスケーリングリストデータが、活性ＳＰＳにより特定されたスケーリングリスト及びＰＰＳにより特定されたスケーリングリストに基づいて導出されることを示すことができる。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、ＰＰＳを参照するピクチャに使用されたスケーリングリストデータが、活性ＳＰＳにより特定されたスケーリングリストと同じであると類推されることを示すことができる。このとき、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、０にならなければならない。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１であり、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０であり、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、スケーリングリストデータセマンティクスで説明されたように、デフォルトスケーリングリストデータがスケーリングファクタ（Ｓｃａｌｉｎｇ Ｆａｃｔｏｒ）配列を導出するのに使われることができる。
スケーリングリストは、次の量子化マトリクスサイズに対してＶＶＣ標準で定義されることができる。これは、以下の表５のように示すことができる。量子化マトリクスに対する支援範囲は、ＨＥＶＣ標準で４×４、８×８、１６×１６及び３２×３２で２×２と６４×６４を含むように拡張された。
Figure 2022540448000006
前記表５は、使用された全ての量子化マトリクスサイズに対するｓｉｚｅＩｄを定義している。前述した組み合わせを使用して、ｓｉｚｅＩｄ、コーディングユニットの予測モード（ＣｕＰｒｅｄＭｏｄｅ）、及びカラー成分の相異なる組み合わせに対してｍａｔｒｉｘＩｄが割り当てられることができる。ここで、考慮されることができるＣｕＰｒｅｄＭｏｄｅは、インター、イントラ、及びＩＢＣ（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）である。イントラモードとＩＢＣモードは、同じく扱われることができる。したがって、与えられたカラー成分に対して同じｍａｔｒｉｘＩｄ（ｓ）が共有されることができる。ここで、考慮されることができるカラー成分は、ルマ（Ｌｕｍａ（Ｙ））及び二つのカラー成分（Ｃｂ及びＣｒ）である。割り当てられたｍａｔｒｉｘＩｄは、以下の表６のように示すことができる。
表６は、ｓｉｚｅＩｄ、予測モード、及びカラー成分によるｍａｔｒｉｘＩｄを示す。
Figure 2022540448000007
以下の表７は、スケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））に対するシンタックス構造の一例を示す。
Figure 2022540448000008
前記表７のシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表８のように示すことができる。
Figure 2022540448000009
Figure 2022540448000010
前記表７及び表８を参照すると、スケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を抽出するために、１から始めて６までの全てのｓｉｚｅＩｄ及び０から５までのｍａｔｒｉｘＩｄに対し、スケーリングリストデータは、２×２クロマ成分及び６４×６４ルマ成分に適用されることができる。その次に、スケーリングリストの値が参照スケーリングリストの値と同じであるかどうか示すためにフラグ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ）がパーシングされることができる。参照スケーリングリストは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］により示される。しかし、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］が１である場合、スケーリングリストデータは、明示的にシグナリングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａが０である場合、表９乃至表１２に示すように、デフォルト値を有するＤＥＦＡＵＬＴモードが使われることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａの他の値である場合、前記表８のセマンティクスに示すようにｒｅｆＭａｔｒｉｘＩｄが先に決定されることができる。
明示的シグナリングにおいて、即ち、ＵＳＥＲ＿ＤＥＦＩＮＥＤモードで、シグナリングされる係数の最大個数が先に決定されることができる。量子化ブロックサイズ２×２、４×４及び８×８の場合、全ての係数がシグナリングされることができる。８×８より大きいサイズの場合、即ち、１６×１６、３２×３２及び６４×６４の場合、６４個の係数のみがシグナリングされることができる。即ち、８×８基本マトリクスがシグナリングされ、残りの係数は、基本マトリクスからアップサンプリングされることができる。
以下の表９は、ＳｃａｌｉｎｇＬｉｓｔ［１］［ｍａｔｒｉｘＩｄ］［ｉ］（ｉ＝０..３）のデフォルト値を示す一例である。
Figure 2022540448000011
以下の表１０は、ＳｃａｌｉｎｇＬｉｓｔ［２］［ｍａｔｒｉｘＩｄ］［ｉ］（ｉ＝０..１５）のデフォルト値を示す一例である。
Figure 2022540448000012
以下の表１１は、ＳｃａｌｉｎｇＬｉｓｔ［３..５］［ｍａｔｒｉｘＩｄ］［ｉ］（ｉ＝０..６３）のデフォルト値を示す一例である。
Figure 2022540448000013
以下の表１２は、ＳｃａｌｉｎｇＬｉｓｔ［６］［ｍａｔｒｉｘＩｄ］［ｉ］（ｉ＝０..６３）のデフォルト値を示す一例である。
Figure 2022540448000014
前述したように、デフォルトスケーリングリストデータは、スケーリングファクタ（Ｓｃａｌｉｎｇ Ｆａｃｔｏｒ）を導出するのに使われることができる。
５次元配列のスケーリングファクタＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄ］［ｓｉｚｅＩｄ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］（ここで、ｘ、ｙ＝０..（１＜＜ｓｉｚｅＩｄ）－１）は、前記表５に示す変数ｓｉｚｅＩｄ及び前記表６に示す変数ｍａｔｒｉｘＩｄによって、スケーリングファクタの配列を示すことができる。
以下の表１３は、前述したデフォルトスケーリングリストに基づいて量子化マトリクスサイズによってスケーリングファクタを導出する例示を示す。
Figure 2022540448000015
Figure 2022540448000016
四角形サイズの量子化マトリクスに対して、５次元配列のスケーリングファクタＳｃａｌｉｎｇＦａｃｔｏｒ［ｓｉｚｅＩｄＷ］［ｓｉｚｅＩｄＨ］［ｍａｔｒｉｘＩｄ］［ｘ］［ｙ］（ここで、ｘ＝０..（１＜＜ｓｉｚｅＩｄＷ）－１、ｙ＝０..（１＜＜ｓｉｚｅＩｄＨ）－１、ｓｉｚｅＩｄＷ！＝ｓｉｚｅＩｄＨ）は、以下の表１５に示す変数ｓｉｚｅＩｄＷ及びｓｉｚｅＩｄＨによってスケーリングファクタの配列を示すことができ、以下の表１４のように導出されることができる。
Figure 2022540448000017
四角形サイズの量子化マトリクスは、下記の条件を満たすサンプルに対してゼロにしなければならない。
－ｘ＞３２
－ｙ＞３２
－デコードされたＴＵは、デフォルト変換モードにコーディングされずに、（１＜＜ｓｉｚｅＩｄＷ）＝＝３２及びｘ＞１６
－デコードされたＴＵは、デフォルト変換モードにコーディングされずに、（１＜＜ｓｉｚｅＩｄＨ）＝＝３２及びｙ＞１６
以下の表１５は、量子化マトリクスサイズによってｓｉｚｅＩｄＷ及びｓｉｚｅＩｄＨを示す一例である。
Figure 2022540448000018
また、一例として、上述したスケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））は、次の表１６のようなシンタックス構造及び次の表１７のようなセマンティクスに基づいて説明されることができる。表１６及び表１７に開示されたスケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））に含まれたシンタックス要素に基づいて上述したように、スケーリングリスト、スケーリングマトリックス、スケーリングファクタなどが導出され得るし、この過程は、上述した表５ないし表１５と同一であるか、類似した手順が適用され得る。
Figure 2022540448000019
Figure 2022540448000020
Figure 2022540448000021
以下、本文書では量子化／逆量子化の過程で適応的周波数別加重量子化技術を適用するにあたって、スケーリングリストデータを効率的にシグナリングする方法に関して提案する。
図１０は、コーディングされた画像／ビデオに対する階層構造を例示的に示す。
図１０を参照すると、コーディングされた画像／ビデオは、画像／ビデオのデコード処理及びその自体を扱うＶＣＬ（ｖｉｄｅｏ ｃｏｄｉｎｇ ｌａｙｅｒ、ビデオコーディング階層）、符号化された情報を送信して格納する下位システム、及びＶＣＬと下位システムとの間に存在してネットワーク適応機能を担当するＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ、ネットワーク抽象階層）に区分されている。
ＶＣＬでは、圧縮された画像データ（スライスデータ）を含むＶＣＬデータを生成し、または、ピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＰＰＳ）、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＳＰＳ）、ビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ：ＶＰＳ）などの情報を含むパラメータセットまたは画像のデコード過程に付加的に必要なＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージを生成することができる。
ＮＡＬでは、ＶＣＬで生成されたＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ）にヘッダ情報（ＮＡＬユニットヘッダ）を付加してＮＡＬユニットを生成することができる。このとき、ＲＢＳＰは、ＶＣＬで生成されたスライスデータ、パラメータセット、ＳＥＩメッセージなどを意味する。ＮＡＬユニットヘッダには当該ＮＡＬユニットに含まれるＲＢＳＰデータによって特定されるＮＡＬユニットタイプ情報を含むことができる。
また、ＮＡＬユニットは、ＶＣＬで生成されたＲＢＳＰのよってＶＣＬ ＮＡＬユニットとＮｏｎ－ＶＣＬ ＮＡＬユニットとに区分されることができる。ＶＣＬ ＮＡＬユニットは、画像に対する情報（スライスデータ）を含んでいるＮＡＬユニットを意味することができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、画像をデコードするために必要な情報（パラメータセットまたはＳＥＩメッセージ）を含んでいるＮＡＬユニットを意味することができる。
ＶＣＬ ＮＡＬユニット、Ｎｏｎ－ＶＣＬ ＮＡＬユニットは、下位システムのデータ規格によってヘッダ情報を付けてネットワークを介して送信されることができる。例えば、ＮＡＬユニットは、Ｈ．２６６／ＶＶＣファイルフォーマット、ＲＴＰ（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）などのような所定規格のデータ形態で変形されて多様なネットワークを介して送信されることができる。
前述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）によってＮＡＬユニットタイプが特定されることができ、このようなＮＡＬユニットタイプに対する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。
例えば、ＮＡＬユニットが画像に対する情報（スライスデータ）を含むかどうかによって、大別して、ＶＣＬ ＮＡＬユニットタイプとＮｏｎ－ＶＣＬ ＮＡＬユニットタイプとに分類されることができる。ＶＣＬ ＮＡＬユニットタイプは、ＶＣＬ ＮＡＬユニットが含むピクチャの性質及び種類などによって分類されることができ、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプは、パラメータセットの種類などによって分類されることができる。
下記は、Ｎｏｎ－ＶＣＬ ＮＡＬユニットタイプが含むパラメータセットの種類などによって特定されたＮＡＬユニットタイプの一例である。
－ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＡＰＳを含むＮＡＬユニットに対するタイプ
－ＤＰＳ（Ｄｅｃｏｄｉｎｇ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＤＰＳを含むＮＡＬユニットに対するタイプ
－ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＶＰＳを含むＮＡＬユニットに対するタイプ
－ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＳＰＳを含むＮＡＬユニットに対するタイプ
－ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）ＮＡＬ ｕｎｉｔ：ＰＰＳを含むＮＡＬユニットに対するタイプ
－ＰＨ（Ｐｉｃｔｕｒｅ ｈｅａｄｅｒ）ＮＡＬ ｕｎｉｔ：ＰＨを含むＮＡＬユニットに対するタイプ
前述したＮＡＬユニットタイプは、ＮＡＬユニットタイプのためのシンタックス情報を有し、シンタックス情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。例えば、前記シンタックス情報は、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅであり、ＮＡＬユニットタイプは、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値に特定されることができる。
一方、前述したように、一つのピクチャは、複数のスライスを含むことができ、一つのスライスは、スライスヘッダ及びスライスデータを含むことができる。この場合、一つのピクチャ内の複数のスライス（スライスヘッダ及びスライスデータ集合）に対して一つのピクチャヘッダがさらに付加されることができる。ピクチャヘッダ（ピクチャヘッダシンタックス）は、ピクチャに共通的に適用できる情報／パラメータを含むことができる。本文書において、タイルグループは、スライスまたはピクチャに混用または代替されることができる。また、本文書において、タイルグループヘッダは、スライスヘッダまたはピクチャヘッダに混用または代替されることができる。
スライスヘッダ（スライスヘッダシンタックス）は、スライスに共通的に適用できる情報／パラメータを含むことができる。ＡＰＳ（ＡＰＳシンタックス）またはＰＰＳ（ＰＰＳシンタックス）は、一つ以上のスライスまたはピクチャに共通的に適用できる情報／パラメータを含むことができる。ＳＰＳ（ＳＰＳシンタックス）は、一つ以上のシーケンスに共通的に適用できる情報／パラメータを含むことができる。ＶＰＳ（ＶＰＳシンタックス）は、多重レイヤに共通的に適用できる情報／パラメータを含むことができる。ＤＰＳ（ＤＰＳシンタックス）は、ビデオ全般に共通的に適用できる情報／パラメータを含むことができる。ＤＰＳは、ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）の接合（ｃｏｎｃａｔｅｎａｔｉｏｎ）に関連した情報／パラメータを含むことができる。本文書において、上位レベルシンタックス（Ｈｉｇｈ ｌｅｖｅｌ ｓｙｎｔａｘ、ＨＬＳ）とは、前記ＡＰＳシンタックス、ＰＰＳシンタックス、ＳＰＳシンタックス、ＶＰＳシンタックス、ＤＰＳシンタックス、ピクチャヘッダシンタックス、スライスヘッダシンタックスのうち少なくとも一つを含むことができる。
本文書において、エンコード装置からデコード装置にエンコードされてビットストリーム形態でシグナリングされる画像／ビデオ情報は、ピクチャ内のパーティショニング関連情報、イントラ／インター予測情報、レジデュアル情報、インループフィルタリング情報などを含むだけでなく、スライスヘッダに含まれている情報、ピクチャヘッダに含まれている情報、ＡＰＳに含まれている情報、ＰＰＳに含まれている情報、ＳＰＳに含まれている情報、ＶＰＳに含まれている情報、及び／又はＤＰＳに含まれている情報を含むことができる。また、前記画像／ビデオ情報は、ＮＡＬユニットヘッダの情報をさらに含むことができる。
一方、ＡＰＳ（Ａｄａｐｔａｔｉｏｎ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）は、ＶＶＣ標準でＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）とＬＭＣＳ（Ｌｕｍａ Ｍａｐｐｉｎｇ ｗｉｔｈ Ｃｈｒｏｍａ Ｓｃａｌｉｎｇ）手順のための情報を送信するのに使用されている。また、ＡＰＳは、他のデータ構造（即ち、他のシンタックス構造）を送信するのに使われることができるように拡張可能な構造を有している。これにより、本文書は、周波数別加重量子化のために使われるスケーリングリストデータをＡＰＳを介してパーシング／シグナリングする方法を提案する。
スケーリングリストデータは、前述したように、量子化／逆量子化の過程で適用されることができる周波数別加重量子化のための量子化スケール情報であり、スケールファクタと各周波数インデックスを関連させるリストである。
一実施形態として、以下の表１８は、スケーリングリストデータを送信するのに使われるＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）構造の一例を示す。
Figure 2022540448000022
前記表１８のＡＰＳシンタックスに含まれているシンタックス要素のセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表１９のように示すことができる。
Figure 2022540448000023
前記表１８及び表１９を参照すると、ＡＰＳでａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、他のシンタックス要素の参照のためのＡＰＳに対する識別子を提供する。即ち、ＡＰＳは、ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素に基づいて識別されることができる。ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、ＡＰＳ ＩＤ情報と呼ばれることができる。ＡＰＳは、ピクチャ間に共有されることができ、ピクチャ内の他のタイルグループでは異なる場合がある。
また、ＡＰＳでａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素がパーシング／シグナリングされることができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅは、以下の表１８に示すように、ＡＰＳで送信されるＡＰＳパラメータのタイプを示すことができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素は、ＡＰＳパラメータタイプ情報またはＡＰＳタイプ情報と呼ばれることができる。
例えば、以下の表２０は、ＡＰＳを介して送信されることができるＡＰＳパラメータのタイプを示す例示であり、各ＡＰＳパラメータタイプは、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値に対応して示すことができる。
Figure 2022540448000024
前記表２０を参照すると、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅは、当該ＡＰＳのタイプを分類するためのシンタックス要素である。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が０である場合、当該ＡＰＳタイプは、ＡＬＦ＿ＡＰＳであり、当該ＡＰＳは、ＡＬＦデータを運ぶことができ、ＡＬＦデータは、フィルタ／フィルタ係数を導出するためのＡＬＦパラメータを含むことができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が１である場合、当該ＡＰＳタイプは、ＬＭＣＳ＿ＡＰＳであり、当該ＡＰＳは、ＬＭＣＳデータを運ぶことができ、ＬＭＣＳデータは、ＬＭＣＳモデル／ｂｉｎ／マッピングインデックスを導出するためのＬＭＣＳパラメータを含むことができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が２である場合、当該ＡＰＳタイプは、ＳＣＡＬＩＮＧ＿ＡＰＳであり、当該ＡＰＳは、ＳＣＡＬＩＮＧリストデータを運ぶことができ、ＳＣＡＬＩＮＧリストデータは、周波数ベースの量子化スケーリングマトリクス／スケーリングファクタ／スケーリングリストの値を導出するためのスケーリングリストデータパラメータを含むことができる。
例えば、前記表１８のように、ＡＰＳでａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素がパーシング／シグナリングされることができ、このとき、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が０を示す場合（即ち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅがＡＬＦ＿ＡＰＳを示す場合）、ＡＬＦデータ（即ち、ａｌｆ＿ｄａｔａ（））がパーシング／シグナリングされることができる。または、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が１を示す場合（即ち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅがＬＭＣＳ＿ＡＰＳを示す場合）、ＬＭＣＳデータ（即ち、ｌｍｃｓ＿ｄａｔａ（））がパーシング／シグナリングされることができる。または、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が２を示す場合（即ち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅがＳＣＡＬＩＮＧ＿ＡＰＳを示す場合）、スケーリングリストデータ（即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））がパーシング／シグナリングされることができる。
また、前記表１８及び表１９を参照すると、ＡＰＳでａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、ＡＰＳ拡張データフラグ（ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ）シンタックス要素が存在するかどうかを指示することができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、例えば、ＶＶＣ標準の以後バージョンのための拡張ポイントを提供するために使われることができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素は、ＡＰＳ拡張フラグと呼ばれることができる。例えば、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が０である場合、ＡＰＳ拡張データフラグ（ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ）がＡＰＳ ＲＢＳＰシンタックス構造に存在しないことを示すことができる。または、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が１である場合、ＡＰＳ拡張データフラグ（ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ）がＡＰＳ ＲＢＳＰシンタックス構造に存在することを示すことができる。
ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素に基づいてａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素は、ＡＰＳ拡張データフラグと呼ばれることができる。例えば、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が１である場合、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇがパーシング／シグナリングされることができ、このとき、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、任意の値を有することができる。
前述したように、本文書の一実施形態によると、スケーリングリストデータを示すためのデータタイプ（例：ＳＣＡＬＩＮＧ＿ＡＰＳ）を割り当て、データタイプを示すシンタックス要素（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）をパーシング／シグナリングすることで効率的にスケーリングリストデータを運ぶことができる。即ち、本文書の一実施形態によると、スケーリングリストデータを統合したＡＰＳの構造を使用することができる。
一方、現在ＶＶＣ標準でスケーリングリストデータ（即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））の使用は、まず、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）でスケーリングリストデータの可用可否を示すフラグ（即ち、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）が存在するかに基づいて指示されることができる。もし、前記フラグ（即ち、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）がイネイブルされる場合（即ち、スケーリングリストデータが可用であることを示す場合であって、１または真である場合）、他のフラグ（即ち、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）がパーシングされることができる。また、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがイネイブルされる場合（即ち、スケーリングリストデータがＳＰＳに存在することを示す場合であって、１または真である場合）、スケーリングリストデータ（即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））がパーシングされることができる。即ち、現在ＶＶＣ標準ではスケーリングリストデータをＳＰＳでシグナリングしている。この場合、ＳＰＳがセッション交渉を可能にして一般的に帯域外に送信されるため、デコードプロセスの間に使われることができ、変換ブロックのスケーリングファクタの決定と関連した情報でスケーリングリストデータを送信することが不要である。デコーダがＳＰＳでスケーリングリストデータを送信すると、デコーダは、スケーリングリストデータから取得された情報を格納するために相当な量のメモリを確保する必要があり、また、変換ブロックデコードで使われる時まで前記情報を維持する必要がある。したがって、このような過程は、ＳＰＳレベルで不要であり、下位レベルでパーシング／シグナリングされることがより効果的である。これにより、本文書は、スケーリングリストデータを効果的にパーシング／シグナリングするために階層的構造を提案する。
一実施形態として、スケーリングリストデータを上位レベルシンタックスであるＳＰＳからパーシング／シグナリングせずに、より下位レベルシンタックスであるＰＰＳ、タイルグループヘッダ、スライスヘッダ、及び／又は他の適切なヘッダでパーシング／シグナリングできるようにする。
例えば、以下の表２１のようにＳＰＳシンタックスを修正することができる。以下の表２１は、ＣＶＳに対するスケーリングリストを説明するためのＳＰＳシンタックスの一例を示す。
Figure 2022540448000025
前記表２１のＳＰＳシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表２２のように示すことができる。
Figure 2022540448000026
前記表２１及び表２２を参照すると、ＳＰＳでｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、その値が０であるか、または、１であるかに基づいてスケーリングリストが可用であるかどうかを示すことができる。例えば、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、スケーリングリストが変換係数に対するスケーリング過程に使われることを示し、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、スケーリングリストが変換係数に対するスケーリング過程に使用されないことを示すことができる。
即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、スケーリングリスト可用フラグと呼ばれることができ、ＳＰＳ（または、ＳＰＳレベル）でシグナリングされることができる。即ち、ＳＰＳレベルでシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値に基づいて、当該ＳＰＳを参照するＣＶＳ内のピクチャに対して基本的にスケーリングリストが可用であるように決定されることができる。そして、ＳＰＳより下位レベル（例：ＰＰＳ、タイルグループヘッダ、スライスヘッダ、及び／又は他の適切なヘッダ）で追加的な可用フラグをシグナリングしてスケーリングリストを取得することができる。
また、ＳＰＳでｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされないことができる。すなわち、ＳＰＳでｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、このフラグ情報がパーシング／シグナリングされないようにすることができる。ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、スケーリングリストデータのシンタックス構造がＳＰＳに存在するか否かを表すフラグ情報であり、このフラグ情報に応じてＳＰＳにより指定されたスケーリングリストデータをパーシング／シグナリングすることができる。しかし、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、ＳＰＳレベルでは、スケーリングリストデータをパーシング／シグナリングしないことができる。
前述したように、本文書の一実施形態によると、ＳＰＳレベルではスケーリングリスト（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を直接シグナリングせずに、スケーリングリスト可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）のみを明示的にシグナリングするように構成されることができる。以後、ＳＰＳでの可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて下位レベルシンタックスで個別的にスケーリングリスト（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））をパーシングすることができる。したがって、本文書の一実施形態によると、スケーリングリストデータが階層的構造によってパーシング／シグナリングされることができるため、よりコーディング効率を向上させることができる。
一方、スケーリングリストデータの存在有無及び使用有無は、ツールイネイブリングフラグ（ｔｏｏｌ ｅｎａｂｌｉｎｇ ｆｌａｇ）の存在を条件とする。ここで、ツールイネイブリングフラグは、該当ツールをイネイブリングするかどうかを示す情報であって、例えば、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素を含むことができる。即ち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、スケーリングリストデータの可用可否を示すことによって、スケーリングリストをイネイブリングするかを指示するのに使われることができる。しかし、このツールは、デコーダに対する構文上制約があるべきである。即ち、このツールは、現在ＣＶＳ（ｃｏｄｅｄ ｖｉｄｅｏ ｓｅｑｕｅｎｃｅ）のデコードに使用されていないということをデコーダに知らせる制限フラグ（ｃｏｎｓｔｒａｉｎｔ ｆｌａｇ）があるべきである。したがって、本文書は、スケーリングリストデータに対する制限フラグが適用される方法を提案する。
一実施形態として、以下の表２３は、制限フラグを使用してスケーリングリストデータをシグナリングするシンタックス（例：一般制限情報シンタックス）の一例を示す。
Figure 2022540448000027
前記表２３のシンタックスに含まれているシンタックス要素のセマンティクス（ｓｅｍａｎｔｉｃｓ）は、以下の表２２のように示すことができる。
Figure 2022540448000028
前記表２３及び表２４を参照すると、制限フラグがｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）を介してパーシング／シグナリングされることができる。ｇｅｎｅｒａｌ＿ｃｏｎｓｔｒａｉｎｔ＿ｉｎｆｏ（）は、一般制限情報フィールドまたは制限フラグに関する情報と呼ばれる。例えば、制限フラグとしてｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇシンタックス要素が使われることができる。ここで、制限フラグは、適合したビットストリーム属性（ｃｏｎｆｏｒｍａｎｃｅ ｂｉｔｓｔｒｅａｍ ｐｒｏｐｅｒｔｉｅｓ）を指定するのに使われることができる。例えば、ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇシンタックス要素の値が１である場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に指定されるべきビットストリーム適合（ｂｉｔｓｔｒｅａｍ ｃｏｎｆｏｒｍａｎｃｅ）要求事項を示し、ｎｏ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇシンタックス要素の値が０である場合、制限が無いことを示すことができる。
一方、前述したように、本文書の一実施形態によると、スケーリングリストデータは、階層的構造を介して伝達されることができる。これによって、本文書は、スライスヘッダを介してパーシング／シグナリングされることができるスケーリングリストデータの構造を提案する。ここで、スライスヘッダは、タイルグループヘッダと呼ばれることもでき、またはピクチャヘッダに混用または代替されることもできる。
一実施形態として、以下の表２５は、スケーリングリストデータをシグナリングするためのスライスヘッダシンタックスの一例を示す。
Figure 2022540448000029
前記表２５のスライスヘッダシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表２６のように示すことができる。
Figure 2022540448000030
前記表２５及び表２６を参照すると、スライスヘッダでｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、使用中であるＰＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、当該スライスで参照するＰＰＳを識別するための情報であって、ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示すことができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０乃至６３の範囲内でなければならない。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、スライスで参照するＰＰＳ識別情報またはＰＰＳ ＩＤ情報ということができる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、現在スライスでスケーリングリストが可用であるかどうかを示すことができる。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、スケーリングリストが現在スライスで可用であることを示すことができ、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、スケーリングリストが現在スライスで可用でないことを示すことができる。または、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、その値は、０に類推されることができる。
このとき、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、上位レベルシンタックス（即ち、ＳＰＳ）でシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ＳＰＳでシグナリングされたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合（即ち、上位レベルでスケーリングリストデータが可用であるように決定された場合）、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇをパーシングし、当該スライスでスケーリングリストを使用してスケーリング過程を実行するかどうかを決定することができる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、当該スライスで参照するＡＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、当該スライスで参照するスケーリングリストデータを含んでいるＡＰＳのＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を示すことができる。一方、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄと同じＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有するＡＰＳ ＮＡＬユニット（即ち、スケーリングリストデータを含むＡＰＳ ＮＡＬユニット）のＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）が、コーディングされるスライスＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）より小さいまたは同じでなければならない。
また、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄの値が１である場合（即ち、スライスヘッダでスケーリングリストが可用であるように決定された場合）、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄをパーシングすることができる。以後、前記パーシングされたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄが指示するＡＰＳからスケーリングリストデータを取得することができる。
また、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳ（スケーリングリストデータを含む複数のＡＰＳ）が同一ピクチャ内の二つ以上のスライスにより参照される場合、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳは、同じ内容を含まなければならない。
また、前述したシンタックス要素が存在する場合、スライスヘッダシンタックス要素ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ、ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ、及びｓｌｉｃｅ＿ｔｅｍｐｏｒａｌ＿ｍｖｐ＿ｅｎａｂｌｅｄ＿ｆｌａｇの各々の値は、コーディングされるピクチャ内の全てのスライスヘッダで同じでなければならない。
前述したように、本文書の一実施形態によると、スケーリングリストデータを効率的にシグナリングするために階層的構造を使用することができる。即ち、上位レベル（ＳＰＳシンタックス）でスケーリングリストデータの可用可否を示す可用フラグ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）を先にシグナリングし、以後、下位レベル（例：スライスヘッダ、ピクチャヘッダ等）で追加的な可用フラグ（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）をシグナリングすることで各下位レベルでスケーリングリストデータを使用するかを決定することができる。また、下位レベル（例：スライスヘッダ、ピクチャヘッダ等）を介して当該スライスまたはタイルグループで参照するＡＰＳ ＩＤ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）をシグナリングし、ＡＰＳ ＩＤ情報により識別されるＡＰＳからスケーリングリストデータを導出できる。
また、本文書は、階層的構造によってスケーリングリストデータをシグナリングするにあたって、前述した表２３及び表２４で提案された方法のように適用されることもでき、以下の表２５のようなスライスヘッダの構造を介してスケーリングリストデータを伝達することもできる。
一実施形態として、以下の表２７は、スケーリングリストデータをシグナリングするためのスライスヘッダシンタックスの一例を示す。ここで、スライスヘッダは、タイルグループヘッダと呼ばれることもでき、またはピクチャヘッダに混用または代替されることもできる。
Figure 2022540448000031
前記表２７のスライスヘッダシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表２８のように示すことができる。
Figure 2022540448000032
前記表２７及び表２８を参照すると、スライスヘッダでｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、使用中であるＰＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、当該スライスで参照するＰＰＳを識別するための情報であって、ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示すことができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０乃至６３の範囲内でなければならない。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、スライスで参照するＰＰＳ識別情報またはＰＰＳ ＩＤ情報ということができる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、当該スライスで参照するＡＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、当該スライスで参照するスケーリングリストデータを含んでいるＡＰＳのＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を示すことができる。一例として、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄと同じＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有するＡＰＳ ＮＡＬユニット（即ち、スケーリングリストデータを含むＡＰＳ ＮＡＬユニット）のＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）が、コーディングされるスライスＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）より小さいまたは同じでなければならない。
このとき、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、上位レベルシンタックス（即ち、ＳＰＳ）でシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ＳＰＳでシグナリングされたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合（即ち、上位レベルでスケーリングリストデータが可用であるように決定された場合）、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄをパーシングすることができる。以後、前記パーシングされたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄが指示するＡＰＳからスケーリングリストデータを取得することができる。
即ち、本実施形態によると、スケーリングリストデータを含むＡＰＳ ＩＤは、ＳＰＳ内の対応するフラグ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）がイネイブルされる場合、パーシングされることができるため、前述した表２５に示すように、上位レベルシンタックス（即ち、ＳＰＳ）でシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいて該当下位レベル（例えば、スライスヘッダまたはピクチャヘッダ）で参照するスケーリングリストデータを含むＡＰＳ ＩＤ（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）情報をパーシングすることができる。
また、本文書は、スケーリングリストデータをシグナリングするために複数のＡＰＳを使用する方法に関して提案する。以下では、本文書の一実施形態によってスケーリングリストデータを含む複数のＡＰＳ ＩＤを効率的にシグナリングする方法を説明する。この方法は、ビットストリームマージ（ｍｅｒｇｅ）の間に有用である。
一実施形態として、以下の表２９は、複数のＡＰＳを使用してスケーリングリストデータをシグナリングするためのスライスヘッダシンタックスの一例を示す。ここで、スライスヘッダは、タイルグループヘッダと呼ばれることもでき、または、ピクチャヘッダに混用または代替されることもできる。
Figure 2022540448000033
前記表２９のスライスヘッダシンタックスに含まれているシンタックス要素のセマンティクスは、以下の表３０のように示すことができる。
Figure 2022540448000034
前記表２９及び表３０を参照すると、スライスヘッダでｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は使用中であるＰＰＳに対する識別子を示すことができる。即ち、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、当該スライスで参照するＰＰＳを識別するための情報であって、ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を示すことができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０乃至６３の範囲内でなければならない。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、スライスで参照するＰＰＳ識別情報またはＰＰＳ ＩＤ情報ということができる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、現在スライスでスケーリングリストが可用であるかどうかを示すことができる。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、スケーリングリストが現在スライスで可用であることを示すことができ、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、スケーリングリストが現在スライスで可用でないことを示すことができる。または、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇが存在しない場合、その値は、０に類推されることができる。
このとき、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、上位レベルシンタックス（即ち、ＳＰＳ）でシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ＳＰＳでシグナリングされたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合（即ち、上位レベルでスケーリングリストデータが可用であるように決定された場合）、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇをパーシングし、当該スライスでスケーリングリストを使用してスケーリング過程を実行するかどうかを決定することができる。
また、スライスヘッダでｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素がパーシング／シグナリングされることができる。ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素は、当該スライスにより参照されるスケーリングリストデータを含むＡＰＳの個数を指示するための情報である。例えば、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素の値に１を加えた値がＡＰＳ個数である。ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１の値は、０乃至７の範囲内でなければならない。
ここで、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素は、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定されることができる。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合（即ち、当該スライスでスケーリングリストデータが可用であるように決定された場合）、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１をパーシングすることができる。この場合、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１の値に基づいてｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ［ｉ］シンタックス要素がパーシング／シグナリングされることができる。
即ち、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ［ｉ］は、ｉ番目のスケーリングリストデータを含むＡＰＳ（即ち、ｉ番目のＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）の識別子（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を示すことができる。即ち、ｎｕｍ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄｓ＿ｍｉｎｕｓ１シンタックス要素により指示されるＡＰＳ個数ほどＡＰＳ ＩＤ情報がシグナリングされることができる。一方、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ［ｉ］と同じＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有するＡＰＳ ＮＡＬユニット（即ち、スケーリングリストデータを含むＡＰＳ ＮＡＬユニット）のＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）が、コーディングされるスライスＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ（即ち、ＴｅｍｐｏｒａｌＩＤ）より小さいまたは同じでなければならない。
また、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳ（スケーリングリストデータを含む複数のＡＰＳ）が同一ピクチャ内の二つ以上のスライスにより参照される場合、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳは、同じ内容を含まなければならない。
また、本文書は、階層的構造によってスケーリングリストデータをシグナリングするにあたり、重複的にシグナリングされないようにする方案を提案する。一実施形態として、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）でスケーリングリストデータのシグナリングを除去できる。スケーリングリストデータは、ＳＰＳ、またはＡＰＳ、及び／又は他の適切なヘッダセットで十分にシグナリングされることができる。
一実施形態として、次の表３１は、ＰＰＳでスケーリングリストデータをシグナリングしないＰＰＳシンタックスの一例を示す。
Figure 2022540448000035
次の表３２は、前記表３１のＰＰＳシンタックスでスケーリングリストデータの重複的なシグナリングを避けるために除去され得るシンタックス要素（例：ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）に対するセマンティクスを表した一例である。
Figure 2022540448000036
前記表３１及び表３２を参照すれば、ＰＰＳでスケーリングリストデータをシグナリングするための情報、例えば、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去できる。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、その値が０であるか、１であるかの可否に基づいてＰＰＳでスケーリングリストデータをシグナリングするか否かを表すことができる。例えば、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素の値が１である場合、ＰＰＳを参照するピクチャに使用されるスケーリングリストデータは、活性ＳＰＳにより指定されたスケーリングリスト及びＰＰＳにより指定されたスケーリングリストデータに基づいて導出されることを表すことができる。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素の値が０である場合、ＰＰＳを参照するピクチャに使用されるスケーリングリストデータは、活性ＳＰＳにより指定されたことと同一に類推されることを表すことができる。すなわち、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、ＰＰＳからシグナリングされるスケーリングリストデータが存在するか否かを表す情報であることができる。
すなわち、本実施形態では、重複的にスケーリングリストデータをシグナリングすることを防止するために、前記表３１のように、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより（すなわち、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素をシグナリングしないことにより）、ＰＰＳによりスケーリングリストデータをパーシング／シグナリングさせないことができる。
また、本文書は、ＡＰＳでスケーリングリストマトリックスをシグナリングするための方案を提案する。既存の方案は、３つのモード（すなわち、ＯＦＦ、ＤＥＦＡＵＬＴ、ＵＳＥＲ＿ＤＥＦＩＮＥＤモード）を使用している。ＯＦＦモードは、スケーリングリストデータが変換ブロックに適用されないことを表す。ＤＥＦＡＵＬＴモードは、スケーリングマトリックスを生成するのに固定値が使用されることを表す。ＵＳＥＲ＿ＤＥＦＩＮＥＤモードは、ブロックサイズ、予測モード、及びカラー成分に基づいてスケーリングマトリックスが使用されることを表す。現在ＶＶＣで支援されるスケーリングマトリックスの総個数は、４４個であり、これは、ＨＥＶＣでの２８個より大きく増加されたものである。現在スケーリングリストデータは、ＳＰＳでシグナリングされ、ＰＰＳで条件的に存在することができる。ＡＰＳでスケーリングリストデータをシグナリングすることにより、ＳＰＳ及びＰＰＳで同じデータの重複的なシグナリング（ｒｅｄｕｎｄａｎｔ ｓｉｇｎａｌｉｎｇ）は不要であるので、除去されることができる。
例えば、現在ＶＶＣで定義されたスケーリングマトリックスは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇを使用してＳＰＳで可用であるか（ｅｎａｂｌｅｄ）否かを表す。このフラグが可用であることを表す場合、変換係数に対するスケーリング過程でスケーリングリストが使用され、このフラグが可用でないことを表す場合、変換係数に対するスケーリング過程でスケーリングリストが使用されない（例：ＯＦＦモード）。また、スケーリングリストデータがＳＰＳに存在するか否かを表すｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがパーシングされ得る。ＳＰＳでのシグナリング以外に、スケーリングリストデータは、さらにＰＰＳに存在することができる。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇがＰＰＳで可用であることを表す場合、スケーリングリストデータがＰＰＳに存在することができる。スケーリングリストデータがＳＰＳ及びＰＰＳで共に存在する場合、ＰＰＳからのスケーリングリストデータが活性ＰＰＳを参照するフレームに使用されることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅ＿ｆｌａｇが可用であることを表すが、スケーリングリストデータがＳＰＳにのみ存在し、ＰＰＳには存在しない場合、ＳＰＳからのスケーリングリストデータは、フレームにより参照されることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅ＿ｆｌａｇが可用であることを表し、スケーリングリストデータがＳＰＳまたはＰＰＳに存在しない場合、ＤＥＦＡＵＬＴモードが使用され得る。また、ＤＥＦＡＵＬＴモードの使用は、スケーリングリストデータ自体内でシグナリングされることもできる。スケーリングリストデータが明示的にシグナリングされる場合、ＵＳＥＲ ＤＥＦＩＮＥＤモードが使用され得る。与えられた変換ブロックに対するスケーリングファクタ（Ｓｃａｌｉｎｇ Ｆａｃｔｏｒ）は、スケーリングリストでシグナリングされる情報を使用して決定されることができる。これは、ＡＰＳでスケーリングリストデータをシグナリングするように提案される。
現在ＶＶＣでは、スケーリングリストデータを採択して使用しており、ＶＶＣで支援されるスケーリングマトリックスは、ＨＥＶＣより広範である。ＶＶＣで支援されるスケーリングマトリックスは、ルマの場合、４×４から６４×６４まで、クロマの場合、２×２から３２×３２までのブロックサイズを選択できるようにする。また、長方形変換ブロック（ＴＢ）サイズ、従属的な量子化（ｄｅｐｅｎｄｅｎｔ ｑｕａｎｔｉｚａｔｉｏｎ）、多重変換選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ）、大きいサイズの変換ブロックに対する高周波係数のゼロイングアウト（ｌａｒｇｅ ｔｒａｎｓｆｏｒｍ ｗｉｔｈ ｚｅｒｏｉｎｇ ｏｕｔ ｈｉｇｈ ｆｒｅｑｕｅｎｃｙ ｃｏｅｆｆｉｃｉｅｎｔｓ）、イントラサブブロックパーティショニング（ｉｎｔｒａ ｓｕｂｂｌｏｃｋ ｐａｒｔｉｔｉｏｎｉｎｇ；ＩＳＰ）、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ；ＩＢＣ）を統合できる。イントラブロックコピー（ＩＢＣ）とイントラコーディングモードとは、同じスケーリングマトリックスを共有できる。
したがって、ＵＳＥＲ＿ＤＥＦＩＮＥＤモードの場合、シグナリングされるマトリックスの個数は、次のとおりであることができる。
・ＭａｔｒｉｘＴｙｐｅ：３０＝２（２ ｆｏｒ ｉｎｔｒａ ＆ ＩＢＣ／ｉｎｔｅｒ）×３（Ｙ／Ｃｂ／Ｃｒ ｃｏｍｐｏｎｅｎｔｓ）×５（ｓｑｕａｒｅ ＴＢ ｓｉｚｅ：ｆｒｏｍ ４×４ ｔｏ ６４×６４ ｆｏｒ ｌｕｍａ、ｆｒｏｍ ２×２ ｔｏ ３２×３２ ｆｏｒ ｃｈｒｏｍａ）
・ＭａｔｒｉｘＴｙｐｅ＿ＤＣ：１４＝２（２ ｆｏｒ ｉｎｔｒａ ＆ ＩＢＣ／ｉｎｔｅｒ×１ ｆｏｒ Ｙ ｃｏｍｐｏｎｅｎｔ）×３（ＴＢ ｓｉｚｅ：１６×１６、３２×３２、６４×６４）＋４（２ ｆｏｒ ｉｎｔｒａ ＆ ＩＢＣ／ｉｎｔｅｒ×２ ｆｏｒ Ｃｂ／Ｃｒ ｃｏｍｐｏｎｅｎｔｓ）×２（ＴＢ ｓｉｚｅ：１６×１６、３２×３２）
ＤＣ値は、１６×１６、３２×３２、及び６４×６４サイズのスケーリングマトリックスに対して別にコーディングされることができる。変換ブロック（ＴＢ）サイズが８×８より小さい場合、１つのスケーリングマトリックス内に全ての要素に対してシグナリングされることができる。変換ブロック（ＴＢ）サイズが８×８より大きいか、同じ場合、１つの８×８スケーリングマトリックス内に６４個要素に対してのみ基本スケーリングマトリックスとしてシグナリングされることができる。８×８より大きい正方形マトリックスを取得するために、基本８×８マトリックスは、必要なサイズに対応してアップサンプリングされることができる。ＤＥＦＡＵＬＴモードが使用される場合、スケーリングマトリックスは、１６に設定されることができる。したがって、ＶＶＣでは、４４個の互いに異なるマトリックスを支援することに対し、ＨＥＶＣでは、２８個のマトリックスのみ支援する。ＶＶＣで支援されるスケーリングマトリックスの数がＨＥＶＣより広範であるので、ＳＰＳ及び／又はＰＰＳで重複的なシグナリングを避けるために、スケーリングリストデータのシグナリングのためのより実用的な選択としてＡＰＳを使用できる。これは、スケーリングリストデータの不要で重複的なシグナリングを避けることができる。
上述したような問題を解決しようとして、本文書は、ＡＰＳでスケーリングマトリックスをシグナリングする方案を提案する。このために、スケーリングリストデータは、ＳＰＳでシグナリングされるか、ＰＰＳで条件的に存在する必要なしに、ＡＰＳでのみシグナリングされることができる。また、スライスヘッダでＡＰＳ ＩＤをシグナリングすることができる。
一実施形態として、ＳＰＳでスケーリングリストデータが可用であるか否かを表すフラグ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅ＿ｆｌａｇ）をシグナリングし、ＰＰＳでスケーリングリストデータが存在するか否かを表すフラグ（例：ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を除去することによりシグナリングせずに、ＡＰＳでスケーリングリストデータをシグナリングすることができる。また、スライスヘッダでＡＰＳ ＩＤをシグナリングすることができる。このとき、ＳＰＳでシグナリングされたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１であり（すなわち、スケーリングリストデータが可用なことと表す場合）、ＡＰＳ ＩＤがスライスヘッダでシグナリングされない場合、ＤＥＦＡＵＬＴスケーリングマトリックスが使用され得る。このような本文書の一実施形態は、次の表３３ないし表４１のようなシンタックス及びセマンティクスで実現されることができる。
次の表３３は、スケーリングリストデータをシグナリングするために使用されるＡＰＳ構造の一例を表す。
Figure 2022540448000037
前記表３３のＡＰＳシンタックスに含まれたシンタックス要素のセマンティクス（ｓｅｍａｎｔｉｃｓ）は、次の表３４のように表すことができる。
Figure 2022540448000038
前記表３３及び表３４を参照すれば、ＡＰＳでａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、他のシンタックス要素の参照のためのＡＰＳに対する識別子を提供する。すなわち、ＡＰＳは、ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素に基づいて識別されることができる。ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は。ＡＰＳ ＩＤ情報と呼ばれることができる。ＡＰＳは、ピクチャ間に共有されることができ、ピクチャ内の他のスライスでは異なることができる。
また、ＡＰＳでａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素がパーシング／シグナリングされることができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅは、次の表３５に表したように、ＡＰＳから送信されるＡＰＳパラメータのタイプを表すことができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素は、ＡＰＳパラメータタイプ情報またはＡＰＳタイプ情報と呼ばれることができる。
例えば、次の表３５は、ＡＰＳを介して送信されることができるＡＰＳパラメータのタイプを表す例示であり、各ＡＰＳパラメータタイプは、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値に対応して表すことができる。
Figure 2022540448000039
前記表３５を参照すれば、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅは、当該ＡＰＳのタイプを分類するためのシンタックス要素であることができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が０である場合、当該ＡＰＳタイプは、ＡＬＦ＿ＡＰＳであることができ、当該ＡＰＳは、ＡＬＦデータを運ぶことができ、ＡＬＦデータは、フィルタ／フィルタ係数を導出するためのＡＬＦパラメータを含むことができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が１である場合、当該ＡＰＳタイプは、ＬＭＣＳ＿ＡＰＳであることができ、当該ＡＰＳは、ＬＭＣＳデータを運ぶことができ、ＬＭＣＳデータは、ＬＭＣＳモデル／ビン／マッピングインデックスを導出するためのＬＭＣＳパラメータを含むことができる。ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が２である場合、当該ＡＰＳタイプは、ＳＣＡＬＩＮＧ＿ＡＰＳであることができ、当該ＡＰＳは、ＳＣＡＬＩＮＧリストデータを運ぶことができ、ＳＣＡＬＩＮＧリストデータは、周波数に基づく量子化スケーリングマトリックス／スケーリング、ファクタ／スケーリングリストの値を導出するためのスケーリングリストデータパラメータを含むことができる。
例えば、前記表３３のように、ＡＰＳでａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅシンタックス要素がパーシング／シグナリングされることができ、このとき、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が０を表す場合（すなわち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅがＡＬＦ＿ＡＰＳを表す場合）、ＡＬＦデータ（すなわち、ａｌｆ＿ｄａｔａ（））がパーシング／シグナリングされることができる。または、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が１を表す場合（すなわち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅがＬＭＣＳ＿ＡＰＳを表す場合）、ＬＭＣＳデータ（すなわち、ｌｍｃｓ＿ｄａｔａ（））がパーシング／シグナリングされることができる。または、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅの値が２を表す場合（すなわち、ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅがＳＣＡＬＩＮＧ＿ＡＰＳを表す場合）、スケーリングリストデータ（すなわち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））がパーシング／シグナリングされることができる。
また、前記表３３及び表３４を参照すれば、ＡＰＳでａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、ＡＰＳ拡張データフラグ（ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ）シンタックス要素が存在するか否かを指示できる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、例えば、ＶＶＣ標準の以後バージョンのための拡張ポイントを提供するために使用されることができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素は、ＡＰＳ拡張フラグと呼ばれることができる。例えば、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が０である場合、ＡＰＳ拡張データフラグ（ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ）がＡＰＳ ＲＢＳＰシンタックス構造に存在しないことを表すことができる。または、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が１である場合、ＡＰＳ拡張データフラグ（ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇ）がＡＰＳ ＲＢＳＰシンタックス構造に存在することを表すことができる。
ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素に基づいてａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素は、ＡＰＳ拡張データフラグと呼ばれることができる。例えば、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が１である場合、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇがパーシング／シグナリングされることができ、このとき、ａｐｓ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、任意の値を有することができる。
上述したように、本文書の一実施形態によれば、スケーリングリストデータを表すためのデータタイプ（例：ＳＣＡＬＩＮＧ＿ＡＰＳ）を割り当て、データタイプを表すシンタックス要素（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）をパーシング／シグナリングすることにより、効率的にスケーリングリストデータを運ぶことができる。すなわち、本文書の一実施形態によれば、スケーリングリストデータを統合したＡＰＳの構造を使用することができる。
また、ＡＰＳでスケーリングリストデータをシグナリングするにあたり、ＳＰＳでスケーリングリストデータが可用であるか否かをシグナリングし、これに基づいてＡＰＳでＡＰＳパラメータタイプ（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）によってスケーリングリストデータをパーシング／シグナリングすることができる。また、本文書の一実施形態では、上位レベルシンタックスで重複的なスケーリングリストデータのシグナリングを避けるために、スケーリングリストデータシンタックス構造（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））がＳＰＳまたはＰＰＳで存在するか否かを表すフラグ情報をＳＰＳまたはＰＰＳからパーシング／シグナリングさせないことにより、ＳＰＳまたはＰＰＳでスケーリングリストデータをシグナリングしないことができる。これは、次の表３６ないし表３９のようなシンタックス及びセマンティクスで実現されることができる。
例えば、次の表３６のようにＳＰＳシンタックスを修正できる。次の表３６は、ＳＰＳでスケーリングリストデータのシグナリングをしないＳＰＳシンタックス構造の一例を表す。
Figure 2022540448000040
前記表３６のＳＰＳシンタックスに含まれたシンタックス要素のセマンティクスは、次の表３７のように修正されることができる。一例として、表３６及び表３７では、スケーリングリストデータの重複的なシグナリングを避けるために、ＳＰＳに含まれたシンタックス要素のうち、一部シンタックス要素（例：ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）が除去され得る。
Figure 2022540448000041
前記表３６及び表３７を参照すれば、ＳＰＳでｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、その値が０であるか、１であるかの可否に基づいてスケーリングリストが可用であるか否かを表すことができる。例えば、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合、スケーリングリストが変換係数に対するスケーリング過程に使用されることを表し、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０である場合、スケーリングリストが変換係数に対するスケーリング過程に使用されないことを表すことができる。
すなわち、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素は、スケーリングリスト可用フラグと呼ばれることができ、ＳＰＳ（または、ＳＰＳレベル）でシグナリングされることができる。言い換えれば、ＳＰＳレベルでシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値に基づいて、当該ＳＰＳを参照するＣＶＳ内のピクチャに対して基本的にスケーリングリストが可用なように決定されることができる。そして、ＳＰＳより下位レベル（例：ＰＰＳ、タイルグループヘッダ、スライスヘッダ、及び／又は他の適切なヘッダ）で追加的な可用フラグをシグナリングしてスケーリングリストを取得できる。
また、ＳＰＳでｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされないことができる。すなわち、ＳＰＳでｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、このフラグ情報がパーシング／シグナリングされないようにすることができる。ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、スケーリングリストデータのシンタックス構造がＳＰＳに存在するか否かを表すフラグ情報であり、このフラグ情報に応じてＳＰＳにより指定されたスケーリングリストデータをパーシング／シグナリングすることができる。しかし、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、ＳＰＳレベルでは、スケーリングリストデータを直接シグナリングせずに、スケーリングリスト可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）のみ明示的にシグナリングするように構成されることができる。
また、ＰＰＳでスケーリングリストデータのシグナリングは、次の表３８のように除去されることができる。例えば、次の表３８は、ＰＰＳでスケーリングリストデータのシグナリングをしないＰＰＳシンタックス構造の一例を表す。
Figure 2022540448000042
前記表３８のＰＰＳシンタックスに含まれたシンタックス要素のセマンティクスは、次の表３９のように修正されることができる。一例として、次の表３９は、ＰＰＳシンタックスでスケーリングリストデータの重複的なシグナリングを避けるために除去され得るシンタックス要素（例：ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）に対するセマンティクスを表す。
Figure 2022540448000043
前記表３８及び表３９を参照すれば、ＰＰＳでｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされないことができる。すなわち、ＰＰＳでｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、このフラグ情報がパーシング／シグナリングされないように構成することができる。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、スケーリングリストデータのシンタックス構造がＰＰＳに存在するか否かを表すフラグ情報であり、このフラグ情報に応じてＰＰＳにより指定されたスケーリングリストデータをパーシング／シグナリングすることができる。しかし、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、ＰＰＳレベルでは、スケーリングリストデータを直接シグナリングしないことができる。
上述したように、ＳＰＳまたはＰＰＳレベルでスケーリングリストデータが存在するか否かを表すフラグ情報を除去することにより、ＳＰＳまたはＰＰＳレベルで直接的にスケーリングリストデータシンタックスをシグナリングしないようにＳＰＳシンタックスとＰＰＳシンタックスとを構成できる。ＳＰＳでスケーリングリスト可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）のみ明示的にシグナリングし、以後ＳＰＳでの可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて下位レベルシンタックス（例：ＡＰＳ）で個別的にスケーリングリスト（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））をパーシングすることができる。したがって、本文書の一実施形態によれば、スケーリングリストデータが階層的構造によってパーシング／シグナリングされることができるので、よりコーディング効率を向上させることができる。
また、ＡＰＳでスケーリングリストデータをシグナリングするにあたり、スライスヘッダでＡＰＳ ＩＤをシグナリングし、スライスヘッダから取得されたＡＰＳ ＩＤに基づいてＡＰＳを識別し、識別されたＡＰＳからスケーリングリストデータをパーシング／シグナリングすることができる。ここで、スライスヘッダは、１つの例として説明するだけであり、スライスヘッダは、タイルグループヘッダまたはピクチャヘッダなどの様々なヘッダと混用または代替されることもできる。
例えば、次の表４０は、ＡＰＳでスケーリングリストデータをシグナリングするために、ＡＰＳ ＩＤシンタックス要素を含むスライスヘッダシンタックスの一例を表す。
Figure 2022540448000044
前記表４０のスライスヘッダシンタックスに含まれたシンタックス要素のセマンティクスは、次の表４１のように表すことができる。
Figure 2022540448000045
前記表４０及び表４１を参照すれば、スライスヘッダでｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、使用中のＰＰＳに対する識別子を表すことができる。すなわち、ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、当該スライスで参照するＰＰＳを識別するための情報であって、ｐｐｓ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値を表すことができる。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄの値は、０～６３の範囲内にあるべきである。ｓｌｉｃｅ＿ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、スライスで参照するＰＰＳ識別情報またはＰＰＳＩＤ情報といえる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、現在スライスに対してスケーリングリストマトリックスが存在するか否かを表す情報であることができる。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合、スケーリングリストマトリックスが現在スライスに対して存在することを表すことができ、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０である場合、デフォルトスケーリングリストデータがスケーリングファクタ（ＳｃａｌｉｎｇＦａｃｔｏｒ）アレイを導出するのに使用されることを表すことができる。または、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが存在しない場合、その値は、０に類推されることができる。
このとき、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、上位レベルシンタックス（すなわち、ＳＰＳ）でシグナリングされるｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定され得る。例えば、ＳＰＳでシグナリングされたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１である場合（すなわち、上位レベルでスケーリングリストデータが可用なように決定された場合）、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをパーシングして、当該スライスでスケーリングリストを使用してスケーリング過程を行うか否かを決定できる。
また、スライスヘッダでｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、当該スライスで参照するＡＰＳに対する識別子を表すことができる。すなわち、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、当該スライスで参照するスケーリングリストデータを含んでいるＡＰＳのＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を表すことができる。一方、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄと同じＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有するＡＰＳ ＮＡＬユニット（すなわち、スケーリングリストデータを含むＡＰＳ ＮＡＬユニット）のＴｅｍｐｏｒａｌＩｄ（すなわち、Ｔｅｍｐｏｒａｌ ＩＤ）は、コーディングされるスライスＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ（すなわち、Ｔｅｍｐｏｒａｌ ＩＤ）より小さいか、同じでなければならない。
また、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄシンタックス要素は、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素に基づいてパーシング可否が決定され得る。例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１である場合（すなわち、スライスヘッダでスケーリングリストが存在する場合）、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄをパーシングすることができる。その後、前記パーシングされたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄが指示するＡＰＳからスケーリングリストデータを取得できる。
また、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳ（スケーリングリストデータを含む複数のＡＰＳ）が同一ピクチャ内の２つ以上のスライスにより参照される場合、同じ値のＡＰＳ ＩＤ情報（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有する複数のＳＣＡＬＩＮＧ ＤＡＴＡ ＡＰＳは、同じ内容を含まなければならない。
上述した表４０及び表４１によれば、スライスヘッダでＡＰＳ ＩＤをシグナリングすることと説明したが、これは、１つの例示であり、本文書では、ピクチャヘッダまたはタイルグループヘッダなどでＡＰＳ ＩＤをシグナリングすることができる。
また、本文書は、スケーリングリストデータを他のヘッダセットで再配置（ｒｅｐｏｓｉｔｉｏｎ）する一般的な方案を提案する。一実施形態として、ヘッダセットでスケーリングリストデータを含む一般的な構造を提案する。現在ＶＶＣの場合、適切なヘッダセットとしてＡＰＳを使用しているが、Ｎａｌ Ｕｎｉｔ Ｔｙｐｅ（ＮＵＴ）により識別されるスケーリングリストデータを自分のヘッダセットでカプセル化することも可能でありうる。次の表４２及び表４３のように実現されることができる。
例えば、次の表４２は、ＮＡＬユニットタイプと、それによるＲＢＳＰシンタックス構造を表した一例である。ここで、上述したように、ＮＡＬユニットは、当該ＮＡＬユニットに含まれるＲＢＳＰデータ構造（ｓｔｒｕｃｔｕｒｅ）によってＮＡＬユニットタイプが特定され得るし、このようなＮＡＬユニットタイプに関する情報は、ＮＡＬユニットヘッダに格納されてシグナリングされることができる。
Figure 2022540448000046
Figure 2022540448000047
前記表４２で表すように、スケーリングリストデータを１つのＮＡＬユニットタイプ（例：ＳＣＡＬＩＮＧ＿ＮＵＴ）と定義することができ、ＳＣＡＬＩＮＧ＿ＮＵＴに対するＮＡＬユニットタイプの値で特定値（例：２１、またはＮＡＬユニットタイプに指定されなかった予約された値のうち１つの値）を指定することができる。ＳＣＡＬＩＮＧ＿ＮＵＴは、スケーリングリストデータパラメータセット（例：Ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むＮＡＬユニットに対するタイプであることができる。
また、ＳＣＡＬＩＮＧ＿ＮＵＴの可用可否は、ＡＰＳ、ＰＰＳ、及び／又は他の適切なヘッダより上位レベルで決定されることができ、または、他のＮＡＬユニットタイプより下位レベルで決定されることもできる。
例えば、次の表４３は、スケーリングリストデータをシグナリングするために使用されるスケーリングリストデータパラメータセットのシンタックスを表す。
Figure 2022540448000048
前記表４３のスケーリングリストデータパラメータセットシンタックスに含まれたシンタックス要素のセマンティクスは、次の表４４のように表すことができる。
Figure 2022540448000049
前記表４３及び表４４を参照すれば、スケーリングリストデータパラメータセット（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ）は、ＳＣＡＬＩＮＧ＿ＮＵＴに対するＮＡＬユニットタイプの値（例：２１）により特定されたヘッダセットであることができる。スケーリングリストデータパラメータセットでｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素がパーシング／シグナリングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、他のシンタックス要素の参照のためのスケーリングリストデータに対する識別子を提供する。すなわち、スケーリングリストパラメータセットは、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素に基づいて識別されることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄシンタックス要素は、スケーリングリストデータパラメータセットＩＤ情報と呼ばれることができる。スケーリングリストデータパラメータセットは、ピクチャ間に共有されることができ、ピクチャ内の他のスライスでは異なることができる。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄにより識別されたスケーリングリストデータパラメータセットからスケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａシンタックス）をパーシング／シグナリングすることができる。
また、スケーリングリストデータパラメータセットでｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素は、スケーリングリストデータ拡張フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ）シンタックス要素がスケーリングリストデータＲＢＳＰシンタックス構造に存在するか否かを表すことができる。例えば、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が１である場合、スケーリングリストデータ拡張フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ）シンタックス要素がスケーリングリストデータＲＢＳＰシンタックス構造に存在することを表すことができる。または、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が０である場合、スケーリングリストデータ拡張フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ）シンタックス要素がスケーリングリストデータＲＢＳＰシンタックス構造に存在しないことを表すことができる。
ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇシンタックス要素に基づいてｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素がパーシング／シグナリングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇシンタックス要素は、スケーリングリストデータに対する拡張データフラグと呼ばれることができる。例えば、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇの値が１である場合、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇがパーシング／シグナリングされることができ、このとき、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｅｘｔｅｎｓｉｏｎ＿ｄａｔａ＿ｆｌａｇは、任意の値を有することができる。
上述したように、本文書の一実施形態によれば、スケーリングリストデータのための１つのヘッダセット構造を定義して使用することができ、スケーリングリストデータのためのヘッダセットは、ＮＡＬユニットタイプ（例：ＳＣＡＬＩＮＧ＿ＮＵＴ）に特定することができる。この場合、スケーリングリストデータのためのヘッダセットは、スケーリングリストデータパラメータセット（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ）と定義されることができ、これからスケーリングリストデータを取得できる。
一方、本文書は、スケーリングリストデータに含まれたシンタックス要素ｓｃａｌｉｎｇ＿ｌｓｉｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａを効果的にコーディングするための方案を提案する。
現在ＶＶＣの場合、ｓｃａｌｉｎｇ＿ｌｓｉｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａシンタックス要素は、左側ビット優先で符号なしの整数０次Ｅｘｐ－Ｇｏｌｏｍｂコーディングされたシンタックス要素（ａｎ ｕｎｓｉｇｎｅｄ ｉｎｔｅｇｅｒ ０－ｔｈ ｏｒｄｅｒ Ｅｘｐ－Ｇｏｌｏｍｂ－ｃｏｄｅｄ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ ｗｉｔｈ ｔｈｅ ｌｅｆｔ ｂｉｔ ｆｉｒｓｔ）を使用してコーディングされる。しかし、コーディング効率を向上させるために、本文書の一実施形態では、次の表４５のように、０～５の範囲を有するｓｃａｌｉｎｇ＿ｌｓｉｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａシンタックス要素に対して固定長さコード（例：ｕ（３））を使用してコーディングする方案を提案する。このとき、全体範囲に対して効率性を向上させるために、３ビットのみ使用してコーディングすることで十分であることができる。
例えば、次の表４５は、スケーリングリストデータシンタックス構造の一例を表す。
Figure 2022540448000050
前記表４５のスケーリングリストデータシンタックスに含まれたシンタックス要素のセマンティクスは、次の表４６のように表すことができる。
Figure 2022540448000051
Figure 2022540448000052
前記表４５及び表４６で表すように、スケーリングリストデータシンタックスからｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａシンタックス要素がパーシング／シグナリングされることができる。ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａシンタックス要素は、スケーリングリストを導出するのに使用される参照スケーリングリストを表すことができる。このとき、ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｄ＿ｍａｔｒｉｘ＿ｉｄ＿ｄｅｌｔａをパーシングするにあたり、固定長さコード（例：ｕ（３））を使用してパーシングすることができる。
一方、ＡＰＳでスケーリングリストデータをシグナリングするにあたり、スケーリングリストマトリックスに対して制限をおくことができる。これに、本文書では、スケーリングリストマトリックスの個数を制限する方法に関して提案する。本文書において提案する方法によれば、実現を容易にし、最大メモリ要求事項（ｗｏｒｓｔ ｃａｓｅ ｍｅｍｏｒｙ ｒｅｑｕｉｒｅｍｅｎｔ）を制限する効果を得ることができる。
一実施形態として、スケーリングリストデータを含んでいるＡＰＳ（すなわち、スケーリングリストデータシンタックスをシグナリングするＡＰＳ）の個数を制限できる。このために、次のような制約条件を追加できる。このような制約条件は、ホルダーをおくためのことであって、すなわち、相違した値が使用され得る（Ｉｔ ｓｈｏｕｌｄ ｂｅ ｎｏｔｅｄ ｔｈａｔ ｔｈｅｓｅ ｃｏｎｓｔｒａｉｎｔｓ ａｒｅ ｍｅａｎｔ ｔｏ ｐｌａｃｅ ｈｏｌｄｅｒｓ ｉ．ｅ．、ｄｉｆｆｅｒｅｎｔ ｖａｌｕｅｓ ｃａｎ ｂｅ ｕｓｅｄ。）。
説明の都合上、スケーリングリストデータを含んでいるＡＰＳ（すなわち、スケーリングリストデータシンタックスをシグナリングするＡＰＳ）は、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳと称することができる。言い換えれば、上述したように、ＡＰＳから送信されるＡＰＳパラメータタイプ（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がスケーリングリストデータパラメータを表すタイプ（例：ＳＣＡＬＩＮＧ＿ＡＰＳ）である場合、ＡＰＳから送信されるスケーリングリストデータをＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳと表すことができる。
例えば、スケーリングリストデータを含んでいるＡＰＳ（すなわち、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）の総個数が３より小さいことができる。もちろん、他の適切な値が使用されることもできる。例えば、０～７の範囲内に適切な値が使用され得る。すなわち、スケーリングリストデータを含んでいるＡＰＳ（すなわち、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）の総個数が０～７の範囲に決められることができる。
また、例えば、スケーリングリストデータを含んでいるＡＰＳ（すなわち、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）は、ピクチャ当り１個のＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳのみ許容されることができる。
次の表４７は、上述したようなスケーリングリストデータを含むＡＰＳを制限するための制約条件を表すシンタックス要素及びそれに対するセマンティクスを表した一例である。
Figure 2022540448000053
前記表４７を参照すれば、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳのＡＰＳ識別情報（すなわち、ＡＰＳ ＩＤ情報）を表すシンタックス要素（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）に基づいてスケーリングリストデータを含んでいるＡＰＳ（すなわち、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）の個数を制限できる。
例えば、シンタックス要素ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄは、スライスが参照するＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳのＡＰＳ識別情報（すなわち、ＡＰＳ ＩＤ情報）を表すことができる。このとき、シンタックス要素ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄの値は、特定の値に制限することができる。一例として、シンタックス要素ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄの値は、０～３の範囲にあるように制限することができる。これは、１つの例示であり、他の値を有するように制限することができ、他の例として、シンタックス要素ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄの値は、０～７の範囲にあるように制限することもできる。
また、例えば、ｓｌｉｃｅ＿ｌｍｃｓ＿ａｐｓ＿ｉｄのようなＡＰＳ ＩＤ（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を有するＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ ＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ（すなわち、Ｔｅｍｐｏｒａｌ ＩＤ）は、コーディングされたスライスＮＡＬユニットのＴｅｍｐｏｒａｌＩｄ（すなわち、Ｔｅｍｐｏｒａｌ ＩＤ）より小さいか、同じでなければならない。
また、例えば、ＡＰＳ ＩＤ（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）値が同一である複数個のＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳが同一ピクチャ上の２つ以上のスライスにより参照される場合、同一のＡＰＳ ＩＤ（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）値を有する複数個のＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳは、同一の内容（ｃｏｎｔｅｎｔ）を有さなければならない。
また、例えば、同一の値のＡＰＳ ＩＤ（ａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）及び同一の内容を有する１つのＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳのみが同一ピクチャ上の１つ以上のスライスにより参照されなければならない。言い換えれば、同じピクチャ内の１つ以上のスライスは、スケーリングリストデータを含む同じＡＰＳを参照しなければならない。
以下の図面は、本文書の具体的な一例を説明するために作成された。図面に記載された具体的な装置の名称や具体的な用語や名称（例えば、シンタックス／シンタックス要素の名称など）は、例示的に提示されたものであるから、本文書の技術的特徴が以下の図面に使用された具体的な名称に制限されない。
図１１及び図１２は、本文書の実施形態（等）に係るビデオ／画像エンコード方法及び関連コンポーネントの一例を概略的に示す。
図１１に開示された方法は、図２において開示されたエンコード装置２００によって行われることができる。具体的に、図１１のステップＳ１１００は、図２に開示された減算部２３１によって行われることができ、図１１のステップＳ１１１０は、図２に開示された変換部２３２によって行われることができ、図１１のステップＳ１１２０～Ｓ１１３０は、図２に開示された量子化部２３３によって行われることができ、図１１のステップＳ１１４０は、図２に開示されたエントロピーエンコード部２４０によって行われることができる。また、図１１において開示された方法は、本文書において上述した実施形態を含んで行われることができる。したがって、図１１では、上述した実施形態と重複する内容に関して具体的な説明を省略するか、簡単にする。
図１１に示すように、エンコード装置は、現在ブロックに対するレジデュアルサンプルを導出できる（Ｓ１１００）。
一実施形態として、まず、エンコード装置は、現在ブロックに対する予測モードを決定し、予測サンプルを導出できる。例えば、エンコード装置は、現在ブロックにインター予測を行うか、またはイントラ予測を行うかの可否を決定でき、また、ＲＤコストに基づいて具体的なインター予測モードまたは具体的なイントラ予測モードを決定できる。エンコード装置は、決定された予測モードによって予測を行って現在ブロックに対する予測サンプルを導出できる。このとき、インター予測またはイントラ予測など、本文書において開示された様々な予測方法が適用され得る。また、エンコード装置は、現在ブロックに適用された予測と関連した情報（例えば、予測モード情報）を生成し、エンコードすることができる。そして、エンコード装置は、現在ブロックに対する原本サンプルと予測サンプルとを比較してレジデュアルサンプルを導出できる。
エンコード装置は、レジデュアルサンプルに基づいて変換係数を導出できる（Ｓ１１１０）。
一実施形態として、エンコード装置は、レジデュアルサンプルに対する変換過程を介して変換係数を導出できる。このとき、エンコード装置は、コーディング効率を考慮して現在ブロックに対する変換適用可否を決定できる。すなわち、エンコード装置は、レジデュアルサンプルに対して変換が適用されるか否かを決定できる。例えば、レジデュアルサンプルに対して変換が適用されない場合、エンコード装置は、レジデュアルサンプルを変換係数で導出することができる。または、レジデュアルサンプルに対して変換が適用される場合、エンコード装置は、レジデュアルサンプルに対する変換を行って変換係数を導出できる。この場合、エンコード装置は、現在ブロックに対して変換が適用されるか否かに基づいて変換スキップフラグ情報を生成し、エンコードすることができる。変換スキップフラグ情報は、現在ブロックに対して変換が適用されたか、変換がスキップ（ｓｋｉｐ）されたかを表す情報であることができる。
エンコード装置は、変換係数に基づいて量子化された変換係数を導出できる（Ｓ１１２０）。
一実施形態として、エンコード装置は、変換係数に対する量子化過程を行って量子化された変換係数を導出できる。このとき、エンコード装置は、周波数によって量子化強度を調節する周波数別加重量子化を適用できる。この場合、量子化過程は、周波数別量子化スケール値に基づいてさらに行われることができる。周波数別加重量子化のための量子化スケール値は、スケーリングマトリックスを使用して導出されることができる。例えば、エンコード装置／デコード装置は、予め定義されたスケーリングマトリックスを使用することができ、エンコード装置でスケーリングマトリックスに対する周波数別量子化スケール情報を構成してエンコードし、これをデコード装置にシグナリングすることができる。周波数別量子化スケール情報は、スケーリングリストデータを含むことができる。スケーリングリストデータに基づいて（修正された）スケーリングマトリックスが導出され得る。
また、エンコード装置は、デコード装置と同様に、逆量子化過程を行うことができる。この場合、エンコード装置は、スケーリングリストデータに基づいて（修正された）スケーリングマトリックスを導出し、これに基づいて量子化された変換係数に逆量子化を適用して復元された変換係数を導出できる。このとき、復元された変換係数は、変換／量子化過程での損失のため、最初変換係数とは差がありうる。
ここで、スケーリングマトリックスは、上述した周波数に基づく量子化スケーリングマトリックスを称することができ、説明の都合によって量子化スケーリングマトリックス、量子化マトリックス、スケーリングマトリックス、スケーリングリストなどと混用または代替して使用されることができ、本実施形態において使用された具体的な名称に制限されない。
すなわち、エンコード装置は、量子化過程を行うにあたり、周波数別加重量子化をさらに適用することができ、このとき、スケーリングマトリックスに関する情報としてスケーリングリストデータを生成できる。この過程は、表５ないし表１７を例に挙げて具体的に説明したことがあるので、本実施形態では、重複的な内容や具体的な説明を省略する。
エンコード装置は、量子化された変換係数に基づいてレジデュアル情報を生成できる（Ｓ１１３０）。
ここで、レジデュアル情報は、変換及び／又は量子化手順を介して生成された情報であって、量子化された変換係数に関する情報であることができ、例えば、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。
また、量子化過程で量子化された変換係数を導出するにあたり、周波数別加重量子化をさらに適用した場合、量子化された変換係数に対するスケーリングリストデータが生成され得る。スケーリングリストデータは、量子化された変換係数を導出するのに使用されるスケーリングリストパラメータを含むことができる。この場合、エンコード装置は、スケーリングリストデータ関連情報を生成でき、例えば、スケーリングリストデータを含むＡＰＳを生成できる。ＡＰＳは、ＡＰＳ ＩＤ情報及びＡＰＳタイプ情報を含むことができる。すなわち、量子化された変換係数に対するスケーリングリストデータは、ＡＰＳ ＩＤ情報及びＡＰＳタイプ情報に基づいてＡＰＳに含まれることができる。
また、エンコード装置は、ヘッダ情報を生成できる。ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含むことができる。このとき、ヘッダ情報に含まれたスケーリングリストデータ関連ＡＰＳ ＩＤ情報に基づいて、前記スケーリングリストデータを含むＡＰＳが特定され得る。
エンコード装置は、画像情報（または、ビデオ情報）をエンコードすることができる（Ｓ１１４０）。ここで、画像情報は、前記レジデュアル情報を含むことができる。また、画像情報は、前記予測サンプルを導出するのに使用された前記予測と関連した情報（例えば、予測モード情報）を含むことができる。また、画像情報は、前記スケーリングリストデータに関する情報を含むことができる。すなわち、画像情報は、エンコード過程で導出される様々な情報を含むことができ、このような様々な情報を含んでエンコードされることができる。
一実施形態として、画像情報は、本文書において上述した実施形態（等）に係る様々な情報を含むことができ、上述した表１ないし４７のうち、少なくとも１つに開示された情報を含むことができる。
例えば、画像情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含むことができる。ＳＰＳは、スケーリングリストデータの可用可否を表す第１の可用フラグ情報を含むことができる。一例として、ＳＰＳは、上述した表３６（または、表２１）のように構成されることができ、第１の可用フラグ情報は、前記表３６及び表３７（または、前記表２１及び表２２）で説明されたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇであることができる。また、ＳＰＳは、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、このフラグ情報がパーシング／シグナリングされないようにすることができる。ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、スケーリングリストデータのシンタックス構造がＳＰＳに存在するか否かを表すフラグ情報であり、このフラグ情報に応じてＳＰＳにより指定されたスケーリングリストデータをパーシング／シグナリングすることができる。しかし、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、ＳＰＳレベルでは、スケーリングリストデータを直接シグナリングせずに、スケーリングリスト可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）のみ明示的にシグナリングするように構成されることができる。
また、例えば、画像情報は、ＰＰＳ（Ｐｉｃｔｕｒｅ ＰａｒａｍｅｔｅｒＳｅｔ）を含むことができる。一例として、ＰＰＳは、上述した表３８のように構成されることができ、この場合、ＰＰＳには、スケーリングリストデータの可用可否を表す可用フラグ情報を含まないように構成されることができる。すなわち、ＰＰＳでｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、このフラグ情報がパーシング／シグナリングされないように構成されることができる。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、スケーリングリストデータのシンタックス構造がＰＰＳに存在するか否かを表すフラグ情報であり、このフラグ情報に応じてＰＰＳにより指定されたスケーリングリストデータをパーシング／シグナリングすることができる。しかし、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、ＰＰＳレベルでは、スケーリングリストデータを直接シグナリングしないことができる。
この場合、スケーリングリストデータの可用可否を表す第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）は、ＳＰＳでシグナリングされ、ＰＰＳでシグナリングされないことができる。したがって、ＳＰＳでシグナリングされる第１の可用フラグ情報に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、スケーリングリストデータがＡＰＳに含まれることができる。
また、例えば、画像情報は、ヘッダ情報を含むことができる。ヘッダ情報は、現在ブロックを含むスライスまたはピクチャに関連したヘッダ情報であることができ、例えば、ピクチャヘッダまたはスライスヘッダを含むことができる。ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報を含むことができる。ヘッダ情報に含まれたスケーリングリストデータ関連ＡＰＳ識別情報は、スケーリングリストデータを含んでいるＡＰＳに対するＡＰＳ ＩＤ情報を表すことができる。一例として、ヘッダ情報に含まれたスケーリングリストデータ関連ＡＰＳ ＩＤ情報は、前記表４０ないし表４１（または、前記表２５ないし表２８）で説明されたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄであることができ、現在ブロックを含むスライス／ピクチャにより参照されるＡＰＳ（スケーリングリストデータを含む；すなわち、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）に対する識別情報であることができる。すなわち、ヘッダ情報のスケーリングリストデータ関連ＡＰＳ ＩＤ情報（例えばｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）に基づいて、スケーリングリストデータを含むＡＰＳが識別され得る。
このとき、ヘッダ情報がスケーリングリストデータ関連ＡＰＳ ＩＤ情報をパーシング／シグナリングするか否かは、ＳＰＳでパーシング／シグナリングされる第１の可用フラグ情報（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて決定されることができる。例えば、ＳＰＳでのスケーリングリストが可用であることを表す第１の可用フラグ情報に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含むことができる。
また、例えば、ヘッダ情報は、ピクチャまたはスライスでのスケーリングリストデータの可用可否を表す第２の可用フラグ情報を含むことができる。一例として、第２の可用フラグ情報は、前記表４０及び表４１（または、前記表２５ないし表２８）で説明されたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）であることができる。
このとき、ヘッダ情報が第２の可用フラグ情報をパーシング／シグナリングするか否かは、ＳＰＳでパーシング／シグナリングされる第１の可用フラグ情報（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて決定されることができる。例えば、ＳＰＳでのスケーリングリストが可用であることを表す第１の可用フラグ情報に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、第２の可用フラグ情報を含むことができる。そして、第２の可用フラグ情報に基づいて（例：第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含むことができる。
一例として、エンコード装置は、上述した表４０のように、ＳＰＳでシグナリングされる第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてヘッダ情報を介して第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をシグナリングすることができ、その後、第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）に基づいてヘッダ情報を介してスケーリングリストデータ関連ＡＰＳ ＩＤ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）をシグナリングすることができる。そして、エンコード装置は、シグナリングされた前記スケーリングリストデータ関連ＡＰＳ ＩＤ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）が指示するＡＰＳからスケーリングリストデータをシグナリングすることができる。
また、例えば、画像情報は、量子化された変換係数に対するスケーリングリストデータを含むことができる。スケーリングリストデータは、上述したように、量子化／逆量子化過程で使用されるスケーリングリスト／スケーリングマトリックス／スケールファクタを導出するためのスケーリングリストパラメータを含むことができる。言い換えれば、スケーリングリストデータは、スケーリングリストを構成するのに使用されるシンタックス要素を含むことができる。一例として、スケーリングリストデータは、上述した表７、表１６、または表４５で表したｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）であることができる。
また、例えば、画像情報は、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むことができる。ＡＰＳは、ＡＰＳ ＩＤ情報（ＡＰＳ識別情報）及びＡＰＳタイプ情報（ＡＰＳパラメータのタイプ情報）を含むことができる。すなわち、ＡＰＳに対する識別子を表すＡＰＳ ＩＤ情報に基づいてＡＰＳが識別され得るし、ＡＰＳタイプ情報に基づいて当該タイプに対応するＡＰＳパラメータがＡＰＳに含まれ得る。例えば、ＡＰＳタイプ情報は、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）パラメータに関するＡＬＦタイプ、ＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）パラメータに関するＬＭＣＳタイプ、スケーリングリストデータパラメータに関するスケーリングリストタイプを含むことができる。上述した表３５のように表すことができ、例えば、ＡＰＳタイプ情報の値が２である場合、ＡＰＳタイプ情報は、スケーリングリストデータパラメータを含むＡＰＳであることを表すことができる。
一例として、ＡＰＳは、上述した表３３（または、表１８）のように構成されることができる。ＡＰＳ ＩＤ情報（ＡＰＳ識別情報）は、前記表３３及び表３４（または、前記表１８及び表１９）で説明されたａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄであることができる。ＡＰＳタイプ情報は、前記表３３ないし表３５（または、前記表１８ないし表２０）で説明されたａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅであることができる。例えば、ＡＰＳパラメータのタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がスケーリングリストデータを含むＡＰＳであることを表すＳＣＡＬＩＮＧ＿ＡＰＳタイプである場合（または、ＡＰＳパラメータのタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）の値が２である場合）、ＡＰＳは、スケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を含むことができる。すなわち、エンコード装置は、スケーリングリストデータを含むＡＰＳであることを表すＳＣＡＬＩＮＧ＿ＡＰＳタイプ情報に基づいて、ＡＰＳを介してスケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））をシグナリングすることができる。すなわち、ＡＰＳタイプ情報（ＳＣＡＬＩＮＧ＿ＡＰＳタイプ情報）に基づいてＡＰＳにスケーリングリストデータが含まれ得る。スケーリングリストデータは、上述したように、量子化／逆量子化過程で使用されるスケーリングリスト／スケーリングマトリックス／スケールファクタを導出するためのスケーリングリストパラメータを含むことができる。言い換えれば、スケーリングリストデータは、スケーリングリストを構成するのに使用されるシンタックス要素を含むことができる。
また、一例として、ＡＰＳ ＩＤ情報は、特定の範囲内の値を有することができる。例えば、ＡＰＳ ＩＤ情報の値は、０～３まで、または０～７までの特定の範囲内の値を有することができる。ただし、これは、例示として値を記載したものであり、ＡＰＳ ＩＤ情報の値の範囲は、他の値を有することもできる。また、ＡＰＳ ＩＤ情報の値の範囲は、ＡＰＳタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）に基づいて決定されることができる。言い換えれば、ＡＬＦに関するＡＰＳタイプ、ＬＭＣＳに関するＡＰＳタイプ、またはスケーリングリストに関するＡＰＳタイプのうち１つを表すＡＰＳタイプ情報に基づいて、ＡＰＳ ＩＤ情報の値の範囲は、０から３まで、または０から７までの範囲を有することができる。仮に、スケーリングリストデータに関するＡＰＳであることを表すＡＰＳタイプ情報（例：ＳＣＡＬＩＮＧ＿ＡＰＳタイプ）に対して、ＡＰＳ ＩＤ情報の値は、上述した表４７のようなシンタックス要素（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）に基づいて表すことができる。例えば、ＡＰＳタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がスケーリングリストデータを含むＡＰＳであることを表す場合（例：ＳＣＡＬＩＮＧ＿ＡＰＳタイプである場合）、ＡＰＳ ＩＤ情報の値は、０～３、または０～７までの範囲内の値を有することができる。ここで、１つのピクチャ内のスライスは、ＡＰＳ ＩＤが同じ値を有するスケーリングリストデータを含むＡＰＳ（すなわち、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）を参照できる。または、ＡＰＳタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がＡＬＦに関するＡＰＳであることを表す場合（例：ＡＬＦ＿ＡＰＳタイプである場合）、ＡＰＳ ＩＤ情報の値は、０～７までの範囲内の値を有することができる。または、ＡＰＳタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がＬＭＣＳに関するＡＰＳであることを表す場合（例：ＬＭＣＳ＿ＡＰＳタイプである場合）、ＡＰＳ ＩＤ情報の値は、０～３までの範囲内の値を有することができる。
上述したように、ＳＰＳまたはＰＰＳレベルで直接的にスケーリングリストデータシンタックスをシグナリングしないようにＳＰＳシンタックスとＰＰＳシンタックスとを構成できる。例えば、ＳＰＳでスケーリングリスト可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）のみ明示的にシグナリングし、以後ＳＰＳでの可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて下位レベルシンタックス（例：ＡＰＳ）で個別的にスケーリングリスト（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））をパーシングすることができる。したがって、本文書の一実施形態によれば、スケーリングリストデータが階層的構造によってパーシング／シグナリングされることができるので、よりコーディング効率を向上させることができる。
上述したような様々な情報を含む画像情報は、エンコードされてビットストリーム形態で出力されることができる。ビットストリームは、ネットワークまたは（デジタル）格納媒体を介してデコード装置に送信されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、様々な格納媒体を含むことができる。
図１３及び図１４は、本文書の実施形態（等）に係るビデオ／画像デコード方法及び関連コンポーネントの一例を概略的に示す。
図１３において開示された方法は、図３において開示されたデコード装置３００によって行われることができる。具体的に、図１３のステップＳ１３００～Ｓ１３１０は、図３に開示されたエントロピーデコード部３１０によって行われることができ、図１３のステップＳ１３２０は、図３に開示された逆量子化部３２１によって行われることができ、図１３のステップＳ１３３０は、図３に開示された逆変換部３２１によって行われることができ、図１３のステップＳ１３４０は、図３に開示された加算部３４０によって行われることができる。また、図１３において開示された方法は、本文書において上述した実施形態を含んで行われることができる。したがって、図１３では、上述した実施形態と重複する内容に関して具体的な説明を省略するか、簡単にする。
図１３に示すように、デコード装置は、ビットストリームから画像情報（または、ビデオ情報）を取得できる（Ｓ１３００）。
一実施形態として、デコード装置は、ビットストリームをパーシングして画像復元（または、ピクチャ復元）に必要な情報（ｅｘ．ビデオ／画像情報）を導出できる。このとき、画像情報は、レジデュアル情報を含むことができ、レジデュアル情報は、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。また、画像情報は、予測と関連した情報（例えば、予測モード情報）を含むことができる。また、画像情報は、スケーリングリストデータに関する情報を含むことができる。すなわち、画像情報は、デコード過程で必要な様々な情報を含むことができ、指数ゴロム符号化、ＣＡＶＬＣ、またはＣＡＢＡＣなどのコーディング方法を基にデコードされることができる。
一実施形態として、画像情報は、本文書において上述した実施形態（等）に係る様々な情報を含むことができ、上述した表１ないし４７のうち、少なくとも１つに開示された情報を含むことができる。すなわち、この場合、デコード装置は、ビットストリームから上述した表１ないし４７のうち、少なくとも１つに開示された情報を含む画像情報を取得し、これをデコードしてデコード過程で必要な情報を取得できる。
例えば、画像情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含むことができる。ＳＰＳは、スケーリングリストデータの可用可否を表す第１の可用フラグ情報を含むことができる。一例として、ＳＰＳは、上述した表３６（または、表２１）のように構成されることができ、第１の可用フラグ情報は、前記表３６及び表３７（または、前記表２１及び表２２）で説明されたｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇであることができる。また、ＳＰＳは、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、このフラグ情報がパーシング／シグナリングされないようにすることができる。ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、スケーリングリストデータのシンタックス構造がＳＰＳに存在するか否かを表すフラグ情報であり、このフラグ情報に応じてＳＰＳにより指定されたスケーリングリストデータをパーシング／シグナリングすることができる。しかし、ｓｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、ＳＰＳレベルでは、スケーリングリストデータを直接シグナリングせずに、スケーリングリスト可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）のみ明示的にシグナリングするように構成されることができる。
また、例えば、画像情報は、ＰＰＳ（Ｐｉｃｔｕｒｅ ＰａｒａｍｅｔｅｒＳｅｔ）を含むことができる。一例として、ＰＰＳは、上述した表３８のように構成されることができ、この場合、ＰＰＳには、スケーリングリストデータの可用可否を表す可用フラグ情報を含まないように構成されることができる。すなわち、ＰＰＳでｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、このフラグ情報がパーシング／シグナリングされないように構成されることができる。ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素は、スケーリングリストデータのシンタックス構造がＰＰＳに存在するか否かを表すフラグ情報であり、このフラグ情報に応じてＰＰＳにより指定されたスケーリングリストデータをパーシング／シグナリングすることができる。しかし、ｐｐｓ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇシンタックス要素を除去することにより、ＰＰＳレベルでは、スケーリングリストデータを直接シグナリングしないことができる。
この場合、スケーリングリストデータの可用可否を表す第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）は、ＳＰＳでシグナリングされ、ＰＰＳでシグナリングされないことができる。したがって、ＳＰＳでシグナリングされる第１の可用フラグ情報に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、スケーリングリストデータがＡＰＳに含まれ得る。
また、例えば、画像情報は、ヘッダ情報を含むことができる。ヘッダ情報は、現在ブロックを含むスライスまたはピクチャに関連したヘッダ情報であることができ、例えば、ピクチャヘッダまたはスライスヘッダを含むことができる。ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ識別情報を含むことができる。ヘッダ情報に含まれたスケーリングリストデータ関連ＡＰＳ識別情報は、スケーリングリストデータを含んでいるＡＰＳに対するＡＰＳ ＩＤ情報を表すことができる。一例として、ヘッダ情報に含まれたスケーリングリストデータ関連ＡＰＳ ＩＤ情報は、前記表４０ないし表４１（または、前記表２５ないし表２８）で説明されたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄであることができ、現在ブロックを含むスライス／ピクチャにより参照されるＡＰＳ（スケーリングリストデータを含む；すなわち、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）に対する識別情報であることができる。すなわち、ヘッダ情報のスケーリングリストデータ関連ＡＰＳ ＩＤ情報（例えば、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）に基づいて、スケーリングリストデータを含むＡＰＳが特定され得る。すなわち、デコード装置は、ヘッダ情報の前記スケーリングリストデータ関連ＡＰＳ ＩＤ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）に基づいてＡＰＳを識別し、前記ＡＰＳからスケーリングリストデータを取得できる。
このとき、ヘッダ情報がスケーリングリストデータ関連ＡＰＳ ＩＤ情報をパーシング／シグナリングするか否かは、ＳＰＳでパーシング／シグナリングされる第１の可用フラグ情報（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて決定されることができる。例えば、ＳＰＳでのスケーリングリストが可用であることを表す第１の可用フラグ情報に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含むことができる。
また、例えば、ヘッダ情報は、ピクチャまたはスライスでのスケーリングリストデータの可用可否を表す第２の可用フラグ情報を含むことができる。一例として、第２の可用フラグ情報は。前記表４０及び表４１（または、前記表２５ないし表２８）で説明されたｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ（または、ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）であることができる。
このとき、ヘッダ情報が第２の可用フラグ情報をパーシング／シグナリングするか否かは、ＳＰＳでパーシング／シグナリングされる第１の可用フラグ情報（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて決定されることができる。例えば、ＳＰＳでのスケーリングリストが可用であることを表す第１の可用フラグ情報に基づいて（例：第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、第２の可用フラグ情報を含むことができる。そして、第２の可用フラグ情報に基づいて（例：第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）の値が１または真である場合）、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含むことができる。
一例として、デコード装置は、上述した表４０（または、表２５）のように、ＳＰＳでシグナリングされる第１の可用フラグ情報（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいてヘッダ情報を介して第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）を取得でき、その後、第２の可用フラグ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）に基づいてヘッダ情報を介してスケーリングリストデータ関連ＡＰＳ ＩＤ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）を取得できる。そして、デコード装置は、ヘッダ情報を介して取得された前記スケーリングリストデータ関連ＡＰＳ ＩＤ情報（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）が指示するＡＰＳからスケーリングリストデータを取得できる。
また、例えば、画像情報は、量子化された変換係数に対するスケーリングリストデータを含むことができる。スケーリングリストデータは、上述したように、量子化／逆量子化過程で使用されるスケーリングリスト／スケーリングマトリックス／スケールファクタを導出するためのスケーリングリストパラメータを含むことができる。言い換えれば、スケーリングリストデータは、スケーリングリストを構成するのに使用されるシンタックス要素を含むことができる。一例として、スケーリングリストデータは、上述した表７、表１６、または表４５で表したｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（）であることができる。
また、例えば、画像情報は、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）を含むことができる。ＡＰＳは、ＡＰＳ ＩＤ情報（ＡＰＳ識別情報）及びＡＰＳタイプ情報（ＡＰＳパラメータのタイプ情報）を含むことができる。すなわち、ＡＰＳに対する識別子を表すＡＰＳ ＩＤ情報に基づいてＡＰＳが識別され得るし、ＡＰＳタイプ情報に基づいて当該タイプに対応するＡＰＳパラメータがＡＰＳに含まれ得る。例えば、ＡＰＳタイプ情報は、ＡＬＦ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）パラメータに関するＡＬＦタイプ、ＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）パラメータに関するＬＭＣＳタイプ、スケーリングリストデータパラメータに関するスケーリングリストタイプを含むことができる。上述した表３５のように表すことができ、例えば、ＡＰＳタイプ情報の値が２である場合、ＡＰＳタイプ情報は、スケーリングリストデータパラメータを含むＡＰＳであることを表すことができる。
一例として、ＡＰＳは、上述した表３３（または、表１８）のように構成されることができる。ＡＰＳ ＩＤ情報（ＡＰＳ識別情報）は、前記表３３及び表３４（または、前記表１８及び表１９）で説明されたａｄａｐｔａｔｉｏｎ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄであることができる。ＡＰＳタイプ情報は、前記表３３ないし表３５（または、前記表１８ないし表２０）で説明されたａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅであることができる。例えば、ＡＰＳパラメータのタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がスケーリングリストデータを含むＡＰＳであることを表すＳＣＡＬＩＮＧ＿ＡＰＳタイプである場合（または、ＡＰＳパラメータのタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）の値が２である場合）、ＡＰＳは、スケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を含むことができる。すなわち、デコード装置は、スケーリングリストデータを含むＡＰＳであることを表すＳＣＡＬＩＮＧ＿ＡＰＳタイプ情報に基づいて、ＡＰＳを介してスケーリングリストデータ（例：ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））を取得してパーシングすることができる。すなわち、ＡＰＳタイプ情報（ＳＣＡＬＩＮＧ＿ＡＰＳタイプ情報）に基づいてＡＰＳにスケーリングリストデータが含まれ得る。スケーリングリストデータは、上述したように、量子化／逆量子化過程で使用されるスケーリングリスト／スケーリングマトリックス／スケールファクタを導出するためのスケーリングリストパラメータを含むことができる。言い換えれば、スケーリングリストデータは、スケーリングリストを構成するのに使用されるシンタックス要素を含むことができる。
また、一例として、ＡＰＳ ＩＤ情報は、特定の範囲内の値を有することができる。例えば、ＡＰＳ ＩＤ情報の値は、０～３まで、または０～７までの特定の範囲内の値を有することができる。ただし、これは例示として値を記載しただけであり、ＡＰＳ ＩＤ情報の値の範囲は、他の値を有することもできる。また、ＡＰＳ ＩＤ情報の値の範囲は、ＡＰＳタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）に基づいて決定されることができる。言い換えれば、ＡＬＦに関するＡＰＳタイプ、ＬＭＣＳに関するＡＰＳタイプ、またはスケーリングリストに関するＡＰＳタイプのうち１つを表すＡＰＳタイプ情報に基づいて、ＡＰＳ ＩＤ情報の値の範囲は、０から３まで、または０から７までの範囲を有することができる。仮に、スケーリングリストデータに関するＡＰＳであることを表すＡＰＳタイプ情報（例：ＳＣＡＬＩＮＧ＿ＡＰＳタイプ）に対して、ＡＰＳ ＩＤ情報の値は、上述した表４７のようなシンタックス要素（例：ｓｌｉｃｅ＿ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ａｐｓ＿ｉｄ）に基づいて表すことができる。例えば、ＡＰＳタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がスケーリングリストデータを含むＡＰＳであることを表す場合（例：ＳＣＡＬＩＮＧ＿ＡＰＳタイプである場合）、ＡＰＳ ＩＤ情報の値は、０～３、または０～７までの範囲内の値を有することができる。ここで、１つのピクチャ内のスライスは、ＡＰＳ ＩＤが同じ値を有するスケーリングリストデータを含むＡＰＳ（すなわち、ＳＣＡＬＩＮＧ ＬＩＳＴ ＡＰＳ）を参照できる。または、ＡＰＳタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がＡＬＦに関するＡＰＳであることを表す場合（例：ＡＬＦ＿ＡＰＳタイプである場合）、ＡＰＳ ＩＤ情報の値は、０～７までの範囲内の値を有することができる。または、ＡＰＳタイプ情報（例：ａｐｓ＿ｐａｒａｍｓ＿ｔｙｐｅ）がＬＭＣＳに関するＡＰＳであることを表す場合（例：ＬＭＣＳ＿ＡＰＳタイプである場合）、ＡＰＳ ＩＤ情報の値は、０～３までの範囲内の値を有することができる。
上述したように、ＳＰＳまたはＰＰＳレベルで直接的にスケーリングリストデータシンタックスをシグナリングしないようにＳＰＳシンタックスとＰＰＳシンタックスとを構成できる。例えば、ＳＰＳでスケーリングリスト可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）のみ明示的にシグナリングし、以後ＳＰＳでの可用フラグ（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ）に基づいて下位レベルシンタックス（例：ＡＰＳ）で個別的にスケーリングリスト（ｓｃａｌｉｎｇ＿ｌｉｓｔ＿ｄａｔａ（））をパーシングすることができる。したがって、本文書の一実施形態によれば、スケーリングリストデータが階層的構造によってパーシング／シグナリングされることができるので、よりコーディング効率を向上させることができる。
デコード装置は、レジデュアル情報に基づいて現在ブロックに対する量子化された変換係数を導出できる（Ｓ１３１０）。
一実施形態として、デコード装置は、画像情報に含まれたレジデュアル情報を取得できる。レジデュアル情報は、上述したように、量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコード装置は、レジデュアル情報に含まれた量子化された変換係数情報に基づいて現在ブロックに対する量子化された変換係数を導出できる。
デコード装置は、量子化された変換係数に対する逆量子化過程を行って変換係数を導出できる（Ｓ１３２０）。
一実施形態として、デコード装置は、スケーリングリストデータに基づいて量子化された変換係数に対する逆量子化過程を適用して変換係数を導出できる。具体的に、デコード装置は、周波数によって量子化強度を調節する周波数別加重量子化を適用できる。この場合、逆量子化過程は、周波数別量子化スケール値に基づいてさらに行われることができる。周波数別加重量子化のための量子化スケール値は、スケーリングマトリックスを使用して導出されることができる。例えば、デコード装置は、予め定義されたスケーリングマトリックスを使用することができ、エンコード装置からシグナリングされるスケーリングマトリックスに対する周波数別量子化スケール情報を使用することもできる。周波数別量子化スケール情報は、スケーリングリストデータを含むことができる。スケーリングリストデータに基づいて（修正された）スケーリングマトリックスが導出され得る。
すなわち、デコード装置は、逆量子化過程を行うのにあたり、周波数別加重量子化をさらに適用することができる。このとき、デコード装置は、スケーリングリストデータに基づいて量子化された変換係数に対する逆量子化過程を適用して変換係数を導出できる。
一実施形態として、デコード装置は、画像情報に含まれたＡＰＳを取得でき、ＡＰＳに含まれたＡＰＳ ＩＤ情報及びＡＰＳタイプ情報に基づいてスケーリングリストデータを取得できる。例えば、デコード装置は、スケーリングリストデータを含むＡＰＳであることを表すＳＣＡＬＩＮＧ＿ＡＰＳタイプ情報に基づいて、ＡＰＳに含まれたスケーリングリストデータを取得できる。この場合、デコード装置は、スケーリングリストデータに基づいてスケーリングマトリックスを導出でき、スケーリングマトリックスに基づいてスケーリングファクタを導出でき、スケーリングファクタに基づいて逆量子化を適用して変換係数を導出できる。このようなスケーリングリストデータに基づいてスケーリングを行う過程は、表５ないし表１７を例に挙げて具体的に説明したことがあるので、本実施形態では、重複的な内容や具体的な説明を省略する。
また、デコード装置は、逆量子化過程で周波数別加重量子化を適用するか否か（すなわち、逆量子化過程で（周波数に基づく量子化）スケーリングリストを使用して変換係数を導出するか否か）を判断できる。例えば、デコード装置は、画像情報に含まれたＳＰＳから取得された第１の可用フラグ及び／又は画像情報に含まれたヘッダ情報から取得された第２の可用フラグ情報に基づいて、スケーリングリストデータの使用可否を決定できる。仮に、第１の可用フラグ及び／又は第２の可用フラグ情報に基づいてスケーリングリストデータを使用することと決定された場合、デコード装置は、ヘッダ情報を介してスケーリングリストデータを含むＡＰＳに対するＡＰＳ ＩＤ情報を取得し、前記ＡＰＳ ＩＤ情報に基づいて当該ＡＰＳを識別し、前記識別されたＡＰＳからスケーリングリストデータを取得できる。すなわち、ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含むことができるので、ヘッダ情報に含まれたスケーリングリストデータ関連ＡＰＳ ＩＤ情報に基づいて前記スケーリングリストデータを含むＡＰＳが特定され得る。
デコード装置は、変換係数に基づいてレジデュアルサンプルを導出できる（Ｓ１３３０）。
一実施形態として、デコード装置は、現在ブロックに対する変換係数に対して逆変換を行って現在ブロックのレジデュアルサンプルを導出できる。このとき、デコード装置は、現在ブロックに対して逆変換を適用するか否かを表す情報（すなわち、変換スキップフラグ情報）を取得し、この情報（すなわち、変換スキップフラグ情報）に基づいてレジデュアルサンプルを導出できる。
例えば、変換係数に対して逆変換が適用されない場合（現在ブロックに対して変換スキップフラグ情報の値が１である場合）、デコード装置は、変換係数を現在ブロックのレジデュアルサンプルで導出することができる。または、変換係数に対して逆変換が適用される場合（現在ブロックに対して変換スキップフラグ情報の値が０である場合）、デコード装置は、変換係数に対して逆変換して現在ブロックのレジデュアルサンプルを導出できる。
デコード装置は、レジデュアルサンプルに基づいて復元サンプルを生成できる（Ｓ１３４０）。
一実施形態として、デコード装置は、画像情報に含まれた予測情報（例えば、予測モード情報）に基づいて現在ブロックに対するインター予測を行うか、またはイントラ予測を行うかの可否を決定でき、前記決定によって予測を行って現在ブロックに対する予測サンプルを導出できる。そして、デコード装置は、予測サンプルとレジデュアルサンプルとに基づいて復元サンプルを生成できる。このとき、デコード装置は、予測モードによって予測サンプルを直ちに復元サンプルとして利用することができ、または予測サンプルにレジデュアルサンプルを加算して復元サンプルを生成することもできる。また、復元サンプルに基づいて復元ブロックまたは復元ピクチャを導出できる。その後、デコード装置は、必要に応じて主観的／客観的画質を向上させるために、デブロッキングフィルタリング及び／又はＳＡＯ手順のようなインループフィルタリング手順を前記復元ピクチャに適用できることは、上述したとおりである。
前述した実施形態において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本文書の実施形態は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または流れ図の一つまたはそれ以上のステップが本文書の範囲に影響を及ぼさずに削除可能であることを理解することができる。
前述した本文書による方法は、ソフトウェア形態で実現されることができ、本文書によるエンコード装置及び／またはデコード装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの画像処理を実行する装置に含まれることができる。
本文書で実施形態がソフトウェアで実現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で実現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。即ち、本文書で説明した実施形態は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて実行されることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で実現されて実行されることができる。この場合、実現のための情報（例えば、ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）またはアルゴリズムがデジタル格納媒体に格納されることができる。
また、本文書が適用されるデコード装置及びエンコード装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（例えば、車両（自律走行車両を含む）、飛行機端末、船舶端末等）、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置ではゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
また、本文書が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書によるデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読み込むことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で実現されたメディアを含む。また、エンコード方法で生成されたビットストリームが、コンピュータが読み取り可能な記録媒体に格納され、または有無線通信ネットワークを介して送信されることができる。
また、本文書の実施形態は、プログラムコードによるコンピュータプログラム製品で実現されることができ、前記プログラムコードは、本文書の実施形態によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。
図１５は、本文書に開示された実施形態が適用され得るコンテンツストリーミングシステムの例を示す。
図１５を参照すると、本文書の実施形態に適用されるコンテンツストリーミングシステムは、大別して、エンコードサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。
前記エンコードサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコードサーバは省略されることができる。
前記ビットストリームは、本文書の実施形態に適用されるエンコード方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。
前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
前記ストリーミングサーバは、メディア格納所及び／またはエンコードサーバからコンテンツを受信することができる。例えば、前記エンコードサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間格納することができる。
前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジがある。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
本文書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本文書の方法請求項の技術的特徴が組み合わせて装置で実現されることができ、本文書の装置請求項の技術的特徴が組み合わせて方法で実現されることができる。また、本文書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせて装置で実現されることができ、本文書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせて方法で実現されることができる。

Claims (17)

  1. デコード装置によって行われる画像デコード方法において、
    ビットストリームからレジデュアル情報を含む画像情報を取得するステップと、
    前記レジデュアル情報に基づいて現在ブロックに対する量子化された変換係数を導出するステップと、
    スケーリングリストデータに基づいて前記量子化された変換係数に対する逆量子化過程を行って変換係数を導出するステップと、
    前記変換係数に基づいてレジデュアルサンプルを導出するステップと、
    前記レジデュアルサンプルに基づいて復元サンプルを生成するステップと、を含み、
    前記画像情報は、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）及びヘッダ情報を含み、
    前記ＡＰＳは、ＡＰＳ ＩＤ情報及びＡＰＳタイプ情報を含み、
    前記スケーリングリストデータは、前記ＡＰＳ ＩＤ情報及び前記ＡＰＳタイプ情報に基づいて前記ＡＰＳに含まれ、
    前記ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含み、
    前記ヘッダ情報に含まれた前記スケーリングリストデータ関連ＡＰＳ ＩＤ情報に基づいて、前記スケーリングリストデータを含む前記ＡＰＳが特定されことを特徴とする画像デコード方法。
  2. 前記画像情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含み、
    前記ＳＰＳは、前記スケーリングリストデータの可用可否を表す第１の可用フラグ情報を含み、
    前記第１の可用フラグ情報に基づいて前記スケーリングリストデータが前記ＡＰＳに含まれることを特徴とする請求項１に記載の画像デコード方法。
  3. 前記画像情報は、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）をさらに含み、
    前記第１の可用フラグ情報は、前記ＳＰＳに含まれ、前記ＰＰＳに含まれないことを特徴とする請求項２に記載の画像デコード方法。
  4. 前記ヘッダ情報は、ピクチャまたはスライスでの前記スケーリングリストデータの可用可否を表す第２の可用フラグ情報を含み、
    前記ＳＰＳに含まれた前記第１の可用フラグ情報に基づいて、前記ヘッダ情報が前記第２の可用フラグ情報を含むことを特徴とする請求項２に記載の画像デコード方法。
  5. 前記第２の可用フラグ情報に基づいて、前記ヘッダ情報が前記スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含むことを特徴とする請求項４に記載の画像デコード方法。
  6. 前記ヘッダ情報は、スライスまたはピクチャに関連したスライスヘッダまたはピクチャヘッダを含むことを特徴とする請求項１に記載の画像デコード方法。
  7. 前記スケーリングリストデータに関するＡＰＳであることを表す前記ＡＰＳタイプ情報に基づいて、前記ＡＰＳ ＩＤ情報の値の範囲が決定されることを特徴とする請求項１に記載の画像デコード方法。
  8. １つのピクチャ内のスライスは、前記ＡＰＳ ＩＤが同じ値を有する前記スケーリングリストデータを含む前記ＡＰＳを参照することを特徴とする請求項１に記載の画像デコード方法。
  9. エンコード装置によって行われる画像エンコード方法において、
    現在ブロックに対するレジデュアルサンプルを導出するステップと、
    前記レジデュアルサンプルに基づいて変換過程を行って変換係数を導出するステップと、
    前記変換係数に対する量子化過程を行って量子化された変換係数を導出するステップと、
    前記量子化された変換係数に基づいてレジデュアル情報を生成するステップと、
    前記レジデュアル情報を含む画像情報をエンコードするステップと、
    を含み、
    前記画像情報は、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）及びヘッダ情報を含み、
    前記ＡＰＳは、ＡＰＳ ＩＤ情報及びＡＰＳタイプ情報を含み、
    前記量子化された変換係数に対するスケーリングリストデータは、前記ＡＰＳ ＩＤ情報及び前記ＡＰＳタイプ情報に基づいて前記ＡＰＳに含まれ、
    前記ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含み、
    前記ヘッダ情報に含まれた前記スケーリングリストデータ関連ＡＰＳ ＩＤ情報に基づいて、前記スケーリングリストデータを含む前記ＡＰＳが特定されることを特徴とする画像エンコード方法。
  10. 前記画像情報は、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）を含み、
    前記ＳＰＳは、前記スケーリングリストデータの可用可否を表す第１の可用フラグ情報を含み、
    前記第１の可用フラグ情報に基づいて前記スケーリングリストデータが前記ＡＰＳに含まれることを特徴とする請求項９に記載の画像エンコード方法。
  11. 前記画像情報は、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）をさらに含み、
    前記第１の可用フラグ情報は、前記ＳＰＳに含まれ、前記ＰＰＳに含まれないことを特徴とする請求項１０に記載の画像エンコード方法。
  12. 前記ヘッダ情報は、ピクチャまたはスライスでの前記スケーリングリストデータの可用可否を表す第２の可用フラグ情報を含み、
    前記ＳＰＳに含まれた前記第１の可用フラグ情報に基づいて、前記ヘッダ情報が前記第２の可用フラグ情報を含むことを特徴とする請求項１０に記載の画像エンコード方法。
  13. 前記第２の可用フラグ情報に基づいて、前記ヘッダ情報が前記スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含むことを特徴とする請求項１２に記載の画像エンコード方法。
  14. 前記ヘッダ情報は、スライスまたはピクチャに関連したスライスヘッダまたはピクチャヘッダを含むことを特徴とする請求項９に記載の画像エンコード方法。
  15. 前記スケーリングリストデータに関するＡＰＳであることを表す前記ＡＰＳタイプ情報に基づいて、前記ＡＰＳ ＩＤ情報の値の範囲が決定されることを特徴とする請求項９に記載の画像エンコード方法。
  16. １つのピクチャ内のスライスは、前記ＡＰＳ ＩＤが同じ値を有する前記スケーリングリストデータを含む前記ＡＰＳを参照することを特徴とする請求項９に記載の画像エンコード方法。
  17. 画像デコード装置が画像デコード方法を行うように引き起こすエンコードされた情報を格納するコンピュータ読み取り可能な格納媒体において、前記画像デコード方法は、
    ビットストリームからレジデュアル情報を含む画像情報を取得するステップと、
    前記レジデュアル情報に基づいて現在ブロックに対する量子化された変換係数を導出するステップと、
    スケーリングリストデータに基づいて前記量子化された変換係数に対する逆量子化過程を行って変換係数を導出するステップと、
    前記変換係数に基づいてレジデュアルサンプルを導出するステップと、
    前記レジデュアルサンプルに基づいて復元サンプルを生成するステップと、
    を含み、
    前記画像情報は、ＡＰＳ（ａｄａｐｔａｔｉｏｎ ｐａｒａｍｅｔｅｒ ｓｅｔ）及びヘッダ情報を含み、
    前記ＡＰＳは、ＡＰＳ ＩＤ情報及びＡＰＳタイプ情報を含み、
    前記スケーリングリストデータは、前記ＡＰＳ ＩＤ情報及び前記ＡＰＳタイプ情報に基づいて前記ＡＰＳに含まれ、
    前記ヘッダ情報は、スケーリングリストデータ関連ＡＰＳ ＩＤ情報を含み、
    前記ヘッダ情報に含まれた前記スケーリングリストデータ関連ＡＰＳ ＩＤ情報に基づいて、前記スケーリングリストデータを含む前記ＡＰＳが特定されることを特徴とするコンピュータ読み取り可能な格納媒体。
JP2022500909A 2019-07-08 2020-07-08 スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング Active JP7303367B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023102428A JP2023112110A (ja) 2019-07-08 2023-06-22 スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962871230P 2019-07-08 2019-07-08
US62/871,230 2019-07-08
PCT/KR2020/008954 WO2021006631A1 (ko) 2019-07-08 2020-07-08 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023102428A Division JP2023112110A (ja) 2019-07-08 2023-06-22 スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング

Publications (2)

Publication Number Publication Date
JP2022540448A true JP2022540448A (ja) 2022-09-15
JP7303367B2 JP7303367B2 (ja) 2023-07-04

Family

ID=74115072

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022500909A Active JP7303367B2 (ja) 2019-07-08 2020-07-08 スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング
JP2023102428A Pending JP2023112110A (ja) 2019-07-08 2023-06-22 スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023102428A Pending JP2023112110A (ja) 2019-07-08 2023-06-22 スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング

Country Status (5)

Country Link
US (3) US11503343B2 (ja)
JP (2) JP7303367B2 (ja)
KR (1) KR20220017440A (ja)
CN (1) CN114270852A (ja)
WO (1) WO2021006631A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113785570A (zh) * 2019-04-03 2021-12-10 Lg 电子株式会社 视频或图像编译方法及其装置
US20220210403A1 (en) * 2019-04-15 2022-06-30 Lg Electronics Inc. Scaling list parameter-based video or image coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3285282A1 (en) * 2004-12-15 2018-02-21 Nikon Corporation Exposure apparatus and device fabricating method
CN108718412B (zh) * 2012-04-13 2020-10-16 三菱电机株式会社 图像编码装置、图像解码装置及其方法
GB2501125B (en) * 2012-04-13 2015-08-19 Canon Kk Method and device for providing adaptation parameters to a decoder
US20150043637A1 (en) * 2012-04-13 2015-02-12 Sony Corporation Image processing device and method
US9967583B2 (en) * 2012-07-10 2018-05-08 Qualcomm Incorporated Coding timing information for video coding
KR101775250B1 (ko) * 2012-09-28 2017-09-05 노키아 테크놀로지스 오와이 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
JP2015076861A (ja) * 2013-10-11 2015-04-20 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2017209328A1 (ko) * 2016-06-03 2017-12-07 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 방법 및 장치
KR20190062273A (ko) * 2017-11-28 2019-06-05 한국전자통신연구원 영상 변환 신경망 및 영상 역변환 신경망을 이용한 영상 처리 방법 및 장치
EP3864842A4 (en) * 2018-11-07 2021-12-08 Huawei Technologies Co., Ltd. HEADER SETTINGS FOR VIDEO ENCODING
JP6775039B2 (ja) * 2019-01-16 2020-10-28 株式会社東芝 復号方法及び復号装置
MX2021010337A (es) * 2019-02-27 2021-09-28 Huawei Tech Co Ltd Un codificador, un decodificador y metodos correspondientes.
MX2021014277A (es) * 2019-05-24 2022-01-06 Digital Insights Inc Metodo y aparato de codificacion de video que utilizan conjunto de parametros adaptativos.

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SEETHAL PALURI, JAEHYUN LIM, AND SEUNG HWAN KIM: "AHG17: APS ID Control Mechanism", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0561, JPN6023002638, 26 June 2019 (2019-06-26), pages 1 - 5, ISSN: 0004978606 *
SEETHAL PALURI, JIE ZHAO, JAEHYUN LIM, AND SEUNG HWAN KIM: "AHG17: APS support for default and user defined scaling matrices", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-O0299 (version 1), JPN6023002637, 25 June 2019 (2019-06-25), pages 1 - 5, ISSN: 0004978605 *

Also Published As

Publication number Publication date
US11503343B2 (en) 2022-11-15
CN114270852A (zh) 2022-04-01
WO2021006631A1 (ko) 2021-01-14
US11778237B1 (en) 2023-10-03
KR20220017440A (ko) 2022-02-11
US20230396807A1 (en) 2023-12-07
JP2023112110A (ja) 2023-08-10
JP7303367B2 (ja) 2023-07-04
US20220132172A1 (en) 2022-04-28

Similar Documents

Publication Publication Date Title
US11870985B2 (en) Cross component filtering-based image coding apparatus and method
US11936875B2 (en) In-loop filtering-based image coding apparatus and method
US11889071B2 (en) Video or image coding applying adaptive loop filter
US11818344B2 (en) Adaptive loop filter-based video or image coding
JP7314307B2 (ja) スケーリングリストデータのシグナリングベースのビデオまたは映像コーディング
AU2020337710B2 (en) Apparatus and method for image coding based on filtering
KR20220017439A (ko) 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
US11895314B2 (en) Method and device for coding image/video on basis of prediction weighted table
JP2022545747A (ja) クロス－コンポーネント適応的ループフィルタリングベースの映像コーディング装置及び方法
US20220329873A1 (en) Image coding device and method for controlling loop filtering
JP2023112110A (ja) スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング
US20240056566A1 (en) Inter prediction method and apparatus in image/video coding system
JP2022545837A (ja) 映像コーディング装置及び方法
US11595697B2 (en) Adaptive loop filtering-based image coding apparatus and method
JP7492066B2 (ja) スケーリングリストデータに基づく画像またはビデオコーディング
US20220210403A1 (en) Scaling list parameter-based video or image coding
JP2023501322A (ja) 映像／ビデオコーディング方法及び装置
US11647232B2 (en) Image coding device and method for controlling loop filtering
US20230164321A1 (en) In-loop filtering-based image coding device and method
KR20210149867A (ko) 스케일링 리스트 파라미터 기반 비디오 또는 영상 코딩
KR20210129224A (ko) 스케일링 리스트 기반 비디오 또는 영상 코딩
US12010349B2 (en) Adaptive loop filtering-based image coding apparatus and method
US20240187602A1 (en) In-loop filtering-based image coding apparatus and method
JP2023503660A (ja) ピクチャ分割情報をシグナリングする方法及び装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230622

R150 Certificate of patent or registration of utility model

Ref document number: 7303367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150