JP2023033544A - イントラ予測ベースの映像コーディングにおける変換 - Google Patents

イントラ予測ベースの映像コーディングにおける変換 Download PDF

Info

Publication number
JP2023033544A
JP2023033544A JP2023005762A JP2023005762A JP2023033544A JP 2023033544 A JP2023033544 A JP 2023033544A JP 2023005762 A JP2023005762 A JP 2023005762A JP 2023005762 A JP2023005762 A JP 2023005762A JP 2023033544 A JP2023033544 A JP 2023033544A
Authority
JP
Japan
Prior art keywords
transform
information
lfnst
current block
mip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023005762A
Other languages
English (en)
Other versions
JP7387925B2 (ja
Inventor
チョンハク ナム
Junghak Nam
チェヒョン イム
Jaehyun Lim
ムンモ ク
Moonmo Koo
スンファン キム
Sunfan Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2023033544A publication Critical patent/JP2023033544A/ja
Priority to JP2023193615A priority Critical patent/JP7540064B2/ja
Application granted granted Critical
Publication of JP7387925B2 publication Critical patent/JP7387925B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】本発明は映像デコーディング方法に関する。【解決手段】本文書による映像デコーディング方法は、現在ブロックに対する予測関連情報及びレジデュアル関連情報を取得するステップ、前記レジデュアル関連情報に基づいて前記現在ブロックに対する変換係数を導出するステップ、及び前記変換係数に基づいて前記現在ブロックのレジデュアルサンプルを生成するステップを含み、前記レジデュアル関連情報は、ＭＩＰ（Ｍａｔｒｉｘ ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）フラグに基づいて前記現在ブロックの低周波変換係数に対する非分離変換に関する情報を示すＬＦＮＳＴ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）インデックス情報を含むことを特徴とする。【選択図】図１１

Description

本文書は、映像コーディング技術に関し、より詳しくは、イントラ予測ベースの映像コーディングにおける変換（ｔｒａｎｓｆｏｒｍ）に関する。
近年、４Ｋまたは８Ｋ以上のＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像／ビデオのような高解像度、高品質の画像／ビデオに対する需要が様々な分野で増加している。画像／ビデオデータが高解像度、高品質になるほど、既存の画像／ビデオデータに比べて相対的に送信される情報量またはビット量が増加するので、既存の有無線広帯域回線のような媒体を利用して画像データを送信するか、既存の格納媒体を利用して画像／ビデオデータを格納する場合、送信費用と格納費用が増加される。
また、近年、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）、ＡＲ（Ａｒｔｉｆｉｃｉａｌ Ｒｅａｌｔｉｙ）コンテンツやホログラムなどの実感メディア（Ｉｍｍｅｒｓｉｖｅ Ｍｅｄｉａ）に対する関心及び需要が増加しており、ゲーム画像のように、現実画像と異なる画像特性を有する画像／ビデオに対する放送が増加している。
これにより、上記のような様々な特性を有する高解像度・高品質の画像／ビデオの情報を効果的に圧縮して送信するか、格納し、再生するために高効率の画像／ビデオ圧縮技術が求められる。
本文書の一実施例によると、映像／ビデオコーディング効率を上げる方法及び装置を提供する。
本文書の一実施例によると、イントラ予測ベースの映像コーディングにおける変換方法及び装置を提供する。
本文書の一実施例によると、ブロックにマトリクスベースのイントラ予測（ＭＩＰ：Ｍａｔｒｉｘ ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）が適用される場合、変換インデックスを利用して前記ブロックを変換する方法及び装置を提供する。
本文書の一実施例によると、ＭＩＰが適用されるブロックに対する変換インデックスの二進化またはコーディング方法及び装置を提供する。
本文書の一実施例によると、ＭＩＰが適用されるブロックに対する変換インデックスをシグナリングする方法及び装置を提供する。
本文書の一実施例によると、ＭＩＰが適用されるブロックに対する変換インデックスを誘導する方法及び装置を提供する。
本文書の一実施例によると、ＭＩＰが適用されないブロックに対する変換インデックスをシグナリングする方法及び装置を提供する。
本文書の一実施例によると、デコーディング装置により実行されるビデオ／映像デコーディング方法を提供する。
本文書の一実施例によると、ビデオ／映像デコーディングを実行するデコーディング装置を提供する。
本文書の一実施例によると、エンコーディング装置により実行されるビデオ／映像エンコーディング方法を提供する。
本文書の一実施例によると、ビデオ／映像エンコーディングを実行するエンコーディング装置を提供する。
本文書の一実施例によると、本文書の実施例のうち少なくとも一つに開示されたビデオ／映像エンコーディング方法によって生成されたエンコーディングされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書の一実施例によると、デコーディング装置により本文書の実施例のうち少なくとも一つに開示されたビデオ／映像デコーディング方法を実行するようにするエンコーディングされた情報またはエンコーディングされたビデオ／映像情報が格納されたコンピュータ読み取り可能なデジタル格納媒体を提供する。
本文書によると、全般的な映像／ビデオ圧縮効率を上げることができる。
本文書によると、ＭＩＰ（Ｍａｔｒｉｘ ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）が適用されるブロックに対する変換インデックスを効率的にシグナリングできる。
本文書によると、ＭＩＰが適用されるブロックに対する変換インデックスを効率的にコーディングできる。
本文書によると、ＭＩＰが適用されるブロックに対する変換インデックスを別途にシグナリングせずに、誘導できる。
本文書によると、ＭＩＰ及びＬＦＮＳＴ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）が両方とも適用される場合、相互間の干渉を最小化し、最適のコーディング効率を維持し、複雑度は減少させることができる。
本文書の具体的な一例を介して得ることができる効果は、以上で羅列された効果に制限されない。例えば、関連した技術分野の通常の知識を有する者が（ａ ｐｅｒｓｏｎ ｈａｖｉｎｇ ｏｒｄｉｎａｒｙ ｓｋｉｌｌ ｉｎ ｔｈｅ ｒｅｌａｔｅｄ ａｒｔ）が本文書から理解し、または誘導できる多様な技術的効果が存在できる。それによって、本文書の具体的な効果は、本文書に明示的に記載されたものに制限されずに、本文書の技術的特徴から理解され、または誘導されることができる多様な効果を含むことができる。
本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。 本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。 本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。 シンタックス要素をエンコーディングするためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）を例示的に示す。 本文書の一実施例による多重変換技法を概略的に示す。 ６５個予測方向のイントラ方向性モードを例示的に示す。 本文書の一実施例によるＲＳＴを説明するための図である。 本文書の一実施例によるＲＳＴを説明するための図である。 ブロックに対するスキャニング順序を示す図である。 ８×８ブロックに対するＭＩＰを説明するための図である。 ＭＩＰ及びＬＦＮＳＴが適用される方法を説明する流れ図である。 本文書の実施例（ら）によるビデオ／映像エンコーディング方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施例（ら）によるビデオ／映像エンコーディング方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施例（ら）によるビデオ／映像デコーディング方法及び関連コンポーネントの一例を概略的に示す。 本文書の実施例（ら）によるビデオ／映像デコーディング方法及び関連コンポーネントの一例を概略的に示す。 本文書に開示された実施例が適用されることができるコンテンツストリーミングシステムの例を示す。
本文書は、様々な変更を加えることができ、種々の実施例を有することができ、特定実施例を図面に例示し、詳細に説明しようとする。しかしながら、これは、本文書を特定実施例に限定しようとするものではない。本明細書で常用する用語は、単に特定の実施例を説明するために使用されたものであって、本文書の技術的思想を限定しようとする意図で使用されるものではない。単数の表現は、文脈上明白に異なるように意味しない限り、複数の表現を含む。本明細書において「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものが存在することを指定しようとするものであり、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、またはこれらを組み合わせたものなどの存在または付加可能性を予め排除しないことと理解されるべきである。
一方、本文書で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の都合上、独立的に図示されたものであって、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち、二つ以上の構成が結合されて一つの構成をなすこともでき、一つの構成を複数の構成に分けることもできる。各構成が統合及び／または分離された実施例も本文書の本質から外れない限り、本文書の権利範囲に含まれる。
この文書において、“／”と“、”は、“及び／または”と解釈される。例えば、“Ａ／Ｂ”は、“Ａ及び／またはＢ”と解釈され、“Ａ、Ｂ”は、“Ａ及び／またはＢ”と解釈される。追加的に、“Ａ／Ｂ／Ｃ”は、“Ａ、Ｂ及び／またはＣのうち少なくとも一つ”を意味する。また、“Ａ、Ｂ、Ｃ”も、“Ａ、Ｂ及び／またはＣのうち少なくとも一つ”を意味する。（Ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “／” ａｎｄ “，” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．” Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ／Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．”Ｆｕｒｔｈｅｒ，“Ａ，Ｂ” ｍａｙ ｍｅａｎ “Ａ ａｎｄ／ｏｒ Ｂ．”Ｆｕｒｔｈｅｒ，“Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”Ａｌｓｏ，“Ａ／Ｂ／Ｃ” ｍａｙ ｍｅａｎ “ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ，ａｎｄ／ｏｒ Ｃ．”）
追加的に、本文書において、“または”は、“及び／または”と解釈される。例えば、“ＡまたはＢ”は、１）“Ａ”のみを意味し、または、２）“Ｂ”のみを意味し、または、３）“Ａ及びＢ”を意味することができる。他の表現としては、本文書の“または”は、“追加的にまたは代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）”を意味することができる。（Ｆｕｒｔｈｅｒ，ｉｎ ｔｈｅ ｄｏｃｕｍｅｎｔ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｎｄ／ｏｒ．” Ｆｏｒ ｉｎｓｔａｎｃｅ，ｔｈｅ ｅｘｐｒｅｓｓｉｏｎ “Ａ ｏｒ Ｂ” ｍａｙ ｃｏｍｐｒｉｓｅ １）ｏｎｌｙ Ａ，２）ｏｎｌｙ Ｂ，ａｎｄ／ｏｒ ３）ｂｏｔｈ Ａ ａｎｄ Ｂ．Ｉｎ ｏｔｈｅｒ ｗｏｒｄｓ，ｔｈｅ ｔｅｒｍ “ｏｒ” ｉｎ ｔｈｉｓ ｄｏｃｕｍｅｎｔ ｓｈｏｕｌｄ ｂｅ ｉｎｔｅｒｐｒｅｔｅｄ ｔｏ ｉｎｄｉｃａｔｅ “ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ．”）
本明細書において、“少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”は、“ただＡ”、“ただＢ”または“ＡとＢの両方とも”を意味することができる。また、本明細書において、“少なくとも一つのＡまたはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ｏｒ Ｂ）”や“少なくとも一つのＡ及び／またはＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ／ｏｒ Ｂ）”という表現は、“少なくとも一つのＡ及びＢ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ ａｎｄ Ｂ）”と同じく解釈されることができる。
また、本明細書において、“少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）”は、“ただＡ”、“ただＢ”、“ただＣ”、または“Ａ、Ｂ及びＣの任意の全ての組み合わせ（ａｎｙ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ Ａ、Ｂ ａｎｄ Ｃ）”を意味することができる。また、“少なくとも一つのＡ、ＢまたはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ｏｒ Ｃ）”や“少なくとも一つのＡ、Ｂ及び／またはＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ／ｏｒ Ｃ）”は、“少なくとも一つのＡ、Ｂ及びＣ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ Ａ，Ｂ ａｎｄ Ｃ）”を意味することができる。
この文書は、ビデオ／映像コーディングに関する。例えば、この文書に開示された方法／実施例は、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６６）、ＶＶＣ以後の次世代ビデオ／イメージコーディング標準、またはその以外のビデオコーディング関連標準（例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）標準（ＩＴＵ－Ｔ Ｒｅｃ．Ｈ．２６５）、ＥＶＣ（ｅｓｓｅｎｔｉａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ）標準、ＡＶＳ２標準等）と関連することができる。
この文書において、ビデオ（ｖｉｄｅｏ）は、時間の流れによる一連の映像（ｉｍａｇｅ）の集合を意味することができる。ピクチャ（ｐｉｃｔｕｒｅ）は、一般的に特定時間帯の一つの映像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、コーディングにおいてピクチャの一部を構成する単位である。スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。一つのピクチャは、一つ以上のスライス／タイルで構成されることができる。一つのピクチャは、一つ以上のタイルグループで構成されることができる。一つのタイルグループは、一つ以上のタイルを含むことができる。
ピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）は、一つのピクチャ（または、映像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用されることができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。または、サンプルは、空間ドメインでのピクセル値を意味することもでき、このようなピクセル値が周波数ドメインに変換されると、周波数ドメインでの変換係数を意味することもできる。
ユニット（ｕｎｉｔ）は、映像処理の基本単位を示すことができる。ユニットは、ピクチャの特定領域及び当該領域に関連した情報のうち少なくとも一つを含むことができる。一つのユニットは、一つのルマブロック及び二つのクロマ（例えば、ｃｂ、ｃｒ）ブロックを含むことができる。ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（または、サンプルアレイ）、または変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）の集合（または、アレイ）を含むことができる。
また、本明細書で使われる括弧は、“例えば（ｆｏｒ ｅｘａｍｐｌｅ）”を意味することができる。具体的に、“予測（イントラ予測）”で表示された場合、“予測”の一例として“イントラ予測”が提案されたものである。他の表現としては、本明細書の“予測”は、“イントラ予測”に制限（ｌｉｍｉｔ）されるものではなく、“イントラ予測”が“予測”の一例として提案されたものである。また、“予測（即ち、イントラ予測）”で表示された場合にも、“予測”の一例として“イントラ予測”が提案されたものである。
本明細書において、一つの図面内で個別的に説明される技術的特徴は、個別的に具現されることもでき、同時に具現されることもできる。
この文書ではビデオ／映像コーディングに関する多様な実施例を提示し、他の言及がない限り、前記実施例は、互いに組み合わせて実行されることもできる。
以下、添付図面を参照して、本文書の好ましい実施例をより詳細に説明する。以下、図面上の同じ構成要素に対しては、同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略されることができる。
図１は、本文書が適用されることができるビデオ／映像コーディングシステムの例を概略的に示す。
図１を参照すると、ビデオ／映像コーディングシステムは、ソースデバイス及び受信デバイスを含むことができる。ソースデバイスは、エンコーディングされたビデオ（ｖｉｄｅｏ）／映像（ｉｍａｇｅ）情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスに伝達できる。
前記ソースデバイスは、ビデオソース、エンコーディング装置、送信部を含むことができる。前記受信デバイスは、受信部、デコーディング装置、及びレンダラを含むことができる。前記エンコーディング装置は、ビデオ／映像エンコーディング装置と呼ばれることができ、前記デコーディング装置は、ビデオ／映像デコーディング装置と呼ばれることができる。送信機は、エンコーディング装置に含まれることができる。受信機は、デコーディング装置に含まれることができる。レンダラは、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイスまたは外部コンポーネントで構成されることもできる。
ビデオソースは、ビデオ／映像のキャプチャ、合成または生成過程などを介してビデオ／映像を取得することができる。ビデオソースは、ビデオ／映像キャプチャデバイス及び／またはビデオ／映像生成デバイスを含むことができる。ビデオ／映像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／映像を含むビデオ／映像アーカイブなどを含むことができる。ビデオ／映像生成デバイスは、例えば、コンピュータ、タブレット、及びスマートフォンなどを含むことができ、（電子的に）ビデオ／映像を生成することができる。例えば、コンピュータなどを介して仮想のビデオ／映像が生成されることができ、この場合、ビデオ／映像キャプチャ過程を関連データが生成される過程に代替されることができる。
エンコーディング装置は、入力ビデオ／映像をエンコーディングすることができる。エンコーディング装置は、圧縮及びコーディング効率のために、予測、変換、量子化など、一連の手順を実行することができる。エンコーディングされたデータ（エンコーディングされたビデオ／映像情報）は、ビットストリーム（ｂｉｔｓｔｒｅａｍ）形態で出力されることができる。
送信部は、ビットストリーム形態で出力されたエンコーディングされたビデオ／映像情報またはデータをファイルまたはストリーミング形態でデジタル格納媒体またはネットワークを介して受信デバイスの受信部に伝達できる。デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。送信部は、あらかじめ決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介した送信のためのエレメントを含むことができる。受信部は、前記ビットストリームを受信／抽出してデコーディング装置に伝達できる。
デコーディング装置は、エンコーディング装置の動作に対応する逆量子化、逆変換、予測など、一連の手順を実行してビデオ／映像をデコーディングすることができる。
レンダラは、デコーディングされたビデオ／映像をレンダリングすることができる。レンダリングされたビデオ／映像は、ディスプレイ部を介してディスプレイされることができる。
図２は、本文書が適用されることができるビデオ／映像エンコーディング装置の構成を概略的に説明する図である。以下、ビデオエンコーディング装置とは、映像エンコーディング装置を含むことができる。
図２に示すように、エンコーディング装置２００は、画像分割部（ｉｍａｇｅ ｐａｒｔｉｔｉｏｎｅｒ）２１０、予測部（ｐｒｅｄｉｃｔｏｒ）２２０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）２３０、エントロピーエンコーディング部（ｅｎｔｒｏｐｙ ｅｎｃｏｄｅｒ）２４０、加算部（ａｄｄｅｒ）２５０、フィルタリング部（ｆｉｌｔｅｒ）２６０、及びメモリ（ｍｅｍｏｒｙ）２７０を備えて構成されることができる。予測部２２０は、インター予測部２２１及びイントラ予測部２２２を備えることができる。レジデュアル処理部２３０は、変換部（ｔｒａｎｓｆｏｒｍｅｒ）２３２、量子化部（ｑｕａｎｔｉｚｅｒ）２３３、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）２３４、逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）２３５を備えることができる。レジデュアル処理部２３０は、減算部（ｓｕｂｔｒａｃｔｏｒ、２３１）をさらに備えることができる。加算部２５０は、復元部（ｒｅｃｏｎｓｔｒｕｃｔｏｒ）または復元ブロック生成部（ｒｅｃｏｎｔｒｕｃｔｇｅｄ ｂｌｏｃｋ ｇｅｎｅｒａｔｏｒ）と呼ばれることができる。上述した画像分割部２１０、予測部２２０、レジデュアル処理部２３０、エントロピーエンコーディング部２４０、加算部２５０、及びフィルタリング部２６０は、実施形態によって１つ以上のハードウェアコンポーネント（例えば、エンコーダチップセットまたはプロセッサ）によって構成されることができる。また、メモリ２７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体によって構成されることもできる。前記ハードウェアコンポーネントは、メモリ２７０を内／外部コンポーネントとしてさらに備えることもできる。
画像分割部２１０は、エンコーディング装置２００に入力された入力画像（または、ピクチャ、フレーム）を１つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。この場合、コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）または最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）からＱＴＢＴＴＴ（Ｑｕａｄ－ｔｒｅｅ ｂｉｎａｒｙ－ｔｒｅｅ ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割されることができる。例えば、１つのコーディングユニットは、クアッドツリー構造、バイナリツリー構造、及び／またはターナリ構造に基づいて下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。この場合、例えば、クアッドツリー構造が先に適用され、バイナリツリー構造及び／またはターナリ構造がその後に適用されることができる。または、バイナリツリー構造が先に適用されることもできる。それ以上分割されない最終コーディングユニットに基づいて本開示に係るコーディング手順が行われ得る。この場合、画像特性によるコーディング効率などに基づいて、最大コーディングユニットが最終コーディングユニットとして使用されることができ、または、必要に応じてコーディングユニットは、再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）もっと下位デプスのコーディングユニットに分割されて最適のサイズのコーディングユニットが最終コーディングユニットとして使用されることができる。ここで、コーディング手順とは、後述する予測、変換、及び復元などの手順を含むことができる。他の例として、前記処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）または変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）をさらに備えることができる。この場合、前記予測ユニット及び前記変換ユニットは、各々上述した最終コーディングユニットから分割またはパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を導く単位及び／または変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を導く単位であることができる。
ユニットは、場合によって、ブロック（ｂｌｏｃｋ）または領域（ａｒｅａ）などの用語と混用して使用されることができる。一般的な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプルまたは変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）等の集合を示すことができる。サンプルは、一般的にピクセルまたはピクセルの値を示すことができ、輝度（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すことができ、彩度（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。サンプルは、１つのピクチャ（または、画像）をピクセル（ｐｉｘｅｌ）またはペル（ｐｅｌ）に対応する用語として使用することができる。
減算部２３１は、入力映像信号（原本ブロック、原本サンプルまたは原本サンプルアレイ）から、予測部２２０から出力された予測信号（予測されたブロック、予測サンプルまたは予測サンプルアレイ）を減算してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルまたはレジデュアルサンプルアレイ）を生成することができ、生成されたレジデュアル信号は、変換部２３２に送信される。予測部２２０は、処理対象ブロック（以下、現在ブロックという）に対する予測を実行し、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部２２０は、現在ブロックまたはＣＵ単位でイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができる。予測部は、各予測モードに対する説明で後述するように、予測モード情報など、予測に関する多様な情報を生成してエントロピーエンコーディング部２４０に伝達できる。予測に関する情報は、エントロピーエンコーディング部２４０でエンコーディングされてビットストリーム形態で出力されることができる。
イントラ予測部２２２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックに隣接（ｎｅｉｇｈｂｏｒ）して位置することができ、または、離れて位置することもできる。イントラ予測で予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。非方向性モードは、例えば、ＤＣモード及びプラナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細かい程度によって、例えば、３３個の方向性予測モードまたは６５個の方向性予測モードを含むことができる。ただし、これは、例示であり、設定によってそれ以上またはそれ以下の個数の方向性予測モードが使用され得る。イントラ予測部２２２は、隣接ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部２２１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを導くことができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロック、またはサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）とを含むことができる。前記参照ブロックを含む参照ピクチャと前記時間的隣接ブロックを含む参照ピクチャとは同じであることができ、異なることもできる。前記時間的隣接ブロックは、同一位置参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、同一位置ＣＵ（ｃｏｌ ＣＵ）などの名前で呼ばれることができ、前記時間的隣接ブロックを含む参照ピクチャは、同一位置ピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることもできる。例えば、インター予測部２２１は、隣接ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われ得るし、例えば、スキップモードとマージモードとの場合に、インター予測部２２１は、隣接ブロックの動き情報を現在ブロックの動き情報として利用することができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が送信されないことがある。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、隣接ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）をシグナリングすることにより、現在ブロックの動きベクトルを指示することができる。
予測部２２０は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。
インター予測部２２１及び／またはイントラ予測部２２２を介して生成された予測信号は、復元信号を生成するために利用され、またはレジデュアル信号を生成するために利用されることができる。変換部２３２は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、またはＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）などを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとする時、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元された全てのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を利用して予測信号を生成し、それに基づいて取得される変換を意味する。また、変換過程は、正方形の同じ大きさを有するピクセルブロックに適用されることもでき、正方形でない可変大きさのブロックにも適用されることができる。
量子化部２３３は、変換係数を量子化してエントロピーエンコーディング部２４０に送信され、エントロピーエンコーディング部２４０は、量子化された信号（量子化された変換係数に関する情報）をエンコーディングしてビットストリームで出力できる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部２３３は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいてブロック形態の量子化された変換係数を１次元ベクトル形態で再整列でき、前記１次元ベクトル形態の量子化された変換係数に基づいて前記量子化された変換係数に関する情報を生成することもできる。エントロピーエンコーディング部２４０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なエンコーディング方法を実行することができる。エントロピーエンコーディング部２４０は、量子化された変換係数外にビデオ／イメージの復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値等）を共にまたは別途にエンコーディングすることもできる。エンコーディングされた情報（例えば、エンコーディングされたビデオ／映像情報）は、ビットストリーム形態でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で送信または格納されることができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本文書で後述されるシグナリング／送信される情報及び／またはシンタックス要素は、前述したエンコーディング手順を介してエンコーディングされて前記ビットストリームに含まれることができる。前記ビットストリームは、ネットワークを介して送信されることができ、またはデジタル格納媒体に格納されることができる。ここで、ネットワークは、放送網及び／または通信網などを含むことができ、デジタル格納媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、ブルーレイ、ＨＤＤ、ＳＳＤなど、多様な格納媒体を含むことができる。エントロピーエンコーディング部２４０から出力された信号は、送信する送信部（図示せず）及び／または格納する格納部（図示せず）がエンコーディング装置２００の内／外部エレメントとして構成されることができ、または、送信部は、エントロピーエンコーディング部２４０に含まれることもできる。
量子化部２３３から出力された量子化された変換係数は、予測信号を生成するために利用されることができる。例えば、量子化された変換係数に逆量子化部２３４及び逆変換部２３５を介して逆量子化及び逆変換を適用することによって、レジデュアル信号（レジデュアルブロックまたはレジデュアルサンプル）を復元することができる。加算部２５０は、復元されたレジデュアル信号を予測部２２０から出力された予測信号に加えることによって、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルまたは復元サンプルアレイ）が生成されることができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するように、フィルタリングをた経て次のピクチャのインター予測のために使われることもできる。
一方、ピクチャエンコーディング及び／または復元過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍ ａｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部２６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２６０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２７０、具体的に、メモリ２７０のＤＰＢに格納することができる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ、ＳＡＯ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部２６０は、各フィルタリング方法に対する説明で後述するように、フィルタリングに関する多様な情報を生成してエントロピーエンコーディング部２９０に伝達できる。フィルタリング関する情報は、エントロピーエンコーディング部２９０でエンコーディングされてビットストリーム形態で出力されることができる。
メモリ２７０に送信された修正された復元ピクチャは、インター予測部２８０で参照ピクチャとして使われることができる。エンコーディング装置は、これを介してインター予測が適用される場合、エンコーディング装置２００とデコーディング装置での予測ミスマッチを避けることができ、符号化効率も向上させることができる。
メモリ２７０のＤＰＢは、修正された復元ピクチャをインター予測部２２１での参照ピクチャとして使用するために格納することができる。メモリ２７０は、現在ピクチャ内の動き情報が導出された（または、エンコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部２２１に伝達できる。メモリ２７０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部２２２に伝達できる。
図３は、本文書が適用されることができるビデオ／映像デコーディング装置の構成を概略的に説明する図である。
図３に示すように、デコーディング装置３００は、エントロピーデコーディング部（ｅｎｔｒｏｐｙ ｄｅｃｏｄｅｒ）３１０、レジデュアル処理部（ｒｅｓｉｄｕａｌ ｐｒｏｃｅｓｓｏｒ）３２０、予測部（ｐｒｅｄｉｃｔｏｒ）３３０、加算部（ａｄｄｅｒ）３４０、フィルタリング部（ｆｉｌｔｅｒ）３５０、及びメモリ（ｍｅｍｏｅｒｙ）３６０を備えて構成されることができる。予測部３３０は、インター予測部３３１及びイントラ予測部３３２を備えることができる。レジデュアル処理部３２０は、逆量子化部（ｄｅｑｕａｎｔｉｚｅｒ）３２１及び逆変換部（ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍｅｒ）３２１を備えることができる。上述したエントロピーデコーディング部３１０、レジデュアル処理部３２０、予測部３３０、加算部３４０、及びフィルタリング部３５０は、実施形態によって１つのハードウェアコンポーネント（例えば、デコーダチップセットまたはプロセッサ）により構成されることができる。また、メモリ３６０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を備えることができ、デジタル格納媒体により構成されることもできる。前記ハードウェアコンポーネントは、メモリ３６０を内／外部コンポーネントとしてさらに備えることもできる。
ビデオ／画像情報を含むビットストリームが入力されれば、デコーディング装置３００は、図３のエンコーディング装置でビデオ／画像情報が処理されたプロセスに対応して画像を復元することができる。例えば、デコーディング装置３００は、前記ビットストリームから取得したブロック分割関連情報に基づいてユニット／ブロックを導出することができる。デコーディング装置３００は、エンコーディング装置で適用された処理ユニットを用いてデコーディングを行うことができる。したがって、デコーディングの処理ユニットは、例えば、コーディングユニットであることができ、コーディングユニットは、コーディングツリーユニットまたは最大コーディングユニットからクアッドツリー構造、バイナリツリー構造、及び／またはターナリツリー構造にしたがって分割されることができる。コーディングユニットから１つ以上の変換ユニットが導出され得る。そして、デコーディング装置３００を介してデコーディング及び出力された復元画像信号は、再生装置を介して再生されることができる。
デコーディング装置３００は、図２のエンコーディング装置から出力された信号をビットストリーム形態で受信することができ、受信された信号は、エントロピーデコーディング部３１０を介してデコーディングされることができる。例えば、エントロピーデコーディング部３１０は、前記ビットストリームをパーシングして映像復元（または、ピクチャ復元）に必要な情報（例えば、ビデオ／映像情報）を導出することができる。前記ビデオ／映像情報は、アダプテーションパラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）またはビデオパラメータセット（ＶＰＳ）等、多様なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／映像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。デコーディング装置は、前記パラメータセットに関する情報及び／または前記一般制限情報にも基づいてピクチャをデコーディングすることができる。本文書で後述されるシグナリング／受信される情報及び／またはシンタックス要素は、前記デコーディング手順を介してデコーディングされて前記ビットストリームから取得されることができる。例えば、エントロピーデコーディング部３１０は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのコーディング方法を基礎にしてビットストリーム内の情報をデコーディングし、映像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳しくは、ＣＡＢＡＣエントロピーデコーディング方法は、ビットストリームで各シンタックス要素に該当するｂｉｎを受信し、デコーディング対象シンタックス要素情報と隣接及びデコーディング対象ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルによってｂｉｎの発生確率を予測してｂｉｎの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行して各シンタックス要素の値に該当するシンボルを生成することができる。このとき、ＣＡＢＡＣエントロピーデコーディング方法は、コンテキストモデル決定後、次のシンボル／ｂｉｎのコンテキストモデルのためにデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキストモデルをアップデートすることができる。エントロピーデコーディング部３１０でデコーディングされた情報のうち予測に関する情報は、予測部３３０に提供され、エントロピーデコーディング部３１０でエントロピーデコーディングが実行されたレジデュアルに対する情報、即ち、量子化された変換係数及び関連パラメータ情報は、逆量子化部３２１に入力されることができる。また、エントロピーデコーディング部３１０でデコーディングされた情報のうちフィルタリングに関する情報は、フィルタリング部３５０に提供されることができる。一方、エンコーディング装置から出力された信号を受信する受信部（図示せず）がデコーディング装置３００の内／外部エレメントとしてさらに構成されることができ、または、受信部は、エントロピーデコーディング部３１０の構成要素である場合もある。一方、本文書によるデコーディング装置は、ビデオ／映像／ピクチャデコーディング装置と呼ばれることができ、前記デコーディング装置は、情報デコーダ（ビデオ／映像／ピクチャ情報デコーダ）及びサンプルデコーダ（ビデオ／映像／ピクチャサンプルデコーダ）に区分することもできる。前記情報デコーダは、前記エントロピーデコーディング部３１０を含むことができ、前記サンプルデコーダは、前記逆量子化部３２１、逆変換部３２２、予測部３３０、加算部３４０、フィルタリング部３５０、及びメモリ３６０のうち少なくとも一つを含むことができる。
逆量子化部３２１では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部３２１は、量子化された変換係数を２次元のブロック形態で再整列することができる。この場合、前記再整列は、エンコーディング装置で行われた係数スキャン順序に基づいて再整列を行うことができる。逆量子化部３２１は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
逆変換部３２２では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得するようになる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピーデコーディング部３１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか、または、インター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モードを決定することができる。
予測部は、後述する多様な予測方法に基づいて予測信号を生成することができる。例えば、予測部は、一つのブロックに対する予測のためにイントラ予測またはインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用できる。これはｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ（ＣＩＩＰ）と呼ばれることができる。また、予測部は、ブロックに対する予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を実行することもできる。前記イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ映像／動映像コーディングのために使われることができる。ＩＢＣは、基本的に現在ピクチャ内で予測を実行するが、現在ピクチャ内で参照ブロックを導出する点でインター予測と類似するように実行されることができる。即ち、ＩＢＣは、本文書で説明されるインター予測技法のうち少なくとも一つを利用することができる。
イントラ予測部３３２は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。前記参照されるサンプルは、予測モードによって前記現在ブロックの隣接（ｎｅｉｇｈｂｏｒ）に位置でき、または離れて位置することもできる。イントラ予測において、予測モードは、複数の非方向性モードと複数の方向性モードとを含むことができる。イントラ予測部３３２は、隣接ブロックに適用された予測モードを利用し、現在ブロックに適用される予測モードを決定することもできる。
インター予測部３３１は、参照ピクチャ上で動きベクトルにより特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。このとき、インター予測モードで送信される動き情報の量を減らすために、隣接ブロックと現在ブロックとの間の動き情報の相関性に基づいて、動き情報をブロック、サブブロックまたはサンプル単位で予測できる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測等）情報をさらに含むことができる。インター予測の場合に、隣接ブロックは、現在ピクチャ内に存在する空間的隣接ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間的隣接ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、を含むことができる。例えば、インター予測部３３１は、隣接ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／または参照ピクチャインデックスを導出することができる。多様な予測モードに基づいてインター予測が実行されることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモードを指示する情報を含むことができる。
加算部３４０は、取得されたレジデュアル信号を、予測部３３０から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることによって復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使われることができる。
加算部３４０は、復元部または復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使われることができ、後述するように、フィルタリングを経て出力されることもでき、または、次のピクチャのインター予測のために使われることもできる。
一方、ピクチャデコーディング過程でＬＭＣＳ（ｌｕｍａ ｍａｐｐｉｎｇ ｗｉｔｈ ｃｈｒｏｍａ ｓｃａｌｉｎｇ）が適用されることもできる。
フィルタリング部３５０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部３５０は、復元ピクチャに多様なフィルタリング方法を適用して修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ６０、具体的に、メモリ３６０のＤＰＢに送信できる。前記多様なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、両方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ３６０のＤＰＢに格納された（修正された）復元ピクチャは、インター予測部３３１で参照ピクチャとして使われることができる。メモリ３６０は、現在ピクチャ内の動き情報が導出された（または、デコーディングされた）ブロックの動き情報及び／または既に復元されたピクチャ内のブロックの動き情報を格納することができる。前記格納された動き情報は、空間的隣接ブロックの動き情報または時間的隣接ブロックの動き情報として活用するためにインター予測部３３１に伝達できる。メモリ３６０は、現在ピクチャ内の復元されたブロックの復元サンプルを格納することができ、イントラ予測部３３２に伝達できる。
本明細書において、デコーディング装置３００の予測部３３０、逆量子化部３２１、逆変換部３２２、及びフィルタリング部３５０などで説明された実施例は、各々、エンコーディング装置２００の予測部２２０、逆量子化部２３４、逆変換部２３５、及びフィルタリング部２６０などにも同一または対応されるように適用されることができる。
一方、前述したように、ビデオコーディングを実行するにあたって圧縮効率を上げるために予測を実行する。それによって、コーディング対象ブロックである現在ブロックに対する予測サンプルを含む予測されたブロックを生成することができる。ここで、前記予測されたブロックは、空間ドメイン（または、ピクセルドメイン）での予測サンプルを含む。前記予測されたブロックは、エンコーディング装置及びデコーディング装置で同様に導出され、前記エンコーディング装置は、原本ブロックの原本サンプル値自体でない前記原本ブロックと前記予測されたブロックとの間のレジデュアルに関する情報（レジデュアル情報）をデコーディング装置にシグナリングすることで画像コーディング効率を上げることができる。デコーディング装置は、前記レジデュアル情報に基づいてレジデュアルサンプルを含むレジデュアルブロックを導出し、前記レジデュアルブロックと前記予測されたブロックを加算して復元サンプルを含む復元ブロックを生成することができ、復元ブロックを含む復元ピクチャを生成することができる。
前記レジデュアル情報は、変換及び量子化手順を介して生成されることができる。例えば、エンコーディング装置は、前記原本ブロックと前記予測されたブロックとの間のレジデュアルブロックを導出し、前記レジデュアルブロックに含まれているレジデュアルサンプル（レジデュアルサンプルアレイ）に変換手順を実行して変換係数を導出し、前記変換係数に量子化手順を実行して量子化された変換係数を導出することで、関連したレジデュアル情報を（ビットストリームを介して）デコーディング装置にシグナリングすることができる。ここで、前記レジデュアル情報は、前記量子化された変換係数の値情報、位置情報、変換技法、変換カーネル、量子化パラメータなどの情報を含むことができる。デコーディング装置は、前記レジデュアル情報に基づいて逆量子化／逆変換手順を実行してレジデュアルサンプル（または、レジデュアルブロック）を導出することができる。デコーディング装置は、予測されたブロックと前記レジデュアルブロックに基づいて復元ピクチャを生成することができる。また、エンコーディング装置は、以後ピクチャのインター予測のための参照のために量子化された変換係数を逆量子化／逆変換してレジデュアルブロックを導出し、これに基づいて復元ピクチャを生成することができる。
一方、例えば、エンコーディング装置は、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）またはＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などのような多様なコーディング方法に基づいてシンタックス要素の値またはレジデュアルに関する変換係数の量子化された値などをエンコーディングしてビットストリームを導出することができる。また、デコーディング装置は、指数ゴロム符号化、ＣＡＶＬＣまたはＣＡＢＡＣなどのような多様なコーディング方法に基づいてビットストリームをデコーディングし、映像復元に必要なシンタックス要素の値またはレジデュアルに関する変換係数の量子化された値などを導出することができる。
例えば、前述したコーディング方法は、後述する内容のように実行されることができる。
図４は、シンタックス要素をエンコーディングするためのＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）を例示的に示す。
例えば、ＣＡＢＡＣのコーディング過程でエンコーディング装置は、入力信号が二進値でないシンタックス要素である場合には、前記入力信号の値を二進化（ｂｉｎａｒｉｚａｔｉｏｎ）して入力信号を二進値に変換できる。また、前記入力信号が既に二進値である場合（即ち、前記入力信号の値が二進値である場合）には、二進化が実行されずに、そのまま前記入力信号が利用されることができる。ここで、二進値を構成する各々の二進数０または１をｂｉｎということができる。例えば、二進化された後の二進ストリングが１１０である場合、１、１、及び０の各々を一つのｂｉｎと表すことができる。一つのシンタックス要素に対する前記ｂｉｎ（ら）は、前記シンタックス要素の値を示すことができる。このような二進化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓまたはＦｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなど、多様な二進化方法に基づくことができ、対象シンタックス要素に対する二進化方法は、あらかじめ定義されることができる。前記二進化手順は、エントロピーエンコーディング部内の二進化部により実行されることができる。
以後、前記シンタックス要素の二進化されたｂｉｎは、正規（ｒｅｇｕｌａｒ）コーディングエンジンまたはバイパス（ｂｙｐａｓｓ）コーディングエンジンに入力されることができる。エンコーディング装置の正規コーディングエンジンは、該当ｂｉｎに対して確率値を反映するコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を割り当てることができ、割り当てられたコンテキストモデルに基づいて該当ｂｉｎをエンコーディングすることができる。エンコーディング装置の前記正規コーディングエンジンは、各ｂｉｎに対するコーディングを実行した後に該当ｂｉｎに対するコンテキストモデルを更新することができる。前述した内容のようにコーディングされるｂｉｎは、コンテキストコーディングされたｂｉｎ（ｃｏｎｔｅｘｔ－ｃｏｄｅｄ ｂｉｎ）と表すことができる。
一方、前記シンタックス要素の二進化されたｂｉｎが前記バイパスコーディングエンジンに入力される場合には、次のようにコーディングされることができる。例えば、エンコーディング装置のバイパスコーディングエンジンは、入力されたｂｉｎに対して確率を推定する手順と、コーディング後に前記ｂｉｎに適用した確率モデルを更新する手順と、を省略することができる。バイパスコーディングが適用される場合、エンコーディング装置は、コンテキストモデルを割り当てる代わりに均一な確率分布を適用して入力されるｂｉｎをコーディングすることができ、これを介してエンコーディング速度を向上させることができる。前述した内容のようにコーディングされるｂｉｎは、バイパスｂｉｎ（ｂｙｐａｓｓ ｂｉｎ）と表すことができる。
エントロピーデコーディングは、前述したエントロピーエンコーディングと同じ過程を逆順に実行する過程を示すことができる。
デコーディング装置（エントロピーデコーディング部）は、エンコーディングされた映像／ビデオ情報をデコーディングすることができる。前記映像／ビデオ情報は、パーティショニング関連情報、予測関連情報（例えば、インター／イントラ予測区分情報、イントラ予測モード情報、インター予測モード情報等）、レジデュアル情報またはインループフィルタリング関連情報などを含むことができ、またはそれに関する多様なシンタックス要素を含むことができる。前記エントロピーコーディングは、シンタックス要素単位で実行されることができる。
デコーディング装置は、対象シンタックス要素に対する二進化を実行することができる。ここで、前記二進化は、Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓまたはＦｉｘｅｄ－ｌｅｎｇｔｈ ｂｉｎａｒｉｚａｔｉｏｎ ｐｒｏｃｅｓｓなど、多様な二進化方法に基づくことができ、対象シンタックス要素に対する二進化方法は、あらかじめ定義されることができる。デコーディング装置は、前記二進化手順を介して対象シンタックス要素の可用値に対する可用ｂｉｎストリング（ｂｉｎストリング候補）を導出することができる。前記二進化手順は、エントロピーデコーディング部内の二進化部により実行されることができる。
デコーディング装置は、ビットストリーム内の入力ビット（ら）から前記対象シンタックス要素に対する各ｂｉｎを順次にデコーディングまたはパーシングしながら、導出されたｂｉｎストリングを該当シンタックス要素に対する可用ｂｉｎストリングと比較できる。もし、導出されたｂｉｎストリングが前記可用ｂｉｎストリングのうち一つと同じ場合、該当ｂｉｎストリングに対応する値が該当シンタックス要素の値として導出される。もし、それとも、前記ビットストリーム内の次のビットをさらにパーシング後、前述した手順を再び実行することができる。このような過程を介してビットストリーム内に特定情報（または、特定シンタックス要素）に対する開始ビットや終了ビットを使用することなく、可変長さビットを利用して該当情報をシグナリングすることができる。これを介して低い値に対しては相対的に少ないビットを割り当てることができ、全般的なコーディング効率を上げることができる。
デコーディング装置は、ＣＡＢＡＣまたはＣＡＶＬＣなどのエントロピーコーディング技法に基づいて、ビットストリームから前記ｂｉｎストリング内の各ｂｉｎをコンテキストモデルに基づいてまたはバイパスに基づいてデコーディングできる
シンタックス要素がコンテキストモデルに基づいてデコーディングされる場合、デコーディング装置は、ビットストリームを介して前記シンタックス要素に該当するｂｉｎを受信することができ、前記シンタックス要素とデコーディング対象ブロックまたは隣接ブロックのデコーディング情報または以前ステップでデコーディングされたシンボル／ｂｉｎの情報を利用してコンテキストモデル（ｃｏｎｔｅｘｔ ｍｏｄｅｌ）を決定することができ、決定されたコンテキストモデルによって前記受信されたｂｉｎの発生確率を予測してｂｉｎの算術デコーディング（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を実行することで前記シンタックス要素の値を導出することができる。以後、前記決定されたコンテキストモデルに基づいて、次にデコーディングされるｂｉｎのコンテキストモデルがアップデートされることができる。
コンテキストモデルは、コンテキストコーディング（正規コーディング）されるｂｉｎ別に割当及びアップデートされることができ、コンテキストモデルは、コンテキストインデックス（ｃｔｘＩｄｘ：ｃｏｎｔｅｘｔ ｉｎｄｅｘ）またはコンテキストインデックス増減（ｃｔｘＩｎｃ：ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ）に基づいて指示されることができる。ｃｔｘＩｄｘは、ｃｔｘＩｎｃに基づいて導出されることができる。具体的に、例えば、前記正規コーディングされるｂｉｎの各々に対するコンテキストモデルを示すｃｔｘＩｄｘは、ｃｔｘＩｎｃ及びコンテキストインデックスオフセット（ｃｔｘＩｄｘＯｆｆｓｅｔ：ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｏｆｆｓｅｔ）の和として導出されることができる。例えば、前記ｃｔｘＩｎｃは、各ｂｉｎ別に異なるように導出されることができる。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、前記ｃｔｘＩｄｘの最小値（ｔｈｅ ｌｏｗｅｓｔ ｖａｌｕｅ）で示される。前記ｃｔｘＩｄｘＯｆｆｓｅｔは、一般的に他のシンタックス要素に対するコンテキストモデルとの区分のために利用される値であり、一つのシンタックス要素に対するコンテキストモデルは、ｃｔｘＩｎｃに基づいて区分または導出されることができる。
エントロピーエンコーディング手順で、正規コーディングエンジンを介してエンコーディングを実行するか、または、バイパスコーディングエンジンを介してエンコーディングを実行するかが決定されることができ、これによって、コーディング経路がスイッチングされることができる。エントロピーデコーディングは、エントロピーエンコーディングと同じ過程を逆順に実行することができる。
一方、例えば、シンタックス要素がバイパスデコーディングされる場合、デコーディング装置は、ビットストリームを介して前記シンタックス要素に該当するｂｉｎを受信することができ、均一な確率分布を適用して入力されるｂｉｎをデコーディングすることができる。この場合、デコーディング装置は、シンタックス要素のコンテキストモデルを導出する手順と、デコーディング以後に前記ｂｉｎに適用したコンテキストモデルを更新する手順と、は、省略されることができる。
図５は、本文書による多重変換技法を概略的に示す。
図５を参照すると、変換部は、前述した図２のエンコーディング装置内の変換部に対応されることができ、逆変換部は、前述した図２のエンコーディング装置内の逆変換部または図３のデコーディング装置内の逆変換部に対応されることができる。
変換部は、レジデュアルブロック内のレジデュアルサンプル（レジデュアルサンプルアレイ）に基づいて１次変換を実行して（１次）変換係数を導出することができる（Ｓ５１０）。このような１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）は、核心変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。ここで、前記１次変換は、多重変換選択（ＭＴＳ：Ｍｕｌｔｉｐｌｅ Ｔｒａｎｓｆｏｒｍ Ｓｅｌｅｃｔｉｏｎ）に基づくことができ、１次変換で多重変換が適用される場合、多重核心変換と呼ばれることができる。
例えば、多重核心変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ２（ＤＣＴ－ＩＩ、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）タイプ７（ＤＳＴ－ＶＩＩ）、ＤＣＴタイプ８（ＤＣＴ－ＶＩＩＩ）及び／またはＤＳＴタイプ１（ＤＳＴ－Ｉ）を追加的に使用して変換する方式を示すことができる。即ち、前記多重核心変換は、前記ＤＣＴタイプ２、前記ＤＳＴタイプ７、前記ＤＣＴタイプ８、及び前記ＤＳＴタイプ１の中から選択された複数の変換カーネルに基づいて、空間ドメインのレジデュアル信号（または、レジデュアルブロック）を周波数ドメインの変換係数（または、１次変換係数）に変換する変換方法を示すことができる。ここで、前記１次変換係数は、変換部側で臨時変換係数と呼ばれることができる。
即ち、既存の変換方法が適用される場合、ＤＣＴタイプ２に基づいてレジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数が生成されることができる。ただし、これと違って、前記多重核心変換が適用される場合、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８及び／またはＤＳＴタイプ１などに基づいて、レジデュアル信号（または、レジデュアルブロック）に対する空間ドメインから周波数ドメインへの変換が適用されて変換係数（または、１次変換係数）が生成されることができる。ここで、ＤＣＴタイプ２、ＤＳＴタイプ７、ＤＣＴタイプ８、及びＤＳＴタイプ１等は、変換タイプ、変換カーネル（ｋｅｒｎｅｌ）または変換コア（ｃｏｒｅ）と呼ばれることができる。このようなＤＣＴ／ＤＳＴ変換タイプは、基底関数に基づいて定義されることができる。
前記多重核心変換が実行される場合、前記変換カーネルの中から対象ブロックに対する垂直変換カーネル及び／または水平変換カーネルが選択されることができ、前記垂直変換カーネルに基づいて前記対象ブロックに対する垂直変換が実行され、前記水平変換カーネルに基づいて前記対象ブロックに対する水平変換が実行されることができる。ここで、前記水平変換は、前記対象ブロックの水平成分に対する変換を示すことができ、前記垂直変換は、前記対象ブロックの垂直成分に対する変換を示すことができる。前記垂直変換カーネル／水平変換カーネルは、レジデュアルブロックを含む対象ブロック（ＣＵまたはサブブロック）の予測モード及び／または変換インデックスに基づいて適応的に決定されることができる。
または、例えば、ＭＴＳを適用して１次変換を実行する場合、特定基底関数を所定値に設定し、垂直変換または水平変換である時、どのような基底関数が適用されるかを組み合わせて変換カーネルに対するマッピング関係を設定することができる。例えば、水平方向変換カーネルをｔｒＴｙｐｅＨｏｒで表し、垂直方向変換カーネルをｔｒＴｙｐｅＶｅｒで表す場合、０の値を有するｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒは、ＤＣＴ２に設定されることができ、１の値を有するｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒは、ＤＳＴ７に設定されることができる。２の値を有するｔｒＴｙｐｅＨｏｒまたはｔｒＴｙｐｅＶｅｒは、ＤＣＴ８に設定されることができる。
または、例えば、多数の変換カーネルセットのうちいずれか一つを指示するために、ＭＴＳインデックス（ｉｎｄｅｘ）がエンコーディングされ、ＭＴＳインデックス情報がデコーディング装置にシグナリングされることができる。ここで、ＭＴＳインデックスは、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素またはｍｔｓ＿ｉｄｘシンタックス要素で表すことができる。例えば、ＭＴＳインデックスが０である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が全て０であることを示すことができ、ＭＴＳインデックスが１である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が全て１であることを示すことができ、ＭＴＳインデックスが２である場合、ｔｒＴｙｐｅＨｏｒ値は２であり、かつｔｒＴｙｐｅＶｅｒ値は１であることを示すことができ、ＭＴＳインデックスが３である場合、ｔｒＴｙｐｅＨｏｒ値は１であり、かつｔｒＴｙｐｅＶｅｒ値は２であることを示すことができ、ＭＴＳインデックスが４である場合、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒ値が全て２であることを示すことができる。例えば、ＭＴＳインデックスによる変換カーネルセットは、以下の表のように示すことができる。
Figure 2023033544000002
変換部は、前記（１次）変換係数に基づいて２次変換を実行して修正された（２次）変換係数を導出することができる（Ｓ５２０）。前記１次変換は、空間ドメインから周波数ドメインへの変換であり、前記２次変換は、（１次）変換係数間に存在する相関関係（ｃｏｒｒｅｌａｔｉｏｎ）を利用してさらに圧縮的な表現に変換することを示すことができる。
例えば、前記２次変換は、非分離変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を含むことができる。この場合、前記２次変換は、非分離２次変換（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＮＳＳＴ）またはＭＤＮＳＳＴ（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。前記非分離２次変換は、前記１次変換を介して導出された（１次）変換係数を非分離変換マトリクス（ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて２次変換してレジデュアル信号に対する修正された変換係数（または、２次変換係数）を生成する変換を示すことができる。ここで、前記非分離変換マトリクスに基づいて前記（１次）変換係数に対して垂直変換及び水平変換を分離して（または、水平変換及び垂直変換を独立的に）適用せずに、一度に変換を適用することができる。
即ち、前記非分離２次変換は、前記（１次）変換係数の垂直成分及び水平成分を分離することなく、例えば、２次元信号（変換係数）を特定決められた方向（例えば、行優先（ｒｏｗ－ｆｉｒｓｔ）方向または列優先（ｃｏｌｕｍｎ－ｆｉｒｓｔ）方向）を介して１次元信号に再整列した後、前記非分離変換マトリクスに基づいて修正された変換係数（または、２次変換係数）を生成する変換方法を示すことができる。
例えば、行優先方向（または、順序）は、Ｍ×Ｎブロックに対して１番目の行、２番目の行、...、Ｎ番目の行の順序によって一列に配置することを示すことができ、列優先方向（または、順序）は、Ｍ×Ｎブロックに対して１番目の列、２番目の列、...、Ｍ番目の列の順序によって一列に配置することを示すことができる。ここで、Ｍ及びＮは、各々、ブロックの幅（Ｗ）及び高さ（Ｈ）を示すことができ、全て正の整数である。
例えば、前記非分離２次変換は、（１次）変換係数で構成されたブロック（以下、変換係数ブロックという）の左上段（ｔｏｐ－ｌｅｆｔ）領域に対して適用されることができる。例えば、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が全て８以上である場合、８×８非分離２次変換が前記変換係数ブロックの左上段８×８領域に対して適用されることができる。また、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）が全て４以上であり、かつ前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が８より小さい場合、４×４非分離２次変換が前記変換係数ブロックの左上段ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。ただし、実施例は、これに限定されるものではなく、例えば、前記変換係数ブロックの幅（Ｗ）または高さ（Ｈ）が全て４以上である条件のみ満たしても、４×４非分離２次変換が前記変換係数ブロックの左上段ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることもできる。
具体的に、例えば、４×４入力ブロックが使われる場合、非分離２次変換は、下記のように実行されることができる。
前記４×４入力ブロックＸは、以下のように示される。
Figure 2023033544000003
例えば、前記Ｘのベクトル形態は、以下のように示される。
Figure 2023033544000004
数式２を参照すると、
Figure 2023033544000005
は、ベクトルＸを示すことができ、行優先（ｒｏｗ－ｆｉｒｓｔ）順序によって数式１のＸの２次元ブロックを１次元ベクトルに再配列して示される。
この場合、前記２次非分離変換は、以下のように計算されることができる。
Figure 2023033544000006
ここで、
Figure 2023033544000007
は、変換係数ベクトルを示すことができ、Ｔは、１６×１６（非分離）変換マトリクスを示すことができる。
前記数式３に基づいて１６×１サイズの
Figure 2023033544000008
が導出されることができ、前記
Figure 2023033544000009
は、スキャン順序（水平、垂直または対角（ｄｉａｇｏｎａｌ）等）を介して４×４ブロックで再構成（ｒｅ－ｏｒｇａｎｉｚｅｄ）されることができる。ただし、前述した計算は、一例に過ぎず、非分離２次変換の計算複雑度を減らすためにＨｙＧＴ（Ｈｙｐｅｒｃｕｂｅ－Ｇｉｖｅｎｓ Ｔｒａｎｓｆｏｒｍ）などが非分離２次変換の計算のために使われることもできる。
一方、前記非分離２次変換は、モードベース（ｍｏｄｅ ｄｅｐｅｎｄｅｎｔ）の変換カーネル（または、変換コア、変換タイプ）が選択されることもできる。ここで、モードは、イントラ予測モード及び／またはインター予測モードを含むことができる。
例えば、前述したように、前記非分離２次変換は、前記変換係数ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて決定された８×８変換または４×４変換に基づいて実行されることができる。例えば、８×８変換は、Ｗ及びＨが全て８と同じまたは大きい場合、該当変換係数ブロックの内部に含まれている８×８領域に適用されることができる変換を示すことができ、前記８×８領域は、該当変換係数ブロックの内部の左上段８×８領域である。また、これと類似するように、４×４変換は、Ｗ及びＨが全て４と同じまたは大きい場合、該当変換係数ブロックの内部に含まれている４×４領域に適用されることができる変換を示すことができ、前記４×４領域は、該当変換係数ブロックの内部の左上段４×４領域である。例えば、８×８変換カーネルマトリクスは、６４×６４／１６×６４行列になることができ、４×４変換カーネルマトリクスは、１６×１６／８×１６行列になることができる。
このとき、モードベースの変換カーネル選択のために、８×８変換及び４×４変換の両方ともに対して非分離２次変換のための変換セット当たり２個ずつの非分離２次変換カーネルが構成されることができ、変換セットは、４個である。即ち、８×８変換に対して４個の変換セットが構成されることができ、４×４変換に対して４個の変換セットが構成されることができる。この場合、８×８変換に対する４個の変換セットには各々２個ずつの８×８変換カーネルが含まれることができ、４×４変換に対する４個の変換セットには各々２個ずつの４×４変換カーネルが含まれることができる。
ただし、前記変換のサイズ、前記セットの個数、及びセット内の変換カーネルの個数は、一例に過ぎず、８×８または４×４以外のサイズが使われることもでき、または、ｎ個のセットが構成されることもでき、各セット内にｋ個の変換カーネルが含まれることもできる。ここで、ｎ及びｋは、各々、正の整数である。
例えば、前記変換セットは、ＮＳＳＴセットと呼ばれることができ、前記ＮＳＳＴセット内の変換カーネルは、ＮＳＳＴカーネルと呼ばれることができる。例えば、前記変換セットの中からの特定セットの選択は、対象ブロック（ＣＵまたはサブブロック）のイントラ予測モードに基づいて実行されることができる。
例えば、イントラ予測モードは、２個の非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｎｏａｌ）または非角度性（ｎｏｎ－ａｎｇｕｌａｒ）イントラ予測モードと、６５個の方向性（ｄｉｒｅｃｔｉｏｎａｌ）または角度性（ａｎｇｕｌａｒ）イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、０番であるプラナー（ｐｌａｎａｒ）イントラ予測モード及び１番であるＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番の６５個のイントラ予測モードを含むことができる。ただし、これは一例に過ぎず、本文書による実施例は、イントラ予測モードの個数が異なる場合にも適用されることができる。一方、場合によって、６７番イントラ予測モードがさらに使用されることができ、前記６７番イントラ予測モードは、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードを示すこともできる。
図６は、６５個の予測方向のイントラ方向性モードを例示的に示す。
図６を参照すると、左上向対角予測方向を有する３４番イントラ予測モードを中心にして、水平方向性（ｈｏｒｉｚｏｎｔａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードと垂直方向性（ｖｅｒｔｉｃａｌ ｄｉｒｅｃｔｉｏｎａｌｉｔｙ）を有するイントラ予測モードとを区分することができる。図５のＨとＶは、各々、水平方向性と垂直方向性を意味することができ、－３２～３２の数字は、サンプルグリッドポジション（ｓａｍｐｌｅ ｇｒｉｄ ｐｏｓｉｔｉｏｎ）上で１／３２単位の変位を示すことができる。これはモードインデックス値に対するオフセットを示すことができる。
例えば、２番乃至３３番イントラ予測モードは、水平方向性を有することができ、３４番乃至６６番イントラ予測モードは、垂直方向性を有することができる。一方、３４番イントラ予測モードは、厳密には水平方向性も垂直方向性もないとみることができるが、２次変換の変換セットを決定する観点で水平方向性に属すると分類されることができる。その理由は、３４番イントラ予測モードを中心にして対称となる垂直方向モードに対しては入力データをトランスポーズ（ｔｒａｎｓｐｏｓｅ）して使用し、３４番イントラ予測モードに対しては水平方向モードに対する入力データ整列方式を使用するためである。ここで、入力データをトランスポーズすることは、２次元ブロックデータＭ×Ｎに対して行が列になり、列が行になってＮ×Ｍデータを構成することを意味することができる。
また、１８番イントラ予測モード及び５０番イントラ予測モードは、各々、水平イントラ予測モード（ｈｏｒｉｚｏｎｔａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）及び垂直イントラ予測モード（ｖｅｒｔｉｃａｌ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）を示すことができ、２番イントラ予測モードは、左側参照ピクセルを有して右上向の方向に予測するため、右上向対角（ｄｉａｇｏｎａｌ）イントラ予測モードと呼ばれることができ、同様に、３４番イントラ予測モードは、右下向対角イントラ予測モードと呼ばれ、６６番イントラ予測モードは、左下向対角イントラ予測モードと呼ばれることができる。
一方、非分離変換に特定セットが使われると決定されると、非分離２次変換インデックスを介して前記特定セット内のｋ個の変換カーネルの中から一つが選択されることができる。例えば、エンコーディング装置は、ＲＤ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ）チェックに基づいて特定変換カーネルを示す非分離２次変換インデックスを導出することができ、前記非分離２次変換インデックスをデコーディング装置にシグナリングできる。例えば、デコーディング装置は、前記非分離２次変換インデックスに基づいて特定セット内のｋ個の変換カーネルの中から一つを選択することができる。例えば、０の値を有するＮＳＳＴインデックスは、１番目の非分離２次変換カーネルを示すことができ、１の値を有するＮＳＳＴインデックスは、２番目の非分離２次変換カーネルを示すことができ、２の値を有するＮＳＳＴインデックスは、３番目の非分離２次変換カーネルを示すことができる。または、０の値を有するＮＳＳＴインデックスは、対象ブロックに対して１番目の非分離２次変換が適用されないことを示すことができ、１乃至３の値を有するＮＳＳＴインデックスは、前記３個の変換カーネルを指すことができる。
変換部は、選択された変換カーネルに基づいて前記非分離２次変換を実行し、修正された（２次）変換係数を取得することができる。前記修正された変換係数は、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。
一方、前述したように、２次変換が省略される場合、前記１次（分離）変換の出力である（１次）変換係数が、前述したように、量子化部を介して量子化された変換係数として導出されることができ、エンコーディングされてデコーディング装置にシグナリング及びエンコーディング装置内の逆量子化／逆変換部に伝達されることができる。
再び、図５を参照すると、逆変換部は、前述した変換部で実行された手順の逆順に一連の手順を実行することができる。逆変換部は、（逆量子化された）変換係数を受信し、２次（逆）変換を実行して（１次）変換係数を導出し（Ｓ５５０）、前記（１次）変換係数に対して１次（逆）変換を実行してレジデュアルブロック（レジデュアルサンプル）を取得することができる（Ｓ５６０）。ここで、前記１次変換係数は、逆変換部側で修正された（ｍｏｄｉｆｉｅｄ）変換係数と呼ばれることができる。エンコーディング装置及び／またはデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成することができ、これに基づいて復元ピクチャを生成することができることは、前述した通りである。
一方、デコーディング装置は、２次逆変換適用可否決定部（または、２次逆変換の適用可否を決定する要素）及び２次逆変換決定部（または、２次逆変換を決定する要素）をさらに含むこともできる。例えば、２次逆変換適用可否決定部は、２次逆変換の適用可否を決定することができる。例えば、２次逆変換は、ＮＳＳＴまたはＲＳＴであり、２次逆変換適用可否決定部は、ビットストリームからパーシングまたは取得した２次変換フラグに基づいて２次逆変換の適用可否を決定することができる。または、例えば、２次逆変換適用可否決定部は、レジデュアルブロックの変換係数に基づいて２次逆変換の適用可否を決定することもできる。
２次逆変換決定部は、２次逆変換を決定することができる。このとき、２次逆変換決定部は、イントラ予測モードによって指定されたＮＳＳＴ（または、ＲＳＴ）変換セットに基づいて現在ブロックに適用される２次逆変換を決定することができる。または、１次変換決定方法に依存的に（ｄｅｐｅｎｄ ｏｎ）２次変換決定方法が決定されることもできる。または、イントラ予測モードによって１次変換及び２次変換の多様な組み合わせが決定されることができる。例えば、２次逆変換決定部は、現在ブロックの大きさに基づいて２次逆変換が適用される領域を決定することもできる。
一方、前述したように、２次（逆）変換が省略される場合、（逆量子化された）変換係数を受信して前記１次（分離）逆変換を実行することでレジデュアルブロック（レジデュアルサンプル）を取得することができる。エンコーディング装置及び／またはデコーディング装置は、前記レジデュアルブロックと予測されたブロックに基づいて復元ブロックを生成することができ、これに基づいて復元ピクチャを生成することができることは、前述した通りである。
一方、本文書では非分離２次変換による計算量とメモリ要求量の低減のために、ＮＳＳＴの概念で変換マトリクス（カーネル）の大きさが減少されたＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）を適用することができる。
本文書において、ＲＳＴは、簡素化ファクタ（ｆａｃｔｏｒ）によって大きさが減少された変換マトリクス（ｔｒａｎｓｆｏｒｍ ｍａｔｒｉｘ）に基づいて対象ブロックに対するレジデュアルサンプルに対して実行される（簡素化）変換を意味することができる。これを実行する場合、変換マトリクスの大きさ減少によって変換時に要求される演算量が減少されることができる。即ち、ＲＳＴは、大きさが大きいブロックの変換または非分離変換時に発生する演算複雑度（ｃｏｍｐｌｅｘｉｔｙ）問題を解消するために利用されることができる。
例えば、ＲＳＴは、減少された変換（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）、減少された２次変換（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）、減少変換（ｒｅｄｕｃｔｉｏｎ ｔｒａｎｓｆｏｒｍ）、簡素化した変換（ｓｉｍｐｌｉｆｉｅｄ ｔｒａｎｓｆｏｒｍ）または簡素化変換（ｓｉｍｐｌｅ ｔｒａｎｓｆｏｒｍ）等、多様な用語で呼ばれることができ、ＲＳＴが呼ばれる名称は、羅列された例示に限定されるものではない。または、ＲＳＴは、主に変換ブロックで０でない係数を含む低周波領域で行われるため、ＬＦＮＳＴ（Ｌｏｗ－Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ－Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。
一方、２次逆変換がＲＳＴに基づいて行われる場合、エンコーディング装置２００の逆変換部２３５とデコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴに基づいて修正された変換係数を導出する逆ＲＳＴ部と、修正された変換係数に対する逆１次変換に基づいて前記対象ブロックに対するレジデュアルサンプルを導出する逆１次変換部と、を含むことができる。逆１次変換は、レジデュアルに適用された１次変換の逆変換を意味する。本文書において、変換に基づいて変換係数を導出することは、該当変換を適用して変換係数を導出することを意味することができる。
図７及び図８は、本文書の一実施例によるＲＳＴを説明するための図である。
例えば、図７は、正方向に減少された変換（ｆｏｒｗａｒｄ ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）が適用されることを説明するための図であり、図８は、逆方向に減少された変換（ｉｎｖｅｒｓｅ ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）が適用されることを説明するための図である。本文書において、対象ブロックは、コーディングが実行される現在ブロック、レジデュアルブロックまたは変換ブロックを示すことができる。
例えば、ＲＳＴではＮ次元ベクトル（Ｎ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）が異なる空間に位置したＲ次元ベクトル（Ｒ ｄｉｍｅｎｓｉｏｎａｌ ｖｅｃｔｏｒ）にマッピングされて減少された変換マトリクスが決定されることができる。ここで、Ｎ及びＲは、各々、正の整数であり、Ｒは、Ｎより小さい。Ｎは、変換が適用されるブロックの一辺の長さ（ｌｅｎｇｔｈ）の自乗または変換が適用されるブロックと対応される変換係数の総個数を意味することができ、簡素化ファクタは、Ｒ／Ｎ値を意味することができる。簡素化ファクタは、減少されたファクタ（ｒｅｄｕｃｅｄ ｆａｃｔｏｒ）、減少ファクタ（ｒｅｄｕｃｔｉｏｎ ｆａｃｔｏｒ）、簡素化したファクタ（ｓｉｍｐｌｉｆｉｅｄ ｆａｃｔｏｒ）または簡素化ファクタ（ｓｉｍｐｌｅ ｆａｃｔｏｒ）等、多様な用語で呼ばれることができる。一方、Ｒは、減少された係数（ｒｅｄｕｃｅｄ ｃｏｅｆｆｉｃｉｅｎｔ）で呼ばれることができるが、場合によっては、簡素化ファクタがＲを意味することもできる。また、場合によって、簡素化ファクタは、Ｎ／Ｒ値を意味することもできる。
例えば、簡素化ファクタまたは減少された係数は、ビットストリームを介してシグナリングされることができるが、これに限定されるものではない。例えば、簡素化ファクタまたは減少された係数に対する既定義された値が各エンコーディング装置２００及びデコーディング装置３００に格納されている場合があり、この場合、簡素化ファクタまたは減少された係数は、別途にシグナリングされない。
例えば、簡素化変換マトリクスのサイズ（Ｒ×Ｎ）は、通常の変換マトリクスのサイズ（Ｎ×Ｎ）より小さく、以下の数式のように定義されることができる。
Figure 2023033544000010
例えば、図７に示す減少された変換（ｒｅｄｕｃｅｄ ｔｒａｎｓｆｏｒｍ）ブロック内のマトリクスＴは、数式４のマトリクスＴＲ×Ｎを示すことができる。図７のように対象ブロックに対するレジデュアルサンプルに対して簡素化変換マトリクスＴＲ×Ｎが掛け算される場合、対象ブロックに対する変換係数が導出されることができる。
例えば、変換が適用されるブロックのサイズが８×８であり、Ｒが１６である場合（即ち、Ｒ／Ｎ＝１６／６４＝１／４）、図７によるＲＳＴは、以下の数式５のような行列演算で表現されることができる。この場合、メモリと掛け算演算が簡素化ファクタにより略１／４に減少できる。
本文書において、行列演算とは、行列を列ベクトルの左側に置き、行列と列ベクトルを掛け算して列ベクトルを得る演算として理解されることができる。
Figure 2023033544000011
数式５において、ｒ１乃至ｒ６４は、対象ブロックに対するレジデュアルサンプルを示すことができる。または、例えば、１次変換を適用して生成された変換係数である。数式５の演算結果に基づいて対象ブロックに対する変換係数ｃｉが導出されることができる。
例えば、Ｒが１６である場合、対象ブロックに対する変換係数ｃ１乃至ｃ１６が導出されることができる。もし、ＲＳＴではなく、通常の（ｒｅｇｕｌａｒ）変換が適用され、サイズが６４×６４（Ｎ×Ｎ）である変換マトリクスが、サイズが６４×１（Ｎ×１）であるレジデュアルサンプルに掛け算された場合、対象ブロックに対する変換係数が６４個（Ｎ個）が導出されるが、ＲＳＴが適用されたため、対象ブロックに対する変換係数が１６個（Ｒ個）のみが導出される。対象ブロックに対する変換係数の総個数がＮ個からＲ個に減少してエンコーディング装置２００がデコーディング装置３００に送信するデータの量が減少するため、エンコーディング装置２００とデコーディング装置３００との間の送信効率が増加できる。
変換マトリクスのサイズ観点を考慮すると、通常の変換マトリクスのサイズは、６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化変換マトリクスのサイズは、１６×６４（Ｒ×Ｎ）に減少するため、通常の変換を実行する時と比較すると、ＲＳＴを実行する時にメモリ使用をＲ／Ｎ割合で減少させることができる。また、通常の変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎ割合で減少（Ｒ×Ｎ）させることができる。
一実施例において、エンコーディング装置２００の変換部２３２は、対象ブロックに対するレジデュアルサンプルを１次変換及びＲＳＴベースの２次変換を実行することによって対象ブロックに対する変換係数を導出することができる。このような変換係数は、デコーディング装置３００の逆変換部に伝達されることができ、デコーディング装置３００の逆変換部３２２は、変換係数に対する逆ＲＳＴ（ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）に基づいて修正された変換係数を導出し、修正された変換係数に対する逆１次変換に基づいて対象ブロックに対するレジデュアルサンプルを導出することができる。
一実施例による逆ＲＳＴマトリクスＴＮ×Ｒのサイズは、通常の逆変換マトリクスのサイズＮ×Ｎより小さいＮ×Ｒであり、数式４に示す簡素化変換マトリクスＴＲ×Ｎとトランスポーズ（ｔｒａｎｓｐｏｓｅ）関係にある。
図８に示す減少された逆変換（ｒｅｄｕｃｅｄ ｉｎｖｅｒｓｅ ｔｒａｎｓｆｏｒｍ）ブロック内のマトリクスＴｔは、逆ＲＳＴマトリクスＴＲ×Ｎ Ｔを示すことができる。ここで、上付き文字Ｔは、トランスポーズを示すことができる。図８のように対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴＲ×Ｎ Ｔが掛け算される場合、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルが導出されることができる。逆ＲＳＴマトリクスＴＲ×Ｎ Ｔは、（ＴＲ×Ｎ）Ｔ Ｎ×Ｒで表現することもできる。
より具体的に、２次逆変換で逆ＲＳＴが適用される場合には、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴＲ×Ｎ Ｔが掛け算されると、対象ブロックに対する修正された変換係数が導出されることができる。一方、逆１次変換で逆ＲＳＴが適用されることができ、この場合、対象ブロックに対する変換係数に対して逆ＲＳＴマトリクスＴＲ×Ｎ Ｔが掛け算されると、対象ブロックに対するレジデュアルサンプルが導出されることができる。
一実施例において、逆変換が適用されるブロックのサイズが８×８であり、Ｒが１６である場合（即ち、Ｒ／Ｎ＝１６／６４＝１／４）、図８によるＲＳＴは、以下の数式６のような行列演算で表現されることができる。
Figure 2023033544000012
数式６において、ｃ１乃至ｃ１６は、対象ブロックに対する変換係数を示すことができる。数式６の演算結果に基づいて対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒｊが導出されることができる。即ち、対象ブロックに対する修正された変換係数または対象ブロックに対するレジデュアルサンプルを示すｒ１乃至ｒＮが導出されることができる。
逆変換マトリクスのサイズ観点を考慮すると、通常の逆変換マトリクスのサイズは、６４×６４（Ｎ×Ｎ）であり、それに対して、簡素化逆変換マトリクスのサイズは、６４×１６（Ｎ×Ｒ）に減少するため、通常の逆変換を実行する時と比較すると、逆ＲＳＴを実行する時にメモリ使用をＲ／Ｎの割合で減少させることができる。また、通常の逆変換マトリクスを利用する時の掛け算演算数Ｎ×Ｎと比較すると、簡素化逆変換マトリクスを利用する場合、掛け算演算数をＲ／Ｎの割合で減少（Ｎ×Ｒ）させることができる。
一方、８×８ＲＳＴに対しても変換セットを構成して適用できる。即ち、変換セットによって該当８×８ＲＳＴが適用されることができる。一つの変換セットは、画面内の予測モードによって２個または３個の変換カーネルで構成されているため、２次変換を適用しない場合まで含んで最大４個の変換の中から一つを選択するように構成されることができる。２次変換を適用しない時の変換は、恒等行列が適用されたと見なされる。４個の変換に対して各々０、１、２または３のインデックスを付与するとした時（例えば、０番インデックスを恒等行列、即ち、２次変換を適用しない場合に割り当てることができる）、ＮＳＳＴインデックスというシンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）を変換係数ブロック毎にシグナリングして適用される変換を指定することができる。即ち、ＮＳＳＴインデックスを介して８×８左上段ブロックに対して、８×８ＮＳＳＴを指定することができ、ＲＳＴ構成では８×８ＲＳＴを指定することができる。８×８ＮＳＳＴ及び８×８ＲＳＴは、変換の対象になる対象ブロックのＷ及びＨが全て８と同じまたは大きい場合、該当変換係数ブロックの内部に含まれている８×８領域に適用されることができる変換を示すことができ、前記８×８領域は、該当変換係数ブロックの内部の左上段８×８領域である。また、これと類似するように、４×４ＮＳＳＴ及び４×４ＲＳＴは、対象ブロックのＷ及びＨが全て４と同じまたは大きい場合、該当変換係数ブロックの内部に含まれている４×４領域に適用されることができる変換を示すことができ、前記４×４領域は、該当変換係数ブロックの内部の左上段４×４領域である。
図９は、ブロックに対するスキャニング順序を示す図である。
例えば、数式４のようなフォワード８×８ＲＳＴを適用するようになる場合、１６個の有効な変換係数が生成されることができ、８×８領域を構成する６４個の入力データが１６個の出力データに縮小されると見ることができ、２次元領域観点で見ると、１／４ほどの領域にのみ有効な変換係数が満たされることができる。したがって、例えば、フォワード８×８ＲＳＴを適用して得た１６個の出力データを図９の左上段領域に満たすことができる。
図９において、左上段４×４領域は、有効な変換係数が満たされるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）領域であり、残りの領域は、空の状態になる。例えば、空の領域には０値がデフォルトで満たされることができる。もし、ＲＯＩ領域以外に０でない有効な変換係数が発見された場合、８×８ＲＳＴが適用されないことであるため、該当ＮＳＳＴインデックスコーディングを省略することができる。ただし、それに対して、ＲＯＩ領域以外で０でない変換係数が発見されない場合（８×８ＲＳＴが適用される場合、ＲＯＩ以外の領域に対しては０で満たした時）、８×８ＲＳＴが適用された可能性があるため、ＮＳＳＴインデックスをコーディングすることができる。例えば、このような条件的ＮＳＳＴインデックスコーディングは、０でない変換係数の存在有無をチェックしなければならないため、レジデュアルコーディング過程以後に実行されることができる。
例えば、順方向スキャン順序が１から決められる時、順方向スキャン順序上で１７番目の係数乃至６４番目の係数に対するスキャニングが実行されることができる。または、例えば、図９における矢印方向は、逆方向スキャンを示すことができ、６４番目から１７番目までの逆方向スキャンを示すことができる。例えば、前記スキャンされる領域は、空の領域であり、空の領域またはＲＯＩ領域以外に０でない有効な変換係数は、前記スキャンに基づいてチェックされることができる。
前述したように、レジデュアルサンプルは、変換、量子化過程を経て量子化された変換係数として導出されることができる。量子化された変換係数は、変換係数とも呼ばれる。この場合、ブロック内の変換係数は、レジデュアル情報の形態でシグナリングされることができる。前記レジデュアル情報は、レジデュアルコーディングに関するシンタックスまたはシンタックス要素を含むことができる。例えば、エンコーディング装置は、レジデュアル情報をエンコーディングしてビットストリーム形態で出力でき、デコーディング装置は、ビットストリームからレジデュアル情報をデコーディングしてレジデュアル（量子化された）変換係数を導出することができる。前記レジデュアル情報は、後述するように該当ブロックに対して変換が適用されたか、ブロック内の最後の有効変換係数の位置がどこであるか、サブブロック内の有効変換係数が存在するか、または有効変換係数の大きさ／符号がどうであるかなどを示すシンタックス要素を含むことができる。
一方、例えば、図２のエンコーディング装置内の予測部または図３のデコーディング装置内の予測部は、イントラ予測を実行することができる。イントラ予測に対してより詳細に説明すると、下記の通りである。
イントラ予測は、現在ブロックが属するピクチャ（以下、現在ピクチャという）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する隣接参照サンプルが導出されることができる。前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの左側（ｌｅｆｔ）境界に隣接したサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接した総２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接したサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接した総２×ｎＷ個のサンプル及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接した１個のサンプルを含むことができる。または、前記現在ブロックの隣接参照サンプルは、複数列の上側隣接サンプル及び複数行の左側隣接サンプルを含むこともできる。また、前記現在ブロックの隣接参照サンプルは、ｎＷ×ｎＨ大きさの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接した総ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接した総ｎＷ個のサンプル及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接した１個のサンプルを含むこともできる。
ただし、現在ブロックの隣接参照サンプルのうち一部は、まだデコーディングされない、または利用可能でない場合がある。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）し、予測に使用する隣接参照サンプルを構成することができる。または、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して予測に使用する隣接参照サンプルを構成することができる。
隣接参照サンプルが導出された場合、（ｉ）現在ブロックの隣接（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）または補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの隣接参照サンプルのうち、予測サンプルに対して特定（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は、非方向性（ｎｏｎ－ｄｉｒｅｃｔｉｏｎａｌ）モードまたは非角度（ｎｏｎ－ａｎｇｕｌａｒ）モードと呼ばれ、（ｉｉ）の場合は、方向性（ｄｉｒｅｃｔｉｏｎａｌ）モードまたは角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。
また、前記隣接参照サンプルのうち前記現在ブロックの予測サンプルを基準にして、前記現在ブロックのイントラ予測モードの予測方向の反対方向に位置する前記第２の隣接サンプルと前記第１の隣接サンプルとの補間を介して前記予測サンプルが生成されることもできる。前述した場合は、線形補間イントラ予測（ＬＩＰ：Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を利用してルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭ（ｌｉｎｅａｒ ｍｏｄｅｌ）モードと呼ばれることができる。また、フィルタリングされた隣接参照サンプルに基づいて前記現在ブロックの臨時予測サンプルを導出し、前記既存の隣接参照サンプル、即ち、フィルタリングされない隣接参照サンプルのうち、前記イントラ予測モードによって導出された少なくとも一つの参照サンプルと前記臨時予測サンプルとを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して前記現在ブロックの予測サンプルを導出することもできる。前述した場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、現在ブロックの隣接多重参照サンプルラインの中から最も予測正確度が高い参照サンプルラインを選択して該当ラインで予測方向に位置する参照サンプルを利用して予測サンプルを導出し、この時に使われた参照サンプルラインをデコーディング装置に指示（シグナリング）する方法でイントラ予測コーディングを実行することができる。前述した場合は、ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ（ＭＲＬ）ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎまたはＭＲＬベースのイントラ予測と呼ばれることができる。また、現在ブロックを垂直または水平のサブパーティションに分けて同じイントラ予測モードに基づいてイントラ予測を実行し、前記サブパーティション単位で隣接参照サンプルを導出して利用できる。即ち、この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同じく適用され、前記サブパーティション単位で隣接参照サンプルを導出して利用することによって、場合によって、イントラ予測性能を高めることができる。このような予測方法は、ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ（ＩＳＰ）またはＩＳＰベースのイントラ予測と呼ばれることができる。
前述したイントラ予測方法は、イントラ予測モードと区分してイントラ予測タイプと呼ばれることができる。前記イントラ予測タイプは、イントラ予測技法または付加イントラ予測モードなど、多様な用語で呼ばれることができる。例えば、前記イントラ予測タイプ（または、付加イントラ予測モードなど）は、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、及びＩＳＰのうち少なくとも一つを含むことができる。前記ＬＩＰ、ＰＤＰＣ、ＭＲＬまたはＩＳＰなどの特定イントラ予測タイプを除外した一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、前記のような特定イントラ予測タイプが適用されない場合、一般的に適用されることができ、前述したイントラ予測モードに基づいて予測が実行されることができる。一方、必要によって、導出された予測サンプルに対する後処理フィルタリングが実行されることもできる。
即ち、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、隣接参照サンプル導出ステップ、及びイントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要によって、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが実行されることもできる。
一方、前述したイントラ予測タイプのうちＩＳＰは、現在ブロックを水平方向または垂直方向に分割し、分割されたブロック単位でイントラ予測を実行することができる。即ち、ＩＳＰは、前記現在ブロックを水平方向または垂直方向に分割してサブブロックを導出することができ、前記サブブロックの各々に対するイントラ予測を実行することができる。この場合、分割されたサブブロック単位でエンコーディング／デコーディングを実行して復元ブロック（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｂｌｏｃｋ）が生成されることができ、前記復元ブロックは、次に分割されたサブブロックの参照ブロックとして使われることができる。ここで、サブブロックは、イントラサブパーティション（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎ）とも呼ばれる。
例えば、ＩＳＰが適用される場合、前記現在ブロックのサイズに基づいて、現在ブロックは、垂直方向（ｖｅｒｔｉｃａｌ）または水平方向（ｈｏｒｉｚｏｎｔａｌ）に２個または４個のサブパーティションに分割されることができる。
例えば、ＩＳＰの適用のために、前記ＩＳＰの適用可否を示すフラグは、ブロック単位で送信されることができ、前記ＩＳＰが現在ブロックに適用される場合、分割タイプが水平であるか、または、垂直であるか 、即ち、前記分割方向が水平方向であるか、または、垂直方向であるかを示すフラグがエンコーディング／デコーディングされることができる。前記ＩＳＰの適用可否を示すフラグは、ＩＳＰフラグと呼ばれることができ、前記ＩＳＰフラグは、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇシンタックス要素で示される。また、前記分割タイプを示すフラグは、ＩＳＰ分割フラグと呼ばれることができ、前記ＩＳＰ分割フラグは、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇシンタックス要素で示される。
例えば、ＩＳＰフラグまたはＩＳＰ分割フラグにより現在ブロックにＩＳＰが適用されないことを示す情報（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ＝＝ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）、水平方向に分割されることを示す情報（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ＝＝ＩＳＰ＿ＨＯＲ＿ＳＰＬＩＴ）または垂直方向に分割されることを示す情報（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ＝＝ＩＳＰ＿ＶＥＲ＿ＳＰＬＩＴ）が示される。例えば、前記ＩＳＰフラグまたはＩＳＰ分割フラグは、ブロックのサブパーティショニングに関するＩＳＰ関連情報とも呼ばれる。
一方、前述したイントラ予測タイプ外にもＡＬＷＩＰ（ａｆｆｉｎｅ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が使われることができる。前記ＡＬＷＩＰは、ＬＷＩＰ（ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）、ＭＷＩＰ（ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）またはＭＩＰ（ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）とも呼ばれる。前記ＡＬＷＩＰが現在ブロックに対して適用される場合、ｉ）アベレージング（ａｖｅｒａｇｉｎｇ）手順が実行された隣接参照サンプルを利用し、ｉｉ）マトリクスベクトルマルチプリケーション（ｍａｔｒｉｘ－ｖｅｃｔｏｒ－ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）手順を実行し、ｉｉｉ）必要によって、水平／垂直補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順をさらに実行することで、前記現在ブロックに対する予測サンプルを導出することができる。
前記ＡＬＷＩＰのために使われるイントラ予測モードは、前述したＬＩＰ、ＰＤＰＣ、ＭＲＬまたはＩＳＰイントラ予測や、ノーマルイントラ予測で使われるイントラ予測モードと異なるように構成されることができる。前記ＡＬＷＩＰのためのイントラ予測モードは、ＡＬＷＩＰモードと呼ばれることができる。例えば、前記ＡＬＷＩＰのためのイントラ予測モードによって、前記マトリクスベクトルマルチプリケーションで使われるマトリクス及びオフセットが異なるように設定されることができる。ここで、前記マトリクスは、（アフィン）加重値メトリックスと呼ばれることができ、前記オフセットは、（アフィン）オフセットベクトルまたは（アフィン）バイアス（ｂｉａｓ）ベクトルと呼ばれることができる。本文書において、ＡＬＷＩＰのためのイントラ予測モードは、ＡＬＷＩＰモード、ＡＬＷＩＰイントラ予測モード、ＬＷＩＰモード、ＬＷＩＰイントラ予測モード、ＭＷＩＰモード、ＭＷＩＰイントラ予測モード、ＭＩＰモードまたはＭＩＰイントラ予測モードとも呼ばれる。具体的なＡＬＷＩＰ方法に対しては後述する。
図１０は、８×８ブロックに対するＭＩＰを説明するための図である。
幅Ｗ及び高さＨの四角形ブロックのサンプルを予測するために、ＭＩＰは、ブロックの左側境界（ｂｏｕｎｄａｒｙ）隣接のサンプル及び上側境界隣接のサンプルを利用することができる。ここで、左側境界隣接のサンプルは、ブロックの左側境界に隣接した１個のラインに位置したサンプルを示すことができ、復元されたサンプルを示すことができる。上側境界隣接のサンプルは、ブロックの上側境界に隣接した１個のラインに位置したサンプルを示すことができ、復元されたサンプルを示すことができる。
例えば、復元されたサンプルが可用しない場合、従来のイントラ予測と同様に、復元されたサンプルを生成または導出することができ、これを利用することもできる。
予測信号（または、予測サンプル）は、アベレージング過程（ａｖｅｒａｇｉｎｇ ｐｒｏｃｅｓｓ）、マトリクスベクトルマルチプリケーション過程（ｍａｔｒｉｘ ｖｅｃｔｏｒ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓ）、及び（線形）補間過程（（ｌｉｎｅａｒ）Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｐｒｏｃｅｓｓ）に基づいて生成されることができる。
例えば、アベレージング過程は、平均化を介して境界の外のサンプルを抽出する過程である。例えば、前記抽出するサンプルは、幅Ｗ及び高さＨが全て４である場合、４個のサンプルであり、その他の場合、８個のサンプルである。例えば、図１０において、ｂｄｒｙｌｅｆｔ及びｂｄｒｙｔｏｐは、各々、抽出された左側サンプル及び上側サンプルを示すことができる。
例えば、マトリクスベクトルマルチプリケーション過程は、平均化されたサンプルを入力してマトリクスベクトルマルチプリケーションを実行する過程である。または、オフセットがさらに追加されることができる。例えば、図１０において、Ａｋは、マトリクスを示すことができ、ｂｋは、オフセットを示すことができ、ｂｄｒｙｒｅｄは、アベレージング過程を介して抽出されたサンプルに対する減少された（ｒｅｄｕｃｅｄ）信号である。または、ｂｄｒｙｒｅｄは、ｂｄｒｙｌｅｆｔ及びｂｄｒｙｔｏｐに対する減少された情報である。結果は、原本ブロック内のサブサンプリングされたサンプルのセットに対する減少された予測信号（ｐｒｅｄｒｅｄ）である。
例えば、（線形）補間過程は、線形補間によりサブサンプリングされたセットに対する予測信号から残りの位置で予測信号が生成される過程である。ここで、線形補間は、各方向での単一線形補間を示すことができる。例えば、図１０において、ブロック内に灰色で表示された減少された予測信号（ｐｒｅｄｒｅｄ）及び隣接境界サンプルに基づいて線形補間を実行することができ、これを介してブロック内の全ての予測サンプルを導出することができる。
例えば、予測信号（または、予測ブロック、予測サンプル）を生成するために要求されるマトリクス（図１０において、Ａｋ）及びオフセットベクトル（図１０において、ｂｋ）は、マトリクスの３個のセット（Ｓ０、Ｓ１、及びＳ２）から有してくることができる。例えば、セットＳ０は、１８個のマトリクス（Ａ０ ｉ、ｉ＝０、１、...、１７）及び１８個のオフセットベクトル（ｂ０ ｉ、ｉ＝０、１、...、１７）で構成されることができる。ここで、１８個のマトリクスの各々は、１６個の行及び４個の列を有することができ、１８個のオフセットベクトルは、各々、１６サイズを有することができる。前記セットＳ０のマトリクス及びオフセットベクトルは、４×４サイズのブロックに使われることができる。例えば、セットＳ１は、１０個のマトリクス（Ａ１ ｉ、ｉ＝０、１、...、９）及び１０個のオフセットベクトル（ｂ１ ｉ、ｉ＝０、１、...、９）で構成されることができる。ここで、１０個のマトリクスの各々は、１６個の行及び８個の列を有することができ、１０個のオフセットベクトルは、各々、１６サイズを有することができる。前記セットＳ１のマトリクス及びオフセットベクトルは、４×８、８×４または８×８サイズのブロックに使われることができる。例えば、セットＳ２は、６個のマトリクス（Ａ２ ｉ、ｉ＝０、１、...、５）及び６個のオフセットベクトル（ｂ２ ｉ、ｉ＝０、１、...、５）で構成されることができる。ここで、６個のマトリクスの各々は、６４個の行及び８個の列を有することができ、６個のオフセットベクトルは、各々、６４サイズを有することができる。前記セットＳ２のマトリクス及びオフセットベクトルは、残りの全てのブロックに使われることができる。
一方、本文書の一実施例は、ＭＩＰが適用されるブロックに対してＬＦＮＳＴインデックス情報をシグナリングすることができる。または、エンコーディング装置は、ＭＩＰが適用されるブロックの変換のためのＬＦＮＳＴインデックス情報をエンコーディングしてビットストリームを生成することができ、デコーディング装置は、ビットストリームをパーシングまたはデコーディングしてＭＩＰが適用されるブロックの変換のためのＬＦＮＳＴインデックス情報を取得することができる。
例えば、ＬＦＮＳＴインデックス情報は、ＬＦＮＳＴ変換セットを構成する変換個数によって、これを区分するための情報である。例えば、ＬＦＮＳＴインデックス情報に基づいてＭＩＰが適用されたイントラ予測が実行されるブロックに対して最適のＬＦＮＳＴカーネルが選択されることができる。例えば、ＬＦＮＳＴインデックス情報は、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素で示される。
例えば、ＬＦＮＳＴインデックス情報（または、ｓｔ＿ｉｄｘシンタックス要素）は、以下の表のようにシンタックスに含まれることができる。
Figure 2023033544000013
Figure 2023033544000014
Figure 2023033544000015
Figure 2023033544000016
前記表２乃至表５は、一つのシンタックスまたは情報を連続して示すものである。
例えば、前記表２乃至表５において、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇシンタックス要素、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｉｄｘシンタックス要素、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンタックス要素またはｓｔ＿ｉｄｘシンタックス要素が示す情報またはセマンティクス（ｓｅｍａｔｉｃｓ）は、以下の表の通りである。
Figure 2023033544000017
例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素は、ルマサンプルまたは現在ブロックにＭＩＰが適用されるかに対する情報を示すことができる。または、例えば、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇシンタックス要素、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｉｄｘシンタックス要素またはｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンタックス要素は、ＭＩＰが適用される場合、現在ブロックに適用されるイントラ予測モードに対する情報を示すことができる。または、例えば、ｓｔ＿ｉｄｘシンタックス要素は、現在ブロックのためのＬＦＮＳＴに適用される変換カーネル（ＬＦＮＳＴカーネル）に対する情報を示すことができる。即ち、ｓｔ＿ｉｄｘシンタックス要素は、ＬＦＮＳＴ変換セット内に変換カーネルのうち一つを示す情報である。ここで、ｓｔ＿ｉｄｘシンタックス要素は、ｌｆｎｓｔ＿ｉｄｘシンタックス要素またはＬＦＮＳＴインデックス情報で表すこともできる。
図１１は、ＭＩＰ及びＬＦＮＳＴが適用される方法を説明する流れ図である。
一方、本文書の他の実施例は、ＭＩＰが適用されるブロックに対してＬＦＮＳＴインデックス情報をシグナリングしないこともある。または、エンコーディング装置は、ＭＩＰが適用されるブロックの変換のためのＬＦＮＳＴインデックス情報を除外した映像情報をエンコーディングしてビットストリームを生成することができ、デコーディング装置は、ビットストリームをパーシングまたはデコーディングし、ＭＩＰが適用されるブロックの変換のためのＬＦＮＳＴインデックス情報無く前記ブロックの変換過程を実行することができる。
例えば、ＬＦＮＳＴインデックス情報がシグナリングされない場合、ＬＦＮＳＴインデックス情報は、基本値として誘導されることができる。例えば、基本値として誘導されるＬＦＮＳＴインデックス情報は、０値である。例えば、値が０であるＬＦＮＳＴインデックス情報は、該当ブロックにＬＦＮＳＴが適用されないことを示すことができる。この場合、ＬＦＮＳＴインデックス情報を送信しないことによってＬＦＮＳＴインデックス情報をコーディングするためのビット量が低減される効果がある。また、ＭＩＰ及びＬＦＮＳＴが同時に適用されることを防止して複雑度を減少させることができ、これによる遅延（ｌａｔｅｎｃｙ）低減効果もある。
図１１を参照すると、まず該当ブロックにＭＩＰが適用されるかが判断されることができる。即ち、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が１であるか、または、０であるかを判断することができる（Ｓ１１００）。例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が１である場合、ｔｒｕｅまたはｙｅｓと見ることができ、該当ブロックにＭＩＰが適用されることを示すことができる。したがって、該当ブロックにＭＩＰ予測を実行することができる（Ｓ１１１０）。即ち、ＭＩＰ予測を実行して該当ブロックに対する予測ブロックを導出することができる。以後、逆１次変換（ｉｎｖｅｒｓｅ ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）手順が実行されることができ（Ｓ１１２０）、イントラ復元（ｉｎｔｒａ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）手順が実行されることができる（Ｓ１１３０）。即ち、ビットストリームから取得される変換係数に対して逆１次変換を実行してレジデュアルブロックを導出することができ、前記ＭＩＰ予測による予測ブロック及び前記レジデュアルブロックに基づいて復元ブロックを生成することができる。即ち、ＭＩＰが適用されるブロックに対するＬＦＮＳＴインデックス情報を含まない。または、ＭＩＰが適用されるブロックに対してＬＦＮＳＴを適用しない。
または、例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が０である場合、ｆａｌｓｅまたはｎｏと見ることができ、該当ブロックにＭＩＰが適用されないことを示すことができる。即ち、該当ブロックには従来のイントラ予測が適用されることができる（Ｓ１１４０）。即ち、従来のイントラ予測を実行して該当ブロックに対する予測ブロックを導出することができる。以後、該当ブロックにＬＦＮＳＴインデックス情報に基づいて該当ブロックにＬＦＮＳＴが適用されるかが判断されることができる。即ち、ｓｔ＿ｉｄｘシンタックス要素の値が０より大きいかを判断することができる（Ｓ１１５０）。例えば、ｓｔ＿ｉｄｘシンタックス要素の値が０より大きい場合、前記ｓｔ＿ｉｄｘシンタックス要素が示す変換カーネルを利用して逆ＬＦＮＳＴ変換（ｉｎｖｅｒｓｅ ＬＦＮＳＴ ｔｒａｎｓｆｏｒｍ）手順を実行することができる（Ｓ１１６０）。または、ｓｔ＿ｉｄｘシンタックス要素の値が０より大きくない場合、これは該当ブロックにＬＦＮＳＴが適用されないことを示すことができ、逆ＬＦＮＳＴ変換手順を実行しない。以後、逆１次変換（ｉｎｖｅｒｓｅ ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）手順が実行されることができ（Ｓ１１２０）、イントラ復元（ｉｎｔｒａ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）手順が実行されることができる（Ｓ１１３０）。即ち、ビットストリームから取得される変換係数に対して逆１次変換を実行してレジデュアルブロックを導出することができ、前記従来イントラ予測による予測ブロック及び前記レジデュアルブロックに基づいて復元ブロックを生成することができる。
整理すると、ＭＩＰが適用される場合、ＬＦＮＳＴインデックス情報の復号化無くＭＩＰ予測ブロックを生成し、受信された係数（ｃｏｅｆｆｉｃｉｅｎｔ）に対する逆１次変換を適用して最終的なイントラ復元信号を生成することができる。
それに対して、ＭＩＰが適用されない場合、ＬＦＮＳＴインデックス情報を復号化し、そのフラグ（または、ＬＦＮＳＴインデックス情報またはｓｔ＿ｉｄｘシンタックス要素）値が０より大きい場合、受信された係数（ｃｏｅｆｆｉｃｉｅｎｔ）に対して逆ＬＦＮＳＴ変換及び逆１次変換を適用して最終的なイントラ復元信号を生成することができる。
例えば、前述した手順のために、ＬＦＮＳＴインデックス情報（または、ｓｔ＿ｉｄｘシンタックス要素）は、ＭＩＰが適用されるかに対する情報（または、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素）に基づいてシンタックスまたは映像情報に含まれることができ、シグナリングされることができる。または、ＬＦＮＳＴインデックス情報（または、ｓｔ＿ｉｄｘシンタックス要素）は、ＭＩＰが適用されるかに対する情報（または、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素）を参照して選択的に構成／パーシング／シグナリング／送信／受信されることができる。例えば、ＬＦＮＳＴインデックス情報は、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素で示される。
例えば、ＬＦＮＳＴインデックス情報（または、ｓｔ＿ｉｄｘシンタックス要素）は、表７のように含まれることができる。
Figure 2023033544000018
例えば、表７を参照すると、ｓｔ＿ｉｄｘシンタックス要素は、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素に基づいて含まれることができる。即ち、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が０（!ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ）である場合、ｓｔ＿ｉｄｘシンタックス要素が含まれることができる。
または、例えば、ＬＦＮＳＴインデックス情報（または、ｌｆｎｓｔ＿ｉｄｘシンタックス要素）は、表８のように含まれることもできる。
Figure 2023033544000019
例えば、表８を参照すると、ｌｆｎｓｔ＿ｉｄｘシンタックス要素は、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素に基づいて含まれることができる。即ち、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が０（!ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ）である場合、ｌｆｎｓｔ＿ｉｄｘシンタックス要素が含まれることができる。
例えば、表７または表８を参照すると、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素は、ブロックのサブパーティショニングに関するＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ）関連情報に基づいて含まれることもできる。例えば、ＩＳＰ関連情報は、ＩＳＰフラグまたはＩＳＰ分割フラグを含むことができ、これを介してブロックにサブパーティショニングが実行されるかに対する情報を示すことができる。例えば、サブパーティショニングが実行されるかに対する情報は、ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅで示され、ＩＳＰ＿ＮＯ＿ＳＰＬＩＴは、サブパーティショニングが実行されないことを示すことができ、ＩＳＰ＿ＨＯＲ＿ＳＰＬＩＴは、水平方向にサブパーティショニングが実行されることを示すことができ、ＩＳＰ＿ＶＥＲ＿ＳＰＬＩＴは、垂直方向にサブパーティショニングが実行されることを示すことができる。
前記レジデュアル関連情報は、前記ＭＩＰフラグ及び前記ＩＳＰ関連情報に基づいて前記ＬＦＮＳＴインデックス情報を含む。
一方、本文書の他の実施例は、ＭＩＰが適用されるブロックに対してＬＦＮＳＴインデックス情報を別途にシグナリングせずに、誘導できる。または、エンコーディング装置は、ＭＩＰが適用されるブロックの変換のためのＬＦＮＳＴインデックス情報を除外した映像情報をエンコーディングしてビットストリームを生成することができ、デコーディング装置は、ビットストリームをパーシングまたはデコーディングし、ＭＩＰが適用されるブロックの変換のためのＬＦＮＳＴインデックス情報を誘導して取得でき、これに基づいて前記ブロックの変換過程を実行することができる。
即ち、該当ブロックに対してＬＦＮＳＴインデックス情報を復号化しないが、誘導過程を介してＬＦＮＳＴ変換セットを構成する変換を区分するインデックスを決定することができる。または、誘導過程を介してＭＩＰが適用されたブロックに別途の最適化された変換カーネルが使われるように決定することもできる。この場合、ＭＩＰが適用されたブロックに対して最適のＬＦＮＳＴカーネルを選択しながらも、これをコーディングするためのビット量を低減する効果を有することができる。
例えば、ＬＦＮＳＴインデックス情報は、イントラ予測のための参照ラインインデックス情報、イントラ予測モード情報、ブロックの大きさ情報またはＭＩＰ適用可否情報のうち少なくとも一つに基づいて誘導されることができる。
一方、本文書の他の実施例は、ＭＩＰが適用されるブロックに対するＬＦＮＳＴインデックス情報をシグナリングするために二進化できる。例えば、現在ブロックにＭＩＰが適用されるかどうかによって、適用可能なＬＦＮＳＴ変換の個数が異なり、このために、ＬＦＮＳＴインデックス情報に対する二進化方法が選択的にスイッチングされることができる。
例えば、ＭＩＰが適用されたブロックに対して一つのＬＦＮＳＴカーネルが使われることができ、このカーネルは、ＭＩＰが適用されないブロックに適用されるＬＦＮＳＴカーネルのうち一つである。または、ＭＩＰが適用されたブロックに対して既存に使われたＬＦＮＳＴカーネルを使用せずに、ＭＩＰが適用されたブロックに最適化された別個のカーネルを定義して使われることもできる。
この場合、ＭＩＰが適用されたブロックに対して、そうでないブロックより減少された個数のＬＦＮＳＴカーネルが使われることで、ＬＦＮＳＴインデックス情報をシグナリングすることによるオーバーヘッドを低減することができ、複雑度を減少する効果がある。
例えば、ＬＦＮＳＴインデックス情報は、以下の表のような二進化方法が利用されることができる。
Figure 2023033544000020
表９を参照すると、例えば、ｓｔ＿ｉｄｘシンタックス要素は、該当ブロックにＭＩＰが適用されない場合、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［］［］＝＝ｆａｌｓｅである場合またはｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が０である場合、ＴＲ（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）に二進化されることができる。例えば、この場合、入力パラメータであるｃＭａｘは、２の値を有することができ、ｃＲｉｃｅＰａｒａｍは、０の値を有することができる。
または、例えば、ｓｔ＿ｉｄｘシンタックス要素は、該当ブロックにＭＩＰが適用される場合、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［］［］＝＝ｔｒｕｅである場合またはｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が１である場合、ＦＬ（Ｆｉｘｅｄ－Ｌｅｎｇｔｈ）に二進化されることができる。例えば、この場合、入力パラメータであるｃＭａｘは、１の値を有することができる。
ここで、前記ｓｔ＿ｉｄｘシンタックス要素は、ＬＦＮＳＴインデックス情報を示すことができ、ｌｆｎｓｔ＿ｉｄｘシンタックス要素で表すこともできる。
一方、本文書の他の実施例は、ＭＩＰが適用されるブロックに対してＬＦＮＳＴ関連情報をシグナリングすることができる。
例えば、ＬＦＮＳＴインデックス情報は、一つのシンタックス要素を含むことができ、一つのシンタックス要素に基づいてＬＦＮＳＴが適用されるかに対する情報及びＬＦＮＳＴのために使われる変換カーネルの種類に対する情報を示すことができる。この場合、ＬＦＮＳＴインデックス情報は、例えば、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素で表すことができる。
または、例えば、ＬＦＮＳＴインデックス情報は、一つ以上のシンタックス要素を含むことができ、一つ以上のシンタックス要素に基づいてＬＦＮＳＴが適用されるかに対する情報及びＬＦＮＳＴのために使われる変換カーネルの種類に対する情報を示すこともできる。例えば、ＬＦＮＳＴインデックス情報は、２個のシンタックス要素を含むことができる。この場合、ＬＦＮＳＴインデックス情報は、ＬＦＮＳＴが適用されるかに対する情報を示すシンタックス要素及びＬＦＮＳＴのために使われる変換カーネルの種類に対する情報を示すシンタックス要素を含むことができる。例えば、ＬＦＮＳＴが適用されるかに対する情報は、ＬＦＮＳＴフラグと示すことができ、ｓｔ＿ｆｌａｇシンタックス要素またはｌｆｎｓｔ＿ｆｌａｇシンタックス要素で表すこともできる。または、例えば、ＬＦＮＳＴのために使われる変換カーネルの種類に対する情報は、変換カーネルインデックスフラグと示すことができ、ｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素、ｓｔ＿ｋｅｒｎｅｌ＿ｆｌａｇシンタックス要素、ｌｆｎｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素またはｌｆｎｓｔ＿ｋｅｒｎｅｌ＿ｆｌａｇシンタックス要素で表すこともできる。例えば、ＬＦＮＳＴインデックス情報が、前述したように、一つ以上のシンタックス要素を含む場合、ＬＦＮＳＴインデックス情報は、ＬＦＮＳＴ関連情報とも呼ばれる。
例えば、ＬＦＮＳＴ関連情報（例えば、ｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素）は、表１０のように含まれることができる。
Figure 2023033544000021
一方、ＭＩＰが適用されるブロックは、ＭＩＰが適用されないブロックと異なる個数のＬＦＮＳＴ変換（カーネル）が使われることができる。例えば、ＭＩＰが適用されるブロックは、一つのＬＦＮＳＴ変換カーネルのみが使われることもできる。例えば、前記一つのＬＦＮＳＴ変換カーネルは、ＭＩＰが適用されないブロックに適用されるＬＦＮＳＴカーネルのうち一つである。または、ＭＩＰが適用されたブロックに対して既存に使われたＬＦＮＳＴカーネルを使用せずに、ＭＩＰが適用されたブロックに最適化された別個のカーネルを定義して使われることもできる。
この場合、ＬＦＮＳＴ関連情報のうち、ＬＦＮＳＴのために使われる変換カーネルの種類に対する情報（例えば、変換カーネルインデックスフラグ）は、ＭＩＰが適用されたかによって選択的にシグナリングされることができ、この時のＬＦＮＳＴ関連情報は、例えば、表１１のように含まれることができる。
Figure 2023033544000022
即ち、表１１を参照すると、ＬＦＮＳＴのために使われる変換カーネルの種類に対する情報（または、ｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素）は、該当ブロックにＭＩＰが適用されたかに対する情報（または、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素）に基づいて含まれることができる。または、例えば、ｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素は、該当ブロックにＭＩＰが適用されない場合（!ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ）にシグナリングされることができる。
例えば、前記表１０または表１１において、ｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素が示す情報またはセマンティクス（ｓｅｍａｔｉｃｓ）は、以下の表の通りである。
Figure 2023033544000023
例えば、ｓｔ＿ｆｌａｇシンタックス要素は、２次変換が適用されるかに対する情報を示すことができる。例えば、ｓｔ＿ｆｌａｇシンタックス要素の値が０である場合、２次変換が適用されないことを示すことができ、１である場合、２次変換が適用されることを示すことができる。例えば、ｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素は、選択された変換セット内の２個の候補カーネルのうち適用される２次変換カーネルに対する情報を示すことができる。
例えば、ＬＦＮＳＴ関連情報は、以下の表のような二進化方法が利用されることができる。
Figure 2023033544000024
表１３を参照すると、例えば、ｓｔ＿ｆｌａｇシンタックス要素は、ＦＬに二進化されることができる。例えば、この場合、入力パラメータであるｃＭａｘは、１の値を有することができる。または、例えば、ｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素は、ＦＬに二進化されることができる。例えば、この場合、入力パラメータであるｃＭａｘは、１の値を有することができる。
例えば、表１０または表１１を参照すると、ｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素のｄｅｓｃｒｉｐｔｏｒは、ａｅ（ｖ）である。ここで、ａｅ（ｖ）は、コンテキスト適応的算術エントロピーコーディング（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ ｅｎｔｒｏｐｙ－ｃｏｄｉｎｇ）を示すことができる。または、ｄｅｓｃｒｉｐｔｏｒがａｅ（ｖ）であるシンタックス要素は、コンテキスト適応的算術エントロピーコーディングされたシンタックス要素（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ａｒｉｔｈｍｅｔｉｃ ｅｎｔｒｏｐｙ－ｃｏｄｅｄ ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）である。即ち、ＬＦＮＳＴ関連情報（例えば、ｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素）は、コンテキスト適応的算術エントロピーコーディングが適用されることができる。または、ＬＦＮＳＴ関連情報（例えば、ｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素）は、コンテキスト適応的算術エントロピーコーディングが適用された情報またはシンタックス要素である。または、ＬＦＮＳＴ関連情報（例えば、ｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素のｂｉｎストリングのｂｉｎ）は、前述したＣＡＢＡＣなどに基づいてエンコーディング／デコーディングされることができる。ここで、コンテキスト適応的算術エントロピーコーディングは、コンテキストモデルベースのコーディング、コンテキストコーディングまたは正規コーディングと示すこともできる。
例えば、ＬＦＮＳＴ関連情報（例えば、ｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素）のコンテキストインデックス増減（ｃｔｘＩｎｃ：ｃｏｎｔｅｘｔ ｉｎｄｅｘ ｉｎｃｒｅｍｅｎｔ）またはｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素のｂｉｎ位置によるｃｔｘＩｎｃは、表１４のように割当または決定されることができる。または、表１４のように、ｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素のｂｉｎ位置によってコンテキストモデルが選択されることができる。または、表１４のように、割当または決定されるｓｔ＿ｆｌａｇシンタックス要素またはｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素のｂｉｎ位置によるｃｔｘＩｎｃに基づいてコンテキストモデルが選択されることができる。
Figure 2023033544000025
表１４を参照すると、例えば、ｓｔ＿ｆｌａｇシンタックス要素（のｂｉｎストリングのｂｉｎまたは１番目のｂｉｎ）は、２個のコンテキストモデル（または、ｃｔｘＩｄｘ）を使用することができ、０または１の値を有するｃｔｘＩｎｃに基づいてコンテキストモデルが選択されることができる。または、例えば、ｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素（のｂｉｎストリングのｂｉｎまたは１番目のｂｉｎ）は、バイパスコーディングが適用されることができる。または、均一な確率分布を適用してコーディングできる。
例えば、前記ｓｔ＿ｆｌａｇシンタックス要素（のｂｉｎストリングのｂｉｎまたは１番目のｂｉｎ）のｃｔｘＩｎｃは、以下の表１５に基づいて決定されることができる。
Figure 2023033544000026
表１５を参照すると、例えば、前記ｓｔ＿ｆｌａｇシンタックス要素（のｂｉｎストリングのｂｉｎまたは１番目のｂｉｎ）のｃｔｘＩｎｃは、ＭＴＳインデックス（または、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素）またはツリータイプ情報（ｔｒｅｅＴｙｐｅ）に基づいて決定されることができる。例えば、ｃｔｘＩｎｃは、ＭＴＳインデックスの値が０であり、ツリータイプがシングルツリーでない場合、１として導出されることができる。または、ｃｔｘＩｎｃは、ＭＴＳインデックスの値が０でない、またはツリータイプがシングルツリーである場合、０として導出されることができる。
この場合、ＭＩＰが適用されたブロックに対して、そうでないブロックより減少された個数のＬＦＮＳＴカーネルが使われることで、ＬＦＮＳＴインデックス情報をシグナリングすることによるオーバーヘッドを低減することができ、複雑度を減少する効果がある。
一方、本文書の他の実施例は、ＭＩＰが適用されるブロックに対してＬＦＮＳＴカーネルを誘導して使用することができる。即ち、ＬＦＮＳＴカーネルに関する情報を別途にシグナリングせずに、誘導できる。または、エンコーディング装置は、ＭＩＰが適用されるブロックの変換のためのＬＦＮＳＴインデックス情報またはＬＦＮＳＴのために使われる変換カーネル（の種類）に対する情報を除外した映像情報をエンコーディングしてビットストリームを生成することができ、デコーディング装置は、ビットストリームをパーシングまたはデコーディングし、ＭＩＰが適用されるブロックの変換のためのＬＦＮＳＴインデックス情報またはＬＦＮＳＴのために使われる変換カーネルに対する情報を誘導して取得でき、これに基づいて前記ブロックの変換過程を実行することができる。
即ち、該当ブロックに対してＬＦＮＳＴインデックス情報またはＬＦＮＳＴのために使われる変換カーネルに対する情報を復号化しないが、誘導過程を介してＬＦＮＳＴ変換セットを構成する変換を区分するインデックスを決定することができる。または、誘導過程を介してＭＩＰが適用されたブロックに別途の最適化された変換カーネルが使われるように決定することもできる。この場合、ＭＩＰが適用されたブロックに対して最適のＬＦＮＳＴカーネルを選択しながらも、これをコーディングするためのビット量を低減する効果を有することができる。
例えば、ＬＦＮＳＴインデックス情報またはＬＦＮＳＴのために使われる変換カーネルに対する情報は、イントラ予測のための参照ラインインデックス情報、イントラ予測モード情報、ブロックの大きさ情報またはＭＩＰ適用可否情報のうち少なくとも一つに基づいて誘導されることができる。
前述した本文書の実施例において、ＦＬ（Ｆｉｘｅｄ－Ｌｅｎｇｔｈ）二進化は、特定ビット数のように固定された長さで二進化する方法を示すことができ、特定ビット数は、あらかじめ定義されることもでき、またはｃＭａｘに基づいて示すこともできる。ＴＵ（Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ）二進化は、表現しようとするシンボルの個数ほどの１と一個の０を利用し、表現しようとするシンボルの個数が最大長さと同じ場合、０を付け加えない可変長さで二進化する方法を示すことができ、最大長さは、ｃＭａｘに基づいて示すことができる。ＴＲ（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）二進化は、ＴＵ＋ＦＬのようにｐｒｅｆｉｘ及びｓｕｆｉｘを連結した形態で二進化する方法を示すことができ、最大長さ及びシフト（ｓｈｉｆｔ）情報を利用するが、シフト情報が０の値を有する場合、ＴＵと同じである。ここで、最大長さは、ｃＭａｘに基づいて示すことができ、シフト情報は、ｃＲｉｃｅＰａｒａｍに基づいて示すことができる。
図１２及び図１３は、本文書の実施例（ら）によるビデオ／映像エンコーディング方法及び関連コンポーネントの一例を概略的に示す。
図１２に開示された方法は、図２または図１３に開示されたエンコーディング装置により実行されることができる。具体的に、例えば、図１２のＳ１２００乃至Ｓ１２２０は、図１３の前記エンコーディング装置の予測部２２０により実行されることができ、図１２のＳ１２３０乃至Ｓ１２４０は、図１３の前記エンコーディング装置のレジデュアル処理部２３０により実行されることができ、図１２のＳ１２５０は、図１３の前記エンコーディング装置のエントロピーエンコーディング部２４０により実行されることができる。また、図１２には示されていないが、図１３において、前記エンコーディング装置の予測部２２０により予測サンプルまたは予測関連情報を導出することができ、前記エンコーディング装置のレジデュアル処理部２３０により原本サンプルまたは予測サンプルからレジデュアル情報が導出されることができ、前記エンコーディング装置のエントロピーエンコーディング部２４０によりレジデュアル情報または予測関連情報からビットストリームが生成されることができる。図１２に開示された方法は、本文書で詳述した実施例を含むことができる。
図１２を参照すると、エンコーディング装置は、現在ブロックに対するイントラ予測モード及びイントラ予測タイプを決定することができ（Ｓ１２００）、イントラ予測モード及びイントラ予測タイプに基づいて現在ブロックに対する予測関連情報を生成することができる（Ｓ１２１０）。例えば、予測関連情報は、イントラ予測モード情報及び／またはイントラ予測タイプ情報を含むことができる。
例えば、エンコーディング装置は、ＲＤ（ｒａｔｅ ｄｉｓｔｏｒｔｉｏｎ）コスト（ｃｏｓｔ）を考慮して前記現在ブロックに対する前記イントラ予測タイプを決定することができる。イントラ予測タイプ情報は、現在ブロックに隣接した参照ラインを使用するノーマルイントラ予測タイプ、現在ブロックに隣接しない参照ラインを使用するＭＲＬ（Ｍｕｌｔｉ－Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ）、現在ブロックに対してサブパーティショニングを実行するＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ）またはマトリクスを利用するＭＩＰ（Ｍａｔｒｉｘ ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）などの適用可否に対する情報を示すことができる。
例えば、前記イントラ予測タイプ情報（または、予測関連情報）は、前記現在ブロックにＭＩＰが適用されるかどうかを示すＭＩＰフラグを含むことができる。または、例えば、前記イントラ予測タイプ情報（または、予測関連情報）は、前記現在ブロックにＩＳＰのサブパーティショニングに関するＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ）関連情報を含むことができる。例えば、ＩＳＰ関連情報は、前記現在ブロックにＩＳＰが適用されるかどうかを示すＩＳＰフラグまたは分割される方向を示すＩＳＰ分割フラグを含むことができる。または、例えば、前記イントラ予測タイプ情報は、前記ＭＩＰフラグ及び前記ＩＳＰ関連情報を含むこともできる。例えば、ＭＩＰフラグは、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素を示すことができる。または、例えば、ＩＳＰフラグは、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇシンタックス要素を示すことができ、ＩＳＰ分割フラグは、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇシンタックス要素を示すことができる。
また、例えば、エンコーディング装置は、現在ブロックに対するイントラ予測モードを決定することができ、イントラ予測モードに基づいて現在ブロックに対するイントラ予測情報を生成することができる。例えば、エンコーディング装置は、ＲＤコストを考慮して前記イントラ予測モードを決定することができる。イントラ予測モード情報は、イントラ予測モードのうち現在ブロックに適用されるイントラ予測モードを示すことができる。例えば、イントラ予測モードは、０番乃至６６番イントラ予測モードを含むことができる。例えば、０番イントラ予測モードは、プラナーモードを示すことができ、１番イントラ予測モードは、ＤＣモードを示すことができる。また、２番乃至６６番イントラ予測モードは、方向性または角度性イントラ予測モードと示すことができ、参照する方向を示すことができる。または、０番及び１番イントラ予測モードは、非方向性または非角度性イントラ予測モードと示すことができる。これに対する詳細な説明は、図５と共に詳述した。
エンコーディング装置は、イントラ予測モード及びイントラ予測タイプに基づいて現在ブロックの予測サンプルを導出することができる（Ｓ１２２０）。または、例えば、エンコーディング装置は、イントラ予測モード及び／またはイントラ予測タイプに基づいて前記予測サンプルを生成することができる。
エンコーディング装置は、予測サンプルに基づいて現在ブロックのレジデュアルサンプルを生成することができる（Ｓ１２３０）。例えば、エンコーディング装置は、原本サンプル（例えば、入力映像信号）及び前記予測サンプルに基づいて前記レジデュアルサンプルを生成することができる。または、例えば、エンコーディング装置は、前記原本サンプルと前記予測サンプルとの間の差に基づいて前記レジデュアルサンプルを生成することができる。
エンコーディング装置は、レジデュアルサンプルに基づいて現在ブロックに対するレジデュアル関連情報を生成することができる（Ｓ１２４０）。例えば、エンコーディング装置は、レジデュアルサンプルに基づいて前記現在ブロックに対する臨時変換係数を導出することができ、前記臨時変換係数から前記現在ブロックに対する変換係数を導出することができ、前記変換係数に基づいて前記レジデュアル関連情報を生成することができる。例えば、２次変換が実行されない場合、前記臨時変換係数は、前記変換係数と同じであり、前記変換係数がそのまま利用されることができる。
例えば、エンコーディング装置は、前記レジデュアルサンプルに基づいて１次変換を実行して変換係数を導出することができる。または、例えば、エンコーディング装置は、前記レジデュアルサンプルに基づいて１次変換を実行して臨時変換係数を導出することができ、臨時変換係数にＬＦＮＳＴを適用して変換係数を導出することもできる。例えば、前記エンコーディング装置は、前記ＬＦＮＳＴが適用された場合、前記ＬＦＮＳＴインデックス情報を生成することができる。即ち、前記変換係数の導出に利用された変換カーネルに基づいて前記ＬＦＮＳＴインデックス情報を生成することができる。
例えば、エンコーディング装置は、変換係数に基づいて量子化を実行して量子化された変換係数を導出することができる。また、エンコーディング装置は、前記量子化された変換係数に基づいて量子化された変換係数に関する情報を生成することができる。また、前記レジデュアル関連情報は、量子化された変換係数に関する情報を含むことができる。
エンコーディング装置は、予測関連情報及びレジデュアル関連情報をエンコーディングすることができる（Ｓ１２５０）。例えば、レジデュアル関連情報は、前述したように、（量子化された）変換係数に関する情報を含むことができる。また、例えば、レジデュアル関連情報は、前記ＬＦＮＳＴインデックス情報を含むこともできる。または、例えば、レジデュアル関連情報は、前記ＬＦＮＳＴインデックス情報を含まないこともある。
例えば、前記レジデュアル関連情報は、前記ＭＩＰフラグに基づいて前記現在ブロックの低周波変換係数に対する非分離変換に関する情報を示すＬＦＮＳＴインデックス情報を含むことができる。または、例えば、前記レジデュアル関連情報は、前記ＭＩＰフラグまたは前記現在ブロックのサイズに基づいてＬＦＮＳＴインデックス情報を含むことができる。または、例えば、前記レジデュアル関連情報は、前記ＭＩＰフラグまたは前記現在ブロックに関する情報に基づいてＬＦＮＳＴインデックス情報を含むことができる。ここで、前記現在ブロックに関する情報は、前記現在ブロックのサイズ、シングルツリーまたはデュアルツリーを示すツリー構造情報、ＬＦＮＳＴ可用フラグまたはＩＳＰ関連情報のうち少なくとも一つを含むことができる。例えば、前記ＭＩＰフラグは、前記レジデュアル関連情報がＬＦＮＳＴインデックス情報を含むかどうかを判断するための複数の条件のうち一つであり、前記ＭＩＰフラグ外に前記現在ブロックのサイズなどのような他の条件により前記レジデュアル関連情報がＬＦＮＳＴインデックス情報を含むこともできる。ただし、以下では前記ＭＩＰフラグを中心に説明する。ここで、ＬＦＮＳＴインデックス情報は、変換インデックス情報と示すこともできる。または、ＬＦＮＳＴインデックス情報は、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素で表すこともできる。
例えば、前記レジデュアル関連情報は、前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて、前記ＬＦＮＳＴインデックス情報を含むことができる。または、例えば、前記レジデュアル関連情報は、前記ＭＩＰが適用されることを示す前記ＭＩＰフラグに基づいて、前記ＬＦＮＳＴインデックス情報を含まない。即ち、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されることを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が１である場合）、前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含まないこともあり、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されないことを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が０である場合）、前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含むことができる。
または、例えば、前記レジデュアル関連情報は、前記ＭＩＰフラグ及び前記ＩＳＰ関連情報に基づいて前記ＬＦＮＳＴインデックス情報を含むこともできる。例えば、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されないことを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が０である場合）、前記ＩＳＰ関連情報（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ）を参照して前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含むことができる。ここで、ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅは、ＩＳＰが適用されないこと（ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）、水平方向に適用（ＩＳＰ＿ＨＯＲ＿ＳＰＬＩＴ）または垂直方向に適用（ＩＳＰ＿ＶＥＲ＿ＳＰＬＩＴ）を示すことができ、これは前記ＩＳＰフラグまたは前記ＩＳＰ分割フラグに基づいて導出されることができる。
例えば、前記ＭＩＰフラグが、現在ブロックに前記ＭＩＰが適用されることを示すことによって前記ＬＦＮＳＴインデックス情報が誘導または導出されて使われることができ、この場合、前記レジデュアル関連情報は、前記ＬＦＮＳＴインデックス情報を含まない。即ち、エンコーディング装置は、前記ＬＦＮＳＴインデックス情報をシグナリングしない。例えば、前記ＬＦＮＳＴインデックス情報は、前記現在ブロックに対する参照ラインインデックス情報、前記現在ブロックのイントラ予測モード情報、前記現在ブロックのサイズ情報、及び前記ＭＩＰフラグのうち少なくとも一つに基づいて誘導または導出されて使われることができる。
または、例えば、前記ＬＦＮＳＴインデックス情報は、前記現在ブロックの低周波変換係数に対する非分離変換が適用されるかを示すＬＦＮＳＴフラグ及び／または変換カーネル（ｋｅｒｎｅｌ）候補のうち前記現在ブロックに適用された変換カーネルを示す変換カーネルインデックスフラグを含むこともできる。即ち、前記ＬＦＮＳＴインデックス情報は、一つのシンタックス要素または一つの情報に基づいて前記現在ブロックの低周波変換係数に対する非分離変換に関する情報を示すことができるが、２個のシンタックス要素または２個の情報に基づいて示すこともできる。例えば、前記ＬＦＮＳＴフラグは、ｓｔ＿ｆｌａｇシンタックス要素またはｌｆｎｓｔ＿ｆｌａｇシンタックス要素で表すこともでき、前記変換カーネルインデックスフラグは、ｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素、ｓｔ＿ｋｅｒｎｅｌ＿ｆｌａｇシンタックス要素、ｌｆｎｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素またはｌｆｎｓｔ＿ｋｅｒｎｅｌ＿ｆｌａｇシンタックス要素で表すこともできる。ここで、前記変換カーネルインデックスフラグは、前記非分離変換が適用されることを示す前記ＬＦＮＳＴフラグ及び前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて前記ＬＦＮＳＴインデックス情報に含まれることもできる。即ち、前記ＬＦＮＳＴフラグが、前記非分離変換が適用されることを示し、前記ＭＩＰフラグが、前記ＭＩＰが適用されることを示す場合、前記ＬＦＮＳＴインデックス情報は、前記変換カーネルインデックスフラグを含むことができる。
例えば、前記ＭＩＰフラグが、現在ブロックに前記ＭＩＰが適用されることを示すことによって前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグが誘導または導出されて使われることができ、この場合、前記レジデュアル関連情報は、前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグを含まない。即ち、エンコーディング装置は、前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグをシグナリングしない。例えば、前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグは、前記現在ブロックに対する参照ラインインデックス情報、前記現在ブロックのイントラ予測モード情報、前記現在ブロックのサイズ情報、及び前記ＭＩＰフラグのうち少なくとも一つに基づいて誘導または導出されて使われることができる。
例えば、前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含む場合、前記ＬＦＮＳＴインデックス情報は、二進化を介して示される。例えば、前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて、前記ＬＦＮＳＴインデックス情報（例えば、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素）は、ＴＲ（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）ベースの二進化を介して示され、前記ＭＩＰが適用されることを示す前記ＭＩＰフラグに基づいて、前記ＬＦＮＳＴインデックス情報（例えば、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素）は、ＦＬ（Ｆｉｘｅｄ Ｌｅｎｇｔｈ）ベースの二進化を介して示される。即ち、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されないことを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素が０またはｆａｌｓｅである場合）、前記ＬＦＮＳＴインデックス情報（例えば、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素）は、ＴＲベースの二進化を介して示され、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されることを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素が１またはｔｒｕｅである場合）、前記ＬＦＮＳＴインデックス情報（例えば、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素）は、ＦＬベースの二進化を介して示される。
または、例えば、前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含み、前記ＬＦＮＳＴインデックス情報が前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグを含む場合、前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグは、ＦＬ（Ｆｉｘｅｄ Ｌｅｎｇｔｈ）ベースの二進化を介して示される。
例えば、前記ＬＦＮＳＴインデックス情報は、前述したような二進化を介してｂｉｎストリング（のｂｉｎ）で示され、これをコーディングしてビット、ビットストリングまたはビットストリームを生成することができる。
例えば、前記ＬＦＮＳＴフラグのｂｉｎストリングの（１番目の）ｂｉｎは、コンテキストコーディングに基づいてコーディングされることができ、前記コンテキストコーディングは、前記ＬＦＮＳＴフラグに関するコンテキストインデックス増減の値に基づいて実行されることができる。ここで、コンテキストコーディングは、コンテキストモデルに基づいて実行されるコーディングであって、正規（ｒｅｇｕｌａｒ）コーディングとも呼ばれる。また、コンテキストモデルは、コンテキストインデックス（ｃｔｘＩｄｘ）により示され、前記コンテキストインデックスは、コンテキストインデックス増減（ｃｔｘＩｎｃ）及びコンテキストインデックスオフセット（ｃｔｘＩｄｘＯｆｆｓｅｔ）に基づいて示される。例えば、前記コンテキストインデックス増減の値は、０及び１を含む候補のうち一つで示される。例えば、前記コンテキストインデックス増減の値は、変換カーネルセットのうち前記現在ブロックに使用する変換カーネルセットを示すＭＴＳインデックス（例えば、ｍｔｓ＿ｉｄｘシンタックス要素またはｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素）及び前記現在ブロックの分割構造を示すツリータイプ情報に基づいて決定されることができる。ここで、ツリータイプ情報は、現在ブロックのルマ成分とクロマ成分の分割構造が同じであることを示すシングルツリーまたは現在ブロックのルマ成分とクロマ成分の分割構造が互いに異なることを示すデュアルツリーを示すことができる。
例えば、前記変換カーネルインデックスフラグのｂｉｎストリングの（１番目の）ｂｉｎは、バイパスコーディングに基づいてコーディングされることができる。ここで、バイパスコーディングは、均一な確率分布に基づいてコンテキストコーディングを実行することを示すこともでき、コンテキストコーディングのアップデート手順などが省略されることによってコーディング効率を向上させることができる。
または、図１２には示されていないが、例えば、エンコーディング装置は、前記レジデュアルサンプル及び前記予測サンプルに基づいて復元サンプルを生成することもできる。また、前記復元サンプルに基づいて復元ブロック及び復元ピクチャが導出されることもできる。
例えば、エンコーディング装置は、前述した情報（または、シンタックス要素）の全部または一部を含む映像情報をエンコーディングしてビットストリームまたはエンコーディングされた情報を生成することができる。または、ビットストリーム形態で出力できる。また、前記ビットストリームまたはエンコーディングされた情報は、ネットワークまたは格納媒体を介してデコーディング装置に送信されることができる。または、前記ビットストリームまたはエンコーディングされた情報は、コンピュータ読み取り可能な格納媒体に格納されることができ、前記ビットストリームまたは前記エンコーディングされた情報は、前述した映像エンコーディング方法により生成されることができる。
図１４及び図１５は、本文書の実施例（ら）によるビデオ／映像デコーディング方法及び関連コンポーネントの一例を概略的に示す。
図１４に開示された方法は、図３または図１５に開示されたデコーディング装置により実行されることができる。具体的に、例えば、図１４のＳ１４００は、図１５で前記デコーディング装置のエントロピーデコーディング部３１０により実行されることができ、図１４のＳ１４１０及びＳ１４２０は、図１５で前記デコーディング装置のレジデュアル処理部３２０により実行されることができる。また、図１４には示されていないが、図１５において、前記デコーディング装置のエントロピーデコーディング部３１０によりビットストリームから予測関連情報またはレジデュアル情報が導出されることができ、前記デコーディング装置のレジデュアル処理部３２０によりレジデュアル情報からレジデュアルサンプルが導出されることができ、前記デコーディング装置の予測部３３０により予測関連情報から予測サンプルが導出されることができ、前記デコーディング装置の加算部３４０によりレジデュアルサンプルまたは予測サンプルから復元ブロックまたは復元ピクチャが導出されることができる。図１４に開示された方法は、本文書で詳述した実施例を含むことができる。
図１４を参照すると、デコーディング装置は、現在ブロックに対する予測関連情報及びレジデュアル関連情報を取得することができる（Ｓ１４００）。例えば、予測関連情報は、現在ブロックに対するイントラ予測モード情報及び／またはイントラ予測タイプ情報を含むことができる。例えば、デコーディング装置は、ビットストリームをパーシングまたはデコーディングして予測関連情報またはレジデュアル関連情報を取得することができる。ここで、ビットストリームは、エンコーディングされた（映像）情報と呼ばれることもできる。例えば、デコーディング装置は、予測関連情報に基づいて現在ブロックに対する予測サンプルを生成することができる。
イントラ予測モード情報は、イントラ予測モードのうち現在ブロックに適用されるイントラ予測モードを示すことができる。例えば、イントラ予測モードは、０番乃至６６番イントラ予測モードを含むことができる。例えば、０番イントラ予測モードは、プラナーモードを示すことができ、１番イントラ予測モードは、ＤＣモードを示すことができる。また、２番乃至６６番イントラ予測モードは、方向性または角度性イントラ予測モードと示すことができ、参照する方向を示すことができる。または、０番及び１番イントラ予測モードは、非方向性または非角度性イントラ予測モードと示すことができる。これに対する詳細な説明は、図５と共に詳述した。
また、イントラ予測タイプ情報は、現在ブロックに隣接した参照ラインを使用するノーマルイントラ予測タイプ、現在ブロックに隣接しない参照ラインを使用するＭＲＬ（Ｍｕｌｔｉ－Ｒｅｆｅｒｅｎｃｅ Ｌｉｎｅ）、現在ブロックに対してサブパーティショニングを実行するＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ）またはマトリクスを利用するＭＩＰ（Ｍａｔｒｉｘ ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）などの適用可否に対する情報を示すことができる。
例えば、デコーディング装置は、ビットストリームからレジデュアル関連情報を取得することができる。ここで、レジデュアル関連情報は、レジデュアルサンプルを導出するために利用される情報を示すことができ、レジデュアルサンプルに関する情報、（逆）変換関連情報及び／または（逆）量子化関連情報を含むことができる。例えば、レジデュアル関連情報は、量子化された変換係数に関する情報を含むことができる。
例えば、前記イントラ予測タイプ情報（または、予測関連情報）は、前記現在ブロックにＭＩＰが適用されるかどうかを示すＭＩＰフラグを含むことができる。または、例えば、前記イントラ予測タイプ情報（または、予測関連情報）は、前記現在ブロックにＩＳＰのサブパーティショニングに関するＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ）関連情報を含むことができる。例えば、ＩＳＰ関連情報は、前記現在ブロックにＩＳＰが適用されるかどうかを示すＩＳＰフラグまたは分割される方向を示すＩＳＰ分割フラグを含むことができる。または、例えば、前記イントラ予測タイプ情報は、前記ＭＩＰフラグ及び前記ＩＳＰ関連情報を含むこともできる。例えば、ＭＩＰフラグは、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素を示すことができる。または、例えば、ＩＳＰフラグは、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇシンタックス要素を示すことができ、ＩＳＰ分割フラグは、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇシンタックス要素を示すことができる。
例えば、前記レジデュアル関連情報は、前記ＭＩＰフラグに基づいて前記現在ブロックの低周波変換係数に対する非分離変換に関する情報を示すＬＦＮＳＴ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）インデックス情報を含むことができる。または、例えば、前記レジデュアル関連情報は、前記ＭＩＰフラグまたは前記現在ブロックのサイズに基づいてＬＦＮＳＴインデックス情報を含むことができる。または、例えば、前記レジデュアル関連情報は、前記ＭＩＰフラグまたは前記現在ブロックに関する情報に基づいてＬＦＮＳＴインデックス情報を含むことができる。ここで、前記現在ブロックに関する情報は、前記現在ブロックのサイズ、シングルツリーまたはデュアルツリーを示すツリー構造情報、ＬＦＮＳＴ可用フラグまたはＩＳＰ関連情報のうち少なくとも一つを含むことができる。例えば、前記ＭＩＰフラグは、前記レジデュアル関連情報がＬＦＮＳＴインデックス情報を含むかどうかを判断するための複数の条件のうち一つであり、前記ＭＩＰフラグ外に前記現在ブロックのサイズなどのような他の条件により前記レジデュアル関連情報がＬＦＮＳＴインデックス情報を含むこともできる。ただし、以下では前記ＭＩＰフラグを中心に説明する。ここで、ＬＦＮＳＴインデックス情報は、変換インデックス情報と示すこともできる。または、ＬＦＮＳＴインデックス情報は、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素で表すこともできる。
例えば、前記レジデュアル関連情報は、前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて前記ＬＦＮＳＴインデックス情報を含むことができる。または、例えば、前記レジデュアル関連情報は、前記ＭＩＰが適用されることを示す前記ＭＩＰフラグに基づいて前記ＬＦＮＳＴインデックス情報を含まない。即ち、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されることを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が１である場合）、前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含まないこともあり、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されないことを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が０である場合）、前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含むことができる。
または、例えば、前記レジデュアル関連情報は、前記ＭＩＰフラグ及び前記ＩＳＰ関連情報に基づいて前記ＬＦＮＳＴインデックス情報を含むこともできる。例えば、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されないことを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素の値が０である場合）、前記ＩＳＰ関連情報（ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅ）を参照して前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含むことができる。ここで、ＩｎｔｒａＳｕｂＰａｒｔｉｔｉｏｎｓＳｐｌｉｔＴｙｐｅは、ＩＳＰが適用されないこと（ＩＳＰ＿ＮＯ＿ＳＰＬＩＴ）、水平方向に適用（ＩＳＰ＿ＨＯＲ＿ＳＰＬＩＴ）または垂直方向に適用（ＩＳＰ＿ＶＥＲ＿ＳＰＬＩＴ）を示すことができ、これは前記ＩＳＰフラグまたは前記ＩＳＰ分割フラグに基づいて導出されることができる。
例えば、前記ＭＩＰフラグが、現在ブロックに前記ＭＩＰが適用されることを示すことによって、前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含まない場合、即ち、前記ＬＦＮＳＴインデックス情報がシグナリングされない場合、前記ＬＦＮＳＴインデックス情報は、誘導または導出されることができる。例えば、前記ＬＦＮＳＴインデックス情報は、前記現在ブロックに対する参照ラインインデックス情報、前記現在ブロックのイントラ予測モード情報、前記現在ブロックのサイズ情報、及び前記ＭＩＰフラグのうち少なくとも一つに基づいて導出されることができる。
または、例えば、前記ＬＦＮＳＴインデックス情報は、前記現在ブロックの低周波変換係数に対する非分離変換が適用されるかを示すＬＦＮＳＴフラグ及び／または変換カーネル（ｋｅｒｎｅｌ）候補のうち前記現在ブロックに適用された変換カーネルを示す変換カーネルインデックスフラグを含むこともできる。即ち、前記ＬＦＮＳＴインデックス情報は、一つのシンタックス要素または一つの情報に基づいて前記現在ブロックの低周波変換係数に対する非分離変換に関する情報を示すことができるが、２個のシンタックス要素または２個の情報に基づいて示すこともできる。例えば、前記ＬＦＮＳＴフラグは、ｓｔ＿ｆｌａｇシンタックス要素またはｌｆｎｓｔ＿ｆｌａｇシンタックス要素で表すこともでき、前記変換カーネルインデックスフラグは、ｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素、ｓｔ＿ｋｅｒｎｅｌ＿ｆｌａｇシンタックス要素、ｌｆｎｓｔ＿ｉｄｘ＿ｆｌａｇシンタックス要素またはｌｆｎｓｔ＿ｋｅｒｎｅｌ＿ｆｌａｇシンタックス要素で表すこともできる。ここで、前記変換カーネルインデックスフラグは、前記非分離変換が適用されることを示す前記ＬＦＮＳＴフラグ及び前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて、前記ＬＦＮＳＴインデックス情報に含まれることもできる。即ち、前記ＬＦＮＳＴフラグが、前記非分離変換が適用されることを示し、前記ＭＩＰフラグが、前記ＭＩＰが適用されることを示す場合、前記ＬＦＮＳＴインデックス情報は、前記変換カーネルインデックスフラグを含むことができる。
例えば、前記ＭＩＰフラグが、現在ブロックに前記ＭＩＰが適用されることを示すことによって、前記レジデュアル関連情報が前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグを含まない場合、即ち、前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグがシグナリングされない場合、前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグは、誘導または導出されることができる。例えば、前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグは、前記現在ブロックに対する参照ラインインデックス情報、前記現在ブロックのイントラ予測モード情報、前記現在ブロックのサイズ情報、及び前記ＭＩＰフラグのうち少なくとも一つに基づいて導出されることができる。
例えば、前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含む場合、前記ＬＦＮＳＴインデックス情報は、二進化を介して導出されることができる。例えば、前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて、前記ＬＦＮＳＴインデックス情報（例えば、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素）は、ＴＲ（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）ベースの二進化を介して導出されることができ、前記ＭＩＰが適用されることを示す前記ＭＩＰフラグに基づいて、前記ＬＦＮＳＴインデックス情報（例えば、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素）は、ＦＬ（Ｆｉｘｅｄ Ｌｅｎｇｔｈ）ベースの二進化を介して導出されることができる。即ち、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されないことを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素が０またはｆａｌｓｅである場合）、前記ＬＦＮＳＴインデックス情報（例えば、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素）は、ＴＲベースの二進化を介して導出されることができ、前記ＭＩＰフラグが、前記現在ブロックにＭＩＰが適用されることを示す場合（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇシンタックス要素が１またはｔｒｕｅである場合）、前記ＬＦＮＳＴインデックス情報（例えば、ｓｔ＿ｉｄｘシンタックス要素またはｌｆｎｓｔ＿ｉｄｘシンタックス要素）は、ＦＬベースの二進化を介して導出されることができる。
または、例えば、前記レジデュアル関連情報が前記ＬＦＮＳＴインデックス情報を含み、前記ＬＦＮＳＴインデックス情報が前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグを含む場合、前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグは、ＦＬ（Ｆｉｘｅｄ Ｌｅｎｇｔｈ）ベースの二進化を介して導出されることができる。
例えば、前記ＬＦＮＳＴインデックス情報は、前述したような二進化を介して候補を導出することができ、ビットストリームをパーシングまたはデコーディングして示すｂｉｎを候補と比較でき、これを介して前記ＬＦＮＳＴインデックス情報が取得されることができる。
例えば、前記ＬＦＮＳＴフラグのｂｉｎストリングの（１番目の）ｂｉｎは、コンテキストコーディングに基づいて導出されることができ、前記コンテキストコーディングは、前記ＬＦＮＳＴフラグに関するコンテキストインデックス増減の値に基づいて実行されることができる。ここで、コンテキストコーディングは、コンテキストモデルに基づいて実行されるコーディングであって、正規（ｒｅｇｕｌａｒ）コーディングとも呼ばれる。また、コンテキストモデルは、コンテキストインデックス（ｃｔｘＩｄｘ）により示され、前記コンテキストインデックスは、コンテキストインデックス増減（ｃｔｘＩｎｃ）及びコンテキストインデックスオフセット（ｃｔｘＩｄｘＯｆｆｓｅｔ）に基づいて導出されることができる。例えば、前記コンテキストインデックス増減の値は、０及び１を含む候補のうち一つとして導出されることができる。例えば、前記コンテキストインデックス増減の値は、変換カーネルセットのうち前記現在ブロックに使用する変換カーネルセットを示すＭＴＳインデックス（例えば、ｍｔｓ＿ｉｄｘシンタックス要素またはｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素）及び前記現在ブロックの分割構造を示すツリータイプ情報に基づいて導出されることができる。ここで、ツリータイプ情報は、現在ブロックのルマ成分とクロマ成分の分割構造が同じであることを示すシングルツリーまたは現在ブロックのルマ成分とクロマ成分の分割構造が互いに異なることを示すデュアルツリーを示すことができる。
例えば、前記変換カーネルインデックスフラグのｂｉｎストリングの（１番目の）ｂｉｎは、バイパスコーディングに基づいて導出されることができる。ここで、バイパスコーディングは、均一な確率分布に基づいてコンテキストコーディングを実行することを示すことができ、コンテキストコーディングのアップデート手順などが省略されることによってコーディング効率を向上させることができる。
デコーディング装置は、レジデュアル関連情報に基づいて現在ブロックに対する変換係数を導出することができる（Ｓ１４１０）。例えば、レジデュアル関連情報は、量子化された変換係数に関する情報を含むことができ、デコーディング装置は、前記量子化された変換係数に関する情報に基づいて現在ブロックに対する量子化された変換係数を導出することができる。例えば、デコーディング装置は、前記量子化された変換係数に対して逆量子化を実行して現在ブロックに対する変換係数を導出することができる。
デコーディング装置は、変換係数に基づいて現在ブロックのレジデュアルサンプルを生成することができる（Ｓ１４２０）。例えば、デコーディング装置は、前記ＬＦＮＳＴインデックス情報に基づいて前記変換係数から前記レジデュアルサンプルを生成することができる。または、例えば、デコーディング装置は、前記ＬＦＮＳＴインデックス情報に基づいて前記変換係数から修正された変換係数を導出することができ、前記修正された変換係数に基づいて前記レジデュアルサンプルを生成することができる。例えば、逆２次変換が実行されない場合、前記変換係数は、前記修正された変換係数と同じであり、前記変換係数は、そのまま前記レジデュアルサンプルを生成するのに利用されることができる。
例えば、前記ＬＦＮＳＴインデックス情報が前記レジデュアル関連情報に含まれる場合または前記ＬＦＮＳＴインデックス情報が誘導または導出された場合、前記ＬＦＮＳＴインデックス情報によって前記変換係数に対してＬＦＮＳＴを実行することができ、修正された変換係数を導出することができる。以後、デコーディング装置は、修正された変換係数に基づいて前記レジデュアルサンプルを生成することができる。または、例えば、前記ＬＦＮＳＴインデックス情報が前記レジデュアル関連情報に含まれない場合またはＬＦＮＳＴを実行しないことを示す場合、デコーディング装置は、前記変換係数に対してＬＦＮＳＴを実行せずに、前記変換係数に基づいてレジデュアルサンプルを生成することができる。
図１４には示されていないが、例えば、デコーディング装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて復元サンプルを生成することができる。また、例えば、前記復元サンプルに基づいて復元ブロック及び復元ピクチャが導出されることができる。
例えば、デコーディング装置は、ビットストリームまたはエンコーディングされた情報をデコーディングして前述した情報（または、シンタックス要素）の全部または一部を含む映像情報を取得することができる。また、前記ビットストリームまたはエンコーディングされた情報は、コンピュータ読み取り可能な格納媒体に格納されることができ、前述したデコーディング方法が実行されるようにすることができる。
前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、該当実施例は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または、流れ図の一つまたはそれ以上のステップが本文書の実施例の範囲に影響を及ぼさずに削除可能であることを理解することができる。
前述した本文書の実施例による方法は、ソフトウェア形態で具現されることができ、本文書によるエンコーディング装置及び／またはデコーディング装置は、例えば、ＴＶ、コンピュータ、スマートフォン、セットトップボックス、ディスプレイ装置などの映像処理を実行する装置に含まれることができる。
本文書において、実施例がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。即ち、本文書で説明した実施例は、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。例えば、各図面で示す機能ユニットは、コンピュータ、プロセッサ、マイクロプロセッサ、コントローラまたはチップ上で具現されて実行されることができる。この場合、具現のための情報（例えば、ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ｉｎｓｔｒｕｃｔｉｏｎｓ）またはアルゴリズムがデジタル格納媒体に格納されることができる。
また、本文書の実施例（ら）が適用されるデコーディング装置及びエンコーディング装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ対話装置、ビデオ通信のようなリアルタイム通信装置、モバイルストリーミング装置、格納媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、このときネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、ＶＲ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）装置、ＡＲ（ａｒｇｕｍｅｎｔｅ ｒｅａｌｉｔｙ）装置、画像電話ビデオ装置、運送手段端末（例えば、車両（自律走行車両を含む）端末、飛行機端末、船舶端末等）、及び医療用ビデオ装置などに含まれることができ、ビデオ信号またはデータ信号を処理するために使われることができる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置として、ゲームコンソール、ブルーレイプレーヤ、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ）などを含むことができる。
また、本文書の実施例（ら）が適用される処理方法は、コンピュータで実行されるプログラムの形態で生産されることができ、コンピュータが読み取り可能な記録媒体に格納されることができる。また、本文書の実施例（ら）によるデータ構造を有するマルチメディアデータもコンピュータが読み取り可能な記録媒体に格納されることができる。前記コンピュータが読み取り可能な記録媒体は、コンピュータで読みだすことができるデータが格納される全ての種類の格納装置及び分散格納装置を含む。前記コンピュータが読み取り可能な記録媒体は、例えば、ブルーレイディスク（ＢＤ）、汎用直列バス（ＵＳＢ）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピーディスク、及び光学的データ格納装置を含むことができる。また、前記コンピュータが読み取り可能な記録媒体は、搬送波（例えば、インターネットを介した送信）の形態で具現されたメディアを含む。また、エンコーディング方法で生成されたビットストリームがコンピュータが読み取り可能な記録媒体に格納され、または、有無線通信ネットワークを介して送信されることができる。
また、本文書の実施例（ら）は、プログラムコードによるコンピュータプログラム製品で具現されることができ、前記プログラムコードは、本文書の実施例（ら）によりコンピュータで実行されることができる。前記プログラムコードは、コンピュータにより読み取り可能なキャリア上に格納されることができる。
図１６は、本文書に開示された実施例が適用されることができるコンテンツストリーミングシステムの例を示す。
図１６を参照すると、本文書の実施例が適用されるコンテンツストリーミングシステムは、大別して、エンコーディングサーバ、ストリーミングサーバ、ウェブサーバ、メディア格納所、ユーザ装置、及びマルチメディア入力装置を含むことができる。
前記エンコーディングサーバは、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置から入力されたコンテンツをデジタルデータで圧縮してビットストリームを生成し、これを前記ストリーミングサーバに送信する役割をする。他の例として、スマートフォン、カメラ、カムコーダなどのようなマルチメディア入力装置がビットストリームを直接生成する場合、前記エンコーディングサーバは省略されることができる。
前記ビットストリームは、本文書の実施例に適用されるエンコーディング方法またはビットストリーム生成方法により生成されることができ、前記ストリーミングサーバは、前記ビットストリームを送信または受信する過程で一時的に前記ビットストリームを格納することができる。
前記ストリーミングサーバは、ウェブサーバを介したユーザ要請に基づいてマルチメディアデータをユーザ装置に送信し、前記ウェブサーバは、ユーザにどのようなサービスがあるかを知らせる媒介体役割をする。ユーザが前記ウェブサーバに所望のサービスを要請すると、前記ウェブサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを送信する。このとき、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割をする。
前記ストリーミングサーバは、メディア格納所及び／またはエンコーディングサーバからコンテンツを受信することができる。例えば、前記エンコーディングサーバからコンテンツを受信するようになる場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間格納することができる。
前記ユーザ装置の例として、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートブックコンピュータ（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、ウォッチ型端末（ｓｍａｒｔｗａｔｃｈ）、グラス型端末（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）、デジタルＴＶ、デスクトップコンピュータ、デジタルサイニジがある。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバで受信するデータは、分散処理されることができる。
本明細書に記載された請求項は、多様な方式で組み合わせることができる。例えば、本明細書の方法請求項の技術的特徴が組み合わせて装置で具現されることができ、本明細書の装置請求項の技術的特徴が組み合わせて方法で具現されることができる。また、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせて装置で具現されることができ、本明細書の方法請求項の技術的特徴と装置請求項の技術的特徴が組み合わせて方法で具現されることができる。

Claims (14)

  1. デコーディング装置により実行される映像デコーディング方法において、
    ビットストリームから現在ブロックに対する予測関連情報及びレジデュアル関連情報を取得するステップと、
    前記レジデュアル関連情報に基づいて前記現在ブロックに対する変換係数を導出するステップと、
    前記変換係数に基づいて前記現在ブロックのレジデュアルサンプルを生成するステップとを含み、
    前記レジデュアル関連情報は、ＬＦＮＳＴ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）に対する可用フラグとＭＩＰ（Ｍａｔｒｉｘ ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）フラグに基づく前記現在ブロックに対するＬＦＮＳＴ変換セットでの変換カーネルの一つと関連するＬＦＮＳＴインデックス情報を含み、
    前記レジデュアルサンプルを生成するステップは、
    前記ＬＦＮＳＴインデックス情報に基づいて前記変換係数から修正された変換係数を導出するステップと、
    前記修正された変換係数に基づいて前記レジデュアルサンプルを生成するステップとを含み、
    前記ＭＩＰフラグは、前記現在ブロックにＭＩＰが適用されるかどうかを示し、
    前記ＭＩＰフラグは、前記予測関連情報に含まれる、映像デコーディング方法。
  2. 前記ＬＦＮＳＴが可用であることを示す前記可用フラグと前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて、前記レジデュアル関連情報は、前記ＬＦＮＳＴインデックス情報を含む、請求項１に記載の映像デコーディング方法。
  3. 前記ＭＩＰが適用されることを示す前記ＭＩＰフラグに基づいて、前記レジデュアル関連情報は、前記ＬＦＮＳＴインデックス情報を含まず、
    前記ＬＦＮＳＴインデックス情報は、前記現在ブロックに対する参照ラインインデックス情報、前記現在ブロックのイントラ予測モード情報、前記現在ブロックのサイズ情報、及び前記ＭＩＰフラグのうち少なくとも一つに基づいて導出される、請求項１に記載の映像デコーディング方法。
  4. 前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて、前記ＬＦＮＳＴインデックス情報は、ＴＲ（Ｔｒｕｎｃａｔｅｄ Ｒｉｃｅ）ベースの二進化を介して導出され、
    前記ＭＩＰが適用されることを示す前記ＭＩＰフラグに基づいて、前記ＬＦＮＳＴインデックス情報は、ＦＬ（Ｆｉｘｅｄ Ｌｅｎｇｔｈ）ベースの二進化を介して導出される、請求項１に記載の映像デコーディング方法。
  5. 前記ＬＦＮＳＴインデックス情報は、前記現在ブロックの低周波変換係数に対する非分離変換が適用されるかを示すＬＦＮＳＴフラグ及び変換カーネル（ｋｅｒｎｅｌ）候補のうち前記現在ブロックに適用された変換カーネルを示す変換カーネルインデックスフラグを含む、請求項１に記載の映像デコーディング方法。
  6. 前記変換カーネルインデックスフラグは、前記非分離変換が適用されることを示す前記ＬＦＮＳＴフラグ及び前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて前記ＬＦＮＳＴインデックス情報に含まれる、請求項５に記載の映像デコーディング方法。
  7. 前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグは、ＦＬ（Ｆｉｘｅｄ Ｌｅｎｇｔｈ）ベースの二進化を介して導出される、請求項５に記載の映像デコーディング方法。
  8. 前記ＬＦＮＳＴフラグのｂｉｎストリングの１番目のｂｉｎは、コンテキストコーディングに基づいて導出され、前記コンテキストコーディングは、前記ＬＦＮＳＴフラグに対するコンテキストインデックス増加値に基づいて実行され、前記コンテキストインデックス増加値は、０及び１を含む候補のうち一つとして導出され、
    前記変換カーネルインデックスフラグのｂｉｎストリングの１番目のｂｉｎは、バイパスコーディングに基づいて導出される、請求項５に記載の映像デコーディング方法。
  9. 前記コンテキストインデックス増加値は、変換カーネルセットのうち前記現在ブロックに使用する変換カーネルセットを示すＭＴＳインデックス及び前記現在ブロックの分割構造を示すツリータイプ情報に基づいて導出される、請求項８に記載の映像デコーディング方法。
  10. 前記ＭＩＰが適用されることを示す前記ＭＩＰフラグに基づいて、前記レジデュアル関連情報は、前記ＬＦＮＳＴインデックス情報及び前記変換カーネルインデックスフラグを含ず、
    前記ＬＦＮＳＴフラグ及び前記変換カーネルインデックスフラグは、前記現在ブロックに対する参照ラインインデックス情報、前記現在ブロックのイントラ予測モード情報、前記現在ブロックのサイズ情報、及び前記ＭＩＰフラグのうち少なくとも一つに基づいて導出される、請求項５に記載の映像デコーディング方法。
  11. 前記予測関連情報は、前記現在ブロックのサブパーティショニングに関するＩＳＰ（Ｉｎｔｒａ Ｓｕｂ－Ｐａｒｔｉｔｉｏｎｓ）関連情報をさらに含み、
    前記レジデュアル関連情報は、ＩＳＰスプリットが適用されないことを示す前記ＩＳＰ関連情報に基づいて前記ＬＦＮＳＴインデックス情報をさらに含む、請求項１に記載の映像デコーディング方法。
  12. エンコーディング装置により実行される映像エンコーディング方法において、
    現在ブロックに対するイントラ予測モード及びイントラ予測タイプを決定するステップと、
    前記イントラ予測モード及び前記イントラ予測タイプに基づいて前記現在ブロックに対する予測関連情報を生成するステップと、
    前記イントラ予測モード及び前記イントラ予測タイプに基づいて前記現在ブロックの予測サンプルを導出するステップと，
    前記予測サンプルに基づいて前記現在ブロックのレジデュアルサンプルを生成するステップと、
    前記レジデュアルサンプルに基づいて前記現在ブロックに対するレジデュアル関連情報を生成するステップと、
    前記予測関連情報及び前記レジデュアル関連情報をエンコーディングするステップとを含み、
    前記レジデュアル関連情報は、ＬＦＮＳＴ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ Ｎｏｎ Ｓｅｐａｒａｂｌｅ Ｔｒａｎｓｆｏｒｍ）に対する可用フラグとＭＩＰ（Ｍａｔｒｉｘ ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）フラグに基づいて、前記現在ブロックのＬＦＮＳＴ変換セットでの変換カーネルの一つに関連するＬＦＮＳＴインデックス情報を含み、
    前記レジデュアル関連情報を生成するステップは、
    前記レジデュアルサンプルに基づいて前記現在ブロックに対する臨時変換係数を導出するステップと、
    前記臨時変換係数から前記現在ブロックに対する変換係数を導出するステップと、
    前記変換係数に基づいて前記レジデュアル関連情報を生成するステップとを含み、
    前記ＬＦＮＳＴインデックス情報は、前記変換係数の導出に利用された変換カーネルに基づいて生成され、
    前記ＭＩＰフラグは、前記現在ブロックにＭＩＰが適用されるかどうかを示し、
    前記ＭＩＰフラグは、前記予測関連情報に含まれる、映像エンコーディング方法。
  13. 前記ＬＦＮＳＴが可用であることを示す前記可用フラグと、前記ＭＩＰが適用されないことを示す前記ＭＩＰフラグに基づいて、前記レジデュアル関連情報は、前記ＬＦＮＳＴインデックス情報を含む、請求項１２に記載の映像エンコーディング方法。
  14. 映像に対するデータの送信方法であって、
    前記映像に対するビットストリームを取得するステップであって、
    前記ビットストリームは、
    現在ブロックに対するイントラ予測モードとイントラ予測タイプを決定し、
    前記イントラ予測モードと前記イントラ予測タイプに基づいて前記現在ブロックに対する予測関連情報を生成し、
    前記イントラ予測モードと前記イントラ予測タイプに基づいて前記現在ブロックの予測サンプルを導出し、
    前記予測サンプルに基づいて前記現在ブロックに対するレジデュアルサンプルを生成し、
    前記レジデュアルサンプルに基づいて前記現在ブロックに対するレジデュアル関連情報を生成し、
    前記ビットストリームを生成するための前記予測関連情報と前記レジデュアル関連情報をエンコーディングすることにより生成され、
    前記ビットストリームを含む前記データを送信し、
    前記レジデュアル関連情報は、ＬＦＮＳＴに対する可用フラグに基づく前記現在ブロックと、ＭＩＰ（Ｍａｔｒｉｘ ｂａｓｅｄ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）フラグに基づくマトリクスに対して設定されたＬＦＮＳＴ変換セットでの変換カーネルの一つと関連する低周波数非分離変換（ＬＦＮＳＴ）インデックス情報を含み、
    前記レジデュアル関連情報を生成するステップは、
    前記レジデュアルサンプルに基づいて前記現在ブロックに対する臨時変換係数を導出するステップと、
    前記臨時変換係数から前記現在ブロックに対する変換係数を導出するステップと、
    前記変換係数に基づいて前記レジデュアル関連情報を生成するステップとを含み、
    前記ＬＦＮＳＴインデックス情報は、前記変換係数を導出するために利用した変換カーネルに基づいて生成され、
    前記ＭＩＰフラグはＭＩＰが前記現在ブロックに適用されるかを表し、
    前記ＭＩＰフラグは前記予測関連情報に含まれる、映像に対するデータの送信方法。
JP2023005762A 2019-04-16 2023-01-18 イントラ予測ベースの映像コーディングにおける変換 Active JP7387925B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023193615A JP7540064B2 (ja) 2019-04-16 2023-11-14 イントラ予測ベースの映像コーディングにおける変換

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962834951P 2019-04-16 2019-04-16
US62/834,951 2019-04-16
JP2021562021A JP7214894B2 (ja) 2019-04-16 2020-04-16 イントラ予測ベースの映像コーディングにおける変換
PCT/KR2020/005077 WO2020213945A1 (ko) 2019-04-16 2020-04-16 인트라 예측 기반 영상 코딩에서의 변환

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021562021A Division JP7214894B2 (ja) 2019-04-16 2020-04-16 イントラ予測ベースの映像コーディングにおける変換

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023193615A Division JP7540064B2 (ja) 2019-04-16 2023-11-14 イントラ予測ベースの映像コーディングにおける変換

Publications (2)

Publication Number Publication Date
JP2023033544A true JP2023033544A (ja) 2023-03-10
JP7387925B2 JP7387925B2 (ja) 2023-11-28

Family

ID=72837498

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021562021A Active JP7214894B2 (ja) 2019-04-16 2020-04-16 イントラ予測ベースの映像コーディングにおける変換
JP2023005762A Active JP7387925B2 (ja) 2019-04-16 2023-01-18 イントラ予測ベースの映像コーディングにおける変換
JP2023193615A Active JP7540064B2 (ja) 2019-04-16 2023-11-14 イントラ予測ベースの映像コーディングにおける変換

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021562021A Active JP7214894B2 (ja) 2019-04-16 2020-04-16 イントラ予測ベースの映像コーディングにおける変換

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023193615A Active JP7540064B2 (ja) 2019-04-16 2023-11-14 イントラ予測ベースの映像コーディングにおける変換

Country Status (11)

Country Link
US (3) US11516510B2 (ja)
EP (2) EP3952313B1 (ja)
JP (3) JP7214894B2 (ja)
KR (2) KR102470695B1 (ja)
CN (5) CN118175314A (ja)
AU (3) AU2020258920B2 (ja)
ES (1) ES2981910T3 (ja)
FI (1) FI3952313T3 (ja)
PL (1) PL3952313T3 (ja)
SI (1) SI3952313T1 (ja)
WO (1) WO2020213945A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3132225A1 (en) * 2019-04-17 2020-10-22 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of harmonizing matrix-based intra prediction and secondary transform core selection
US20220217366A1 (en) * 2019-04-27 2022-07-07 Wilus Institute Of Standards And Technology Inc. Method and device for processiong video signal on basis of intra prediction
EP3903485A4 (en) * 2019-04-27 2022-03-02 Huawei Technologies Co., Ltd. ENCODER, DECODER AND CORRESPONDING INTRA PREDICTION METHODS
WO2023197195A1 (zh) * 2022-04-13 2023-10-19 Oppo广东移动通信有限公司 视频编解码方法、编码器、解码器及存储介质
US11856227B2 (en) * 2022-05-26 2023-12-26 Mediatek Inc. Transform architecture in video encoding systems

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009080132A1 (en) * 2007-12-21 2009-07-02 Telefonaktiebolaget L M Ericsson (Publ) Improved pixel prediction for video coding
CN100586184C (zh) * 2008-01-24 2010-01-27 北京工业大学 帧内预测方法
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US20120127003A1 (en) 2009-08-06 2012-05-24 Youji Shibahara Coding method, decoding method, coding apparatus, and decoding apparatus
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
JP2012023632A (ja) * 2010-07-15 2012-02-02 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
GB2561487B (en) * 2011-10-18 2019-01-02 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
GB2501535A (en) 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US9503760B2 (en) * 2013-08-15 2016-11-22 Mediatek Inc. Method and system for symbol binarization and de-binarization
US10491922B2 (en) 2015-09-29 2019-11-26 Qualcomm Incorporated Non-separable secondary transform for video coding
US10623774B2 (en) * 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11095893B2 (en) * 2016-10-12 2021-08-17 Qualcomm Incorporated Primary transform and secondary transform in video coding
WO2018166429A1 (en) * 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
US20200177889A1 (en) * 2017-03-21 2020-06-04 Lg Electronics Inc. Transform method in image coding system and apparatus for same
EP3627836A4 (en) * 2017-06-21 2021-04-07 LG Electronics Inc. METHOD AND DEVICE FOR DECODING IMAGES ACCORDING TO INTRAPREDICTION IN AN IMAGE ENCODING SYSTEM
KR102618079B1 (ko) * 2018-10-07 2023-12-27 삼성전자주식회사 복수개의 참조 라인을 위한 mpm 구성 방법을 이용한 비디오 신호 처리 방법 및 장치
EP3918797A4 (en) * 2019-03-10 2023-01-25 HFI Innovation Inc. METHOD AND DEVICE FOR CALCULATION AND REPRESENTATION OF QUANTIZATION MATRICES FOR VIDEO CODING
WO2020185022A1 (ko) * 2019-03-12 2020-09-17 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
KR20210145754A (ko) * 2019-04-12 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 산출
CA3132225A1 (en) * 2019-04-17 2020-10-22 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of harmonizing matrix-based intra prediction and secondary transform core selection
KR20200127897A (ko) * 2019-05-03 2020-11-11 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS, JIANLE CHEN, AND SHAN LIU: "Versatile Video Coding (Draft 5)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N1001 (version 8), JPN6022053488, 11 June 2019 (2019-06-11), pages 32 - 34, ISSN: 0005175991 *
JONATHAN PFAFF, ET AL.: "CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0217, JPN6022053489, March 2019 (2019-03-01), pages 1 - 17, XP030202699, ISSN: 0005175990 *
MOONMO KOO, ET AL.: "CE6: Reduced Secondary Transform (RST) (CE6-3.1)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0193, JPN6022053491, March 2019 (2019-03-01), pages 1 - 19, XP030256927, ISSN: 0005175988 *
MOONMO KOO, ET AL.: "CE6: Reduced Secondary Transform (RST) (CE6-3.1)", SPEC_TEXT_CE6-3.1D.DOCX, vol. JVET-N0193 (version 5), JPN6022053490, March 2019 (2019-03-01), ISSN: 0005175989 *

Also Published As

Publication number Publication date
JP2024003154A (ja) 2024-01-11
US11516510B2 (en) 2022-11-29
CN118175313A (zh) 2024-06-11
AU2023208134B2 (en) 2024-06-20
CN113841407A (zh) 2021-12-24
WO2020213945A1 (ko) 2020-10-22
EP3952313A4 (en) 2022-05-11
US20220038744A1 (en) 2022-02-03
CN118200567A (zh) 2024-06-14
EP3952313B1 (en) 2024-05-29
US11838549B2 (en) 2023-12-05
KR20210131424A (ko) 2021-11-02
EP4376411A2 (en) 2024-05-29
KR20220162184A (ko) 2022-12-07
AU2024203561A1 (en) 2024-06-20
FI3952313T3 (fi) 2024-06-20
PL3952313T3 (pl) 2024-07-29
EP3952313A1 (en) 2022-02-09
SI3952313T1 (sl) 2024-08-30
AU2023208134A1 (en) 2023-08-17
EP4376411A3 (en) 2024-07-17
CN118175314A (zh) 2024-06-11
JP2022529480A (ja) 2022-06-22
US20240064333A1 (en) 2024-02-22
CN118175312A (zh) 2024-06-11
JP7214894B2 (ja) 2023-01-30
JP7387925B2 (ja) 2023-11-28
JP7540064B2 (ja) 2024-08-26
KR102470695B1 (ko) 2022-11-25
US20230054265A1 (en) 2023-02-23
ES2981910T3 (es) 2024-10-11
AU2020258920B2 (en) 2023-06-29
AU2020258920A1 (en) 2021-12-16
CN113841407B (zh) 2024-05-10

Similar Documents

Publication Publication Date Title
JP7260665B2 (ja) Ｂｄｐｃｍに基づく映像コーディング方法、及びその装置
JP7197728B2 (ja) 変換インデックスを利用する映像コーディング
JP7197727B2 (ja) 映像コーディングにおけるマトリクスベースのイントラ予測のための変換
JP7214894B2 (ja) イントラ予測ベースの映像コーディングにおける変換
JP7200379B2 (ja) 二次変換に基づく映像コーディング方法、及びその装置
JP7302037B2 (ja) 画像コーディングにおいて変換カーネルセットを表す情報のシグナリング
JP7488399B2 (ja) 変換カーネルセットに関する情報に対するコーディング
JP7476402B2 (ja) 画像コーディングシステムにおいて変換カーネルセットに関する情報に対するコンテキストコーディング
JP7418561B2 (ja) 変換に基づく映像コーディング方法及びその装置
JP2024150650A (ja) 変換インデックスを利用する映像コーディング
KR20230012526A (ko) 영상 코딩 방법 및 그 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231115

R150 Certificate of patent or registration of utility model

Ref document number: 7387925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150