JP2022532114A - Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 - Google Patents

Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 Download PDF

Info

Publication number
JP2022532114A
JP2022532114A JP2021566094A JP2021566094A JP2022532114A JP 2022532114 A JP2022532114 A JP 2022532114A JP 2021566094 A JP2021566094 A JP 2021566094A JP 2021566094 A JP2021566094 A JP 2021566094A JP 2022532114 A JP2022532114 A JP 2022532114A
Authority
JP
Japan
Prior art keywords
block
current block
conversion
prediction
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021566094A
Other languages
English (en)
Other versions
JP7256296B2 (ja
Inventor
チョン ハク ナム
ムンモ ク
チェヒョン イム
スン ファン キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2022532114A publication Critical patent/JP2022532114A/ja
Priority to JP2023055436A priority Critical patent/JP7422917B2/ja
Application granted granted Critical
Publication of JP7256296B2 publication Critical patent/JP7256296B2/ja
Priority to JP2024004481A priority patent/JP2024026779A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

画像符号化／復号化方法及び装置が提供される。本開示による画像復号化方法は、現在ブロックに対してイントラ予測を行って予測ブロックを生成するステップと、前記現在ブロックの変換係数に対して逆変換を行ってレジデュアルブロックを生成するステップと、前記予測ブロックとレジデュアルブロックに基づいて前記現在ブロックを復元するステップと、を含み、前記逆変換は、１次逆変換と２次逆変換を含み、前記２次逆変換は、前記現在ブロックに対するイントラ予測がＭＩＰ予測であるか否かに基づいて行われることができる。【選択図】図２２

Description

本開示は、画像符号化／復号化方法及び装置に係り、より詳細には、ＭＩＰ（ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が適用されたブロックに対してＬＦＮＳＴ（ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐｅｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）を適用する画像符号化／復号化方法、装置、及び本開示の画像符号化方法／装置によって生成されたビットストリームを伝送する方法に関する。
最近、高解像度、高品質の画像、例えばＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像及びＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
本開示は、符号化／復号化効率が向上した画像符号化／復号化方法及び装置を提供することを目的とする。
また、本開示は、ＭＩＰが適用されたブロックに対してＬＦＮＳＴを適用して画像を符号化／復号化する方法及び装置を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
本開示の一態様による画像復号化方法は、現在ブロックに対してイントラ予測を行って予測ブロックを生成するステップと、前記現在ブロックの変換係数に対して逆変換を行ってレジデュアルブロックを生成するステップと、前記予測ブロックとレジデュアルブロックに基づいて前記現在ブロックを復元するステップと、を含み、前記逆変換は、１次逆変換と２次逆変換を含み、前記２次逆変換は、前記現在ブロックに対するイントラ予測がＭＩＰ予測であるか否かに基づいて行われることができる。
本開示による画像復号化方法において、前記２次逆変換は、前記変換係数に対して２次逆変換を行うと判断される場合にのみ行われることができる。
本開示による画像復号化方法において、前記変換係数に対して２次逆変換を行うか否かの判断は、ビットストリームを介してシグナリングされる情報に基づいて行われることができる。
本開示による画像復号化方法において、前記２次逆変換は、前記現在ブロックのイントラ予測モードに基づいて２次逆変換の変換セット（ｔｒａｎｓｆｏｒｍ ｓｅｔ）を決定するステップと、前記２次逆変換の変換セットに含まれている複数の変換カーネルのうちのいずれか一つを選択するステップと、前記選択された変換カーネルに基づいて前記２次逆変換を行うステップと、を含むことができる。
本開示による画像復号化方法において、前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、前記２次逆変換の変換セットを決定するために用いられる前記現在ブロックのイントラ予測モードは、所定のイントラ予測モードに誘導されることができる。
本開示による画像復号化方法において、前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、前記所定のイントラ予測モードは、既に定義されたマッピングテーブルに基づいて前記現在ブロックのＭＩＰモードから誘導されることができる。
本開示による画像復号化方法において、前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、前記所定のイントラ予測モードは、プランナーモードに誘導されることができる。
本開示による画像復号化方法において、前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、前記変換係数に対する２次逆変換はスキップされることができる。
本開示による画像復号化方法において、前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、前記変換係数に対する２次逆変換を行うか否かを指示する情報は、ビットストリームを介してシグナリングされないことができる。
本開示による画像復号化方法において、前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、前記変換係数の２次逆変換のための変換カーネルは、ビットストリームを介してシグナリングされず、所定の変換カーネルに決定されることができる。
本開示による画像復号化方法において、前記現在ブロックがＭＩＰ予測された場合に利用可能な変換カーネルの数は、前記現在ブロックがＭＩＰ予測されていない場合に利用可能な変換カーネルの数よりも小さいことができる。
本開示による画像復号化方法において、前記現在ブロックに２次逆変換が適用されるか否かを示す第１情報、及び前記２次逆変換に使用される変換カーネルを指示する第２情報は、別個の情報としてシグナリングされ、前記第２情報は、前記第１情報が前記現在ブロックに２次逆変換が適用されることを示すときにシグナリングされることができる。
本開示の他の態様による画像復号化装置は、メモリ及び少なくとも一つのプロセッサを含む、前記少なくとも一つのプロセッサは、現在ブロックに対してイントラ予測を行って予測ブロックを生成し、前記現在ブロックの変換係数に対して逆変換を行ってレジデュアルブロックを生成し、前記予測ブロックとレジデュアルブロックに基づいて前記現在ブロックを復元し、前記逆変換は、１次逆変換と２次逆変換を含み、前記２次逆変換は、前記現在ブロックに対するイントラ予測がＭＩＰ予測であるか否かに基づいて行われることができる。
本開示の別の態様による画像符号化方法は、現在ブロックに対してイントラ予測を行って予測ブロックを生成するステップと、前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを生成するステップと、前記レジデュアルブロックに対して変換を行って変換係数を生成するステップと、を含み、前記変換は、１次変換と２次変換を含み、前記２次変換は、前記現在ブロックに対するイントラ予測がＭＩＰ予測であるか否かに基づいて行われることができる。
本開示の別の態様による伝送方法は、本開示の画像符号化装置又は画像符号化方法によって生成されたビットストリームを伝送することができる。
本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
本開示によれば、符号化／復号化効率が向上した画像符号化／復号化方法及び装置が提供されることができる。
また、本開示によれば、ＭＩＰが適用されたブロックに対してＬＦＮＳＴを適用して画像を符号化／復号化する方法及び装置が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 マルチタイプツリー構造によるブロックの分割タイプを示す図である。 本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造のパーティション分割情報のシグナリングメカニズムを例示する図である。 イントラ予測ベースのビデオ／画像符号化方法を示すフローチャートである。 本開示によるイントラ予測部１８５の構成を例示的に示す図である。 イントラ予測ベースのビデオ／画像復号化方法を示すフローチャートである。 本開示によるイントラ予測部２６５の構成を例示的に示す図である。 画像符号化装置におけるイントラ予測モードシグナリング手順を示すフローチャートである。 画像復号化装置におけるイントラ予測モード決定手順を示すフローチャートである。 イントラ予測モード導出手順をより具体的に説明するためのフローチャートである。 本開示の一実施例によるイントラ予測方向を示す図である。 本開示の他の実施例によるイントラ予測方向を示す図である。 ４×４ブロックに対するＡＬＷＩＰ過程を説明するための図である。 ８×８ブロックに対するＡＬＷＩＰ過程を説明するための図である。 ８×４ブロックに対するＡＬＷＩＰ過程を説明するための図である。 １６×１６ブロックに対するＡＬＷＩＰ過程を説明するための図である。 本開示によるＡＬＷＩＰ過程のアベレージング（ａｖｅｒａｇｉｎｇ）ステップを説明するための図である。 本開示によるＡＬＷＩＰ過程の補間ステップを説明するための図である。 レジデュアルブロックに適用される変換方法を説明するための図である。 本開示によって２次変換／逆変換を行う方法を示すフローチャートである。 本開示の他の実施例によるＭＩＰ及びＬＦＮＳＴの適用如何に基づいて画像復号化装置で行われる方法を説明するための図である。 本開示の他の実施例によるＭＩＰ及びＬＦＮＳＴの適用如何に基づいて画像符号化装置で行われる方法を説明するための図である。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するものではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第１構成要素は、他の実施例で第２構成要素と呼んでもよく、これと同様に、一実施例の第２構成要素を、他の実施例で第１構成要素と呼んでもよい。
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
本開示において、「ピクチャ（ｐｉｃｔｕｒｅ）」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス（ｓｌｉｃｅ）／タイル（ｔｉｌｅ）は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス／タイルで構成できる。また、スライス／タイルは、一つ以上のＣＴＵ（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）を含むことができる。
本開示において、「ピクセル（ｐｉｘｅｌ）」又は「ペル（ｐｅｌ）」は、一つのピクチャ（又は画像）を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル（ｓａｍｐｌｅ）」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ（ｌｕｍａ）成分のピクセル／ピクセル値のみを示すこともでき、クロマ（ｃｈｒｏｍａ）成分のピクセル／ピクセル値のみを示すこともできる。
本開示において、「ユニット（ｕｎｉｔ）」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック（ｂｌｏｃｋ）」又は「領域（ａｒｅａ）」などの用語と混用して使用できる。一般な場合、Ｍ×Ｎブロックは、Ｍ個の列とＮ個の行からなるサンプル（又はサンプルアレイ）又は変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）のセット（又はアレイ）を含むことができる。
本開示において、「現在ブロック」は、「現在符号化ブロック」、「現在コーディングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換（逆変換）／量子化（逆量子化）が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
また、本開示において、「現在ブロック」は、クロマブロックという明示的な記載がない限り、ルマ成分ブロックとクロマ成分ブロックをすべて含むブロック又は「現在ブロックのルマブロック」を意味することができる。現在ブロックのクロマブロックは、明示的に「クロマブロック」又は「現在クロマブロック」のようにクロマブロックという明示的な記載を含んで表現できる。
本開示において、「／」と「、」は「及び／又は」と解釈されることができる。例えば、「Ａ／Ｂ」と「Ａ、Ｂ」は「Ａ及び／又はＢ」と解釈されることができる。また、「Ａ／Ｂ／Ｃ」と「Ａ、Ｂ、Ｃ」は、「Ａ、Ｂ及び／又はＣのうちの少なくとも一つ」を意味することができる。
本開示において、「又は」は、「及び／又は」と解釈されることができる。例えば、「Ａ又はＢ」は、１）「Ａ」のみを意味するか、２）「Ｂ」のみを意味するか、３）「Ａ及びＢ」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に（ａｄｄｉｔｉｏｎａｌｌｙ ｏｒ ａｌｔｅｒｎａｔｉｖｅｌｙ）」を意味することができる。
ビデオコーディングシステムの概要
図１は本開示によるビデオコーディングシステムを示す図である。
一実施例によるビデオコーディングシステムは、符号化装置１０及び復号化装置２０を含むことができる。符号化装置１０は、符号化されたビデオ（ｖｉｄｅｏ）及び／又は画像（ｉｍａｇｅ）情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０へ伝達することができる。
一実施例よる符号化装置１０は、ビデオソース生成部１１、符号化部１２及び伝送部１３を含むことができる。一実施例による復号化装置２０は、受信部２１、復号化部２２及びレンダリング部２３を含むことができる。前記符号化部１２は、ビデオ／画像符号化部と呼ばれることができ、前記復号化部２２は、ビデオ／画像復号化部と呼ばれることができる。伝送部１３は、符号化部１２に含まれることができる。受信部２１は、復号化部２２に含まれることができる。レンダリング部２３は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
ビデオソース生成部１１は、ビデオ／画像のキャプチャ、合成又は生成過程などを介してビデオ／画像を取得することができる。ビデオソース生成部１１は、ビデオ／画像キャプチャデバイス及び／又はビデオ／画像生成デバイスを含むことができる。ビデオ／画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ／画像を含むビデオ／画像アーカイブなどを含むことができる。ビデオ／画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、（電子的に）ビデオ／画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ／画像が生成されることができ、この場合、ビデオ／画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
符号化部１２は、入力ビデオ／画像を符号化することができる。符号化部１２は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部１２は、符号化されたデータ（符号化されたビデオ／画像情報）をビットストリーム（ｂｉｔｓｔｒｅａｍ）形式で出力することができる。
伝送部１３は、ビットストリーム形式で出力された、符号化されたビデオ／画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置２０の受信部２１に伝達することができる。デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。伝送部１３は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送／通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部２１は、前記記憶媒体又はネットワークから前記ビットストリームを抽出／受信して復号化部２２に伝達することができる。
復号化部２２は、符号化部１２の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ／画像を復号化することができる。
レンダリング部２３は、復号化されたビデオ／画像をレンダリングすることができる。レンダリングされたビデオ／画像は、ディスプレイ部を介して表示されることができる。
画像符号化装置の概要
図２は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
図２に示されているように、画像符号化装置１００は、画像分割部１１０、減算部１１５、変換部１２０、量子化部１３０、逆量子化部１４０、逆変換部１５０、加算部１５５、フィルタリング部１６０、メモリ１７０、インター予測部１８０、イントラ予測部１８５及びエントロピー符号化部１９０を含むことができる。インター予測部１８０及びイントラ予測部１８５は、合わせて「予測部」と呼ばれることができる。変換部１２０、量子化部１３０、逆量子化部１４０及び逆変換部１５０は、レジデュアル（ｒｅｓｉｄｕａｌ）処理部に含まれることができる。レジデュアル処理部は減算部１１５をさらに含むこともできる。
画像符号化装置１００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、エンコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含むことができ、デジタル記憶媒体によって実現できる。
画像分割部１１０は、画像符号化装置１００に入力された入力画像（又は、ピクチャ、フレーム）を一つ以上の処理ユニット（ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）に分割することができる。一例として、前記処理ユニットは、コーディングユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）と呼ばれることができる。コーディングユニットは、コーディングツリーユニット（ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ、ＣＴＵ）又は最大コーディングユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）分割することにより取得されることができる。例えば、一つのコーディングユニットは、四分木構造、二分木構造及び／又は三分木構造に基づいて、下位（ｄｅｅｐｅｒ）デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び／又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示による符号化手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び／又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）又は変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び／又は変換係数からレジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ）を誘導する単位であることができる。
予測部（インター予測部１８０又はイントラ予測部１８５）は、処理対象ブロック（現在ブロック）に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、現在ブロック又はＣＵ単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部１９０に伝達することができる。予測に関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
イントラ予測部１８５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び／又はイントラ予測技法に従って、前記現在ブロックの周辺（ｎｅｉｇｈｂｏｒ）に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、ＤＣモード及びプランナーモード（Ｐｌａｎａｒモード）を含むことができる。方向性モードは、予測方向の細密な程度に応じて、例えば３３個の方向性予測モード又は６５個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部１８５は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部１８０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と、参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック（ｃｏｌｌｏｃａｔｅｄ ｒｅｆｅｒｅｎｃｅ ｂｌｏｃｋ）、コロケートＣＵ（ｃｏｌＣＵ）などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ、ｃｏｌＰｉｃ）と呼ばれることができる。例えば、インター予測部１８０は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部１８０は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｐｒｅｄｉｃｔｏｒ）として用い、動きベクトル差分（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｄｉｆｆｅｒｅｎｃｅ）及び動きベクトル予測子に対するインジケータ（ｉｎｄｉｃａｔｏｒ）を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
予測部は、後述する様々な予測方法及び／又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、ＣＩＩＰ（ｃｏｍｂｉｎｅｄ ｉｎｔｅｒ ａｎｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）を行うこともできる。イントラブロックコピーは、例えば、ＳＣＣ（ｓｃｒｅｅｎ ｃｏｎｔｅｎｔ ｃｏｄｉｎｇ）などのようにゲームなどのコンテンツ画像／動画コーディングのために使用できる。ＩＢＣは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。ＩＢＣが適用される場合、現在ピクチャ内の参照ブロックの位置は、前記所定の距離に該当するベクトル（ブロックベクトル）として符号化されることができる。ＩＢＣは、基本的に、現在ピクチャ内で予測を行うが、現在ピクチャ内で参照ブロックを導出するという点において、インター予測と同様に行われることができる。すなわち、ＩＢＣは、本開示で説明されるインター予測技法のうちの少なくとも一つを用いることができる。
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部１１５は、入力画像信号（原本ブロック、原本サンプルアレイ）から、予測部から出力された予測信号（予測されたブロック、予測サンプルアレイ）を減算して、レジデュアル信号（ｒｅｓｉｄｕａｌ ｓｉｇｎａｌ、残余ブロック、残余サンプルアレイ）を生成することができる。生成されたレジデュアル信号は、変換部１２０に伝送されることができる。
変換部１２０は、レジデュアル信号に変換技法を適用して変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔｓ）を生成することができる。例えば、変換技法は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ＫＬＴ（Ｋａｒｈｕｎｅｎ－Ｌｏｅｖｅ Ｔｒａｎｓｆｏｒｍ）、ＧＢＴ（Ｇｒａｐｈ－Ｂａｓｅｄ Ｔｒａｎｓｆｏｒｍ）、又はＣＮＴ（Ｃｏｎｄｉｔｉｏｎａｌｌｙ Ｎｏｎ－ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ）のうちの少なくとも一つを含むことができる。ここで、ＧＢＴは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。ＣＮＴは、以前に復元されたすべてのピクセル（ａｌｌ ｐｒｅｖｉｏｕｓｌｙ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｐｉｘｅｌ）を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない可変サイズのブロックにも適用されることができる。
量子化部１３０は、変換係数を量子化してエントロピー符号化部１９０に伝送することができる。エントロピー符号化部１９０は、量子化された信号（量子化された変換係数に関する情報）を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部１３０は、係数スキャン順序（ｓｃａｎ ｏｒｄｅｒ）に基づいて、ブロック形式の量子化された変換係数を１次元ベクトル形式で再整列することができ、前記１次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
エントロピー符号化部１９０は、例えば、指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの様々な符号化方法を行うことができる。エントロピー符号化部１９０は、量子化された変換係数の他に、ビデオ／画像の復元に必要な情報（例えば、シンタックス要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔｓ）の値など）を一緒に又は別々に符号化することもできる。符号化された情報（例えば、符号化されたビデオ／画像情報）は、ビットストリーム形式でＮＡＬ（ｎｅｔｗｏｒｋ ａｂｓｔｒａｃｔｉｏｎ ｌａｙｅｒ）ユニット単位で伝送又は保存されることができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び／又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び／又は通信網などを含むことができ、デジタル記憶媒体は、ＵＳＢ、ＳＤ、ＣＤ、ＤＶＤ、Ｂｌｕ－ｒａｙ、ＨＤＤ、ＳＳＤなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部１９０から出力された信号を伝送する伝送部（図示せず）及び／又は保存する保存部（図示せず）が画像符号化装置１００の内／外部要素として備えられることができ、又は伝送部はエントロピー符号化部１９０の構成要素として備えられることもできる。
量子化部１３０から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部１４０及び逆変換部１５０を介して逆量子化及び逆変換を適用することにより、レジデュアル信号（レジデュアルブロック又はレジデュアルサンプル）を復元することができる。
加算部１５５は、復元されたレジデュアル信号をインター予測部１８０又はイントラ予測部１８５から出力された予測信号に加えることにより、復元（ｒｅｃｏｎｓｔｒｕｃｔｅｄ）信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部１６０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部１６０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ１７０、具体的にはメモリ１７０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。フィルタリング部１６０は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部１９０に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部１９０で符号化されてビットストリーム形式で出力されることができる。
メモリ１７０に伝送された、修正された復元ピクチャは、インター予測部１８０で参照ピクチャとして使用されることができる。画像符号化装置１００は、これを介してインター予測が適用される場合、画像符号化装置１００と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
メモリ１７０内のＤＰＢは、インター予測部１８０での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ１７０は、現在ピクチャ内の動き情報が導出された（又は符号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するためにインター予測部１８０に伝達されることができる。メモリ１７０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部１８５に伝達することができる。
画像復号化装置の概要
図３は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
図３に示されているように、画像復号化装置２００は、エントロピー復号化部２１０、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５を含んで構成できる。インター予測部２６０及びイントラ予測部２６５を合わせて「予測部」と呼ばれることができる。逆量子化部２２０、逆変換部２３０はレジデュアル処理部に含まれることができる。
画像復号化装置２００を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント（例えば、デコーダ又はプロセッサ）で実現されることができる。また、メモリ１７０は、ＤＰＢを含むことができ、デジタル記憶媒体によって実現できる。
ビデオ／画像情報を含むビットストリームを受信した画像復号化装置２００は、図２の画像符号化装置１００で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置２００は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置２００を介して復号化及び出力された復元画像信号は、再生装置（図示せず）を介して再生できる。
画像復号化装置２００は、図２の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部２１０を介して復号化できる。例えば、エントロピー復号化部２１０は、前記ビットストリームをパーシングして画像復元（又はピクチャ復元）に必要な情報（例えば、ビデオ／画像情報）を導出することができる。前記ビデオ／画像情報は、適応パラメータセット（ＡＰＳ）、ピクチャパラメータセット（ＰＰＳ）、シーケンスパラメータセット（ＳＰＳ）又はビデオパラメータセット（ＶＰＳ）などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ／画像情報は、一般制限情報（ｇｅｎｅｒａｌ ｃｏｎｓｔｒａｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ）をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び／又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び／又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部２１０は、指数ゴロム符号化、ＣＡＶＬＣ又はＣＡＢＡＣなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像の復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、ＣＡＢＡＣエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン（ｂｉｎ）を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル／ビンの情報を用いてコンテキスト（ｃｏｎｔｅｘｔ）モデルを決定し、決定されたコンテキストモデルに基づいてビン（ｂｉｎ）の発生確率を予測してビンの算術復号化（ａｒｉｔｈｍｅｔｉｃ ｄｅｃｏｄｉｎｇ）を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、ＣＡＢＡＣエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル／ビンのコンテキストモデルのために、復号化されたシンボル／ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部２１０で復号化された情報のうち、予測に関する情報は、予測部（インター予測部２６０及びイントラ予測部２６５）に提供され、エントロピー復号化部２１０でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部２２０に入力されることができる。また、エントロピー復号化部２１０で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部２４０に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部（図示せず）が画像復号化装置２００の内／外部要素としてさらに備えられることができ、又は、受信部はエントロピー復号化部２１０の構成要素として備えられることもできる。
一方、本開示による画像復号化装置は、ビデオ／画像／ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ（ビデオ／画像／ピクチャ情報デコーダ）及び／又はサンプルデコーダ（ビデオ／画像／ピクチャサンプルデコーダ）を含むこともできる。前記情報デコーダは、エントロピー復号化部２１０を含むことができ、前記サンプルデコーダは、逆量子化部２２０、逆変換部２３０、加算部２３５、フィルタリング部２４０、メモリ２５０、インター予測部２６０及びイントラ予測部２６５のうちの少なくとも一つを含むことができる。
逆量子化部２２０では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部２２０は、量子化された変換係数を２次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部２２０は、量子化パラメータ（例えば、量子化ステップサイズ情報）を用いて、量子化された変換係数に対する逆量子化を行い、変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）を取得することができる。
逆変換部２３０では、変換係数を逆変換してレジデュアル信号（レジデュアルブロック、レジデュアルサンプルアレイ）を取得することができる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック（ｐｒｅｄｉｃｔｅｄ ｂｌｏｃｋ）を生成することができる。予測部は、エントロピー復号化部２１０から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ／インター予測モード（予測技法）を決定することができる。
予測部が後述の様々な予測方法（技法）に基づいて予測信号を生成することができるのは、画像符号化装置１００の予測部についての説明で述べたのと同様である。
イントラ予測部２６５は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部１８５についての説明は、イントラ予測部２６５に対しても同様に適用されることができる。
インター予測部２６０は、参照ピクチャ上で動きベクトルによって特定される参照ブロック（参照サンプルアレイ）に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向（Ｌ０予測、Ｌ１予測、Ｂｉ予測など）情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック（ｓｐａｔｉａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）と参照ピクチャに存在する時間周辺ブロック（ｔｅｍｐｏｒａｌ ｎｅｉｇｈｂｏｒｉｎｇ ｂｌｏｃｋ）を含むことができる。例えば、インター予測部２６０は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び／又は参照ピクチャインデックスを導出することができる。様々な予測モード（技法）に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード（技法）を指示する情報を含むことができる。
加算部２３５は、取得されたレジデュアル信号を予測部（インター予測部２６０及び／又はイントラ予測部２６５を含む）から出力された予測信号（予測されたブロック、予測サンプルアレイ）に加えることにより、復元信号（復元ピクチャ、復元ブロック、復元サンプルアレイ）を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部１５５についての説明は、加算部２３５に対しても同様に適用されることができる。加算部２３５は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
フィルタリング部２４０は、復元信号にフィルタリングを適用して主観的／客観的画質を向上させることができる。例えば、フィルタリング部２４０は、復元ピクチャに様々なフィルタリング方法を適用して、修正された（ｍｏｄｉｆｉｅｄ）復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ２５０、具体的にはメモリ２５０のＤＰＢに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ）、適応的ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ）、双方向フィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などを含むことができる。
メモリ２５０のＤＰＢに保存された（修正された）復元ピクチャは、インター予測部２６０で参照ピクチャとして使用されることができる。メモリ２５０は、現在ピクチャ内の動き情報が導出された（又は復号化された）ブロックの動き情報及び／又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部２６０に伝達することができる。メモリ２５０は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部２６５に伝達することができる。
本明細書において、画像符号化装置１００のフィルタリング部１６０、インター予測部１８０及びイントラ予測部１８５で説明された実施例は、それぞれ画像復号化装置２００のフィルタリング部２４０、インター予測部２６０及びイントラ予測部２６５にも、同様に又は対応するように適用されることができる。
ＣＴＵ分割の概要
前述したように、コーディングユニットは、コーディングツリーユニット（ＣＴＵ）又は最大コーディングユニット（ＬＣＵ）をＱＴ／ＢＴ／ＴＴ（Ｑｕａｄ－ｔｒｅｅ／ｂｉｎａｒｙ－ｔｒｅｅ／ｔｅｒｎａｒｙ－ｔｒｅｅ）構造によって再帰的に分割することにより取得できる。例えば、ＣＴＵは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。
四分木による分割は、現在ＣＵ（又はＣＴＵ）を４等分する分割を意味する。四分木による分割によって、現在ＣＵは、同じ幅と同じ高さを有する４つのＣＵに分割されることができる。現在ＣＵがそれ以上四分木構造に分割されない場合、現在ＣＵは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するＣＵは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するＣＵは、マルチタイプツリー構造によってさらに分割されることができる。
図４はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による２つの分割と三分木構造による２つの分割を含むことができる。
二分木構造による２つの分割は、垂直バイナリ分割（ｖｅｒｔｉｃａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）と水平バイナリ分割（ｈｏｒｉｚｏｎｔａｌ ｂｉｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）を含むことができる。垂直バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に二等分する分割を意味する。図４に示されているように、垂直バイナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有する２つのＣＵが生成されることができる。水平バイナリ分割（ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ）は、現在ＣＵを水平方向に二等分する分割を意味する。図４に示されているように、水平バイナリ分割によって、現在ＣＵの高さの半分の高さ及び現在ＣＵの幅と同じ幅を有する２つのＣＵが生成されることができる。
三分木構造による２つの分割は、垂直ターナリ分割（ｖｅｒｔｉｃａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）と水平ターナリ分割（ｈｏｒｉｚｏｎｔａｌ ｔｅｒｎａｒｙ ｓｐｌｉｔｔｉｎｇ、ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）を含むことができる。垂直ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）は、現在ＣＵを垂直方向に１：２：１の割合で分割する。図４に示されているように、垂直ターナリ分割によって、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の１／４の幅を有する２つのＣＵと、現在ＣＵの高さと同じ高さ及び現在ＣＵの幅の半分の幅を有するＣＵが生成されることができる。水平ターナリ分割（ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ）は、現在ＣＵを水平方向に１：２：１の割合で分割する。図４に示されているように、水平ターナリ分割によって、現在ＣＵの高さの１／４の高さ及び現在ＣＵの幅と同じ幅を有する２つのＣＵと、現在ＣＵの高さの半分の高さ及び現在ＣＵの幅と同じ幅を有する１つのＣＵが生成されることができる。
図５は本開示によるマルチタイプツリーを伴う四分木（ｑｕａｄｔｒｅｅ ｗｉｔｈ ｎｅｓｔｅｄ ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ）構造のパーティション分割情報のシグナリングメカニズムを例示する図である。
ここで、ＣＴＵは四分木のルート（ｒｏｏｔ）ノードとして扱われ、四分木構造に初めてパーティショニングされる。現在ＣＵ（ＣＴＵ又は四分木のノード（ＱＴ＿ｎｏｄｅ））に対して四分木分割を行うか否かを指示する情報（例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇ）がシグナリングされることができる。例えば、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第１値（例えば、「１」）であれば、現在ＣＵは四分木に分割されることができる。また、ｑｔ＿ｓｐｌｉｔ＿ｆｌａｇが第２値（例えば、「０」）であれば、現在ＣＵは、四分木に分割されず、四分木のリーフノード（ＱＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらにパーティショニングされることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード（ＭＴＴ＿ｎｏｄｅ）になることができる。マルチタイプツリー構造で、現在ノードがさらにパーティショニングされるかを指示するために、第１フラグ（ａ ｆｉｒｓｔ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ）がシグナリングされることができる。もし当該ノードがさらにパーティショニングされる場合（例えば、第１フラグが１である場合）には、分割方向（ｓｐｌｉｔｔｉｎｇ ｄｉｒｅｃｔｉｏｎ）を指示するために、第２フラグ（ａ ｓｅｃｏｎｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃｌａ＿ｆｌａｇ）がシグナリングされることができる。例えば、第２フラグが１である場合には、分割方向は垂直方向であり、第２フラグが０である場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第３フラグ（ａ ｔｈｉｒｄ ｆｌａｇ、例えば、ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ）がシグナリングされることができる。例えば、第３フラグが１である場合には、分割タイプはバイナリ分割タイプであり、第３フラグが０である場合には、分割タイプはターナリ分割タイプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされることはできない。前記第１フラグが０である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード（ＭＴＴ＿ｌｅａｆ＿ｎｏｄｅ）になる。マルチタイプツリーのリーフノードに該当するＣＵは、前述した最終コーディングユニットとして使用できる。
前述したｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ及びｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇに基づいて、ＣＵのマルチタイプツリー分割モード（ｍｕｌｔｉ－ｔｙｐｅ ｔｒｅｅ ｓｐｌｉｔｔｉｎｇ ｍｏｄｅ、ＭｔｔＳｐｌｉｔＭｏｄｅ）が表１のとおりに導出されることができる。
Figure 2022532114000002
一つのＣＴＵは、ルマサンプルのコーディングブロック（以下、「ルマブロック」という）と、これに対応するクロマサンプルの二つの符号化ブロック（以下、「クロマブロック」という）と、を含むことができる。前述したコーディングツリースキームは、現在ＣＵのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に（ｓｅｐａｒａｔｅ）適用されることもできる。具体的には、一つのＣＴＵ内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー（ＳＩＮＧＬＥ＿ＴＲＥＥ）と表すことができる。又は、一つのＣＴＵ内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー（ＤＵＡＬ＿ＴＲＥＥ）と表すことができる。つまり、ＣＴＵがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ（ＤＵＡＬ＿ＴＲＥＥ＿ＬＵＭＡ）と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ（ＤＵＡＬ＿ＴＲＥＥ＿ＣＨＲＯＭＡ）と呼ばれることができる。Ｐ及びＢスライス／タイルグループに対して、一つのＣＴＵ内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Ｉスライス／タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）は、特定のコーディングツリー構造に基づいてＣＵに分割され、クロマＣＴＢは、他の符号化ツリー構造に基づいてクロマＣＵに分割されることができる。すなわち、個別ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵは、ルマ成分のコーディングブロック又は２つのクロマ成分のコーディングブロックで構成されることができる。また、同一ブロックツリー構造が適用されるＩスライス／タイルグループ内のＣＵとＰ又はＢスライス／タイルグループのＣＵは、三つのカラー成分（ルマ成分及び二つのクロマ成分）のブロックで構成されることができる。
上記において、マルチタイプツリーを伴う四分木コーディングツリー構造について説明したが、ＣＵが分割される構造はこれに限定されない。例えば、ＢＴ構造及びＴＴ構造は、多数の分割ツリー（Ｍｕｌｔｉｐｌｅ Ｐａｒｔｉｔｉｏｎｉｎｇ Ｔｒｅｅ、ＭＰＴ）構造に含まれる概念と解釈されることができ、ＣＵは、ＱＴ構造及びＭＰＴ構造によって分割されると解釈することができる。ＱＴ構造及びＭＰＴ構造によってＣＵが分割される一例において、ＱＴ構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｔｙｐｅ）及びＱＴ構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素（例えば、ＭＰＴ＿ｓｐｌｉｔ＿ｍｏｄｅ）がシグナリングされることにより、分割構造が決定されることができる。
別の例において、ＣＵは、ＱＴ構造、ＢＴ構造又はＴＴ構造とは異なる方法で分割されることができる。つまり、ＱＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４サイズに分割されるか、或いはＢＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／２サイズに分割されるか、或いはＴＴ構造によって下位デプスのＣＵが上位デプスのＣＵの１／４又は１／２サイズに分割されるのとは異なり、下位デプスのＣＵは、場合によって、上位デプスのＣＵの１／５、１／３、３／８、３／５、２／３又は５／８のサイズに分割されることができ、ＣＵが分割される方法は、これに限定されない。
イントラ予測の概要
以下、本開示によるイントラ予測について説明する。
イントラ予測は、現在ブロックの属するピクチャ（以下、現在ピクチャ）内の参照サンプルに基づいて現在ブロックに対する予測サンプルを生成する予測を示すことができる。現在ブロックにイントラ予測が適用される場合、現在ブロックのイントラ予測に使用する周辺参照サンプルが導出されることができる。前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの左側（ｌｅｆｔ）境界に隣接するサンプル及び左下側（ｂｏｔｔｏｍ－ｌｅｆｔ）に隣接する合計２×ｎＨ個のサンプル、現在ブロックの上側（ｔｏｐ）境界に隣接するサンプル及び右上側（ｔｏｐ－ｒｉｇｈｔ）に隣接する合計２×ｎＷ個のサンプル、及び現在ブロックの左上側（ｔｏｐ－ｌｅｆｔ）に隣接する１つのサンプルを含むことができる。又は、前記現在ブロックの周辺参照サンプルは、複数列の上側周辺サンプル及び複数行の左側周辺サンプルを含むこともできる。また、前記現在ブロックの周辺参照サンプルは、サイズｎＷ×ｎＨの現在ブロックの右側（ｒｉｇｈｔ）境界に隣接する合計ｎＨ個のサンプル、現在ブロックの下側（ｂｏｔｔｏｍ）境界に隣接する合計ｎＷ個のサンプル、及び現在ブロックの右下側（ｂｏｔｔｏｍ－ｒｉｇｈｔ）に隣接する１つのサンプルを含むこともできる。
ただし、現在ブロックの周辺参照サンプル中の一部は、未だ復号化されていないか或いは利用可能でないことができる。この場合、デコーダは、利用可能なサンプルとして利用可能でないサンプルを代替（ｓｕｂｓｔｉｔｕｔｉｏｎ）して、予測に使用する周辺参照サンプルを構成することができる。又は、利用可能なサンプルの補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）を介して、予測に使用する周辺参照サンプルを構成することができる。
周辺参照サンプルが導出された場合、（ｉ）現在ブロックの周辺（ｎｅｉｇｈｂｏｒｉｎｇ）参照サンプルの平均（ａｖｅｒａｇｅ）又は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）に基づいて予測サンプルを誘導することができ、（ｉｉ）現在ブロックの周辺参照サンプルのうちの予測サンプルに対して、特定の（予測）方向に存在する参照サンプルに基づいて前記予測サンプルを誘導することもできる。（ｉ）の場合は非方向性モード又は非角度モード、（ｉｉ）の場合は方向性（ｄｉｒｅｃｔｉｏｎａｌ）モード又は角度（ａｎｇｕｌａｒ）モードと呼ばれることができる。
また、前記周辺参照サンプルのうち、前記現在ブロックの予測対象サンプルを基準に、前記現在ブロックのイントラ予測モードの予測方向に位置する第１周辺サンプルとその反対方向に位置する第２周辺サンプルとの補間を介して前記予測サンプルが生成されることもできる。上述した場合は、線形補間イントラ予測（Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＬＩＰ）と呼ばれることができる。
また、線形モデル（ｌｉｎｅａｒ ｍｏｄｅｌ）を用いてルマサンプルに基づいてクロマ予測サンプルが生成されることもできる。この場合は、ＬＭ（Ｌｉｎｅａｒ Ｍｏｄｅｌ）モードと呼ばれることができる。
また、フィルタリングされた周辺参照サンプルに基づいて前記現在ブロックの一時予測サンプルを導出し、前記従来の周辺参照サンプル、すなわち、フィルタリングされていない周辺参照サンプルのうち、前記イントラ予測モードに応じて導出された少なくとも一つの参照サンプルと前記一時予測サンプルを加重和（ｗｅｉｇｈｔｅｄ ｓｕｍ）して、前記現在ブロックの予測サンプルを導出することもできる。この場合は、ＰＤＰＣ（Ｐｏｓｉｔｉｏｎ ｄｅｐｅｎｄｅｎｔ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることができる。
また、現在ブロックの周辺多重参照サンプルラインのうち、最も予測精度が高い参照サンプルラインを選択して、当該ラインから予測方向に位置する参照サンプルを用いて予測サンプルを導出することができる。このとき、使用された参照サンプルラインに関する情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）は、ビットストリームに符号化されてシグナリングされることができる。この場合は、ＭＲＬ（ｍｕｌｔｉ－ｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）又はＭＲＬベースのイントラ予測と呼ばれることができる。ＭＲＬが適用されない場合、現在ブロックに直接隣接する参照サンプルラインから参照サンプルが導出されることができ、この場合、参照サンプルラインに関する情報はシグナリングされないことができる。
また、現在ブロックを垂直又は水平のサブパーティションに分割し、各サブパーティションに対して同一のイントラ予測モードに基づいてイントラ予測を行うことができる。このとき、イントラ予測の周辺参照サンプルは、各サブパーティション単位で導出されることができる。すなわち、符号化／復号化の順序上、以前のサブパーティションの復元されたサンプルが現在サブパーティションの周辺参照サンプルとして用いられることができる。この場合、現在ブロックに対するイントラ予測モードが前記サブパーティションに同一に適用されるが、前記サブパーティション単位で周辺参照サンプルを導出して用いることにより、場合によってはイントラ予測性能を向上させることができる。このような予測方法は、ＩＳＰ（ｉｎｔｒａ ｓｕｂ－ｐａｒｔｉｔｉｏｎｓ）又はＩＳＰベースのイントラ予測と呼ばれることができる。
前述したイントラ予測技法は、方向性又は非方向性のイントラ予測モードと区分してイントラ予測タイプ又は付加イントラ予測モードなどのさまざまな用語で呼ばれることができる。例えば、前記イントラ予測技法（イントラ予測タイプ又は付加イントラ予測モードなど）は、上述したＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰのうちの少なくとも一つを含むことができる。前記ＬＩＰ、ＬＭ、ＰＤＰＣ、ＭＲＬ、ＩＳＰなどの特定のイントラ予測タイプを除いた一般イントラ予測方法は、ノーマルイントラ予測タイプと呼ばれることができる。ノーマルイントラ予測タイプは、上述したような特定のイントラ予測タイプが適用されない場合に一般的に適用でき、前述したイントラ予測モードに基づいて予測が行われることができる。一方、必要に応じて導出された予測サンプルに対する後処理フィルタリングが行われることもできる。
具体的には、イントラ予測手順は、イントラ予測モード／タイプ決定ステップ、周辺参照サンプル導出ステップ、イントラ予測モード／タイプベースの予測サンプル導出ステップを含むことができる。また、必要に応じて、導出された予測サンプルに対する後処理フィルタリング（ｐｏｓｔ－ｆｉｌｔｅｒｉｎｇ）ステップが行われることもできる。
一方、上述したイントラ予測タイプの他にも、ＡＬＷＩＰ（ａｆｆｉｎｅ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）が使用されることができる。前記ＡＬＷＩＰは、ＬＷＩＰ（ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）又はＭＷＩＰ（ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）又はＭＩＰ（ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることもできる。前記ＡＬＷＩＰが現在ブロックに対して適用される場合、ｉ）アベレージング（ａｖｅｒａｇｉｎｇ）手順が行われた周辺参照サンプルを用いて、ｉｉ）マトリクスベクトル積（ｍａｔｒｉｘ－ｖｅｃｔｏｒ－ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）手順を行い、ｉｉｉ）必要に応じて水平／垂直補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）手順をさらに行って前記現在ブロックに対する予測サンプルを導出することができる。前記ＡＬＷＩＰのために使用されるイントラ予測モードは、上述したＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰイントラ予測又はノーマルイントラ予測で使用されるイントラ予測モード（図１３及び／又は図１４を参照して説明したイントラ予測モード）とは異なるように構成されることができる。前記ＡＬＷＩＰのためのイントラ予測モードは、ＡＬＷＩＰモード、ＬＷＩＰモード、ＭＷＩＰモード又はＭＩＰモードと呼ばれることができる。例えば、前記ＡＬＷＩＰのためのイントラ予測モードに応じて、前記マトリクスベクトル積で使用されるマトリクス及びオフセットが異なるように設定されることができる。ここで、前記マトリクスは、（アフィン）重みマトリクスと呼ばれることができ、前記オフセットは、（アフィン）オフセットベクトル又は（アフィン）バイアス（ｂｉａｓ）ベクトルと呼ばれることができる。具体的なＡＬＷＩＰ方法については後述する。
図６はイントラ予測ベースのビデオ／画像符号化方法を示すフローチャートである。
図６の符号化方法は、図２の画像符号化装置によって行われることができる。具体的には、ステップＳ６１０は、イントラ予測部１８５によって行われることができ、ステップＳ６２０は、レジデュアル処理部によって行われることができる。具体的には、ステップＳ６２０は、減算部１１５によって行われることができる。ステップＳ６３０は、エントロピー符号化部１９０によって行われることができる。ステップＳ６３０の予測情報はイントラ予測部１８５によって導出され、ステップＳ６３０のレジデュアル情報はレジデュアル処理部によって導出されることができる。前記レジデュアル情報は前記レジデュアルサンプルに関する情報である。前記レジデュアル情報は、前記レジデュアルサンプルに対する量子化された変換係数に関する情報を含むことができる。前述したように、前記レジデュアルサンプルは、画像符号化装置の変換部１２０を介して変換係数として導出され、前記変換係数は、量子化部１３０を介して量子化された変換係数として導出されることができる。前記量子化された変換係数に関する情報がレジデュアルコーディング手順を介してエントロピー符号化部１９０で符号化されることができる。
画像符号化装置は、現在ブロックに対するイントラ予測を行うことができる（Ｓ６１０）。画像符号化装置は、現在ブロックに対するイントラ予測モード／タイプを決定し、現在ブロックの周辺参照サンプルを導出した後、前記イントラ予測モード／タイプ、及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる。ここで、イントラ予測モード／タイプの決定、周辺参照サンプルの導出及び予測サンプルの生成手順は、同時に行われてもよく、いずれか一つの手順が他の手順よりも先に行われてもよい。
図７は本開示によるイントラ予測部１８５の構成を例示的に示す図である。
図７に示すように、画像符号化装置のイントラ予測部１８５は、イントラ予測モード／タイプ決定部１８６、参照サンプル導出部１８７及び／又は予測サンプル導出部１８８を含むことができる。イントラ予測モード／タイプ決定部１８６は、前記現在ブロックに対するイントラ予測モード／タイプを決定することができる。参照サンプル導出部１８７は、前記現在ブロックの周辺参照サンプルを導出することができる。予測サンプル導出部１８８は、前記現在ブロックの予測サンプルを導出することができる。一方、たとえ図示されてはいないが、後述する予測サンプルフィルタリング手順が行われる場合、イントラ予測部１８５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。
画像符号化装置は、複数のイントラ予測モード／タイプのうち、前記現在ブロックに対して適用されるモード／タイプを決定することができる。画像符号化装置は、前記イントラ予測モード／タイプに対するレート歪みコスト（ＲＤ ｃｏｓｔ）を比較し、前記現在ブロックに対する最適のイントラ予測モード／タイプを決定することができる。
一方、画像符号化装置は、予測サンプルフィルタリング手順を行うこともできる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、前記予測サンプルフィルタリング手順は省略できる。
再び図６を参照して、画像符号化装置は、予測サンプル又はフィルタリングされた予測サンプルに基づいて、前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ６２０）。画像符号化装置は、現在ブロックの原本サンプルから前記予測サンプルを減算して前記レジデュアルサンプルを導出することができる。つまり、画像符号化装置は、原本サンプル値から対応する予測サンプル値を減算することにより、レジデュアルサンプル値を導出することができる。
画像符号化装置は、前記イントラ予測に関する情報（予測情報）、及び前記レジデュアルサンプルに関するレジデュアル情報を含む画像情報を符号化することができる（Ｓ６３０）。前記予測情報は、前記イントラ予測モード情報及び／又は前記イントラ予測技法情報を含むことができる。画像符号化装置は、符号化された画像情報をビットストリーム形式で出力することができる。出力されたビットストリームは、記憶媒体又はネットワークを介して画像復号化装置へ伝達されることができる。
前記レジデュアル情報は、後述するレジデュアルコーディングシンタックスを含むことができる。画像符号化装置は、前記レジデュアルサンプルを変換／量子化し、量子化された変換係数を導出することができる。前記レジデュアル情報は、前記量子化された変換係数に対する情報を含むことができる。
一方、前述したように、画像符号化装置は、復元ピクチャ（復元サンプル及び復元ブロックを含む）を生成することができる。このために、画像符号化装置は、前記量子化された変換係数をさらに逆量子化／逆変換処理して（修正された）レジデュアルサンプルを導出することができる。このようにレジデュアルサンプルを変換／量子化した後、再び逆量子化／逆変換を行う理由は、画像復号化装置から導出されるレジデュアルサンプルと同一のレジデュアルサンプルを導出するためである。画像符号化装置は、前記予測サンプルと、前記（修正された）レジデュアルサンプルに基づいて、前記現在ブロックに対する復元サンプルを含む復元ブロックを生成することができる。前記復元ブロックに基づいて、前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャにインループフィルタリング手順などがさらに適用できるのは、前述したとおりである。
図８はイントラ予測ベースのビデオ／画像復号化方法を示すフローチャートである。
画像復号化装置は、前記画像符号化装置で行われた動作と対応する動作を行うことができる。
図８の復号化方法は、図３の画像復号化装置によって行われることができる。ステップＳ８１０乃至Ｓ８３０は、イントラ予測部２６５によって行われることができ、ステップＳ８１０の予測情報及びステップＳ８４０のレジデュアル情報は、エントロピー復号化部２１０によってビットストリームから取得されることができる。画像復号化装置のレジデュアル処理部は、前記レジデュアル情報に基づいて、現在ブロックに対するレジデュアルサンプルを導出することができる（Ｓ８４０）。具体的には、前記レジデュアル処理部の逆量子化部２２０は、前記レジデュアル情報に基づいて導出された、量子化された変換係数に基づいて、逆量子化を行って変換係数を導出し、前記レジデュアル処理部の逆変換部２３０は、前記変換係数に対する逆変換を行って前記現在ブロックに対するレジデュアルサンプルを導出することができる。ステップＳ８５０は、加算部２３５又は復元部によって行われることができる。
具体的には、画像復号化装置は、受信された予測情報（イントラ予測モード／タイプ情報）に基づいて、現在ブロックに対するイントラ予測モード／タイプを導出することができる（Ｓ８１０）。また、画像復号化装置は、前記現在ブロックの周辺参照サンプルを導出することができる（Ｓ８２０）。画像復号化装置は、前記イントラ予測モード／タイプ及び前記周辺参照サンプルに基づいて前記現在ブロック内の予測サンプルを生成することができる（Ｓ８３０）。この場合、画像復号化装置は、予測サンプルフィルタリング手順を行うことができる。予測サンプルフィルタリングは、ポストフィルタリングと呼ばれることができる。前記予測サンプルフィルタリング手順によって、前記予測サンプルのうちの一部又は全部がフィルタリングされることができる。場合によっては、予測サンプルフィルタリング手順は省略できる。
画像復号化装置は、受信されたレジデュアル情報に基づいて、前記現在ブロックに対するレジデュアルサンプルを生成することができる（Ｓ８４０）。画像復号化装置は、前記予測サンプル及び前記レジデュアルサンプルに基づいて前記現在ブロックに対する復元サンプルを生成し、前記復元サンプルを含む復元ブロックを導出することができる（Ｓ８５０）。前記復元ブロックに基づいて前記現在ピクチャに対する復元ピクチャが生成されることができる。前記復元ピクチャに基づいてインループフィルタリング手順などがさらに適用できるのは、前述したとおりである。
図９は本開示によるイントラ予測部２６５の構成を例示的に示す図である。
図９に示すように、画像復号化装置のイントラ予測部２６５は、イントラ予測モード／タイプ決定部２６６、参照サンプル導出部２６７及び予測サンプル導出部２６８を含むことができる。イントラ予測モード／タイプ決定部２６６は、画像符号化装置のイントラ予測モード／タイプ決定部１８６で生成されてシグナリングされたイントラ予測モード／タイプ情報に基づいて、前記現在ブロックに対するイントラ予測モード／タイプを決定し、参照サンプル導出部２６６は、現在ピクチャ内の復元された参照領域から前記現在ブロックの周辺参照サンプルを導出することができる。予測サンプル導出部２６８は、前記現在ブロックの予測サンプルを導出することができる。一方、たとえ図示されてはいないが、前述した予測サンプルフィルタリング手順が行われる場合、イントラ予測部２６５は、予測サンプルフィルタ部（図示せず）をさらに含むこともできる。
前記イントラ予測モード情報は、例えばＭＰＭ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）が前記現在ブロックに適用されるか、それともリメイニングモード（ｒｅｍａｉｎｉｎｇ ｍｏｄｅ）が適用されるかを示すフラグ情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）を含むことができ、前記ＭＰＭが前記現在ブロックに適用される場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）のうちのいずれか一つを指すインデックス情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）をさらに含むことができる。前記イントラ予測モード候補（ＭＰＭ候補）は、ＭＰＭ候補リスト又はＭＰＭリストで構成されることができる。また、前記ＭＰＭが前記現在ブロックに適用されない場合、前記イントラ予測モード情報は、前記イントラ予測モード候補（ＭＰＭ候補）を除いた残りのイントラ予測モードのうちのいずれか一つを指すリメイニングモード情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）をさらに含むことができる。画像復号化装置は、前記イントラ予測モード情報に基づいて、前記現在ブロックのイントラ予測モードを決定することができる。また、上述したＡＬＷＩＰのために別途のＭＰＭリストが構成できる。ＭＰＭ候補モードは、現在ブロックの周辺ブロック（例えば、左側周辺ブロック及び上側周辺ブロック）のイントラ予測モード及び追加的な候補モードを含むことができる。
また、前記イントラ予測技法は、様々な形態で実現できる。一例として、前記イントラ予測技法情報は、前記イントラ予測技法のうちのいずれか一つを指示するイントラ予測技法のインデックス情報を含むことができる。他の例として、前記イントラ予測技法情報は、前記ＭＲＬが前記現在ブロックに適用されるか、及び、適用される場合には何番目の参照サンプルラインが用いられるかを示す参照サンプルライン情報（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘ）、前記ＩＳＰが前記現在ブロックに適用されるかを示すＩＳＰフラグ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）、前記ＩＳＰが適用される場合にサブパーティションの分割タイプを指示するＩＳＰタイプ情報（例えば、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇ）、ＰＤＰＣの適用如何を示すフラグ情報、又はＬＩＰの適用如何を示すフラグ情報のうちの少なくとも一つを含むことができる。本開示において、ＩＳＰフラグ情報はＩＳＰ適用インジケータと呼ばれることができる。また、前記イントラ予測タイプ情報は、前記現在ブロックにＡＬＷＩＰが適用されるか否かを示すＡＬＷＩＰフラグを含むことができる。
前記イントラ予測モード情報及び／又は前記イントラ予測技法情報は、本開示で説明されたコーディング方法を介して符号化／復号化されることができる。例えば、前記イントラ予測モード情報及び／又は前記イントラ予測技法情報は、ｔｒｕｎｃａｔｅｄ（ｒｉｃｅ）ｂｉｎａｒｙ ｃｏｄｅに基づいてエントロピーコーディング（例えば、ＣＡＢＡＣ、ＣＡＶＬＣ）を介して符号化／復号化できる。
以下、本開示によるイントラ予測モード／タイプ決定方法についてより詳細に説明する。
現在ブロックにイントラ予測が適用される場合、周辺ブロックのイントラ予測モードを用いて、現在ブロックに適用されるイントラ予測モードが決定されることができる。例えば、画像復号化装置は、現在ブロックの周辺ブロック（例えば、左側及び／又は上側周辺ブロック）のイントラ予測モード及び追加的な候補モードに基づいて導出されたｍｐｍ（ｍｏｓｔ ｐｒｏｂａｂｌｅ ｍｏｄｅ）リストを構成し、受信されたｍｐｍインデックスに基づいてｍｐｍリスト内のｍｐｍ候補のうちのいずれかを選択することができる。又は画像復号化装置は、前記ｍｐｍリストに含まれていない残りのイントラ予測モードのうちのいずれか一つをリメイニングイントラ予測モード情報に基づいて選択することができる。例えば、現在ブロックに適用されるイントラ予測モードがｍｐｍ候補の中にあるか（すなわち、ｍｐｍリストに含まれているか）、それともリメイニングモードの中にあるかは、ｍｐｍ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）に基づいて指示できる。ｍｐｍ ｆｌａｇの値１は、前記現在ブロックに対するイントラ予測モードがｍｐｍ候補（ｍｐｍリスト）内にあることを示すことができ、ｍｐｍ ｆｌａｇの値０は、前記現在ブロックに対するイントラ予測モードがｍｐｍ候補（ｍｐｍリスト）内にないことを示すことができる。前記ｍｐｍインデックスは、ｍｐｍ＿ｉｄｘ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘシンタックス要素の形態でシグナリングされることができ、前記リメイニングイントラ予測モード情報は、ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒシンタックス要素の形態でシグナリングされることができる。例えば、前記リメイニングイントラ予測モード情報は、全体イントラ予測モードのうち、前記ｍｐｍ候補（ｍｐｍリスト）に含まれない残りのイントラ予測モードを予測モード番号の順にインデキシングしてその中のいずれか一つを指すことができる。前記イントラ予測モードは、ルマ成分（サンプル）に対するイントラ予測モードであることができる。以下、イントラ予測モード情報は、前記ｍｐｍ ｆｌａｇ（例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇ）、前記ｍｐｍインデックス（例えば、ｍｐｍ＿ｉｄｘ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｉｄｘ）、前記リメイニングイントラ予測モード情報（ｒｅｍ＿ｉｎｔｒａ＿ｌｕｍａ＿ｐｒｅｄ＿ｍｏｄｅ又はｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ）のうちの少なくとも一つを含むことができる。本開示において、ＭＰＭリストは、ＭＰＭ候補リストやｃａｎｄＭｏｄｅＬｉｓｔなどの様々な用語で呼ばれることができる。
図１０は画像符号化装置におけるイントラ予測モードシグナリング手順を示すフローチャートである。
図１０を参照すると、画像符号化装置は、現在ブロックに対するＭＰＭリストを構成することができる（Ｓ１０１０）。前記ＭＰＭリストは、前記現在ブロックに適用される可能性が高い候補イントラ予測モード（ＭＰＭ候補）を含むことができる。前記ＭＰＭリストは、周辺ブロックのイントラ予測モードを含むこともでき、予め定められた方法に基づいて特定のイントラ予測モードをさらに含むこともできる。
画像符号化装置は、現在ブロックのイントラ予測モードを決定することができる（Ｓ１０２０）。画像符号化装置は、様々なイントラ予測モードに基づいて予測を行うことができ、これに基づいたＲＤＯ（ｒａｔｅ－ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ）を行って最適のイントラ予測モードを決定することができる。画像符号化装置は、この場合、前記ＭＰＭリストに含まれているＭＰＭ候補のみを用いて前記最適のイントラ予測モードを決定することもでき、或いは前記ＭＰＭリストに含まれているＭＰＭ候補だけでなく、残りのイントラ予測モードをさらに用いて前記最適のイントラ予測モードを決定することもできる。具体的には、例えば、もし前記現在ブロックのイントラ予測タイプがノーマルイントラ予測タイプではない特定のタイプ（例えば、ＬＩＰ、ＭＲＬ又はＩＳＰ）である場合には、画像符号化装置は、前記ＭＰＭ候補のみを用いて前記最適のイントラ予測モードを決定することができる。つまり、この場合には、前記現在ブロックに対するイントラ予測モードは、前記ＭＰＭ候補のみの中から決定されることができ、この場合には、前記ｍｐｍ ｆｌａｇを符号化／シグナリングしないことができる。画像復号化装置は、前記特定のタイプの場合には、ｍｐｍ ｆｌａｇのシグナリングを別途受けなくても、ｍｐｍ ｆｌａｇが１であると推定することができる。
一方、一般的に前記現在ブロックのイントラ予測モードが前記ＭＰＭリスト内にあるＭＰＭ候補のうちのいずれか一つである場合、画像符号化装置は、前記ＭＰＭ候補のうちのいずれか一つを指すｍｐｍインデックス（ｍｐｍ ｉｄｘ）を生成することができる。もし、前記現在ブロックのイントラ予測モードが前記ＭＰＭリスト内にない場合には、前記ＭＰＭリストに含まれていない残りのイントラ予測モードのうち、前記現在ブロックのイントラ予測モードと同じモードを指すリメイニングイントラ予測モード情報を生成することができる。
画像符号化装置は、イントラ予測モード情報を符号化してビットストリーム形式で出力することができる（Ｓ１０３０）。前記イントラ予測モード情報は、前述したｍｐｍ ｆｌａｇ、ｍｐｍインデックス及び／又はリメイニングイントラ予測モード情報を含むことができる。一般に、ｍｐｍインデックスとリメイニングイントラ予測モード情報は、ａｌｔｅｒｎａｔｉｖｅな関係で一つのブロックに対するイントラ予測モードを指示するにあたり、同時にはシグナリングされない。つまり、ｍｐｍ ｆｌａｇ値が１であるとき、ｍｐｍインデックスがシグナリングされ、ｍｐｍ ｆｌａｇ値が０であるとき、リメイニングイントラ予測モード情報がシグナリングされることができる。ただし、前述したように、現在ブロックに特定のイントラ予測タイプが適用される場合には、ｍｐｍ ｆｌａｇがシグナリングされず、その値が１に推論（ｉｎｆｅｒ）され、ｍｐｍインデックスのみシグナリングされることもできる。すなわち、この場合には、前記イントラ予測モード情報は、前記ｍｐｍインデックスのみを含むこともできる。
図１０に示されている例において、Ｓ１０２０はＳ１０１０よりも後で行われると図示されたが、これは一つの例示であり、Ｓ１０２０は、Ｓ１０１０よりも先に行われてもよく、同時に行われてもよい。
図１１は画像復号化装置におけるイントラ予測モード決定手順を示すフローチャートである。
画像復号化装置は、画像符号化装置で決定及びシグナリングされたイントラ予測モード情報に基づいて、現在ブロックのイントラ予測モードを決定することができる。
図１１を参照すると、画像復号化装置は、ビットストリームからイントラ予測モード情報を取得することができる（Ｓ１１１０）。前記イントラ予測モード情報は、前述したようにｍｐｍ ｆｌａｇ、ｍｐｍインデックス、及びリメイニングイントラ予測モードのうちの少なくとも一つを含むことができる。
画像復号化装置は、ＭＰＭリストを構成することができる（Ｓ１１２０）。前記ＭＰＭリストは、前記画像符号化装置で構成されたＭＰＭリストと同様に構成される。すなわち、前記ＭＰＭリストは、周辺ブロックのイントラ予測モードを含むこともでき、予め定められた方法に従って特定のイントラ予測モードをさらに含むこともできる。
図１１に示された例において、Ｓ１１２０はＳ１１１０よりも後で行われると図示されたが、これは一つの例示であり、Ｓ１１２０は、Ｓ１１１０よりも先に行われてもよく、同時に行われてもよい。
画像復号化装置は、前記ＭＰＭリスト及び前記イントラ予測モード情報に基づいて現在ブロックのイントラ予測モードを決定する（Ｓ１１３０）。ステップＳ１１３０は、図１２を参照してより具体的に説明する。
図１２はイントラ予測モード導出手順をより具体的に説明するためのフローチャートである。
図１２のステップＳ１２１０及びＳ１２２０は、それぞれ図１１のステップＳ１１１０及びＳ１１２０に対応することができる。よって、ステップＳ１２１０及びＳ１２２０についての具体的な説明は省略する。
画像復号化装置は、ビットストリームからイントラ予測モード情報を取得し、ＭＰＭリストを構成した後（Ｓ１２１０、Ｓ１２２０）、所定の条件を判断することができる（Ｓ１２３０）。具体的には、図１２に示すように、ｍｐｍ ｆｌａｇの値が１である場合（Ｓ１２３０でＹｅｓ）、画像復号化装置は、前記ＭＰＭリスト内のＭＰＭ候補のうち、前記ｍｐｍインデックスが指し示す候補を、前記現在ブロックのイントラ予測モードとして導出することができる（Ｓ１２４０）。他の例として、前記ｍｐｍ ｆｌａｇの値が０である場合（Ｓ１２３０でＮｏ）、画像復号化装置は、前記ＭＰＭリストに含まれていない残りのイントラ予測モードのうち、前記リメイニングイントラ予測モード情報が指すイントラ予測モードを前記現在ブロックのイントラ予測モードとして導出することができる（Ｓ１２５０）。一方、別の例として、前記現在ブロックのイントラ予測タイプが特定のタイプ（例えば、ＬＩＰ、ＭＲＬ又はＩＳＰなど）である場合（Ｓ１２３０でＹｅｓ）、画像復号化装置は、前記ｍｐｍ ｆｌａｇの確認がなくても、前記ＭＰＭリスト内で前記ｍｐｍインデックスが指し示す候補を前記現在ブロックのイントラ予測モードとして導出することもできる（Ｓ１２４０）。
図１３は本開示の一実施例に係るイントラ予測方向を示す図である。
イントラ予測モードは、一例として、２つの非方向性イントラ予測モードと、３３個の方向性イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、プランナー（ｐｌａｎａｒ）イントラ予測モード及びＤＣイントラ予測モードを含むことができ、前記方向性イントラ予測モードは、２番乃至３４番のイントラ予測モードを含むことができる。前記プランナーイントラ予測モードは、プランナーモードと呼ばれることができ、前記ＤＣイントラ予測モードは、ＤＣモードと呼ばれることができる。
又は、自然画像（ｎａｔｕｒａｌ ｖｉｄｅｏ）で提示された任意のエッジ方向（ｅｄｇｅ ｄｉｒｅｃｔｉｏｎ）をキャプチャするために、図１３に示すように、イントラ予測モードは、２つの非方向性イントラ予測モードと、６５個の拡張された方向性イントラ予測モードと、を含むことができる。前記非方向性イントラ予測モードは、プランナーモード及びＤＣモードを含むことができ、前記方向性イントラ予測モードは、２番乃至６６番のイントラ予測モードを含むことができる。前記拡張されたイントラ予測モードは、すべてのサイズのブロックに適用されることができ、ルマ成分（ルマブロック）及びクロマ成分（クロマブロック）の両方ともに適用されることができる。
又は、前記イントラ予測モードは、２つの非方向性イントラ予測モードと１２９個の方向性イントラ予測モードを含むことができる。前記非方向性イントラ予測モードは、プランナーモード及びＤＣモードを含むことができ、前記方向性イントラ予測モードは、２番乃至１３０番のイントラ予測モードを含むことができる。
一方、前記イントラ予測モードは、前述したイントラ予測モードの他にも、クロマサンプルのためのＣＣＬＭ（ｃｒｏｓｓ－ｃｏｍｐｏｎｅｎｔ ｌｉｎｅａｒ ｍｏｄｅｌ）モードをさらに含むことができる。ＣＣＬＭモードは、ＬＭパラメータの導出のために、左側サンプルを考慮するか、上側サンプルを考慮するか、両方を考慮するかによってＬ＿ＣＣＬＭ、Ｔ＿ＣＣＬＭ、ＬＴ＿ＣＣＬＭに分けられることができ、クロマ成分に対してのみ適用されることができる。
イントラ予測モードは、例えば、下記表２に示すようにインデキシングできる。
Figure 2022532114000003
図１４は本開示の他の実施例に係るイントラ予測方向を示す図である。図１４において、破線方向は、正方形ではないブロックのみに適用される広角（ｗｉｄｅ ａｎｇｌｅ）モードを示す。図１４に示すように、自然画像（ｎａｔｕｒａｌ ｖｉｄｅｏ）で提示された任意のエッジ方向（ｅｄｇｅ ｄｉｒｅｃｔｉｏｎ）をキャプチャするために、一実施例によるイントラ予測モードは、２つの非方向性イントラ予測モードと共に９３個の方向性イントラ予測モードを含むことができる。非方向性イントラ予測モードは、プランナーモード及びＤＣモードを含むことができる。方向性イントラ予測モードは、図１４の矢印で示すように、２番乃至８０番と－１番乃至－１４番で構成されるイントラ予測モードを含むことができる。前記プランナーモードはＩＮＴＲＡ＿ＰＬＡＮＡＲ、ＤＣモードはＩＮＴＲＡ＿ＤＣとそれぞれ表記されることができる。そして、方向性イントラ予測モードは、ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ－１４乃至ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ－１及びＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２乃至ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ８０のように表記されることができる。
一方、上述したようにＡＬＷＩＰが現在ブロックに適用される場合（例えば、ＬＷＩＰフラグ又はｉｎｔｒａ＿ｌｗｉｐ＿ｆｌａｇの値が１である場合）、前記ＡＬＷＩＰのためのＭＰＭリストが別途構成されることができ、前記ＡＬＷＩＰのための前記イントラ予測モード情報に含まれることができるＭＰＭフラグはｉｎｔｒａ＿ｌｗｉｐ＿ｍｐｍ＿ｆｌａｇ、ＭＰＭインデックスはｉｎｔｒａ＿ｌｗｉｐ＿ｍｐｍ＿ｉｄｘ、リメイニングイントラ予測モード情報はｉｎｔｒａ＿ｌｗｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒとそれぞれ呼ばれることができる。
また、ＡＬＷＩＰのために様々な予測モードが使用されることができ、ＡＬＷＩＰのためのイントラ予測モードに応じてＡＬＷＩＰのためのマトリクス及びオフセットを導出することができる。上述したように、前記マトリクスは（アフィン）重みマトリクスと呼ばれることができ、前記オフセットは（アフィン）オフセットベクトル又は（アフィン）バイアス（ｂｉａｓ）ベクトルと呼ばれることができる。前記ＡＬＷＩＰのためのイントラ予測モードの数は、現在ブロックのサイズに基づいて異なるように設定されることができる。例えば、ｉ）現在ブロック（例えば、ＣＢ又はＴＢ）の高さ及び幅がそれぞれ４である場合には、３５個のイントラ予測モード（すなわち、イントラ予測モード０乃至３４）が利用可能であることができ、ｉｉ）現在ブロックの高さ及び幅の両方ともが８以下である場合には、１９個のイントラ予測モード（すなわち、イントラ予測モード０乃至１８）が利用可能であることができ、ｉｉｉ）その他の場合には、１１個のイントラ予測モード（すなわち、イントラ予測モード０乃至１０）が利用可能であることができる。例えば、現在ブロックの高さ及び幅がそれぞれ４である場合をブロックサイズタイプ０とし、現在ブロックの高さ及び幅の両方ともが８以下である場合をブロックサイズタイプ１とし、その他の場合をブロックサイズタイプ２とするとき、ＡＬＷＩＰのためのイントラ予測モードの数は、表３のようにまとめられることができる。ただし、これは例示であり、ブロックサイズタイプ及び利用可能なイントラ予測モードの数は変更されることができる。
Figure 2022532114000004
一方、ＭＰＭリストは、Ｎ個のＭＰＭを含むように構成されることもできる。この時、Ｎは５又は６であることができる。
ＭＰＭリストを構成するために、後述する３種類のモードが考慮されることができる。
－デフォルトイントラモード（Ｄｅｆａｕｌｔ ｉｎｔｒａ ｍｏｄｅｓ）
－周辺イントラモード（Ｎｅｉｇｈｂｏｕｒ ｉｎｔｒａ ｍｏｄｅｓ）
－導出されたイントラモード（Ｄｅｒｉｖｅｄ ｉｎｔｒａ ｍｏｄｅｓ）
前記周辺イントラモードのために、二つの周辺ブロック、すなわち、左側周辺ブロック（Ａ）及び上側周辺ブロック（Ｂ）が考慮されることができる。
また、ＭＰＭリストを構成するために、次の初期化されたデフォルトＭＰＭが考慮されることができる。
Ｄｅｆａｕｌｔ ６ ＭＰＭ ｍｏｄｅｓ＝｛Ａ、Ｐｌａｎａｒ（０） ｏｒ ＤＣ（１）、Ｖｅｒｔｉｃａｌ（５０）、ＨＯＲ（１８）、ＶＥＲ－４（４６）、ＶＥＲ＋４（５４）｝
前記２つの周辺イントラモードに対するプルーニング（ｐｒｕｎｉｎｇ）プロセスが行われることにより、ＭＰＭリストが構成されることができる。前記２つの周辺イントラモードが互いに同一であり、前記周辺イントラモードがＤＣ（１）モードよりも大きい場合には、ＭＰＭリストは｛Ａ、Ｐｌａｎａｒ、ＤＣ｝モードを含み、３つの導出されたイントラモードを含むことができる。３つの導出されたイントラモードは、周辺イントラモードに所定のオフセット値を加算するか及び／又はモジュロ演算を行うことにより取得されることができる。前記２つの周辺イントラモードが互いに異なる場合、前記２つの周辺イントラモードは、一番目のＭＰＭモード及び二番目のＭＰＭモードに割り当てられ、残りの４つのＭＰＭモードは、デフォルトモード及び／又は周辺イントラモードから導出されることができる。ＭＰＭリスト生成過程で、プルーニングプロセスはＭＰＭリストに同一のモードが重複しないようにするために行われることができる。ＭＰＭモード以外のモードのエントロピー符号化のためにＴＢＣ（Ｔｒｕｎｃａｔｅｄ Ｂｉｎａｒｙ Ｃｏｄｅ）が使用されることができる。
上述したＭＰＭリスト構成方法は、現在ブロックにＡＬＷＩＰが適用されていない場合に使用できる。例えば、上述したＭＰＭリスト構成方法は、ＬＩＰ、ＰＤＰＣ、ＭＲＬ、ＩＳＰイントラ予測又はノーマルイントラ予測で使用されるイントラ予測モードの導出のために使用できる。一方、前記左側周辺ブロック又は前記上側周辺ブロックは、上述したＡＬＷＩＰに基づいてコーディングできる。すなわち、前記左側周辺ブロック又は前記上側周辺ブロックのコーディングの際に、ＡＬＷＩＰが適用できる。この場合、ＡＬＷＩＰが適用された周辺ブロック（左側周辺ブロック／上側周辺ブロック）のＡＬＷＩＰイントラ予測モード番号を、そのままＡＬＷＩＰが適用されていない現在ブロックのための前記ＭＰＭリストに使用することは、適切ではない。したがって、この場合、一例として、ＡＬＷＩＰが適用された周辺ブロック（左側周辺ブロック／上側周辺ブロック）のイントラ予測モードは、ＤＣ又はプランナーモードであると見做すことができる。つまり、現在ブロックのＭＰＭリストを構成するとき、ＡＬＷＩＰで符号化された周辺ブロックのイントラ予測モードは、ＤＣ又はプランナーモードで代替できる。又は、別の例として、ＡＬＷＩＰが適用された周辺ブロック（左側周辺ブロック／上側周辺ブロック）のイントラ予測モードをマッピングテーブルに基づいて一般イントラ予測モードにマッピングさせて現在ブロックのＭＰＭリストの構成に利用することができる。この場合、現在ブロックの前記ブロックサイズタイプに基づいて前記マッピングを行うことができる。例えば、前記マッピングテーブルは、表４のとおりに示すことができる。
Figure 2022532114000005
前記表４において、ＡＬＷＩＰ ＩｎｔｒａＰｒｅｄＭｏｄｅは周辺ブロック（左側周辺ブロック／上側周辺ブロック）のＡＬＷＩＰイントラ予測モードを示し、ブロックサイズタイプ（ｓｉｚｅＩｄ）は周囲ブロック又は現在ブロックのブロックサイズタイプを示す。ブロックサイズタイプ値０、１、２の下の数字は、各ブロックサイズタイプの場合に、ＡＬＷＩＰイントラ予測モードがマッピングされる一般イントラ予測モードを示す。例えば、現在ブロックのブロックサイズタイプが０であり、周辺ブロックのＡＬＷＩＰイントラ予測モード番号が１０である場合、マッピングされる一般イントラ予測モード番号は１８であることができる。ただし、前記マッピング関係は、例示であり、変更可能である。
一方、現在ブロックにＡＬＷＩＰが適用される場合、前記ＡＬＷＩＰが適用される現在ブロックのためのＭＰＭリストが別途に構成できる。前記ＭＰＭリストは、現在ブロックにＡＬＷＩＰが適用されない場合のＭＰＭリストと区分するために、ＡＬＷＩＰ ＭＰＭリスト（又はＬＷＩＰ ＭＰＭリスト、ｃａｎｄＬｗｉｐＭｏｄｅＬｉｓｔ）などのさまざまな名前で呼ばれることができる。以下、区分のためにＡＬＷＩＰ ＭＰＭリストと表現するが、これは単にＭＰＭリストと呼ばれることもできる。
前記ＡＬＷＩＰ ＭＰＭリストは、ｎ個の候補を含むことができ、例えば、ｎは３であることができる。前記ＡＬＷＩＰ ＭＰＭリストは、前記現在ブロックの左側周辺ブロック及び上側周辺ブロックに基づいて構成されることができる。ここで、前記左側周辺ブロックは、前記現在ブロックの左側境界に隣接する周辺ブロックのうちの最も上側に位置したブロックを示すことができる。また、前記上側周辺ブロックは、前記現在ブロックの上側境界に隣接する周辺ブロックのうちの最も左側に位置したブロックを示すことができる。
例えば、前記左側周辺ブロックにＡＬＷＩＰが適用された場合、第１候補イントラ予測モード（又はｃａｎｄＬｗｉｐＭｏｄｅＡ）は、前記左側周辺ブロックのＡＬＷＩＰイントラ予測モードと同様に設定されることができる。また、例えば、前記上側周辺ブロックにＡＬＷＩＰが適用された場合、第２候補イントラ予測モード（又はｃａｎｄＬｗｉｐＭｏｄｅＢ）は、前記上側周辺ブロックのＡＬＷＩＰイントラ予測モードと同一に設定されることができる。一方、前記左側周辺ブロックや前記上側周辺ブロックは、ＡＬＷＩＰではないイントラ予測に基づいてコーディングできる。すなわち、前記左側周辺ブロック又は前記上側周辺ブロックのコーディングの際に、ＡＬＷＩＰではない他のイントラ予測タイプが適用できる。この場合、ＡＬＷＩＰが適用されていない周辺ブロック（左側周辺ブロック／上側周辺ブロック）の一般イントラ予測モード番号を、そのままＡＬＷＩＰが適用された現在ブロックのための候補イントラモードとして使用することは、適切ではない。したがって、この場合、一例として、ＡＬＷＩＰが適用されていない周辺ブロック（左側周辺ブロック／上側周辺ブロック）のＡＬＷＩＰイントラ予測モードは、特定の値（例えば、０、１又は２など）のＡＬＷＩＰイントラ予測モードであると見做すことができる。又は、別の例として、ＡＬＷＩＰが適用されていない周辺ブロック（左側周辺ブロック／上側周辺ブロック）の一般イントラ予測モードをマッピングテーブルに基づいてＡＬＷＩＰイントラ予測モードにマッピングさせてＡＬＷＩＰ ＭＰＭリストの構成に利用することができる。この場合、現在ブロックの前記ブロックサイズタイプに基づいて前記マッピングを行うことができる。例えば、前記マッピングテーブルは、表５のとおりに示すことができる。
Figure 2022532114000006
表５において、ＩｎｔｒａＰｒｅｄＭｏｄｅＹは、周辺ブロック（左側周辺ブロック／上側周辺ブロック）のイントラ予測モードを示す。ここで、前記周辺ブロックのイントラ予測モードは、ルマ成分（サンプル）に対するイントラ予測モード、すなわちルマイントラ予測モードであることができる。ブロックサイズタイプ（ｓｉｚｅＩｄ）は、周辺ブロック又は現在ブロックのブロックサイズタイプを示す。ブロックサイズタイプ値０、１、２の下の数字は、各ブロックサイズタイプである場合に一般イントラ予測モードがマッピングされるＡＬＷＩＰイントラ予測モードを示す。例えば、現在ブロックのブロックサイズタイプが０であり、周辺ブロックの一般イントラ予測モードが１０である場合、マッピングされるＡＬＷＩＰイントラ予測モード番号は９であることができる。ただし、前記マッピング関係は、例示であり、変更可能である。
また、前記周辺ブロック（例えば、左側周辺ブロック／上側周辺ブロック）が利用可能ではないか（例えば、現在ピクチャの外部に位置するか、或いは現在タイル／タイルグループ／スライスの外側に位置するなど）、或いは、周辺ブロックにＡＬＷＩＰが適用されたとしても、周辺ブロックのＡＬＷＩＰイントラ予測モードがブロックサイズタイプに応じて現在ブロックに利用可能でないこともある。この場合には、第１候補及び／又は第２候補のために予め定義された特定のＡＬＷＩＰイントラ予測モードが前記第１候補イントラ予測モード又は第２候補イントラ予測モードとして使用できる。また、第３候補のために予め定義された特定のＡＬＷＩＰイントラ予測モードが第３候補イントラ予測モードとして使用されることもできる。
例えば、前記予め定義された特定のＡＬＷＩＰイントラ予測モードは、表６のとおりに示すことができる。
Figure 2022532114000007
前記第１候補イントラ予測モード及び前記第２候補イントラ予測モードに基づいて、前記ＡＬＷＩＰ ＭＰＭリストを構成することができる。例えば、前記第１候補イントラ予測モード及び前記第２候補イントラ予測モードが互いに異なる場合、前記第１候補イントラ予測モードをＡＬＷＩＰ ＭＰＭリストの０番目の候補（例えば、ｌｗｉｐＭｐｍｃａｎｄ［０］）に入れ、前記第２候補イントラ予測モードをＡＬＷＩＰ ＭＰＭリストの１番目の候補（例えば、ｌｗｉｐＭｐｍｃａｎｄ［１］）に入れることができる。ＡＬＷＩＰ ＭＰＭリストの２番目の候補（例えば、ｌｗｉｐＭｐｍｃａｎｄ［２］）は、上述した予め定義された特定のＡＬＷＩＰイントラ予測モードが使用できる。
又は、前記第１候補イントラ予測モードと前記第２候補イントラ予測モードとが互いに同一である場合、前記第１候補イントラ予測モード及び前記第２候補イントラ予測モードのうちのいずれか一つをＡＬＷＩＰ ＭＰＭリストの０番目の候補（例えば、ｌｗｉｐＭｐｍｃａｎｄ［０］）に入れることができ、前記ＡＬＷＩＰ ＭＰＭリストの１番目の候補（例えば、ｌｗｉｐＭｐｍｃａｎｄ［１］）及びＡＬＷＩＰ ＭＰＭリストの２番目の候補（例えば、ｌｗｉｐＭｐｍｃａｎｄ［２］）は、上述した予め定義された特定のＡＬＷＩＰイントラ予測モードを用いることができる。
上述したように、前記ＡＬＷＩＰ ＭＰＭリストに基づいて前記現在ブロックのＡＬＷＩＰイントラ予測モードが導出できる。この場合、上述したように、前記ＡＬＷＩＰのための前記イントラ予測モード情報に含まれうるＭＰＭフラグはｉｎｔｒａ＿ｌｗｉｐ＿ｍｐｍ＿ｆｌａｇ、ＭＰＭインデックスはｉｎｔｒａ＿ｌｗｉｐ＿ｍｐｍ＿ｉｄｘ、リメイニングイントラ予測モード情報はｉｎｔｒａ＿ｌｗｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒとそれぞれ呼ばれることができる。前記ＡＬＷＩＰ ＭＰＭリストからＡＬＷＩＰイントラ予測モードを導出する手順は、図１０及び図１１を参照して上述したように行われることができる。又は、現在ブロックのＡＬＷＩＰイントラ予測モードが直接シグナリングされることもできる。
ＡＬＷＩＰ（Ａｆｆｉｎｅ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）
以下、本開示によるＡＬＷＩＰについて具体的に説明する。
ＡＬＷＩＰは、ＭＷＩＰ（Ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）又はＭＩＰ（Ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）と呼ばれることもできる。ＡＬＷＩＰを適用してサイズＷ×Ｈの現在ブロックを予測するために、現在ブロックの左側に隣接するＨ個の復元された周辺境界サンプル（ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｎｅｉｇｈｂｏｕｒｉｎｇ ｂｏｕｎｄａｒｙ ｓａｍｐｌｅｓ）を含むいずれか一つのラインと、現在ブロックの上端に隣接するＷ個の復元された周辺境界サンプルを含む一つのラインが入力として用いられることができる。利用可能でない復元された周辺境界サンプルは、通常のイントラ予測で行われる方法によって、利用可能なサンプルで代替できる。ＡＬＷＩＰを適用して予測信号を生成する過程は、次の三つのステップを含むことができる。
第１ステップ．Ａｖｅｒａｇｉｎｇ ｐｒｏｃｅｓｓ：周辺境界サンプルを用いてアベレージング（ａｖｅｒａｇｉｎｇ）を行うことにより、４つのサンプル値（Ｗ＝Ｈ＝４の場合）又は８つのサンプル値（その他の場合）を導出することができる。
第２ステップ．Ｍａｔｉｘ ｖｅｃｔｏｒ ｍｕｌｔｉｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓ：前記アベレージングされたサンプル値を入力としてマトリクスベクトル積を行い、オフセットを加算することにより、原本ブロック（ｏｒｉｇｉｎａｌ ｂｌｏｃｋ）内のサンプルのサブサンプルセット（ｓｕｂｓａｍｐｌｅｄ ｓｅｔ）に対する縮小された予測信号（ｒｅｄｕｃｅｄ ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）を生成することができる。
第３ステップ．（ｌｉｎｅａｒ）Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｐｒｏｃｅｓｓ：前記サブサンプルセットに対する予測信号を線形補間することにより、残りの位置（ｒｅｍａｉｎｉｎｇ ｐｏｓｉｔｉｏｎ）での予測信号を生成することができる。前記線形補間は、各方向への単一ステップ（ｓｉｎｇｌｅ ｓｔｅｐ）線形補間であることができる。
前記予測信号（予測されたブロック又は予測されたサンプルの）を生成するために必要なマトリクスとオフセットは、３つのマトリクス集合Ｓ０、Ｓ１、Ｓ２から取得されることができる。集合Ｓ０は、１８個のマトリクスと１８個のオフセットベクトルで構成されることができる。このとき、それぞれのマトリクスは１６行（ｒｏｗ）と４列（ｃｏｌｕｍｎ）で構成され、各オフセットベクトルの大きさは１６であることができる。集合Ｓ０のマトリクスとオフセットベクトルは、サイズ４×４のブロックに対して使用できる。
集合Ｓ１は、１０個のマトリクスと１０個のオフセットベクトルで構成されることができる。このとき、それぞれのマトリクスは１６行（ｒｏｗ）と８列（ｃｏｌｕｍｎ）で構成され、各オフセットベクトルの大きさは１６であることができる。集合Ｓ１のマトリクスとオフセットベクトルはサイズ４×８、８×４及び８×８のブロックに対して使用できる。
集合Ｓ２は、６つのマトリクスと６つのオフセットベクトルで構成されることができる。このとき、それぞれのマトリクスは６４行（ｒｏｗ）と８列（ｃｏｌｕｍｎ）で構成され、各オフセットベクトルの大きさは６４であることができる。集合Ｓ２のマトリクスとオフセットベクトルは、他のすべての形態のブロックに対して使用できる。
マトリクスベクトル積の演算に必要な乗算の総数は、常に４×Ｗ×Ｈと同じかそれより小さい。すなわち、サンプルあたり最大４回の乗算がＡＬＷＩＰモードのために必要である。
以下、図１５乃至図１８を参照して様々なブロックの形態に対するＡＬＷＩＰ過程を説明する。図１５乃至図１８に示されたブロック以外のブロックは、図１５乃至図１８を参照して説明した方法のうちのいずれか一つで処理されることができる。
図１５は４×４ブロックに対するＡＬＷＩＰ過程を説明するための図である。
まず、アベレージングステップで、それぞれの境界に沿って二つの平均値が取得できる。すなわち、現在ブロックの上端の周辺境界サンプルを二つずつ選択して平均することにより、二つの平均値（ｂｄｒｙｔｏｐ）を取得することができる。また、現在ブロックの左側の周辺境界サンプルを二つずつ選択して平均することにより、二つの平均値（ｂｄｒｙｌｅｆｔ）を取得することができる。以後、アベレージングステップで生成された４つのサンプル値（ｂｄｒｙｒｅｄ）を入力としてマトリクスベクトル積が行われることができる。このとき、マトリクス（Ａｋ）は、ＡＬＷＩＰモード（ｍｏｄｅ ｋ）を用いて集合Ｓ０から取得されることができる。マトリクスベクトル積を行った結果にオフセット（ｂｋ）を加算した結果、１６個の最終予測サンプルが生成されることができる。この場合、線形補間は必要ではない。よって、サンプルあたり総（４×１６）／（４×４）＝４回の乗算が行われることができる。
図１６は８×８ブロックに対するＡＬＷＩＰ過程を説明するための図である。
まず、アベレージングステップで、それぞれの境界に沿って４つの平均値が取得されることができる。すなわち、現在ブロックの上端の周辺境界サンプルを二つずつ選択して平均することにより、４つの平均値（ｂｄｒｙｔｏｐ）を取得することができる。また、現在ブロックの左側の周辺境界サンプルを二つずつ選択して平均することにより、４つの平均値（ｂｄｒｙｌｅｆｔ）を取得することができる。以後、アベレージングステップで生成された８つのサンプル値（ｂｄｒｙｒｅｄ）を入力としてマトリクスベクトル積が行われることができる。このとき、マトリクス（Ａｋ）は、ＡＬＷＩＰモード（ｍｏｄｅ ｋ）を用いて集合Ｓ１から取得されることができる。マトリクスベクトル積を行った結果にオフセット（ｂｋ）を加算した結果、予測ブロック内の１６個の奇数位置のサンプル（ｐｒｅｄｒｅｄ）が生成されることができる。したがって、サンプルあたり総（８×１６）／（８×８）＝２回の乗算が行われることができる。最後に、ｐｒｅｄｒｅｄのサンプルと縮小された上端の周辺境界サンプル（ｂｄｒｙｒｅｄ ｔｏｐ）を用いて垂直方向の補間が行われることができる。以後、左側の周辺境界サンプル（ｂｄｒｙｌｅｆｔ）を用いて水平方向の補間が行われることができる。このとき、補間のためには、乗算演算が必要とされないので、８×８ブロックに対するＡＬＷＩＰ予測のためにサンプルあたり総２回の乗算が行われることができる。
図１７は８×４ブロックに対するＡＬＷＩＰ過程を説明するための図である。
まず、アベレージングステップで、水平境界に沿って４つの平均値が取得されることができる。すなわち、現在ブロックの上端の周辺境界サンプルを二つずつ選択して平均することにより、４つの平均値（ｂｄｒｙｔｏｐ）を取得することができる。また、現在ブロックの左側の４つの周辺境界サンプル（ｂｄｒｙｌｅｆｔ）を取得することができる。以後、アベレージングステップで生成された８つのサンプル値（ｂｄｒｙｒｅｄ）を入力としてマトリクスベクトル積が行われることができる。このとき、マトリクス（Ａｋ）は、ＡＬＷＩＰモード（ｍｏｄｅ ｋ）を用いて集合Ｓ１から取得されることができる。マトリクスベクトル積を行った結果にオフセット（ｂｋ）を加算した結果、予測ブロック内の１６個の位置のサンプル（ｐｒｅｄｒｅｄ）が生成されることができる。１６個の位置は、水平方向に奇数の座標、垂直方向にすべての座標の位置であることができる。したがって、サンプルあたり総（８×１６）／（８×４）＝４回の乗算が行われることができる。最後に、ｐｒｅｄｒｅｄのサンプルと左側の周辺境界サンプル（ｂｄｒｙｌｅｆｔ）を用いて水平方向の補間が行われることができる。このとき、補間のためには乗算演算が必要とされないので、８×４ブロックに対するＡＬＷＩＰ予測のためにサンプルあたり４回の乗算が行われることができる。
４×８ブロックに対するＡＬＷＩＰ過程は、８×４ブロックに対する過程の転置（ｔｒａｎｓｐｏｓｅｄ）過程であることができる。
図１８は１６×１６ブロックに対するＡＬＷＩＰ過程を説明するための図である。
まず、アベレージングステップで、境界に沿って４つの平均値が取得されることができる。例えば、現在ブロックの周辺境界サンプルを二つずつ選択して平均することにより８つの平均値を取得し、８つのサンプル値の中から二つずつ選択して平均することにより４つの平均値を取得することができる。又は、現在ブロックの周辺境界サンプルを４つずつ選択して平均することにより、４つの平均値を取得することができる。以後、アベレージングステップで生成された８つのサンプル値（ｂｄｒｙｒｅｄ）を入力としてマトリクスベクトル積が行われることができる。このとき、マトリクス（Ａｋ）は、ＡＬＷＩＰモード（ｍｏｄｅ ｋ）を用いて集合Ｓ２から取得されることができる。マトリクスベクトル積を行った結果にオフセット（ｂｋ）を加算した結果、予測ブロック内の１６個の奇数位置のサンプル（ｐｒｅｄｒｅｄ）が生成されることができる。したがって、サンプルあたり総（８×６４）／（１６×１６）＝２回の乗算が行われることができる。最後に、ｐｒｅｄｒｅｄのサンプルと縮小された上端の周辺境界サンプル（ｂｄｒｙｒｅｄＩＩ ｔｏｐ）を用いて垂直方向の補間が行われることができる。以後、左側の周辺境界サンプル（ｂｄｒｙｌｅｆｔ）を用いて水平方向の補間が行われることができる。このとき、補間のためには乗算演算が必要とされないので、１６×１６ブロックに対するＡＬＷＩＰ予測のために、サンプルあたり総２回の乗算が行われることができる。
Ｗ×８ブロック（Ｗ＞８）の場合、ｐｒｅｄｒｅｄのサンプルは、水平方向に奇数の座標、垂直方向にすべての座標の位置に存在するので、水平方向の補間のみが行われることができる。この場合、ｐｒｅｄｒｅｄを計算するために、サンプルあたりの総（８×６４）／（Ｗ×８）＝６４／Ｗ回の乗算が行われることができる。例えば、Ｗが１６であるとき、線形補間のための追加的な乗算は行われないことができる。また、Ｗが１６よりも大きいとき、線形補間のためにサンプルあたり必要な追加的な乗算の回数は２よりも小さいことができる。よって、サンプルあたり乗算の総回数は４と同じかそれよりも小さいことができる。
Ｗ×４ブロック（Ｗ＞８）の場合、マトリクスＡｋは、前記縮小されたブロックの水平方向に沿って奇数項目（ｏｄｄ ｅｎｔｒｙ）に対応するすべての行を省略することにより生成されることができる。したがって、ｐｒｅｄｒｅｄは、３２個のサンプルを含み、水平方向の補間のみが行われることができる。この場合、ｐｒｅｄｒｅｄを計算するために、サンプルあたり総（８×３２）／（Ｗ×４）＝６４／Ｗ回の乗算が行われることができる。例えば、Ｗが１６であるとき、線形補間のための追加的な乗算は行われないことができる。また、Ｗが１６よりも大きいとき、線形補間のためにサンプルあたり必要な追加的な乗算の回数は２よりも小さいことができる。よって、サンプルあたり乗算の総回数は４と同じかそれより小さいことができる。
８×Ｈブロック又は４×Ｈブロックに対するＡＬＷＩＰ過程は、Ｗ×８ブロック又はＷ×４ブロックに対する過程の転置（ｔｒａｎｓｐｏｓｅｄ）過程であることができる。
以下、前記アベレージングステップについて詳細に説明する。
図１９は本開示によるＡＬＷＩＰ過程のアベレージング手順を説明するための図である。
アベレージングは、現在ブロックの左側境界及び／又は上端境界のそれぞれに対して適用できる。このとき、境界は、図１９に示された灰色サンプルのように、現在ブロックの境界に隣接する周辺参照サンプルを示す。例えば、左側境界ｂｄｒｙｌｅｆｔは、現在ブロックの左側境界に隣接する左側周辺参照サンプルを示す。また、上端境界ｂｄｒｙｔｏｐは、現在ブロックの上端境界に隣接する上端周辺参照サンプルを示す。
現在ブロックが４×４ブロックであれば、各境界サイズはアベレージング過程に基づいて２つのサンプルに縮小されることができる。現在ブロックが４×４ブロック以外のブロックであれば、各境界サイズはアベレージング過程に基づいて４つのサンプルに縮小されることができる。
まず、入力境界ｂｄｒｙｔｏｐとｂｄｒｙｌｅｆｔは、より小さい境界
Figure 2022532114000008
及び
Figure 2022532114000009
に縮小されることができる。
Figure 2022532114000010
及び
Figure 2022532114000011
は、４×４ブロックの場合には２つのサンプルで構成されることができ、その他の場合には４つのサンプルで構成されることができる。
具体的には、４×４ブロックの場合には、数式１を用いて
Figure 2022532114000012
が生成されることができる。
Figure 2022532114000013
数式１において、ｉは０以上、２未満の値を持つことができる。また、前記数式１と同様に、
Figure 2022532114000014
が生成されることができる。
そうではなく、ブロックの幅Ｗが４×２ｋであるとき、数式２を用いて
Figure 2022532114000015
が生成されることができる。
Figure 2022532114000016
数式２において、ｉは０以上、４未満の値を持つことができる。また、前記数式２と同様に、
Figure 2022532114000017
が生成されることができる。
このように生成された二つの縮小された境界
Figure 2022532114000018
及び
Figure 2022532114000019
は連結されて（ｃｏｎｃａｔｅｎａｔｅ）、縮小された境界ベクトルｂｄｒｙｒｅｄが生成されることができる。縮小された境界ベクトルは、４×４ブロックに対して４のサイズを持ち、その他のブロックに対して８のサイズを持つことができる。数式３は、ｍｏｄｅ（ＡＬＷＩＰモード）とブロックのサイズ（Ｗ、Ｈ）に基づいて
Figure 2022532114000020
及び
Figure 2022532114000021
を連結してｂｄｒｙｒｅｄを生成する方法を示す。
Figure 2022532114000022
数式３に示すように、現在ブロックのサイズ（Ｗ、Ｈ）及びＡＬＷＩＰモードに応じて、
Figure 2022532114000023
及び
Figure 2022532114000024
を連結する順序が変わることができる。例えば、現在ブロックが４×４ブロックであり、モードが１８よりも小さいとき、ｂｄｒｙｒｅｄは、
Figure 2022532114000025
以後に
Figure 2022532114000026
を連結することにより生成されることができる。又は、例えば、現在ブロックが４×４ブロックであり、モードが１８であるかそれより大きいとき、ｂｄｒｙｒｅｄは、
Figure 2022532114000027
以後に
Figure 2022532114000028
を連結することにより生成されることができる。又は、
Figure 2022532114000029
及び
Figure 2022532114000030
を連結する順序は、ビットストリームを介してシグナリングされる情報（例えば、フラグ情報）に基づいて決定されることもできる。
最後に、大きいサイズのブロックに対してサブサンプルされた予測信号の補間を行うために、第２バージョンのアベレージングされた境界が必要である。すなわち、ｍｉｎ（Ｗ、Ｈ）＞８であり且つＷ＞＝Ｈであるとき、Ｗ＝８×２ｌで表すことができ、この時、第２バージョンのアベレージングされた境界
Figure 2022532114000031
は、数式４を用いて生成されることができる。
Figure 2022532114000032
前記数式４において、ｉは０以上、８未満の値を持つことができる。また、ｍｉｎ（Ｗ、Ｈ）＞８であり且つＷ＜Ｈであるとき、前記数式４と同様に、
Figure 2022532114000033
が生成されることができる。
以下、マトリクスベクトル積を行って、縮小された予測信号を生成するステップを詳細に説明する。
アベレージングステップで生成されたｂｄｒｙｒｅｄを用いて、縮小された予測信号ｐｒｅｄｒｅｄを生成することができる。縮小された予測信号ｐｒｅｄｒｅｄは、Ｗｒｅｄ×Ｈｒｅｄの大きさを持つダウンサンプルされたブロック（ｄｏｗｎｓａｍｐｌｅｄ ｂｌｏｃｋ）の信号であることができる。このとき、ＷｒｅｄとＨｒｅｄは、数式５のとおりに定義されることができる。
Figure 2022532114000034
縮小された予測信号ｐｒｅｄｒｅｄは、数式６のようにマトリクスベクトル積とオフセットの加算によって生成されることができる。
Figure 2022532114000035
数式６において、ＡはＷｒｅｄ×Ｈｒｅｄ行と４列（現在ブロックが４×４ブロックであるとき）又は８列（その他の場合）で構成されたマトリクスであることができる。オフセットベクトルｂは、サイズＷｒｅｄ×Ｈｒｅｄのベクトルであることができる。
マトリクスＡとオフセットベクトルｂは、次のようにマトリクス集合Ｓ０、Ｓ１、Ｓ２から取得されることができる。
まず、インデックス（ｉｄｘ）が数式７に基づいてｉｄｘ（Ｗ、Ｈ）に設定されることができる。すなわち、ｉｄｘは現在ブロックの幅（Ｗ）と高さ（Ｈ）に基づいて設定されることができる。
Figure 2022532114000036
また、数式８に基づいて、ＡＬＷＩＰ ｍｏｄｅと現在ブロックの幅（Ｗ）及び高さ（Ｈ）に基づいて変数ｍが設定されることができる。
Figure 2022532114000037
インデックスｉｄｘが１以下である場合、又はインデックスｉｄｘが２であり且つｍｉｎ（Ｗ、Ｈ）が４よりも大きい場合には、マトリクスＡは
Figure 2022532114000038
と決定され、オフセットベクトルｂは
Figure 2022532114000039
と決定されることができる。インデックスｉｄｘが２であり且つｍｉｎ（Ｗ、Ｈ）が４である場合、マトリクスＡは、Ｗが４である場合には、
Figure 2022532114000040
でダウンロードサンプルされたブロック（ｄｏｗｎｓａｍｐｌｅｄ ｂｌｏｃｋ）内の奇数ｘ座標に対応するすべての行（ｒｏｗ）を省略することにより生成され、或いは、Ｈが４である場合には、
Figure 2022532114000041
でダウンサンプルされたブロック（ｄｏｗｎｓａｍｐｌｅｄ ｂｌｏｃｋ）内の奇数ｙ座標に対応するすべての行（ｒｏｗ）を省略することにより生成されることができる。
最終的に、下記数式９の場合、縮小された予測信号は、行と列が入れ替わることができる。
Figure 2022532114000042
Ｗ＝Ｈ＝４の場合、マトリクスＡは４列と１６行を持つので、縮小された予測信号ｐｒｅｄｒｅｄの計算に要求される乗算の数は４である。その他のすべての場合、マトリクスＡは、８列とＷｒｅｄ×Ｈｒｅｄ行を持つので、８×Ｗｒｅｄ×Ｈｒｅｄ＜＝４×Ｗ×Ｈ回の乗算が要求される。すなわち、この場合、サンプルあたり最大４回の乗算が行われることができる。
以下、線形補間ステップについて詳細に説明する。
補間過程は、線形（ｌｉｎｅａｒ）補間又は双線形（ｂｉｌｉｎｅａｒ）補間過程と呼ばれることができる。補間過程は、垂直補間と水平補間の２ステップを含むことができる。
Ｗ＞＝Ｈの場合、垂直補間が先に行われ、水平補間が行われることができる。Ｗ＜Ｈの場合、水平補間が先に行われ、垂直補間が行われることができる。４×４ブロックの場合には、補間過程はスキップされることができる。
図２０は本開示によるＡＬＷＩＰ過程の補間ステップを説明するための図である。
Ｍａｘ（Ｗ、Ｈ）＞＝８であるＷ×Ｈブロックの場合、予測信号は、縮小された予測信号ｐｒｅｄｒｅｄ（Ｗｒｅｄ×Ｈｒｅｄ）を線形補間することにより生成されることができる。ブロックの形態に従属的に、線形補間は垂直方向、水平方向又は双方向に行われることができる。線形補間が双方向に行われる場合、Ｗ＜Ｈのときには水平方向が先に行われ、そうでないときには垂直方向が先に行われることができる。図２０に示すように、例えば、８×８ブロックの場合、垂直方向の補間が先に行われ、以後、水平方向の補間が行われて最終予測信号（ｐｒｅｄ）が生成されることができる。
以下で、Ｍａｘ（Ｗ、Ｈ）＞＝８であり且つＷ＞＝ＨであるＷ×Ｈブロックの場合、１次元線形補間の例として垂直方向の線形補間を説明する。しかし、以下の説明は、水平方向の線形補間にも適応的に適用できる。すなわち、説明の重複を避けるために、垂直方向の線形補間についてのみ説明するが、以下の説明は、水平方向の線形補間についても適用されることができる。まず、縮小された予測信号は、境界信号に基づいて上端境界まで拡張されることができる。垂直アップサンプリングファクター（ｆａｃｔｏｒ）Ｕｖｅｒ＝Ｈ／Ｈｒｅｄと定義すれば、Ｕｖｅｒは２のｕｖｅｒ乗で表現できる。拡張された縮小された予測信号（ｅｘｔｅｎｄｅｄ ｒｅｄｕｃｅｄ ｐｒｅｄｉｃｔｉｏｎ ｓｉｇｎａｌ）は、数式１０によって生成されることができる。
Figure 2022532114000043
前記拡張された縮小された予測信号から、数式１１を用いて、垂直に線形補間を行うことにより、垂直補間された予測信号が生成されることができる。
Figure 2022532114000044
水平方向の線形補間は、前記垂直方向の線形補間と同様に行われることができる。この時、行と列、ｘ座標とｙ座標はそれぞれ入れ替わることができる。また、拡張された縮小された予測信号は、縮小された予測信号を左側境界まで拡張されたものであることができる。
上述したように、垂直方向の線形補間及び／又は水平方向の線形補間を行うことにより、現在ブロックの予測信号が最終的に生成されることができる。
以下、本開示によるレジデュアル信号の変換／逆変換について詳細に説明する。
上述したように、画像符号化装置は、イントラ／インター／ＩＢＣ予測などを介して予測されたブロック（予測サンプル）に基づいてレジデュアルブロック（レジデュアルサンプル）を導出することができ、導出されたレジデュアルサンプルに変換及び量子化を適用して、量子化された変換係数を導出することができる。量子化された変換係数に対する情報（レジデュアル情報）は、レジデュアルコーディングシンタックスに含まれて符号化の後にビットストリーム形式で出力されることができる。画像復号化装置は、前記ビットストリームから前記量子化された変換係数に対する情報（レジデュアル情報）を取得し、復号化して、量子化された変換係数を導出することができる。画像復号化装置は、量子化された変換係数を基に逆量子化／逆変換を経てレジデュアルサンプルを導出することができる。上述したように、前記量子化／逆量子化及び／又は変換／逆変換のうちの少なくとも一つは省略できる。前記変換／逆変換が省略される場合、前記変換係数は、係数又はレジデュアル係数と呼ばれることもでき、又は表現の統一性のために変換係数と依然として呼ばれることもできる。前記変換／逆変換を省略するか否かは、ｔｒａｎｓｆｏｒｍ＿ｓｋｉｐ＿ｆｌａｇに基づいてシグナリングされることができる。
前記変換／逆変換は、変換カーネルに基づいて行われることができる。例えば、本開示によれば、ＭＴＳ（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ）スキーム（ｓｃｈｅｍｅ）が適用されることができる。この場合、多数の変換カーネルセット中の一部が選択されて現在ブロックに適用されることができる。変換カーネルは、変換マトリクスや変換タイプなどの様々な用語で呼ばれることができる。例えば、変換カーネルセットは、垂直方向変換カーネル（垂直変換カーネル）及び水平方向変換カーネル（水平変換カーネル）の組み合わせを示すことができる。例えば、ＭＴＳインデックス情報（例えば、ｔｕ＿ｍｔｓ＿ｉｄｘシンタックス要素）が前記変換カーネルセットのうちのいずれか一つを指示するために、画像符号化装置で生成／符号化されて画像復号化装置にシグナリングされることができる。例えば、ＭＴＳインデックス情報の値による変換カーネルセットは、表７のとおりであり得る。
Figure 2022532114000045
表７において、ｔｕ＿ｍｔｓ＿ｉｄｘはＭＴＳインデックス情報を示し、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒはそれぞれ水平変換カーネル及び垂直変換カーネルを示す。
前記変換カーネルセットは、例えば、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ及びｃｕ＿＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇに基づいて決定されることもできる。ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇは、１の値を持つとき、現在ブロックが２つの変換ブロックに水平方向分割されることを示し、０の値を持つとき、現在ブロックが２つの変換ブロックに垂直方向分割されることを示すことができる。ｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇは、１の値を持つとき、現在ブロックの第１変換ブロックに対するｔｕ＿ｃｂｆ＿ｌｕｍａ、ｔｕ＿ｃｂｆ＿ｃｂ及びｔｕ＿ｃｂｆ＿ｃｒがビットストリームに存在しないことを示し、０の値を持つとき、現在ブロックの第２変換ブロックに対するｔｕ＿ｃｂｆ＿ｌｕｍａ、ｔｕ＿ｃｂｆ＿ｃｂ及びｔｕ＿ｃｂｆ＿ｃｒがビットストリームに存在しないことを示すことができる。ｔｕ＿ｃｂｆ＿ｌｕｍａ、ｔｕ＿ｃｂｆ＿ｃｂ及びｔｕ＿ｃｂｆ＿ｃｒは、当該色成分（ｌｕｍａ、ｃｂ、ｃｒ）の変換ブロックが少なくとも一つの０ではない変換係数を含むかを示すシンタックス要素であることができる。例えば、ｔｕ＿ｃｂｆ＿ｌｕｍａは、１の値を持つとき、当該ｌｕｍａ変換ブロックが少なくとも一つの０ではない変換係数を含むことを示すことができる。上述したように、ｔｒＴｙｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒは、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇ及びｃｕ＿＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇに基づいて、下記表８によって決定されることができる。
Figure 2022532114000046
表８において、例えば、ｃｕ＿ｓｂｔ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｌａｇが０であり且つｃｕ＿ｓｂｔ＿ｐｏｓ＿ｆｌａｇが１であるとき、ｔｒＴｐｅＨｏｒ及びｔｒＴｙｐｅＶｅｒはそれぞれ１と決定されることができる。前記変換カーネルセットは、例えば、現在ブロックに対するイントラ予測モードに基づいて決定されることもできる。
本開示において、前記ＭＴＳベースの変換は、１次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）に適用され、さらに２次変換（Ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）が適用されることができる。前記２次変換は、前記１次変換が適用された係数ブロックの左上端ｗ×ｈ領域の係数に対してのみ適用されることもでき、ＲＳＴ（Ｒｅｄｕｃｅｄ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。例えば、前記ｗ及び／又はｈは４又は８であることができる。変換では、レジデュアルブロックに前記１次変換及び前記２次変換が順次適用されることができ、逆変換では、変換係数に２次逆変換及び１次逆変換が順次適用されることができる。前記２次変換（ＲＳＴ変換）は、低周波係数（ｌｏｗ ｆｒｅｕｅｑｎｃｙ ｃｏｅｆｆｉｃｉｅｎｔｓ）変換（ＬＦＣ変換又はＬＦＣＴ）と呼ばれることができる。前記２次逆変換は、逆ＬＦＣ変換又は逆ＬＦＣＴと呼ばれることができる。
図２１はレジデュアルブロックに適用される変換方法を説明するための図である。
図２１に示すように、画像符号化装置の変換部１２０は、レジデュアルサンプルの入力を受けて１次変換（Ｐｒｉｍａｒｙ Ｔｒａｎｓｆｏｒｍ）を行って変換係数（Ａ）を生成し、２次変換（Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）を行って変換係数（Ｂ）を生成することができる。画像符号化装置の逆変換部１５０及び画像復号化装置の逆変換部２３０は、変換係数（Ｂ）の入力を受けて２次逆変換（Ｉｎｖｅｒｓｅ Ｓｅｃｏｎｄａｒｙ Ｔｒａｎｓｆｏｒｍ）を行って変換係数（Ａ）を生成し、１次逆変換（Ｉｎｖｅｒｓｅ Ｐｒｉｍａｒｙ Ｔｒａｎｓｆｏｒｍ）を行ってレジデュアルサンプルを生成することができる。上述したように、１次変換及び１次逆変換はＭＴＳに基づいて行われることができる。また、２次変換及び２次逆変換は低周波数領域（ブロックの左上端ｗ×ｈ領域）に対してのみ行われることができる。
前記変換／逆変換は、ＣＵ（符号化ユニット）又はＴＵ（変換ユニット）単位で行われることができる。すなわち、前記変換／逆変換は、ＣＵ内のレジデュアルサンプル又はＴＵ内のレジデュアルサンプルに対して適用されることができる。ＣＵサイズとＴＵサイズが同一であることができ、或いはＣＵ領域内の複数のＴＵが存在することもできる。一方、ＣＵサイズとは、一般的にルマ成分（サンプル）ＣＢ（符号化ブロック）サイズを示すことができる。ＴＵサイズとは、一般的にルマ成分（サンプル）ＴＢ（変換ブロック）サイズを示すことができる。クロマ成分（サンプル）ＣＢ又はＴＢサイズは、カラーフォーマット（クロマフォーマット、例えば、４：４：４、４：２：２、４：２：０など）による成分比に応じてルマ成分（サンプル）ＣＢ又はＴＢサイズに基づいて導出されることができる。前記ＴＵサイズは、ｍａｘＴｂＳｉｚｅに基づいて導出されることができる。この時、ｍａｘＴｂＳｉｚｅは、変換が可能な最大サイズを意味することができる。例えば、前記ＣＵサイズが前記ｍａｘＴｂＳｉｚｅよりも大きい場合、前記ＣＵから前記ｍａｘＴｂＳｉｚｅの複数のＴＵ（ＴＢ）が導出され、前記ＴＵ（ＴＢ）単位で変換／逆変換が行われることができる。前記ｍａｘＴｂＳｉｚｅは、ＩＳＰなどの様々なイントラ予測タイプが適用されるか否かに対する判断などに考慮されることができる。前記ｍａｘＴｂＳｉｚｅに対する情報は、予め決定されることもでき、或いは画像符号化装置で生成及び符号化されて画像復号化装置にシグナリングされることができる。
以下、２次変換／逆変換についてより詳細に説明する。
本開示の２次変換は、モードに従属的な非分離２次変換（ｍｏｄｅ－ｄｅｐｅｎｄｅｎｔ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ、ＭＤＮＳＳＴ）であることができる。複雑度を減らすために、ＭＤＮＳＳＴは、１次変換が行われた後、低周波数領域の係数に対してのみ適用されることができる。現在変換係数ブロックの幅（Ｗ）と高さ（Ｈ）の両方ともが８以上である場合、８×８非分離２次変換（８ｘ８ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）が現在変換係数ブロックの左上端８×８領域に対して適用されることができる。そうではなく、Ｗ又はＨが８よりも小さい場合、４×４非分離２次変換（４ｘ４ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｓｅｃｏｎｄａｒｙ ｔｒａｎｓｆｏｒｍ）が現在変換係数ブロックの左上端ｍｉｎ（８、Ｗ）×ｍｉｎ（８、Ｈ）領域に対して適用されることができる。４×４ブロックと８×８ブロックに対して合計３５×３個の非分離２次変換が利用可能である。ここで、３５は画面内予測モードによって特定される変換セットの数であり、３はそれぞれの画面内予測モードに対するＮＳＳＴ候補（候補カーネル）の数を意味する。画面内予測モードと対応する変換セットのマッピング関係は、例えば、表９のとおりであり得る。
Figure 2022532114000047
表９において、例えば、画面内予測モードが０であれば、２次変換（逆変換）のための変換セットは０番セットであることができる。画面内予測モードに基づいて変換セットが決定されると、変換セットに含まれている複数の変換カーネルのうちのいずれか一つを特定する必要がある。このために、インデックス（ＮＳＳＴ Ｉｄｘ）が符号化されてシグナリングされることができる。現在変換ブロックに対して２次変換／逆変換が行われない場合、０の値を持つＮＳＳＴ Ｉｄｘがシグナリングされることができる。また、変換スキップされたブロックに対しては、ＭＤＮＳＳＴが適用されないことができる。現在ＣＵに対して０ではない値を持つＮＳＳＴ Ｉｄｘがシグナリングされる場合、現在ＣＵ内の変換がスキップされた成分のブロックに対してはＭＤＮＳＳＴが適用されないことができる。現在ＣＵ内のすべての成分のブロックに対して変換がスキップされた場合、又は変換が行われたブロックの０ではない係数の数が２よりも小さい場合、現在ＣＵに対してＮＳＳＴ Ｉｄｘはシグナリングされないことができる。ＮＳＳＴ Ｉｄｘがシグナリングされない場合、その値は０に推論されることができる。
ＮＳＳＴは、１次変換が適用されたブロック（ＨＥＶＣの場合にはＴＵ）全体に対して適用されるものではなく、左上端（ｔｏｐ－ｌｅｆｔ）８×８領域又は４×４領域に対してのみ適用されることができる。一例として、ブロックのサイズが８×８以上である場合は８×８ ＮＳＳＴが適用され、８×８未満の場合は４×４ ＮＳＳＴが適用されることができる。また、８×８ ＮＳＳＴが適用される場合は、４×４ブロックに分けた後、それぞれに対して４×４ ＮＳＳＴが適用されることができる。８×８ ＮＳＳＴと４×４ ＮＳＳＴの両方とも、先立って説明した変換セットの構成に従い、ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｏｒｍである分、８×８ ＮＳＳＴは６４個のデータの入力を受けて６４個のデータを出力し、４×４ ＮＳＳＴは１６個の入力と１６個の出力を持つ。
本開示において、ＮＳＳＴ／ＲＴ／ＲＳＴは、ＬＦＮＳＴ（ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐｅｒａｂｌｅ ｔｒａｎｓｆｏｒｍ）と呼ばれることができる。ＬＦＮＳＴは、変換係数ブロックの左上端領域に位置する低周波変換係数に対して変換カーネル（変換マトリクス又は変換マトリクスカーネル）に基づいて非分離変換形式で適用されることができる。前記ＮＳＳＴインデックス又は（Ｒ）ＳＴインデックスは、ＬＦＮＳＴインデックスと呼ばれることができる。
本開示の一実施例によれば、ＭＩＰ技術が適用されたブロックに対して、ＬＦＮＳＴのためのｉｎｄｅｘ（ＮＳＳＴ ｉｄｘ又はｓｔ＿ｉｄｘシンタックス）を従来と同様に伝送することができる。すなわち、ＭＩＰが適用された現在ブロックに対して、ＬＦＮＳＴ ｔｒａｎｓｆｏｒｍ ｓｅｔを構成する変換カーネルのうちのいずれか一つを特定するためのｉｎｄｅｘが伝送されることができる。
本開示によれば、ＭＩＰが適用された画面内予測ブロックに対しても、最適のＬＦＮＳＴ ｋｅｒｎｅｌを選択することができるので、両技術を同時に適用する際に符号化効率を最大化することができる。表１０は本開示の一実施例によるＣＵのシンタックスを示す。
Figure 2022532114000048
表１０において、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］は、１の値を持つとき、現在ＣＵのルマサンプルに対してＭＩＰが適用されることを示し、０の値を持つとき、ＭＩＰが適用されないことを示すことができる。ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ［ｘ０］［ｙ０］がビットストリームに存在しない場合、その値は０に推論されることができる。
表１０のシンタックス要素ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇ［ｘ０］［ｙ０］、ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｉｄｘ［ｘ０］［ｙ０］及びｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｒｅｍａｉｎｄｅｒ［ｘ］［ｙ０］は、ルマサンプルに対するＭＩＰモードを特定するために使用できる。また、現在ピクチャの左上端位置が（０、０）であるとき、座標（ｘ０、ｙ０）は、現在符号化ブロックのルマサンプルの左上端位置であることができる。ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇ［ｘ０］［ｙ０］が１の値を持つとき、ＭＩＰモードが現在ＣＵの周辺のイントラ予測されたＣＵから誘導されることを示すことができる。ｉｎｔｒａ＿ｍｉｐ＿ｍｐｍ＿ｆｌａｇ［ｘ０］［ｙ０］がビットストリームに存在しない場合、その値は１に推論されることができる。
表１０において、ｓｔ＿ｉｄｘ［ｘ０］［ｙ０］は、現在ブロックに対するＬＦＮＳＴに適用された変換カーネル（ＬＦＮＳＴ ｋｅｒｎｅｌｓ）を特定することができる。すなわち、ｓｔ＿ｉｄｘは、ＬＦＮＳＴ ｔｒａｎｓｆｏｒｍ ｓｅｔに含まれている変換カーネルのうちのいずれか一つを指し示すことができる。上述したように、ＬＦＮＳＴ ｔｒａｎｓｆｏｒｍ ｓｅｔは、現在ブロックのイントラ予測モードとブロックサイズに基づいて決定されることができる。本開示において、ｓｔ＿ｉｄｘはｌｆｎｓｔ＿ｉｄｘと呼ばれることもできる。
ＭＩＰ技術は、ブロックサイズに応じて異なる個数のＭＩＰモードを使用する。例えば、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔが現在ブロックの幅と高さを示すとき、ブロックサイズを区分する変数（ｓｉｚｅＩｄ）は、次のとおりに誘導されることができる。
ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔの両方ともが４であるとき、ｓｉｚｅＩｄは０に設定されることができる。そうではなく、ｃｂＷｉｄｔｈとｃｂＨｅｉｇｈｔの両方ともが８以下であるとき、ｓｉｚｅＩｄは１に設定されることができる。その他のすべての場合、ｓｉｚｅＩｄは２に設定されることができる。例えば、現在ブロックが１６×１６であるとき、ｓｉｚｅＩｄは２に設定されることができる。
前記ｓｉｚｅＩｄに応じて利用可能なＭＩＰモードの数は、表１１のとおりである。
Figure 2022532114000049
すなわち、ＭＩＰ技術では、最小１１個のＭＩＰモード、最大３５個のＭＩＰモードを使用することができる。これに対し、図１３に示すように、従来の画面内予測は、６７個のモードを使用することができる。
また、ＬＦＮＳＴ技術は、６７個の画面内予測モード（ｌｆｎｓｔＰｒｅｄＭｏｄｅＩｎｔｒａ）を基準に、表１２を参照してｔｒａｎｓｆｏｒｍ ｓｅｔ（ｌｆｎｓｔＳｅｔＩｄｘ）を決定することができる。
Figure 2022532114000050
表１２のｌｆｎｓｔＰｒｅｄＭｏｄｅＩｎｔｒａは、現在ブロックのイントラ予測モードに基づいて誘導されたモードであって、図１４を参照して説明した広角モード及びＣＣＬＭモードを含む。よって、表１２のｌｆｎｓｔＰｒｅｄＭｏｄｅＩｎｔｒａは０乃至８３の値を持つことができる。
本開示によれば、現在ブロックにＭＩＰ技術が使用される場合、ＭＩＰモードを、従来のイントラ予測モード（図１３及び図１４を参照して説明したモード）に変換してＬＦＮＳＴのｔｒａｎｓｆｏｒｍ ｓｅｔのインデックスを決定することができる。具体的には、現在ブロックのＭＩＰモードとブロックサイズ（ｓｉｚｅＩｄ）に基づいて、表１３を参照してｔｒａｎｓｆｏｒｍ ｓｅｔのインデックスを決定するためのイントラ予測モードを決定することができる。
Figure 2022532114000051
表１３において、ＭＩＰモードは現在ブロックのＭＩＰモードを示し、ｓｉｚｅＩｄは現在ブロックのサイズタイプを示す。また、ｓｉｚｅＩｄ ０、１、２の下の数字は、各ブロックサイズタイプに対して、ＭＩＰモードにマッピングされる一般イントラ予測モード（例えば、６７個の一般イントラ予測モードのうちのいずれか一つ）を示す。ただし、前記マッピング関係は、例示であり、変更可能である。
例えば、ｓｉｚｅＩｄが０であり、現在ブロックのＭＩＰモードが１０である場合、マッピングされる一般イントラ予測モード番号は１８であることができる。この場合、例えば、ｌｆｎｓｔＳｅｔＩｄｘは、表１２によれば２の値を有し、これに基づいてＬＦＮＳＴ ｔｒａｎｓｆｏｒｍ ｓｅｔが決定されることができる。すなわち、２の値を持つＬＦＮＳＴ ｔｒａｎｓｆｏｒｍ ｓｅｔが選択され、当該変換セットに含まれている変換カーネルのうち、ｓｔ＿ｉｄｘ（又はｌｆｎｓｔ＿ｉｄｘ）が指し示す変換カーネルが、現在ブロックの２次変換／逆変換のために使用されることができる。
図２２は本開示に基づいて２次変換／逆変換を行う方法を示すフローチャートである。
画像符号化装置は、１次変換が行われて生成された変換係数に対して、図２２に示された順序に従って２次変換を行うことができる。画像復号化装置は、ビットストリームから復元された変換係数に対して、図２２に示された順序で２次逆変換を行うことができる。
まず、現在変換ブロックに対してＬＦＮＳＴが適用されるか否かが判断されることができる（Ｓ２２１０）。ＬＦＮＳＴが適用されるか否かの判断は、例えば、ビットストリームから復元されたｓｔ＿ｉｄｘ又はｌｆｎｓｔ＿ｉｄｘ（ＮＳＳＴ ｉｄｘ）に基づいて行われることができる。ＬＦＮＳＴが適用されない場合、現在変換ブロックに対する２次変換／逆変換が行われないことができる。ＬＦＮＳＴが適用される場合、現在ブロックにＭＩＰが適用されるか否かを判断することができる（Ｓ２２２０）。現在ブロックに対してＭＩＰが適用されるか否かは、前述したフラグ情報（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ）を用いて判断できる。現在ブロックに対してＭＩＰが適用された場合、ＬＦＮＳＴ変換セットを決定するためのイントラ予測モードが導出されることができる（Ｓ２２３０）。例えば、ＭＩＰモードに基づいてＬＦＮＳＴ変換セットを決定するためのイントラ予測モードが導出されることができる。ＭＩＰモードは、前述したように、ビットストリームを介してシグナリングされる情報に基づいて復元されることができる。ＭＩＰモードに基づいたイントラ予測モードの導出は、画像符号化装置と画像復号化装置で予め設定された方法によって行われることができる。例えば、表１３を参照して説明したように、ＭＩＰモードとイントラ予測モード間のマッピングテーブルを用いてステップＳ２２３０が行われることができる。しかし、上記の方法に限定されず、例えば、ＭＩＰが適用された場合、ＬＦＮＳＴ変換セットを決定するために、イントラ予測モード（例えば、プランナーモード）は、既に定義されたイントラ予測モードに誘導されることもできる。ステップＳ２２３０が行われた後、導出されたイントラ予測モードに基づいてＬＦＮＳＴ変換セットが決定されることができる（Ｓ２２４０）。ステップＳ２２２０で、ＭＩＰモードが適用されていない場合、現在ブロックのイントラ予測モードがＬＦＮＳＴ変換セットを決定するために用いられることができる（Ｓ２２４０）。ステップＳ２２４０は、表１２を参照して説明したｌｆｎｓｔＳｅｔＩｄｘの決定過程に対応することができる。以後、ＬＦＮＳＴ変換セットに含まれている複数の変換カーネルのうち、現在変換ブロックの２次変換／逆変換に使用される変換カーネルを選択することができる（Ｓ２２５０）。変換カーネルの選択は、例えば、ビットストリームから復元されたｓｔ＿ｉｄｘ又はｌｆｎｓｔ＿ｉｄｘに基づいて行われることができる。最後に、選択された変換カーネルを用いて現在変換ブロックに対する２次変換／逆変換を行うことができる（Ｓ２２６０）。画像符号化装置は、レート歪みコストの比較によって最適のモードを決定することができる。したがって、画像符号化装置は、ステップＳ２２１０又はステップＳ２２２０の判断のために前述のフラグ情報を用いることもできるが、これに限定されない。画像復号化装置は、画像符号化装置からビットストリームを介してシグナリングされた情報に基づいてステップＳ２２１０又はステップＳ２２２０の判断を行うことができる。
図２２を参照して説明した本開示の一実施例によれば、ＭＩＰ適用されたブロックに対してＬＦＮＳＴが適用されるとき、ＬＦＮＳＴ変換セットを決定するためのイントラ予測モードを導出することができるので、より効率的なＬＦＮＳＴを行うことができるという効果がある。
図２３は本開示の他の実施例によるＭＩＰ及びＬＦＮＳＴの適用如何に基づいて画像復号化装置で行われる方法を説明するための図である。
図２３に示されている実施例によれば、ＭＩＰ技術が適用されたブロックに対して、ＬＦＮＳＴのためのｉｎｄｅｘ（ｓｔ＿ｉｄｘ又はｌｆｎｓｔ＿ｉｄｘ）を伝送しないことができる。すなわち、現在ブロックにＭＩＰが適用された場合、ＬＦＮＳＴ ｉｎｄｅｘは０の値に推論され、これは現在ブロックにＬＦＮＳＴ技術が適用されないことを意味することができる。
まず、現在ブロックにＭＩＰが適用されるか否かを判断することができる（Ｓ２３１０）。現在ブロックにＭＩＰが適用されるか否かは、前述したフラグ情報（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ）を用いて判断されることができる。現在ブロックに対してＭＩＰが適用された場合、ＭＩＰ予測を行い（Ｓ２３２０）、ＬＦＮＳＴは適用されないものと決定されることができる。したがって、２次逆変換が行われず、変換係数に対して１次逆変換が行われることができる（Ｓ２３６０）。以後、ＭＩＰが適用されて生成された予測ブロックと逆変換によって生成されたレジデュアルブロックに基づいて現在ブロックが復元されることができる（Ｓ２３７０）。現在ブロックにＭＩＰが適用されていない場合、現在ブロックに対して通常のイントラ予測が行われることができる（Ｓ２３３０）。また、現在ブロックにＬＦＮＳＴが適用されるか否かが判断されることができる（Ｓ２３４０）。ステップＳ２３４０の判断は、ビットストリームから復元されたｓｔ＿ｉｄｘ又はｌｆｎｓｔ＿ｉｄｘ（ＮＳＳＴ ｉｄｘ）に基づいて行われることができる。例えば、ｓｔ＿ｉｄｘが０である場合には、ＬＦＮＳＴは適用されず、ｓｔ＿ｉｄｘが０よりも大きい場合には、ＬＦＮＳＴは適用されると判断されることができる。ＬＦＮＳＴが適用されない場合、現在変換ブロックに対する２次逆変換は行われず、変換係数に対して１次逆変換が行われることができる（Ｓ２３６０）。以後、通常のイントラ予測によって生成された予測ブロックと逆変換によって生成されたレジデュアルブロックに基づいて現在ブロックが復元されることができる（Ｓ２３７０）。現在ブロックにＬＦＮＳＴが適用された場合、変換係数に対して２次逆変換が行われた後（Ｓ２３５０）、１次逆変換が行われることができる（Ｓ２３６０）。以後、通常のイントラ予測によって生成された予測ブロックと逆変換によって生成されたレジデュアルブロックに基づいて現在ブロックが復元されることができる（Ｓ２３７０）。このとき、ステップＳ２３５０の２次逆変換は、イントラ予測モードに基づいてＬＦＮＳＴ変換セットを決定し、ｓｔ＿ｉｄｘに基づいて、２次逆変換に使用される変換カーネルを選択した後、選択された変換カーネルに基づいて行われることができる。
表１４は図２３に示された実施例によるＣＵのシンタックスを示す。
Figure 2022532114000052
表１４に示すように、ｓｔ＿ｉｄｘはｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが０であるときにのみビットストリームに含まれることができる。よって、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが１であるとき、すなわち、現在ブロックにＭＩＰが適用された場合、ｓｔ＿ｉｄｘはビットストリームに含まれない。ｓｔ＿ｉｄｘがビットストリームに存在しなければ、その値は０に推論され、よって、現在ブロックに対してＬＦＮＳＴが適用されないものと決定されることができる。
図２３に示された実施例によれば、ＭＩＰが適用されたブロックに対してＬＦＮＳＴ ｉｎｄｅｘを伝送しないことにより、当該ｉｎｄｅｘを符号化するためのビット量低減効果を持つことができる。また、画像符号化装置及び画像復号化装置においてＭＩＰとＬＦＮＳＴが同時に適用されることを防止して複雑度を減少させ、それによるレイテンシ（ｌａｔｅｎｃｙ）低減効果をもたらすことができる。
図２４は本開示の他の実施例によるＭＩＰ及びＬＦＮＳＴの適用如何に基づいて画像符号化装置で行われる方法を説明するための図である。
図２４に示された符号化方法は、図２３に示された復号化方法に対応することができる。
まず、現在ブロックにＭＩＰが適用されるか否かを判断することができる（Ｓ２４１０）。現在ブロックにＭＩＰが適用されるか否かは、前述したフラグ情報（例えば、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ）を用いて判断されることができる。しかし、これらに限定されず、画像符号化装置は、さまざまな方法でステップＳ２４１０を行うことができる。現在ブロックに対してＭＩＰが適用された場合、ＭＩＰ予測を行い（Ｓ２４２０）、ＬＦＮＳＴは適用されないものと決定されることができる。したがって、２次変換が行われず、ＭＩＰが行われて生成された予測ブロックに基づいて現在ブロックのレジデュアルブロックが生成され、現在ブロックのレジデュアルブロックに対して１次変換が行われることができる（Ｓ２４３０）。以後、変換によって生成された変換係数をビットストリームに符号化することができる（Ｓ２４８０）。現在ブロックにＭＩＰが適用されていない場合、現在ブロックに対して通常のイントラ予測が行われることができる（Ｓ２４４０）。通常のイントラ予測が行われて生成された予測ブロックに基づいて現在ブロックのレジデュアルブロックが生成され、生成されたレジデュアルブロックに対して１次変換が行われることができる（Ｓ２４５０）。また、現在ブロックにＬＦＮＳＴが適用されるか否かが判断されることができる（Ｓ２４６０）。ステップＳ２４６０の判断は、ｓｔ＿ｉｄｘ又はｌｆｎｓｔ＿ｉｄｘ（ＮＳＳＴ ｉｄｘ）に基づいて行われることができる。例えば、ｓｔ＿ｉｄｘが０である場合には、ＬＦＮＳＴは適用されず、ｓｔ＿ｉｄｘが０よりも大きい場合には、ＬＦＮＳＴは適用されると判断されることができる。しかし、これに限定されず、画像符号化装置は、さまざまな方法でステップＳ２４６０を行うことができる。ＬＦＮＳＴが適用されない場合、１次変換によって生成された変換係数は、２次変換されず、ビットストリームに符号化されることができる（Ｓ２４８０）。現在ブロックにＬＦＮＳＴが適用された場合、１次変換によって生成された変換係数に対して２次変換が行われることができる（Ｓ２４７０）。２次変換によって生成された変換係数は、ビットストリームに符号化されることができる（Ｓ２４８０）。このとき、ステップＳ２４７０の２次変換は、イントラ予測モードに基づいてＬＦＮＳＴ変換セットを決定し、２次逆変換に使用される変換カーネルを選択した後、選択された変換カーネルに基づいて行われることができる。選択された変換カーネルに対する情報として、ｓｔ＿ｉｄｘが符号化されてシグナリングされることができる。
本開示の別の実施例によれば、ＭＩＰが適用されたブロックに対してＬＦＮＳＴ ｉｎｄｅｘをシグナリングせずに、所定の方法に基づいてＬＦＮＳＴ ｉｎｄｅｘを誘導して使用することができる。この場合の２次変換／逆変換過程は、図２２を参照して説明した方法によって行われることができ、ステップＳ２２５０での変換カーネルの選択は、前記所定の方法によって誘導されたＬＦＮＳＴ ｉｎｄｅｘに基づいて行われることができる。又は、ＭＩＰが適用されたブロックのための別途の最適化された変換カーネルを予め定義して使用することもできる。本実施例によれば、ＭＩＰが適用されたブロックに対して最適のＬＦＮＳＴ ｋｅｒｎｅｌを選択しながらも、これを符号化するためのビット量を低減する効果を持つことができる。前記ＬＦＮＳＴ ｉｎｄｅｘの誘導は、画面内予測のためのｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｉｎｄｅｘ、画面内予測モード、ブロックのサイズ、ＭＩＰの適用如何などの少なくとも一つに基づいて行われることができる。また、ＬＦＮＳＴ変換セットを選択するために、図２２を参照して説明した実施例のように、ＭＩＰモードは、一般イントラ予測モードに変換又はマッピングされることができる。本実施例の場合、ＬＦＮＳＴ ｉｎｄｅｘを直接符号化せずに誘導して使用するため、ＣＵのシンタックスは表１４と同一であることができる。
本開示の別の実施例によれば、ＭＩＰ技術が適用されたブロックに対して、ＬＦＮＳＴ ｉｎｄｅｘの２値化方法を適応的に行うことができる。より具体的には、現在ブロックに対してＭＩＰが適用されたか否かに応じて適用可能なＬＦＮＳＴ変換カーネルの数を異なるように使用し、それによりＬＦＮＳＴ ｉｎｄｅｘに対する２値化方法を選択的に変更することができる。例えば、ＭＩＰが適用されたブロックに対しては一つのＬＦＮＳＴ ｋｅｒｎｅｌを使用し、このｋｅｒｎｅｌは、ＭＩＰが適用されていないブロックに適用されるＬＦＮＳＴ ｋｅｒｎｅｌのうちのいずれか一つであることができる。或いは、ＭＩＰが適用されたブロックに対しては、ＭＩＰが適用されたブロックに最適化された別個のｋｅｒｎｅｌを定義して使用し、このｋｅｒｎｅｌは、ＭＩＰが適用されていないブロックに適用されるＬＦＮＳＴ ｋｅｒｎｅｌではないことができる。本実施例によれば、ＭＩＰが適用されたブロックに対して、そうでないブロックよりも減少した数のＬＦＮＳＴ ｋｅｒｎｅｌを使用することにより、ＬＦＮＳＴ ｉｎｄｅｘを伝送することによるオーバーヘッドを低減し、複雑度減少効果を得ることができる。例えば、表１５に示すように、ｓｔ＿ｉｄｘに対する２値化過程及びｃＭａｘ値は、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇ値によって異なるように決定されることができる。
Figure 2022532114000053
本開示の別の実施例によれば、ＭＩＰ技術が適用されたブロックに対してＬＦＮＳＴのための情報を伝送する別の方法が提供されることができる。上述した例において、ＬＦＮＳＴのための情報として、ｓｔ＿ｉｄｘのように単一シンタックスを伝送し、ｓｔ＿ｉｄｘが０の値を持つとき、ＬＦＮＳＴが適用されないことを示し、ｓｔ＿ｉｄｘが０よりも大きい値を持つとき、ｓｔ＿ｉｄｘはＬＦＮＳＴに使用される変換カーネルを指示する。すなわち、単一シンタックスを用いてＬＦＮＳＴの適用如何及びＬＦＮＳＴのために使用される変換カーネルの種類を示すことができる。本開示の実施例によれば、ＬＦＮＳＴのための情報は、ＬＦＮＳＴの適用如何を示すシンタックスであるｓｔ＿ｆｌａｇとＬＦＮＳＴが適用されるとき、ＬＦＮＳＴのために使用される変換カーネルの種類を示すシンタックスであるｓｔ＿ｉｄｘ＿ｆｌａｇを含むことができる。
表１６はＬＦＮＳＴのための情報を伝送する他の方法によるＣＵのシンタックスを示す。
Figure 2022532114000054
表１６に示すように、現在ブロックにＬＦＮＳＴが適用されるか否かを示す情報（ｓｔ＿ｆｌａｇ）がシグナリングされ、ＬＦＮＳＴ変換カーネルを指示する情報（ｓｔ＿ｉｄｘ＿ｆｌａｇ）は、現在ブロックにＬＦＮＳＴが適用される場合（ｓｔ＿ｆｌａｇが１である場合）にシグナリングされることができる。
また、表１５を参照して説明した実施例と同様に、ＭＩＰが適用されたブロックとＭＩＰが適用されていないブロックに対してそれぞれ異なる数のＬＦＮＳＴ変換カーネルを使用することができる。例えば、ＭＩＰが適用されたブロックに対しては、一つのＬＦＮＳＴ変換カーネルのみが使用されることができる。この時、変換カーネルは、ＭＩＰが適用されていないブロックに適用されるＬＦＮＳＴ変換カーネルのうちのいずれか一つであってもよく、ＭＩＰが適用されたブロックに最適化された別個の変換カーネルであってもよい。この場合、表１６の伝送方法は表１７のように変更されることができる。
Figure 2022532114000055
表１７に示すように、ｓｔ＿ｉｄｘ＿ｆｌａｇは、ｉｎｔｒａ＿ｍｉｐ＿ｆｌａｇが０であるときにのみ伝送されることができる。すなわち、ｓｔ＿ｉｄｘ＿ｆｌａｇは、現在ブロックにＭＩＰが適用された場合に伝送されないことができる。
表１６及び表１７のｓｔ＿ｆｌａｇは、現在ブロックにＬＦＮＳＴが適用されるか否かを示す情報であり、ビットストリームに存在しないとき、０に推論されることができる。本開示において、ｓｔ＿ｆｌａｇはｌｆｎｓｔ＿ｆｌａｇと呼ばれることができる。また、ｓｔ＿ｉｄｘ＿ｆｌａｇは、選択されたＬＦＮＳＴ変換セットに含まれている２つの候補カーネルのうちのいずれか一つを指示することができる。ｓｔ＿ｉｄｘ＿ｆｌａｇがビットストリームに存在しないとき、その値は０に推論されることができる。本開示において、ｓｔ＿ｉｄｘ＿ｆｌａｇはｌｆｎｓｔ＿ｉｄｘ＿ｆｌａｇ又はｌｆｎｓｔ＿ｋｅｒｎｅｌ＿ｆｌａｇと呼ばれることができる。
表１６及び表１７の例において、ｓｔ＿ｆｌａｇ及びｓｔ＿ｉｄｘ＿ｆｌａｇの２値化過程は、表１８のとおりであり得る。
Figure 2022532114000056
また、ｓｔ＿ｆｌａｇ及びｓｔ＿ｉｄｘ＿ｆｌａｇのコンテキストコード化ビン（ｃｏｎｔｅｘｔ ｃｏｄｅｄ ｂｉｎ）によるｃｔｘＩｎｃは、表１９のとおりであり得る。
Figure 2022532114000057
表１９に示したように、ｓｔ＿ｆｌａｇのｃｔｘＩｄｘは、ｂｉｎＩｄｘが０であるとき、０又は１の値を持つことができる。例えば、ｓｔ＿ｆｌａｇのｃｔｘＩｎｃは数式１２によって導出されることができる。
Figure 2022532114000058
数式１２のように、ｓｔ＿ｆｌａｇのコーディングに使用されるｃｔｘＩｎｃの値を、現在ブロックに対するｔｒｅｅｔｙｐｅ及び／又はｔｕ＿ｍｔｓ＿ｉｄｘの値に基づいて異なるように決定することができる。前記ｃｔｘＩｎｃに基づいて、前記ｓｔ＿ｆｌａｇのコーティング（ＣＡＢＡＣベース）に使用されるコンテキストモデルを導出することができる。具体的には、コンテキストモデルは、コンテキストインデックス（ｃｔｘＩｄｘ）を決定することにより誘導されることができ、ｃｔｘＩｄｘは、変数ｃｔｘＩｄｘＯｆｆｓｅｔとｃｔｘＩｎｃの和によって誘導されることができる。また、ｓｔ＿ｉｄｘ＿＿ｆｌａｇは、バイパス符号化／復号化されることができる。バイパス符号化／復号化は、コンテキストを割り当てる代わりに、均一な確率分布を適用して入力されるビンを符号化／復号化することを意味することができる。
表１６及び表１７を参照して説明した例によれば、ＭＩＰが適用されたブロックに対して、そうでないブロックよりも減少した数のＬＦＮＳＴ ｋｅｒｎｅｌを用いて、ｉｎｄｅｘを伝送することによるｏｖｅｒｈｅａｄを低減し、複雑度減少効果を得ることができる。また、上述のように、ｓｔ＿ｆｌａｇのコーディングに使用されるｃｔｘＩｎｃの値を現在ブロックに対するｔｒｅｅｔｙｐｅ及び／又はｔｕ＿ｍｔｓ＿ｉｄｘ値に基づいて異なるように決定することができる。
本開示の別の実施例によれば、表１５乃至表１９を参照して説明した２値化方法及び／又はシンタックス伝送方法が使用される場合、ＬＦＮＳＴ変換カーネルを誘導して使用することができる。ＭＩＰが適用された現在ブロックにＬＦＮＳＴが適用される場合、ＬＦＮＳＴ変換カーネルを選択するための情報をシグナリングせず、誘導過程を介してＬＦＮＳＴ ｔｒａｎｓｆｏｒｍ ｓｅｔを構成する変換カーネルのうちのいずれか一つを選択するか、ＭＩＰが適用されたブロックのための別途の最適化された変換カーネルを選択することができる。この場合、ＭＩＰが適用されたブロックに対して最適のＬＦＮＳＴ変換カーネルを選択しながらも、これをシグナリングするためのビット量を低減する効果を持つことができる。ＬＦＮＳＴ変換カーネルの選択は、画面内予測のためのｒｅｆｅｒｅｎｃｅ ｌｉｎｅ ｉｎｄｅｘ、画面内予測モード、ブロックのサイズ、及びＭＩＰの適用如何などの少なくとも一つに基づいて行われることができる。また、ＬＦＮＳＴ変換セットを選択するために、図２２を参照して説明した実施例のように、ＭＩＰモードは一般イントラ予測モードに変換又はマッピングされることができる。
本開示による様々な実施例は、単独で又は他の実施例と組み合わせられて使用されることができる。
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。
本開示において、所定の動作（ステップ）を行う画像符号化装置又は画像復号化装置は、当該動作（ステップ）の実行条件や状況を確認する動作（ステップ）を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、２つ以上の組み合わせで適用されてもよい。
また、本開示の様々な実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、１つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ（ＶｏＤ）サービス提供装置、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置、インターネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、ＯＴＴビデオ（Ｏｖｅｒ ｔｈｅ ｔｏｐ ｖｉｄｅｏ）装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続ＴＶ、ホームシアターシステム、スマートフォン、タブレットＰＣ、ＤＶＲ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｒｅｃｏｄｅｒ）などを含むことができる。
図２５は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
図２５に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Ｗｅｂサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び／又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
前記ストリーミングサーバは、Ｗｅｂサーバを介したユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Ｗｅｂサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Ｗｅｂサーバに所望のサービスを要求すると、前記Ｗｅｂサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令／応答を制御する役割を果たすことができる。
前記ストリーミングサーバは、メディアストレージ及び／又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
前記ユーザ装置の例としては、携帯電話、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ノートパソコン（ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ）、デジタル放送用端末、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔｓ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ナビゲーション、スレートＰＣ（ｓｌａｔｅ ＰＣ）、タブレットＰＣ（ｔａｂｌｅｔ ＰＣ）、ウルトラブック（ｕｌｔｒａｂｏｏｋ）、ウェアラブルデバイス（ｗｅａｒａｂｌｅ ｄｅｖｉｃｅ、例えば、スマートウォッチ（ｓｍａｒｔｗａｔｃｈ）、スマートグラス（ｓｍａｒｔ ｇｌａｓｓ）、ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ））、デジタルＴＶ、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
前記コンテンツストリーミングシステム内の各サーバは分散サーバとして運営されることができ、この場合、各サーバから受信するデータは分散処理されることができる。
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能なコマンド（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。
本開示による実施例は、画像を符号化／復号化するのに利用可能である。

Claims (15)

  1. 画像復号化装置によって行われる画像復号化方法であって、
    現在ブロックに対してイントラ予測を行って予測ブロックを生成するステップと、
    前記現在ブロックの変換係数に対して逆変換を行ってレジデュアルブロックを生成するステップと、
    前記予測ブロックとレジデュアルブロックに基づいて前記現在ブロックを復元するステップと、を含み、
    前記逆変換は、１次逆変換と２次逆変換を含み、前記２次逆変換は、前記現在ブロックに対するイントラ予測がＭＩＰ予測であるか否かに基づいて行われる、画像復号化方法。
  2. 前記２次逆変換は、前記変換係数に対して２次逆変換を行うと判断される場合にのみ行われる、請求項１に記載の画像復号化方法。
  3. 前記変換係数に対して２次逆変換を行うか否かの判断は、ビットストリームを介してシグナリングされる情報に基づいて行われる、請求項２に記載の画像復号化方法。
  4. 前記２次逆変換は、
    前記現在ブロックのイントラ予測モードに基づいて２次逆変換の変換セット（ｔｒａｎｓｆｏｒｍ ｓｅｔ）を決定するステップと、
    前記２次逆変換の変換セットに含まれている複数の変換カーネルのうちのいずれか一つを選択するステップと、
    前記選択された変換カーネルに基づいて前記２次逆変換を行うステップと、を含む、請求項１に記載の画像復号化方法。
  5. 前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、
    前記２次逆変換の変換セットを決定するために用いられる前記現在ブロックのイントラ予測モードは、所定のイントラ予測モードに誘導される、請求項４に記載の画像復号化方法。
  6. 前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、
    前記所定のイントラ予測モードは、既に定義されたマッピングテーブルに基づいて前記現在ブロックのＭＩＰモードから誘導される、請求項５に記載の画像復号化方法。
  7. 前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、
    前記所定のイントラ予測モードはプランナーモードに誘導される、請求項５に記載の画像復号化方法。
  8. 前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、
    前記変換係数に対する２次逆変換はスキップされる、請求項１に記載の画像復号化方法。
  9. 前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、
    前記変換係数に対する２次逆変換を行うか否かを指示する情報は、ビットストリームを介してシグナリングされない、請求項１に記載の画像復号化方法。
  10. 前記現在ブロックに対するイントラ予測がＭＩＰ予測である場合、
    前記変換係数の２次逆変換のための変換カーネルは、ビットストリームを介してシグナリングされず、所定の変換カーネルに決定される、請求項１に記載の画像復号化方法。
  11. 前記現在ブロックがＭＩＰ予測された場合に利用可能な変換カーネルの数は、前記現在ブロックがＭＩＰ予測されていない場合に利用可能な変換カーネルの数よりも小さい、請求項１に記載の画像復号化方法。
  12. 前記現在ブロックに２次逆変換が適用されるか否かを示す第１情報、及び前記２次逆変換に使用される変換カーネルを指示する第２情報は、別個の情報としてシグナリングされ、
    前記第２情報は、前記第１情報が前記現在ブロックに２次逆変換が適用されることを示すときにシグナリングされる、請求項１に記載の画像復号化方法。
  13. メモリ及び少なくとも一つのプロセッサを含む画像復号化装置であって、
    前記少なくとも一つのプロセッサは、
    現在ブロックに対してイントラ予測を行って予測ブロックを生成し、
    前記現在ブロックの変換係数に対して逆変換を行ってレジデュアルブロックを生成し、
    前記予測ブロックとレジデュアルブロックに基づいて前記現在ブロックを復元し、
    前記逆変換は、１次逆変換と２次逆変換を含み、前記２次逆変換は、前記現在ブロックに対するイントラ予測がＭＩＰ予測であるか否かに基づいて行われる、画像復号化装置。
  14. 画像符号化装置によって行われる画像符号化方法であって、
    現在ブロックに対してイントラ予測を行って予測ブロックを生成するステップと、
    前記予測ブロックに基づいて前記現在ブロックのレジデュアルブロックを生成するステップと、
    前記レジデュアルブロックに対して変換を行って変換係数を生成するステップと、を含み、
    前記変換は、１次変換と２次変換を含み、前記２次変換は、前記現在ブロックに対するイントラ予測がＭＩＰ予測であるか否かに基づいて行われる、画像符号化方法。
  15. 請求項１４に記載の画像符号化方法によって生成されたビットストリームを伝送する方法。
JP2021566094A 2019-05-08 2020-05-07 Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法 Active JP7256296B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023055436A JP7422917B2 (ja) 2019-05-08 2023-03-30 Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP2024004481A JP2024026779A (ja) 2019-05-08 2024-01-16 Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962844751P 2019-05-08 2019-05-08
US62/844,751 2019-05-08
PCT/KR2020/005982 WO2020226424A1 (ko) 2019-05-08 2020-05-07 Mip 및 lfnst를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023055436A Division JP7422917B2 (ja) 2019-05-08 2023-03-30 Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

Publications (2)

Publication Number Publication Date
JP2022532114A true JP2022532114A (ja) 2022-07-13
JP7256296B2 JP7256296B2 (ja) 2023-04-11

Family

ID=73050568

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021566094A Active JP7256296B2 (ja) 2019-05-08 2020-05-07 Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP2023055436A Active JP7422917B2 (ja) 2019-05-08 2023-03-30 Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP2024004481A Pending JP2024026779A (ja) 2019-05-08 2024-01-16 Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2023055436A Active JP7422917B2 (ja) 2019-05-08 2023-03-30 Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP2024004481A Pending JP2024026779A (ja) 2019-05-08 2024-01-16 Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

Country Status (4)

Country Link
US (1) US20220060751A1 (ja)
JP (3) JP7256296B2 (ja)
KR (1) KR20210136157A (ja)
WO (1) WO2020226424A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11622131B2 (en) 2019-05-10 2023-04-04 Beijing Bytedance Network Technology Co., Ltd. Luma based secondary transform matrix selection for video processing
US11638008B2 (en) 2019-08-03 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Selection of matrices for reduced secondary transform in video coding
US11924469B2 (en) 2019-06-07 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
US11968367B2 (en) 2019-08-17 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
JP7477538B2 (ja) 2019-06-25 2024-05-01 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 行列ベースのイントラ予測および二次変換を使用したコーディング

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102311029B1 (ko) * 2017-07-04 2021-10-08 삼성전자주식회사 다중 코어 변환에 의한 비디오 복호화 방법 및 장치, 다중 코어 변환에 의한 비디오 부호화 방법 및 장치
KR20200145749A (ko) * 2019-06-19 2020-12-30 한국전자통신연구원 화면 내 예측 모드 및 엔트로피 부호화/복호화 방법 및 장치
TWI737364B (zh) * 2019-06-28 2021-08-21 聯發科技股份有限公司 圖片及視頻處理中的基於矩陣的幀內預測的方法與裝置
US11902531B2 (en) * 2021-04-12 2024-02-13 Qualcomm Incorporated Low frequency non-separable transform for video coding
WO2024005480A1 (ko) * 2022-06-29 2024-01-04 엘지전자 주식회사 다중 참조 라인에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체
WO2024007120A1 (zh) * 2022-07-04 2024-01-11 Oppo广东移动通信有限公司 编解码方法、编码器、解码器以及存储介质
WO2024049024A1 (ko) * 2022-08-29 2024-03-07 현대자동차주식회사 1차 변환 커널에 적응적인 분리 불가능한 2차 변환 기반 비디오 코딩을 위한 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207493A1 (en) * 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Transform coding based on matrix-based intra prediction
WO2020211765A1 (en) * 2019-04-17 2020-10-22 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods harmonzting matrix-based intra prediction and secoundary transform core selection
WO2020213677A1 (ja) * 2019-04-16 2020-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140254661A1 (en) * 2013-03-08 2014-09-11 Samsung Electronics Co., Ltd. Method and apparatus for applying secondary transforms on enhancement-layer residuals
US10735731B2 (en) * 2016-02-12 2020-08-04 Samsung Electronics Co., Ltd. Image encoding method and apparatus, and image decoding method and apparatus
CN115052143A (zh) * 2016-08-01 2022-09-13 韩国电子通信研究院 图像编码/解码方法
KR20180085526A (ko) * 2017-01-19 2018-07-27 가온미디어 주식회사 효율적 변환을 처리하는 영상 복호화 및 부호화 방법
BR112019019702A2 (pt) * 2017-03-21 2020-04-14 Lg Electronics Inc método de transformada em sistema de codificação de imagem e aparelho para o mesmo
US11303912B2 (en) * 2018-04-18 2022-04-12 Qualcomm Incorporated Decoded picture buffer management and dynamic range adjustment
KR20200109276A (ko) * 2019-03-12 2020-09-22 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207493A1 (en) * 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Transform coding based on matrix-based intra prediction
WO2020213677A1 (ja) * 2019-04-16 2020-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2020211765A1 (en) * 2019-04-17 2020-10-22 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods harmonzting matrix-based intra prediction and secoundary transform core selection

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JONATHAN PFAFF, ET AL.: "CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0217, JPN6020024055, March 2019 (2019-03-01), pages 1 - 17, XP030202699, ISSN: 0004921421 *
MOONMO KOO, ET AL.: "CE6: Reduced Secondary Transform (RST) (CE6-3.1)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-N0193, JPN6020024053, March 2019 (2019-03-01), pages 1 - 19, XP030256927, ISSN: 0004921419 *
MOONMO KOO, ET AL.: "CE6: Reduced Secondary Transform (RST) (CE6-3.1)", SPEC_TEXT_CE6-3.1D.DOCX, vol. JVET-N0193 (version 5), JPN6022046712, March 2019 (2019-03-01), pages 1 - 21, ISSN: 0004921420 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11622131B2 (en) 2019-05-10 2023-04-04 Beijing Bytedance Network Technology Co., Ltd. Luma based secondary transform matrix selection for video processing
US11924469B2 (en) 2019-06-07 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Conditional signaling of reduced secondary transform in video bitstreams
JP7477538B2 (ja) 2019-06-25 2024-05-01 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． 行列ベースのイントラ予測および二次変換を使用したコーディング
US11638008B2 (en) 2019-08-03 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Selection of matrices for reduced secondary transform in video coding
US11882274B2 (en) 2019-08-03 2024-01-23 Beijing Bytedance Network Technology Co., Ltd Position based mode derivation in reduced secondary transforms for video
US11968367B2 (en) 2019-08-17 2024-04-23 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video

Also Published As

Publication number Publication date
WO2020226424A1 (ko) 2020-11-12
JP2024026779A (ja) 2024-02-28
KR20210136157A (ko) 2021-11-16
JP7256296B2 (ja) 2023-04-11
JP2023073437A (ja) 2023-05-25
JP7422917B2 (ja) 2024-01-26
US20220060751A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
JP7422917B2 (ja) Ｍｉｐ及びｌｆｎｓｔを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
KR102657933B1 (ko) 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
WO2019194504A1 (ko) 축소된 2차 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
KR20200106982A (ko) 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
JP2022529999A (ja) Ｂｄｐｃｍに基づく映像コーディング方法、及びその装置
US11997261B2 (en) Image encoding/decoding method and device for determining division mode on basis of color format, and method for transmitting bitstream
JP7358622B2 (ja) ルマサンプル位置を参照してクロマブロックの予測モードを決定する画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
US11770537B2 (en) Image encoding/decoding method and apparatus for performing intra prediction, and method for transmitting bitstream
JP2022542083A (ja) パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングする画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
US20220159239A1 (en) Intra prediction-based image coding in image coding system
US20210360226A1 (en) Image prediction method and apparatus performing intra prediction
JP2022524441A (ja) クロマブロックに対する分割制限を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP2022530286A (ja) クロマブロックの適応的サイズ制限を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP2022530287A (ja) クロマブロックのサイズを制限する画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP7444998B2 (ja) リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
JP2023508178A (ja) Ｐｄｐｃを行う画像符号化／復号化方法、装置、及びビットストリームを伝送する方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230330

R150 Certificate of patent or registration of utility model

Ref document number: 7256296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150