JP2022537767A - 映像信号の符号化／復号化方法及びそのための装置 - Google Patents

映像信号の符号化／復号化方法及びそのための装置 Download PDF

Info

Publication number
JP2022537767A
JP2022537767A JP2021575982A JP2021575982A JP2022537767A JP 2022537767 A JP2022537767 A JP 2022537767A JP 2021575982 A JP2021575982 A JP 2021575982A JP 2021575982 A JP2021575982 A JP 2021575982A JP 2022537767 A JP2022537767 A JP 2022537767A
Authority
JP
Japan
Prior art keywords
slice
tile
information
block
motion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021575982A
Other languages
English (en)
Other versions
JP7492542B2 (ja
Inventor
リー、ベクン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xris Corp
Original Assignee
Xris Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xris Corp filed Critical Xris Corp
Publication of JP2022537767A publication Critical patent/JP2022537767A/ja
Application granted granted Critical
Publication of JP7492542B2 publication Critical patent/JP7492542B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示の一実施例による映像信号復号化方法は、現在ピクチャを複数のタイルに分割する段階と、スライスタイプを示すとともに方形スライスの適用可否を示す分割情報を復号化する段階と、前記分割情報が前記方形スライスが適用されることを示す場合、スライスのサイズを示す情報に基づいてスライスを決定する段階とを含む。

Description

本発明は映像信号の符号化／復号化方法及びそのための装置に関する。
ディスプレイパネルが段々大型化している趨勢に伴ってより高い画質のビデオサービスが要求されている。高画質ビデオサービスの最大問題はデータ量が大きく増加することであり、このような問題を解決するために、ビデオ圧縮率を向上させるための研究が活発に進んでいる。代表的な例として、２００９年にＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）とＩＴＵ－Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）傘下のＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）ではＪＣＴ－ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を結成した。ＪＣＴ－ＶＣはＨ．２６４／ＡＶＣに比べて約２倍の圧縮性能を有するビデオ圧縮標準であるＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を提案し、２０１３年１月２５日に標準として承認された。高画質ビデオサービスの急激な発展によってＨＥＶＣの性能も徐々にその限界を示している。
本発明は、ビデオ信号を符号化／復号化するにあたり、ピクチャを複数のタイル又は複数のスライスに分割する方法及び前記方法を遂行するための装置を提供することを目的とする。
本発明は、ピクチャを複数のタイルに分割するにあたり、タイルインデックスに基づいてスライスを区画する方法及び前記方法を遂行するための装置を提供することを目的とする。
本発明は、ピクチャを複数のスライスに分割するにあたり、以前スライスとの差分情報に基づいてスライスを区画する方法及び前記方法を遂行するための装置を提供することを目的とする。
本発明で達成しようとする技術的課題は以上で言及した技術的課題に制限されず、言及しなかった他の技術的課題は下記の記載から本発明が属する技術分野で通常の知識を有する者に明らかに理解可能であろう。
本発明によるビデオ信号復号化方法は、現在ピクチャを複数のタイルに分割する段階と、スライスタイプを示す分割情報を復号化する段階と、前記分割情報が前記方形スライスが適用されることを示す場合、スライスのサイズを示す情報に基づいてスイスを決定する段階とを含む。ここで、前記分割情報は方形スライスの適用可否を示し、前記スライスのサイズを示す情報は、スライスの幅を示す幅情報及びスライスの高さを示す高さ情報を含み、前記スライスの幅情報を復号化するかは前記スライス内の左上端タイルの位置に基づいて決定することができる。
本発明によるビデオ信号符号化方法は、現在ピクチャを複数のタイルに分割する段階と、方形スライスの適用可否を決定する段階と、前記方形スライスを適用する場合、スライスのサイズ情報を符号化する段階とを含むことができる。ここで、前記スライスのサイズを示す情報は、スライスの幅を示す幅情報及びスライスの高さを示す高さ情報を含み、前記スライスの幅情報を符号化するかは前記スライス内の左上端タイルの位置に基づいて決定することができる。
本発明によるビデオ信号復号化方法において、前記幅情報は、前記スライスが含むタイル列の個数から１を差し引いた値を示し、前記スライス内の前記左上端タイルが前記現在ピクチャ内の最右側タイル列に含まれる場合、前記幅情報の復号化を省略し、その値を０に設定することができる。
本発明によるビデオ信号復号化方法において、前記高さ情報は、前記スライスが含むタイル行の個数から１を差し引いた値を示し、前記スライス内の前記左上端タイルが前記現在ピクチャ内の最下端タイル行に含まれる場合、前記高さ情報の復号化を省略し、その値を０に設定することができる。
本発明によるビデオ信号復号化方法において、前記スライス内の前記左上端タイルが前記現在ピクチャ内の前記最下端タイル行に含まれていない場合、前記左上端タイルが前記現在ピクチャ内の最左側タイル列に含まれているかに基づいて前記高さ情報の復号化可否を決定することができる。
本発明によるビデオ信号復号化方法において、スライス間のタイルインデックス差分情報が符号化されたかを示す差分情報存在フラグを復号化する段階をさらに含むことができる。ここで、前記現在ピクチャが単一のスライスから構成される場合、前記差分情報存在フラグの復号化を省略することができる。
本発明によるビデオ信号復号化方法において、前記差分情報存在フラグの復号化を省略する場合、その値を０に設定することができる。
本発明によるビデオ信号復号化方法において、前記差分情報存在フラグが、前記タイルインデックス差分情報が符号化されたことを示す場合、前記スライスの前記タイルインデックス差分情報を復号化し、前記タイルインデックス差分情報は、前記スライスが含むタイルと次のスライスが含むタイルとの間のインデックス差分を示すことができる。
本発明について上記で簡略に要約した特徴は後述する本発明の詳細な説明の例示的な様相であるだけで、本発明の範囲を制限するものではない。
本発明によれば、ピクチャを複数のタイル又はスライスに分割して符号化／復号化効率を向上させることができる。
本発明によれば、タイルインデックスに基づいてスライスを区画して符号化／復号化効率を向上させることができる。
本発明によれば、以前スライスとの差分情報に基づいてスライスを区画して符号化／復号化効率を向上させることができる。
本発明で得られる効果は以上で言及した効果に制限されず、言及しなかった他の効果は下記の記載から本発明が属する技術分野で通常の知識を有する者に明らかに理解可能であろう。
本発明の一実施例による映像符号化器（エンコーダー）のブロック図である。
本発明の一実施例による映像復号化器（デコーダー）のブロック図である。
本発明の一実施例による基本コーディングツリーユニットを示す図である。
コーディングブロックの多様な分割形態を示す図である。
コーディングツリーユニットの分割様相を例示する図である。
本発明の一実施例によるインター予測方法のフローチャートである。
オブジェクトの非線形的動きを例示する図である。
本発明の一実施例によるアフィンモーションに基づくインター予測方法のフローチャートである。
アフィンモーションモデル別のアフィンシードベクターを例示する図である。
４パラメーターモーションモデルの下でサブブロックのアフィンベクターを例示する図である。
マージモードの下で現在ブロックの動き情報を誘導する過程のフローチャートである。
マージ候補を誘導するために使われる候補ブロックを例示する図である。
モーション情報テーブルのアップデート様相を説明するための図である。
モーション情報テーブルのアップデート様相を示す図である。
既保存のモーション情報候補のインデックスを更新する例を示す図である。
マージ候補の一部のみに対して重複性検査を遂行する例を示す図である。
特定のマージ候補との重複性検査を省略する例を示す図である。
現在ブロックと同じマージ処理領域に含まれる候補ブロックをマージ候補として利用不可のものに設定する例を示す図である。
現在ブロックがマージ処理領域に含まれている場合、現在ブロックに対するマージ候補を誘導する例を示す図である。
一時モーション情報テーブルを示す図である。
モーション情報テーブルと一時モーション情報テーブルとを併合する例を示す図である。
本発明の一実施例によるイントラ予測方法のフローチャートである。
イントラ予測モードを示す図である。
参照サンプルを一列に配列する一次元配列の例示を示す図である。
方向性イントラ予測モードがｘ軸に平行な直線に対して形成する角度を例示する図である。
現在ブロックが非正方形の場合、予測サンプルを獲得する様相を示す図である。
ワイドアングルイントラ予測モードを示す図である。
サブブロック別に変換スキップ可否を決定する例を示す図である。
サブブロックが同じ変換タイプを使う例を示す図である。
ブロック強度を決定する過程を示すフローチャートである。
既定義のフィルター候補を示す図である。
本発明の一実施例によるピクチャ分割方法を示す図である。
ピクチャが複数のタイルに分割された例を示す。
ブリックの生成様相を説明するための図である。
ラスター順にスライスを定義した例を示す図である。
方形のスライスのみを許す例を示す図である。
ピクチャが２個のスライスから構成された場合の例を示す図である。
ピクチャ内のタイル列又はタイル行の個数が１の場合を例示する図である。
以下では、図面に基づいて本発明の実施例を詳細に説明する。
映像の符号化及び復号化はブロック単位で遂行する。一例として、コーディングブロック、変換ブロック、又は予測ブロックに対して、変換、量子化、予測、インループフィルタリング、又は復元などの符号化／復号化処理を遂行することができる。
以下、符号化／復号化対象のブロックを‘現在ブロック’という。一例として、現在ブロックは、現在符号化／復号化処理段階によって、コーディングブロック、変換ブロック、又は予測ブロックを示すことができる。
また、本明細書で使う用語‘ユニット’は特定の符号化／復号化プロセスを遂行するための基本単位を示し、‘ブロック’は所定のサイズのサンプルアレイを示すものに理解することができる。別途の説明がない限り、‘ブロック’と‘ユニット’は同等な意味に使うことができる。一例として、後述する実施例で、コーディングブロックとコーディングユニットは互いに同等な意味を有するものに理解することができる。
図１は本発明の一実施例による映像符号化器（エンコーダー）のブロック図である。
図１を参照すると、映像符号化装置１００は、ピクチャ分割部１１０、予測部１２０、１２５、変換部１３０、量子化部１３５、再整列部１６０、エントロピー符号化部１６５、逆量子化部１４０、逆変換部１４５、フィルター部１５０及びメモリ１５５を含むことができる。
図１に示した各構成部は映像符号化装置において相異なる特徴的な機能を示すために独立的に示したものであり、各構成部が分離されたハードウェア又は一つのソフトウェア構成単位からなることを意味しない。すなわち、各構成部は説明の便宜上それぞれの構成部として羅列して含むものであり、各構成部の中で少なくとも二つの構成部が合わせられて単一の構成部になるか、一つの構成部が複数の構成部に分割されて機能を果たすことができ、このような各構成部の統合した実施例及び分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
また、一部の構成要素は本発明で本質的な機能を果たす必須の構成要素ではなく、ただ性能を向上させるための選択的構成要素であることができる。本発明はただ性能向上のために使われる構成要素を除いた本発明の本質を具現するのに必須の構成部のみを含んで具現することができ、ただ性能向上のために使われる選択的構成要素を除いた必須の構成要素のみを含む構造も本発明の権利範囲に含まれる。
ピクチャ分割部１１０は入力されたピクチュアを少なくとも一つの処理単位に分割することができる。ここで、処理単位は予測単位（Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ：ＰＵ）であることもでき、変換単位（Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ：ＴＵ）であることもでき、符号化単位（Ｃｏｄｉｎｇ Ｕｎｉｔ：ＣＵ）であることもできる。ピクチャ分割部１１０では、一つのピクチュアに対して複数の符号化単位、予測単位及び変換単位の組合せに分割し、所定の基準（例えば、費用関数）に一つの符号化単位、予測単位及び変換単位の組合せを選択してピクチュアを符号化することができる。
例えば、一つのピクチュアは複数の符号化単位に分割することができる。ピクチュアから符号化単位を分割するためには、クワッドツリー構造（Ｑｕａｄ Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）のような再帰的ツリー構造を使うことができ、一つの映像又は最大符号化単位（ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）をルートとして他の符号化単位に分割される符号化ユニットは、分割された符号化単位の個数の分だけ子ノードを持って分割されることができる。一定の制限によってそれ以上分割されない符号化単位はリーフノードになる。すなわち、一つのコーディングユニットに対して正方形分割のみが可能であると仮定する場合、一つの符号化単位は最大で４個の他の符号化単位に分割されることができる。
以下、本発明の実施例で、符号化単位は符号化を遂行する単位の意味として使うこともでき、復号化を遂行する単位の意味として使うこともできる。
予測単位は一つの符号化単位内で同じサイズの少なくとも一つの正方形又は長方形などの形態を持って分割されたものであることもでき、一つの符号化単位内で分割された予測単位のいずれか一つの予測単位が他の一つの予測単位と異なる形態及び／又はサイズを有するように分割されたものであることもできる。
符号化単位に基づいてイントラ予測を遂行する予測単位を生成するとき、最小符号化単位ではない場合、複数の予測単位Ｎ×Ｎに分割せずにイントラ予測を遂行することができる。
予測部１２０、１２５は、インター予測を遂行するインター予測部１２０と、イントラ予測を遂行するイントラ予測部１２５とを含むことができる。予測単位に対してインター予測を遂行するか又はイントラ予測を遂行するかを決定し、各予測方法による具体的な情報（例えば、イントラ予測モード、モーションベクター、参照ピクチュアなど）を決定することができる。ここで、予測が遂行される処理単位と予測方法及び具体的な内容が決定される処理単位とは違うことができる。例えば、予測方法と予測モードなどは予測単位で決定され、予測の遂行は変換単位で遂行されることもできる。生成された予測ブロックと原本ブロックとの間の残差値（残差ブロック）は変換部１３０に入力されることができる。また、予測のために使用した予測モード情報、モーションベクター情報などは残差値とともにエントロピー符号化部１６５で符号化されて復号化器に伝達されることができる。特定の符号化モードを使う場合、予測部１２０、１２５で予測ブロックを生成せず、原本ブロックをそのまま符号化して復号化部に伝送することも可能である。
インター予測部１２０は、現在ピクチュアの以前ピクチュア又は以後ピクチュアの少なくとも一つのピクチュアの情報に基づいて予測単位を予測することもでき、場合によっては、現在ピクチュア内の符号化が完了した一部領域の情報に基づいて予測単位を予測することもできる。インター予測部１２０は、参照ピクチュア補間部、モーション予測部及び動き補償部を含むことができる。
参照ピクチュア補間部では、メモリ１５５から参照ピクチュア情報を受け、参照ピクチュアから整数画素以下の画素情報を生成することができる。輝度画素の場合、１／４画素単位で整数画素以下の画素情報を生成するために、フィルター係数を異にするＤＣＴ基盤の８タップ補間フィルター（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を使うことができる。色差信号の場合、１／８画素単位で整数画素以下の画素情報を生成するために、フィルター係数を異にするＤＣＴ基盤の４タップ補間フィルター（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を使うことができる。
モーション予測部は、参照ピクチュア補間部によって補間された参照ピクチュアに基づいてモーション予測を遂行することができる。モーションベクターを算出するための方法として、ＦＢＭＡ（Ｆｕｌｌ ｓｅａｒｃｈ－ｂａｓｅｄ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ａｌｇｏｒｉｔｈｍ）、ＴＳＳ（Ｔｈｒｅｅ Ｓｔｅｐ Ｓｅａｒｃｈ）、ＮＴＳ（Ｎｅｗ Ｔｈｒｅｅ－Ｓｔｅｐ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ）などの多様な方法を使うことができる。モーションベクターは補間された画素に基づいて１／２又は１／４画素単位のモーションベクター値を有することができる。モーション予測部では、モーション予測方法を異にして現在予測単位を予測することができる。モーション予測方法として、スキップ（Ｓｋｉｐ）方法、マージ（Ｍｅｒｇｅ）方法、ＡＭＶＰ（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法、イントラブロックコピー（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）方法などの多様な方法を使うことができる。
イントラ予測部１２５は、現在ピクチュア内の画素情報である現在ブロック周辺の参照ピクセル情報に基づいて予測単位を生成することができる。現在予測単位の周辺ブロックがインター予測を遂行したブロックであるので、参照ピクセルがインター予測を遂行したピクセルの場合、インター予測を遂行したブロックに含まれる参照ピクセルを周辺のイントラ予測を遂行したブロックの参照ピクセル情報に代替して使うことができる。すなわち、参照ピクセルが可用でない場合、可用でない参照ピクセル情報を可用参照ピクセルの少なくとも一つの参照ピクセルに代替して使うことができる。
イントラ予測で、予測モードは、参照ピクセル情報を予測方向によって使用する方向性予測モードと、予測を遂行するときに方向性情報を使わない非方向性モードとを有することができる。輝度情報を予測するためのモードと色差情報を予測するためのモードとが互いに異なることができ、色差情報を予測するために、輝度情報を予測するために使用されたイントラ予測モード情報又は予測された輝度信号情報を活用することができる。
イントラ予測を遂行するとき、予測単位のサイズと変換単位のサイズと同一である場合、予測単位の左側に存在するピクセル、左上端に存在するピクセル、上端に存在するピクセルに基づいて予測単位に対するイントラ予測を遂行することができる。しかし、イントラ予測を遂行するときに予測単位のサイズと変換単位のサイズとが異なる場合、変換単位に基づく参照ピクセルを用いてイントラ予測を遂行することができる。また、最小符号化単位のみに対してＮ×Ｎ分割を使うイントラ予測を使うことができる。
イントラ予測方法は、予測モードによって参照画素にＡＩＳ（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルターを適用した後、予測ブロックを生成することができる。参照画素に適用されるＡＩＳフィルターの種類は互いに異なることができる。イントラ予測方法を遂行するために、現在予測単位のイントラ予測モードは現在予測単位の周辺に存在する予測単位のイントラ予測モードから予測することができる。周辺予測単位から予測されたモード情報を用いて現在予測単位の予測モードを予測する場合、現在予測単位と周辺予測単位とのイントラ予測モードが同一であれば所定のフラグ情報を用いて現在予測単位と周辺予測単位との予測モードが同一であるという情報を伝送することができ、仮に現在予測単位と周辺予測単位との予測モードが互いに異なればエントロピー符号化を遂行して現在ブロックの予測モード情報を符号化することができる。
また、予測部１２０、１２５で生成された予測単位に基づいて予測を遂行した予測単位と予測単位の原本ブロックとの差値である残差値（Ｒｅｓｉｄｕａｌ）情報を含む残差ブロックが生成されることができる。生成された残差ブロックは変換部１３０に入力されることができる。
変換部１３０では、原本ブロックと予測部１２０、１２５で生成された予測単位の残差値（ｒｅｓｉｄｕａｌ）情報を含む残差ブロックとをＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又はＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）のような変換方法によって変換することができる。ここで、ＤＣＴ変換コアはＤＣＴ２又はＤＣＴ８の少なくとも一つを含み、ＤＳＴ変換コアはＤＳＴ７を含む。残差ブロックを変換するためにＤＣＴを適用するか又はＤＳＴを適用するかは残差ブロックを生成するために使用された予測単位のイントラ予測モード情報に基づいて決定することができる。残差ブロックに対する変換をスキップすることもできる。残差ブロックに対する変換をスキップするかを示すフラグを符号化することができる。変換スキップは、サイズが閾値以下の残差ブロック、ルマ成分又は４：４：４フォーマットの下でのクロマ成分に対して許すことができる。
量子化部１３５は変換部１３０で周波数領域に変換された値を量子化することができる。ブロックによって又は映像の重要度によって量子化係数は変わることができる。量子化部１３５で算出された値は逆量子化部１４０と再整列部１６０に提供されることができる。
再整列部１６０は量子化した残差値に対して係数値の再整列を遂行することができる。
再整列部１６０は、係数スキャニング（Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法によって２次元のブロック形態係数を１次元のベクター形態に変更することができる。例えば、再整列部１６０ではジグザグスキャン（Ｚｉｇ－Ｚａｇ Ｓｃａｎ）方法によってＤＣ係数から高周波数領域の係数までスキャンして１次元ベクター形態に変更させることができる。変換単位のサイズ及びイントラ予測モードによってジグザグスキャンの代わりに、２次元のブロック形態係数を列方向にスキャンする垂直スキャン、２次元のブロック形態係数を行方向にスキャンする水平スキャンを使うこともできる。すなわち、変換単位のサイズ及びイントラ予測モードによって、ジグザグスキャン、垂直方向スキャン及び水平方向スキャンの中でどのスキャン方法を使うかを決定することができる。
エントロピー符号化部１６５は、再整列部１６０によって算出された値に基づいてエントロピー符号化を遂行することができる。エントロピー符号化は、例えば指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）のような多様な符号化方法を使うことができる。
エントロピー符号化部１６５は、再整列部１６０及び予測部１２０、１２５からの符号化単位の残差値係数情報及びブロックタイプ情報、予測モード情報、分割単位情報、予測単位情報及び伝送単位情報、モーションベクター情報、参照フレーム情報、ブロックの補間情報、フィルタリング情報などの多様な情報を符号化することができる。
エントロピー符号化部１６５は、再整列部１６０から入力された符号化単位の係数値をエントロピー符号化することができる。
逆量子化部１４０及び逆変換部１４５は、量子化部１３５で量子化した値を逆量子化し、変換部１３０で変換された値を逆変換する。逆量子化部１４０及び逆変換部１４５で生成された残差値（Ｒｅｓｉｄｕａｌ）は、予測部１２０、１２５に含まれる動き推定部、動き補償部及びイントラ予測部によって予測された予測単位と合わせられて復元ブロック（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｂｌｏｃｋ）を生成することができる。
フィルター部１５０は、デブロッキングフィルター、オフセット補正部、及びＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）の少なくとも一つを含むことができる。
デブロッキングフィルターは、復元されたピクチュアにおいてブロック間の境界によって生じたブロック歪みを除去することができる。デブロッキングを遂行するかを判断するために、ブロックに含まれるいくつかの列又は行に含まれるピクセルに基づいて現在ブロックにデブロッキングフィルターを適用するかを判断することができる。ブロックにデブロッキングフィルターを適用する場合、必要なデブロッキングフィルタリング強度によって強フィルター（Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ）又は弱フィルター（Ｗｅａｋ Ｆｉｌｔｅｒ）を適用することができる。また、デブロッキングフィルターの適用において、垂直フィルタリング及び水平フィルタリングの遂行の際、水平方向フィルタリング及び垂直方向フィルタリングを並行して処理することができる。
オフセット補正部は、デブロッキングを遂行した映像に対してピクセル単位で原本映像とのオフセットを補正することができる。特定のピクチュアに対するオフセット補正を遂行するために、映像に含まれるピクセルを一定数の領域に区分した後、オフセットを遂行すべき領域を決定し、当該領域にオフセットを適用する方法又は各ピクセルのエッジ情報を考慮してオフセットを適用する方法を使うことができる。
ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒｉｎｇ）はフィルタリングした復元映像と元の映像とを比較した値に基づいて遂行することができる。映像に含まれるピクセルを所定のグループに分けた後、当該グループに適用される一つのフィルターを決定してグループごとに差別的にフィルタリングを遂行することができる。ＡＬＦを適用するかについての情報は、輝度信号は符号化単位（Ｃｏｄｉｎｇ Ｕｎｉｔ、ＣＵ）別に伝送されることができ、それぞれのブロックによって適用されるＡＬＦフィルターの形状及びフィルター係数は変わることができる。また、適用対象ブロックの特性に構わず、同じ形態（固定形態）のＡＬＦフィルターを適用することもできる。
メモリ１５５は、フィルター部１５０を介して算出された復元ブロック又はピクチュアを保存することができ、保存された復元ブロック又はピクチュアはインター予測の際に予測部１２０、１２５に提供されることができる。
図２は本発明の一実施例による映像復号化器（デコーダー）のブロック図である。
図２を参照すると、映像復号化器２００は、エントロピー復号化部２１０、再整列部２１５、逆量子化部２２０、逆変換部２２５、予測部２３０、２３５、フィルター部２４０、及びメモリ２４５を含むことができる。
映像符号化器から映像ビットストリームが入力された場合、入力されたビットストリームは映像符号化器と反対の手順に復号化されることができる。
エントロピー復号化部２１０は、映像符号化器のエントロピー符号化部でエントロピー符号化を遂行したものと反対の手順にエントロピー復号化を遂行することができる。例えば、映像符号化器で遂行した方法に対応して、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）のような多様な方法を適用することができる。
エントロピー復号化部２１０は、符号化器で遂行されたイントラ予測及びインター予測についての情報を復号化することができる。
再整列部２１５は、エントロピー復号化部２１０でエントロピー復号化されたビットストリームを符号化部で再整列した方法に基づいて再整列を遂行することができる。１次元ベクター形態に表現された係数を再び２次元のブロック形態の係数に復元して再整列することができる。再整列部２１５は、符号化部で遂行された係数スキャニングについての情報を受け、当該符号化部で遂行されたスキャニング順に基づいて逆にスキャニングする方法で再整列を遂行することができる。
逆量子化部２２０は、符号化器から提供された量子化パラメーターと再整列されたブロックの係数値に基づいて逆量子化を遂行することができる。
逆変換部２２５は、映像符号化器で遂行した量子化結果に対して変換部で遂行した変換、すなわちＤＣＴ又はＤＳＴに対して逆変換、すなわち逆ＤＣＴ又は逆ＤＳＴを遂行することができる。ここで、ＤＣＴ変換コアはＤＣＴ２又はＤＣＴ８の少なくとも一つを含み、ＤＳＴ変換コアはＤＳＴ７を含むことができる。もしくは、映像符号化器で変換がスキップされた場合、逆変換部２２５でも逆変換を遂行しないことができる。逆変換は映像符号化器で決定された伝送単位に基づいて遂行されることができる。映像復号化器の逆変換部２２５は、予測方法、現在ブロックのサイズ及び予測方向などの複数の情報によって変換技法（例えば、ＤＣＴ又はＤＳＴ）を選択的に遂行することができる。
予測部２３０、２３５は、エントロピー復号化部２１０から提供された予測ブロック生成関連情報、及びメモリ２４５から提供された、以前に復号化されたブロック又はピクチュア情報に基づいて予測ブロックを生成することができる。
前述したように、映像符号化器での動作と同様にイントラ予測を遂行するとき、予測単位のサイズと変換単位のサイズとが同一である場合、予測単位の左側に存在するピクセル、左上端に存在するピクセル、上端に存在するピクセルに基づいて予測単位に対するイントラ予測を遂行するが、イントラ予測を遂行するとき、予測単位のサイズと変換単位のサイズとが異なる場合、変換単位に基づく参照ピクセルを用いてイントラ予測を遂行することができる。また、最小符号化単位のみに対してＮ×Ｎ分割を使うイントラ予測を使うこともできる。
予測部２３０、２３５は、予測単位判別部、インター予測部及びイントラ予測部を含むことができる。予測単位判別部は、エントロピー復号化部２１０から入力される予測単位情報、イントラ予測方法の予測モード情報、インター予測方法のモーション予測関連情報などの多様な情報の入力を受け、現在符号化単位で予測単位を区分し、予測単位がインター予測を遂行するかそれともイントラ予測を遂行するかを判別することができる。インター予測部２３０は、映像符号化器から提供された現在予測単位のインター予測に必要な情報を用いて現在予測単位が含まれた現在ピクチュアの以前ピクチュア又は以後ピクチュアの少なくとも一つのピクチュアに含まれる情報に基づいて現在予測単位に対するインター予測を遂行することができる。もしくは、現在予測単位が含まれた現在ピクチュア内で既に復元された一部領域の情報に基づいてインター予測を遂行することもできる。
インター予測を遂行するために符号化単位を基準に当該符号化単位に含まれる予測単位のモーション予測方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ Ｍｏｄｅ）、モーションベクター予測モード（ＡＭＶＰ Ｍｏｄｅ）、イントラブロックコピーモードの中でどの方法であるかを判断することができる。
イントラ予測部２３５は、現在ピクチュア内の画素情報に基づいて予測ブロックを生成することができる。予測単位がイントラ予測を遂行した予測単位の場合、映像符号化器から提供された予測単位のイントラ予測モード情報に基づいてイントラ予測を遂行することができる。イントラ予測部２３５は、ＡＩＳ（Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルター、参照画素補間部、及びＤＣフィルターを含むことができる。ＡＩＳフィルターは現在ブロックの参照画素にフィルタリングを遂行する部分であり、現在予測単位の予測モードによってフィルターの適用可否を決定して適用することができる。映像符号化器から提供された予測単位の予測モード及びＡＩＳフィルター情報を用いて現在ブロックの参照画素にＡＩＳフィルタリングを遂行することができる。現在ブロックの予測モードがＡＩＳフィルタリングを遂行しないモードの場合、ＡＩＳフィルターを適用しないことができる。
参照画素補間部は、予測単位の予測モードが参照画素を補間した画素値に基づいてイントラ予測を遂行する予測単位の場合、参照画素を補間して整数値以下の画素単位の参照画素を生成することができる。現在予測単位の予測モードが参照画素を補間せずに予測ブロックを生成する予測モードの場合、参照画素は補間されないことができる。ＤＣフィルターは、現在ブロックの予測モードがＤＣモードの場合、フィルタリングによって予測ブロックを生成することができる。
復元されたブロック又はピクチュアはフィルター部２４０に提供されることができる。フィルター部２４０は、デブロッキングフィルター、オフセット補正部、及びＡＬＦを含むことができる。
映像符号化器から当該ブロック又はピクチュアにデブロッキングフィルターを適用したかについての情報、及びデブロッキングフィルターを適用した場合、強フィルターを適用したか又は弱フィルターを適用したかについての情報を受けることができる。映像復号化器のデブロッキングフィルターは、映像符号化器から提供されたデブロッキングフィルター関連情報を受け、映像復号化器で当該ブロックに対するデブロッキングフィルタリングを遂行することができる。
オフセット補正部は、符号化の際に映像に適用されたオフセット補正の種類及びオフセット値情報などに基づいて復元された映像にオフセット補正を遂行することができる。
ＡＬＦは、符号化器から提供されたＡＬＦ適用可否情報、ＡＬＦ係数情報などに基づいて符号化単位に適用されることができる。このようなＡＬＦ情報は特定のパラメーターセットに含まれて提供されることができる。
メモリ２４５は、復元されたピクチュア又はブロックを保存して参照ピクチュア又は参照ブロックとして使われるようにすることができ、また復元されたピクチュアを出力部に提供することができる。
図３は本発明の一実施例による基本コーディングツリーユニットを示す図である。
最大サイズのコーディングブロックをコーディングツリーブロックに定義することができる。一つのピクチャは複数のコーディングツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）に分割される。コーディングツリーユニットは最大サイズのコーディングユニットであり、ＬＣＵ（Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と言うこともできる。図３は一つのピクチャが複数のコーディングツリーユニットに分割された例を示すものである。
コーディングツリーユニットのサイズはピクチャレベル又はシーケンスレベルで定義することができる。このために、コーディングツリーユニットのサイズを示す情報をピクチャパラメーターセット又はシーケンスパラメーターセットを介してシグナリングすることができる。
一例として、シーケンス内の全体ピクチャに対するコーディングツリーユニットのサイズを１２８×１２８に設定することができる。もしくは、ピクチャレベルで１２８×１２８又は２５６×２５６のいずれか一つをコーディングツリーユニットのサイに決定することができる。一例として、第１ピクチャではコーディングツリーユニットのサイズを１２８×１２８に設定し、第２ピクチャではコーディングツリーユニットのサイズを２５６×２５６に設定することができる。
コーディングツリーユニットを分割してコーディングブロックを生成することができる。コーディングブロックは符号化／復号化処理のための基本単位を示す。一例として、コーディングブロック別に予測又は変換を遂行するか、コーディングブロック別に予測符号化モードを決定することができる。ここで、予測符号化モードは予測映像を生成する方法を示す。一例として、予測符号化モードは、画面内予測（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ、イントラ予測）、画面間予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ、インター予測）、現在ピクチャ参照（Ｃｕｒｒｅｎｔ Ｐｉｃｔｕｒｅ Ｒｅｆｅｒｅｎｃｉｎｇ、ＣＰＲ、又はイントラブロックコピー（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ、ＩＢＣ））又は複合予測（Ｃｏｍｂｉｎｅｄ Ｐｒｅｄｉｃｔｉｏｎ）を含むことができる。コーディングブロックに対して、イントラ予測、インター予測、現在ピクチャ参照又は複合予測の少なくとも一つの予測符号化モードを用いてコーディングブロックに対する予測ブロックを生成することができる。
現在ブロックの予測符号化モードを示す情報をビットストリームによってシグナリングすることができる。一例として、前記情報は予測符号化モードがイントラモードであるか又はインタモードであるかを示す１ビットフラグであることができる。現在ブロックの予測符号化モードがインタモードに決定された場合に限り、現在ピクチャ参照又は複合予測を用いることができる。
現在ピクチャ参照は、現在ピクチャを参照ピクチャに設定し、現在ピクチャ内の既に符号化／復号化が完了した領域から現在ブロックの予測ブロックを獲得するためのものである。ここで、現在ピクチャは現在ブロックを含むピクチャを意味する。現在ブロックに現在ピクチャ参照が適用されるかを示す情報をビットストリームによってシグナリングすることができる。一例として、前記情報は１ビットのフラグであることができる。前記フラグが真の場合、現在ブロックの予測符号化モードは現在ピクチャ参照に決定し、前記フラグが偽の場合、現在ブロックの予測モードはインター予測に決定することができる。
もしくは、参照ピクチャインデックスに基づいて現在ブロックの予測符号化モードを決定することができる。一例として、参照ピクチャインデックスが現在ピクチャを示す場合、現在ブロックの予測符号化モードを現在ピクチャ参照に決定することができる。参照ピクチャインデックスが現在ピクチャではない他のピクチャを示す場合、現在ブロックの予測符号化モードはインター予測に決定することができる。すなわち、現在ピクチャ参照は現在ピクチャ内の符号化／復号化が完了した領域の情報を用いる予測方法であり、インター予測は符号化／復号化が完了した他のピクチャの情報を用いる予測方法である。
複合予測は、イントラ予測、インター予測及び現在ピクチャ参照の中で二つ以上を組み合わせた符号化モードを示す。一例として、複合予測を適用する場合、イントラ予測、インター予測又は現在ピクチャ参照のいずれか一つに基づいて第１予測ブロックを生成し、他の一つに基づいて第２予測ブロックを生成することができる。第１予測ブロック及び第２予測ブロックが生成されれば、第１予測ブロック及び第２予測ブロックの平均演算又は加重和演算によって最終予測ブロックを生成することができる。複合予測が適用されるかを示す情報をビットストリームによってシグナリングすることができる。前記情報は１ビットのフラグであることができる。
図４はコーディングブロックの多様な分割形態を示す図である。
コーディングブロックは、クワッドツリー分割、バイナリーツリー分割又はトリプルツリー分割に基づいて複数のコーディングブロックに分割されることができる。分割されたコーディングブロックもクワッドツリー分割、バイトリツリー分割又はトリプルツリー分割によってさらに複数のコーディングブロックに分割されることができる。
クワッドツリー分割は現在ブロックを４個のブロックに分割する分割技法を示す。クワッドツリー分割の結果、現在ブロックは４個の正方形パーティションに分割されることができる（図４の（ａ）の‘ＳＰＬＩＴ＿ＱＴ’参照）。
バイナリーツリー分割は現在ブロックを２個のブロックに分割する分割技法を示す。垂直方向に沿って（すなわち、現在ブロックを横切る垂直線を用いる）現在ブロックを二つのブロックに分割することを垂直方向バイナリーツリー分割と言うことができ、水平方向に沿って（すなわち、現在ブロックを横切る水平線を用いる）現在ブロックを二つのブロックに分割することを水平方向バイナリーツリー分割と言える。バイナリーツリー分割の結果、現在ブロックは２個の非正方形パーティションに分割されることができる。図４の（ｂ）の‘ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ’は垂直方向バイナリーツリー分割結果を示し、図４の（ｃ）の‘ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ’は水平方向バイナリーツリー分割結果を示す。
トリプルツリー分割は現在ブロックを３個のブロックに分割する分割技法を示す。垂直方向に沿って（すなわち、現在ブロックを横切る二つの垂直線を用いる）現在ブロックを三つのブロックに分割することを垂直方向トリプルツリー分割と言うことができ、水平方向に沿って（すなわち、現在ブロックを横切る二つの水平線を用いる）現在ブロックを三つのブロックに分割することを水平方向トリプルツリー分割と言える。トリプルツリー分割の結果、現在ブロックは３個の非正方形パーティションに分割されることができる。ここで、現在ブロックの中央に位置するパーティションの幅／高さは他のパーティションの幅／高さの２倍であることができる。図４の（ｄ）の‘ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ’は垂直方向トリプルツリー分割結果を示し、図４の（ｅ）の‘ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ’は水平方向トリプルツリー分割結果を示す。
コーディングツリーユニットの分割回数を分割深さ（Ｐａｒｔｉｔｉｏｎｉｎｇ Ｄｅｐｔｈ）に定義することができる。シーケンス又はピクチャレベルでコーディングツリーユニットの最大分割深さを決定することができる。これにより、シーケンス又はピクチャ別にコーディングツリーユニットの最大分割深さが異なることができる。
もしくは、分割技法のそれぞれに対する最大分割深さを個別的に決定することができる。一例として、クワッドツリー分割が許される最大分割深さはバイナリーツリー分割及び／又はトリプルツリー分割が許される最大分割深さと異なることができる。
符号化器は、現在ブロックの分割形態又は分割深さの少なくとも一つを示す情報をビットストリームによってシグナリングすることができる。復号化器は、ビットストリームからパーシングされる前記情報に基づいてコーディングツリーユニットの分割形態及び分割深さを決定することができる。
図５はコーディングツリーユニットの分割様相を例示する図である。
クワッドツリー分割、バイナリーツリー分割及び／又はトリプルツリー分割などの分割技法を用いてコーディングブロックを分割することをマルチツリー分割（Ｍｕｌｔｉ Ｔｒｅｅ Ｐａｒｔｉｔｉｏｎｉｎｇ）と言える。
コーディングブロックにマルチツリー分割を適用することによって生成されるコーディングブロックを下位コーディングブロックと言える。コーディングブロックの分割深さがｋの場合、下位コーディングブロックの分割深さをｋ＋１に設定する。
反対に、分割深さがｋ＋１のコーディングブロックに対して、分割深さがｋであるコーディングブロックを上位コーディングブロックと言える。
現在コーディングブロックの分割タイプは、上位コーディングブロックの分割形態又は隣接コーディングブロックの分割タイプの少なくとも一つに基づいて決定することができる。ここで、隣接コーディングブロックは現在コーディングブロックに隣接したものであり、現在コーディングブロックの上端隣接ブロック、左側隣接ブロック、又は左上端コーナーに隣り合う隣接ブロックの少なくとも一つを含むことができる。ここで、分割タイプは、クワッドツリー分割可否、バイナリーツリー分割可否、バイナリーツリー分割方向、トリプルツリー分割可否、又はトリプルツリー分割方向の少なくとも一つを含むことができる。
コーディングブロックの分割形態を決定するために、コーディングブロックが分割されるかを示す情報をビットストリームによってシグナリングすることができる。前記情報は１ビットのフラグ‘ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ’であり、前記フラグが真のものは、頭部ツリー分割技法によってコーディングブロックが分割されるものを示す。
ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇが真の場合、コーディングブロックがクワッドツリー分割されるかを示す情報をビットストリームによってシグナリングすることができる。前記情報は１ビットのフラグｓｐｌｉｔ＿ｑｔ＿ｆｌａｇであり、前記フラグが真の場合、コーディングブロックは４個のブロックに分割されることができる。
一例として、図５に示した例では、コーディングツリーユニットがクワッドツリー分割されることにより、分割深さが１である４個のコーディングブロックが生成されるものが示された。また、クワッドツリー分割の結果として生成された４個のコーディングブロックの中で第１コーディングブロック及び第４コーディングブロックにさらにクワッドツリー分割が適用されたものが示された。その結果、分割深さが２である４個のコーディングブロックが生成されることができる。
また、分割深さが２であるコーディングブロックにさらにクワッドツリー分割を適用することにより、分割深さが３であるコーディングブロックを生成することができる。
コーディングブロックにクワッドツリー分割が適用されない場合、コーディングブロックのサイズ、コーディングブロックがピクチャ境界に位置するか、最大分割深さ又は隣接ブロックの分割形態の少なくとも一つを考慮して、前記コーディングブロックにバイナリーツリー分割又はトリプルツリー分割を遂行するかを決定することができる。前記コーディングブロックにバイナリーツリー分割又はトリプルツリー分割を遂行することに決定された場合、分割方向を示す情報をビットストリームによってシグナリングすることができる。前記情報は１ビットのフラグｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇであることができる。前記フラグに基づき、分割方向が垂直方向であるか又は水平方向であるかを決定することができる。追加として、バイナリーツリー分割又はトリプルツリー分割の中でどれが前記コーディングブロックに適用されるかを示す情報をビットストリームによってシグナリングすることができる。前記情報は１ビットのフラグｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇであることができる。前記フラグに基づき、前記コーディングブロックにバイナリーツリー分割が適用されるか又はトリプルツリー分割が適用されるかを決定することができる。
一例として、図５に示した例では、分割深さが１であるコーディングブロックに垂直方向バイナリーツリー分割が適用され、前記分割の結果として生成されたコーディングブロックの中で左側コーディングブロックには垂直方向トリプルツリー分割が適用され、右側コーディングブロックには垂直方向バイナリーツリー分割が適用されたものが示されている。
インター予測は以前ピクチャの情報を用いて現在ブロックを予測する予測符号化モードである。一例として、以前ピクチャ内の現在ブロックと同じ位置のブロック（以下、コロケーテッドブロック、Ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋ）を現在ブロックの予測ブロックに設定することができる。以下、現在ブロックと同じ位置のブロックに基づいて生成された予測ブロックをコロケーテッド予測ブロック（Ｃｏｌｌｏｃａｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）と言う。
一方、以前ピクチャに存在したオブジェクトが現在ピクチャでは他の位置に移動したならば、オブジェクトの動きを用いて効果的に現在ブロックを予測することができる。例えば、以前ピクチャと現在ピクチャを比較することによりオブジェクトの移動方向及びサイズが分かれば、オブジェクトの動き情報を考慮して現在ブロックの予測ブロック（又は、予測映像）を生成することができる。以下、動き情報を用いて生成された予測ブロックを動き予測ブロックと言える。
現在ブロックから予測ブロックを差し引いて残差ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。ここで、オブジェクトの動きが存在する場合であれば、コロケーテッド予測ブロックの代わりに動き予測ブロックを用いることにより、残差ブロックのエネルギーを減らし、これにより残差ブロックの圧縮性能を向上させることができる。
このように、動き情報を用いて予測ブロックを生成することを動き補償予測と言える。大部分のインター予測では動き補償予測に基づいて予測ブロックを生成することができる。
動き情報は、モーションベクター、参照ピクチャインデックス、予測方向又は両方向加重値インデックスの少なくとも一つを含むことができる。モーションベクターはオブジェクトの移動方向及びサイズを示す。参照ピクチャインデックスは参照ピクチャリストに含まれる参照ピクチャの中で現在ブロックの参照ピクチャを特定する。予測方向は単方向Ｌ０予測、単方向Ｌ１予測又は両方向予測（Ｌ０予測及びＬ１予測）のいずれか一つを示す。現在ブロックの予測方向によって、Ｌ０方向の動いた情報又はＬ１方向の動き情報の少なくとも一つを用いることができる。両方向加重値インデックスはＬ０予測ブロックに適用される加重値及びＬ１予測ブロックに適用される加重値を特定する。
図６は本発明の一実施例によるインター予測方法のフローチャートである。
図６を参照すると、インター予測方法は、現在ブロックのインター予測モードを決定する段階（Ｓ６０１）、決定されたインター予測モードによって現在ブロックの動き情報を獲得する段階（Ｓ６０２）、及び獲得された動き情報に基づいて現在ブロックに対する動き補償予測を遂行する段階（Ｓ６０３）を含む。
ここで、インター予測モードは現在ブロックの動き情報を決定するための多様な技法を示すものであり、並進（Ｔｒａｎｓｌａｔｉｏｎ）動き情報を用いるインター予測モードと、アフィン（Ａｆｆｉｎｅ）動き情報を用いるインター予測モードとを含むことができる。一例として、並進動き情報を用いるインター予測モードは、マージモード及びモーションベクター予測モードを含み、アフィン動き情報を用いるインター予測モードは、アフィンマージモード及びアフィンモーションベクター予測モードを含むことができる。現在ブロックの動き情報は、インター予測モードによって、現在ブロックに隣り合う隣接ブロック又はビットストリームからパーシングされる情報に基づいて決定することができる。
以下、アフィン動き情報を用いるインター予測方法について詳細に説明する。
図７はオブジェクトの非線形的動きを例示する図である。
映像内の物体の動きが線形でない動きが発生することができる。一例として、図７に示した例のように、カメラズームイン（Ｚｏｏｍ－ｉｎ）、ズームアウト（Ｚｏｏｍ－ｏｕｔ）、回転（Ｒｏｔａｔｉｏｎ）又はアフィン変換などのオブジェクトの非線形的動きが発生することができる。オブジェクトの非線形的動きが発生した場合、並進動きベクターではオブジェクトの動きを効果的に表現することができない。よって、オブジェクトの非線形的動きが発生する部分では並進動きの代わりにアフィン動きを用いて符号化効率を向上させることができる。
図８は本発明の一実施例によるアフィンモーションに基づくインター予測方法のフローチャートである。
現在ブロックにアフィンモーションに基づくインター予測技法が適用されるかは、ビットストリームからパーシングされる情報に基づいて決定することができる。具体的には、現在ブロックにアフィンマージモードが適用されるかを示すフラグ又は現在ブロックにアフィンモーションベクター予測モードが適用されるかを示すフラグの少なくとも一つに基づいて、現在ブロックにアフィンモーションに基づくインター予測技法が適用されるかを決定することができる。
現在ブロックにアフィンモーションに基づくインター予測技法を適用する場合、現在ブロックのアフィンモーションモデルを決定することができる（Ｓ８０１）。アフィンモーションモデルは６パラメーターアフィンモーションモデル又は４パラメーターアフィンモーションモデルの少なくとも一つに決定することができる。６パラメーターアフィンモーションモデルは６個のパラメーターを用いてアフィンモーションを表現したものであり、４パラメーターアフィンモーションモデルは４個のパラメーターを用いてアフィンモーションを表現したものである。
式１は６パラメーターを用いてアフィンモーションを表現したものである。アフィンモーションはアフィンシードベクターによって決定される所定の領域に対する並進動きを示す。
［数１］
ｖｘ＝ａｘ－ｂｙ＋ｅ
ｂｙ＝ｃｘ＋ｄｙ＋ｆ
６個のパラメーターを用いてアフィンモーションを表現する場合、複雑な動きを表現することができるが、各パラメーターを符号化するのに必要なビット数が多くなって符号化効率が低下することがある。よって、４個のパラメーターを用いてアフィンモーションを表現することもできる。式２は４パラメーターを用いてアフィンモーションを表現したものである。
［数２］
ｖｘ＝ａｘ－ｂｙ＋ｅ
ｂｙ＝ｂｘ＋ａｙ＋ｆ
現在ブロックのアフィンモーションモデルを決定するための情報を符号化し、ビットストリームによってシグナリングすることができる。一例として、前記情報は１ビットのフラグ‘ａｆｆｉｎｅ＿ｔｙｐｅ＿ｆｌａｇ’であることができる。前記フラグの値が０のものは４パラメーターアフィンモーションモデルが適用されることを示し、前記フラグの値が１のものは、６パラメーターアフィンモーションモデルが適用されるものを示すことができる。前記フラグは、スライス、タイル又はブロック（例えば、コーディングブロック又はコーディングツリーユニット）単位で符号化されることができる。スライスレベルでフラグをシグナリングする場合、前記スライスレベルで決定されたアフィンモーションモデルを前記スライスに属するブロックの全部に適用することができる。
もしくは、現在ブロックのアフィンインター予測モードに基づいて現在ブロックのアフィンモーションモデルを決定することができる。一例として、アフィンマージモードを適用する場合、現在ブロックのアフィンモーションモデルを４パラメーターモーションモデルに決定することができる。一方、アフィンモーションベクター予測モードを適用する場合、現在ブロックのアフィンモーションモデルを決定するための情報を符号化し、ビットストリームによってシグナリングすることができる。一例として、現在ブロックにアフィンモーションベクター予測モードを適用する場合、１ビットのフラグ‘ａｆｆｉｎｅ＿ｔｙｐｅ＿ｆｌａｇ’に基づいて現在ブロックのアフィンモーションモデルを決定することができる。
ついで、現在ブロックのアフィンシードベクターを誘導することができる（Ｓ８０２）。４パラメーターアフィンモーションモデルが選択された場合、現在ブロックの二つのコントロールポイントでのモーションベクターを誘導することができる。一方、６パラメーターアフィンモーションモデルが選択された場合、現在ブロックの三つのコントロールポイントでのモーションベクターを誘導することができる。コントロールポイントでのモーションベクターをアフィンシードベクターと言える。コントロールポイントは、現在ブロックの左上端コーナー、右上端コーナー又は左下端コーナーの少なくとも一つを含むことができる。
図９はアフィンモーションモデル別のアフィンシードベクターを例示する図である。
４パラメーターアフィンモーションモデルでは、左上端コーナー、右上端コーナー又は左下端コーナーの中で二つに対するアフィンシードベクターを誘導することができる。一例として、図９の（ａ）に示した例のように、４パラメーターアフィンモーションモデルが選択された場合、現在ブロックの左上端コーナー（例えば、左上端サンプル（ｘ１、ｙ１））に対するアフィンシードベクターｓｖ０と現在ブロックの右上端コーナー（例えば、右上端サンプル（ｘ１、ｙ１））に対するアフィンシードベクターｓｖ１を用いてアフィンベクターを誘導することができる。左上端コーナーに対するアフィンシードベクターの代わりに左下端コーナーに対するアフィンシードベクターを使うか、右上端コーナーに対するアフィンシードベクターの代わりに左下端コーナーに対するアフィンシードベクターを使うことも可能である。
６パラメーターアフィンモーションモデルでは、左上端コーナー、右上端コーナー及び左下端コーナーに対するアフィンシードベクターを誘導することができる。一例として、図９の（ｂ）に示した例のように、６パラメーターアフィンモーションモデルが選択された場合、現在ブロックの左上端コーナー（例えば、左上端サンプル（ｘ１、ｙ１））に対するアフィンシードベクターｓｖ０、現在ブロックの右上端コーナー（例えば、右上端サンプル（ｘ１、ｙ１））に対するアフィンシードベクターｓｖ１及び現在ブロックの左上端コーナー（例えば、左上端サンプル（ｘ２、ｙ２））に対するアフィンシードベクターｓｖ２を用いてアフィンベクターを誘導することができる。
後述する実施例では、４パラメーターアフィンモーションモデルで、左上端コントロールポイント及び右上端コントロールポイントのアフィンシードベクターをそれぞれ第１アフィンシードベクター及び第２アフィンシードベクターと言う。後述する第１アフィンシードベクター及び第２アフィンシードベクターを用いる実施例で、第１アフィンシードベクター及び第２アフィンシードベクターの少なくとも一つは左下端コントロールポイントのアフィンシードベクター（第３アフィンシードベクター）又は右下端コントロールポイントのアフィンシードベクター（第４アフィンシードベクター）に代替することができる。
また、６パラメーターアフィンモーションモデルで、左上端コントロールポイント、右上端コントロールポイント及び左下端コントロールポイントのアフィンシードベクターをそれぞれ第１アフィンシードベクター、第２アフィンシードベクター及び第３アフィンシードベクターと言う。後述する第１アフィンシードベクター、第２アフィンシードベクター及び第３アフィンシードベクターを用いる実施例で、第１アフィンシードベクター、第２アフィンシードベクター及び第３アフィンシードベクターの少なくとも一つは右下端コントロールポイントのアフィンシードベクター（第４アフィンシードベクター）に代替することができる。
アフィンシードベクターを用いてサブブロック別のアフィンベクターを誘導することができる（Ｓ８０３）。ここで、アフィンベクターはアフィンシードベクターに基づいて誘導される並進モーションベクターを示す。サブブロックのアフィンベクターをアフィンサブブロックモーションベクター又はサブブロックモーションベクターと言える。
図１０は４パラメーターモーションモデルで、サブブロックのアフィンベクターを例示する図である。
サブブロックのアフィンベクターは、コントロールポイントの位置、サブブロックの位置及びアフィンシードベクターに基づいて誘導することができる。一例として、式３はアフィンサブブロックモーションベクターを誘導する例を示す。
Figure 2022537767000002
前記式３で、（ｘ、ｙ）はサブブロックの位置を示す。ここで、サブブロックの位置はサブブロックに含まれる基準サンプルの位置を示す。基準サンプルは、サブブロックの左上端コーナーに位置するサンプル、又はｘ軸又はｙ軸座標の少なくとも一つが中央位置であるサンプルであることができる。（ｘ０、ｙ０）は第１コントロールポイントの位置を示し、（ｓｖ０ｘ、ｓｖ０ｙ）は第１アフィンシードベクターを示す。また、（ｘ１、ｙ１）は第２コントロールポイントの位置を示し、（ｓｖ１ｘ、ｓｖ１ｙ）は第２アフィンシードベクターを示す。
第１コントロールポイント及び第２コントロールポイントがそれぞれ現在ブロックの左上端コーナー及び右上端コーナーに対応する場合、ｘ１－ｘ０は現在ブロックの幅と同じ値に設定することができる。
その後、各サブブロックのアフィンベクターを用いて各サブブロックに対する動き補償予測を遂行することができる（Ｓ８０４）。動き補償予測の遂行の結果として、各サブブロックに対する予測ブロックが生成されることができる。サブブロックの予測ブロックを現在ブロックの予測ブロックに設定することができる。
現在ブロックのアフィンシードベクターは現在ブロックに隣り合う隣接ブロックのアフィンシードベクターに基づいて誘導することができる。現在ブロックのインター予測モードがアフィンマージモードの場合、マージ候補リストに含まれるマージ候補のアフィンシードベクターを現在ブロックのアフィンシードベクターに決定することができる。また、現在ブロックのインター予測モードがアフィンマージモードの場合、現在ブロックの参照ピクチャインデックス、特定方向予測フラグ又は両方向加重値の少なくとも一つを含む動き情報もマージ候補と同様に設定することができる。
次に、並進動き情報を用いるインター予測方法について詳細に説明する。
現在ブロックの動き情報は現在ブロックの他のブロックの動き情報から誘導することができる。ここで、他のブロックは現在ブロックより先立ってインター予測によって符号化／復号化されたブロックであることができる。現在ブロックの動き情報を他のブロックの動き情報と同様に設定することをマージモードに定義することができる。また、他のブロックの動きベクターを現在ブロックの動きベクターの予測値に設定することをモーションベクター予測モードに定義することができる。
図１１はマージモードの下で現在ブロックの動き情報を誘導する過程のフローチャートである。
現在ブロックのマージ候補を誘導することができる（Ｓ１１０１）。現在ブロックのマージ候補は現在ブロックより先立ってインター予測によって符号化／復号化されたブロックから誘導することができる。
図１２はマージ候補を誘導するために使われる候補ブロックを例示する図である。
候補ブロックは、現在ブロックに隣り合うサンプルを含む隣接ブロック又は現在ブロックに隣り合わないサンプルを含む非隣接ブロックの少なくとも一つを含むことができる。以下、候補ブロックを決定するサンプルを基準サンプルに定義する。また、現在ブロックに隣り合う基準サンプルを隣接基準サンプルと言い、現在ブロックに隣り合わない基準サンプルを非隣接基準サンプルと言う。
隣接基準サンプルは、現在ブロックの最左側列の隣接列又は現在ブロックの最上側行の隣接行に含まれることができる。一例として、現在ブロックの左上端サンプルの座標を（０、０）とするとき、（－１、Ｈ－１）位置の基準サンプルを含むブロック、（Ｗ－１、－１）位置の基準サンプルを含むブロック、（Ｗ、－１）位置の基準サンプルを含むブロック、（－１、Ｈ）位置の基準サンプルを含むブロック又は（－１、－１）位置の基準サンプルを含むブロックの少なくとも一つを候補ブロックとして用いることができる。図面を参照すると、インデックス０～インデックス４の隣接ブロックを候補ブロックとして用いることができる。
非隣接基準サンプルは、現在ブロックに隣り合う基準サンプルとのｘ軸距離又はｙ軸距離の少なくとも一つが既定義の値を有するサンプルを示す。一例として、左側基準サンプルとのｘ軸距離が既定義の値である基準サンプルを含むブロック、上端基準サンプルとのｙ軸距離が既定義の値である非隣接サンプルを含むブロック、又は左上端基準サンプルとのｘ軸距離及びｙ軸距離が既定義の値である非隣接サンプルを含むブロックの少なくとも一つを候補ブロックとして用いることができる。既定義の値は、４、８、１２、１６などの自然数であることができる。図面を参照すると、インデックス５～２６のブロックの少なくとも一つを候補ブロックとして用いることができる。
隣接基準サンプルと同一の垂直線、水平線又は対角線上に位置しないサンプルを非隣接基準サンプルに設定することもできる。
マージ候補の動き情報は候補ブロックの動き情報と同様に設定することができる。一例として、候補ブロックのモーションベクター、参照ピクチャインデックス、予測方向又は両方向加重値インデックスの少なくとも一つをマージ候補の動き情報に設定することができる。
マージ候補を含むマージ候補リストを生成することができる（Ｓ１１０２）。
マージ候補リスト内のマージ候補のインデックスは所定の順に割り当てることができる。一例として、左側隣接ブロックから誘導されたマージ候補、上端隣接ブロックから誘導されたマージ候補、右上端隣接ブロックから誘導されたマージ候補、左下端隣接ブロックから誘導されたマージ候補、左上端隣接ブロックから誘導されたマージ候補、及び時間的隣接ブロックから誘導されたマージ候補の順にインデックスを付与することができる。
マージ候補に複数のマージ候補が含まれた場合、複数のマージ候補の少なくとも一つを選択することができる（Ｓ１１０３）。具体的には、複数のマージ候補のいずれか一つを特定するための情報をビットストリームによってシグナリングすることができる。一例として、マージ候補リストに含まれるマージ候補のいずれか一つのインデックスを示す情報ｍｅｒｇｅ＿ｉｄｘをビットストリームによってシグナリングすることができる。
マージ候補リストに含まれるマージ候補の数が閾値より小さい場合、モーション情報テーブルに含まれるモーション情報候補をマージ候補としてマージ候補リストに追加することができる。ここで、閾値はマージ候補リストが含むことができる最大マージ候補の数又は最大マージ候補の数からオフセットを差し引いた値であることができる。オフセットは１又は２などの自然数であることができる。
モーション情報テーブルは現在ピクチャ内のインター予測に基づいて符号化／復号化されたブロックから誘導されるモーション情報候補を含む。一例として、モーション情報テーブルに含まれるモーション情報候補の動き情報はインター予測に基づいて符号化／復号化されたブロックの動き情報と同様に設定することができる。ここで、動き情報は、モーションベクター、参照ピクチャインデックス、予測方向又は両方向加重値インデックスの少なくとも一つを含むことができる。
モーション情報テーブルに含まれるモーション情報候補をインター領域マージ候補又は予測領域マージ候補と言うこともできる。
モーション情報テーブルが含むことができるモーション情報候補の最大数は符号化器及び復号化器で既に定義されていることができる。一例として、モーション情報テーブルが含むことができる最大モーション情報候補の数は、１、２、３、４、５、６、７、８又はそれ以上（例えば、１６）であることができる。
もしくは、モーション情報テーブルが含むことができるモーション情報候補の最大数を示す情報をビットストリームによってシグナリングすることができる。前記情報は、シーケンス、ピクチャ、又はスライスレベルでシグナリングすることができる。前記情報はモーション情報テーブルが含むことができるモーション情報候補の最大数を示すことができる。もしくは、前記情報はモーション情報テーブルが含むことができるモーション情報候補の最大数とマージ候補リストが含むことができるマージ候補の最大数との間の差分を示すことができる。
もしくは、ピクチャのサイズ、スライスのサイズ又はコーディングツリーユニットのサイズによって、モーション情報テーブルが含むことができるモーション情報候補の最大数を決定することができる。
モーション情報テーブルは、ピクチャ、スライス、タイル、ブリック、コーディングツリーユニット、又はコーディングツリーユニットライン（行又は列）単位で初期化されることができる。一例として、スライスが初期化される場合、モーション情報テーブルも初期化され、モーション情報テーブルは何のモーション情報候補も含まないことができる。
もしくは、モーション情報テーブルを初期化するかを示す情報をビットストリームによってシグナリングすることもできる。前記情報はスライス、タイル、ブリック又はブロックレベルでシグナリングすることができる。前記情報がモーション情報テーブルを初期化することを指示するまで、既に構成されたモーション情報テーブルを用いることができる。
もしくは、ピクチャパラメーターセット又はスライスヘッダーによって初期モーション情報候補についての情報をシグナリングすることができる。スライスが初期化されても、モーション情報テーブルは初期モーション情報候補を含むことができる。これにより、スライス内の第１符号化／復号化対象であるブロックに対しても初期モーション情報候補を用いることができる。
もしくは、以前コーディングツリーユニットのモーション情報テーブルに含まれるモーション情報候補を初期モーション情報候補に設定することができる。一例として、以前コーディングツリーユニットのモーション情報テーブルに含まれるモーション情報候補の中でインデックスが最小のモーション情報候補又はインデックスが最大のモーション情報候補を初期モーション情報候補に設定することができる。
符号化／復号化の順にブロックを符号化／復号化し、インター予測に基づいて符号化／復号化されたブロックを符号化／復号化の順に順次モーション情報候補に設定することができる。
図１３はモーション情報テーブルのアップデート様相を説明するための図である。
現在ブロックに対してインター予測を遂行した場合（Ｓ１３０１）、現在ブロックに基づいてモーション情報候補を誘導することができる（Ｓ１３０２）。モーション情報候補の動き情報は現在ブロックの動き情報と同一に設定することができる。
モーション情報テーブルが空の状態の場合（Ｓ１３０３）、現在ブロックに基づいて誘導されたモーション情報候補をモーション情報テーブルに追加することができる（Ｓ１３０４）。
モーション情報テーブルが既にモーション情報候補を含んでいる場合（Ｓ１３０３）、現在ブロックの動き情報（又は、これによって誘導されたモーション情報候補）に対する重複性検査を実施することができる（Ｓ１３０５）。重複性検査は、モーション情報テーブルに既に保存されたモーション情報候補の動き情報と現在ブロックの動き情報とが同一であるかを決定するためのものである。重複性検査は、モーション情報テーブルに既に保存されたすべてのモーション情報候補を対象として遂行することができる。もしくは、モーション情報テーブルに既に保存されたモーション情報候補の中でインデックスが閾値以上又は閾値以下のモーション情報候補を対象として重複性検査を遂行することができる。もしくは、既定義の数のモーション情報候補を対象として重複性検査を遂行することができる。一例として、インデックスが小さい２個のモーション情報候補又はインデックスが大きい２個のモーション情報候補を重複性検査対象として決定することができる。
現在ブロックの動き情報と同じ動き情報を有するモーション情報候補が含まれていない場合、現在ブロックに基づいて誘導されたモーション情報候補をモーション情報テーブルに追加することができる（Ｓ１３０８）。モーション情報候補が同一であるかは、モーション情報候補の動き情報（例えば、モーションベクター及び／又は参照ピクチャインデックスなど）が同一であるかによって決定することができる。
ここで、モーション情報テーブルに既に最大数のモーション情報候補が保存されている場合（Ｓ１３０６）、一番古いモーション情報候補を削除し（Ｓ１３０７）、現在ブロックに基づいて誘導されたモーション情報候補をモーション情報テーブルに追加することができる（Ｓ１３０８）。ここで、一番古いモーション情報候補はインデックスが最大のモーション情報候補又はインデックスが最小のモーション情報候補であることができる。
モーション情報候補はそれぞれインデックスによって識別することができる。現在ブロックから誘導されたモーション情報候補がモーション情報テーブルに追加される場合、前記モーション情報候補に最低のインデックス（例えば、０）を割り当て、既保存のモーション情報候補のインデックスを１ずつ増加させることができる。ここで、モーション情報テーブルに既に最大数のモーション情報候補が保存されている場合、インデックスが最大のモーション情報候補を除去する。
もしくは、現在ブロックから誘導されたモーション情報候補がモーション情報テーブルに追加される場合、前記モーション情報候補に最大のインデックスを割り当てることができる。一例として、モーション情報テーブルに既に保存されているモーション情報候補の数が最大値より小さい場合、前記モーション情報候補には既保存のモーション情報候補の数と同じ値のインデックスを割り当てることができる。もしくは、モーション情報テーブルに既に保存されているモーション情報候補の数が最大値と同一である場合、前記モーション情報候補には最大値から１を差し引いたインデックスを割り当てることができる。また、インデックスが最も小さいモーション情報候補を除去し、残っている既保存のモーション情報候補のインデックスを１ずつ減少させる。
図１４はモーション情報テーブルのアップデート様相を示す図である。
現在ブロックから誘導されたモーション情報候補がモーション情報テーブルに加わり、前記モーション情報候補に最大のインデックスが割り当てられると仮定する。また、モーション情報テーブルには既に最大数のモーション情報候補が保存されていると仮定する。
現在ブロックから誘導されたモーション情報候補ＨｍｖｐＣａｎｄ［ｎ＋１］をモーション情報テーブルＨｍｖｐＣａｎｄＬｉｓｔに追加する場合、既保存のモーション情報候補の中でインデックスが最小のモーション情報候補ＨｍｖｐＣａｎｄ［０］を削除し、残余モーション情報候補のインデックスを１ずつ減少させることができる。また、現在ブロックから誘導されたモーション情報候補ＨｍｖｐＣａｎｄ［ｎ＋１］のインデックスを最大値（図１４に示した例ではｎ）に設定することができる。
現在ブロックに基づいて誘導されたモーション情報候補と同じモーション情報候補が既に保存されている場合（Ｓ１３０５）、現在ブロックに基づいて誘導されたモーション情報候補をモーション情報テーブルに追加しないことができる（Ｓ１３０９）。
もしくは、現在ブロックに基づいて誘導されたモーション情報候補をモーション情報テーブルに追加しながら、前記モーション情報候補と同一である既保存のモーション情報候補を除去することもできる。この場合、既保存のモーション情報候補のインデックスを新しく更新することと同じ効果を引き起こす。
図１５は既保存のモーション情報候補のインデックスを更新する例を示す図である。
現在ブロックに基づいて誘導されたモーション情報候補ｍｖＣａｎｄと同一である既保存のモーション情報候補のインデックスがｈＩｄｘの場合、前記既保存のモーション情報候補を削除し、インデックスがｈＩｄｘより大きいモーション情報候補のインデックスを１だけ減少させることができる。一例として、図１５に示した例では、ｍｖＣａｎｄと同じＨｍｖｐＣａｎｄ［２］がモーション情報テーブルＨｖｍｐＣａｎｄＬｉｓｔから削除され、ＨｍｖｐＣａｎｄ［３］からＨｍｖｐＣａｎｄ［ｎ］までのインデックスが１ずつ減少するものが示された。
そして、現在ブロックに基づいて誘導されたモーション情報候補ｍｖＣａｎｄをモーション情報テーブルの最後に追加することができる。
もしくは、現在ブロックに基づいて誘導されたモーション情報候補と同一である既保存のモーション情報候補に割り当てられたインデックスを更新することができる。例えば、既保存のモーション情報候補のインデックスを最小値又は最大値に変更することができる。
所定の領域に含まれるブロックの動き情報はモーション情報テーブルに追加されないように設定することができる。一例として、マージ処理領域に含まれるブロックの動き情報に基づいて誘導されるモーション情報候補はモーション情報テーブルに追加しないことができる。マージ処理領域に含まれるブロックに対しては符号化／復号化の手順が定義されていないので、これらの中でいずれか一つの動き情報を他のブロックのインター予測の際に用いることは適切でない。これにより、マージ処理領域に含まれるブロックに基づいて誘導されたモーション情報候補はモーション情報テーブルに追加しないことができる。
もしくは、既設定のサイズより小さいブロックの動き情報はモーション情報テーブルに追加されないように設定することができる。一例として、幅又は高さが４又は８より小さいコーディングブロックの動き情報、又は４×４サイズのコーディングブロックの動き情報に基づいて誘導されるモーション情報候補はモーション情報テーブルに追加しないことができる。
現在ブロックのインター予測モードに基づいて現在ブロックをモーション情報候補として用いるかを決定することもできる。一例として、アフィンモーションモデルに基づいて符号化／復号化されたブロックはモーション情報候補として用いることができないものに設定することができる。これにより、現在ブロックがインター予測によって符号化／復号化されたとしても、現在ブロックのインター予測モードがアフィン予測モードの場合には、現在ブロックに基づいてモーション情報テーブルをアップデートしないことができる。
モーション情報候補が動き情報の他に追加情報を含むように設定することができる。一例として、モーション情報候補に対して、ブロックのサイズ、形態又はブロックのパーティション情報の少なくとも一つをさらに保存することができる。現在ブロックのマージ候補リストの構成の際、モーション情報候補の中で現在ブロックとサイズ、形態又はパーティション情報が同一又は類似のモーション情報候補のみを使うか、現在ブロックとサイズ、形態又はパーティション情報が同一又は類似のモーション情報候補を先にマージ候補リストに追加することができる。
現在ブロックのマージ候補リストに含まれるマージ候補の数が閾値より少ない場合、モーション情報テーブルに含まれるモーション情報候補をマージ候補としてマージ候補リストに追加することができる。前記追加過程は、モーション情報候補のインデックスを昇順又は降順に整列したときの手順に遂行する。一例として、インデックスが最大のモーション情報候補から現在ブロックのマージ候補リストに追加することができる。
モーション情報テーブルに含まれるモーション情報候補をマージ候補リストに追加しようとする場合、モーション情報候補とマージ候補リストに既に保存されているマージ候補との間の重複性検査を遂行することができる。重複性検査の遂行結果、既保存のマージ候補と同じ動き情報を有するモーション情報候補はマージ候補リストに追加しないことができる。
重複性検査は、モーション情報テーブルに含まれるモーション情報候補の一部のみに対して遂行することもできる。一例として、インデックスが閾値以上又は閾値以下であるモーション情報候補のみに対して重複性検査を遂行することができる。もしくは、インデックスが最大であるＮ個のモーション情報候補又はインデックスが最小であるＮ個のモーション情報候補のみに対して重複性検査を遂行することができる。
もしくは、マージ候補リストに既に保存されているマージ候補の一部のみに対して重複性検査を遂行することができる。一例として、インデックスが閾値以上又は閾値以下のマージ候補又は特定の位置のブロックから誘導されたマージ候補のみに対して重複性検査を遂行することができる。ここで、特定の位置は、現在ブロックの左側隣接ブロック、上端隣接ブロック、右上端隣接ブロック又は左下端隣接ブロックの少なくとも一つを含むことができる。
図１６はマージ候補の一部のみに対して重複性検査を遂行する例を示す図である。
モーション情報候補ＨｍｖｐＣａｎｄ［ｊ］をマージ候補リストに追加しようとする場合、モーション情報候補に対してインデックスが最大である２個のマージ候補ｍｅｒｇｅＣａｎｄＬｉｓｔ［ＮｕｍＭｅｒｇｅ－２］及びｍｅｒｇｅＣａｎｄＬｉｓｔ［ＮｕｍＭｅｒｇｅ－１］との重複性検査を遂行することができる。ここで、ＮｕｍＭｅｒｇｅは可用の空間的マージ候補及び時間的マージ候補の数を示すことができる。
図示の例とは違い、モーション情報候補ＨｍｖｐＣａｎｄ［ｊ］をマージ候補リストに追加しようとする場合、モーション情報候補に対してインデックスが最大である多くても２個のマージ候補との重複性検査を遂行することもできる。例えば、ｍｅｒｇｅＣａｎｄＬｉｓｔ［０］及びｍｅｒｇｅＣａｎｄＬｉｓｔ［１］に対してＨｍｖｐＣａｎｄ［ｊ］との同一性を確認することができる。
もしくは、特定の位置で誘導されたマージ候補のみに対して重複性検査を遂行することができる。一例として、現在ブロックの左側に位置する周辺ブロックから誘導されたマージ候補又は現在ブロックの上端に位置する周辺ブロックから誘導されたマージ候補の少なくとも一つに対して重複性検査を遂行することができる。マージ候補リストに特定の位置で誘導されたマージ候補が存在しない場合、重複性検査なしにモーション情報候補をマージ候補リストに追加することができる。
モーション情報候補ＨｍｖｐＣａｎｄ［ｊ］をマージ候補リストに追加しようとする場合、モーション情報候補に対してインデックスが最大である２個のマージ候補ｍｅｒｇｅＣａｎｄＬｉｓｔ［ＮｕｍＭｅｒｇｅ－２］及びｍｅｒｇｅＣａｎｄＬｉｓｔ［ＮｕｍＭｅｒｇｅ－１］との重複性検査を遂行することができる。ここで、ＮｕｍＭｅｒｇｅは可用の空間的マージ候補及び時間的マージ候補の数を示すことができる。
モーション情報候補の一部のみに対してマージ候補との重複性検査を遂行することもできる。一例として、モーション情報テーブルに含まれるモーション情報候補の中でインデックスが大きいＮ個又はインデックスが小さいＮ個のモーション情報候補のみに対して重複性検査を遂行することができる。一例として、モーション情報テーブルに含まれるモーション情報候補の数との差分が閾値以下であるインデックスを有するモーション情報候補のみに対して重複性検査を遂行することができる。閾値が２の場合、モーション情報テーブルに含まれるモーション情報候補の中でインデックス値が最大である３個のモーション情報候補のみに対して重複性検査を遂行することができる。前記３個のモーション情報候補を除いたモーション情報候補に対しては重複性検査を省略することができる。重複性検査を省略する場合、マージ候補と同じ動き情報を有するかに関係なく、モーション情報候補をマージ候補リストに追加することができる。
これとは反対に、モーション情報テーブルに含まれるモーション情報候補の数との差分が閾値以上のインデックスを有するモーション情報候補のみに対して重複性検査を遂行するように設定することもできる。
重複性検査が遂行されるモーション情報候補の数は符号化器及び復号化器で既に定義されていることができる。例えば、閾値は０、１又は２のような整数であることができる。
もしくは、マージ候補リストに含まれるマージ候補の数又はモーション情報テーブルに含まれるモーション情報候補の数の少なくとも一つに基づいて閾値を決定することができる。
第１モーション情報候補と同じマージ候補が発見された場合、第２モーション情報候補に対する重複性検査の際、前記第１モーション情報候補と同じマージ候補との重複性検査を省略することができる。
図１７は特定のマージ候補との重複性検査を省略する例を示す図である。
インデックスがｉであるモーション情報候補ＨｍｖｐＣａｎｄ［ｉ］をマージ候補リストに追加しようとする場合、前記モーション情報候補とマージ候補リストに既に保存されているマージ候補との間の重複性検査を遂行する。ここで、モーション情報候補ＨｍｖｐＣａｎｄ［ｉ］と同じマージ候補ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｊ］が発見された場合、モーション情報候補ＨｍｖｐＣａｎｄ［ｉ］をマージ候補リストに追加せず、インデックスがｉ－１であるモーション情報候補ＨｍｖｐＣａｎｄ［ｉ－１］とマージ候補との間の重複性検査を遂行することができる。ここで、モーション情報候補ＨｍｖｐＣａｎｄ［ｉ－１］とマージ候補ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｊ］との間の重複性検査は省略することができる。
一例として、図１７に示した例では、ＨｍｖｐＣａｎｄ［ｉ］とｍｅｒｇｅＣａｎｄＬｉｓｔ［２］が同一であると決定された。これにより、ＨｍｖｐＣａｎｄ［ｉ］をマージ候補リストに追加せず、ＨｍｖｐＣａｎｄ［ｉ－１］に対する重複性検査を遂行することができる。ここで、ＨｖｍｐＣａｎｄ［ｉ－１］とｍｅｒｇｅＣａｎｄＬｉｓｔ［２］との間の重複性検査は省略することができる。
現在ブロックのマージ候補リストに含まれるマージ候補の数が閾値より小さい場合、モーション情報候補以外にも、ペアワイズマージ候補又はゼロマージ候補の少なくとも一つをさらに含むこともできる。ペアワイズマージ候補は二つ以上のマージ候補の動きベクターを平均した値を動きベクターとして有するマージ候補を意味し、ゼロマージ候補はモーションベクターが０のマージ候補を意味する。
現在ブロックのマージ候補リストは次の順にマージ候補が追加されることができる。
空間的マージ候補－時間的マージ候補－モーション情報候補－（アフィンモーション情報候補）－ペアワイズマージ候補－ゼロマージ候補
空間的マージ候補は隣接ブロック又は非隣接ブロックの少なくとも一つから誘導されるマージ候補を意味し、時間的マージ候補は以前参照ピクチャから誘導されるマージ候補を意味する。アフィンモーション情報候補はアフィンモーションモデルに符号化／復号化されたブロックから誘導されたモーション情報候補を示す。
モーションベクター予測モードでもモーション情報テーブルを用いることができる。一例として、現在ブロックの動きベクター予測候補リストに含まれる動きベクター予測候補の数が閾値より小さい場合、モーション情報テーブルに含まれるモーション情報候補を現在ブロックに対する動きベクター予測候補に設定することができる。具体的には、モーション情報候補の動きベクターを動きベクター予測候補に設定することができる。
現在ブロックの動きベクター予測候補リストに含まれる動きベクター予測候補のいずれか一つが選択されれば、選択された候補を現在ブロックの動きベクター予測子に設定することができる。その後、現在ブロックの動きベクター残差値を復号化した後、動きベクター予測子と動きベクター残差値とを合わせて現在ブロックの動きベクターを獲得することができる。
現在ブロックの動きベクター予測候補リストは次の順に構成されることができる。
空間的モーションベクター予測候補－時間的モーションベクター予測候補－モーション情報候補－（アフィンモーション情報候補）－ゼロモーションベクター予測候補
空間的モーションベクター予測候補は隣接ブロック又は非隣接ブロックの少なくとも一つから誘導されるモーションベクター予測候補を意味し、時間的モーションベクター予測候補は以前参照ピクチャから誘導されるモーションベクター予測候補を意味する。アフィンモーション情報候補はアフィンモーションモデルに符号化／復号化されたブロックから誘導されたモーション情報候補を示す。ゼロモーションベクター予測候補は動きベクターの値が０である候補を示す。
コーディングブロックより大きいサイズのマージ処理領域を定義されることができる。マージ処理領域に含まれるコーディングブロックは順次符号化／復号化されず、並列処理されることができる。ここで、順次符号化／復号化されないというのは、符号化／復号化の手順が定義されていないことを意味する。これにより、マージ処理領域に含まれるブロックの符号化／復号化過程は独立的に処理することができる。もしくは、マージ処理領域に含まれるブロックはマージ候補を共有することができる。ここで、マージ候補はマージ処理領域を基準に誘導することができる。
上述した特徴によって、マージ処理領域を並列処理領域、マージ共有領域（Ｓｈａｒｅｄ Ｍｅｒｇｅ Ｒｅｇｉｏｎ、ＳＭＲ）又はＭＥＲ（Ｍｅｒｇｅ Ｅｓｔｉｍａｔｉｏｎ Ｒｅｇｉｏｎ）と言うこともできる。
現在ブロックのマージ候補はコーディングブロックを基準に誘導することができる。ただ、現在ブロックが現在ブロックより大きいサイズのマージ処理領域に含まれる場合、現在ブロックと同じマージ処理領域に含まれる候補ブロックはマージ候補として利用できないものに設定することができる。
図１８は現在ブロックと同じマージ処理領域に含まれる候補ブロックがマージ候補として利用できないものに設定される例を示す図である。
図１８の左側に示した例で、ＣＵ５の符号化／復号化の際、ＣＵ５に隣接した基準サンプルを含むブロックを候補ブロックに設定することができる。ここで、ＣＵ５と同じマージ処理領域に含まれる候補ブロックＸ３及びＸ４はＣＵ５のマージ候補として利用できないものに設定することができる。一方、ＣＵ５と同じマージ処理領域に含まれていない候補ブロックＸ０、Ｘ１及びＸ２はマージ候補として利用可能なものに設定することができる。
図１８の右側に示した例で、ＣＵ８の符号化／復号化の際、ＣＵ８に隣接した基準サンプルを含むブロックを候補ブロックに設定することができる。ここで、ＣＵ８と同じマージ処理領域に含まれる候補ブロックＸ６、Ｘ７及びＸ８はマージ候補として利用できないものに設定することができる。一方、ＣＵ８と同じマージ領域に含まれていない候補ブロックＸ５及びＸ９はマージ候補として利用可能なものに設定することができる。
もしくは、現在ブロックがマージ処理領域に含まれる場合、現在ブロックに隣り合う隣接ブロック及びマージ処理領域に隣り合う隣接ブロックを候補ブロックに設定することができる。
図１９は現在ブロックがマージ処理領域に含まれている場合、現在ブロックに対するマージ候補を誘導する例を示す図である。
図１９の（ａ）に示した例のように、現在ブロックが隣り合う隣接ブロックを現在ブロックのマージ候補を誘導するための候補ブロックに設定することができる。ここで、現在ブロックと同じマージ処理領域に含まれる候補ブロックはマージ候補として利用できないものに設定することができる。一例として、コーディングブロックＣＵ３に対するマージ候補の誘導の際、コーディングブロックＣＵ３と同じマージ処理領域に含まれる上端隣接ブロックｙ３及び右上端隣接ブロックｙ４はコーディングブロックＣＵ３のマージ候補として利用できないものに設定することができる。
現在ブロックに隣り合う隣接ブロックを既定義の順にスキャンしてマージ候補を誘導することができる。一例として、既定義の順は、ｙ１、ｙ３、ｙ４、ｙ０及びｙ２の順であることができる。
現在ブロックに隣り合う隣接ブロックから誘導することができるマージ候補の数がマージ候補の最大数又は前記最大数からオフセットを差し引いた値より小さい場合、図１９の（ｂ）に示した例のように、マージ処理領域に隣り合う隣接ブロックを用いて現在ブロックに対するマージ候補を誘導することができる。一例として、コーディングブロックＣＵ３を含むマージ処理領域に隣り合う隣接ブロックをコーディングブロックＣＵ３に対する候補ブロックに設定することができる。ここで、マージ処理領域に隣り合う隣接ブロックは、左側隣接ブロックｘ１、上端隣接ブロックｘ３、左下端隣接ブロックｘ０、右上端隣接ブロックｘ４又は左上端隣接ブロックｘ２の少なくとも一つを含むことができる。
マージ処理領域に隣り合う隣接ブロックを既定義の順にスキャンしてマージ候補を誘導することができる。一例として、既定義の順は、ｘ１、ｘ３、ｘ４、ｘ０及びｘ２の順であることができる。
まとめると、マージ処理領域に含まれるコーディングブロックＣＵ３に対するマージ候補は次のスキャン順に候補ブロックをスキャンして誘導することができる。
（ｙ１、ｙ３、ｙ４、ｙ０、ｙ２、ｘ１、ｘ３、ｘ４、ｘ０、ｘ２）
ただ、前記例示の候補ブロックのスキャン順は本発明の一例を示すものに過ぎなく、前記例示と違う順に候補ブロックをスキャンすることも可能である。もしくは、現在ブロック又はマージ処理領域のサイズ又は形態の少なくとも一つに基づいてスキャン順を適応的に決定することもできる。
マージ処理領域は正方形又は非正方形であることができる。マージ処理領域を決定するための情報をビットストリームによってシグナリングすることができる。前記情報は、マージ処理領域の形態を示す情報又はマージ処理領域のサイズを示す情報の少なくとも一つを含むことができる。マージ処理領域が非正方形の場合、マージ処理領域のサイズを示す情報、マージ処理領域の幅及び／又は高さを示す情報又はマージ処理領域の幅と高さとの間の比を示す情報の少なくとも一つをビットストリームによってシグナリングすることができる。
マージ処理領域のサイズは、ビットストリームによってシグナリングされる情報、ピクチャ解像度、スライスのサイズ又はタイルサイズの少なくとも一つに基づいて決定することができる。
マージ処理領域に含まれるブロックに対して動き補償予測が遂行されれば、動き補償予測が遂行されたブロックの動き情報に基づいて誘導されたモーション情報候補をモーション情報テーブルに追加することができる。
ただ、マージ処理領域に含まれるブロックから誘導されたモーション情報候補をモーション情報テーブルに追加する場合、前記ブロックより実際に符号化／復号化が遅いマージ処理領域内の他のブロックの符号化／復号化の際、前記ブロックから誘導されたモーション情報候補を使う場合が発生することができる。すなわち、マージ処理領域に含まれるブロックの符号化／復号化の際、ブロック間の依存性を排除しなければならないことにもかかわらず、マージ処理領域に含まれる他のブロックの動き情報を用いて動き予測補償が遂行される場合が発生することができる。このような問題点を解消するために、マージ処理領域に含まれるブロックの符号化／復号化が完了しても、符号化／復号化が完了したブロックの動き情報をモーション情報テーブルに追加しないことができる。
もしくは、マージ処理領域内の既定義の位置のブロックのみを用いてモーション情報テーブルをアップデートすることができる。既定義の位置は、マージ処理領域内の左上端に位置するブロック、右上端に位置するブロック、左下端に位置するブロック、右下端に位置するブロック、中央に位置するブロック、右側境界に隣り合うブロック又は下端境界に隣り合うブロックの少なくとも一つを含むことができる。一例として、マージ処理領域内の右下端コーナーに隣り合うブロックの動き情報のみをモーション情報テーブルにアップデートし、他のブロックの動き情報はモーション情報テーブルにアップデートしないことができる。
もしくは、マージ処理領域に含まれるすべてのブロックの復号化が完了した後、前記ブロックから誘導されたモーション情報候補をモーション情報テーブルに追加することができる。すなわち、マージ処理領域に含まれるブロックが符号化／復号化されるうちにはモーション情報テーブルがアップデートされないことができる。
一例として、マージ処理領域に含まれるブロックに対して動き補償予測を遂行すれば、前記ブロックから誘導されたモーション情報候補を既定義の順にモーション情報テーブルに追加することができる。ここで、既定義の順はマージ処理領域又はコーディングツリーユニット内のコーディングブロックのスキャン順に決定することができる。前記スキャン順は、ラスターヘスキャン、水平スキャン、垂直スキャン又はジグザグスキャンの少なくとも一つであることができる。もしくは、既定義の順は各ブロックの動き情報又は同じ動き情報を有するブロックの数に基づいて決定することができる。
もしくは、単方向モーション情報を含むモーション情報候補を両方向モーション情報を含むモーション情報候補より先にモーション情報テーブルに追加することができる。これとは反対に、両方向モーション情報を含むモーション情報候補を単方向モーション情報を含むモーション情報候補より先にモーション情報テーブルに追加することもできる。
もしくは、マージ処理領域又はコーディングツリーユニット内の使用頻度が高い順又は使用頻度が低い順にモーション情報候補をモーション情報テーブルに追加することができる。
現在ブロックがマージ処理領域に含まれており、現在ブロックのマージ候補リストに含まれるマージ候補の数が最大数より少ない場合、モーション情報テーブルに含まれるモーション情報候補をマージ候補リストに追加することができる。ここで、現在ブロックと同じマージ処理領域に含まれるブロックから誘導されたモーション情報候補は現在ブロックのマージ候補リストに追加されないように設定することができる。
もしくは、現在ブロックがマージ処理領域に含まれる場合、モーション情報テーブルに含まれるモーション情報候補を使わないように設定することができる。すなわち、現在ブロックのマージ候補リストに含まれるマージ候補の数が最大数より少ない場合であっても、モーション情報テーブルに含まれるモーション情報候補をマージ候補リストに追加しないことができる。
他の例として、マージ処理領域又はコーディングツリーユニットに対するモーション情報テーブルを構成することができる。このモーション情報テーブルはマージ処理領域に含まれるブロックのモーション情報を一時保存する役割を果たす。一般的なモーション情報テーブルとマージ処理領域又はコーディングツリーユニットのためのモーション情報テーブルとを区別するために、マージ処理領域又はコーディングツリーユニットのためのモーション情報テーブルを一時モーション情報テーブルと言うことにする。また、一時モーション情報テーブルに保存されたモーション情報候補を一時モーション情報候補と言う。
図２０は一時モーション情報テーブルを示す図である。
コーディングツリーユニット又はマージ処理領域のための一時モーション情報テーブルを構成することができる。コーディングツリーユニット又はマージ処理領域に含まれる現在ブロックに対して動き補償予測が遂行された場合、前記ブロックの動き情報はモーション情報テーブルＨｍｖｐＣａｎｄＬｉｓｔに追加しないことができる。その代わりに、前記ブロックから誘導された一時モーション情報候補を一時モーション情報テーブルＨｍｖｐＭＥＲＣａｎｄＬｉｓｔに追加することができる。すなわち、一時モーション情報テーブルに追加された一時モーション情報候補はモーション情報テーブルに追加されないことができる。これにより、モーション情報テーブルは現在ブロックを含むコーディングツリーユニット又はマージ処理領域に含まれるブロックのモーション情報に基づいて誘導されたモーション情報候補を含まないことができる。
もしくは、頭部処理領域に含まれるブロックの一部ブロックの動き情報のみを一時モーション情報テーブルに追加することができる。一例として、マージ処理領域内の既定義の位置のブロックのみをモーション情報テーブルをアップデートするのに用いることができる。既定義の位置は、マージ処理領域内の左上端に位置するブロック、右上端に位置するブロック、左下端に位置するブロック、右下端に位置するブロック、中央に位置するブロック、右側境界に隣り合うブロック又は下端境界に隣り合うブロックの少なくとも一つを含むことができる。一例として、マージ処理領域内の右下端コーナーに隣り合うブロックの動き情報のみを一時モーション情報テーブルに追加し、他のブロックの動き情報は一時モーション情報テーブルに追加しないことができる。
一時モーション情報テーブルが含むことができる一時モーション情報候補の最大数はモーション情報テーブルが含むことができるモーション情報候補の最大数と同一に設定することができる。もしくは、一時モーション情報テーブルが含むことができる一時モーション情報候補の最大数はコーディングツリーユニット又はマージ処理領域のサイズによって決定することができる。もしくは、一時モーション情報テーブルが含むことができる一時モーション情報候補の最大数をモーション情報テーブルが含むことができるモーション情報候補の最大数より少なく設定することができる。
コーディングツリーユニット又はマージ処理領域に含まれる現在ブロックは当該コーディングツリーユニット又は当該マージ処理領域に対する一時モーション情報テーブルを用いないように設定することができる。すなわち、現在ブロックのマージ候補リストに含まれるマージ候補の数が閾値より少ない場合、モーション情報テーブルに含まれるモーション情報候補をマージ候補リストに追加し、一時モーション情報テーブルに含まれる一時モーション情報候補はマージ候補リストに追加しないことができる。これにより、現在ブロックと同じコーディングツリーユニット又は同じマージ処理領域に含まれる他のブロックの動き情報を現在ブロックの動き補償予測に用いないことができる。
コーディングツリーユニット又はマージ処理領域に含まれるすべてのブロックの符号化／復号化が完了すれば、モーション情報テーブルと一時モーション情報テーブルを併合することができる。
図２１はモーション情報テーブルと一時モーション情報テーブルを併合する例を示す図である。
コーディングツリーユニット又はマージ処理領域に含まれるすべてのブロックの符号化／復号化が完了すれば、図２１に示した例のように、一時モーション情報テーブルに含まれる一時モーション情報候補をモーション情報テーブルにアップデートすることができる。
ここで、一時モーション情報テーブルに含まれる一時モーション情報候補は、一時モーション情報テーブルに挿入された順（すなわち、インデックス値の昇順又は降順）にモーション情報テーブルに追加することができる。
他の例として、既定義の順に、一時モーション情報テーブルに含まれる一時モーション情報候補をモーション情報テーブルに追加することができる。ここで、既定義の順はマージ処理領域又はコーディングツリーユニット内のコーディングブロックのスキャン順によって決定することができる。前記スキャン順は、ラスターヘスキャン、水平スキャン、垂直スキャン又はジグザグスキャンの少なくとも一つであることができる。もしくは、既定義の順は各ブロックの動き情報又は同じ動き情報を有するブロックの数に基づいて決定することができる。
もしくは、単方向モーション情報を含む一時モーション情報候補を両方向モーション情報を含む一時モーション情報候補より先にモーション情報テーブルに追加することができる。これとは反対に、両方向モーション情報を含む一時モーション情報候補を単方向モーション情報を含む一時モーション情報候補より先にモーション情報テーブルに追加することもできる。
もしくは、マージ処理領域又はコーディングツリーユニット内の使用頻度が高い順又は使用頻度が低い順に一時モーション情報候補をモーション情報テーブルに追加することができる。
一時モーション情報テーブルに含まれる一時モーション情報候補をモーション情報テーブルに追加する場合、一時モーション情報候補に対する重複性検査を遂行することができる。一例として、一時モーション情報テーブルに含まれる一時モーション情報候補と同じモーション情報候補がモーション情報テーブルに既に保存されている場合、前記一時モーション情報候補をモーション情報テーブルに追加しないことができる。ここで、重複性検査はモーション情報テーブルに含まれるモーション情報候補の一部を対象として遂行することができる。一例として、インデックスが閾値以上又は閾値以下のモーション情報候補を対象として重複性検査を遂行することができる。一例として、一時モーション情報候補が既定義の値以上のインデックスを有するモーション情報候補と同じ場合には、前記一時モーション情報候補をモーション情報テーブルに追加しないことができる。
現在ブロックと同じコーディングツリーユニット又は同じマージ処理領域に含まれるブロックから誘導されたモーション情報候補が現在ブロックのマージ候補として用いられることを制限することができる。このために、モーション情報候補に対してブロックの住所情報をさらに保存することができる。ブロックの住所情報は、ブロックの位置、ブロックの住所、ブロックのインデックス、ブロックが含まれたマージ処理領域の位置、ブロックが含まれたマージ処理領域の住所、ブロックが含まれたマージ処理領域のインデックス、ブロックが含まれたコーディングツリー領域の位置、ブロックが含まれたコーディングツリー領域の住所又はブロックが含まれたコーディングツリー領域のインデックスの少なくとも一つを含むことができる。
イントラ予測は現在ブロック周辺に符号化／復号化が完了した復元サンプルを用いて現在ブロックを予測することである。ここで、現在ブロックのイントラ予測には、インループフィルターが適用される前の復元サンプルを用いることができる。
イントラ予測技法は、マトリックス（Ｍａｔｒｉｘ）に基づくイントラ予測及び周辺復元サンプルとの方向性を考慮した一般イントラ予測を含む。現在ブロックのイントラ予測技法を指示する情報をビットストリームによってシグナリングすることができる。前記情報は１ビットのフラグであることができる。もしくは、現在ブロックの位置、サイズ、形態又は隣接ブロックのイントラ予測技法の少なくとも一つに基づいて現在ブロックのイントラ予測技法を決定することができる。一例として、現在ブロックがピクチャバウンダリーにわたって存在する場合、現在ブロックにはマトリックスに基づくイントラ予測が適用されないように設定することができる。
マトリックスに基づくイントラ予測は、符号化器及び復号化器で既に保存されたマトリックスと現在ブロック周辺の復元サンプルとの間の行列乗算に基づいて現在ブロックの予測ブロックを獲得する方法である。既に保存された複数のマトリックスのいずれか一つを特定するための情報をビットストリームによってシグナリングすることができる。復号化器は前記情報及び現在ブロックのサイズに基づいて現在ブロックのイントラ予測のためのマトリックスを決定することができる。
一般イントラ予測は、非方向性イントラ予測モード又は方向性イントラ予測モードに基づいて現在ブロックに対する予測ブロックを獲得する方法である。以下、図面を参照して、一般イントラ予測に基づくイントラ予測遂行過程についてより詳細に説明する。
図２２は本発明の一実施例によるイントラ予測方法のフローチャートである。
現在ブロックの参照サンプルラインを決定することができる（Ｓ２２０１）。参照サンプルラインは現在ブロックの上端及び／又は左側からｋ番目で離れたラインに含まれる参照サンプルの集合を意味する。参照サンプルは現在ブロック周辺の符号化／復号化が完了した復元サンプルから誘導することができる。
複数の参照サンプルラインの中で現在ブロックの参照サンプルラインを識別するインデックス情報をビットストリームによってシグナリングすることができる。一例として、現在ブロックの参照サンプルラインを特定するためのインデックス情報ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘをビットストリームによってシグナリングすることができる。前記インデックス情報はコーディングブロック単位でシグナリングすることができる。
複数の参照サンプルラインは、現在ブロックに上端及び／又は左側１番目ライン、２番目ライン、及び３番目ラインの少なくとも一つを含むことができる。複数の参照サンプルラインの中で現在ブロックの上端に隣り合う行及び現在ブロックの左側に隣り合う列からなる参照サンプルラインを隣接参照サンプルラインといい、その他の参照サンプルラインを非隣接参照サンプルラインと言うこともできる。
表１は候補参照サンプルラインそれぞれに割り当てられるインデックスを示すものである。
Figure 2022537767000003
現在ブロックの位置、サイズ、形態又は隣接ブロックの予測符号化モードの少なくとも一つに基づいて現在ブロックの参照サンプルラインを決定することもできる。一例として、現在ブロックがピクチャ、タイル、スライス又はコーディングツリーユニットの境界に隣り合う場合、隣接参照サンプルラインを現在ブロックの参照サンプルラインに決定することができる。
参照サンプルラインは、現在ブロックの上端に位置する上端参照サンプル及び現在ブロックの左側に位置する左側参照サンプルを含むことができる。上端参照サンプル及び左側参照サンプルは現在ブロック周辺の復元サンプルから誘導することができる。前記復元サンプルはインループフィルターが適用される前の状態であることができる。
ついで、現在ブロックのイントラ予測モードを決定することができる（Ｓ２２０２）。現在ブロックのイントラ予測モードは非方向性イントラ予測モード又は方向性イントラ予測モードの少なくとも一つを現在ブロックのイントラ予測モードに決定することができる。非方向性イントラ予測モードはプラナー及びＤＣを含み、方向性イントラ予測モードは左下端対角方向から右上端対角方向まで３３個又は６５個のモードを含む。
図２３はイントラ予測モードを示す図である。
図２３の（ａ）は３５個のイントラ予測モードを示すものであり、図２３の（ｂ）は６７個のイントラ予測モードを示すものである。
図２３に示したものより多い数又は少ない数のイントラ予測モードを定義することもできる。
現在ブロックに隣り合う隣接ブロックのイントラ予測モードに基づいてＭＰＭ（Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）を設定することができる。ここで、隣接ブロックは、現在ブロックの左側に隣り合う左側隣接ブロック及び現在ブロックの上端に隣り合う上端隣接ブロックを含むことができる。
ＭＰＭリストに含まれるＭＰＭの数は符号化器及び復号化器で既に設定されていることができる。一例として、ＭＰＭの数は、３個、４個、５個又は６個であることができる。もしくは、ＭＰＭの数を示す情報をビットストリームによってシグナリングすることができる。もしくは、隣接ブロックの予測符号化モード、現在ブロックのサイズ、形態又は参照サンプルラインインデックスの少なくとも一つに基づいてＭＰＭの数を決定することができる。一例として、隣接参照サンプルラインが現在ブロックの参照サンプルラインに決定された場合にはＮ個のＭＰＭを用いる反面、非隣接参照サンプルラインが現在ブロックの参照サンプルラインに決定された場合にはＭ個のＭＰＭを用いることができる。ＭはＮより小さい自然数であり、一例として、Ｎは６、Ｍは５、４又は３であることができる。これにより、現在ブロックの参照サンプルラインのインデックスが０であり、ＭＰＭフラグが真の場合、現在ブロックのイントラ予測モードは６個の候補イントラ予測モードのいずれか一つに決定する反面、現在ブロックの参照サンプルラインのインデックスが０より大きく、ＭＰＭフラグが真の場合、現在ブロックのイントラ予測モードは５個の候補イントラ予測モードのいずれか一つに決定することができる。
もしくは、現在ブロックの参照サンプルラインのインデックスに関係なく固定された個数（例えば、６個又は５個）のＭＰＭ候補を使うこともできる。
複数のＭＰＭを含むＭＰＭリストを生成し、現在ブロックのイントラ予測モードと同じＭＰＭがＭＰＭリストに含まれているかを示す情報をビットストリームによってシグナリングすることができる。前記情報は１ビットのフラグであり、ＭＰＭフラグと言える。前記ＭＰＭフラグが、現在ブロックと同じＭＰＭがＭＰＭリストに含まれていることを示す場合、ＭＰＭの一つを識別するインデックス情報をビットストリームによってシグナリングすることができる。一例として、複数のＭＰＭのいずれか一つを特定するインデックス情報ｍｐｍ＿ｉｄｘをビットストリームによってシグナリングすることができる。前記インデックス情報によって特定されたＭＰＭを現在ブロックのイントラ予測モードに設定することができる。前記ＭＰＭフラグが、現在ブロックと同じＭＰＭがＭＰＭリストに含まれていないことを示す場合、ＭＰＭを除いた残余イントラ予測モードのいずれか一つを指示する残余モード情報をビットストリームによってシグナリングすることができる。残余モード情報は、ＭＰＭを除いた残余イントラ予測モードにインデックスを再び割り当てたとき、現在ブロックのイントラ予測モードに対応するインデックス値を示す。復号化器は、ＭＰＭを昇順に整列し、残余モード情報をＭＰＭと比較して現在ブロックのイントラ予測モードを決定することができる。一例として、残余モード情報がＭＰＭと同じかそれより小さい場合、残余モード情報に１を加算して現在ブロックのイントラ予測モードを誘導することができる。
現在ブロックのイントラ予測モードを誘導するとき、ＭＰＭの一部と残余モード情報に対する比較は省略することができる。一例として、ＭＰＭの中で非方向性イントラ予測モードであるＭＰＭは比較対象から除くことができる。非方向性イントラ予測モードがＭＰＭに設定された場合、残余モード情報は方向性イントラ予測モードを示すことが明らかであるので、非方向性イントラ予測モードを除いた残余ＭＰＭと残余モード情報との比較によって現在ブロックのイントラ予測モードを誘導することができる。非方向性イントラ予測モードを比較対象から除く代わり、残余モード情報に非方向性イントラ予測モードの数を加算した後、その結果値を残余ＭＰＭと比較することができる。
デフォルトモードをＭＰＭに設定する代わり、現在ブロックのイントラ予測モードがデフォルトモードであるかを示す情報をビットストリームによってシグナリングすることができる。前記情報は１ビットのフラグであり、前記フラグをデフォルトモードフラグと言える。前記デフォルトモードフラグは、ＭＰＭフラグが現在ブロックと同じＭＰＭがＭＰＭリストに含まれていることを示す場合に限り、シグナリングすることができる。上述したように、デフォルトモードは、プラナー、ＤＣ、垂直方向モード又は水平方向モードの少なくとも一つを含むことができる。一例として、プラナーがデフォルトモードに設定された場合、デフォルトモードフラグは現在ブロックのイントラ予測モードがプラナーであるかを指示することができる。デフォルトモードフラグが現在ブロックのイントラ予測モードがデフォルトモードではないことを示す場合、インデックス情報によって指示されるＭＰＭの一つを現在ブロックのイントラ予測モードに設定することができる。
デフォルトモードフラグが用いられる場合、デフォルトモードと同じイントラ予測モードはＭＰＭに設定されないように設定することができる。一例として、デフォルトモードフラグが現在ブロックのイントラ予測モードがプラナーであるかを指示する場合、プラナーに相当するＭＰＭを除いた５個のＭＰＭを用いて現在ブロックのイントラ予測モードを誘導することができる。
複数のイントラ予測モードがデフォルトモードに設定された場合、デフォルトモードのいずれか一つを指示するインデックス情報をさらにシグナリングすることができる。現在ブロックのイントラ予測モードは前記インデックス情報が示すデフォルトモードに設定することができる。
現在ブロックの参照サンプルラインのインデックスが０ではない場合にはデフォルトモードを用いることができないように設定することができる。一例として、非隣接参照サンプルラインが現在ブロックの参照サンプルラインに決定された場合、ＤＣモード又はプラナーモードと同じ非方向性イントラ予測モードを使わないように設定することができる。これにより、参照サンプルラインのインデックスが０ではない場合にはデフォルトモードフラグをシグナリングせず、前記デフォルトモードフラグの値を既定義の値（すなわち、偽）に設定することができる。
現在ブロックのイントラ予測モードが決定されれば、決定されたイントラ予測モードに基づいて現在ブロックに対する予測サンプルを獲得することができる（Ｓ２２０３）。
ＤＣモードが選択された場合、参照サンプルの平均値に基づいて現在ブロックに対する予測サンプルを生成する。具体的には、予測ブロック内の全体サンプルの値は参照サンプルの平均値に基づいて生成することができる。平均値は、現在ブロックの上端に位置する上端参照サンプル及び現在ブロックの左側に位置する左側参照サンプルの少なくとも一つを用いて誘導することができる。
現在ブロックの形態によって、平均値を誘導するのに用いられる参照サンプルの数又は範囲が変わることができる。一例として、現在ブロックが幅が高さより大きい非正方形ブロックである場合、上端参照サンプルのみを用いて平均値を計算することができる。一方、現在ブロックが幅が高さより小さい非正方形ブロックの場合、左側参照サンプルのみを用いて平均値を計算することができる。すなわち、現在ブロックの幅及び高さが異なる場合、長さがより長い側に隣り合う参照サンプルのみを用いて平均値を計算することができる。もしくは、現在ブロックの幅と高さの比に基づいて、上端参照サンプルのみを用いて平均値を計算するか又は左側参照サンプルのみを用いて平均値を計算するかを決定することができる。
プラナーモードが選択された場合、水平方向予測サンプルと垂直方向予測サンプルとを用いて予測サンプルを獲得することができる。ここで、水平方向予測サンプルは、予測サンプルと同じ水平線上に位置する左側参照サンプル及び右側参照サンプルに基づいて獲得し、垂直方向予測サンプルは、予測サンプルと同じ垂直線上に位置する上端参照サンプル及び下端参照サンプルに基づいて獲得する。ここで、右側参照サンプルは、現在ブロックの右上端コーナーに隣り合う参照サンプルをコピーして生成し、下端参照サンプルは、現在ブロックの左下端コーナーに隣り合う参照サンプルをコピーして生成することができる。水平方向予測サンプルは左側参照サンプル及び右側参照サンプルの加重和演算によって獲得し、垂直方向予測サンプルは上端参照サンプル及び下端参照サンプルの加重和演算によって獲得することができる。ここで、各参照サンプルに付与される加重値は予測サンプルの位置によって決定することができる。予測サンプルは水平方向予測サンプル及び垂直方向予測サンプルの平均演算又は加重和演算によって獲得することができる。加重和演算を遂行する場合、予測サンプルの位置に基づいて水平方向予測サンプル及び垂直方向予測サンプルに付与される加重値を決定することができる。
方向性予測モードが選択される場合、選択された方向性予測モードの予測方向（又は予測角度）を示すパラメーターを決定することができる。下記の表２はイントラ予測モード別にイントラ方向パラメーターｉｎｔｒａＰｒｅｄＡｎｇを示すものである。
Figure 2022537767000004
表２は、３５個のイントラ予測モードが定義されているとき、インデックスが２～３４のいずれか一つであるイントラ予測モードのそれぞれのイントラ方向パラメーターを示す。３３個より多い方向性イントラ予測モードが定義されている場合、表２をより細分化して方向性イントラ予測モードのそれぞれのイントラ方向パラメーターを設定することができる。
現在ブロックの上端参照サンプル及び左側参照サンプルを一列に配列した後、イントラ方向パラメーターの値に基づいて予測サンプルを獲得することができる。ここで、イントラ方向パラメーターの値が負数の場合、左側参照サンプルと上端参照サンプルを一列に配列することができる。
図２４及び図２５は参照サンプルを一列に配列する一次元配列の例示を示す図である。
図２４は参照サンプルを垂直方向に配列する垂直方向一次元配列を例示するものであり、図２５は参照サンプルを水平方向に配列する水平方向一次元配列を例示するものである。３５個のイントラ予測モードが定義された場合を仮定して図２４及び図２５の実施例を説明する。
イントラ予測モードインデックスが１１～１８のいずれか一つである場合、上端参照サンプルを反時計方向に回転した水平方向一次元配列を適用し、イントラ予測モードインデックスが１９～２５のいずれか一つである場合、左側参照サンプルを時計方向に回転した垂直方向一次元配列を適用することができる。参照サンプルを一列に配列するに際して、イントラ予測モード角度を考慮することができる。
イントラ方向パラメーターに基づいて参照サンプル決定パラメーターを決定することができる。参照サンプル決定パラメーターは参照サンプルを特定するための参照サンプルインデックス及び参照サンプルに適用される加重値を決定するための加重値パラメーターを含むことができる。
参照サンプルインデックスｉＩｄｘ及び加重値パラメーターｉｆａｃｔはそれぞれ次の式４及び５によって獲得することができる。
［数４］
ｉＩｄｘ＝（ｙ＋１）＊Ｐａｎｇ／３２
［数５］
ｉｆａｃｔ＝［（ｙ＋１）＊Ｐａｎｇ］＆３１
式４及び５で、Ｐａｎｇはイントラ方向パラメーターを示す。参照サンプルインデックスｉＩｄｘによって特定される参照サンプルは整数ペル（Ｉｎｔｅｇｅｒ ｐｅｌ）に相当する。
予測サンプルを誘導するために、少なくとも一つ以上の参照サンプルを特定することができる。具体的には、予測モードの勾配を考慮して、予測サンプルを誘導するのに用いられる参照サンプルの位置を特定することができる。一例として、参照サンプルインデックスｉＩｄｘを用いて、予測サンプルを誘導するのに用いられる参照サンプルを特定することができる。
ここで、イントラ予測モードの勾配が一つの参照サンプルでは表現されない場合、複数の参照サンプルを補間して予測サンプルを生成することができる。一例として、イントラ予測モードの勾配が予測サンプルと第１参照サンプルとの間の勾配と予測サンプルと第２参照サンプルとの間の勾配との間の値である場合、第１参照サンプル及び第２参照サンプルを補間して予測サンプルを獲得することができる。すなわち、イントラ予測角度によるアンギュラライン（Ａｎｇｕｌａｒ Ｌｉｎｅ）が整数ペルに位置する参照サンプルを通らない場合、前記アンギュララインが通る位置の左右又は上下に隣接して位置する参照サンプルを補間して予測サンプルを獲得することができる。
下記の式６は参照サンプルに基づいて予測サンプルを獲得する例を示すものである。
［数６］
Ｐ（ｘ，ｙ）＝（（３２－ｉｆａｃｔ）／３２）＊Ｒｅｆ＿１Ｄ（ｘ＋ｉＩｄｘ＋１）＋（ｉｆａｃｔ／３２）＊Ｒｅｆ＿１Ｄ（ｘ＋ｉＩｄｘ＋２）
式６で、Ｐは予測サンプルを示し、Ｒｅｆ＿１Ｄは一次元配列された参照サンプルのいずれか一つを示す。ここで、参照サンプルの位置は予測サンプルの位置（ｘ、ｙ）及び参照サンプルインデックスｉＩｄｘによって決定することができる。
イントラ予測モードの勾配が一つの参照サンプルで表現することができる場合、加重値パラメーターｉｆａｃｔは０に設定する。これにより、式６は次の式７のように簡素化することができる。
［数７］
Ｐ（ｘ，ｙ）＝Ｒｅｆ＿１Ｄ（ｘ＋ｉＩｄｘ＋１）
複数のイントラ予測モードに基づいて現在ブロックに対するイントラ予測を遂行することもできる。一例として、予測サンプル別にイントラ予測モードを誘導し、それぞれの予測サンプルに割り当てられたイントラ予測モードに基づいて予測サンプルを誘導することができる。
もしくは、領域別にイントラ予測モードを誘導し、それぞれの領域に割り当てられたイントラ予測モードに基づいて各領域に対するイントラ予測を遂行することができる。ここで、前記領域は少なくとも一つのサンプルを含むことができる。前記領域のサイズ又は形態の少なくとも一つは現在ブロックのサイズ、形態又はイントラ予測モードの少なくとも一つに基づいて適応的に決定することができる。もしくは、符号化器及び復号化器で現在ブロックのサイズ又は形態とは独立的に領域のサイズ又は形態の少なくとも一つが既に定義されていることができる。
図２６は方向性イントラ予測モードがｘ軸に平行な直線に対して形成する角度を例示する図である。
図２６に示した例のように、方向性予測モードは左下端対角方向と右上端対角方向との間に存在することができる。ｘ軸と方向性予測モードが形成する角度で説明すれば、方向性予測モードは、４５度（左下端対角方向）と－１３５度（右上端対角方向）との間に存在することができる。
現在ブロックが非正方形の場合、現在ブロックのイントラ予測モードによって、イントラ予測角度に沿うアンギュラライン上に位置する参照サンプルの中でより予測サンプルに近い参照サンプルの代わりに、より予測サンプルから遠い参照サンプルを用いて予測サンプルを誘導する場合が発生することができる。
図２７は現在ブロックが非正方形の場合、予測サンプルが獲得される様相を示す図である。
一例として、図２７の（ａ）に示した例のように、現在ブロックが幅が高さより大きい非正方形であり、現在ブロックのイントラ予測モードが０度から４５度との間の角度を有する方向性イントラ予測モードであると仮定する。この場合、現在ブロックの右側列付近の予測サンプルＡを誘導するとき、前記角度に沿うアンギュラーモード上に位置する参照サンプルの中で前記予測サンプルに近い上端参照サンプルＴの代わりに、前記予測サンプルから遠い左側参照サンプルＬを用いる場合が発生することができる。
他の例として、図２７の（ｂ）に示した例のように、現在ブロックが高さが幅より大きい非正方形であり、現在ブロックのイントラ予測モードが－９０度と－１３５度との間の方向性イントラ予測モードであると仮定する。この場合、現在ブロックの下側行付近の予測サンプルＡを誘導するとき、前記角度に沿うアンギュラーモード上に位置する参照サンプルの中で前記予測サンプルに近い左側参照サンプルＬの代わりに、前記予測サンプルから遠い上端参照サンプルＴを用いる場合が発生することができる。
このような問題点を解消するために、現在ブロックが非正方形の場合、現在ブロックのイントラ予測モードを反対方向のイントラ予測モードに置換することができる。これにより、非正方形ブロックに対しては、図２３に示した方向性予測モードより大きいか又は小さい角度を有する方向性予測モードを使うことができる。このような方向性イントラ予測モードをワイドアングルイントラ予測モードに定義することができる。ワイドアングルイントラ予測モードは４５度から－１３５度の範囲に属しない方向性イントラ予測モードを示す。
図２８はワイドアングルイントラ予測モードを示す図である。
図２８に示した例で、インデックスが－１から－１４までのイントラ予測モード及びインデックスが６７から８０までのイントラ予測モードがワイドアングルイントラ予測モードを示す。
図２８では角度が４５度より大きい１４個のワイドアングルイントラ予測モード（－１から－１４）及び角度が－１３５度より小さい１４個のワイドアングルイントラ予測モード（６７から８０）を例示するが、これより多い数又は少ない数のワイドアングルイントラ予測モードを定義することができる。
ワイドアングルイントラ予測モードが使われる場合、上端参照サンプルの長さは２Ｗ＋１に設定し、左側参照サンプルの長さは２Ｈ＋１に設定することができる。
ワイドアングルイントラ予測モードを使うことにより、図２８の（ａ）に示したサンプルＡは参照サンプルＴを用いて予測し、図２８の（ｂ）に示したサンプルＡは参照サンプルＬを用いて予測することができる。
既存イントラ予測モードとＮ個のワイドアングルイントラ予測モードを合わせて総６７＋Ｎ個のイントラ予測モードを使うことができる。一例として、表３は２０個のワイドアングルイントラ予測モードが定義された場合、イントラ予測モードのイントラ方向パラメーターを示すものである。
Figure 2022537767000005
現在ブロックが非正方形であり、Ｓ２５０２段階で獲得された現在ブロックのイントラ予測モードが変換範囲に属する場合、現在ブロックのイントラ予測モードをワイドアングルイントラ予測モードに変換することができる。前記変換範囲は、現在ブロックのサイズ、形態又は比の少なくとも一つに基づいて決定することができる。ここで、前記の比は現在ブロックの幅と高さとの間の比を示すことができる。
現在ブロックが幅が高さより大きい非正方形の場合、変換範囲は右上端対角方向のイントラ予測モードインデックス（例えば、６６）から（右上端対角方向のイントラ予測モードのインデックス－Ｎ）までに設定することができる。ここで、Ｎは現在ブロックの比に基づいて決定することができる。現在ブロックのイントラ予測モードが変換範囲に属する場合、前記イントラ予測モードをワイドアングルイントラ予測モードに変換することができる。前記変換は前記イントラ予測モードから既定義の値を差し引くことであることができ、既定義の値はワイドアングルイントラ予測モードを除いたイントラ予測モードの総数（例えば、６７）であることができる。
前記実施例によって、６６番と５３番との間のイントラ予測モードは、それぞれ－１番と－１４番との間のワイドアングルイントラ予測モードに変換することができる。
現在ブロックが高さが幅より大きい非正方形の場合、変換範囲は左下端対角方向のイントラ予測モードインデックス（例えば、２）から（左下端対角方向のイントラ予測モードのインデックス＋Ｍ）までに設定することができる。ここで、Ｍは現在ブロックの比に基づいて決定することができる。現在ブロックのイントラ予測モードが変換範囲に属する場合、前記イントラ予測モードをワイドアングルイントラ予測モードに変換することができる。前記変換は前記イントラ予測モードに既定義の値を加算することであることができ、既定義の値はワイドアングルイントラ予測モードを除いた方向性イントラ予測モードの総数（例えば、６５）であることができる。
前記実施例によって、２番と１５番との間のイントラ予測モードのそれぞれは６７番と８０番との間のワイドアングルイントラ予測モードに変換することができる。
以下、変換範囲に属するイントラ予測モードをワイドアングルイントラ代替予測モードという。
変換範囲は現在ブロックの比に基づいて決定することができる。一例として、表４及び表５は、それぞれワイドアングルイントラ予測モードを除き、３５個のイントラ予測モードが定義された場合と６７個のイントラ予測モードが定義された場合との変換範囲を示す。
Figure 2022537767000006
Figure 2022537767000007
表４及び表５に示した例のように、現在ブロックの比によって、変換範囲に含まれるワイドアングルイントラ代替予測モードの数が異なることができる。
現在ブロックの比をより細分化して次の表６のように変換範囲を設定することもできる。
Figure 2022537767000008
非隣接参照サンプルラインが現在ブロックの参照サンプルラインに決定された場合、又は複数の参照サンプルラインのいずれか一つを選択するマルチラインイントラ予測符号化方法が使用された場合、ワイドアングルイントラ予測モードが使われないように設定することができる。すなわち、現在ブロックが非正方形であり、現在ブロックのイントラ予測モードが変換範囲に属する場合であっても、現在ブロックのイントラ予測モードをワイドアングルイントラ予測モードに変換しないことができる。
もしくは、現在ブロックのイントラ予測モードがワイドアングルイントラ予測モードに決定された場合、非隣接参照サンプルラインを現在ブロックの参照サンプルラインとして利用できないものに設定するか、又は複数の参照サンプルラインのいずれか一つを選択するマルチラインイントラ予測符号化方法が使われないように設定することができる。マルチラインイントラ予測符号化方法が使われない場合、隣接参照サンプルラインを現在ブロックの参照サンプルラインに決定することができる。
ワイドアングルイントラ予測モードが使われない場合、ｒｅｆＷ及びｒｅｆＨをｎＴｂＷとｎＴｂＨの和に設定することができる。これにより、左上端参照サンプルを除き、現在ブロックとの距離がｉである非隣接レファレンスサンプルは（ｎＴｂＷ＋ｎＴｂＨ＋ｏｆｆｓｅｔＸ［ｉ］）個の上端参照サンプルと（ｎＴｂＷ＋ｎＴｂＨ＋ｏｆｆｓｅｔＹ［ｉ］）個の左側参照サンプルとを含むことができる。すなわち、現在ブロックとの距離がｉである非隣接レファレンスサンプルは（２ｎＴｂＷ＋２ｎＴｂＨ＋ｏｆｆｓｅｔＸ［ｉ］＋ｏｆｆｓｅｔＹ［ｉ］＋１）個の参照サンプルを含むことができる。例えば、ｗｈＲａｔｉｏの値が１より大きい場合には、ｏｆｆｓｅｔＸの値をｏｆｆｓｅｔＹの値より大きく設定することができる。一例として、ｏｆｆｓｅｔＸの値は１に設定し、ｏｆｆｓｅｔＹの値は０に設定することができる。一方、ｗｈＲａｔｉｏの値が１より小さい場合には、ｏｆｆｓｅｔＸの値よりｏｆｆｓｅｔＹの値を大きく設定することができる。一例として、ｏｆｆｓｅｔＸの値は０に設定し、ｏｆｆｓｅｔＹの値は１に設定することができる。
既存のイントラ予測モードに加えてワイドアングルイントラ予測モードを使うことにより、ワイドアングルイントラ予測モードを符号化するのに必要なリソースが増加して符号化効率が低くなることがある。よって、ワイドアングルイントラ予測モードをそのまま符号化する代わり、ワイドアングルイントラ予測モードに対する代替イントラ予測モードを符号化して符号化効率を向上させることができる。
一例として、現在ブロックが６７番のワイドアングルイントラ予測モードを用いて符号化された場合、６７番のワイドアングル代替イントラ予測モードである２番を現在ブロックのイントラ予測モードに符号化することができる。また、現在ブロックが－１番のワイドアングルイントラ予測モードに符号化された場合、－１番のワイドアングル代替イントラ予測モードである６６番を現在ブロックのイントラ予測モードに符号化することができる。
復号化器は、現在ブロックのイントラ予測モードを復号化し、復号化されたイントラ予測モードが変換範囲に含まれるかを判断することができる。復号化されたイントラ予測モードがワイドアングル代替イントラ予測モードの場合、イントラ予測モードをワイドアングルイントラ予測モードに変換することができる。
もしくは、現在ブロックがワイドアングルイントラ予測モードに符号化された場合、ワイドアングルイントラ予測モードをそのまま符号化することもできる。
イントラ予測モードの符号化は上述したＭＰＭリストに基づいて遂行することができる。具体的には、隣接ブロックがワイドアングルイントラ予測モードに符号化された場合、前記ワイドアングルイントラ予測モードに対応するワイドアングル代替イントラ予測モードに基づいてＭＰＭを設定することができる。
原本映像から予測映像を差し引いて残差映像を誘導することができる。ここで、残差映像を周波数ドメインに変更したとき、周波数成分から高周波成分を除去しても、映像の主観的画質は大きく落ちない。よって、高周波成分の値を小さく変換するか、又は高周波成分の値を０に設定すれば、視覚的歪みが大きく発生しないながらも圧縮効率を向上させることができる効果がある。この特性を反映して、残差映像を２次元周波数成分に分解するために現在ブロックを変換することができる。前記変換は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又はＤＳＴ（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｆｏｒｍ）などの変換技法を用いて遂行することができる。
ＤＣＴはコサイン変換を用いて残差映像を２次元周波数成分に分解（又は変換）するものであり、ＤＳＴはサイン変換を用いて残差映像を２次元周波数成分に分解（又は変換）するものである。残差映像変換の結果、周波数成分は基底映像で表現することができる。一例として、Ｎ×Ｎサイズのブロックに対してＤＣＴ変換を遂行する場合、Ｎ２個の基本パターン成分を獲得することができる。変換によってＮ×Ｎサイズのブロックに含まれる基本パターン成分のそれぞれのサイズを獲得することができる。使用する変換技法によって、基本パターン成分のサイズをＤＣＴ係数又はＤＳＴ係数と言える。
変換技法ＤＣＴは０ではない低周波成分が多く分布する映像を変換するのに主に用いられる。変換技法ＤＳＴは高周波成分が多く分布する映像に主に用いられる。
ＤＣＴ又はＤＳＴ以外の変換技法を使って残差映像を変換することもできる。
以下、残差映像を２次元周波数成分に変換することを２次元映像変換と言う。また、変換結果として獲得された基本パターン成分のサイズを変換係数と言う。一例として、変換係数はＤＣＴ係数又はＤＳＴ係数を意味することができる。後述する第１変換及び第２変換が共に適用された場合、変換係数は第２変換の結果として生成された基本パターン成分のサイズを意味することができる。また、変換スキップが適用された残差サンプルも変換係数と言う。
変換技法はブロック単位で決定することができる。変換技法は、現在ブロックの予測符号化モード、現在ブロックのサイズ又は現在ブロックの形態の少なくとも一つに基づいて決定することができる。一例として、現在ブロックがイントラ予測モードに符号化され、現在ブロックのサイズがＮ×Ｎより小さい場合には、変換技法ＤＳＴを用いて変換を遂行することができる。一方、前記条件を満たさない場合、変換技法ＤＣＴを用いて変換を遂行することができる。
残差映像の一部ブロックに対しては２次元映像変換を遂行しないこともできる。２次元映像変換を遂行しないことを変換スキップ（Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）と言える。変換スキップは、現在ブロックに第１変換及び第２変換を適用しないことを示す。変換スキップが適用された場合、変換が遂行されない残差値を対象として量子化を適用することができる。
現在ブロックに変換スキップを許すかは、現在ブロックのサイズ又は形態の少なくとも一つに基づいて決定することができる。一例として、現在ブロックのサイズが閾値より小さい場合に限り、変換スキップを適用することができる。閾値は、現在ブロックの幅、高さ又はサンプル個数の少なくとも一つに係るものであり、３２×３２などに定義することができる。もしくは、正方形ブロックのみに対して変換スキップを許すことができる。一例として、３２×３２、１６×１６、８×８又は４×４サイズの正方形ブロックに対して変換スキップを許すことができる。もしくは、サブパーティションイントラ符号化方法が使われない場合にだけ変換スキップを許すことができる。
もしくは、現在ブロックにサブパーティションイントラ符号化方法が適用された場合、サブパーティション別に変換スキップを適用するかを決定することができる。
図２９はサブブロック別に変換スキップを適用するかを決定する例を示す図である。
複数のサブブロックの一部のみに対して変換スキップを適用することができる。一例として、図２９に示した例のように、現在ブロックの上端に位置するサブブロックには変換スキップを適用し、下端に位置するサブブロックには変換スキップを許さないように設定することができる。
変換スキップを許さないサブブロックの変換タイプはビットストリームによってシグナリングされる情報に基づいて決定することができる。一例として、後述するｔｕ＿ｍｔｓ＿ｉｄｘに基づいて変換タイプを決定することができる。
もしくは、サブブロックのサイズに基づいてサブブロックの変換タイプを決定することができる。一例として、サブブロックの幅が閾値以上であるか及び／又は閾値以下であるかに基づいて水平方向変換タイプを決定し、サブブロックの高さが閾値以上であるか及び／又は閾値以下であるかに基づいて垂直方向変換タイプを決定することができる。
ＤＣＴ又はＤＳＴを用いて現在ブロックを変換した後、変換された現在ブロックをさらに変換することができる。ここで、ＤＣＴ又はＤＳＴに基づく変換を第１変換に定義し、第１変換が適用されたブロックをさらに変換することを第２変換に定義することができる。
第１変換は複数の変換コア候補のいずれか一つを用いて遂行することができる。一例として、ＤＣＴ２、ＤＣＴ８又はＤＳＴ７のいずれか一つを用いて第１変換を遂行することができる。
水平方向及び垂直方向に対して相異なる変換コアを使うこともできる。水平方向の変換コア及び垂直方向の変換コアの組合せを示す情報をビットストリームによってシグナリングすることもできる。
第１変換及び第２変換の遂行単位が異なることができる。一例として、８×８ブロックに対して第１変換を遂行し、変換された８×８ブロックの中で４×４サイズのサブブロックに対して第２変換を遂行することができる。もしくは、４×４サイズの３個のサブブロックに属する変換係数に対して第２変換を遂行することができる。前記３個のサブブロックは、現在ブロックの左上端に位置するサブブロック、前記サブブロックの右側に隣り合うサブブロック及び前記サブブロックの下端に隣り合うサブブロックを含むことができる。もしくは、８×８サイズのブロックに対して第２変換を遂行することもできる。
第２変換が遂行されない残余領域の変換係数は０に設定することもできる。
もしくは、４×４ブロックに対して第１変換を遂行し、変換された４×４ブロックを含む８×８サイズの領域に対して第２変換を遂行することもできる。
第２変換の遂行可否を示す情報をビットストリームによってシグナリングすることができる。一例として、第２変換の遂行可否を示すフラグ、又は第２変換の遂行可否及び第２変換に用いられる変換カーネルを特定するインデックス情報をシグナリングすることができる。一例として、前記インデックス情報が０のものは、現在ブロックに第２変換が遂行されないものを示す。一方、前記インデックス情報が０より大きい場合、前記インデックス情報によって、第２変換を遂行するための変換カーネルを決定することができる。
もしくは、水平方向変換コアと垂直方向変換コアとが同一であるかに基づいて第２変換の遂行可否を決定することができる。一例として、水平方向変換コアと垂直方向変換コアとが同一である場合にだけ第２変換を遂行することができる。もしくは、水平方向変換コアと垂直方向変換コアとが異なる場合にだけ第２変換を遂行することができる。
もしくは、水平方向の変換及び垂直方向の変換が既定義の変換コアを用いる場合に限り、第２変換を許すことができる。一例として、水平方向の変換及び垂直方向の変換にＤＣＴ２変換コアが使用された場合、第２変換を許すことができる。もしくは、現在ブロックにサブパーティションイントラ符号化方法が適用された場合には、水平方向の変換及び垂直方向の変換にＤＣＴ２変換コアが使用された場合に限り、第２変換を許すことができる。
もしくは、現在ブロックの非ゼロ変換係数の個数に基づいて第２変換の遂行可否を決定することができる。一例として、現在ブロックの非ゼロ変換係数が閾値より小さいか同じ場合、第２変換を使わないように設定し、現在ブロックの非ゼロ変換係数が閾値より大きい場合、第２変換を使うように設定することができる。現在ブロックがイントラ予測で符号化された場合に限り、第２変換を使うように設定することもできる。
もしくは、現在ブロックの最後の非ゼロ変換係数の位置に基づいて第２変換の遂行可否を決定することができる。一例として、現在ブロックの最後の非ゼロ変換係数のｘ軸座標又はｙ軸座標の少なくとも一つが閾値より大きい場合、又は現在ブロックの最後の非ゼロ変換係数が属するサブブロックのｘ軸座標又はｙ軸座標の少なくとも一つが閾値より大きい場合、第２変換を遂行しないことができる。ここで、閾値は符号化器及び復号化器で既に定義されていることができる。もしくは、現在ブロックのサイズ又は形態に基づいて閾値を決定することができる。
もしくは、現在ブロックにＤＣ成分の変換係数のみが存在する場合、第２変換を遂行しないように設定することができる。ここで、ＤＣ成分は現在ブロック内の左上端位置の変換係数を示す。
もしくは、現在ブロックにマトリックスに基づくイントラ予測が適用された場合、第２変換を遂行しないように設定することができる。
現在ブロックの変換タイプを示す情報をビットストリームによってシグナリングすることができる。前記情報は水平方向に対する変換タイプ及び垂直方向に対する変換タイプの組合せの一つを示すインデックス情報ｔｕ＿ｍｔｓ＿ｉｄｘであることができる。
インデックス情報ｔｕ＿ｍｔｓ＿ｉｄｘによって特定される変換タイプ候補に基づいて、垂直方向に対する変換コア及び水平方向に対する変換コアを決定することができる。表７はｔｕ＿ｍｔｓ＿ｉｄｘによる変換タイプの組合せを示すものである。
Figure 2022537767000009
変換タイプはＤＣＴ２、ＤＳＴ７又はＤＣＴ８のいずれか一つに決定することができる。もしくは、変換スキップを変換タイプ候補に挿入することもできる。
表７が用いられる場合、ｔｕ＿ｍｔｓ＿ｉｄｘが０であれば、水平方向と垂直方向にＤＣＴ２を適用することができる。ｔｕ＿ｍｔｓ＿ｉｄｘが２であれば、水平方向にＤＣＴ８を適用し、垂直方向にＤＣＴ７を適用することができる。
サブパーティションイントラ符号化方法が適用された場合、サブブロックの変換コアを独立的に決定することができる。一例として、サブブロックごとに変換タイプ組合せ候補を特定するための情報を符号化してシグナリングすることができる。よって、サブブロックの変換コアが互いに異なることができる。
もしくは、サブブロックが同じ変換タイプを使うこともできる。この場合、変換タイプ組合せ候補を特定するｔｕ＿ｍｔｓ＿ｉｄｘは一番目サブブロックのみに対してシグナリングすることができる。もしくは、コーディングブロックレベルでｔｕ＿ｍｔｓ＿ｉｄｘをシグナリングし、サブブロックの変換タイプはコーディングブロックレベルでシグナリングされるｔｕ＿ｍｔｓ＿ｉｄｘを参照して決定することができる。もしくは、サブブロックの一つのサイズ、形態又はイントラ予測モードの少なくとも一つに基づいて、変換タイプを決定し、決定された変換タイプがすべてのサブブロックのために使われるように設定することもできる。
図３０はサブブロックが同じ変換タイプを使う例を示す図である。
コーディングブロックが水平方向に分割された場合、コーディングブロックの上端に位置するサブブロック（Ｓｕｂ－ＣＵ０）及び下端に位置するサブブロック（Ｓｕｂ－ＣＵ１）の変換タイプを同一に設定することができる。一例として、図３０の（ａ）に示した例のように、上端サブブロックに対してシグナリングされるｔｕ＿ｍｔｓ＿ｉｄｘに基づいて水平方向タイプ及び垂直変換タイプが決定されれば、決定された変換タイプを下端サブブロックにも適用することができる。
コーディングブロックが垂直方向に分割された場合、コーディングブロックの左側に位置するサブブロック（Ｓｕｂ－ＣＵ０）及び右側に位置するサブブロック（Ｓｕｂ－ＣＵ１）の変換タイプを同一に設定することができる。一例として、図３０の（ｂ）に示した例のように、左側サブブロックに対してシグナリングされるｔｕ＿ｍｔｓ＿ｉｄｘに基づいて水平方向タイプ及び垂直変換タイプが決定されれば、決定された変換タイプを右側サブブロックにも適用することができる。
現在ブロックのサイズ、形態、非ゼロ係数の個数、２次変換の遂行可否又はサブパーティションイントラ符号化方法の適用可否の少なくとも一つに基づいてインデックス情報の符号化可否を決定することができる。一例として、現在ブロックにサブパーティションイントラ符号化方法が適用された場合、又は非ゼロ係数の個数が閾値と同じかそれより小さい場合、インデックス情報のシグナリングを省略することができる。インデックス情報のシグナリングが省略された場合、現在ブロックにはデフォルト変換タイプを適用することができる。
デフォルト変換タイプはＤＣＴ２又はＤＳＴ７の少なくとも一つを含むことができる。デフォルト変換タイプが複数の場合、現在ブロックのサイズ、形態、イントラ予測モード、２次変換の遂行可否又はサブパーティションイントラ符号化方法の適用可否の少なくとも一つを考慮して、複数のデフォルト変換タイプの一つを選択することができる。一例として、現在ブロックの幅が既設定の範囲に属するかに基づいて、複数の変換タイプの一つを水平方向変換タイプに決定し、現在ブロックの高さが既設定の範囲に属するかに基づいて、複数の変換タイプの一つを垂直方向変換タイプに決定することができる。もしくは、現在ブロックのサイズ、形態、イントラ予測モード又は２次変換が遂行されたかによってデフォルトモードを異なるように決定することができる。
もしくは、現在ブロックにＤＣ成分の変換係数のみが存在する場合、水平方向変換タイプ及び垂直方向変換タイプをデフォルト変換タイプに設定することができる。一例として、現在ブロックにＤＣ成分の変換係数のみが存在する場合、水平方向変換タイプ及び垂直方向変換タイプはＤＣＴ２に設定することができる。
閾値は現在ブロックのサイズ又は形態に基づいて決定することができる。一例として、現在ブロックのサイズが３２×３２より小さいか同じ場合には閾値を２に設定し、現在ブロックが３２×３２より大きい場合には（例えば、現在ブロックが３２×６４又は６４×３２サイズのコーディングブロックの場合）、閾値を４に設定することができる。
複数のルックアップテーブルが符号化器／復号化器に既に保存されていることができる。複数のルックアップテーブルは、変換タイプ組合せ候補に割り当てられるインデックス値、変換タイプ組合せ候補の種類又は変換タイプ組合せ候補の数の少なくとも一つが異なることができる。
現在ブロックのサイズ、形態、予測符号化モード、イントラ予測モード、２次変換の適用可否又は隣接ブロックに変換スキップが適用されたかの少なくとも一つに基づいて、現在ブロックに対するルックアップテーブルを選択することができる。
一例として、現在ブロックのサイズが４×４以下の場合又は現在ブロックがインター予測で符号化された場合には、第１ルックアップテーブルを用い、現在ブロックのサイズが４×４より大きい場合又は現在ブロックがイントラ予測で符号化された場合には第２ルックアップテーブルを用いることができる。
もしくは、複数のルックアップテーブルのいずれか一つを示す情報をビットストリームによってシグナリングすることができる。復号化器は、前記情報に基づいて現在ブロックに対するルックアップテーブルを選択することができる。
他の例として、現在ブロックのサイズ、形態、予測符号化モード、イントラ予測モード、２次変換の適用可否又は隣接ブロックに変換スキップが適用されたかの少なくとも一つに基づいて、変換タイプ組合せ候補に割り当てられるインデックスを適応的に決定することができる。一例として、現在ブロックのサイズが４×４の場合に変換スキップに割り当てられるインデックスが現在ブロックのサイズが４×４より大きい場合に変換スキップに割り当てられるインデックスより小さい値を有することができる。具体的には、現在ブロックのサイズが４×４の場合、変換スキップにインデックス０を割り当て、現在ブロックが４×４より大きく１６×１６以下の場合、変換スキップに０より大きいインデックス（例えば、インデックス１）を割り当てることができる。現在ブロックが１６×１６より大きい場合、変換スキップのインデックスに最大値（例えば、５）を割り当てることができる。
もしくは、現在ブロックがインター予測で符号化された場合、変換スキップにインデックス０を割り当てることができる。現在ブロックがイントラ予測で符号化された場合、変換スキップに０より大きいインデックス（例えば、インデックス１）を割り当てることができる。
もしくは、現在ブロックがインター予測で符号化された４×４サイズのブロックの場合、変換スキップにインデックス０を割り当てることができる。一方、現在ブロックがインター予測で符号化しなかったか、又は現在ブロックが４×４より大きい場合、変換スキップに０より大きい値のインデックス（例えば、インデックス１）を割り当てることができる。
表７に列挙した変換タイプ組合せ候補と異なる変換タイプ組合せ候補を定義して使うこともできる。一例として、水平方向変換又は垂直方向変換のいずれか一方に変換スキップを適用し、他方にはＤＣＴ２、ＤＣＴ８又はＤＳＴ７などの変換コアが適用される変換タイプ組合せ候補を用いることができる。ここで、現在ブロックのサイズ（例えば、幅及び／又は高さ）、形態、予測符号化モード又はイントラ予測モードの少なくとも一つに基づいて水平方向又は垂直方向に対する変換タイプ候補として変換スキップを使うかを決定することができる。
現在ブロックの変換タイプを決定するためのインデックス情報が明示的にシグナリングされるかを示す情報をビットストリームによってシグナリングすることができる。一例として、シーケンスレベルで、イントラ予測で符号化されたブロックに対して明示的な変換タイプの決定が許されるかを示す情報ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｉｎｔｒａ＿ｍｔｓ＿ｆｌａｇ及び／又はインター予測で符号化されたブロックに対して明示的な変換タイプの決定が許されるかを示す情報ｓｐｓ＿ｅｘｐｌｉｃｉｔ＿ｉｎｔｅｒ＿ｍｔｓ＿ｆｌａｇをシグナリングすることができる。
明示的な変換タイプの決定が許される場合、ビットストリームによってシグナリングされるインデックス情報ｔｕ＿ｍｔｓ＿ｉｄｘに基づいて現在ブロックの変換タイプを決定することができる。一方、明示的な変換タイプの決定が許されない場合、現在ブロックのサイズ、形態、サブブロック単位の変換が許されるか、０ではない変換係数を含むサブブロックの位置、第２変換が遂行されるか又はサブパーティションイントラ符号化方法の適用可否の少なくとも一つに基づいて変換タイプを決定することができる。一例として、現在ブロックの水平方向変換タイプは現在ブロックの幅に基づいて決定し、現在ブロックの垂直方向変換タイプは現在ブロックの高さに基づいて決定することができる。例えば、現在ブロックの幅が４より小さいか１６より大きい場合、水平方向の変換タイプはＤＣＴ２に決定することができる。そうではない場合、水平方向の変換タイプはＤＳＴ７に決定することができる。現在ブロックの高さが４より小さいか１６より大きい場合、垂直方向の変換タイプはＤＣＴ２に決定することができる。そうではない場合、垂直方向の変換タイプはＤＳＴ７に決定することができる。ここで、水平方向の変換タイプ及び垂直方向の変換タイプを決定するために、幅及び高さと比較される閾値は現在ブロックのサイズ、形態又はイントラ予測モードの少なくとも一つに基づいて決定することができる。
もしくは、現在ブロックが高さ及び幅が同一である正方形の場合、水平方向変換タイプ及び垂直方向変換タイプを同じに設定する反面、現在ブロックが高さと幅とが異なる非正方形の場合、水平方向変換タイプ及び垂直方向変換タイプを異なるように設定することができる。一例として、現在ブロックの幅が高さより大きい場合には、水平方向の変換タイプをＤＳＴ７に決定し、垂直方向の変換タイプをＤＣＴ２に決定することができる。現在ブロックの高さが幅より大きい場合には、垂直方向の変換タイプをＤＳＴ７に決定し、水平方向の変換タイプをＤＣＴ２に決定することができる。
変換タイプ候補の数及び／又は種類又は変換タイプ組合せ候補の数及び／又は種類は明示的な変換タイプの決定が許されるかによって異なることができる。一例として、明示的な変換タイプの決定が許される場合、ＤＣＴ２、ＤＳＴ７及びＤＣＴ８を変換タイプ候補として用いることができる。これにより、水平方向変換タイプ及び垂直方向変換タイプのそれぞれをＤＣＴ２、ＤＳＴ８又はＤＣＴ８に設定することができる。明示的な変換タイプの決定が許されない場合、ＤＣＴ２及びＤＳＴ７のみを変換タイプ候補として用いることができる。よって、水平方向変換タイプ及び垂直方向変換タイプのそれぞれはＤＣＴ２又はＤＳＴ７に決定することができる。
復号化器は、第２変換の逆変換（第２逆変換）を遂行し、その遂行結果に第１変換の逆変換（第１逆変換）を遂行することができる。前記第２逆変換及び第１逆変換遂行の結果、現在ブロックに対する残差信号を獲得することができる。
符号化器で変換及び量子化を遂行すれば、復号化器は逆量子化及び逆変換によって残差ブロックを獲得することができる。復号化器は、予測ブロックと残差ブロックとを合わせて現在ブロックに対する復元ブロックを獲得することができる。
現在ブロックの復元ブロックが獲得されれば、インループフィルタリング（Ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）によって量子化及び符号化過程で発生する情報の損失を減らすことができる。インループフィルターは、デブロッキングフィルター（Ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応的オフセットフィルター（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ ｆｉｌｔｅｒ、ＳＡＯ）又は適応的ループフィルター（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ、ＡＬＦ）の少なくとも一つを含むことができる。以下、インループフィルターが適用される前の復元ブロックを第１復元ブロックといい、インループフィルターが適用された後の復元ブロックを第２復元ブロックと言う。
第１復元ブロックにデブロッキングフィルター、ＳＡＯ又はＡＬＦの少なくとも一つを適用して第２復元ブロックを獲得することができる。ここで、ＳＡＯ又はＡＬＦはデブロッキングフィルターが適用された後に適用することができる。
デブロッキングフィルターはブロック単位で量子化を遂行することによって発生するブロックの境界での画質劣化（Ｂｌｏｃｋｉｎｇ Ａｒｔｉｆａｃｔ）を緩和させるためのものである。デブロッキングフィルターを適用するために、第１復元ブロックと隣接復元ブロックとの間のブロック強度（Ｂｌｏｃｋｉｎｇ Ｓｔｒｅｎｇｔｈ、ＢＳ）を決定することができる。
図３１はブロック強度を決定する過程を示すフローチャートである。
図３１に示した例で、Ｐは第１復元ブロックを示し、Ｑは隣接復元ブロックを示す。ここで、隣接復元ブロックは現在ブロックの左側又は上端に隣り合うものであることができる。
図３１に示した例では、Ｐ及びＱの予測符号化モード、０ではない変換係数が含まれているか、同じ参照ピクチャを用いてインター予測されたか又は動きベクターの差分値が閾値以上であるかを考慮してブロック強度を決定するものを示した。
ブロック強度に基づいて、デブロッキングフィルターの適用可否を決定することができる。一例として、ブロック強度が０の場合にはフィルタリングを遂行しないことができる。
ＳＡＯは周波数領域で量子化を遂行することによって発生するリンギング現象（Ｒｉｎｇｉｎｇ Ａｒｔｉｆａｃｔ）を緩和させるためのものである。ＳＡＯは第１復元映像のパターンを考慮して決定されるオフセットを加算又は減算することで遂行することができる。オフセットの決定方法は、エッジオフセット（Ｅｄｇｅ Ｏｆｆｓｅｔ、ＥＯ）又はバンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ）を含む。ＥＯは周辺画素のパターンによって現在サンプルのオフセットを決定する方法を示す。ＢＯは領域内の類似した明るさ値を有する画素の集合に対して共通のオフセットを適用する方法を示す。具体的には、画素の明るさを３２個の均等な区間に分けて、類似した明るさ値を有する画素を一つの集合に設定することができる。一例として、３２個のバンドの中で隣接した４個のバンドを一グループに設定し、４個バンドに属するサンプルには同じオフセット値を適用することができる。
ＡＬＦは第１復元映像又はデブロッキングフィルターが適用された復元映像に既定義のサイズ／形状のフィルターを適用して第２復元映像を生成する方法である。下記の式８はＡＬＦの適用例を示す。
Figure 2022537767000010
ピクチャ、コーディングツリーユニット、コーディングブロック、予測ブロック又は変換ブロック単位で既定義のフィルター候補のいずれか一つを選択することができる。それぞれのフィルター候補はサイズ又は形状のいずれか一つが異なることができる。
図３２は既定義のフィルター候補を示す。
図３２に示した例のように、５×５、７×７又は９×９サイズのダイヤモンド形の少なくとも一つを選択することができる。
クロマ成分に対しては５×５サイズのダイヤモンド形のみを使うことができる。
パノラミックビデオ、３６０度ビデオ又は４Ｋ／８Ｋ ＵＨＤ（Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）映像などの高解像度映像の実時間又は低遅延符号化のために一つのピクチャを複数の領域に分け、複数領域を並列に符号化／復号化する方案を考慮することができる。具体的には、処理目的によって、ピクチャをタイル又はスライス（又はタイルグループ）に分割することができる。
タイルは並列符号化／復号化の基本単位を示す。各タイルは並列処理されることができる。タイルは長方形を有することができる。もしくは、非長方形のタイルを許すこともできる。
非長方形のタイルの許容可否又は非長方形のタイルが存在するかを示す情報をビットストリームによってシグナリングすることができる。
タイルの符号化／復号化の際、他のタイルのデータは用いないように設定することができる。タイル間の符号化／復号化従属性を除去してタイルの並列処理を支援することができる。具体的には、タイル単位でＣＡＢＡＣ（Ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）コンテキストの確率テーブルを初期化することができ、タイルの境界ではインループフィルターが適用されないように設定することができる。また、他のタイルにあるデータを動きベクター誘導のための候補として使わないことができる。例えば、他のタイルにあるデータは、マージ候補、動きベクター予測候補（ＡＭＶＰ候補）又はモーション情報候補に用いられないように設定することができる。また、他のタイルにあるデータをシンボルのコンテキスト計算に用いないように設定することができる。
スライスヘッダーを介して映像符号化／復号化情報をシグナリングすることができる。スライスヘッダーを介してシグナリングされる情報はスライスに含まれるコーディングツリーユニット又はタイルに共通して適用することができる。スライスをタイルグループと言うこともできる。
図３３は本発明の一実施例によるピクチャ分割方法を示す図である。
まず、現在ピクチャを複数の処理単位に分割するかを決定することができる（Ｓ３３１０）。ここで、処理単位はタイル又はスライスの少なくとも一つを含むことができる。一例として、現在ピクチャが複数のタイル又はスライスに分割されるかを示すシンタックスｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇをビットストリームによってシグナリングすることができる。シンタックスｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｉｏｎ＿ｆｌａｇの値が０のものは、現在ピクチャが少なくとも一つのタイル又は少なくとも一つのスライスに分割されるものを示す。一方、シンタックスｎｏ＿ｐｉｃ＿ｐａｒｔｉｔｏｎ＿ｆｌａｇの値が１のものは、現在ピクチャが複数のタイル又は複数のスライスに分割されないものを示す。
現在ピクチャが複数の処理単位に分割されないものに決定される場合、現在ピクチャの分割過程を終了することができる。この場合、現在ピクチャは一つのタイル及び一つのスライス（又はタイルグループ）からなるものに理解することができる。
もしくは、ピクチャに複数のタイルが存在するかを示す情報をビットストリームによってシグナリングすることもできる。前記情報は、ピクチャに複数のタイルが存在するかを示す１ビットのフラグ又はピクチャ内のタイルの数を特定する情報の少なくとも一つを含むことができる。
現在ピクチャが複数の処理単位に分割されるものに決定される場合、ビットストリームによってタイル分割情報をシグナリングすることができる。前記シグナリングされたタイル分割情報に基づいてピクチャを少なくとも一つのタイルに分割することができる（Ｓ３３２０）。
現在ピクチャが複数のタイルに分割された場合、複数のタイルを併合するか、又は一つのタイルを分割することにより、スライスを決定することができる（Ｓ３３３０）。
以下、本発明によるタイル分割方法及びスライス決定方法について詳細に説明する。
図３４はピクチャが複数のタイルに分割された例を示す。
タイルは少なくとも一つのコーディングツリーユニットを含むことができる。タイルの境界はコーディングツリーユニットの境界と一致するように設定することができる。すなわち、一つのコーディングツリーユニットが複数に分割される分割形態は許さないことができる。
ピクチャを複数のタイルに分割するとき、隣接したタイルの高さ又は隣接したタイルの幅が同じ値を有するように設定することができる。
一例として、図３４に示した例のように、同じタイル行に属するタイルの高さ及び／又は同じタイル列に属するタイルの幅は同じに設定することができる。同じタイル行に属するタイルを水平方向タイルセットといい、同じタイル列に属するタイルを垂直方向タイルセットと言うこともできる。
もしくは、符号化／復号化しようとするタイルの幅及び／又は高さが以前タイルの幅及び／又は高さと同じに設定されるかを示す情報をシグナリングすることもできる。
ピクチャの分割形態を示す情報をビットストリームによってシグナリングすることができる。前記情報は、ピクチャパラメーターセット、シーケンスパラメーターセット又はスライスヘッダーを介して符号化してシグナリングすることができる。
ピクチャの分割形態を示す情報は、タイルが均等なサイズに分割されるかを示す情報、タイル列の個数を示す情報又はタイル行の個数を示す情報の少なくとも一つを含むことができる。ここで、タイル列の個数は垂直方向タイルセットの数を示し、タイル行の個数は水平方向タイルセットの数を示す。
タイルが均等なサイズに分割されるかを示す情報は１ビットのフラグｕｎｉｆｏｒｍ＿ｓｐａｃｉｎｇ＿ｆｌａｇであることができる。ピクチャが均等なサイズのタイルに分割されるものに決定された場合、ピクチャの右側及び／又は下端境界に隣り合うタイル（等）を除いた残余タイルは同じサイズを有することができる。
タイルが均等なサイズに分割されるものに決定される場合、タイルの幅を示すシンタックスｔｉｌｅ＿ｃｏｌｓ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１及びタイルの高さを示すシンタックスｔｉｌｅ＿ｒｏｗｓ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１をシグナリングすることができる。
シンタックスｔｉｌｅ＿ｃｏｌｓ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１は均等なサイズのタイルが含むコーディングツリーユニット列の個数から１を差し引いた値を示す。シンタックスｔｉｌｅ＿ｒｏｗｓ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１は均等なサイズのタイルが含むコーディングツリーユニット行の個数から１を差し引いた値を示す。
最後のタイル列は、シンタックスｔｉｌｅ＿ｃｏｌｓ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１によって特定される幅値又はこれより小さい値を有することができる。また、最後のタイル行はシンタックスｔｉｌｅ＿ｒｏｗｓ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１によって特定される高さ値又はこれより小さい値を有することができる。一例として、最後のタイル列のインデックスがｍであるとするとき、現在ピクチャの幅から０からｍ－１番目タイル列の幅の和を差し引いた値を最後のタイル列の幅に設定することができる。一例として、最後のタイル行のインデックスがｎであるとするとき、現在ピクチャの高さから０からｎ－１番目タイル行の高さの和を差し引いた値を最後のタイル行の高さに設定することができる。すなわち、現在ピクチャの右側境界に位置するタイルの幅及び／又は現在ピクチャの下端境界に位置するタイルの高さはそれぞれ他のタイルの幅及び／又は高さより小さいか同一であることができる。
ピクチャを横切る垂直線又は水平線の少なくとも一つを用いてピクチャを分割することにより、タイルのそれぞれは相異なる列（Ｃｏｌｕｍｎ）及び／又は行（Ｒｏｗ）に属する。ピクチャの分割形態を決定するために、タイル列の個数及び／又はタイル行の個数を示す情報をシグナリングすることができる。一例として、ピクチャを分割することによって生成されるタイル行の個数を示す情報ｎｕｍ＿ｔｉｌｅ＿ｒｏｗ＿ｍｉｎｕｓ１及びタイル列の個数を示す情報ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎ＿ｍｉｎｕｓ１をビットストリームによってシグナリングすることができる。シンタックスｎｕｍ＿ｔｉｌｅ＿ｒｏｗ＿ｍｉｎｕｓ１はタイル行の個数から１を差し引いた値を示し、シンタックスｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎ＿ｍｉｎｕｓ１はタイル列の個数から１を差し引いた値を示す。
図３４に示した例で、タイル列の個数は４個であり、タイル行の個数は３個である。これにより、ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１は３を示し、ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１は２を示すことができる。
タイル列の個数を示すシンタックスｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎ＿ｍｉｎｕｓ１及び／又はタイル行の個数を示すシンタックスｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１は、シンタックスｕｎｉｆｏｒｍ＿ｔｉｌｅ＿ｓｐａｃｉｎｇ＿ｆｌａｇの値が０の場合、シグナリングすることができる。すなわち、現在ピクチャが高さ及び幅の均等なタイルに分割されないものに決定された場合、タイル列の個数を示すシンタックスｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎ＿ｍｉｎｕｓ１及び／又はタイル行の個数を示すシンタックスｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１をシグナリングすることができる。
各タイル列の幅を示すシンタックス及び各タイル行の高さを示すシンタックスをビットストリームによってシグナリングすることができる。一例として、ｔｉｌｅ＿ｃｏｌｓ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］はｉ番目タイル列の幅を示し、ｔｉｌｅ＿ｒｏｗｓ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ［ｊ］はｊ番目タイル行の高さを示すことができる。
シンタックスｔｉｌｅ＿ｃｏｌｓ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］はｉ番目タイル列を構成するコーディングツリーユニット列の個数から１を差し引いた値を示す。最後のタイル列に対してはシンタックスｔｉｌｅ＿ｃｏｌｓ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］のシグナリングを省略することができる。最後のタイル列の幅は現在ピクチャの幅から以前タイル列の幅を差し引くことによって誘導することができる。
シンタックスｔｉｌｅ＿ｒｏｗｓ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｊ］はｊ番目タイル行を構成するコーディングツリーユニット行の個数から１を差し引いた値を示す。最後のタイル行に対してはシンタックスｔｉｌｅ＿ｒｏｗｓ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｊ］のシグナリングを省略することができる。最後のタイル行の高さは現在ピクチャの高さから以前タイル行の高さを差し引くことによって誘導することができる。
一方、コーディングツリーユニットのサイズを示す情報はシーケンスパラメーターセット又はピクチャパラメーターセットを介してシグナリングすることができる。
一つのタイルは少なくとも一つのコーディングツリーユニットから構成されることができる。ピクチャの右側又は下端境界に隣り合うタイルを除いた残余タイルはコーディングツリーユニットより小さい領域を含んでならないように設定することができる。すなわち、タイルの境界はコーディングツリーユニットの境界と一致する。
ピクチャの分割形態によって、ピクチャバウンダリーを除いたすべての領域でタイルが同じサイズを有することができる。もしくは、水平方向に隣り合うタイルの高さを同じに設定するか、垂直方向に隣り合うタイルの幅を同じに設定することができる。
現在ピクチャが複数のタイルに分割されるかを示す情報をビットストリームによってシグナリングすることができる。一例として、ビットストリームによってシンタックスｓｉｎｇｌｅ＿ｔｉｌｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇをシグナリングすることができる。シンタックスｓｉｎｇｌｅ＿ｔｉｌｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが１のものは現在ピクチャが複数のタイルに分割されないものを示す。一方、ｓｉｎｇｌｅ＿ｔｉｌｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが０のものは現在ピクチャが複数のタイルに分割されるものを示す。
現在ピクチャが複数のタイルに分割されるものに決定される場合、タイル列及びタイル行の個数を決定するための情報、タイルが均等に分割されるかを示す情報及びタイル列及びタイル行のサイズを決定するための情報の少なくとも一つを符号化することができる。
Figure 2022537767000011
タイルのサイズを決定するための情報を符号化してシグナリングすることができる。一例として、ｉ番目タイル列の幅を示すシンタックス要素ｔｉｌｅ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］及びｉ番目タイル行の高さを示すシンタックス要素ｔｉｌｅ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］をビットストリームによって符号化することができる。
現在ピクチャ内のタイル列の幅が明示的にシグナリングされるタイル列の個数を特定するための情報をビットストリームによってシグナリングすることができる。一例として、タイル列の幅がシグナリングされるタイル列の個数を決定するためのシンタックスｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１をビットストリームによってシグナリングすることができる。シンタックスｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１はタイル列の幅がシグナリングされるタイル列の個数から１を差し引いた値であることができる。
シンタックスｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１に基づいて決定された数の分だけ、タイル列の幅を特定するためのシンタックスを符号化してシグナリングすることができる。一例として、ｉ番目タイル列の幅を示すシンタックスｔｉｌｅ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］をビットストリームによってシグナリングすることができる。シンタックスｔｉｌｅ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］はタイル列が含むコーディングツリーユニット列の個数から１を差し引いたものであることができる。
タイル列のインデックスｉが幅が明示的にシグナリングされるタイル列の個数より小さい場合、当該タイル列の幅はビットストリームによってシグナリングされるシンタックスｔｉｌｅ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］に基づいて決定することができる。
一方、タイル列のインデックスｊが幅が明示的にシグナリングされるタイル列の個数以上の場合、当該タイル列の幅は最後にシグナリングされたシンタックスｔｉｌｅ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｌ］に基づいて決定することができる。ここで、ｌは最後に幅がシグナリングされたタイル列のインデックスを示し、ｊより小さい整数であることができる。一例として、現在ピクチャの幅から以前タイル列の幅を差し引いた値がシンタックスｔｉｌｅ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｌ］に１を加算した値以上の場合、タイル列ｊの幅はシンタックスｔｉｌｅ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｌ］に１を加算した値に設定することができる。一方、現在ピクチャの幅から以前タイル列の幅を差し引いた値がシンタックスｔｉｌｅ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｌ］に１を加算した値より小さい場合、現在ピクチャの幅から以前タイル列の幅を差し引いた差分値をタイル列ｊの幅に設定することができる。
表９はタイル列の幅を決定する過程を示すものである。
Figure 2022537767000012
表９で、変数ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹは現在ピクチャが含むコーディングツリーユニット列の個数を示す。一例として、変数ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹは次の式９のように誘導することができる。
［数９］
ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹ＝Ｃｅｉｌ（ｐｉｃ＿ｗｉｄｔｈ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＣｔｂＳｉｚｅＹ）
変数ｒｅｍｉｎｉｎｇＷｉｄｔｈＩｎＣｔｂｓＹは変数ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹから累積したタイル列の幅を差し引いた値を示す。一例として、インデックスがｉであるタイル列に対して、ｒｅｍａｉｎｉｎｇＷｉｄｔｈＩｎＣｔｂｓＹはＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹから、０番からｉ－１番までのタイル列の幅を合算した値を差し引くことによって誘導することができる。
表９に示した例のように、変数ｕｎｉｆｏｒｍＴｉｌｅＣｏｌＷｉｄｔｈは最後に明示的にシグナリングされたタイル列の幅ｔｉｌｅ＿ｃｏｌｕｍｎ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１］に１を加算することによって誘導することができる。ここで、現在ピクチャ内の残余コーディングツリーユニット列の個数を示す変数ｒｅｍａｉｎｉｎｇＷｉｄｔｈＩｎＣｔｂＹが変数ｕｎｉｆｏｒｍＴｉｌｅＣｏｌＷｉｄｔｈ以上であれば、残余領域は変数ｕｎｉｆｏｒｍＴｉｌｅＣｏｌＷｉｄｔｈのサイズに分割されることができる。
一方、現在ピクチャ内の残余コーディングツリーユニット列の個数を示す変数ｒｅｍａｉｎｉｎｇＷｉｄｔｈＩｎＣｔｂＹが変数ｕｎｉｆｏｒｍＴｉｌｅＣｏｌＷｉｄｔｈより小さければ、残余領域をそのまま最後のタイル列に設定することができる。
一方、タイル列のインデックスｊが幅が明示的にシグナリングされるタイル列の個数以上の場合、当該タイル列の幅は変数ｕｎｉｆｏｒｍＴｉｌｅＣｏｌＷｉｄｔｈ及びｒｅｍａｉｎｉｎｇＷｉｄｔｈＩｎＣｔｂＹの中で小さい値に設定することができる。
すなわち、幅が明示的にシグナリングされるタイル列を除いた残余タイル列の幅は、幅が明示的にシグナリングされるタイル列の中で最後のタイル列の幅より小さいか同じ値を有することができる。
もしくは、現在ピクチャ内のタイル行の高さがシグナリングされるタイル行の個数を特定するための情報をビットストリームによってシグナリングすることができる。一例として、タイル行の高さがシグナリングされるタイル行の個数を決定するためのシンタックスｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１をビットストリームによってシグナリングすることができる。シンタックスｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１はタイル行の高さがシグナリングされるタイル行の個数から１を差し引いた値であることができる。
シンタックスｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１に基づいて決定された数の分だけ、タイル行の高さを特定するためのシンタックスを符号化してシグナリングすることができる。一例として、ｉ番目タイル行の高さを示すシンタックスｔｉｌｅ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］をビットストリームによってシグナリングすることができる。シンタックスｔｉｌｅ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］はタイル行が含むコーディングツリーユニット行の個数から１を差し引いたものであることができる。
タイル行のインデックスｉが高さが明示的にシグナリングされるタイル行の個数より小さい場合、当該タイル行の高さはビットストリームによってシグナリングされるシンタックスｔｉｌｅ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］に基づいて決定することができる。
一方、タイル行のインデックスｊが高さが明示的にシグナリングされるタイル行の個数以上の場合、当該タイル行の高さは最後にシグナリングされたシンタックスｔｉｌｅ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｌ］に基づいて決定することができる。ここで、ｌは最後に高さがシグナリングされたタイル行のインデックスを示し、ｊより小さい整数であることができる。
一例として、現在ピクチャの高さから以前タイル行の高さを差し引いた値がシンタックスｔｉｌｅ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｌ］に１を加算した値以上の場合、タイル行ｊの高さはシンタックスｔｉｌｅ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｌ］に１を加算した値に設定することができる。一方、現在ピクチャの高さから以前タイル行の高さを差し引いた値がシンタックスｔｉｌｅ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｌ］に１を加算した値より小さい場合、現在ピクチャの高さから以前タイル行の高さを差し引いた差分値をタイル行ｊの高さに設定することができる。
表１０はタイル行の高さを決定する過程を示すものである。
Figure 2022537767000013
表１０で、変数ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹは現在ピクチャが含むコーディングツリーユニット行の個数を示す。一例として、変数ＰｉｃＷｉｄｔｈＩｎＣｔｂｓＹは次の式１０のように誘導することができる。
［数１０］
ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹ＝Ｃｅｉｌ（ｐｉｃ＿ｈｅｉｇｈｔ＿ｉｎ＿ｌｕｍａ＿ｓａｍｐｌｅｓ／ＣｔｂＳｉｚｅＹ）
変数ｒｅｍｉｎｉｎｇＨｅｉｇｈｔＩｎＣｔｂｓＹは変数ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹから累積したタイル行の高さを差し引いた値を示す。一例として、インデックスがｉであるタイル行に対して、ｒｅｍａｉｎｉｎｇＨｅｉｇｈｔＩｎＣｔｂｓＹは、ＰｉｃＨｅｉｇｈｔＩｎＣｔｂｓＹから、０番からｉ－１番までのタイル行の高さを合算した値を差し引くことによって誘導することができる。
表１０に示した例のように、変数ｕｎｉｆｏｒｍＴｉｌｅＲｏｗＨｅｉｇｈｔは最後に明示的にシグナリングされたタイル行の高さｔｉｌｅ＿ｒｏｗ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｎｕｍ＿ｅｘｐ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１］に１を加算して誘導することができる。ここで、現在ピクチャ内の残余コーディングツリーユニット行の個数を示す変数ｒｅｍａｉｎｉｎｇＨｅｉｇｈｔＩｎＣｔｂＹが変数ｕｎｉｆｏｒｍＴｉｌｅＲｏｗＨｅｉｇｈｔ以上であれば、残余領域は変数ｕｎｉｆｏｒｍＴｉｌｅＲｏｗＨｅｉｇｈｔのサイズに分割することができる。
一方、現在ピクチャ内の残余コーディングツリーユニット行の個数を示す変数ｒｅｍａｉｎｉｎｇＨｅｉｇｈｔＩｎＣｔｂＹが変数ｕｎｉｆｏｒｍＴｉｌｅＲｏｗＨｅｉｇｈｔより小さければ、残余領域をそのまま最後のタイル行に設定することができる。
一方、タイル行のインデックスｊが高さが明示的にシグナリングされるタイル行の個数以上の場合、当該タイル行の高さは変数ｕｎｉｆｏｒｍＴｉｌｅＲｏｗＨｅｉｇｈｔ及びｒｅｍａｉｎｉｎｇＨｅｉｇｈｔＩｎＣｔｂＹの中で小さい値に設定することができる。
すなわち、高さが明示的にシグナリングされるタイル行を除いた残余タイル行の高さは、高さが明示的にシグナリングされるタイル行の中で最後のタイル行の幅より小さいか同じ値を有することができる。
表１１は幅が明示的にシグナリングされるタイル列の個数を示すシンタックス及び高さが明示的にシグナリングされるタイル行の個数を示すシンタックスを含むシンタックステーブルを例示するものである。
Figure 2022537767000014
一方、シンタックスｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇはピクチャパラメーターセットを参照するピクチャ内のタイルの境界でインループフィルターを適用することを許すかを示す。ここで、インループフィルターはデブロッキングフィルター、ＡＬＦ又はＳＡＯの少なくとも一つを含むことができる。フラグｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１のものは、ピクチャパラメーターセットを参照するピクチャ内のタイルの境界を横切るインループフィルターを適用することができるものを示す。一方、フラグｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０のものは、ピクチャパラメーターセットを参照するピクチャ内のタイルの境界でインループフィルターを適用することを許さないものを示す。
シンタックスｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇはピクチャパラメーターセットを参照するピクチャ内のスライスの境界でインループフィルターを適用することを許すかを示す。ここで、インループフィルターは、デブロッキングフィルター、ＡＬＦ又はＳＡＯの少なくとも一つを含むことができる。フラグｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が１のものは、ピクチャパラメーターセットを参照するピクチャ内のスライスの境界を横切るインループフィルターを適用することができるものを示す。一方、フラグｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇの値が０のものは、ピクチャパラメーターセットを参照するピクチャ内のスライスの境界でインループフィルターを適用することを許さないものを示す。
タイルを再帰的に分割することができる。一例として、一つのタイルを複数のタイルに分割することができる。
タイルを分割して生成された複数のタイルのそれぞれをサブタイル又はブリックと言うこともできる。ブリックは並列処理の単位であることができる。一例として、ブリックは互いに独立的に符号化／復号化されることができる。ブリックに含まれるブロックの符号化／復号化の際、他のブロックのデータを用いないように設定することができる。一例として、他のブリックに含まれるサンプルはイントラ予測のための参照サンプルとして利用できないものに設定することができる。もしくは、他のブリックにあるデータは、マージ候補、動きベクター予測候補（ＡＭＶＰ候補）又はモーション情報候補として用いられないように設定することができる。もしくは、他のブリックにあるデータをシンボルのコンテキスト計算に用いないことができる。
図３５はブリックの生成様相を説明するための図である。
タイルを水平方向に分割してブリックを生成することができる。一例として、図３５に示した例では、現在ピクチャ内の最後のタイル列に属するタイルが２個のブリックに分割されるものを示した。
タイルにラスタースキャンが適用されると仮定する場合、ブリックの間にもラスタースキャンを適用することができる。一例として、特定のタイルに含まれるブリックをすべてスキャンした後、次のタイルをスキャンすることができる。すなわち、ブリックはタイルと同等な地位を有することができる。
ブリックの境界はコーディングツリーユニットの境界と一致することができる。すなわち、タイル内の少なくとも一つのコーディングツリーユニット行をブリックに定義することができる。
タイルが複数のブリックに分割されるかを示す情報をビットストリームによってシグナリングすることができる。表１２はタイルの分割可否を決定するための情報を含むシンタックステーブルを示すものである。
Figure 2022537767000015
ブリック分割関連情報は、ブリックに分割されるタイルが少なくとも一つ存在するかを示す情報、タイルがブリックに分割されるかを示す情報、タイル内のブリックの数を示す情報又はブリックのサイズを示す情報の少なくとも一つを含むことができる。
一例として、ブリックに分割されるタイルが少なくとも一つ存在するかを示すシンタックスｂｒｉｃｋ＿ｓｐｌｉｔｔｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをビットストリームによってシグナリングすることができる。
シンタックスｂｒｉｃｋ＿ｓｐｌｉｔｔｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１の場合、少なくとも一つ以上のタイルを複数のブリックに分割することができる。シンタックスｂｒｉｃｋ＿ｓｐｌｉｔｔｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１の場合、タイルが複数のブリックに分割されるかを示すｂｒｉｃｋ＿ｓｐｌｉｔ＿ｆｌａｇをさらにシグナリングすることができる。
シンタックスｂｒｉｃｋ＿ｓｐｌｉｔｔｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０のものは、現在ピクチャ又はＰＰＳを参照するピクチャ内の複数のブリックに分割されるタイルが存在しないものを示す。シンタックスｂｒｉｃｋ＿ｓｐｌｉｔｔｉｎｇ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０の場合、タイルが複数のブリックに分割されるかを示すｂｒｉｃｋ＿ｓｐｌｉｔ＿ｆｌａｇの符号化を省略することができる。
現在ピクチャ内の複数のブリックに分割されるタイルが存在するものに決定される場合、ｉ番目タイルが複数のブリックに分割されるかを示すシンタックスｂｒｉｃｋ＿ｓｐｌｉｔ＿ｆｌａｇ［ｉ］をシグナリングすることができる。一例として、シンタックスｂｒｉｃｋ＿ｓｐｌｉｔ＿ｆｌａｇ［ｉ］の値が１のものは、タイルインデックスがｉであるタイルが二つ以上のブリックに分割されるものを示す。シンタックスｂｒｉｃｋ＿ｓｐｌｉｔ＿ｆｌａｇ［ｉ］の値が０のものは、タイルインデックスがｉであるタイルが複数のブリックに分割されないものを示す。
タイルが複数のブリックに分割される場合、タイルの分割様相を決定するための情報をビットストリームによってシグナリングすることができる。一例として、シンタックスｕｎｉｆｏｒｍ＿ｂｒｉｃｋ＿ｓｐａｃｉｎｇ＿ｆｌａｇをビットストリームによってシグナリングすることができる。シンタックスｕｎｉｆｏｒｍ＿ｂｒｉｃｋ＿ｓｐａｃｉｎｇ＿ｆｌａｇが１のものは、タイル内のブリックの高さが均等であるものを示す。ｕｎｉｆｏｒｍ＿ｂｒｉｃｋ＿ｓｐａｃｉｎｇ＿ｆｌａｇ値が１であれば、ブリックの基本高さを示すシンタックスｂｒｉｃｋ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１をシグナリングすることができる。シンタックスｂｒｉｃｋ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１はブリックを構成するコーディングツリーユニット行の個数から１を差し引いた値を示す。
タイル内の最後のブリックを除いた残余ブリックはシンタックスｂｒｉｃｋ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１によって決定される基本高さを有することができる。タイル内の最後のブリックは残余ブリックを除いた領域に設定することができる。
シンタックスｕｎｉｆｏｒｍ＿ｂｒｉｃｋ＿ｓｐａｃｉｎｇ＿ｆｌａｇ値が０であれば、ｉ番目タイル内のブリックの数を示すシンタックスｎｕｍ＿ｂｒｉｃｋ＿ｒｏｗｓ＿ｍｉｎｕｓ１［ｉ］とｉ番目タイル内のｊ番目ブリックの高さを示すシンタックスｂｒｉｃｋ＿ｒｏｗ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］［ｊ］をシグナリングすることができる。シンタックスｎｕｍ＿ｂｒｉｃｋ＿ｒｏｗｓ＿ｍｉｎｕｓ１［ｉ］はｉ番目タイルが含むブリックの数から１を差し引いた値を示す。
タイル内の最後のブリックに対してはシンタックスｂｒｉｃｋ＿ｒｏｗ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］［ｊ］のシグナリングを省略することができる。タイル内の最後のブリックの高さはタイルの高さから以前ブリックの高さの和を差し引いて誘導することができる。
ブリックの高さを示すシンタックスｂｒｉｃｋ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］はブリックを含むタイルの高さから１を差し引いた値より小さい値を有することができる。一例として、タイルの高さがｒｏｗＨｅｉｇｈｔの場合、シンタックスｂｒｉｃｋ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］は０とｒｏｗＨｅｉｇｈｔ－２との間の値を有することができる。ここで、ｒｏｗＨｅｉｇｈｔはタイルが含むコーディングツリーユニット行の個数を示す。
もしくは、タイルが均等に分割されるかを示すフラグの符号化を省略し、ブリックの数を示す情報及びブリックの高さを示す情報の少なくとも一つを用いてタイルの分割様相を決定することができる。
もしくは、高さが明示的にシグナリングされるブリックの数を特定する情報を用いてタイルの分割様相を決定することもできる。一例として、高さをシグナリングするブリックの数を決定するためのシンタックスｎｕｍ＿ｅｘｐ＿ｂｒｉｃｋ＿ｍｉｎｕｓ１をビットストリームによってシグナリングすることができる。シンタックスｎｕｍ＿ｅｘｐ＿ｂｒｉｃｋ＿ｍｉｎｕｓ１は高さをシグナリングするブリックの数から１を差し引いた値であることができる。
シンタックスｎｕｍ＿ｅｘｐ＿ｂｒｉｃｋ＿ｍｉｎｕｓ１に基づいて決定された数の分だけ、ブリックの高さを特定するためのシンタックスを符号化してシグナリングすることができる。一例として、ｂｒｉｃｋ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］はｉ番目ブリックの高さを示す。
ブリックのインデックスｉが高さがシグナリングされるブリックの数より小さい場合、当該ブリックの高さはビットストリームによってシグナリングされるｂｒｉｃｋ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ［ｉ］に基づいて決定することができる。一方、ブリックのインデックスｊが高さがシグナリングされるブリックの数以上の場合、当該ブリックの高さは最後にシグナリングされたシンタックスｂｒｉｃｋ＿ｗｉｄｔｈ＿ｍｉｎｕｓ［ｌ］と同じに設定することができる。ここで、ｌは最後に高さがシグナリングされたブリックのインデックスを示し、ｊより小さい整数であることができる。
タイル及びブリックはタイルインデックスによって識別することができる。ラスタースキャン順にタイル及びブリックのそれぞれにタイルインデックスを割り当てることができる。一つのタイルが複数のブリックに分割された場合、複数のブリックのそれぞれにタイルインデックスを割り当てることができる。
後述する実施例で、‘タイル’という用語は、タイルだけではなく、タイルを分割することによって生成されたタイル（すなわち、サブタイル又はブリック）を含むことができる。
少なくとも一つ以上のタイルを一つの処理単位に定義することができる。一例として、複数のタイルを一つのスライスに定義することができる。スライスをタイルグループと言うこともできる。
もしくは、一つのタイルを複数の処理単位に分割することもできる。一例として、一つのタイルを複数のスライスに分割することもできる。ここで、一つのスライスは少なくとも一つのコーディングツリーユニット列を含むことができる。一つのタイルが複数のスライスに分割される場合、各スライスの高さを示す情報をビットストリームによってシグナリングすることができる。
スライスヘッダーを介して映像符号化／復号化情報をシグナリングすることができる。スライスヘッダーを介してシグナリングされる情報はスライスに属するタイル及び／又はブロックに共通して適用されることができる。
スライスタイプを示す情報を、ビットストリームによってシグナリングすることができる。前記情報は、現在ピクチャ内のスライスの定義方法を示す。一例として、ビットストリームによってスライスタイプを示すシンタックスｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇをシグナリングすることができる。
シンタックスｒｅｃ＿ｓｌｉｃｅ＿ｆｌａｇはタイルのラスタースキャン順にスライスが定義されるか又は方形にスライスが定義されるかを示す。一例として、ｒｅｃ＿ｓｌｉｃｅ＿ｆｌａｇが０のものは、タイルのラスタースキャン順にスライスが定義されるものを示す。一方、ｒｅｃ＿ｓｌｉｃｅ＿ｆｌａｇが１のものは、方形にスライスが定義されるものを示す。
以下、スライスを決定するための前記二つの方法について詳細に説明する。
ラスタースキャンに基づく定義方法は、ラスタースキャン順に、少なくとも一つ以上のタイルを特定した後、特定された少なくとも一つ以上のタイルをスライスに定義するためのものである。ラスタースキャンに基づく定義方法による場合、一つ以上の連続したタイル（等）をスライスに定義することができる。ここで、連続したタイルはラスタースキャン順によって決定することができる。ラスタースキャンスライスを適用する場合、非方形のスライスが生成されることもできる。
図３６及び図３７はラスター順にスライスを定義した例を示す図である。
一例として、図３６に示した例で、一番目スライスｓｌｉｃｅ０が３個のタイルを含むと仮定するとき、一番目スライスｓｌｉｃｅ０はラスタースキャン順に、Ｔｉｌｅ０～Ｔｉｌｅ２を含むものに定義することができる。二番目スライスｓｌｉｃｅ１が６個のタイルを含むと仮定するとき、二番目スライスｓｌｉｃｅ１はラスタースキャン順にＴｉｌｅ３～Ｔｉｌｅ８を含むものに定義することができる。最後のスライスｓｌｉｃｅ２は、ラスタースキャン順に残余タイルＴｉｌｅ９～Ｔｉｌｅ１１を含むことができる。
ラスタースキャン順にスライスを定義する場合、各スライスが含むタイルの数を示す情報をシグナリングすることができる。最後のスライスに対してはスライスが含むタイルの数を示す情報のシグナリングを省略することができる。
スライスが複数のタイルを含む場合、スライスに含まれるタイルの幅又は高さは互いに異なることができる。一例として、二番目スライスｓｌｉｃｅ１が含むタイルの中でＴｉｌｅ３の高さは残余タイルと異なるものを示した。
方形スライス定義方法は長方形のスライスのみを許す分割方法である。方形スライス定義方法を適用する場合、スライスの四角に位置するタイルが同じ行又は同じ列に属するようになる。
図３８は方形のスライスのみを許す例を示す図である。
図３８に示した例のように、四番目スライスｓｌｉｃｅ３は、Ｔｉｌｅ５、Ｔｉｌｅ６、Ｔｉｌｅ９及びＴｉｌｅ１０を含む。図示の例のように、スライスが複数のタイルを含む場合、スライスを構成する左上端タイル及び右下端タイルを二つの頂点とする長方形を一つのスライスに定義することができる。
スライスの境界はピクチャ境界及び／又はタイルの境界と一致することができる。一例として、スライスの左側境界又は上端境界をピクチャの境界に設定するか、スライスの左側境界又は上端境界をタイルの境界に設定することができる。
もしくは、方形のスライス定義方法を適用する場合、一つのタイルを複数の方形スライスに分割することもできる。
方形のスライス定義方法を適用する場合、ピクチャが単一スライスから構成されるかを示す情報をシグナリングすることができる。一例として、ピクチャ内のスライスの個数が１個であるかを示すシンタックスｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇをビットストリームによってシグナリングすることができる。フラグｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが１のものは、ピクチャが１個のスライスから構成されるものを示す。一方、フラグｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが０のものは、ピクチャが少なくとも２個以上のスライスから構成されるものを示す。フラグｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が０の場合、スライスの構成情報をさらにシグナリングすることができる。一例として、表１３はシンタックスｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを含むシンタックステーブルを例示するものである。
Figure 2022537767000016
例示のように、ｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが１の場合、後述するスライスの構成についての情報（例えば、スライスが含むタイルのインデックスを示すシンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ［ｉ］及び／又は第１スライスが含むタイルと第２スライスが含むタイルとの間のインデックス差分を示すシンタックスｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｂｒｉｃ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］など）の符号化を省略することができる。すなわち、ｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇはスライスの構成についての情報が符号化されたかを決定するのに用いることができる。
前記ピクチャはサブピクチャを示すこともできる。ピクチャは少なくとも一つのサブピクチャに分割することができる。サブピクチャ分割関連情報はシーケンスレベルでシグナリングすることができる。一例として、シーケンスパラメーターセットを介してシグナリングされるサブピクチャ分割関連情報は、シーケンスパラメーターセットを参照するすべてのピクチャに共通して適用することができる。
サブピクチャ分割関連情報は、ピクチャが複数のサブピクチャに分割されるかを示す情報、サブピクチャの数を示す情報、サブピクチャのサイズを示す情報又はサブピクチャが独立的なピクチャとして機能するかを示す情報を含むことができる。
サブピクチャ別に、単一スライスから構成されているかを示すシンタックスｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇをシグナリングすることができる。
もしくは、シーケンス又はピクチャレベルで、各サブピクチャが単一スライスから構成されているかを示すシンタックスｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇをシグナリングすることができる。一例として、フラグｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが１のものは、現在ピクチャ内のすべてのサブピクチャが単一スライスから構成されるものを示す。一方、フラグｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇが０のものは、現在ピクチャ内の少なくとも一つのサブピクチャが複数スライスから構成されるものを示す。
ピクチャが複数のスライスから構成されるものに決定される場合、ピクチャ内のスライスの個数を示すシンタックスを符号化してシグナリングすることができる。一例として、ビットストリームによって、ピクチャ内のスライスの個数を示すシンタックスｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ２をシグナリングすることができる。シンタックスｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ２はピクチャ内のスライスの個数から２を差し引いた値を示すことができる。これにより、復号化器は、シンタックスｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ２が示す値に２を加えてスライスの総数を決定することができる。
シンタックスｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ２の代わり、ピクチャ内のスルライスイの数から１を差し引いた値を示すシンタックスｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１を符号化することもできる。
方形のスライス定義方法を適用する場合、各スライスが含むタイルを決定するために、各スライスが含むタイルを識別するための情報をシグナリングすることができる。前記情報はスライスの一番目タイル又は最後のタイルの少なくとも一つを特定することに用いることができる。タイル間の順番は、所定のスキャン順に決定することができる。一例として、ラスタースキャン順による場合、一番目タイルはスライスの左上端に位置するタイルを示し、最後のタイルはスライスの右下端に位置するタイルを示す。
スライス内の左上端に位置するタイルのインデックス又はスライスの右下端に位置するタイルのインデックスの少なくとも一つを識別するための情報をビットストリームによってシグナリングすることができる。一例として、スライスの左上端に位置するタイルのインデックスを識別するためのシンタックスｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｄｘ又はスライスの右下端に位置するタイルのインデックスを識別するためのシンタックスｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｄｘの少なくとも一つをビットストリームによってシグナリングすることができる。最後のスライスに対しては、スライスの左上端に位置するタイルのインデックスを識別するためのシンタックス又はスライスの右下端に位置するタイルのインデックスを識別するためのシンタックスの少なくとも一つの符号化を省略することができる。現在ピクチャ内の以前スライスが占有する領域を除いた残余領域を最後のスライスに設定することができる。
一例として、図３８に示した例で、ｓｌｉｃｅ０、ｓｌｉｃｅ１及びｓｌｉｃｅ２に対しては、各スライスの左上端に位置するタイルのインデックスｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｄｘ及び各スライスの右下端に位置するタイルのインデックスｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｄｘをシグナリングすることができる。一方、ピクチャ内の最後のスライスであるｓｌｉｃｅ３に対しては、ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｄｘ及びｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅｉｄｘの符号化を省略することができる。ピクチャ内の最後のスライスであるｓｌｉｃｅ３の左上端タイルのインデックスは、ピクチャからｓｌｉｃｅ０、ｓｌｉｃｅ１及びｓｌｉｃｅ２を除いた残余領域内の左上端に位置するタイルのインデックスに設定し、ｓｌｉｃｅ３の右下端タイルのインデックスは前記残余領域内の右下端に位置するタイル（又は、ピクチャの右下端に位置するタイル）のインデックスに設定することができる。
もしくは、スライスに含まれるタイルのインデックスを特定するための差分情報を符号化してシグナリングすることができる。一例として、スライスの左上端に位置するタイルのインデックスとスライスの右下端に位置するタイルのインデックスとの差分値を示す情報をビットストリームによってシグナリングすることができる。一例として、ｉ番目スライスに対して、スライスの左上端に位置するタイルのインデックスを識別するためのシンタックスｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｄｘ［ｉ］及びスライスの左上端に位置するタイルのインデックスとスライスの右下端に位置するタイルのインデックスとの間の差分を示すシンタックスｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］をシグナリングすることができる。ｉ番目スライスの右下端タイルのインデックスはｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｄｘ［ｉ］及びｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］を合わせて誘導することができる。最後のスライスに対しては、スライスの左上端に位置するタイルのインデックスを示すシンタックス又はスライスの左上端に位置するタイルのインデックスとスライスの右下端に位置するタイルのインデックスとの差分を示すシンタックスの少なくとも一つの符号化を省略することができる。現在ピクチャ内の以前スライスが占有する領域を除いた残余領域を最後のスライスに設定することができる。
もしくは、水平方向タイルインデックス差分情報又は垂直方向タイルインデックス差分情報の少なくとも一つを符号化してシグナリングすることができる。水平方向タイルインデックス差分情報は、一番目タイルのインデックスと、一番目タイルと同じタイル行に含まれる最右側タイルのインデックスとの間の差分を示すことができる。垂直方向タイルインデックス差分情報は、一番目タイルのインデックスと、一番目タイルと同じタイル列に含まれる最下端タイルのインデックスとの間の差分を示すことができる。
スライスの位置によって、符号化される差分情報タイプを決定することができる。一例として、ピクチャの右側境界又は下端境界に隣り合うスライスに対しては、水平方向タイルインデックス差分情報又は垂直方向インデックス差分情報を符号化してシグナリングすることができる。左上端タイルと右上端タイルとの間のインデックス差分を示す情報の代わりに、水平方向タイルインデックス差分情報又は垂直方向インデックス差分情報を符号化することによりビット量を減少させることができる。
もしくは、ピクチャが少なくとも一つ以上のスライス行に分割される場合、ピクチャの左側境界に隣り合うスライスに対しては、左上端タイルと右下端タイルとの間のインデックス差分を示す情報を符号化することができる。同じ行に属するスライスは同じ高さを有するように設定することができる。
第１スライスが含むタイルのインデックスと第２スライスが含むタイルのインデックスとの間の差分情報を符号化してシグナリングすることもできる。ここで、第１スライス及び第２スライスはスキャン順に決定し、各スライスが占有するタイルは互いに異なることができる。
一例として、第１スライスを構成するタイルと第２スライスを構成するタイルとが異なる場合、第２スライスのインデックスは第１スライスのインデックスｉに１を加算したものであることができる。
もしくは、第１タイルが複数のスライスを含むように分割された場合、第１タイルに含まれる第１スライスとスキャン順において第１タイルの次のタイルである第２タイルを含む第２スライス又は第２タイルに含まれる第２スライスとの間の差分情報を符号化することができる。ここで、第１タイルに含まれる複数のスライスの中で一番目スライス又は最後のスライスのみに対して差分情報を符号化することができる。
第１スライスと第２スライスとの差分情報を誘導するのに用いられるタイルは、スライスの左上端、右上端、右下端、左下端又は中央に位置するものであることができる。
表１４は差分情報を含むシンタックステーブルを例示するものである。
Figure 2022537767000017
一例として、ｉ番目スライスの左上端タイルと以前スライス（すなわち、ｉ－１番目スライス）の左上端タイルとのインデックス差分を示すシンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］をビットストリームによってシグナリングすることができる。
差分情報に基づき、ｉ番目スライス内の左上端タイルの位置を決定することができる。具体的には、ｉ番目スライスの左上端タイルのインデックスはｉ－１番目スライスの左上端タイルインデックスとシンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］を合わせて誘導することができる。式１１はｉ番目スライスの左上端タイルのインデックスを誘導する例を示すものである。
［数１１］
ＴｏｐＬｅｆｔＢｒｉｃｋＩｄｘ［ｉ］＝ＴｏｐＬｅｆｔＢｒｉｃｋＩｄｘ［ｉ－１］＋ｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］
前記式１１で、ＴｏｐＬｅｆｔＢｒｉｃｋＩｄｘ［ｉ－１］はｉ－１番目スライスの左上端タイルのインデックスを示す。
一番目スライス（すなわち、インデックスｉが０のスライス）に対しては、以前スライスとの差分情報を示すシンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］の符号化を省略することができる。一番目スライスに対しては、スライスの左上端タイルと右上端タイルとの間のインデックス差分を示すシンタックスｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］を符号化してシグナリングすることができる。
表１５は、差分情報を用いて各タイルが属するスライスを特定する過程を示す例である。
Figure 2022537767000018
ＮｕｍＢｒｉｃｋｓＩｎＳｌｉｃｅ［ｉ］はスライスｉが含むタイルの数を示す。ＴｏｐＬｅｆｔＢｒｉｃｋＩｄｘ［ｉ］はスライスｉの左上端タイルのインデックスを示す。ｂｏｔＲｉｇｈｔＢｋＩｄｘは右上端タイルのインデックスを示す。ＢｒｉｃｋＣｏｌＢｄ［ｊ］はタイルｊが属するタイル列のインデックスを示す。ＢｒｉｃｋＲｏｗＢｄ［ｊ］はタイルｊが属するタイル行のインデックスを示す。ＢｒｉｃｋｓＴｏＳｌｉｃｅＭａｐ［ｊ］＝ｉはタイルｊをスライスｉに追加することを示す。
もしくは、スライスの幅又は高さの少なくとも一つを特定する情報を用いてスライスを定義することもできる。一例として、ｉ番目スライスの幅を示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］又はｉ番目スライスの高さを示すシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の少なくとも一つをビットストリームによってシグナリングすることができる。
シンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］はｉ番目スライスに含まれるタイル列の個数から１を差し引いた値を示す。シンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ［ｉ］はｉ番目スライスに含まれるタイ０ル行の個数から１を差し引いた値を示す。
ｉ番目スライスは、シンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］に基づいて決定される個数の分だけのタイル列及びシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］に基づいて決定される個数の分だけのタイル行から構成されることができる。ここで、ｉ番目タイル列の左上端タイルは、ｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］に基づいて決定されるインデックス値を有することができる。
もしくは、ピクチャの左側境界に隣り合うスライスのみに対して、スライスの高さを示すシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］をシグナリングし、その他のスライスに対してはシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の符号化を省略することができる。シンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ［ｉ］の符号化が省略されるスライスの高さは、同じ行に含まれるスライスの中で現在ピクチャの左側境界に隣り合うスライスの高さと同じに設定することができる。
一番目スライスの左上端タイルのインデックスＴｏｐＬｅｆｔＢｒｉｃｋＩｄｘ［０］は０に設定することができる。これにより、二番目スライス（すなわち、インデックスｉが１のスライス）では、シンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］が実質的に左上端タイルのインデックスと同じ値を有するようになる。これにより、二番目スライスに対しては、シンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］の代わりに、シンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ［ｉ］をシグナリングすることができる。ここで、ｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ［ｉ］はｉ番目スライスの左上端タイルのインデックスを示す。
他の例として、シンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］をｉ番目スライスの一番目タイルとｉ＋１番目スライスの一番目タイルとの間の差分に設定することもできる。すなわち、ｉ＋１番目スライスの左上端タイルのインデックスは、ｉ番目スライスの左上端タイルのインデックスとｉ番目スライスに対してシグナリングされるシンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］を合わせて誘導することができる。シンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］がｉ番目スライスとｉ＋１番目スライスとの間の差分情報を示す場合、最後のスライスに対してはシンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］の符号化を省略することができる。
次の表１６のようなシンタックステーブルを用いてスライスを決定することもできる。
Figure 2022537767000019
スライスタイプを示すフラグｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇを符号化し、フラグｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇが１の場合、ピクチャ内のスライスの個数を示すシンタックスｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１を符号化することができる。
ピクチャが複数のスライスを含むものに決定された場合、各スライスの幅を示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］及び各スライスの高さを示すシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］を符号化してシグナリングすることができる。
また、ｉ番目スライスに含まれるタイルのインデックスとｉ＋１番目スライスに含まれるタイルのインデックスとの間の差分を示すシンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］をシグナリングすることもできる。最後のタイルに対しては、シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］の符号化を省略することができる。
符号化器は、タイルインデックスの差分を示すシンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］の符号化可否を決定し、前記決定によって、シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］が符号化されたかを示すフラグｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを符号化することができる。シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］は、フラグｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１の場合に限り、符号化することができる。
一つのタイルを複数のスライスに分割することもできる。一例として、タイルを水平方向に分割して複数スライドを生成することができる。
スライスが複数のタイルを含まないものに決定された場合、タイルを複数のスライスに分割するかを決定することができる。一例として、シンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］及びシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］が共に０のものは、スライスが一つのタイルのみから構成されるか、一つのタイルが複数のスライスに分割されるものを示す。
シンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］及びシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］が共に０の場合、タイルが複数のスライスに分割されるかを示す情報をシグナリングすることができる。
一例として、タイルが含むスライスの個数を示すシンタックスｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ＿ｍｉｎｕｓ１［ｉ］をシグナリングすることができる。シンタックスｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ＿ｍｉｎｕｓ１［ｉ］はｉ番目タイルが含むスライスの個数から１を差し引いた値を示す。
もしくは、明示的にシグナリングされなければならないスライス高さの個数を示す情報を示すシンタックスｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ［ｉ］をビットストリームによってシグナリングすることができる。シンタックスｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ［ｉ］はタイルが含むスライスの個数と同じ又はそれより小さい値を有することができる。
シンタックスｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ［ｉ］が０のものは、タイルが複数のスライスに分割されないものを示す。シンタックスｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ［ｉ］が０より大きいものは、タイルが複数のスライスに分割できるものを示す。
シンタックスｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅ［ｉ］の個数の分だけスライスの高さを示す情報をシグナリングすることができる。一例として、シンタックスｎｕｍ＿ｅｘｐ＿ｓｌｉｃｅｓ＿ｉｎ＿ｔｉｌｅが１より大きい場合、タイル内のｊ番目スライスの高さを示すシンタックスｅｘｐ＿ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｃｔｕ＿ｍｉｎｕｓ１［ｊ］をシグナリングすることができる。
スライスのインデックスｊが高さが明示的にシグナリングされるスライスの個数より小さい場合、スライスｊの幅はビットストリームによってシグナリングされるシンタックスｅｘｐ＿ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｃｔｕ＿ｍｉｎｕｓ１［ｊ］に基づいて決定することができる。一方、スライスのインデックスｋが高さが明示的にシグナリングされるスライスの個数以上の場合、スライスｋの高さは最後にシグナリングされたシンタックスｅｘｐ＿ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｃｔｕ＿ｍｉｎｕｓ１［ｌ］に基づいて決定することができる。ここで、ｌは最後に高さがシグナリングされたスライスのインデックスを示し、ｋより小さい整数であることができる。
一例として、タイルの高さから以前スライスの高さを差し引いた値がシンタックスｅｘｐ＿ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｃｔｕ＿ｍｉｎｕｓ１［ｌ］に１を加算した値以上の場合、スライスｋの高さはシンタックスｅｘｐ＿ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｃｔｕ＿ｍｉｎｕｓ１［ｌ］に１を加算した値に設定することができる。一方、タイルの高さから以前スライスの高さを差し引いた値がシンタックスｅｘｐ＿ｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｃｔｕ＿ｍｉｎｕｓ１［ｌ］に１を加算した値より小さい場合、タイルの高さから以前スライスの高さを差し引いた差分値をスライスｋの高さに設定することができる。
すなわち、高さが明示的にシグナリングされるスライスを除いた残余スライスの高さは、高さが明示的にシグナリングされるスライスの中で最後のスライスの高さより小さいか同じ値を有することができる。
上述した例では、方形のスライス定義方法を適用する場合に限り、ピクチャが単一のスライスから構成されるかを示すシンタックスｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの符号化可否を決定するものを例示した。例示のものとは反対に、シンタックスｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇを先に符号化した後、フラグｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値によってシンタックスｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの符号化可否を決定することもできる。一例として、ｏｎｅ＿ｓｌｉｃｅ＿ｉｎ＿ｐｉｃ＿ｆｌａｇの値が１の場合、ｒｅｃｔ＿ｓｌｉｃｅ＿ｆｌａｇの符号化を省略することができる。
現在ピクチャ内のタイル列の個数が１の場合、シンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１の符号化を省略することができる。また、現在ピクチャ内のタイル行の個数が１の場合、シンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１の符号化を省略することができる。
もしくは、スライスの幅を示す情報又はスライスの高さを示す情報の少なくとも一つの符号化を省略することができる。
一例として、スライスの幅を示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１の符号化を省略し、隣接スライス内の所定位置のタイルとの距離をスライスの幅に設定することができる。具体的には、シンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］によって、ｉ番目スライスの右側に隣り合うｉ＋１番目スライスの左上端タイルを特定することができる。ｉ番目スライスの幅はｉ番目スライス内の左上端タイルのｘ座標（例えば、左上端サンプルのｘ座標）と、ｉ＋１番目スライス内の左上端タイルのｘ座標（例えば、左上端サンプルのｘ座標）との間の差分によって誘導することができる。
もしくは、スライスの高さを示すシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１の符号化を省略し、隣接スライス内の所定位置のタイルとの距離をスライスの幅に設定することができる。具体的には、シンタックスｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｊ－１］によって、ｉ番目スライスの下端に位置するｊ番目スライスの左上端タイルを特定することができる。ｉ番目スライスの高さはｉ番目スライス内の左上端タイルのｙ座標（例えば、左上端サンプルのｙ座標）とｊ番目スライス内の左上端タイルのｙ座標（例えば、左上端サンプルのｙ座標）との間の差分によって誘導することができる。
もしくは、方形のスライスを定義するにあたり、差分値情報が用いられるかを示す情報をビットストリームによってシグナリングすることができる。一例として、差分値情報の利用可否を示すｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇをビットストリームによってシグナリングすることができる。シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１のものは、タイルインデックスの差分値を示すシンタックスを符号化してシグナリングするものを示す。一例として、シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が１の場合、ｉ番目スライスはスライスのサイズを示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］及びシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］とスライス内の左上端タイルの位置又は右上端タイルの位置を決定するための差分値情報（例えば、ｔｏｐ＿ｌｅｆｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ－１］又はｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｂｒｉｃｋ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］）によって定義することができる。
シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値が０の場合、ｉ番目スライスはスライスのサイズを示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］及びシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］によって定義することができる。シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｓｅｎｔ＿ｆｌａｇの値が０の場合、現在ピクチャの左側境界に隣り合うスライスの右側に隣り合うスライスは、左側境界に隣り合うスライスと同じ高さを有するように設定することができる。これにより、現在ピクチャの左側境界に隣り合うスライスのみに対してスライスの高さを示す情報をシグナリングし、現在ピクチャの左側境界に隣り合わないスライスに対してはスライスの高さを示す情報のシグナリングを省略することができる。
スライス内のタイルのインデックスに基づき、スライスのサイズを示す情報のシグナリング可否を決定することができる。一例として、表１７はスライス内のタイルインデックスに基づき、スライスのサイズを決定する情報のシグナリング可否を決定するシンタックス構造を示すものである。
Figure 2022537767000020
表１７で、変数ｔｉｌｅＩｄｘはｉ番目スライスが含むタイルのインデックスを示す。具体的には、ｉ番目スライス内の既定義の位置のタイルのインデックスを変数ｔｉｌｅＩｄｘに設定することができる。既定義の位置のタイルは左上端タイルを示すことができる。
変数ＮｕｍＴｉｌｅＣｏｌｕｍｎｓはピクチャが含むタイル列の個数を示す。一例として、ｉ番目スライス内の左上端タイルのインデックスと変数ＮｕｍＴｉｌｅＣｏｌｕｍｓから１を差し引いた値との間のモジュラー演算（％）に基づき、左上端タイルが属するタイル列の位置を決定することができる。一例として、前記モジュラー演算による結果値ｎは左上端タイルがインデックスｎのタイル列に属することを示す。
スライス内の左上端タイルがピクチャ内の最右側タイル列に属する場合、スライスの幅を示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］のシグナリングを省略することができる。一例として、モジュラー演算の結果がピクチャ内のタイル列の個数ＮｕｍＴｉｌｅＣｏｌｕｍｎｓから１を差し引いた値と同一である場合、シンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の符号化／復号化を省略することができる。この場合、シンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の値は０と見なすことができる。
ｉ番目スライス内の左上端タイルのインデックスと変数ＮｕｍＴｉｌｅＣｏｌｕｍｎｓとの間の割り算によって、左上端タイルが属するタイル行の位置を決定することができる。一例として、割り算の商がｍのものは、左上端タイルがインデックスｍのタイル行に含まれるものを示す。
スライス内の左上端タイルがピクチャ内の最下端タイル行に属する場合、スライスの高さを示すシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ［ｉ］のシグナリングを省略することができる。一例として、割り算の結果がピクチャ内のタイル行の個数ＮｕｍＴｉｌｅＲｏｗｓから１を差し引いた値と同一である場合、シンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の符号化／復号化を省略することができる。この場合、シンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の値は０と見なすことができる。
スライス内の左上端タイルがピクチャ内の最右側列に属するとともに最下側行に属する場合、シンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］及びシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の両者の符号化を省略することができる。この場合、二つのシンタックスの値はいずれも０と見なすことができる。
スライス内の左上端タイルがピクチャ内の最下側行に含まれていない場合、スライス内の左上端タイルがピクチャ内の最左側列に属するか及び／又はタイルインデックス間の差分情報が符号化されたかの少なくとも一つを考慮して、スライスの高さを示すシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の符号化／復号化可否を決定することができる。
一例として、スライス内の左上端タイルがピクチャ内の最下側行に含まれていなくても、タイルインデックス差分が符号化された場合（例えば、ｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが１の場合）、スライスの高さを示すシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の符号化／復号化を省略することができる。
もしくは、スライス内の左上端タイルがピクチャ内の最下側行に属しなくても、左上端タイルがスライス内の最左側列に属しない場合、シンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の符号化／復号化を省略することができる。
スライス内の左上端タイルがピクチャ内の最下側行に属していないが、シンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の符号化／復号化が省略された場合、前記シンタックスは以前スライスの高さｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ［ｉ－１］と同じに設定することができる。
表１８はシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］及びシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］に対するセマンティックス（ｓｅｍａｎｔｉｃｓ）を示す。
Figure 2022537767000021
表１７の例で、タイルインデックスの差分を示す情報が符号化されたかを示すシンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは現在ピクチャに含まれるスライスの個数が１以上の場合に符号化／復号化されることを例示した。
ピクチャ内のスライスの個数が２の場合、ピクチャを水平方向又は垂直方向に分割することにより、２個の長方形のスライスを生成することができる。
図３９はピクチャが２個のスライスから構成された場合の例を示す図である。
図３９の（ａ）はピクチャが水平方向に分割された例を示し、図３９の（ｂ）はピクチャが垂直方向に分割された例を示す。
図示の例のように、ピクチャが２個のスライスのみを含む場合、スライスの幅を示すシンタックス又はスライスの高さを示すシンタックスのみで２個のスライスそれぞれを区分することができる。
一例として、図３９の（ａ）に示した例のように、ピクチャを水平方向に分割する場合、インデックス０のスライスの幅を示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］及びインデックス０のスライスの高さを示すシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］に基づいてスライス０を特定することができる。スライス１に対しては、スライスのサイズを決定するためのシンタックスの符号化／復号化を省略し、ピクチャ内のスライス０を除いた残余領域をスライス１に設定することができる。また、スライス１の左上端タイルのインデックスは、スライス０に含まれるタイル行の個数とタイル列の個数との積から１を差し引いて誘導することができる。
図３９の（ｂ）に示した例のように、ピクチャを垂直方向に分割する場合、インデックス０のスライスの幅を示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］及びインデックス０のスライスの高さを示すシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］に基づいてスライス０を特定することができる。スライス１に対しては、スライスのサイズを決定するためのシンタックスの符号化／復号化を省略し、ピクチャ内のスライス０を除いた残余領域をスライス１に設定することができる。また、スライス１の左上端タイルのインデックスは、スライス１に含まれるタイル行の個数と同様に誘導することができる。
このように、ピクチャに２個のスライスのみが含まれた場合、タイルインデックスの差分を示す情報の符号化を省略しても、すべてのスライス内の左上端タイルのインデックスを誘導することができる。これにより、ピクチャに含まれるスライスの個数が２以下の場合、タイルインデックス差分情報の符号化／復号化可否を示すシンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの符号化／復号化を省略し、その値を０に誘導することができる。これにより、スライス別にｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］の符号化／復号化も省略することができる。
表１９は現在ピクチャが含むスライスの個数が２以下の場合、シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの符号化／復号化を省略するシンタックス構造を示す。
Figure 2022537767000022
表１９の例のように、シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、シンタックスｎｕｍ＿ｓｌｉｃｅｓ＿ｉｎ＿ｐｉｃ＿ｍｉｎｕｓ１が１より大きい場合に限り、符号化／復号化することができる。
ピクチャ内のタイル列の個数が１の場合又はタイル行の個数が１の場合にも、タイルインデックス差分情報を用いなくても、各スライス内の左上端タイル位置を識別することができる。
図４０はピクチャ内のタイル列又はタイル行の個数が１の場合を例示する図である。
図４０の（ａ）はピクチャが１個のタイル列を含む場合を例示するものであり、図４０の（ｂ）はピクチャが１個のタイル行を含む場合を例示するものである。
ピクチャが１個のタイル列を含む場合、スライスの左上端タイルのインデックスは以前スライスの高さに基づいて誘導することができる。一例として、図４０の（ａ）に示した例のように、一番目タイルが２個のスライスに分割されれば、２個のスライスの中で一番目スライスｓｌｉｃｅ０に対する幅を示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］及び高さを示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］はいずれも０に設定する。二番目スライスｓｌｉｃｅ１は一番目スライスｓｌｉｃｅ０と同じタイルに属するので、二番目スライスｓｌｉｃｅ１に対しては、シンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］及び高さを示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ－ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［ｉ］の符号化／復号化を省略することができる。
三番目スライスの左側タイルインデックスは以前スライスに対してシグナリングされたタイル行の個数に設定することができる。一例として、スライス０に対してシグナリングされるシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］から、１個のタイル行がスライスから編成されることを認知することができるので、スライス２の左上端タイル行のインデックスは１に設定することができる。
スライス３の左上端タイル行のインデックスは以前スライスのタイル行の高さに基づいて誘導することができる。一例として、スライス０に対してシグナリングされるシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］及びスライス２に対してシグナリングされるシンタックスｓｌｉｃｅ＿ｈｅｉｇｈｔ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［２］から、総３個のタイル行がスライスから編成されることを認知することができるので、スライス３の左上端タイル行のインデックスは３に設定することができる。
すなわち、ピクチャが１個のタイル列を含む場合、以前スライスが占有するタイル行の個数を次のスライスの左上端タイルインデックスに決定することができる。
ピクチャが１個のタイル行を含む場合、スライスの左上端タイルのインデックスは以前スライスの幅に基づいて誘導することができる。一例として、図４０の（ｂ）に示した例のように、一番目タイルが１個のスライスに設定された場合、一番目スライスｓｌｉｃｅ０の幅を示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］及び高さを示すシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］はいずれも０に設定する。
二番目スライスの左側タイルインデックスは以前スライスに対してシグナリングされたタイル列の個数に設定することができる。一例として、スライス０に対してシグナリングされるシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］から、１個のタイル列がスライスから編成されることを認知することができるので、スライス１の左上端タイル行のインデックスは１に設定することができる。
スライス２の左上端タイル行のインデックスは以前スライスのタイル列の高さに基づいて誘導することができる。一例として、スライス０に対してシグナリングされるシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［０］及びスライス１に対してシグナリングされるシンタックスｓｌｉｃｅ＿ｗｉｄｔｈ＿ｗｉｄｔｈ＿ｉｎ＿ｔｉｌｅｓ＿ｍｉｎｕｓ１［１］から、総３個のタイル列がスライスから編成されることを認知することができるので、スライス２の左上端タイル行のインデックスは３に設定することができる。
すなわち、ピクチャが１個のタイル行を含む場合、以前スライスが占有するタイル列の個数を次のスライスの左上端タイルインデックスに決定することができる。
このように、ピクチャが１個のタイル列又は１個のタイル行のみから構成される場合、タイルインデックス差分情報なしにも、各スライスの左上端タイルのインデックスを特定することができる。これにより、ピクチャに含まれるタイル列又はタイル行の個数が１の場合、タイルインデックス差分情報の符号化／復号化可否を示すシンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの符号化／復号化を省略し、その値を０に誘導することができる。これにより、スライス別にｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ［ｉ］の符号化／復号化も省略することができる。
表２０は現在ピクチャが含むタイル列又はタイル行の個数が１の場合、シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの符号化／復号化を省略するシンタックス構造を示す。
Figure 2022537767000023
表２０の例のように、シンタックスｔｉｌｅ＿ｉｄｘ＿ｄｅｌｔａ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、タイル列の個数ＮｕｍＴｉｌｅＣｏｌｕｍｎｓ又はタイル行の個数ＮｕｍＴｉｌｅＲｏｗｓが１より大きい場合に限り、符号化することができる。
タイルのインデックスの代わりに、コーディングツリーユニットのインデックスに基づいてスライスを定義することも可能である。
上述した例では、ラスタースキャン順にタイルに順番を付与してスライスを定義すると仮定した。他の例として、垂直スキャン、水平スキャン又は対角スキャンの順にタイルに順番を付与してスライスを定義することもできる。
復号化過程又は符号化過程を中心に説明した実施例を符号化過程又は復号化過程に適用することは本発明の範疇に含まれるものである。所定の順に説明した実施例を説明したものと異なる順に変更することも本発明の範疇に含まれるものである。
上述した実施例は一連の段階又はフローチャートに基づいて説明したが、これは発明の時系列順を限定したものではなく、必要によって同時に遂行するか他の順に遂行することができる。また、上述した実施例で、ブロック図を構成する構成要素（例えば、ユニット、モジュールなど）のそれぞれはハードウェア装置又はソフトウェアによって具現されることもでき、複数の構成要素が結合して単一のハードウェア装置又はソフトウェアに具現されることもできる。上述した実施例は多様なコンピュータ構成要素を介して遂行することができるプログラム命令語の形態に具現され、コンピュータ可読の記録媒体に記録されることができる。前記コンピュータ可読の記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組合せで含むことができる。コンピュータ可読の記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を保存して遂行するように特別に構成されたハードウェア装置が含まれる。前記ハードウェア装置は、本発明による処理を遂行するために、一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
本発明は映像を符号化／復号化する電子装置に適用可能である。

Claims (13)

  1. 現在ピクチャを複数のタイルに分割する段階と、
    スライスタイプを示すとともに方形スライスの適用可否を示す分割情報を復号化する段階と、
    前記分割情報が前記方形スライスが適用されることを示す場合、スライスのサイズを示す情報に基づいてスライスを決定する段階とを含み、
    前記スライスのサイズを示す情報は、スライスの幅を示す幅情報及びスライスの高さを示す高さ情報を含み、
    前記スライスの幅情報を復号化するかは、前記スライス内の左上端タイルの位置に基づいて決定することを特徴とする、映像復号化方法。
  2. 前記幅情報は、前記スライスが含むタイル列の個数から１を差し引いた値を示し、
    前記スライス内の前記左上端タイルが前記現在ピクチャ内の最右側タイル列に含まれる場合、前記幅情報の復号化を省略し、その値を０に設定することを特徴とする、請求項１に記載の映像復号化方法。
  3. 前記高さ情報は、前記スライスが含むタイル行の個数から１を差し引いた値を示し、
    前記スライス内の前記左上端タイルが前記現在ピクチャ内の最下端タイル行に含まれる場合、前記高さ情報の復号化を省略し、その値を０に設定することを特徴とする、請求項１に記載の映像復号化方法。
  4. 前記スライス内の前記左上端タイルが前記現在ピクチャ内の前記最下端タイル行に含まれていない場合、前記左上端タイルが前記現在ピクチャ内の最左側タイル列に含まれているかに基づいて前記高さ情報の復号化可否を決定することを特徴とする、請求項３に記載の映像復号化方法。
  5. スライス間のタイルインデックス差分情報が符号化されたかを示す差分情報存在フラグを復号化する段階をさらに含み、
    前記現在ピクチャが単一のスライスから構成される場合、前記差分情報存在フラグの復号化を省略することを特徴とする、請求項１に記載の映像復号化方法。
  6. 前記差分情報存在フラグの復号化が省略される場合、その値を０に設定することを特徴とする、請求項５に記載の映像復号化方法。
  7. 前記差分情報存在フラグが、前記タイルインデックス差分情報が符号化されたことを示す場合、
    前記スライスに対して前記タイルインデックス差分情報を復号化し、
    前記タイルインデックス差分情報は、前記スライスが含むタイルと次のスライスが含むタイルとの間のインデックス差分を示すことを特徴とする、請求項５に記載の映像復号化方法。
  8. 現在ピクチャを複数のタイルに分割する段階と、
    方形スライスの適用可否を決定する段階と、
    前記方形スライスを適用する場合、スライスのサイズ情報を符号化する段階とを含み、
    前記スライスのサイズを示す情報は、スライスの幅を示す幅情報及びスライスの高さを示す高さ情報を含み、
    前記スライスに対して幅情報を符号化するかは、前記スライス内の左上端タイルの位置に基づいて決定することを特徴とする、映像符号化方法。
  9. 前記幅情報は、前記スライスが含むタイル列の個数から１を差し引いた値を示し、
    前記スライス内の前記左上端タイルが前記現在ピクチャ内の最右側タイル列に含まれる場合、前記幅情報の符号化を省略することを特徴とする、請求項８に記載の映像符号化方法。
  10. 前記高さ情報は、前記スライスが含むタイル行の個数から１を差し引いた値を示し、
    前記スライス内の前記左上端タイルが前記現在ピクチャ内の最下端タイル行に含まれる場合、前記高さ情報の符号化を省略することを特徴とする、請求項８に記載の映像符号化方法。
  11. 前記スライス内の前記左上端タイルが前記現在ピクチャ内の前記最下端タイル行に含まれていない場合、前記左上端タイルが前記現在ピクチャ内の最左側タイル列に含まれているかに基づいて前記高さ情報の符号化可否を決定することを特徴とする、請求項１０に記載の映像符号化方法。
  12. スライス間のタイルインデックス差分情報が符号化されたかを示す差分情報存在フラグを符号化する段階をさらに含み、
    前記現在ピクチャが単一のスライスから構成される場合、前記差分情報存在フラグの符号化を省略することを特徴とする、請求項８に記載の映像符号化方法。
  13. 前記タイルインデックス差分情報は、前記スライスが含むタイルと次のスライスが含むタイルとの間のインデックス差分を示すことを特徴とする、請求項１２に記載の映像符号化方法。
JP2021575982A 2019-06-20 2020-06-18 映像信号の符号化／復号化方法及びそのための装置 Active JP7492542B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0073788 2019-06-20
KR20190073788 2019-06-20
KR10-2020-0019413 2020-02-18
KR20200019413 2020-02-18
PCT/KR2020/007920 WO2020256442A1 (ko) 2019-06-20 2020-06-18 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
JP2022537767A true JP2022537767A (ja) 2022-08-29
JP7492542B2 JP7492542B2 (ja) 2024-05-29

Family

ID=74040551

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021575982A Active JP7492542B2 (ja) 2019-06-20 2020-06-18 映像信号の符号化／復号化方法及びそのための装置

Country Status (7)

Country Link
US (3) US11184611B2 (ja)
EP (1) EP3989550A4 (ja)
JP (1) JP7492542B2 (ja)
KR (1) KR20200145742A (ja)
CN (1) CN112930683A (ja)
AU (1) AU2020296613A1 (ja)
WO (1) WO2020256442A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022549289A (ja) * 2019-09-23 2022-11-24 華為技術有限公司 サブピクチャベースのビデオコーディングにおけるサブピクチャごとの１つのスライスの指示
JP2022549427A (ja) * 2019-09-20 2022-11-25 ノキア テクノロジーズ オサケユイチア ビデオコーディングおよびデコーディングのための装置、方法、およびコンピュータプログラム
JP2023509347A (ja) * 2019-12-17 2023-03-08 アップル インコーポレイテッド 画像信号の符号化／復号方法およびそのための装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
JP7427688B2 (ja) * 2019-03-06 2024-02-05 シャープ株式会社 ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法
KR20200145742A (ko) * 2019-06-20 2020-12-30 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2021164783A1 (en) * 2020-02-21 2021-08-26 Beijing Bytedance Network Technology Co., Ltd. Signaling of slice and tile picture partitions
AU2021226398A1 (en) 2020-02-28 2022-09-29 Huawei Technologies Co., Ltd. A decoder and corresponding methods to signal picture partitioning information for slices

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9215473B2 (en) * 2011-01-26 2015-12-15 Qualcomm Incorporated Sub-slices in video coding
US9325999B2 (en) * 2011-03-10 2016-04-26 Sharp Kabushiki Kaisha Video decoder for slices
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
CN104170384A (zh) * 2012-06-25 2014-11-26 索尼公司 图像解码设备、图像解码方法、图像编码设备和图像编码方法
JP6214235B2 (ja) * 2012-07-02 2017-10-18 キヤノン株式会社 ファイル生成方法、ファイル生成装置、及びプログラム
US20140192899A1 (en) * 2013-01-09 2014-07-10 Mediatek Inc. Method and apparatus for referring to bitstream address related information derived from segment of multi-tile picture to determine bitstream start address of tile of multi-tile picture
US9832467B2 (en) * 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
US10419768B2 (en) * 2016-03-30 2019-09-17 Qualcomm Incorporated Tile grouping in HEVC and L-HEVC file formats
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
KR102390413B1 (ko) * 2017-03-03 2022-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
KR20190024212A (ko) * 2017-08-31 2019-03-08 세종대학교산학협력단 타일 구조의 구성 방법 및 이의 장치
US11394971B2 (en) * 2019-02-26 2022-07-19 Apple Inc. Image signal encoding/decoding method and device for same
CN112789860A (zh) * 2019-04-17 2021-05-11 株式会社 Xris 用于对图像信号进行编码/解码的方法及其装置
KR20200145742A (ko) * 2019-06-20 2020-12-30 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022549427A (ja) * 2019-09-20 2022-11-25 ノキア テクノロジーズ オサケユイチア ビデオコーディングおよびデコーディングのための装置、方法、およびコンピュータプログラム
JP7390477B2 (ja) 2019-09-20 2023-12-01 ノキア テクノロジーズ オサケユイチア ビデオコーディングおよびデコーディングのための装置、方法、およびコンピュータプログラム
JP2022549289A (ja) * 2019-09-23 2022-11-24 華為技術有限公司 サブピクチャベースのビデオコーディングにおけるサブピクチャごとの１つのスライスの指示
JP7469464B2 (ja) 2019-09-23 2024-04-16 華為技術有限公司 サブピクチャベースのビデオコーディングにおけるサブピクチャごとの１つのスライスの指示
JP2023509347A (ja) * 2019-12-17 2023-03-08 アップル インコーポレイテッド 画像信号の符号化／復号方法およびそのための装置
JP7486586B2 (ja) 2019-12-17 2024-05-17 アップル インコーポレイテッド 画像信号の符号化／復号方法およびそのための装置

Also Published As

Publication number Publication date
CN112930683A (zh) 2021-06-08
US20220103818A1 (en) 2022-03-31
WO2020256442A1 (ko) 2020-12-24
AU2020296613A1 (en) 2022-02-17
JP7492542B2 (ja) 2024-05-29
EP3989550A1 (en) 2022-04-27
US11722665B2 (en) 2023-08-08
KR20200145742A (ko) 2020-12-30
US11184611B2 (en) 2021-11-23
US20210250584A1 (en) 2021-08-12
US20230319273A1 (en) 2023-10-05
EP3989550A4 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
US20240007618A1 (en) Method for encoding/decoding image signal and device for same
JP7492542B2 (ja) 映像信号の符号化／復号化方法及びそのための装置
KR102617439B1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
JP7305879B2 (ja) 映像信号の符号化／復号方法およびその装置
KR102619997B1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20200122254A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR102597461B1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
JP2022548220A (ja) 映像信号符号化／復号化方法及びそのための装置
KR20200104252A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
JP7486586B2 (ja) 画像信号の符号化／復号方法およびそのための装置
JP2024045193A (ja) 映像信号の符号化／復号方法およびそのための装置
KR20200145763A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20210123950A (ko) 비디오 신호 처리 방법 및 장치
KR20210061944A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
KR20210108836A (ko) 비디오 신호 처리 방법 및 장치
KR20210108834A (ko) 비디오 신호 처리 방법 및 장치
KR20210122524A (ko) 비디오 신호 처리 방법 및 장치
KR20210101829A (ko) 비디오 신호 처리 방법 및 장치
KR20210113922A (ko) 비디오 신호 처리 방법 및 장치
KR20210121484A (ko) 비디오 신호 처리 방법 및 장치
KR20210120389A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240517