JP2022509024A - ビデオ信号の符号化／復号方法及び前記方法のための装置 - Google Patents

ビデオ信号の符号化／復号方法及び前記方法のための装置 Download PDF

Info

Publication number
JP2022509024A
JP2022509024A JP2021523845A JP2021523845A JP2022509024A JP 2022509024 A JP2022509024 A JP 2022509024A JP 2021523845 A JP2021523845 A JP 2021523845A JP 2021523845 A JP2021523845 A JP 2021523845A JP 2022509024 A JP2022509024 A JP 2022509024A
Authority
JP
Japan
Prior art keywords
block
prediction
sample
affine
merge candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021523845A
Other languages
English (en)
Other versions
JPWO2020096388A5 (ja
JP7430721B2 (ja
Inventor
リー、ベグン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2022509024A publication Critical patent/JP2022509024A/ja
Publication of JPWO2020096388A5 publication Critical patent/JPWO2020096388A5/ja
Priority to JP2024010339A priority Critical patent/JP2024045337A/ja
Application granted granted Critical
Publication of JP7430721B2 publication Critical patent/JP7430721B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Abstract

Figure 2022509024000001
本発明のビデオ復号方法は、符号化ブロックを第１予測ユニット及び第２予測ユニットに分割するかどうかを決定することと、前記符号化ブロックを分割することを決定する場合、前記符号化ブロックの分割タイプを決定することと、前記符号化ブロックの前記第１予測ユニットの第１運動情報及び前記第２予測ユニットの第２運動情報を導き出すことと、前記第１運動情報及び前記第２運動情報に基づいて前記符号化ブロックにおける予測サンプルを取得することと、を含む。

Description

本発明はビデオ信号の符号化／復号方法及び前記方法のための装置に関する。
表示パネルが大きくなるにつれて、画質の一層高いビデオサービスを必要とすることになっている。高解像度ビデオサービスの最大問題はデータ量が大幅に増加することである。このような問題を解決するために、ビデオ圧縮率を向上するための研究を積極的に行っている。代表例として、動画専門家グループ（ＭＰＥＧ、Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）及び国際電気通信連合－電気通信（ＩＴＵ－Ｔ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ）傘下のビデオ符号化専門家グループ（ＶＣＥＧ、Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は２００９年で映像符号化共同研究部会ＪＣＴ－ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を設立した。ＪＣＴ－ＶＣはビデオ圧縮規格ＨＥＶＣ（高効率映像符号化、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）を提案し、２０１３年１月２５日に承認を得たが、その圧縮性能が約Ｈ．２６４／ＡＶＣの２倍である。高解像度ビデオサービスの急速な発展に伴い、ＨＥＶＣの性能の限定性も徐々に明らかになっている。
本発明の目的はビデオ信号を符号化／復号する際に符号化ブロックを複数の予測ブロックに分割する方法及び前記方法を実行するための装置を提供することにある。
本発明の目的はビデオ信号を符号化／復号する際に複数の予測ブロックのうちの各予測ブロックの運動情報を導き出す方法及び前記方法を実行するための装置を提供することにある。
本発明の目的はビデオ信号を符号化／復号する際にインター運動情報リストを使用してマージ候補を導き出す方法及び前記方法を実行するための装置を提供することにある。
本発明が実現しようとする技術的課題は以上に言及した技術的課題に限らず、当業者は以下の説明から言及しない他の技術的課題を明確に理解することができる。
本発明のビデオ信号の符号化／復号方法は、符号化ブロックを第１予測ユニット及び第２予測ユニットに分割するかどうかを決定することと、前記符号化ブロックを分割することを決定する場合、前記符号化ブロックの分割タイプを決定することと、前記符号化ブロックの前記第１予測ユニットの第１運動情報及び前記第２予測ユニットの第２運動情報を導き出すことと、前記第１運動情報及び前記第２運動情報に基づいて前記符号化ブロックにおける予測サンプルを取得することと、を含む。このような場合、第１マージ候補に基づいて前記第１予測ユニットの前記第１運動情報を取得してもよく、前記第１マージ候補は第１インデックス情報によりマージ候補リストに含まれる複数のマージ候補から指定されたものであり、第２マージ候補に基づいて前記第２予測ユニットの前記第２運動情報を取得してもよく、前記第２マージ候補は第２インデックス情報により前記マージ候補リストに含まれる複数のマージ候補から指定されたものである。
本発明のビデオ信号の符号化／復号方法では、前記第２インデックス情報の値が前記第１インデックス情報の値以上である場合、前記第２マージ候補はインデックスとして前記第２インデックス情報の値に１を加えた値を有してもよい。
本発明のビデオ信号の符号化／復号方法では、前記第２インデックス情報の値が前記第１インデックス情報の値より小さい場合、前記第２インデックス情報の値を前記第２マージ候補のインデックスとしてもよい。
本発明のビデオ信号の符号化／復号方法では、前記予測サンプルが前記第１予測ユニット及び前記第２予測ユニットの境界領域に含まれる場合、前記第１運動情報に基づいて導き出した第１予測サンプル及び前記第２運動情報に基づいて導き出した第２予測サンプルの重み付け及び演算によって前記予測サンプルを導き出してもよい。
本発明のビデオ信号の符号化／復号方法では、前記予測サンプルのｘ軸座標及びｙ軸座標に基づいて前記第１予測サンプルに応用される第１重み付け値を決定してもよい。
本発明のビデオ信号の符号化／復号方法では、定数から前記第１重み付け値を引くことにより、前記第２予測サンプルに応用される第２重み付け値を導き出してもよい。
本発明のビデオ信号の符号化／復号方法では、前記符号化ブロックのサイズ又は前記符号化ブロックの形状のうちの少なくとも１つに基づいて前記境界領域のサイズを決定してもよい。
以上に本発明を簡単に説明した特徴は以下に説明しようとする本発明の詳細説明の例示的な実施形態であって、本発明の範囲を制限するものではない。
本発明によれば、符号化ブロックを複数の予測ブロックに分割して複数の予測ブロックのうちの各予測ブロックの運動情報を導き出す方法を提供することにより、インター予測効率を向上させることができる。
本発明によれば、インター運動情報リストを使用してマージ候補を導き出す方法を提供することにより、インター予測効率を向上させることができる。
本発明に実現できる効果は上記効果に限らず、当業者は以下の説明から言及しない他の効果を明確に理解することができる。
図１は本発明の実施例のビデオエンコーダ（ｅｎｃｏｄｅｒ）のブロック図である。 図２は本発明の実施例のビデオデコーダ（ｄｅｃｏｄｅｒ）のブロック図である。 図３は本発明の実施例の基本符号化木ユニットを示す図である。 図４は符号化ブロックの複数の分割タイプを示す図である。 図５は符号化木ユニットの分割例を示す図である。 図６は本発明の実施例のインター予測方法のフローチャートである。 図７はオブジェクトの非線形運動を示す図である。 図８は本発明の実施例に係るアフィン運動に基づくインター予測方法を示すフローチャートである。 図９は各アフィン運動モデルのアフィンシードベクトルの例を示す図である。 図１０は４パラメータ運動モデルにおけるサブブロックのアフィンベクトルの例を示す図である。 図１１はマージ候補を導き出すために使用できる隣接ブロックを示す図である。 図１２はアフィン隣接ブロックのアフィンシードベクトルに基づいて現在ブロックのアフィンシードベクトルを導き出すことを示す図である。 図１３はサブブロックの運動ベクトルをアフィン隣接ブロックのアフィンシードベクトルとして設定する例を示す図である。 図１４は参照サンプルの位置を示す図である。 図１５は参照サンプルの位置を示す図である。 図１６は参照サンプルの位置を示す図である。 図１７は修正されたアフィンマージベクトルの導き出し方法の応用例を示す図である。 図１８は隣接ブロックに属する複数のサブブロックの複数の運動ベクトルに基づいてアフィンマージ候補のアフィンシードベクトルを導き出す例を示す図である。 図１９は現在ブロックの左側に位置する複数のサブブロックの運動ベクトルに基づいてアフィンマージ候補のアフィンシードベクトルを導き出す例を示す図である。 図２０は現在ブロックの左側に位置する非隣接ブロック又は隣接ブロックの運動情報に基づいてアフィンマージ候補のアフィンシードベクトルを導き出す例を示す図である。 図２１はアフィンマージ候補のアフィンシードベクトルを導き出すためのブロックの位置を示す図である。 図２２は複数の隣接ブロックの複数の運動ベクトルを組み合わせて組合せマージ候補を導き出す例を説明するための図である。 図２３は隣接ブロックが使用できないことを示す図である。 図２４はマージモードにおいて現在ブロックの運動情報を導き出す過程のフローチャートである。 図２５はインター運動情報リストの更新例を説明するための図である。 図２６はインターマージ候補リストを更新する実施例を示す図である。 図２７は予め記憶されるインターマージ候補のインデックスが更新された例を示す図である。 図２８は代表的なサブブロックの位置を示す図である。 図２９は異なるインター予測モードに対してインター運動情報リストを生成することを示す例。 図３０は長期運動情報リストに含まれるインターマージ候補をマージ候補リストに追加する例を示す図である。 図３１はマージ候補のうちのいくつかのマージ候補のみに対して冗長検査を行う例を示す図である。 図３２は特定のマージ候補に対して冗長検査を省略する例を示す図である。 図３３は対角線を使用して符号化ブロックを複数の予測ユニットに分割する例を示す図である。 図３４は符号化ブロックを２つの予測ユニットに分割する例を示す図である。 図３５は符号化ブロックを異なるサイズの複数の予測ブロックに分割する例を示す図である。 図３６は三角形マージ候補を導き出すための隣接ブロックを示す図である。 図３７は各三角形予測ユニットの隣接ブロックの利用可能性を決定する例を説明するための図である。 図３８は第１予測サンプル及び第２予測サンプルの重み付け及び演算によって予測サンプルを導き出す例を示す図である。 図３９は第１予測サンプル及び第２予測サンプルの重み付け及び演算によって予測サンプルを導き出す例を示す図である。 図４０は本発明の実施例に係るイントラ予測方法を示すフローチャートである。 図４１はイントラ予測モードを示す図である。 図４２は参照サンプルを１行に配列する一次元配列の例を示す図である。 図４３は参照サンプルを１行に配列する一次元配列の例を示す図である。 図４４は角度イントラ予測モードとｘ軸に平行する直線とがなす角度を示す図である。 図４５は現在ブロックが非正方形である場合に予測サンプルを取得する例を示す図である。 図４６は広角イントラ予測モードを示す図である。 図４７はブロック化強度の決定過程を示すフローチャートである。 図４８は予め定義されたフィルタ候補を示す図である。
以下、図面を参照しながら本発明の実施例を詳しく説明する。
ビデオの符号化及び復号はブロック単位で実行される。例えば、符号化ブロック、変換ブロック又は予測ブロックに対して、変換、量子化、予測、ループ内フィルタリング又は復元等の符号化／復号処理を実行することができる。
以下、符号化／復号されようとするブロックは「現在ブロック」と称される。例えば、現在符号化／復号処理ステップによって、現在ブロックは符号化ブロック、変換ブロック又は予測ブロックを示してもよい。
また、本明細書に使用される用語「ユニット」は特定の符号化／復号過程を実行するための基本ユニットを示し、「ブロック」は所定サイズのサンプル配列を示すと理解されてもよい。特に断りがない限り、「ブロック」と「ユニット」は交換可能に使用される。例えば、以下に説明される実施例では、符号化ブロックと符号化ユニットが同じ意味を有すると理解されてもよい。
図１は本発明の実施例のビデオエンコーダ（ｅｎｃｏｄｅｒ）のブロック図である。
図１に示すように、ビデオ符号化装置１００はピクチャ分割部１１０、予測部１２０、１２５、変換部１３０、量子化部１３５、並べ替え部１６０、エントロピー符号化部１６５、逆量子化部１４０、逆変換部１４５、フィルタ部１５０及びメモリ１５５を含んでもよい。
各部材が分離したハードウェア又は単一のソフトウェアコンポーネントからなることを示さず、ビデオ符号化装置の様々な特徴的機能を示すように、図１に示される各部材は独立して示される。即ち、説明の都合上、代表的な構造要素として各構造要素を列挙して含み、且つ少なくとも２つの構造要素は１つの構造要素に組み合わせられ、又は１つの構造要素を複数の構造要素に分割させることができ、これにより、機能を実行する。本発明の本質から逸脱しない限り、このような各構造要素を組み合わせる実施例及び各構造要素を分離させる実施例も本発明の権限範囲に属する。
また、一部の構造要素は本発明において本質的機能を実行するために必要な構造要素ではなく、性能を向上させるだけに用いられる選択可能な構造要素である。本発明は本発明の本質を実現するために必要な部材のみを含む（性能を向上させるための構造要素を含まない）ことにより実施されてもよく、且つ、必要な構造要素のみを含む（性能を向上させるための構造要素を含まない）構造も本発明の権限範囲に属する。
ピクチャ分割部１１０は入力されたピクチャを少なくとも１つの処理ユニットに分割することができる。このような場合、処理ユニットは予測ユニット（ＰＵ、Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）であってもよく、変換ユニット（ＴＵ、Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）であってもよく、符号化ユニット（ＣＵ、Ｃｏｄｉｎｇ Ｕｎｉｔ）であってもよい。ピクチャ分割部１１０は１つのピクチャを複数の符号化ユニット、予測ユニット及び変換ユニットの組み合わせに分割し、所定規格（例えば、コスト関数）に基づいて符号化ユニット、予測ユニット及び変換ユニットの組み合わせを選択してピクチャを符号化することができる。
例えば、１つのピクチャを複数の符号化ユニットに分割してもよい。ピクチャを符号化ユニットに分割するために、例えば４分木構造（Ｑｕａｄ Ｔｒｅｅ Ｓｔｒｕｃｔｕｒｅ）の再帰型ツリー構造を使用してもよく、１つのビデオ又は最大符号化ユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ）をルートとして符号化ユニットを他の符号化ユニットに分割することができ、前記符号化ユニットは分割された符号化ユニット数と同じ数の子ノードを有してもよい。何らかの制限によって、再び分割されない符号化ユニットは葉ノードとなる。即ち、１つの符号化ユニットが正方形分割しか実現できないと仮定すれば、１つの符号化ユニットは多くとも４つの他の符号化ユニットに分割され得る。
以下、本発明の実施例では、符号化ユニットとは符号化を実行するユニットを意味してもよく、更に復号を実行するユニットを意味してもよい。
１つの符号化ユニットにおける予測ユニットを少なくとも１つの同じサイズの正方形又は矩形に分割してもよいし、１つの符号化ユニットにおける１つの予測ユニットを他の予測ユニットと異なる形状及び／又はサイズに分割してもよい。
符号化ユニットによりイントラ予測を実行する予測ユニットは最小符号化ユニットではない場合、複数の予測ユニットＮ×Ｎに分割せずにイントラ予測を実行してもよい。
予測部１２０、１２５はインター予測を実行するインター予測部１２０と、イントラ予測を実行するイントラ予測部１２５とを含んでもよい。予測ユニットに対してインター予測を使用するかそれともイントラ予測を実行するかを決定して、各予測方法に基づいて具体的な情報（例えば、イントラ予測モード、運動ベクトル、参照ピクチャ等）を決定してもよい。このような場合、予測を実行する処理ユニットは予測方法及び具体的な内容を決定する処理ユニットと異なる可能性がある。例えば、予測ユニットによって予測方法及び予測モード等を決定してもよく、変換ユニットによって予測を実行してもよい。生成された予測ブロックと原ブロックとの残余値（残余ブロック）は変換部１３０に入力され得る。また、予測のための予測モード情報、運動ベクトル情報等を残余値とともにエントロピー符号化部１６５において符号化して、デコーダに伝送してもよい。特定の符号化モードを使用する場合、予測部１２０、１２５により予測ブロックを生成せずに、原ブロックを直接符号化してデコーダに伝送してもよい。
インター予測部１２０は現ピクチャの前のピクチャ又は後のピクチャのうちの少なくとも１つのピクチャの情報に基づいて予測ユニットを予測してもよい。いくつかの場合、更に現ピクチャにおける符号化された一部の領域の情報に基づいて予測ユニットを予測してもよい。インター予測部１２０は参照ピクチャ補間部、運動予測部、運動補償部を含んでもよい。
参照ピクチャ補間部はメモリ１５５から参照ピクチャ情報を受信して、参照ピクチャに基づいて整数画素又は分数画素の画素情報を生成することができる。輝度画素については、１／４画素単位で分数画素の画素情報を生成するために、フィルタ係数の異なるＤＣＴベース８次元補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を使用してもよい。色度信号については、１／８画素単位で分数画素の画素情報を生成するために、フィルタ係数の異なるＤＣＴベース４次元補間フィルタ（ＤＣＴ－ｂａｓｅｄ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｆｉｌｔｅｒ）を使用してもよい。
運動予測部は参照ピクチャ補間部により補間された参照ピクチャに基づいて運動予測を実行することができる。運動ベクトルの計算方法はフルサーチブロックマッチングアルゴリズム（ＦＢＭＡ、Ｆｕｌｌ ｓｅａｒｃｈ－ｂａｓｅｄ Ｂｌｏｃｋ Ｍａｔｃｈｉｎｇ Ａｌｇｏｒｉｔｈｍ）、３段探索法（ＴＳＳ、Ｔｈｒｅｅ Ｓｔｅｐ Ｓｅａｒｃｈ）、新たな３段探索アルゴリズム（ＮＴＳ、Ｎｅｗ Ｔｈｒｅｅ－Ｓｔｅｐ Ｓｅａｒｃｈ Ａｌｇｏｒｉｔｈｍ）等の複数の方法を使用してもよい。運動ベクトルは補間された画素に基づいて１／２画素又は１／４画素を単位とする運動ベクトル値を有してもよい。運動予測部において様々な運動予測方法を用いて現在予測ユニットを予測してもよい。運動予測方法はスキップ（Ｓｋｉｐ）方法、マージ（Ｍｅｒｇｅ）方法、高度動きベクトル予測（ＡＭＶＰ、Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）方法、イントラブロックコピー（Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ）方法等の複数の方法を使用してもよい。
イントラ予測部１２５は現在ブロック周辺の参照画素情報（前記参照画素情報が現ピクチャにおける画素情報である）に基づいて予測ユニットを生成することができる。現在予測ユニットの隣接ブロックがインター予測を実行したブロックであり且つ参照画素がインター予測を実行した画素である場合、インター予測を実行したブロックに含まれる参照画素を、周辺のイントラ予測を実行したブロックの参照画素情報として使用してもよい。即ち、参照画素が利用不可能である場合、利用可能な参照画素のうちの少なくとも１つの参照画素で利用不可能な参照画素情報を代替してもよい。
イントラ予測において、予測モードは予測方向に基づいて参照画素情報を使用する角度予測モードと、予測を実行する際に方向情報を使用しない非角度モードとを有してもよい。輝度情報の予測モードと色度情報の予測モードとが異なってもよく、色度情報を予測するために、輝度情報を予測するために使用したイントラ予測モード情報又は予測された輝度信号情報を使用してもよい。
イントラ予測を実行するとき、予測ユニットのサイズが変換ユニットのサイズと同じである場合、予測ユニットの左側に位置する画素、左上に位置する画素、上方に位置する画素に基づいて予測ユニットに対してイントラ予測を実行してもよい。しかしながら、イントラ予測を実行するとき、予測ユニットのサイズが変換ユニットのサイズと異なる場合、変換ユニットの参照画素に基づいてイントラ予測を実行してもよい。また、最小符号化ユニットのみに対してＮ×Ｎ分割を用いるイントラ予測を応用してもよい。
予測モードに基づいて参照画素に対して適応型画面内平滑化（ＡＩＳ、Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルタを応用した後、イントラ予測方法は予測ブロックを生成してもよい。参照画素に応用される適応型画面内平滑化フィルタのタイプが異なる可能性がある。イントラ予測方法を実行するために、現在予測ユニットの周辺に位置する予測ユニットのイントラ予測モードに基づいて現在予測ユニットのイントラ予測モードを予測してもよい。周辺予測ユニットから予測されたモード情報を使用して現在予測ユニットの予測モードを予測する場合、現在予測ユニット及び周辺予測ユニットのイントラ予測モードが同じであれば、所定のフラグ情報を使用して、現在予測ユニット及び周辺予測ユニットの予測モードが同じであることを示す情報を伝送してもよく、現在予測ユニット及び周辺予測ユニットの予測モードが異なれば、エントロピー符号化を実行することにより現在ブロックの予測モード情報を符号化してもよい。
また、残余情報を含む残余ブロックを生成することができ、前記残余情報は予測部１２０、１２５において生成された予測ユニットにより予測を実行する予測ユニットと予測ユニットの原ブロックとの差分である。生成された残余ブロックを変換部１３０に入力することができる。
変換部１３０において、離散コサイン変換（ＤＣＴ、Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又は離散サイン変換（ＤＳＴ、Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等の変換方法を使用して残余ブロックを変換してもよく、前記残余ブロックは原ブロックと予測部１２０、１２５により生成された予測ユニットとの残余値（ｒｅｓｉｄｕａｌ）情報を含む。ＤＣＴ変換コアはＤＣＴ２又はＤＣＴ８のうちの少なくとも１つを含み、ＤＳＴ変換コアはＤＳＴ７を含む。残余ブロックを生成するために使用した予測ユニットのイントラ予測モード情報に基づいて、ＤＣＴを応用して残余ブロックを変換するかそれともＤＳＴを応用して残余ブロックを変換するかを決定してもよい。更に残余ブロックの変換をスキップしてもよい。残余ブロックの変換をスキップするかどうかを示すフラグを符号化してもよい。サイズが閾値以下である残余ブロック、輝度成分又は色度成分（４：４：４フォーマット以下）は、変換をスキップすることが許容されてもよい。
量子化部１３５は変換部１３０において周波数領域に変換された値を量子化してもよい。量子化係数はブロック又はビデオの重要性によって変化してもよい。逆量子化部１４０及び並べ替え部１６０に量子化部１３５における計算された値を提供することができる。
並べ替え部１６０は量子化された残余値に対して係数値の並べ替えを実行してもよい。
並べ替え部１６０は係数スキャニング（Ｃｏｅｆｆｉｃｉｅｎｔ Ｓｃａｎｎｉｎｇ）方法によって２次元のブロック形状係数を１次元のベクトル形式に変更することができる。例えば、並べ替え部１６０はジグザグスキャン（Ｚｉｇ－Ｚａｇ Ｓｃａｎ）方法を使用してＤＣ係数乃至高周波数領域の係数を走査して、１次元ベクトル形式に変更することができる。変換ユニットのサイズ及びイントラ予測モードに基づいて、ジグザグスキャンの代わりに、更に列方向に沿って２次元ブロック形状係数を走査する垂直走査と、行方向に沿って２次元ブロック形状係数を走査する水平走査とを使用してもよい。即ち、変換ユニットのサイズ及びイントラ予測モードに基づいて、ジグザグスキャン、垂直方向走査及び水平方向走査のうちのどの走査方法を使用するかを決定してもよい。
エントロピー符号化部１６５は並べ替え部１６０により計算された値に基づいてエントロピー符号化を実行してもよい。例えば、エントロピー符号化は指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、コンテキスト適応型可変長符号化（ＣＡＶＬＣ、Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ、Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等の複数の符号化方法を使用してもよい。
エントロピー符号化部１６５は並べ替え部１６０及び予測部１２０、１２５からの符号化ユニットの残余値係数情報及びブロックタイプ情報、予測モード情報、分割ユニット情報、予測ユニット情報及び伝送ユニット情報、運動ベクトル情報、参照フレーム情報、ブロックの補間情報、フィルタリング情報等の複数の情報を符号化してもよい。
エントロピー符号化部１６５は並べ替え部１６０から入力された符号化ユニットの係数値に対してエントロピー符号化を行うことができる。
逆量子化部１４０及び逆変換部１４５は量子化部１３５により量子化された複数の値を逆量子化して、変換部１３０により変換された値を逆変換する。逆量子化部１４０及び逆変換部１４５において生成された残余値は予測部１２０、１２５に含まれる運動予測部、運動補償部及びイントラ予測部により予測された予測ユニットとマージすることにより、復元ブロック（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ Ｂｌｏｃｋ）を生成することができる。
フィルタ部１５０はデブロッキングフィルタ、オフセット補正部（ｏｆｆｓｅｔ ｃｏｒｒｅｃｔｉｏｎ ｕｎｉｔ）、適応型ループフィルタ（ＡＬＦ、Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）のうちの少なくとも１つを含んでもよい。
デブロッキングフィルタはブロック間の境界により復元されたピクチャにおいて生成されたブロック歪みを除去することができる。デブロックを実行するかどうかを判断するために、ブロックに含まれるいくつかの列又は行に含まれる画素に基づいて、現在ブロックに対してデブロッキングフィルタを応用するかどうかを判断してもよい。ブロックに対してデブロッキングフィルタを応用する場合、必要なデブロッキングフィルタリング強度に基づいてストロングフィルタ（Ｓｔｒｏｎｇ Ｆｉｌｔｅｒ）又はウィークフィルタ（Ｗｅａｋ Ｆｉｌｔｅｒ）を応用してもよい。また、デブロッキングフィルタの使用過程において、垂直フィルタリング及び水平フィルタリングを実行するとき、水平方向フィルタリング及び垂直方向フィルタリングを同期処理してもよい。
オフセット補正部は画素単位でデブロックピクチャとオリジナルピクチャとの間のオフセットを補正してもよい。ピクチャに含まれる画素を所定数の領域に分割した後、オフセットを実行しようとする領域を決定して、対応の領域に対してオフセットを応用し、又は各画素のエッジ情報を考慮した上でオフセットを応用するという方式で、指定されたピクチャをオフセット補正してもよい。
フィルタリング後の復元ピクチャとオリジナルピクチャとを比較した値に基づいて適応型ループフィルタリング（ＡＬＦ、Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒｉｎｇ）を実行してもよい。ピクチャに含まれる画素を所定組に分割した後、対応の組に使用されようとする１つのフィルタを決定してもよく、各組に対してフィルタリングを区別的に実行してもよい。各符号化ユニット（ＣＵ、Ｃｏｄｉｎｇ Ｕｎｉｔ）に対して輝度信号によって適応型ループフィルタリングを応用するかどうかに関連する情報を伝送してもよく、応用されようとする適応型ループフィルタの形状及びフィルタ係数は各ブロックによって異なってもよい。また、応用されるブロックの特性にかかわらず、更に同じタイプ（固定タイプ）のＡＬＦを応用することができる。
メモリ１５５はフィルタ部１５０により計算された復元ブロック又はピクチャを記憶することができ、インター予測を実行する際に記憶される復元ブロック又はピクチャを予測部１２０、１２５に提供することができる。
図２は本発明の実施例のビデオデコーダ（ｄｅｃｏｄｅｒ）のブロック図である。
図２に示すように、ビデオデコーダ２００はエントロピー復号部２１０、並べ替え部２１５、逆量子化部２２０、逆変換部２２５、予測部２３０、予測部２３５、フィルタ部２４０、メモリ２４５を含んでもよい。
ビデオエンコーダからビデオビットストリームを入力するとき、ビデオエンコーダと反対のステップに応じて入力されたビットストリームを復号してもよい。
エントロピー復号部２１０はビデオエンコーダのエントロピー符号化部においてエントロピー符号化を実行するステップと反対のステップに応じてエントロピー復号してもよい。例えば、ビデオエンコーダにおいて実行される方法に対応して、指数ゴロム（Ｅｘｐｏｎｅｎｔｉａｌ Ｇｏｌｏｍｂ）、コンテキスト適応型可変長符号化（ＣＡＶＬＣ、Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、コンテキスト適応型バイナリ算術符号化（ＣＡＢＡＣ、Ｃｏｎｔｅｘｔ－Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）等の複数の方法を応用してもよい。
エントロピー復号部２１０はエンコーダにより実行されるイントラ予測及びインター予測に関連する情報を復号してもよい。
並べ替え部２１５は符号化部においてエントロピー復号部２１０によりエントロピー復号されたビットストリームを並べ替える方法に基づいて並べ替えを実行することができる。１次元ベクトル形式で示される複数の係数を２次元ブロック形状の係数に復元して並べ替えてもよい。並べ替え部２１５は、符号化部により実行された係数スキャニングに関連する情報を受信して、対応の符号化部により実行される走査順序に従って逆向走査を行う方式で、並べ替えを実行してもよい。
逆量子化部２２０はエンコーダの提供する量子化パラメータ及び並べ替えられるブロックの係数値に基づいて逆量子化を実行してもよい。
逆変換部２２５はビデオエンコーダにより実行される量子化結果に対して逆離散コサイン変換、逆離散サイン変換を実行してもよく、前記逆離散コサイン変換、逆離散サイン変換は変換部において実行される変換の逆変換、即ち離散コサイン変換、離散サイン変換の逆変換に属する。ＤＣＴ変換コアはＤＣＴ２又はＤＣＴ８のうちの少なくとも１つを含んでもよく、ＤＳＴ変換コアはＤＳＴ７を含んでもよい。代替的に、ビデオエンコーダにおいて変換をスキップすれば、逆変換部２２５は逆変換を実行しなくてもよい。逆変換はビデオエンコーダにより決定された伝送ユニットにより実行されてもよい。ビデオデコーダの逆変換部２２５は予測方法、現在ブロックのサイズ及び予測方向等の複数の情報に基づいて変換方法（例えば、ＤＣＴ又はＤＳＴ）を選択的に実行してもよい。
予測部２３０、２３５はエントロピー復号部２１０の提供する予測ブロックの生成に関連する情報及びメモリ２４５の提供する予め復号されたブロック又はピクチャ情報に基づいて予測ブロックを生成することができる。
以上のように、ビデオエンコーダにおける操作と同じ方式でイントラ予測を実行するとき、予測ユニットのサイズが変換ユニットのサイズと同じである場合、予測ユニットの左側に位置する画素、左上に位置する画素、上方に位置する画素に基づいて予測ユニットに対してイントラ予測を実行し、イントラ予測を実行する際の予測ユニットのサイズが変換ユニットのサイズと異なる場合、変換ユニットに基づく参照画素を使用してイントラ予測を実行してもよい。また、更に最小符号化ユニットのみに対してＮ×Ｎ分割を用いるイントラ予測を応用してもよい。
予測部２３０、２３５は予測ユニット判定部、インター予測部及びイントラ予測部を含んでもよい。予測ユニット判定部はエントロピー復号部２１０から入力された予測ユニット情報、イントラ予測方法の予測モード情報、インター予測方法の運動予測関連情報等の複数種類の情報を受信し、現在符号化ユニットに基づいて予測ユニットを分類して、予測ユニットがインター予測を実行しているかそれともイントラ予測を実行しているかを決定する。インター予測部２３０はビデオエンコーダの提供する現在予測ユニットのインター予測を実行するために必要な情報を使用して、現在予測ユニットの属する現ピクチャの前のピクチャ又は後のピクチャのうちの少なくとも１つのピクチャに含まれる情報に基づいて現在予測ユニットに対してインター予測を実行してもよい。代替的に、更に現在予測ユニットの属する現ピクチャにおける復元された一部の領域の情報に基づいてインター予測を実行してもよい。
インター予測を実行するために、符号化ユニットによって対応の符号化ユニットに含まれる予測ユニットの運動予測方法がスキップモード（Ｓｋｉｐ Ｍｏｄｅ）、マージモード（Ｍｅｒｇｅ Ｍｏｄｅ）、高度動きベクトル予測モード（ＡＭＶＰ Ｍｏｄｅ）、イントラブロックコピーモードのうちのどのモードであるかを判断してもよい。
イントラ予測部２３５は現ピクチャにおける画素情報に基づいて予測ブロックを生成することができる。予測ユニットがイントラ予測を実行した予測ユニットである場合、ビデオエンコーダの提供する予測ユニットのイントラ予測モード情報に基づいてイントラ予測を実行することができる。イントラ予測部２３５は適応型画面内平滑化（ＡＩＳ、Ａｄａｐｔｉｖｅ Ｉｎｔｒａ Ｓｍｏｏｔｈｉｎｇ）フィルタ、参照画素補間部、ＤＣフィルタを含んでもよい。適応型画面内平滑化フィルタは現在ブロックの参照画素に対してフィルタリングを実行する部分であり、現在予測ユニットの予測モードに基づいてフィルタを応用するかどうかを決定することができる。ビデオエンコーダの提供する予測ユニットの予測モード及び適応型画面内平滑化フィルタ情報を使用して現在ブロックの参照画素に対して適応型画面内平滑化フィルタリングを実行してもよい。現在ブロックの予測モードが適応型画面内平滑化フィルタリングを実行しないモードである場合、適応型画面内平滑化フィルタを応用しなくてもよい。
予測ユニットの予測モードが参照画素を補間する画素値に基づいてイントラ予測を実行する予測ユニットである場合、参照画素補間部は参照画素を補間することにより整数値又は分数値の画素単位の参照画素を生成することができる。現在予測ユニットの予測モードが参照画素を補間しない方式で予測ブロックを生成する予測モードである場合、参照画素を補間しなくてもよい。現在ブロックの予測モードがＤＣモードである場合、ＤＣフィルタはフィルタリングによって予測ブロックを生成してもよい。
復元されたブロック又はピクチャをフィルタ部２４０に提供してもよい。フィルタ部２４０はデブロッキングフィルタ、オフセット補正部、ＡＬＦを含んでもよい。
ビデオエンコーダから、対応のブロック又はピクチャに対してデブロッキングフィルタを応用するかどうかに関連する情報と、デブロッキングフィルタを応用する際にストロングフィルタを応用するかそれともウィークフィルタを応用するかに関連する情報とを受信することができる。ビデオデコーダのデブロッキングフィルタはビデオエンコーダの提供するデブロッキングフィルタに関連する情報を受信することができ、ビデオデコーダは対応ブロックに対してデブロックフィルタリングを実行することができる。
オフセット補正部は符号化時にピクチャに応用されるオフセット補正のタイプ及びオフセット量情報等に基づいて、復元されたピクチャに対してオフセット補正を実行することができる。
エンコーダの提供するＡＬＦを応用するかどうかに関連する情報、ＡＬＦ係数情報等に基づいて、ＡＬＦを符号化ユニットに応用してもよい。このようなＡＬＦ情報は特定のパラメータセットに含まれることで提供され得る。
メモリ２４５は復元されたピクチャ又はブロックを記憶し、前記ピクチャ又はブロックが参照ピクチャ又は参照ブロックとして利用できるようにし、且つ復元されたピクチャを出力部に提供することができる。
図３は本発明の実施例の基本符号化木ユニットを示す図である。
最大サイズの符号化ブロックを符号化木ブロックとして定義してもよい。１つのピクチャは複数の符号化木ユニット（ＣＴＵ、Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）に分割されてもよい。符号化木ユニットは最大サイズの符号化ユニットであり、更に最大符号化ユニット（ＬＣＵ、Ｌａｒｇｅｓｔ Ｃｏｄｉｎｇ Ｕｎｉｔ）と称されてもよい。図３には１つのピクチャを複数の符号化木ユニットに分割する例を示す。
符号化木ユニットのサイズはピクチャレベル又はシーケンスレベルで定義されてもよい。このため、ピクチャパラメータセット又はシーケンスパラメータセットによって信号で符号化木ユニットのサイズを示す情報を送信してもよい。
例えば、シーケンスにおけるピクチャ全体の符号化木ユニットのサイズは１２８×１２８として設定されてもよい。代替的に、ピクチャレベルの１２８×１２８又は２５６×２５６のうちのいずれか１つを符号化木ユニットのサイズとして決定してもよい。例えば、第１ピクチャにおける符号化木ユニットのサイズを１２８×１２８として設定してもよく、第２ピクチャにおける符号化木ユニットのサイズを２５６×２５６として設定してもよい。
符号化木ユニットを分割することにより符号化ブロックを生成することができる。符号化ブロックは符号化／復号処理を行うための基本ユニットを示す。例えば、異なる符号化ブロックによって予測又は変換を実行してもよく、又は異なる符号化ブロックによって予測符号化モードを決定してもよい。予測符号化モードは予測ピクチャの生成方法を示す。例えば、予測符号化モードは画面内予測（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ、イントラ予測）、画面間予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ、インター予測）、現ピクチャ参照（ＣＰＲ、Ｃｕｒｒｅｎｔ Ｐｉｃｔｕｒｅ Ｒｅｆｅｒｅｎｃｉｎｇ、又はイントラブロックコピー（ＩＢＣ、Ｉｎｔｒａ Ｂｌｏｃｋ Ｃｏｐｙ））又は組合せ予測（Ｃｏｍｂｉｎｅｄ Ｐｒｅｄｉｃｔｉｏｎ）を含んでもよい。符号化ブロックに対して、イントラ予測、インター予測、現ピクチャ参照又は組合せ予測のうちの少なくとも１つの予測符号化モードを使用して符号化ブロックに関連する予測ブロックを生成してもよい。
ビットストリームを介して信号によって現在ブロックの予測符号化モードを示す情報を送信してもよい。例えば、前記情報は予測符号化モードがイントラモードであるかそれともインターモードであるかを示す１ビットフラグであってもよい。現在ブロックの予測符号化モードがインターモードであると決定する場合のみ、現ピクチャ参照又は組合せ予測を使用してもよい。
現ピクチャ参照は現ピクチャを参照ピクチャとして設定して、現ピクチャにおける符号化／復号後の領域から現在ブロックの予測ブロックを取得することに用いられる。現ピクチャとは現在ブロックを含むピクチャを意味する。ビットストリームを介して信号によって現在ブロックに対して現ピクチャ参照を応用するかどうかを示す情報を送信してもよい。例えば、前記情報は１ビットフラグであってもよい。前記フラグが真である場合、現在ブロックの予測符号化モードを現ピクチャ参照として決定してもよく、前記フラグが偽である場合、現在ブロックの予測モードをインター予測として決定してもよい。
代替的に、参照ピクチャインデックスに基づいて現在ブロックの予測符号化モードを決定してもよい。例えば、参照ピクチャインデックスが現ピクチャを指す場合、現在ブロックの予測符号化モードを現ピクチャ参照として決定してもよい。参照ピクチャインデックスが現ピクチャではなく他のピクチャを指す場合、現在ブロックの予測符号化モードをインター予測として決定してもよい。即ち、現ピクチャ参照は現ピクチャにおける符号化／復号後の領域の情報を使用する予測方法であり、インター予測は符号化／復号後の他のピクチャの情報を使用する予測方法である。
組合せ予測はイントラ予測、インター予測及び現ピクチャ参照のうちの２つ以上が組み合わせられてなる符号化モードを示す。例えば、組合せ予測を応用する場合、イントラ予測、インター予測又は現ピクチャ参照のうちの１つによって第１予測ブロックを生成してもよく、イントラ予測、インター予測又は現ピクチャ参照のうちのもう１つによって第２予測ブロックを生成してもよい。第１予測ブロック及び第２予測ブロックを生成する場合、第１予測ブロック及び第２予測ブロックの平均演算又は重み付け及び演算によって最終的な予測ブロックを生成してもよい。ビットストリームを介して信号によって組合せ予測を応用するかどうかを示す情報を送信してもよい。前記情報は１ビットフラグであってもよい。
図４は符号化ブロックの複数の分割タイプを示す図である。
４分木分割、２分木分割又は３分木分割によって符号化ブロックを複数の符号化ブロックに分割してもよい。更に４分木分割、２分木分割又は３分木分割によって分割された符号化ブロックを複数の符号化ブロックに再び分割してもよい。
４分木分割とは現在ブロックを４つのブロックに分割する分割技術を意味する。４分木分割の結果として、現在ブロックを４つの正方形セグメントに分割してもよい（図４（ａ）部分における「ＳＰＬＩＴ＿ＱＴ」参照）。
２分木分割とは現在ブロックを２つのブロックに分割する分割技術を意味する。垂直方向に沿って（即ち、現在ブロックを横切る垂直線を使用して）現在ブロックを２つのブロックに分割する過程は垂直方向２分木分割と称されてもよく、水平方向に沿って（即ち、現在ブロックを横切る水平線を使用して）現在ブロックを２つのブロックに分割する過程は水平方向２分木分割と称されてもよい。２分木分割の結果として、現在ブロックを２つの非正方形セグメントに分割してもよい。図４（ｂ）部分における「ＳＰＬＩＴ＿ＢＴ＿ＶＥＲ」は垂直方向２分木分割結果を示し、図４（ｃ）部分における「ＳＰＬＩＴ＿ＢＴ＿ＨＯＲ」は水平方向２分木分割結果を示す。
３分木分割とは現在ブロックを３つのブロックに分割する分割技術を意味する。垂直方向に沿って（即ち、現在ブロックを横切る２つの垂直線を使用して）現在ブロックを３つのブロックに分割する過程は垂直方向３分木分割と称されてもよく、水平方向に沿って（即ち、現在ブロックを横切る２つの水平線を使用して）現在ブロックを３つのブロックに分割する過程は水平方向３分木分割と称されてもよい。３分木分割の結果として、現在ブロックを３つの非正方形セグメントに分割してもよい。このような場合、現在ブロックの中心に位置するセグメントの幅／高さは他のセグメントの幅／高さの２倍であってもよい。図４（ｄ）部分における「ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ」は垂直方向３分木分割結果を示し、図４（ｅ）部分における「ＳＰＬＩＴ＿ＴＴ＿ＨＯＲ」は水平方向３分木分割結果を示す。
符号化木ユニットの分割回数を分割深度（Ｐａｒｔｉｔｉｏｎｉｎｇ Ｄｅｐｔｈ）として定義してもよい。シーケンス又はピクチャレベルで符号化木ユニットの最大分割深度を決定してもよい。従って、符号化木ユニットの最大分割深度は様々なシーケンス又はピクチャによって異なってもよい。
代替的に、複数の分割技術のそれぞれに対して最大分割深度を独立して決定してもよい。例えば、４分木分割が許容される最大分割深度は２分木分割及び／又は３分木分割が許容される最大分割深度と異なってもよい。
エンコーダはビットストリームを介して信号によって現在ブロックの分割タイプ又は分割深度のうちの少なくとも１つを示す情報を送信してもよい。デコーダはビットストリームから解析された情報に基づいて符号化木ユニットの分割タイプ及び分割深度を決定してもよい。
図５は符号化木ユニットの分割例を示す図である。
４分木分割、２分木分割及び／又は３分木分割等の分割技術を使用して符号化ブロックを分割する過程はマルチツリー分割（Ｍｕｌｔｉ Ｔｒｅｅ Ｐａｒｔｉｔｉｏｎｉｎｇ）と称されてもよい。
符号化ブロックに対してマルチツリー分割を応用して生成した符号化ブロックは下游符号化ブロックと称されてもよい。符号化ブロックの分割深度がｋである場合、複数の下流符号化ブロックの分割深度がｋ＋１として設定される。
一方、分割深度ｋ＋１の符号化ブロックに対して、分割深度ｋの符号化ブロックは上流符号化ブロックと称されてもよい。
上流符号化ブロックの分割タイプ又は隣接符号化ブロックの分割タイプのうちの少なくとも１つに基づいて現在符号化ブロックの分割タイプを決定してもよい。隣接符号化ブロックは現在符号化ブロックに隣接し、現在符号化ブロックの上側隣接ブロック、左側隣接ブロック又は左上角に隣接する隣接ブロックのうちの少なくとも１つを含んでもよい。分割タイプは４分木に分割されるかどうか、２分木に分割されるかどうか、２分木の分割方向、３分木に分割されるかどうか又は３分木の分割方向のうちの少なくとも１つを含んでもよい。
符号化ブロックの分割タイプを決定するために、ビットストリームを介して信号によって符号化ブロックが分割されたかどうかを示す情報を送信してもよい。前記情報は１ビットフラグ「ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ」であり、前記フラグが真である場合、マルチツリー分割技術によって符号化ブロックを分割することを示す。
「ｓｐｌｉｔ＿ｃｕ＿ｆｌａｇ」が真である場合、ビットストリームを介して信号によって符号化ブロックが４分木分割されたかどうかを示す情報を送信してもよい。前記情報は１ビットフラグ「ｓｐｌｉｔ＿ｑｔ＿ｆｌａｇ」であり、前記フラグが真である場合、符号化ブロックは４つのブロックに分割され得る。
例えば、図５に示される例には符号化木ユニットが４分木分割されるにつれて分割深度１の４つの符号化ブロックを生成することを示す。また、４分木分割の結果として生成された４つの符号化ブロックのうちの１番目の符号化ブロック及び４番目の符号化ブロックに対して４分木分割を再び応用することを示す。最終的に、分割深度２の４つの符号化ブロックを生成することができる。
また、分割深度２の符号化ブロックに対して４分木分割を再び応用して分割深度３の符号化ブロックを生成してもよい。
符号化ブロックに対して４分木分割を応用しない場合、符号化ブロックのサイズ、符号化ブロックがピクチャ境界に位置するかどうか、最大分割深度又は隣接ブロックの分割タイプのうちの少なくとも１つを考慮した上で、前記符号化ブロックに対して２分木分割を実行するかそれとも３分木分割を実行するかを決定してもよい。前記符号化ブロックに対して２分木分割又は３分木分割を実行することを決定する場合、ビットストリームを介して信号によって分割方向を示す情報を送信してもよい。前記情報は１ビットフラグ「ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｖｅｒｔｉｃａｌ＿ｆｌａｇ」であってもよい。前記フラグに基づいて、分割方向が垂直方向であるかそれとも水平方向であるかを決定してもよい。また、ビットストリームを介して信号によって前記符号化ブロックに対して２分木分割又は３分木分割のうちのどの情報を応用するかを送信してもよい。前記情報は１ビットフラグ「ｍｔｔ＿ｓｐｌｉｔ＿ｃｕ＿ｂｉｎａｒｙ＿ｆｌａｇ」であってもよい。前記フラグに基づいて、前記符号化ブロックに対して２分木分割を応用するかそれとも３分木分割を応用するかを決定してもよい。
例えば、図５に示される例には、分割深度１の符号化ブロックに対して垂直方向２分木分割を応用し、前記分割結果として生成された符号化ブロックのうちの左側符号化ブロックに対して垂直方向３分木分割を応用し、右側符号化ブロックに対して垂直方向２分木分割を応用することを示す。
インター予測とは前のピクチャの情報を使用して現在ブロックの予測符号化モードを予測することを意味する。例えば、前のピクチャにおける現在ブロックと同じ位置のブロック（以下にコロケーテッドブロック、Ｃｏｌｌｏｃａｔｅｄ ｂｌｏｃｋと称される）を現在ブロックの予測ブロックとして設定してもよい。以下、位置が現在ブロックと同じであるブロックに基づいて生成された予測ブロックはコロケーテッド予測ブロック（Ｃｏｌｌｏｃａｔｅｄ Ｐｒｅｄｉｃｔｉｏｎ Ｂｌｏｃｋ）と称される。
一方、前のピクチャに存在するオブジェクトは既に現ピクチャにおける他の位置に移動した場合、オブジェクトの運動によって現在ブロックを効果的に予測してもよい。例えば、前のピクチャと現ピクチャとを比較することによりオブジェクトの移動方向及びサイズを把握できる場合、オブジェクトの運動情報を考慮した上で現在ブロックの予測ブロック（又は、予測ピクチャ）を生成してもよい。以下、運動情報により生成された予測ブロックは運動予測ブロックと称されてもよい。
現在ブロックから予測ブロックを除去することにより残余ブロック（ｒｅｓｉｄｕａｌ ｂｌｏｃｋ）を生成することができる。このような場合、オブジェクトが運動する場合、運動予測ブロックでコロケーテッド予測ブロックを代替することにより、残余ブロックのエネルギーを減少させ、それにより残余ブロックの圧縮性能を向上させることができる。
以上のように、運動情報により予測ブロックを生成する過程は運動補償予測と称されてもよい。大半のインター予測において、運動補償予測によって予測ブロックを生成してもよい。
運動情報は運動ベクトル、参照ピクチャインデックス、予測方向又は双方向重み付け値インデックスのうちの少なくとも１つを含んでもよい。運動ベクトルはオブジェクトの移動方向及びサイズを示す。参照ピクチャインデックスは参照ピクチャリストに含まれる複数の参照ピクチャのうちの現在ブロックの参照ピクチャを指定する。予測方向は単方向Ｌ０予測、単方向Ｌ１予測又は双方向予測（Ｌ０予測及びＬ１予測）のうちのいずれか１つを指す。現在ブロックの予測方向に基づいてＬ０方向の運動情報又はＬ１方向の運動情報のうちの少なくとも１つを使用してもよい。双方向重み付け値インデックスはＬ０予測ブロックに応用される重み付け値及びＬ１予測ブロックに応用される重み付け値を指定する。
図６は本発明の実施例のインター予測方法のフローチャートである。
図６に示すように、インター予測方法は、現在ブロックのインター予測モードを決定する（Ｓ６０１）と、決定されたインター予測モードに基づいて現在ブロックの運動情報を取得する（Ｓ６０２）と、取得された運動情報に基づいて現在ブロックに対して運動補償予測を実行する（Ｓ６０３）と、を含む。
インター予測モードは現在ブロックの運動情報を決定するための複数の技術を示し、並進（Ｔｒａｎｓｌａｔｉｏｎ）運動情報を使用するインター予測モードと、アフィン（Ａｆｆｉｎｅ）運動情報を使用するインター予測モードとを含んでもよい。例えば、並進運動情報を使用するインター予測モードはマージモード及び高度動きベクトル予測モードを含んでもよく、アフィン運動情報を使用するインター予測モードはアフィンマージモード及びアフィン運動ベクトル予測モードを含んでもよい。インター予測モードに応じて、現在ブロックに隣接する隣接ブロック又はビットストリームから解析された情報に基づいて現在ブロックの運動情報を決定してもよい。
以下、アフィン運動情報を使用するインター予測方法を詳しく説明する。
図７はオブジェクトの非線形運動を例示する図である。
ビデオにおいてオブジェクトの運動が非線形運動である可能性がある。例えば、図７に示される例では、ビデオカメラのズーム・イン（Ｚｏｏｍ－ｉｎ）、ズーム・アウト（Ｚｏｏｍ－ｏｕｔ）、回転（Ｒｏｔａｔｉｏｎ）又はアフィン変換等のオブジェクトの非線形運動が発生する可能性がある。オブジェクトの非線形運動が発生する場合、並進運動ベクトルによってオブジェクトの運動を効果的に示すことができない。従って、オブジェクトの非線形運動が発生する部分において、アフィン運動で並進運動を代替してもよく、これにより、符号化効率を向上させる。
図８は本発明の実施例に係るアフィン運動に基づくインター予測方法を示すフローチャートである。
ビットストリームから解析された情報に基づいて、現在ブロックに対してアフィン運動に基づくインター予測技術を応用するかどうかを決定してもよい。具体的に、現在ブロックに対してアフィンマージモードを応用するかどうかを示すフラグ又は現在ブロックに対してアフィン運動ベクトル予測モードを応用するかどうかを示すフラグのうちの少なくとも１つに基づいて、現在ブロックに対してアフィン運動に基づくインター予測技術を応用するかどうかを決定してもよい。
アフィン運動に基づくインター予測技術を現在ブロックに応用する場合、現在ブロックのアフィン運動モデルを決定してもよい（Ｓ８０１）。アフィン運動モデルは６パラメータアフィン運動モデル又は４パラメータアフィン運動モデルのうちの少なくとも１つとして決定されてもよい。６パラメータアフィン運動モデルは６つのパラメータでアフィン運動を示し、４パラメータアフィン運動モデルは４つのパラメータでアフィン運動を示す。
等式１は６つのパラメータでアフィン運動を示す場合である。アフィン運動はアフィンシードベクトルにより決定された所定領域の並進運動を示す。
等式１
Figure 2022509024000002
６つのパラメータでアフィン運動を示す場合、複雑な運動を示してもよいが、各パラメータを符号化する際に必要なビット数が増加するため、符号化効率が低下することとなる。従って、更に４つのパラメータでアフィン運動を示してもよい。等式２は４つのパラメータでアフィン運動を示す場合である。
等式２
Figure 2022509024000003
現在ブロックのアフィン運動モデルを決定するための情報を符号化してビットストリームを介して信号によって送信してもよい。例えば、前記情報は１ビットフラグ「ａｆｆｉｎｅ＿ｔｙｐｅ＿ｆｌａｇ」であってもよい。前記フラグの値が０である場合、４パラメータアフィン運動モデルを応用することを示し、前記フラグの値が１である場合、６パラメータアフィン運動モデルを応用することを示す。前記フラグはスライス（ｓｌｉｃｅ）、セグメント又はブロック（例えば、符号化ブロック又は符号化木ユニット）単位で符号化されてもよい。スライスレベルで信号によりフラグを送信する場合、前記スライスの属するすべてのブロックに対して前記スライスレベルで決定されたアフィン運動モデルを応用してもよい。
代替的に、現在ブロックのアフィンインター予測モードに基づいて現在ブロックのアフィン運動モデルを決定してもよい。例えば、アフィンマージモードを応用する場合、現在ブロックのアフィン運動モデルを４パラメータ運動モデルとして決定してもよい。一方、アフィン運動ベクトル予測モードを応用する場合、現在ブロックのアフィン運動モデルを決定するための情報を符号化してビットストリームを介して信号によって送信してもよい。例えば、現在ブロックに対してアフィン運動ベクトル予測モードを応用する場合、１ビットフラグ「ａｆｆｉｎｅ＿ｔｙｐｅ＿ｆｌａｇ」に基づいて現在ブロックのアフィン運動モデルを決定してもよい。
次に、現在ブロックのアフィンシードベクトルを導き出してもよい（Ｓ８０２）。４パラメータアフィン運動モデルを選択する場合、現在ブロックの２つの制御点上の運動ベクトルを導き出してもよい。一方、６パラメータアフィン運動モデルを選択する場合、現在ブロックの３つの制御点上の運動ベクトルを導き出してもよい。制御点上の運動ベクトルはアフィンシードベクトルと称されてもよい。制御点は現在ブロックの左上角、右上角又は左下角のうちの少なくとも１つを含んでもよい。
図９は各アフィン運動モデルのアフィンシードベクトルの例を示す図である。
４パラメータアフィン運動モデルにおいて、左上角、右上角又は左下角のうちの２つに関連するアフィンシードベクトルを導き出してもよい。例えば、図９（ａ）部分に示される例では、４パラメータアフィン運動モデルを選択する場合、現在ブロックの左上角（例えば、左上サンプル（ｘ０，ｙ０））に関連するアフィンシードベクトルｓｖ０及び現在ブロックの右上角（例えば、右上サンプル（ｘ１，ｙ１））に関連するアフィンシードベクトルｓｖ１を使用してアフィンベクトルを導き出してもよい。更に左下角に関連するアフィンシードベクトルで左上角に関連するアフィンシードベクトルを代替してもよく、又は、更に左下角に関連するアフィンシードベクトルで右上角に関連するアフィンシードベクトルを代替してもよい。
６パラメータアフィン運動モデルにおいて、左上角、右上角及び左下角に関連するアフィンシードベクトルを導き出してもよい。例えば、図９（ｂ）部分に示される例では、６パラメータアフィン運動モデルを選択する場合、現在ブロックの左上角（例えば、左上サンプル（ｘ０，ｙ０））に関連するアフィンシードベクトルｓｖ０、現在ブロックの右上角（例えば、右上サンプル（ｘ１，ｙ１））に関連するアフィンシードベクトルｓｖ１及び現在ブロックの左上角（例えば、左上サンプル（ｘ２，ｙ２））に関連するアフィンシードベクトルｓｖ２を使用してアフィンベクトルを導き出してもよい。
以下に説明される実施例では、４パラメータアフィン運動モデルにおいて、左上制御点及び右上制御点のアフィンシードベクトルはそれぞれ第１アフィンシードベクトル及び第２アフィンシードベクトルと称される。以下に説明される第１アフィンシードベクトル及び第２アフィンシードベクトルを使用する実施例では、第１アフィンシードベクトル及び第２アフィンシードベクトルのうちの少なくとも１つを左下制御点のアフィンシードベクトル（第３アフィンシードベクトル）又は右下制御点のアフィンシードベクトル（第４アフィンシードベクトル）に置換してもよい。
また、６パラメータアフィン運動モデルにおいて、左上制御点、右上制御点及び左下制御点のアフィンシードベクトルはそれぞれ第１アフィンシードベクトル、第２アフィンシードベクトル及び第３アフィンシードベクトルと称される。以下に説明される第１アフィンシードベクトル、第２アフィンシードベクトル及び第３アフィンシードベクトルを使用する実施例では、第１アフィンシードベクトル、第２アフィンシードベクトル及び第３アフィンシードベクトルのうちの少なくとも１つを右下制御点のアフィンシードベクトル（第４アフィンシードベクトル）に置換してもよい。
アフィンシードベクトルを使用して異なるサブブロックに対してアフィンベクトルを導き出してもよい（Ｓ８０３）。アフィンベクトルはアフィンシードベクトルに基づいて導き出した並進運動ベクトルを示す。サブブロックのアフィンベクトルはアフィンサブブロック運動ベクトル又はサブブロック運動ベクトルと称されてもよい。
図１０は４パラメータ運動モデルにおけるサブブロックのアフィンベクトルの例を示す図である。
制御点の位置、サブブロックの位置及びアフィンシードベクトルに基づいてサブブロックのアフィンベクトルを導き出してもよい。例えば、等式３はアフィンサブブロックベクトルを導き出す例を示す。
等式３
Figure 2022509024000004
等式３では、（ｘ，ｙ）がサブブロックの位置を示す。サブブロックの位置がサブブロックに含まれる参照サンプルの位置を示す。参照サンプルはサブブロックの左上角に位置するサンプル、又はそのｘ軸又はｙ軸座標のうちの少なくとも１つが中心位置に位置するサンプルであってもよい。（ｘ０，ｙ０）が第１制御点の位置を示し、（ｓｖ０ｘ，ｓｖ０ｙ）が第１アフィンシードベクトルを示す。また、（ｘ１，ｙ１）が第２制御点の位置を示し、（ｓｖ１ｘ，ｓｖ１ｙ）が第２アフィンシードベクトルを示す。
第１制御点及び第２制御点がそれぞれ現在ブロックの左上角及び右上角に対応する場合、ｘ１－ｘ０を現在ブロックの幅と同じ値として設定してもよい。
その後、各サブブロックのアフィンベクトルを使用して各サブブロックに対して運動補償予測を実行してもよい（Ｓ８０４）。運動補償予測を実行した後、各サブブロックに関連する予測ブロックを生成してもよい。サブブロックの予測ブロックを現在ブロックの予測ブロックとして設定してもよい。
現在ブロックに隣接する隣接ブロックのアフィンシードベクトルに基づいて現在ブロックのアフィンシードベクトルを導き出してもよい。現在ブロックのインター予測モードがアフィンマージモードである場合、マージ候補リストに含まれるマージ候補のアフィンシードベクトルを現在ブロックのアフィンシードベクトルとして決定してもよい。また、現在ブロックのインター予測モードがアフィンマージモードである場合、現在ブロックを含む参照ピクチャインデックス、特定方向予測フラグ又は双方向重み付け値のうちの少なくとも１つの運動情報がマージ候補と同じであるように設定してもよい。
現在ブロックの隣接ブロックに基づいてマージ候補を導き出してもよい。前記隣接ブロックは現在ブロックに空間的に隣接する空間隣接ブロック及び現ピクチャと異なるピクチャに含まれる時間隣接ブロックのうちの少なくとも１つを含んでもよい。
図１１はマージ候補を導き出すために使用できる隣接ブロックを示す図である。
現在ブロックの隣接ブロックは現在ブロックの左側に隣接する隣接ブロック（Ａ）、現在ブロックの上方に隣接する隣接ブロック（Ｂ）、現在ブロックの右上角に隣接する隣接ブロック（Ｃ）、現在ブロックの左下角に隣接する隣接ブロック（Ｄ）、又は現在ブロックの左上角に隣接する隣接ブロックのうちの少なくとも１つを含んでもよい。現在ブロックの左上サンプルの座標が（ｘ０，ｙ０）である場合、左側隣接ブロックＡは（ｘ０－１，ｙ０＋Ｈ－１）位置上のサンプルを含み、上側隣接ブロックＢは（ｘ０＋Ｗ－１，ｙ０－１）位置上のサンプルを含む。ＷとＨがそれぞれ現在ブロックの幅及び高さを示す。右上隣接ブロックＣは（ｘ０＋Ｗ，ｙ０－１）位置上のサンプルを含み、左下隣接ブロックＤは（ｘ０－１，ｙ０＋Ｈ）位置上のサンプルを含む。左上隣接ブロックＥは（ｘ０－１，ｙ０－１）位置上のサンプルを含む。
アフィンインター予測モードで隣接ブロックを符号化する場合、対応の隣接ブロックのアフィンシードベクトルに基づいてマージ候補のアフィンシードベクトルを導き出してもよい。以下、アフィンインター予測モードで符号化された隣接ブロックはアフィン隣接ブロックと称され、アフィン隣接ブロックから導き出されたマージ候補はアフィンマージ候補と称される。
予め定義された走査順序に従って隣接ブロックを検索することにより、現在ブロックに関連するアフィンマージ候補を生成してもよい。エンコーダ及びデコーダにおいて走査順序を予め定義してもよい。例えば、Ａ、Ｂ、Ｃ、Ｄ、Ｅの順序に従って隣接ブロックを検索してもよい。また、検索されたアフィン隣接ブロックから順にマージ候補を導き出してもよい。代替的に、現在ブロックのサイズ、形状又はアフィン運動モデルのうちの少なくとも１つに基づいて走査順序を適応的に決定してもよい。即ち、異なるサイズ、形状又はアフィン運動モデルのうちの少なくとも１つを有するブロックの走査順序が異なる。
代替的に、現在ブロックの上方に位置する複数のブロックを順に検索して、先に検索されたアフィン隣接ブロックから１つのアフィンマージ候補を導き出し、且つ、現在ブロックの左側に位置する複数のブロックを順に検索して、先に検索されたアフィン隣接ブロックから１つのアフィンマージ候補を導き出す。現在ブロックの上方に位置する複数の隣接ブロックは隣接ブロックＥ、隣接ブロックＢ又は隣接ブロックＣのうちの少なくとも１つを含み、現在ブロックの左側に位置する複数のブロックはブロックＡ又はブロックＤのうちの少なくとも１つを含んでもよい。このような場合、更に隣接ブロックＥを現在ブロックの左側に位置するブロックに分類してもよい。
図示しないが、更に現在ブロックの時間隣接ブロックからアフィンマージ候補を導き出してもよい。時間隣接ブロックはコロケーテッドピクチャにおける現在ブロックと同じ位置に位置するブロック又は現在ブロックに隣接するブロックを含んでもよい。具体的に、アフィンインター予測モードで現在ブロックの時間隣接ブロックを符号化すれば、時間アフィンマージ候補のアフィンシードベクトルに基づいてアフィンマージ候補を導き出してもよい。
アフィンマージ候補を含むマージ候補リストを生成してもよく、マージ候補リストに含まれるマージ候補のうちの１つのアフィンシードベクトルを現在ブロックのアフィンシードベクトルとして決定してもよい。このため、複数のマージ候補のうちのいずれか１つを示すインデックス情報を符号化してビットストリームを介して伝送してもよい。
他の例として、走査順序に従って複数の隣接ブロックを検索してもよく、先に検索されたアフィン隣接ブロックのアフィンシードベクトルから現在ブロックのアフィンシードベクトルを導き出してもよい。
以上のように、アフィンマージモードにおいて、隣接ブロックのアフィンシードベクトルを使用して現在ブロックのアフィンシードベクトルを導き出してもよい。
現在ブロックのインター予測モードがアフィン運動ベクトル予測モードである場合、運動ベクトル予測候補リストに含まれる運動ベクトル予測候補のアフィンシードベクトルを現在ブロックのアフィンシードベクトル予測値として決定してもよい。前記アフィンシードベクトル予測値にアフィンシードベクトル差分を加えることにより、現在ブロックのアフィンシードベクトルを導き出してもよい。
現在ブロックの隣接ブロックに基づいてアフィンシードベクトル予測候補を導き出してもよい。具体的に、所定の走査順序に従って現在ブロックの上方に位置する複数の隣接ブロックを検索し、且つ先に検索されたアフィン隣接ブロックから第１アフィンシードベクトル予測候補を導き出してもよい。また、所定の走査順序に従って現在ブロックの左側に位置する複数の隣接ブロックを検索し、且つ先に検索されたアフィン隣接ブロックから第２アフィンシードベクトル予測候補を導き出してもよい。
アフィンシードベクトル差分を決定するための情報を符号化してビットストリームを介して伝送してもよい。前記情報はアフィンシードベクトル差分の大きさを示す大きさ情報と、アフィンシードベクトル差分の符号を示す符号信号とを含んでもよい。各制御点に関連するアフィンシードベクトル差分が同じであるように設定してもよい。代替的に、各制御点に対して異なるアフィンシードベクトル差分を設定してもよい。
以上のように、アフィン隣接ブロックのアフィンシードベクトルからアフィンマージ候補又はアフィンシードベクトル予測候補のアフィンシードベクトルを導き出してもよく、導き出されたアフィンマージ候補又はアフィンシードベクトル予測候補のアフィンシードベクトルを使用して現在ブロックのアフィンシードベクトルを導き出してもよい。代替的に、更に所定の走査順序に従って複数のアフィン隣接ブロックを検索した後、先に検索されたアフィン隣接ブロックのアフィンシードベクトルから現在ブロックのアフィンシードベクトルを導き出してもよい。
以下、アフィン隣接ブロックのアフィンシードベクトルから現在ブロックのアフィンシードベクトル、アフィンマージ候補又はアフィンシードベクトル予測候補を導き出す方法について詳しく説明する。以下に説明される実施例では、現在ブロックのアフィンシードベクトルを導き出すことはアフィンマージ候補のアフィンシードベクトルを導き出すと理解されてもよく、又はアフィンシードベクトル予測候補のアフィンシードベクトルを導き出すと更に理解されてもよい。
図１２はアフィン隣接ブロックのアフィンシードベクトルに基づいて現在ブロックのアフィンシードベクトルを導き出すことを示す図である。
アフィン隣接ブロックには左上制御点に関連する第１アフィンシードベクトルｎｖ０及び右上制御点に関連する第２アフィンシードベクトルｎｖ１が記憶される場合、前記第１アフィンシードベクトル及び第２アフィンシードベクトルに基づいてアフィン隣接ブロックの左下制御点に関連する第３アフィンシードベクトルｎｖ２を導き出してもよい。等式４には第３アフィンシードベクトルを導き出す例を示す。
等式４
Figure 2022509024000005
等式４では、（ｎｖ０ｘ，ｎｖ０ｙ）が第１アフィンシードベクトルｎｖ０を示し、（ｎｖ１ｘ，ｎｖ１ｙ）が第２アフィンシードベクトルｎｖ１を示し、（ｎｖ２ｘ，ｎｖ２ｙ）が第３アフィンシードベクトルｎｖ２を示す。また、（ｘｎ０，ｘｎ０）が第１制御点の位置を示し、（ｘｎ１，ｘｎ１）が第２制御点の位置を示し、（ｘｎ２，ｘｎ２）が第３制御点の位置を示す。
その後、第１アフィンシードベクトル、第２アフィンシードベクトル及び第３アフィンシードベクトルを使用して現在ブロックのアフィンシードベクトルを導き出してもよい。等式５には現在ブロックの第１アフィンシードベクトルｖ０を導き出す例を示し、等式６には現在ブロックの第２アフィンシードベクトルｖ１を導き出す例を示す。
等式５
Figure 2022509024000006
等式６
Figure 2022509024000007
等式５及び等式６では、（ｖ０ｘ，ｖ０ｙ）が現在ブロックの第１アフィンシードベクトルｓｖ０を示し、（ｖ１ｘ，ｖ１ｙ）が現在ブロックの第２アフィンシードベクトルｓｖ１を示す。また、（ｘ０，ｙ０）が第１制御点の位置を示し、（ｘ１，ｙ１）が第２制御点の位置を示す。例えば、第１制御点が現在ブロックの左上角を示し、第２制御点が現在ブロックの右上角を示す。
前記例では、アフィン隣接ブロックに関連する３つのアフィンシードベクトルを使用して現在ブロックの複数のアフィンシードベクトルを導き出すことについて説明した。他の例として、更にアフィン隣接ブロックの複数のアフィンシードベクトルのうちの２つを使用して現在ブロックのアフィンシードベクトルを導き出してもよい。
代替的に、アフィン隣接ブロックに関連する左上角の第１アフィンシードベクトル、右上角の第２アフィンシードベクトル又は左下角の第３アフィンシードベクトルを使用せずに、右下角に関連する第４アフィンシードベクトルを使用して現在ブロックの複数のアフィンシードベクトルを導き出してもよい。
特に、現在ブロックの上境界が符号化木ユニットの上境界に接触し且つ現在ブロックの上方に隣接するアフィン隣接ブロック（以下、上方アフィン隣接ブロックと称される）の上方制御点（例えば、左上角又は右上角）のアフィンシードベクトルを使用しようとする場合、それらをメモリに予め記憶する必要がある。このため、行バッファエリアの数が増加するという問題を引き起こす可能性がある。従って、現在ブロックの上境界が符号化木ユニットの上境界に接触する場合、上方アフィン隣接ブロックに対して上方制御点のアフィンシードベクトルを使用せずに下方制御点（例えば、左下角又は右下角）のアフィンシードベクトルを使用するように設定してもよい。例えば、上方アフィン隣接ブロックの左下角に関連する第３アフィンシードベクトル及び右下角に関連する第４アフィンシードベクトルを使用して現在ブロックの複数のアフィンシードベクトルを導き出してもよい。このような場合、下角に関連するアフィンシードベクトルは上角に関連するアフィンシードベクトルをコピーすることにより導き出されてもよく、又は複数の上角に関連するアフィンシードベクトルから導き出されてもよい。例えば、第１アフィンシードベクトル、第２アフィンシードベクトル又は第３アフィンシードベクトルを右下角に関連する第４アフィンシードベクトルに変換／置換してもよい。
等式７及び等式８には隣接アフィンベクトルの左下制御点に関連する第３アフィンシードベクトル及び右下制御点に関連する第４アフィンシードベクトルを使用して現在ブロックの第１アフィンシードベクトル及び第２アフィンシードベクトルを導き出す例を示す。
等式７
Figure 2022509024000008
等式８
Figure 2022509024000009
等式７及び等式８では、（ｘｎ２，ｙｎ２）がアフィン隣接ブロックの左下制御点の座標を示し、（ｘｎ３，ｙｎ３）がアフィン隣接ブロックの右下制御点の座標を示す。（ｘ０，ｙ０）が現在ブロックの左上制御点の座標を示し、（ｘ１，ｙ１）が現在ブロックの右上制御点の座標を示す。（ｎｖ２ｘ，ｎｖ２ｙ）がアフィン隣接ブロックの左下制御点のアフィンシードベクトル（即ち、第３アフィンシードベクトル）を示し、（ｎｖ３ｘ，ｎｖ３ｙ）がアフィン隣接ブロックの右下制御点のアフィンシードベクトル（即ち、第４アフィンシードベクトル）を示す。（ｖ０ｘ，ｖ０ｙ）が現在ブロックの左上制御点のアフィンシードベクトル（即ち、第１アフィンシードベクトル）を示し、（ｖ１ｘ，ｖ１ｙ）が現在ブロックの右上制御点のアフィンシードベクトル（即ち、第２アフィンシードベクトル）を示す。
更に等式７及び等式８に含まれる除算演算をシフト操作に変更してもよい。シフト操作は左下制御点と右下制御点との間の幅（即ち、（ｘｎ３－ｘｎ２））により導き出された値に基づいて実行されてもよい。
上記例では、符号化／復号後のアフィン隣接ブロックの複数のアフィンシードベクトルに基づいて現在ブロックの複数のアフィンシードベクトルを導き出してもよい。このため、符号化／復号後のアフィン隣接ブロックの複数のアフィンシードベクトルをメモリに記憶する必要がある。しかしながら、アフィン隣接ブロックに含まれる複数のサブブロックの複数の並進運動ベクトル（即ち、複数のアフィンベクトル）以外に、更にアフィン隣接ブロックの複数のアフィンシードベクトルをメモリに記憶し、このため、メモリ使用量が増加するという問題がある。このような問題を除去するために、アフィン隣接ブロックの制御点に隣接するサブブロックの運動ベクトルを使用して現在ブロックのアフィンシードベクトルを導き出して、アフィン隣接ブロックのアフィンシードベクトルを代替してもよい。即ち、アフィン隣接ブロックの制御点に隣接するサブブロックの運動ベクトルをアフィン隣接ブロックのアフィンシードベクトルとして設定してもよい。サブブロックはエンコーダ及びデコーダに予め定義されたサイズ／形状を有するブロックであり、且つ運動ベクトルの基本サイズ／形状を記憶するブロックであってもよい。例えば、サブブロックはサイズ４×４の正方形ブロックであってもよい。代替的に、サンプル位置を指定する運動ベクトルをアフィン隣接ブロックのアフィンシードベクトルとして設定してもよい。
図１３はサブブロックの運動ベクトルをアフィン隣接ブロックのアフィンシードベクトルとして設定する例を示す図である。
制御点に隣接するサブブロックの運動ベクトルを対応の制御点のアフィンシードベクトルとして設定してもよい。例えば、図１３に示される例では、アフィン隣接ブロックの左下角に隣接するサブブロック（左下サブブロック）の運動ベクトル（ｎｖ４ｘ，ｎｖ４ｙ）を左下制御点のアフィンシードベクトル（ｎｖ２ｘ，ｎｖ２ｙ）として設定してもよく、右下角に隣接するサブブロック（右下サブブロック）の運動ベクトル（ｎｖ５ｘ，ｎｖ５ｙ）を右下角の制御点のアフィンシードベクトル（ｎｖ３ｘ，ｎｖ３ｙ）として設定してもよい。左下サブブロックとは隣接アフィンブロックの左下制御点（ｘｎ２，ｙｎ２）に隣接するサンプル（例えば、（ｘｎ２，ｙｎ２－１）位置のサンプル）を含むサブブロックを意味し、右下サブブロックとは隣接アフィンブロックの右下制御点（ｘｎ３，ｙｎ３）に隣接するサンプル（例えば、（ｘｎ３－１，ｙｎ３－１））位置のサンプル）を含むブロックを意味する。等式７及び等式８に基づいて現在ブロックのアフィンシードベクトルを導き出す場合、アフィン隣接ブロックの第３アフィンシードベクトルは左下サブブロックの運動ベクトルで代替されてもよく、第４アフィンシードベクトルは右下サブブロックの運動ベクトルで代替されてもよい。
以下、以下に説明される実施例では、アフィン隣接ブロックとして使用されるアフィンシードベクトルのサブブロックはアフィンサブブロックと称される。
本発明の一実施例によれば、特定位置上のサンプルに基づいてアフィンサブブロックを決定してもよい。例えば、更に特定位置上のサンプルを含むサブブロックをアフィンサブブロックとして設定してもよい。以下、特定位置のサンプルはアフィン参照サンプルと称される。また、左下制御点を決定するためのアフィンサブブロックの参照サンプルは左下参照サンプルと称され、右下制御点を決定するためのアフィンサブブロックの参照サンプルは右下参照サンプルと称される。
左下参照サンプル及び右下参照サンプルはアフィン隣接ブロックに含まれる複数のサンプルから選ばれたものであってもよい。例えば、左下サブブロックの左上サンプル、左下サンプル、右上サンプル又は左下サンプルのうちの少なくとも１つを左下参照サンプルとして設定してもよく、右下サブブロックの左上サンプル、左下サンプル、右上サンプル又は左下サンプルのうちの少なくとも１つを右下参照サンプルとして設定してもよい。従って、それぞれ左下参照サンプルを含む左下サブブロック及び右下参照サンプルを含む右下サブブロックの運動ベクトルを、左下制御点に関連するアフィンシードベクトル及び右下制御点に関連するアフィンシードベクトルとして設定してもよい。
他の例として、左下参照サンプル又は右下参照サンプルのうちの少なくとも１つをアフィン隣接ブロックの外に位置するサンプルとして設定してもよい。これについて、図１４～図１６を参照しながら詳しく説明する。
図１４～図１６は参照サンプルの位置を示す図である。
図１４（ａ）部分に示される例では、左下制御点に対して、左下サブブロックの左上サンプルを参照サンプル（ｘｎ４，ｙｎ４）として設定してもよい。従って、参照サンプル（ｘｎ４，ｙｎ４）を含む左下サブブロックを左下制御点に関連するアフィンサブブロックとして設定してもよい。
右下制御点に対して、右下サブブロックの右上サンプルの右側に位置するサンプルを参照サンプル（ｘｎ５，ｙｎ５）として設定してもよい。従って、参照サンプル（ｘｎ５，ｙｎ５）を含む右下サブブロックの右側に隣接するサブブロックを右下制御点に関連するアフィンサブブロックとして設定してもよい。
代替的に、図１４（ｂ）部分に示される例では、左下制御点に対して、左下サブブロックの左上サンプルの左側に位置するサンプルを参照サンプル（ｘｎ４，ｙｎ４）として設定してもよい。従って、参照サンプル（ｘｎ４，ｙｎ４）を含む左下サブブロックの左側に隣接するサブブロックを左下制御点に関連するアフィンサブブロックとして設定してもよい。
右下制御点に対して、右下サブブロックの右上サンプルを参照サンプル（ｘｎ５，ｙｎ５）として設定してもよい。従って、参照サンプル（ｘｎ５，ｙｎ５）を含む右下サブブロックを右下制御点に関連するアフィンサブブロックとして設定してもよい。
代替的に、図１５（ａ）部分に示される例では、左下制御点に対して、左下サブブロックの左下サンプルを参照サンプル（ｘｎ４，ｙｎ４）として設定してもよい。従って、参照サンプル（ｘｎ４，ｙｎ４）を含む左下サブブロックを左下制御点に関連するアフィンサブブロックとして設定してもよい。
右下制御点に対して、右下サブブロックの右下サンプルの右側に位置するサンプルを参照サンプル（ｘｎ５，ｙｎ５）として設定してもよい。従って、参照サンプル（ｘｎ５，ｙｎ５）を含む右下サブブロックの右側に隣接するサブブロックを右下制御点に関連するアフィンサブブロックとして設定してもよい。
代替的に、図１５（ｂ）部分に示される例では、左下制御点に対して、左下サブブロックの左下サンプルの左側に位置するサンプルを参照サンプル（ｘｎ４，ｙｎ４）として設定してもよい。従って、参照サンプル（ｘｎ４，ｙｎ４）を含む左下サブブロックの左側に隣接するサブブロックを左下制御点に関連するアフィンサブブロックとして設定してもよい。
右下制御点に対して、右下サブブロックの右下サンプルを参照サンプル（ｘｎ５，ｙｎ５）として設定してもよい。従って、参照サンプル（ｘｎ５，ｙｎ５）を含む右下サブブロックを右下制御点に関連するアフィンサブブロックとして設定してもよい。
代替的に、図１６（ａ）部分に示される例では、左下制御点に対して、左下サブブロックの左上サンプルと左下サンプルとの間に位置するサンプル（例えば、左側中間サンプル）を参照サンプル（ｘｎ４，ｙｎ４）として設定してもよい。従って、参照サンプル（ｘｎ４，ｙｎ４）を含む左下サブブロックを左下制御点に関連するアフィンサブブロックとして設定してもよい。
右下制御点に対して、右下サブブロックの右上サンプルと右下サンプルとの間に位置するサンプル（例えば、右側中間サンプル）の右側のサンプルを参照サンプル（ｘｎ５，ｙｎ５）として設定してもよい。従って、参照サンプル（ｘｎ５，ｙｎ５）を含む右下サブブロックの右側に隣接するサブブロックを右下制御点に関連するアフィンサブブロックとして設定してもよい。
代替的に、図１６（ｂ）部分に示される例では、左下制御点に対して、左下サブブロックの左上サンプルと左下サンプルとの間に位置するサンプルの左側のサンプルを参照サンプル（ｘｎ４，ｙｎ４）として設定してもよい。従って、参照サンプル（ｘｎ４，ｙｎ４）を含む左下サブブロックの左側に隣接するサブブロックを左下制御点に関連するアフィンサブブロックとして設定してもよい。
右下制御点に対して、右下サブブロックの右上サンプルと右下サンプルとの間に位置するサンプルを参照サンプル（ｘｎ５，ｙｎ５）として設定してもよい。従って、参照サンプル（ｘｎ５，ｙｎ５）を含む右下サブブロックを右下制御点に関連するアフィンサブブロックとして設定してもよい。
等式７及び等式８に基づいて現在ブロックの複数のアフィンシードベクトルを導き出す場合、アフィン隣接ブロックの第３アフィンシードベクトルは左下制御点に関連するアフィンサブブロックの運動ベクトルで代替されてもよく、第４アフィンシードベクトルは右下制御点に関連するアフィンサブブロックの運動ベクトルで代替されてもよい。また、左下制御点の位置は左下参照サンプルの位置で代替されてもよく、右下制御点の位置は右下参照サンプルの位置で代替されてもよい。
図１４～図１６に説明される内容と異なり、更に参照サンプルに隣接するサンプルを含むサブブロックをアフィンサブブロックとして設定してもよい。具体的に、アフィン隣接サブブロックの外に位置するサンプルを参照サンプルとして設定してもよく、アフィン隣接ブロックに含まれるサブブロックをアフィンサブブロックとして設定してもよい。例えば、図１４（ａ）部分に示される例では、右下サブブロックの右上サンプルの右側に位置するサンプルを参照サンプル（ｘｎ５，ｙｎ５）として設定してもよく、右下サブブロックを右下角に関連するアフィンサブブロックとして設定してもよい。代替的に、図１４（ｂ）部分に示される例では、左下サブブロックの左上サンプルの左側に位置するサンプルを参照サンプル（ｘｎ４，ｙｎ４）として設定してもよく、左下サブブロックを左下角に関連するアフィンサブブロックとして設定してもよい。
図１５及び図１６に説明される実施例を同様に応用してもよい。即ち、図１５（ａ）部分又は図１６（ａ）部分に示される例では、右下サブブロックの右下サンプル又は右側中間サンプルの右側に位置するサンプルを参照サンプル（ｘｎ５，ｙｎ５）として設定してもよく、右下サブブロックを右下角に関連するアフィンサブブロックとして設定してもよい。代替的に、図１５（ｂ）部分又は図１６（ｂ）部分に示される例では、左下サブブロックの左下サンプル又は左側中間サンプルの左側に位置するサンプルを参照サンプル（ｘｎ４，ｙｎ４）として設定してもよく、左下サブブロックを左下角に関連するアフィンサブブロックとして設定してもよい。
上記例では、アフィンサブブロックの運動ベクトルを使用してアフィン隣接ブロックのアフィンシードベクトルを導き出してもよい。このため、符号化／復号後のブロックに対して、サブブロック単位で運動ベクトルを記憶してもよい。
他の例として、アフィン隣接ブロックに最小数のアフィンシードベクトルが記憶された後、記憶される複数のアフィンシードベクトルを使用してアフィンサブブロックの運動ベクトルを導き出してもよい。
等式９及び等式１０にはアフィン隣接ブロックのアフィンシードベクトルを使用してアフィンサブブロックの運動ベクトルを導き出す例を示す。
等式９
Figure 2022509024000010
等式１０
Figure 2022509024000011
等式９及び等式１０では、（ｎｖ４ｘ，ｎｖ４ｙ）が左下制御点に関連するアフィンサブブロックの運動ベクトルを示し、（ｎｖ５ｘ，ｎｖ５ｙ）が右下制御点に関連するアフィンサブブロックの運動ベクトルを示す。アフィンサブブロックの運動ベクトルと制御点のアフィンシードベクトルとが同じであるように設定されるため、（ｎｖ４ｘ，ｎｖ４ｙ）は左下制御点に関連するアフィンシードベクトル（ｎｖ２ｘ，ｎｖ２ｙ）で代替されてもよく、又は（ｎｖ５ｘ，ｎｖ５ｙ）は右下制御点に関連するアフィンシードベクトル（ｎｖ３ｘ，ｎｖ３ｙ）で代替されてもよい。
（ｘｎ４，ｙｎ４）が左下サブブロックの参照サンプルの位置を示す。代替的に、更に左下サブブロックの中心位置又は左下制御点の位置で該位置を代替してもよい。（ｘｎ５，ｙｎ５）が右下サブブロックの参照サンプルの位置を示す。代替的に、更に右下サブブロックの中心位置又は右下制御点の位置で該位置を代替してもよい。
現在ブロックが符号化木ユニットの境界に接触しない場合、等式９及び等式１０を応用してもよい。現在ブロックが符号化木ユニットの上境界に接触する場合、等式９及び等式１０を使用する代わりに、左下参照サンプルに基づいて決定したアフィンサブブロックの並進運動ベクトルを第３アフィンシードベクトルとして設定してもよく、右下参照サンプルに基づいて決定したアフィンサブブロックの並進運動ベクトルを第４アフィンシードベクトルとして設定してもよい。
等式７及び等式８では、（ｘｎ３－ｘｎ２）が左下制御点と右下制御点との間の幅を示す。以上のように、ｘｎ３は右下参照サンプルの位置ｘｎ５で代替されてもよく、ｘｎ２は左下参照サンプルの位置ｘｎ４で代替されてもよい。以下、（ｘｎ３－ｘｎ２）又は参照サンプルの位置で上記等式の位置を代替して取得した値（例えば、（ｘｎ５－ｘｎ４））を変数Ｗｓｅｅｄとして定義し、前記変数はサブシードベクトル幅と称される。
参照サンプルの位置によって、サブシードベクトル幅が２の冪級数（例えば、２ｎ）ではない場合がある。例えば、左下サブブロックの左下サンプルを左下参照サンプルとして設定して右下サブブロックの右下サンプルを右下参照サンプルとして設定する場合、サブシードベクトルの幅が２の倍数ではない。以上のように、サブシードベクトル幅が２の冪級数ではない場合、サブシードベクトル幅を２の冪級数に変換してもよい。前記変換はサブシードベクトル幅にオフセット量を加え、又はサブシードベクトル幅からオフセット量を引き、又は前記参照サンプルに隣接するサンプルの位置で参照サンプルの位置を代替することを含んでもよい。例えば、左下参照サンプルと右下参照サンプルとの間の幅に１を加えることにより、変換されたサブシードベクトル幅を導き出してもよい。代替的に、右下参照サンプルの右側に隣接する隣接参照サンプルと左下参照サンプルとの間の幅を変換されたサブシードベクトル幅として設定してもよい。その後、変換されたサブシードベクトル幅を等式７及び等式８に代入して現在ブロックのアフィンシードベクトルを導き出してもよい。
更に等式７及び等式８に含まれる除算演算をシフト操作に変更してもよい。シフト操作は変換後のサブシードベクトル幅（即ち、２の冪級数として示される値）により導き出した値に基づいて実行されてもよい。
アフィンサブブロックを決定するための参照サンプルはアフィン隣接ブロックに属しない場合、アフィン隣接ブロックに含まれる複数のサンプルのうちの参照サンプルに隣接するサンプルに基づいてアフィン隣接ブロックのアフィンシードベクトルを導き出してもよい。具体的に、アフィン隣接ブロックにおける参照サンプルに隣接するサンプル（以下、隣接参照サンプルと称される）を含むサブブロックの並進運動ベクトルをアフィン隣接ブロックのアフィンシードベクトルとして設定してもよい。以上のように、隣接参照サンプルを使用してアフィンシードベクトルを導き出す方法は修正されたアフィンマージベクトルの導き出し方法として定義されてもよい。
図１７は修正されたアフィンマージベクトルの導き出し方法の応用例を示す図である。
アフィン隣接ブロックＥの右下参照サンプル（ｘｎ５，ｙｎ５）がアフィン隣接ブロックに属しない場合、アフィン隣接ブロックに含まれるサンプルのうちの右下参照サンプルの左側に隣接するサンプル（ｘｎ５－１，ｙｎ５）に基づいてアフィンシードベクトルを導き出してもよい。具体的に、隣接参照サンプル（ｘｎ５－１，ｙｎ５）を含むサブブロックの並進運動ベクトルは右下制御点のアフィンシードベクトルとして設定されてもよい。
図１７に示される例では、右下サブブロックの右上サンプルの右側に隣接するサンプルは右下参照サンプルとして示される。右下サブブロックの右下サンプルの右側に隣接するサンプル又は右下サブブロックの右側中間サンプルの右側に隣接するサンプルが右下参照サンプルとして設定される場合、隣接参照サンプルの左側に隣接するサンプルに基づいてアフィンシードベクトルを導き出してもよい。
また、左下参照サンプルがアフィン隣接ブロックに属しない場合、説明される実施例に応じて左下参照サンプルの右側に隣接するサンプルに基づいてアフィンシードベクトルを導き出してもよい。
異なる方式で参照サンプルの位置及びアフィンシードベクトルを導き出すためのサブブロックを設定することにより、サブシードベクトル幅を２の冪級数として設定してもよい。
代替的に、左下サブブロック及び右下サブブロックの運動ベクトルを使用できる場合、隣接ブロックの幅に基づいて複数のアフィンシードベクトルを導き出してもよい。
図１８は隣接ブロックに属する複数のサブブロックの複数の運動ベクトルに基づいてアフィンマージ候補のアフィンシードベクトルを導き出す例を示す図である。
現在ブロックの上境界が符号化木ユニットの境界に接触する場合、現在ブロックの上方に位置する上側隣接ブロックの左下サブブロック及び右下サブブロックの運動ベクトルに基づいてアフィンマージ候補のアフィンシードベクトルを導き出してもよい。上側隣接ブロックの左上サンプルの位置が（ｘＮｂ，ｙＮｂ）であり、上側隣接ブロックの幅及び高さがそれぞれＮｂＷ及びＮｂＨであると仮定すれば、左下サブブロックは（ｘＮｂ，ｙＮｂ＋ｙＮｂＨ－１）位置上のサンプルを含んでもよく、右下サブブロックは（ｘＮｂ＋ＮｂＷ－１，ｙＮｂ＋ＮｂＨ－１）位置上のサンプルを含んでもよい。
隣接ブロックの幅及び隣接ブロックと現在ブロックとの座標差に基づいてアフィンマージ候補の複数のアフィンシードベクトルを導き出してもよい。例えば、下記等式１１～等式１３に基づいてアフィンマージ候補の複数のアフィンシードベクトルを導き出してもよい。
等式１１
Figure 2022509024000012
等式１２
Figure 2022509024000013
等式１３
Figure 2022509024000014
前記等式１１～１３では、（ｖ０ｘ，ｖ０ｙ）が第１アフィンシードベクトルを示し、（ｖ１ｘ，ｖ１ｙ）が第２アフィンシードベクトルを示し、（ｖ２ｘ，ｖ２ｙ）が第３アフィンシードベクトルを示す。Ｖｌｂｘが左下サブブロックの水平成分運動ベクトルを示し、Ｖｌｂｙが左下サブブロックの垂直成分運動ベクトルを示す。Ｖｒｂｘが右下サブブロックの水平成分運動ベクトルを示し、Ｖｒｂｙが右下サブブロックの垂直成分運動ベクトルを示す。ＮｂＷが隣接ブロックの幅を示し、ｘＣｂＷ及びｘＣｂＨがそれぞれ現在ブロックの幅及び高さを示す。ｘＣｂが現在ブロックの左上サンプルのｘ座標を示し、ｘＮｂが隣接ブロックの左上サンプルのｘ座標を示す。
更に第１隣接ブロックから導き出した複数のアフィンシードベクトルと第２隣接ブロックの運動ベクトルを組み合わせてアフィンマージ候補を生成してもよい。例えば、図１８に示される例では、左下サブブロック及び右下サブブロックの運動ベクトルに基づいてアフィンマージ候補の第３アフィンシードベクトルを導き出す代わりに、更に現在ブロックの左側に位置するサブブロックの運動ベクトルに基づいてアフィンマージ候補の第３アフィンシードベクトルを導き出してもよい。
図１９は現在ブロックの左側に位置する複数のサブブロックの運動ベクトルに基づいてアフィンマージ候補のアフィンシードベクトルを導き出す例を示す図である。
現在ブロックの上方に位置する上側隣接ブロックの左下サブブロック及び右下サブブロックの運動ベクトルに基づいて、アフィンマージ候補のアフィンシードベクトルを導き出してもよい。具体的に、左下サブブロック及び右下サブブロックの運動ベクトルに基づいてアフィンマージ候補の第１アフィンシードベクトル及び第２アフィンシードベクトルを導き出してもよい。例えば、等式１１及び等式１２に基づいてアフィンマージ候補の第１アフィンシードベクトル及び第２アフィンシードベクトルを導き出してもよい。
現在ブロックの左側に位置する隣接ブロックの運動ベクトルに基づいてアフィンマージ候補の第３アフィンシードベクトルを導き出してもよい。例えば、現在ブロックの左側に隣接する隣接ブロック又は現在ブロックの左下角に隣接する隣接ブロックの運動ベクトルを第３アフィンシードベクトルとして設定してもよい。現在ブロックの左側に隣接する隣接ブロックは（ｘＣｂ－１，ｙＣｂ＋ＣｂＨ－１）位置上のサンプルを含んでもよく、現在ブロックの左下角に隣接する隣接ブロックは（ｘＣｂ－１，ｙＣｂ＋ＣｂＨ）位置上のサンプルを含んでもよい。等式１４及び等式１５には現在ブロックの左側に位置する隣接ブロックの運動ベクトルを第３アフィンシードベクトルとして設定する例を示す。
等式１４
Figure 2022509024000015
等式１５
Figure 2022509024000016
等式１４では、ＶＬｅｆｔｘが現在ブロックの左側に隣接する隣接ブロックの水平方向運動ベクトルを示し、ＶＬｅｆｔｙが現在ブロックの左側に隣接する隣接ブロックの垂直方向運動ベクトルを示す。等式１５では、ＶＬＢｘが現在ブロックの左下角に隣接する隣接ブロックの水平方向運動ベクトルを示し、ＶＬＢｙが現在ブロックの左下角に隣接する隣接ブロックの垂直方向運動ベクトルを示す。
現在ブロックの左側に隣接する隣接ブロックの運動ベクトルが利用不可能である場合のみ、現在ブロックの左下角に隣接する隣接ブロックの運動ベクトルを使用して第３アフィンシードベクトルを導き出すことができる。
更に、現在ブロックの左側に位置する隣接ブロックの運動ベクトルが利用可能であるかどうかによって、異なるアフィンマージ候補の第３アフィンシードベクトルの導き出し方法を設定してもよい。例えば、現在ブロックの左側に位置する隣接ブロック（例えば、現在ブロックの左側に隣接するサブブロック又は現在ブロックの左下角に隣接するサブブロック）の運動ベクトルが利用可能である場合、等式１４又は等式１５を使用して第３アフィンシードベクトルを導き出すことができる。一方、現在ブロックの左側に位置する隣接ブロックの運動ベクトルが利用不可能である場合、等式１３を使用して第３アフィンシードベクトルを導き出すことができる。
更に参照サンプルにおける現在ブロックに隣接しない非隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出してもよい。第３アフィンシードベクトルを導き出すために、アフィンマージ候補を導き出す際に使用される上側隣接ブロックの位置に基づいて、参照サンプルにおける現在ブロックに隣接する隣接ブロックの運動ベクトルを使用するかそれとも参照サンプルにおける現在ブロックに隣接しない非隣接ブロックの運動ベクトルを使用するかを決定してもよい。
図２０は現在ブロックの左側に位置する非隣接ブロック又は隣接ブロックの運動情報に基づいてアフィンマージ候補のアフィンシードベクトルを導き出す例を示す図である。
アフィンマージ候補を導き出すための上側隣接ブロックの左上サンプルの位置と現在ブロックの左上サンプルの位置とを比較することにより、第３アフィンシードベクトルを導き出すためのブロックの位置を決定してもよい。例えば、図２０（ａ）部分に示される例では、上側隣接ブロックの左上サンプルのｘ座標（ｘＮｂ）が現在ブロックの左上サンプルのｘ座標（ｘＣｂ）より小さい場合、現在ブロックの左側に隣接しない非隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出してもよい。具体的に、上側隣接ブロックの左上サンプルと同じｘ座標を有するサンプル（ｘＮｂ，ｙＣｂ＋ＣｂＨ－１）を含む左側非隣接ブロック又は（ｘＮｂ，ｙＣｂ＋ＣｂＨ）位置上のサンプルを含む左下非隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出してもよい。等式１６及び等式１７には非隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出す例を示す。
等式１６
Figure 2022509024000017
等式１７
Figure 2022509024000018
等式１６では、ＶＬｅｆｔ２ｘが左側非隣接ブロックの水平方向運動ベクトルを示し、ＶＬｅｆｔ２ｙが左側非隣接ブロックの垂直方向運動ベクトルを示す。等式１７では、ＶＬＢ２ｘが左下非隣接ブロックの水平方向運動ベクトルを示し、ＶＬＢ２ｙが左下非隣接ブロックの垂直方向運動ベクトルを示す。
左側非隣接ブロックの運動ベクトルが利用不可能である場合のみ、左下非隣接ブロックの運動ベクトルを使用して第３アフィンシードベクトルを導き出すことができる。
図２０（ｂ）部分に示される例では、上側隣接ブロックの左上サンプルのｘ座標（ｘＮｂ）が現在ブロックの左上サンプルのｘ座標（ｘＣｂ）と同じであり、又は上側隣接ブロックの左上サンプルのｘ座標（ｘＮｂ）が現在ブロックの左上サンプルのｘ座標（ｘＣｂ）より大きい場合、現在ブロックの左側又は左下角に隣接する隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出してもよい。具体的に、現在ブロックの左側に隣接するサンプル（ｘＣｂ，ｙＣｂ＋ＣｂＨ－１）を含む左側隣接ブロック又は現在ブロックの左下角に隣接するサンプル（ｘＣｂ，ｙＣｂ＋ＣｂＨ）位置上のサンプルを含む左下隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出してもよい。
更に、図１８～図２０に示されるのと異なる方式で左側隣接ブロック又は左側非隣接ブロックの参照サンプルの位置を設定してもよい。例えば、現在ブロックに隣接するサンプル（ｘＣｂ－１，ｙＣｂ＋ｓｕｂＨ－１）を含むブロックを左側隣接ブロックとして設定してもよく、現在ブロックに隣接しないサンプル（ｘＮｂ，ｙＣｂ＋ｓｕｂＨ－１）を含むブロックを左側非隣接ブロックとして設定してもよい。ｓｕｂＨは運動情報を記憶するブロックの最小高さを示し、２、４又は８等の整数であってもよい。
図２１はアフィンマージ候補のアフィンシードベクトルを導き出すためのブロックの位置を示す図である。
例えば、図２１（ａ）部分に示される例では、上側隣接ブロックの左上サンプルのｘ座標（ｘＮｂ）が現在ブロックの左上サンプルのｘ座標（ｘＣｂ）より小さい場合、現在ブロックの左側に隣接しない非隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出してもよい。具体的に、上側隣接ブロックの左上サンプルと同じｘ座標を有する、上側隣接ブロックの左下サンプルから所定距離（例えば、ｓｕｂＨ）離れるサンプル（ｘＮｂ，ｙＣｂ＋ｓｕｂＨ－１）を含む左側非隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出してもよい。等式１８には非隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出す例を示す。
等式１８
Figure 2022509024000019
等式１８では、ＶＬｅｆｔＴ２ｘが上側隣接ブロックの左下サンプルから所定距離離れるサンプルを含む左側非隣接ブロックの水平方向運動ベクトルを示す。ＶＬｅｆｔＴ２ｙが上側隣接ブロックの左下サンプルから所定距離離れるサンプルを含む左側非隣接ブロックの垂直方向運動ベクトルを示す。
代替的に、図２１（ｂ）部分に示される例では、上側隣接ブロックの左上サンプルのｘ座標（ｘＮｂ）が現在ブロックの左上サンプルのｘ座標（ｘＣｂ）と同じであり、又は上側隣接ブロックの左上サンプルのｘ座標（ｘＮｂ）が現在ブロックの左上サンプルのｘ座標（ｘＣｂ）より大きい場合、現在ブロックの左側に隣接する、現在ブロックの左上サンプルから垂直方向に沿って所定距離（例えば、ｓｕｂＨ－１）離れるサンプル（ｘＣｂ－１，ｙＣｂ＋ｓｕｂＨ－１）を含む左側隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出してもよい。等式１９には隣接ブロックの運動ベクトルに基づいて第３アフィンシードベクトルを導き出す例を示す。
等式１９
Figure 2022509024000020
等式１９では、ＶＬｅｆｔＴｘが現在ブロックの左側に隣接し且つ現在ブロックの左上サンプルから垂直方向に沿って所定距離離れるサンプルを含む左側隣接ブロックの水平方向運動ベクトルを示す。ＶＬｅｆｔＴｙが現在ブロックの左側に隣接し且つ現在ブロックの左上サンプルから垂直方向に沿って所定距離離れるサンプルを含む左側隣接ブロックの垂直方向運動ベクトルを示す。
代替的に、参照サンプルを図１８～図２１に示される位置と異なる位置に設定してもよい。例えば、現在ブロックの左側に隣接し且つ現在ブロックの左上サンプルと同じｙ座標を有するサンプル（ｘＣｂ－１，ｙＣｂ）又は現在ブロックの左側に隣接せず且つ現在ブロックの左上サンプルと同じｙ座標を有するサンプル（ｘＮｂ，ｙＣｂ）を参照サンプルとして設定してもよい。
説明される例では、現在ブロックの上方に位置する隣接ブロックからアフィンマージ候補の第１アフィンシードベクトル及び第２アフィンシードベクトルを導き出してもよく、現在ブロックの左側に位置する隣接ブロックからアフィンマージ候補の第３アフィンシードベクトルを導き出してもよい。現在ブロックの左側に位置する隣接ブロックからアフィンマージ候補の第１アフィンシードベクトル及び第３アフィンシードベクトルを導き出してもよく、現在ブロックの上方に位置する隣接ブロックからアフィンマージ候補の第２アフィンシードベクトルを導き出してもよい。
等式１１～等式１３に示される例では、上側隣接ブロックの左下サブブロックの運動ベクトルＶＬＢと右下サブブロックの運動ベクトルＶＲＢとの差分に基づいてアフィンマージ候補のアフィンシードベクトルを導き出してもよい。このような場合、左下サブブロックの運動ベクトル又は右下サブブロックの運動ベクトルの代わりに、他のブロックの運動ベクトルを使用してアフィンマージ候補のアフィンシードベクトルを導き出してもよい。例えば、上側隣接ブロックの左下サブブロックの運動ベクトルＶＬＢ及び右下サブブロックの運動ベクトルＶＲＢの値が同じである場合、右下サブブロックの右側又は下方に位置するサンプルのブロックの運動ベクトルでＶＲＢを代替してもよい。例えば、右下サブブロックの運動ベクトルＶＲＢの代わりに、（ｘＮｂ＋ＮｂＷ，ｙＮｂ＋ＮｂＨ－１）位置上のサンプルを含むブロックの運動ベクトルを使用してアフィンマージ候補の運動ベクトルを導き出してもよい。
代替的に、上側隣接ブロックの左下サブブロックの運動ベクトルＶＬＢ及び右下サブブロックの運動ベクトルＶＲＢの値が同じである場合、左下サブブロックの左側又は下方に位置するサンプルを含むブロックの運動ベクトルでＶＬＢを代替してもよい。例えば、左下サブブロックの運動ベクトルＶＬＢの代わりに、（ｘＮｂ，ｙＮｂ＋ＮｂＨ－１＋ｏｆｆｓｅｔ）位置上のサンプルを含むブロックの運動ベクトルを使用してアフィンマージ候補の運動ベクトルを導き出してもよい。オフセット量は１以上の整数であってもよい。
代替的に、左下サブブロックの左側又は下方に位置するサンプルを含むブロックの運動ベクトルでＶＲＢを代替してもよく、又は右下サブブロックの右側又は下方に位置するサンプルを含むブロックの運動ベクトルでＶＬＢを代替してもよい。
更に現在ブロックに隣接する複数の隣接ブロックの複数の運動ベクトルを組み合わせてマージ候補を導き出してもよい。複数の隣接ブロックの複数の運動ベクトルが組み合わせられてなるマージ候補は組合せマージ候補と称されてもよい。組合せマージ候補を導き出す場合、制御点に隣接する複数の隣接ブロックのうちの１つの隣接ブロックから制御点のアフィンシードベクトルを導き出してもよい。
図２２は複数の隣接ブロックの複数の運動ベクトルを組み合わせて組合せマージ候補を導き出す例を説明するための図である。
隣接ブロックは現在ブロックの上方に位置する上側隣接ブロックと、現在ブロックの左側に位置する左側隣接ブロックとを含んでもよい。上側隣接ブロックは、（ｘＣｂ＋ＣｂＷ，ｙＣｂ－１）位置上のサンプルを含むブロックＢ０、（ｘＣｂ＋ＣｂＷ－１，ｙＣｂ－１）位置上のサンプルを含むブロックＢ１、（ｘＣｂ－１，ｙＣｂ－１）位置上のサンプルを含むブロックＢ２、又は（ｘＣｂ，ｙＣｂ－１）位置上のサンプルを含むブロックＢ３のうちの少なくとも１つであってもよい。（ｘＣｂ，ｙＣｂ）が現在ブロックの左上サンプルの位置を示し、ＣｂＷが現在ブロックの幅を示す。左側隣接ブロックは、（ｘＣｂ－１，ｙＣｂ＋ＣｂＨ）位置上のサンプルを含むブロックＡ０、（ｘＣｂ－１，ｙＣｂ＋ＣｂＨ－１）位置上のサンプルを含むブロックＡ１、又は（ｘＣｂ－１，ｙＣｂ）位置のサンプルを含むブロックＡ２のうちの少なくとも１つであってもよい。ＣｂＨが現在ブロックの高さを示す。
また、隣接ブロックは更に現在ブロックの時間隣接ブロックを含んでもよい。
隣接ブロックのうちの２つ以上の隣接ブロックの運動情報を組み合わせて組合せマージ候補を導き出してもよい。２つ又は３つの隣接ブロックの運動情報を組み合わせて組合せマージ候補を導き出してもよい。具体的に、組合せマージ候補は更に第１制御点に隣接する隣接ブロックの運動情報、第２制御点に隣接する隣接ブロックの運動情報又は第３制御点に隣接する隣接ブロックの運動情報のうちの２つ以上を組み合わせることにより導き出されてもよい。
例えば、左上制御点ＣＰ０に隣接する隣接ブロックＡ２、Ｂ２又はＢ３、右上制御点ＣＰ１に隣接する隣接ブロックＢ１又はＢ０、又は左下制御点ＣＰ２に関連する時間隣接ブロックＴのうちの２つ以上の隣接ブロックの運動ベクトルを組み合わせて組合せマージ候補を導き出してもよい。
このような場合、予め定義された走査順序に従って制御点に隣接する複数の隣接ブロックを走査する場合、先に検索された利用可能な隣接ブロックの運動ベクトルを前記制御点のアフィンシードベクトルとして設定してもよい。例えば、ＣＰ０に関連する組合せマージ候補の第１アフィンシードベクトルを、Ｂ２、Ｂ３及びＡ２の順序に従って複数の隣接ブロックを検索する際に先に検索された利用可能な隣接ブロックの運動ベクトルとして設定してもよい。ＣＰ１に関連する組合せマージ候補の第２アフィンシードベクトルを、Ｂ１及びＢ０の順序に従って複数の隣接ブロックを検索する際に先に検索された利用可能な隣接ブロックの運動ベクトルとして設定してもよい。ＣＰ２に関連する組合せマージ候補の第３アフィンシードベクトルを、Ａ１及びＡ０の順序に従って複数の隣接ブロックを検索する際に先に検索された利用可能な隣接ブロックの運動ベクトルとして設定してもよい。
組合せマージ候補を導き出す場合、アフィン運動モデルで符号化された隣接ブロック又はアフィンマージ候補により導き出された隣接ブロックは使用できないように設定されてもよい。
図２３は隣接ブロックが使用できないことを示す図である。
現在ブロックの上方に位置する隣接ブロックＢ１からアフィンマージ候補を導き出すとき、隣接ブロックＢ１が組合せマージ候補を導き出すために使用できないことを決定できる。従って、ＣＰ１に関連する組合せマージ候補のアフィンシードベクトルを導き出すとき、Ｂ１の運動ベクトルを使用しない可能性がある。
代替的に、アフィン運動モデルで隣接ブロックを符号化するとき、参照サンプルを含むサブブロックのアフィンベクトルに基づいて組合せマージ候補を導き出してもよい。例えば、アフィン運動モデルでＢ１位置上のサンプルを含む隣接ブロックを符号化する場合、前記隣接ブロックのＢ１位置上のサンプルを含むサブブロックのアフィンベクトルを使用して組合せマージ候補を導き出してもよい。
代替的に、アフィン運動モデルで隣接ブロックを符号化するかどうか又はアフィンマージ候補によって隣接ブロックを導き出すかどうかを考慮した上で、走査順序を決定してもよい。例えば、アフィン運動モデルで符号化された隣接ブロック又はアフィンマージ候補により導き出された隣接ブロックの走査順序を最後に設定してもよい。例えば、アフィン運動モデルによりＢ１位置上の隣接ブロックを符号化するとき、Ｂ０及びＢ１の順序に従って複数の隣接ブロックを検索することにより、ＣＰ２に関連する組合せマージ候補の第２アフィンシードベクトルを導き出してもよい。
複数の隣接ブロックの間の参照ピクチャインデックスが異なる場合、インデックスの最も小さい参照ピクチャ又はインデックスの最も大きい参照ピクチャに基づいて運動ベクトルを拡大縮小してもよい。参照ピクチャと現ピクチャとの出力順序（ＰＯＣ、Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）差分に基づいて前記拡大縮小を実行してもよい。
代替的に、複数の隣接ブロックのうちの参照ピクチャインデックスと同じ隣接ブロックのみを使用して複数の隣接ブロックの組合せを実行してもよい。例えば、複数の隣接ブロックのうちの少なくとも１つの参照ピクチャインデックスが異なる場合、組合せを、組合せマージ候補として使用できないように設定してもよい。また、隣接ブロックの運動情報又は運動ベクトルと同じであるかどうかにかかわらず、組合せの利用可能性を決定できる。例えば、複数の隣接ブロックの運動ベクトル（例えば、ＣＰ０アフィンシードベクトル及びＣＰ１アフィンシードベクトル）が同じである場合、参照ピクチャインデックスと同じ複数の隣接ブロックを組み合わせて組合せマージ候補を導き出してもよい。代替的に、複数の隣接ブロックの参照ピクチャインデックスを考慮した上で、複数の隣接ブロックの走査順序を決定してもよい。代替的に、複数の隣接ブロックのうちの予測方向が同じ複数の隣接ブロックのみを使用して前記組合せを実行してもよい。
設定された組合せ順序に従ってマージ候補を生成してもよい。例えば、組合せ順序を、
１．｛ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル、ＣＰ２アフィンシードベクトル｝
２．｛ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル、ＣＰ３アフィンシードベクトル｝
３．｛ＣＰ０アフィンシードベクトル、ＣＰ２アフィンシードベクトル、ＣＰ３アフィンシードベクトル｝
４．｛ＣＰ１アフィンシードベクトル、ＣＰ２アフィンシードベクトル、ＣＰ３アフィンシードベクトル｝
５．｛ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル｝
６．｛ＣＰ０アフィンシードベクトル、ＣＰ２アフィンシードベクトル｝に設定してもよい。
６つの組合せ例を示したが、この数より少なく又は多い数の組合せ例を使用してもよい。
３つのアフィンシードベクトルを組み合わせて生成した組合せマージ候補は６パラメータセットマージ候補と称されてもよく、２つのアフィンシードベクトルを組み合わせて生成した組合せマージ候補は４パラメータセットマージ候補と称されてもよい。
組合せ順序はエンコーダ及びデコーダにおいて予め定義されてもよい。代替的に、現在ブロックのサイズ、形状、分割タイプ、アフィン運動モデル、符号化木ユニットにおける現在ブロックの位置又は参照ピクチャの出力順序のうちの少なくとも１つに基づいて組合せ順序を決定してもよい。例えば、現在ブロックに対して４パラメータアフィン運動モデルを応用する場合、４パラメータセットマージ候補に使用される複数の組合せ例は６パラメータセットマージ候補に使用される複数の組合せ例より高い優先度を有するように設定されてもよい。
組合せ順序に従って組合せマージ候補を生成してもよいが、参照ピクチャが同じ複数の隣接ブロックのみを組み合わせて生成したマージ候補しか使用できないことを決定できる。代替的に、複数の隣接ブロックのうちの少なくとも１つの参照ピクチャが異なる場合、インデックスの最も大きい参照ピクチャ又はインデックスの最も小さい参照ピクチャに基づいて運動ベクトルを拡大縮小することにより、マージ候補を導き出してもよい。現ピクチャと参照ピクチャとの出力順序の相違によって前記拡大縮小を実行してもよい。代替的に、複数の隣接ブロックにおける２つの参照ピクチャが同じであるが他の参照ピクチャが異なる場合、共同で２つの隣接ブロックに応用される参照ピクチャに基づいて他の隣接ブロックの運動ベクトルを拡大縮小することにより、組合せマージ候補を導き出してもよい。
マージ候補リストに含まれるマージ候補の数又はマージ候補の最大数のうちの少なくとも１つに基づいて、マージ候補リストに追加した組合せマージ候補の数を決定してもよい。代替的に、現在ブロックのアフィン運動モデルに基づいて、６パラメータセットマージ候補のみをマージ候補リストに追加してもよく、又は４パラメータセットマージ候補のみを組合せマージ候補リストに追加してもよい。
例えば、マージ候補リストに追加しようとする組合せマージ候補の数が１であり且つ現在ブロックに対して６パラメータ運動モデルを応用する場合、設定された組合せ順序に基づく１つの６パラメータセットマージ候補をマージ候補リストに追加してもよい。具体的に、ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル及びＣＰ２アフィンシードベクトルがいずれも利用可能である場合、組合せマージ候補｛ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル、ＣＰ２アフィンシードベクトル｝をマージ候補リストに追加してもよい。代替的に、ＣＰ２アフィンシードベクトルが利用不可能であり且つＣＰ３アフィンシードベクトルが利用可能である場合、組合せマージ候補｛ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル、ＣＰ３アフィンシードベクトル｝をマージ候補リストに追加してもよい。
代替的に、マージ候補リストに追加しようとする組合せマージ候補の数が１であり且つ現在ブロックに対して６パラメータ運動モデルを応用する場合、設定された組合せ順序に基づく１つの４パラメータセットマージ候補をマージ候補リストに追加してもよい。
他の例として、現在ブロックのアフィン運動モデルに基づいて、マージ候補リストに追加しようとする複数の組合せマージ候補の数が異なるように設定してもよい。例えば、現在ブロックに対して６パラメータ運動モデルを応用する場合、１つの組合せマージ候補をマージ候補リストに追加してもよい。一方、現在ブロックに対して４パラメータ運動モデルを応用する場合、２つの組合せマージ候補をマージ候補リストに追加してもよい。
利用可能なアフィンマージ候補の数に基づいて、マージ候補リストに追加しようとする組合せマージ候補を選択してもよい。例えば、利用可能なアフィンマージ候補の数が２つ以上である場合、４パラメータセットマージ候補のみをマージ候補リストに追加してもよい。一方、利用可能なアフィンマージ候補の数が１つ以下である場合、６パラメータセットマージ候補のみをマージ候補リストに追加してもよい。代替的に、利用可能なアフィンマージ候補の数が１つ以下である場合、Ｎ個の６パラメータセットマージ候補及びＭ個の４パラメータセットマージ候補をマージ候補リストに追加してもよい。ＮとＭが整数であり、Ｍがマージ候補の最大数からＮを引いた数値に基づいて導き出されてもよい。代替的に、利用可能なアフィンマージ候補の数が１つ以下である場合、４パラメータセットマージ候補のみをマージ候補リストに追加してもよい。
代替的に、複数のアフィンシードベクトルの利用可能性に基づいて組合せ順序を決定してもよい。例えば、複数のアフィンシードベクトルの利用可能性を考慮した上で、
１．ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル及びＣＰ２アフィンシードベクトルが利用可能である場合
｛ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル、ＣＰ２アフィンシードベクトル｝
２．ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル及びＣＰ３アフィンシードベクトルが利用可能である場合
｛ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル、ＣＰ３アフィンシードベクトル｝
３．ＣＰ０アフィンシードベクトル、ＣＰ２アフィンシードベクトル及びＣＰ３アフィンシードベクトルが利用可能である場合
｛ＣＰ０アフィンシードベクトル、ＣＰ２アフィンシードベクトル、ＣＰ３アフィンシードベクトル｝
４．ＣＰ０アフィンシードベクトル、ＣＰ２アフィンシードベクトル及びＣＰ３アフィンシードベクトルが利用可能である場合
｛ＣＰ１アフィンシードベクトル、ＣＰ２アフィンシードベクトル、ＣＰ３アフィンシードベクトル｝
５．ＣＰ０アフィンシードベクトル及びＣＰ１アフィンシードベクトルが利用可能である場合
｛ＣＰ０アフィンシードベクトル、ＣＰ１アフィンシードベクトル｝
６．ＣＰ０アフィンシードベクトル及びＣＰ２アフィンシードベクトルが利用可能である場合
｛ＣＰ０アフィンシードベクトル、ＣＰ２アフィンシードベクトル｝の順序に従って組合せマージ候補をマージ候補リストに追加してもよい。
マージ候補リストに追加できる組合せマージ候補の数が１つである場合、前記１～６の条件のうちの先に満足された条件の組合せマージ候補をマージ候補リストに追加してもよい。１～６の条件を満足しない場合、組合せマージ候補をマージ候補リストに追加しない可能性がある。
他の例として、更に利用可能なアフィンマージ候補の数に基づいてマージ候補リストに追加できる組合せマージ候補の最大数を決定してもよい。
マージ候補リストに含まれるマージ候補の数が最大数より小さい場合、更に運動ベクトル０のゼロマージ候補をマージ候補リストに追加してもよい。従って、アフィンマージモードにおいて、
１．アフィンマージ候補を導き出す
２．組合せマージ候補
３．ゼロマージ候補の順序に従ってマージ候補を導き出してもよい。
次に、並進運動情報を使用するインター予測方法について詳しく説明する。
現在ブロックの他のブロックの運動情報から現在ブロックの運動情報を導き出してもよい。他のブロックは現在ブロックの前でインター予測により符号化／復号されたブロックであってもよい。現在ブロックの運動情報が他のブロックの運動情報と同じであるように設定される場合はマージモードとして定義されてもよい。また、他のブロックの運動ベクトルが現在ブロックの運動ベクトルの予測値として設定される場合は運動ベクトル予測モードと定義されてもよい。
図２４はマージモードにおいて現在ブロックの運動情報を導き出す過程のフローチャートである。
現在ブロックのマージ候補を導き出してもよい（Ｓ２４０１）。現在ブロックのマージ候補は現在ブロックの前でインター予測により符号化／復号されたブロックから導き出されてもよい。
マージ候補を導き出すために使用される候補ブロックは隣接ブロック、即ち現在ブロックに隣接するサンプルを含んでもよい。例えば、現在ブロックの左上サンプルの座標が（０，０）である場合、（－１，Ｈ－１）位置上の参照サンプルを含むブロック、（Ｗ－１，－１）位置上の参照サンプルを含むブロック、（Ｗ，－１）位置上の参照サンプルを含むブロック、（－１，Ｈ）位置上の参照サンプルを含むブロック、又は（－１，－１）位置上の参照サンプルを含むブロックのうちの少なくとも１つは候補ブロックとして使用されてもよい。
代替的に、現在ブロックと同じ符号化木ユニットに属しない候補ブロックはマージ候補として使用できないように設定されてもよい。例えば、参照サンプルが現在ブロックの属する符号化木ユニットの上境界を超える場合、参照サンプルを含む候補ブロックはマージ候補として使用できないように設定されてもよい。
更に現在ブロックと異なるピクチャに含まれる時間隣接ブロックからマージ候補を導き出してもよい。例えば、更にコロケーテッドピクチャに含まれるコロケーテッドブロックからマージ候補を導き出してもよい。参照ピクチャリストに含まれる複数の参照ピクチャのうちのいずれか１つはコロケーテッドピクチャとして設定されてもよい。ビットストリームを介して信号によって複数の参照ピクチャのうちのコロケーテッドピクチャを示すためのインデックス情報を送信してもよい。代替的に、複数の参照ピクチャのうちの予め定義されたインデックスを有する参照ピクチャはコロケーテッドピクチャとして決定されてもよい。
マージ候補の運動情報が候補ブロックの運動情報と同じであるように設定してもよい。例えば、候補ブロックの運動ベクトル、参照ピクチャインデックス、予測方向又は双方向重み付け値インデックスのうちの少なくとも１つはマージ候補の運動情報として設定されてもよい。
マージ候補を含むマージ候補リストを生成してもよい（Ｓ２４０２）。
所定順序に従ってマージ候補リストにおける複数のマージ候補のインデックスを割り当ててもよい。例えば、左側隣接ブロックから導き出したマージ候補、上側隣接ブロックから導き出したマージ候補、右上隣接ブロックから導き出したマージ候補、左下隣接ブロックから導き出したマージ候補、左上隣接ブロックから導き出したマージ候補、及び時間隣接ブロックから導き出したマージ候補の順序に従って、インデックスを割り当ててもよい。
マージ候補リストは複数のマージ候補を含む場合、複数のマージ候補のうちの少なくとも１つを選択してもよい（Ｓ２４０３）。具体的に、ビットストリームを介して信号によって指定された複数のマージ候補のうちのいずれか１つを指定するための情報を送信してもよい。例えば、ビットストリームを介して信号によってマージ候補リストに含まれる複数のマージ候補のうちのいずれか１つを示すインデックスの情報ｍｅｒｇｅ＿ｉｄｘを送信してもよい。
マージ候補リストに含まれるマージ候補の数が閾値より小さい場合、インター運動情報リストに含まれるマージ候補をマージ候補リストに追加してもよい。閾値はマージ候補リストに含まれ得るマージ候補の最大数又はマージ候補の最大数からオフセット量を引いた値であってもよい。オフセット量は１又は２等の整数であってもよい。インター運動情報リストは現在ブロックの前に符号化／復号されるブロックに基づいて導き出したマージ候補を含んでもよい。
インター運動情報リストは現ピクチャにおけるインター予測により符号化／復号されたブロックから導き出したマージ候補を含む。例えば、インター運動情報リストに含まれるマージ候補の運動情報はインター予測により符号化／復号されたブロックの運動情報と同じであるように設定してもよい。運動情報は運動ベクトル、参照ピクチャインデックス、予測方向又は双方向重み付け値インデックスのうちの少なくとも１つを含んでもよい。
説明の都合上、インター運動情報リストに含まれるマージ候補はインターマージ候補と称される。
エンコーダ及びデコーダにおいてインター運動情報リストに含まれ得るマージ候補の最大数を予め定義してもよい。例えば、インター運動情報リストに含まれ得るマージ候補の最大数は１、２、３、４、５、６、７、８又はそれ以上（例えば、１６）であってもよい。
代替的に、ビットストリームを介して信号によってインター運動情報リストにおけるマージ候補の最大数を示す情報を送信してもよい。前記情報はシーケンスレベル、ピクチャレベル又はスライスレベルで信号により送信される。
代替的に、ピクチャのサイズ、スライスのサイズ又は符号化木ユニットのサイズに基づいてインター運動情報リストにおけるマージ候補の最大数を決定してもよい。
インター運動情報リストはピクチャ、スライス、セグメント、ブロック、符号化木ユニット又は符号化木ユニット行（行又は列）単位で初期化を実現してもよい。例えば、スライスを初期化するとき、インター運動情報リストも初期化され、インター運動情報リストはいかなるマージ候補を含まない可能性がある。
代替的に、更にビットストリームを介して信号によってインター運動情報リストを初期化するかどうかを示す情報を送信してもよい。前記情報はスライスレベル、セグメントレベル、ブロックレベル又はブロックレベルで信号により送信されてもよい。前記情報がインター運動情報リストを初期化することを示す前に、設定されたインター運動情報リストを使用してもよい。
代替的に、ピクチャパラメータセット又はスライスヘッダーを介して信号によってインターマージ候補に関連する情報を送信してもよい。スライスが初期化されても、インター運動情報リストも初期インターマージ候補を含んでもよい。従って、インターマージ候補をスライスにおける初めて符号化／復号されたブロックに使用してもよい。
符号化／復号順序に従ってブロックを符号化／復号し、且つ、符号化／復号順序に従ってインター予測により符号化／復号された複数のブロックを順にインターマージ候補として設定してもよい。
図２５はインター運動情報リストの更新例を説明するための図である。
現在ブロックに対してインター予測を実行するとき（Ｓ２５０１）、現在ブロックに基づいてインターマージ候補を導き出してもよい（Ｓ２５０２）。インターマージ候補の運動情報が現在ブロックの運動情報と同じであるように設定してもよい。
インター運動情報リストが空である場合（Ｓ２５０３）、現在ブロックに基づいて導き出したインターマージ候補をインター運動情報リストに追加してもよい（Ｓ２５０４）。
インター運動情報リストが前記インターマージ候補を含む場合（Ｓ２５０３）、現在ブロックの運動情報（又は、現在ブロックに基づいて導き出したインターマージ候補）に対して冗長検査を行ってもよい（Ｓ２５０５）。冗長検査はインター運動情報リストに記憶されるインターマージ候補の運動情報が現在ブロックの運動情報と同じであるかどうかを決定することに用いられる。インター運動情報リストに記憶されるすべてのインターマージ候補をオブジェクトとして冗長検査を実行してもよい。代替的に、インター運動情報リストに記憶されるインターマージ候補のうちのインデックスが閾値以上又は閾値以下であるインターマージ候補をオブジェクトとして冗長検査を実行してもよい。
現在ブロックの運動情報と同じ運動情報を有するインターマージ候補を含まない場合、現在ブロックに基づいて導き出したインターマージ候補をインター運動情報リストに追加してもよい（Ｓ２５０８）。インターマージ候補の運動情報（例えば、運動ベクトル及び／又は参照ピクチャインデックス等）が同じであるかどうかによって、インターマージ候補が同じであるかどうかを決定してもよい。
このとき、インター運動情報リストに最大数のインターマージ候補が記憶される場合（Ｓ２５０６）、最初のインターマージ候補を削除し（Ｓ２５０７）、且つ現在ブロックに基づいて導き出したインターマージ候補をインター運動情報リストに追加してもよい（Ｓ２５０８）。
各インデックスに基づいて複数のインターマージ候補を識別してもよい。現在ブロックから導き出したインターマージ候補をインター運動情報リストに追加するとき、前記インターマージ候補に最小のインデックス（例えば、０）を割り当て、且つ記憶されるインターマージ候補のインデックスにそれぞれ１を増加させてもよい。このような場合、インター運動情報リストに最大数のインターマージ候補が記憶される場合、インデックスの最も大きいインターマージ候補を取り除く。
代替的に、現在ブロックから導き出したインターマージ候補をインター運動情報リストに追加するとき、前記インターマージ候補に最大のインデックスを割り当ててもよい。例えば、インター運動情報リストに記憶されるインターマージ候補の数が最大値より小さい場合、値が記憶されるインターマージ候補の数と同じであるインデックスを前記インターマージ候補に割り当ててもよい。代替的に、インター運動情報リストに記憶されるインターマージ候補の数が最大値に等しい場合、最大値から１を引いたインデックスを前記インターマージ候補に割り当ててもよい。また、インデックスの最も小さいインターマージ候補を取り除いて、残りの記憶される複数のインターマージ候補のインデックスからそれぞれ１を引く。
図２６はインターマージ候補リストを更新する実施例を示す図である。
現在ブロックから導き出したインターマージ候補をインターマージ候補リストに追加して、前記インターマージ候補に最大のインデックスを割り当てると仮定する。また、インターマージ候補リストに最大数のインターマージ候補が記憶されると仮定する。
現在ブロックから導き出したインターマージ候補ＨｍｖｐＣａｎｄ［ｎ＋１］をインターマージ候補リストＨｍｖｐＣａｎｄＬｉｓｔに追加するとき、記憶されるインターマージ候補からインデックスの最も小さいインターマージ候補ＨｍｖｐＣａｎｄ［０］を削除して、それぞれ複数の残りのインターマージ候補のインデックスから１を引く。また、現在ブロックから導き出したインターマージ候補ＨｍｖｐＣａｎｄ［ｎ＋１］のインデックスを最大値（図２６に示される例では、ｎ）として設定してもよい。
現在ブロックに基づいて導き出したインターマージ候補と同じインターマージ候補が記憶される場合（Ｓ２５０５）、現在ブロックに基づいて導き出したインターマージ候補をインター運動情報リストに追加しない可能性がある（Ｓ２５０９）。
代替的に、現在ブロックに基づいて導き出したインターマージ候補をインター運動情報リストに追加するにつれて、更に前記インターマージ候補と同じである記憶されるインターマージ候補を取り除いてもよい。このような場合、記憶されるインターマージ候補のインデックスが更新された効果を引き起こすこととなる。
図２７は予め記憶されるインターマージ候補のインデックスが更新された例を示す図である。
現在ブロックに基づいて導き出したインターマージ候補ｍｖＣａｎｄと同じである記憶されるインターマージ候補のインデックスがｈＩｄｘである場合、前記記憶されるインターマージ候補を削除し、インデックスがｈＩｄｘより大きいインターマージ候補のインデックスからそれぞれ１を引いてもよい。例えば、図２７に示される例には、ｍｖＣａｎｄと同じＨｍｖｐＣａｎｄ［２］がインター運動情報リストＨｖｍｐＣａｎｄＬｉｓｔから削除され、ＨｍｖｐＣａｎｄ［３］～ＨｍｖｐＣａｎｄ［ｎ］のインデックスからそれぞれ１を引くことを示す。
また、現在ブロックに基づいて導き出したインターマージ候補ｍｖＣａｎｄをインター運動情報リストの最後に追加してもよい。
代替的に、現在ブロックに基づいて導き出したインターマージ候補と同じである記憶されるインターマージ候補に割り当てられたインデックスを更新してもよい。例えば、記憶されるインターマージ候補のインデックスを最小値又は最大値に変更してもよい。
所定領域に含まれるブロックの運動情報がインター運動情報リストに追加できないように設定してもよい。例えば、マージ処理領域に含まれるブロックの運動情報に基づいて導き出したインターマージ候補をインター運動情報リストに追加できない。マージ処理領域に含まれるブロックの符号化／復号順序が定義されないため、これらのブロックのうちのいずれか１つの運動情報を他のブロックのインター予測に使用することは不適である。従って、マージ処理領域に含まれるブロックに基づいて導き出したインターマージ候補をインター運動情報リストに追加しなくてもよい。
サブブロックに基づいて運動補償予測を実行する場合、現在ブロックに含まれる複数のサブブロックのうちの代表的なサブブロックの運動情報に基づいてインターマージ候補を導き出してもよい。例えば、現在ブロックに対してサブブロックマージ候補を使用する場合、サブブロックのうちの代表的なサブブロックの運動情報に基づいてインターマージ候補を導き出してもよい。
サブブロックの運動ベクトルは以下の順序に従って導き出されてもよい。まず、現在ブロックのマージ候補リストに含まれるマージ候補のうちのいずれか１つを選択してもよく、且つ選択されたマージ候補の運動ベクトルに基づいて初期シフトベクトル（ｓｈＶｅｃｔｏｒ）を導き出してもよい。また、符号化ブロックの各サブブロックの参照サンプル（例えば、左上サンプル又は中間位置サンプル）の位置（ｘＳｂ，ｙＳｂ）に初期シフトベクトルを加えることにより、参照サンプルの位置（ｘＣｏｌＳｂ，ｙＣｏｌＳｂ）のシフトサブブロックを導き出してもよい。下記等式２０にはシフトサブブロックを導き出す等式を示す。
等式２０
Figure 2022509024000021
次に、（ｘＣｏｌＳｂ，ｙＣｏｌＳｂ）を含むサブブロックの中心位置に対応するコロケーテッドブロックの運動ベクトルを、（ｘＳｂ，ｙＳｂ）を含むサブブロックの運動ベクトルとして設定する。
代表的なサブブロックとは現在ブロックの左上サンプル又は中心サンプルを含むサブブロックを意味してもよい。
図２８は代表的なサブブロックの位置を示す図である。
図２８（ａ）には現在ブロックの左上に位置するサブブロックが代表的なサブブロックとして設定される例を示し、図２８（ｂ）には現在ブロックの中心に位置するサブブロックが代表的なサブブロックとして設定される例を示す。サブブロック単位で運動補償予測を実行する場合、現在ブロックの左上サンプルを含むサブブロック又は現在ブロックの中心サンプルを含むサブブロックの運動ベクトルに基づいて、現在ブロックのインターマージ候補を導き出してもよい。
更に現在ブロックのインター予測モードに基づいて、現在ブロックをインターマージ候補として使用するかどうかを決定してもよい。例えば、アフィン運動モデルに基づいて符号化／復号されたブロックがインターマージ候補として使用できないように設定してもよい。従って、現在ブロックがインター予測により符号化／復号されても、現在ブロックのインター予測モードがアフィン予測モードである場合、現在ブロックに基づいてインター予測運動情報リストを更新することがない。
代替的に、更にアフィン運動モデルに基づいて符号化／復号されたブロックに含まれるサブブロックのうちの少なくとも１つのサブブロックベクトルに基づいてインターマージ候補を導き出してもよい。例えば、現在ブロックの左上に位置するサブブロック、中心に位置するサブブロック又は右上に位置するサブブロックを使用してインターマージ候補を導き出してもよい。代替的に、更に複数のサブブロックのサブブロックベクトルの平均値をインターマージ候補の運動ベクトルとして設定してもよい。
代替的に、更にアフィン運動モデルに基づいて符号化／復号されたブロックのアフィンシードベクトルの平均値に基づいてインターマージ候補を導き出してもよい。例えば、現在ブロックの第１アフィンシードベクトル、第２アフィンシードベクトル又は第３アフィンシードベクトルのうちの少なくとも１つの平均値をインターマージ候補の運動ベクトルとして設定してもよい。
代替的に、異なるインター予測モードに対してインター運動情報リストを設定してもよい。例えば、イントラブロックコピーにより符号化／復号されるためのブロックのインター運動情報リスト、並進運動モデルに基づいて符号化／復号するためのブロックのインター運動情報リスト又はアフィン運動モデルに基づいて符号化／復号するためのブロックのインター運動情報リストのうちの少なくとも１つを定義してもよい。現在ブロックのインター予測モードに基づいて、複数のインター運動情報リストのうちのいずれか１つを選択してもよい。
図２９には異なるインター予測モードに対してインター運動情報リストを生成する例を示す。
非アフィン運動モデルに基づいてブロックを符号化／復号する場合、前記ブロックに基づいて導き出したインターマージ候補ｍｖＣａｎｄをインター非アフィン運動情報リストＨｍｖｐＣａｎｄＬｉｓｔに追加してもよい。一方、アフィン運動モデルに基づいてブロックを符号化／復号する場合、前記ブロックに基づいて導き出したインターマージ候補ｍｖＡｆＣａｎｄをインターアフィン運動情報リストＨｍｖｐＡｆＣａｎｄＬｉｓｔに追加してもよい。
ブロックのアフィンシードベクトルはアフィン運動モデルに基づいて符号化／復号されたブロックから導き出したインターマージ候補に記憶されてもよい。従って、前記インターマージ候補は現在ブロックのアフィンシードベクトルを導き出すためのマージ候補として使用されてもよい。
説明されるインター運動情報リスト以外に、更に他のインター運動情報リストを定義してもよい。説明されるインター運動情報リスト（以下、第１インター運動情報リストと称される）以外に、更に長期運動情報リスト（以下、第２インター運動情報リストと称される）を定義してもよい。長期運動情報リストは長期マージ候補を含む。
第１インター運動情報リスト及び第２インター運動情報リストがいずれも空状態にある場合、まず、インターマージ候補を第２インター運動情報リストに追加してもよい。第２インター運動情報リストにおける利用可能なインターマージ候補の数が最大数に達した後、第１インター運動情報リストにインターマージ候補を追加できる。
代替的に、更に１つのインターマージ候補を第２インター運動情報リスト及び第１インター運動情報リストの両方に追加してもよい。
このような場合、設定された第２インター運動情報リストを再び更新しない可能性がある。代替的に、復号領域がスライスの所定比率以上である場合、第２インター運動情報リストを更新してもよい。代替的に、Ｎ個の符号化木ユニット行おきに第２インター運動情報リストを更新してもよい。
一方、インター予測により符号化／復号されたブロックが発生するたびに、第１インター運動情報リストを更新してもよい。しかしながら、更に第２インター運動情報リストに追加したインターマージ候補は第１インター運動情報リストの更新に使用しないように設定してもよい。
ビットストリームを介して信号によって第１インター運動情報リスト又は第２インター運動情報リストのうちのいずれか１つを選択するための情報を送信してもよい。マージ候補リストに含まれるマージ候補の数が閾値より小さい場合、前記情報で示されるインター運動情報リストに含まれるマージ候補をマージ候補リストに追加してもよい。
代替的に、更に現在ブロックのサイズ、形状、インター予測モード、双方向予測を行うかどうか、運動ベクトルが細分化されるかどうか又は三角形分割を行うかどうかによってインター運動情報リストを選択してもよい。
代替的に、第１インター運動情報リストに含まれるインターマージ候補を追加しても、マージ候補リストに含まれるマージ候補の数も最大マージ数より小さい場合、第２インター運動情報リストに含まれるインターマージ候補をマージ候補リストに追加してもよい。
図３０は長期運動情報リストに含まれるインターマージ候補をマージ候補リストに追加する例を示す図である。
マージ候補リストに含まれるマージ候補の数が最大数より小さい場合、第１インター運動情報リストＨｍｖｐＣａｎｄＬｉｓｔに含まれるインターマージ候補をマージ候補リストに追加してもよい。第１インター運動情報リストに含まれるインターマージ候補をマージ候補リストに追加しても、マージ候補リストに含まれるマージ候補の数も最大数より小さい場合、長期運動情報リストＨｍｖｐＬＴＣａｎｄＬｉｓｔに含まれるインターマージ候補をマージ候補リストに追加してもよい。
表１には長期運動情報リストに含まれるインターマージ候補をマージ候補リストに追加する過程を示す。
Figure 2022509024000022
インターマージ候補は運動情報以外に、追加情報を更に含むように設定してもよい。例えば、インターマージ候補に記憶ブロックのサイズ、形状又はブロックの分割情報を追加してもよい。現在ブロックのマージ候補リストを構築する場合、インターマージ候補においてサイズ、形状又は分割情報が現在ブロックと同じ又は類似のインターマージ候補のみを使用し、又は、サイズ、形状又は分割情報が現在ブロックと同じ又は類似のインターマージ候補をマージ候補リストに優先的に追加してもよい。
代替的に、異なるブロックサイズ、形状又は分割情報に対してインター運動情報リストを生成してもよい。複数のインター運動情報リストのうちの現在ブロックの形状、サイズ又は分割情報に対応するインター運動情報リストを使用して現在ブロックのマージ候補リストを生成してもよい。
現在ブロックのマージ候補リストに含まれるマージ候補の数が閾値より小さい場合、インター運動情報リストに含まれるインターマージ候補をマージ候補リストに追加してもよい。前記追加過程はインデックスの昇順又は降順で実行される。例えば、インデックスの最も大きいインターマージ候補をマージ候補リストに追加してもよい。
インター運動情報リストに含まれるインターマージ候補をマージ候補リストに追加しようとするとき、インターマージ候補及びマージ候補リストに記憶される複数のマージ候補の冗長検査を実行してもよい。
例えば、表２にはインターマージ候補をマージ候補リストに追加する過程を示す。
Figure 2022509024000023
更にインター運動情報リストに含まれるインターマージ候補のうちのいくつかのマージ候補のみに対して冗長検査を実行してもよい。例えば、インデックスが閾値以上又は閾値以下であるインターマージ候補のみに対して冗長検査を実行してもよい。代替的に、インデックスの最も大きいＮ個のマージ候補又はインデックスの最も小さいＮ個のマージ候補のみに対して冗長検査を実行してもよい。
代替的に、マージ候補リストに記憶されるマージ候補のうちのいくつかのみに対して冗長検査を実行してもよい。例えば、インデックスが閾値以上又は閾値以下であるマージ候補又は特定位置のブロックから導き出したマージ候補のみに対して冗長検査を実行してもよい。特定位置は現在ブロックの左側隣接ブロック、上側隣接ブロック、右上隣接ブロック又は左下隣接ブロックのうちの少なくとも１つを含んでもよい。
図３１はマージ候補のうちのいくつかのマージ候補のみに対して冗長検査を行う例を示す図である。
インターマージ候補ＨｍｖｐＣａｎｄ［ｊ］をマージ候補リストに追加しようとするとき、インターマージ候補並びにインデックスの最も大きい２つのマージ候補ｍｅｒｇｅＣａｎｄＬｉｓｔ［ＮｕｍＭｅｒｇｅ－２］及びｍｅｒｇｅＣａｎｄＬｉｓｔ［ＮｕｍＭｅｒｇｅ－１］の冗長検査を実行してもよい。ＮｕｍＭｅｒｇｅが利用可能な空間マージ候補及び時間マージ候補の数を示してもよい。
図示の例と異なることは、インターマージ候補ＨｍｖｐＣａｎｄ［ｊ］をマージ候補リストに追加しようとするとき、更にインターマージ候補及びインデックスの最も小さい２つのマージ候補の冗長検査を実行してもよい。例えば、ｍｅｒｇｅＣａｎｄＬｉｓｔ［０］とｍｅｒｇｅＣａｎｄＬｉｓｔ［１］がＨｍｖｐＣａｎｄ［ｊ］と同じであるかどうかを確認することができる。代替的に、特定位置から導き出したマージ候補のみに対して冗長検査を実行してもよい。例えば、現在ブロックの左側に位置する隣接ブロックから導き出したマージ候補又は現在ブロックの上方に位置する隣接ブロックから導き出したマージ候補のうちの少なくとも１つのみに対して冗長検査を実行してもよい。マージ候補リストには特定位置から導き出したマージ候補がない場合、冗長検査を行わずにインターマージ候補をマージ候補リストに追加してもよい。
第１インターマージ候補と同じマージ候補を発見する場合、第２インターマージ候補に対して冗長検査を実行するとき、前記第１インターマージ候補と同じマージ候補の冗長検査は省略してもよい。
図３２は特定のマージ候補の冗長検査を省略する例を示す図である。
インデックスｉのインターマージ候補ＨｍｖｐＣａｎｄ［ｉ］をマージ候補リストに追加しようとするとき、前記インターマージ候補及びマージ候補リストに記憶されるマージ候補の冗長検査を実行してもよい。このような場合、インターマージ候補ＨｍｖｐＣａｎｄ［ｉ］と同じマージ候補ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｊ］を発見する場合、インターマージ候補ＨｍｖｐＣａｎｄ［ｉ］がマージ候補リストに追加されず、且つインデックスｉ－１のインターマージ候補ＨｍｖｐＣａｎｄ［ｉ－１］及びマージ候補の冗長検査を実行してもよい。このような場合、インターマージ候補ＨｍｖｐＣａｎｄ［ｉ－１］及びマージ候補ｍｅｒｇｅＣａｎｄＬｉｓｔ［ｊ］の冗長検査は省略してもよい。
例えば、図３２に示される例では、ＨｍｖｐＣａｎｄ［ｉ］がｍｅｒｇｅＣａｎｄＬｉｓｔ［２］と同じであることを決定する。従って、ＨｍｖｐＣａｎｄ［ｉ］がマージ候補リストに追加されず、且つＨｍｖｐＣａｎｄ［ｉ－１］に対して冗長検査を実行してもよい。このような場合、ＨｖｍｐＣａｎｄ［ｉ－１］及びｍｅｒｇｅＣａｎｄＬｉｓｔ［２］の冗長検査は省略してもよい。
現在ブロックのマージ候補リストに含まれるマージ候補の数が閾値より小さい場合、インターマージ候補以外に、対になったマージ候補又はゼロマージ候補のうちの少なくとも１つを更に含んでもよい。対になったマージ候補は２つ以上のマージ候補の運動ベクトルの平均値を運動ベクトルとするマージ候補を指し、ゼロマージ候補は運動ベクトル０のマージ候補を指す。
現在ブロックのマージ候補リストは、
空間マージ候補－時間マージ候補－インターマージ候補－（インターアフィンマージ候補）－対になったマージ候補－ゼロマージ候補の順序に従ってマージ候補に追加されてもよい。
空間マージ候補は隣接ブロック又は非隣接ブロックのうちの少なくとも１つから導き出したマージ候補を指し、時間マージ候補は前の参照ピクチャから導き出したマージ候補を指す。インターアフィンマージ候補リストはアフィン運動モデルにより符号化／復号されたブロックから導き出したインターマージ候補を指す。
高度動きベクトル予測モードにおいて、インター運動情報リストを使用してもよい。例えば、現在ブロックの運動ベクトル予測候補リストに含まれる運動ベクトル予測候補の数が閾値より小さい場合、インター運動情報リストに含まれるインターマージ候補を現在ブロックに関連する運動ベクトル予測候補として設定する。具体的に、インターマージ候補の運動ベクトルを運動ベクトル予測候補として設定する。
現在ブロックの運動ベクトル予測候補リストに含まれる運動ベクトル予測候補のうちのいずれか１つを選択した場合、選択された候補を現在ブロックの運動ベクトル予測値として設定する。その後、現在ブロックの運動ベクトル残余値を復号した後、運動ベクトル予測値と運動ベクトル残余値を加えることにより、現在ブロックの運動ベクトルを取得してもよい。
現在ブロックの運動ベクトル予測候補リストは、
空間運動ベクトル予測候補－時間運動ベクトル予測候補－インター復号領域マージ候補－（インター復号領域アフィンマージ候補）－ゼロ運動ベクトル予測候補の順序に従って構築されてもよい。
空間運動ベクトル予測候補は隣接ブロック又は非隣接ブロックのうちの少なくとも１つから導き出した運動ベクトル予測候補を指し、時間運動ベクトル予測候補は前の参照ピクチャから導き出した運動ベクトル予測候補を指す。インターアフィンマージ候補リストにはアフィン運動モデルにより符号化／復号されたブロックから導き出したインター運動ベクトル予測候補を示す。ゼロ運動ベクトル予測候補は運動ベクトルの値が０である候補を示す。
符号化ブロックを複数の予測ユニットに分割してもよく、且つそれぞれ分割された予測ユニットに対して予測を実行してもよい。予測ユニットは予測のための基本ユニットを示す。
垂直線、水平線、斜線又は対角線のうちの少なくとも１つを使用して符号化ブロックを分割してもよい。ビットストリームを介して信号によって符号化ブロックを分割する線の数、角度又は位置のうちの少なくとも１つを決定するための情報を送信してもよい。例えば、ビットストリームを介して信号によって符号化ブロックの分割タイプ候補のうちのいずれか１つを示す情報を送信してもよく、又は、ビットストリームを介して信号によって符号化ブロックを分割する複数の線候補のうちのいずれか１つを指定する情報を送信してもよい。代替的に、ビットストリームを介して信号によって符号化ブロックを分割する線候補の数又はタイプを決定するための情報を送信してもよい。例えば、１ビットフラグを使用して、角度が対角線より大きい斜線及び／又は角度が対角線より小さい斜線は線候補として使用できるかどうかを決定してもよい。
代替的に、符号化ブロックのイントラ予測モード、インター予測モード、使用できるマージ候補の位置又は隣接ブロックの分割タイプのうちの少なくとも１つに基づいて、符号化ブロックを分割する線の数、角度又は位置のうちの少なくとも１つを適応的に決定してもよい。
符号化ブロックが複数の予測ユニットに分割される場合、分割された各予測ユニットに対してイントラ予測又はインター予測を実行してもよい。
図３３は対角線を使用して符号化ブロックを複数の予測ユニットに分割する例を示す図である。
図３３（ａ）部分及び（ｂ）部分に示される例では、対角線を使用して符号化ブロックを２つの三角形状の予測ユニットに分割してもよい。
図３３（ａ）部分及び（ｂ）部分には、符号化ブロックの２つの頂点を接続する対角線を使用して符号化ブロックを２つの予測ユニットに分割することを示す。しかしながら、線の少なくとも１つの末端が符号化ブロックの頂点を通らない斜線を使用して符号化ブロックを２つの予測ユニットに分割してもよい。
図３４は符号化ブロックを２つの予測ユニットに分割する例を示す図である。
図３４（ａ）部分及び（ｂ）部分に示される例では、両端がそれぞれ符号化ブロックの上境界及び下境界に接触する斜線を使用して符号化ブロックを２つの予測ユニットに分割してもよい。
代替的に、図３４（ｃ）部分及び（ｄ）部分に示される例では、両端がそれぞれ符号化ブロックの左側境界及び右側境界に接触する斜線を使用して符号化ブロックを２つの予測ユニットに分割してもよい。
代替的に、符号化ブロックを異なるサイズの２つの予測ブロックに分割してもよい。例えば、符号化ブロックを分割する斜線が１つの頂点を形成する２つの境界面に接触するように設定することにより、符号化ブロックをサイズの異なる２つの予測ユニットに分割してもよい。
図３５は符号化ブロックを異なるサイズの複数の予測ブロックに分割する例を示す図である。
図３５（ａ）及び図３５（ｂ）に示される例では、符号化ブロックの左上角又は右下角で接続される対角線を、符号化ブロックの左上角又は右下角を通ることなく、符号化ブロックの左境界、右境界、上境界又は下境界を通るように設定することにより、符号化ブロックを異なるサイズの２つの予測ユニットに分割することができる。
代替的に、図３５（ｃ）及び図３５（ｄ）に示される例では、符号化ブロックの右上角又は左下角で接続される対角線を、符号化ブロックの左上角又は右下角を通ることなく、符号化ブロックの左境界、右境界、上境界又は下境界を通るように設定することにより、符号化ブロックを異なるサイズの２つの予測ユニットに分割することができる。
符号化ブロックを分割することにより生成された各予測ユニットは「第Ｎ予測ユニット」と称される。例えば、図３３～図３５に示される例では、ＰＵ１は第１予測ユニットとして定義されてもよく、ＰＵ２は第２予測ユニットとして定義されてもよい。第１予測ユニットは符号化ブロックにおける左下のサンプル又は左上のサンプルを含む予測ユニットを指してもよく、第２予測ユニットは符号化ブロックにおける右上のサンプル又は右下のサンプルを含む予測ユニットを指してもよい。
上記とは逆に、符号化ブロックにおける右上のサンプル又は右下のサンプルを含む予測ユニットは第１予測ユニットとして定義されてもよく、符号化ブロックにおける左下のサンプル又は左上のサンプルを含む予測ユニットは第２予測ユニットとして定義されてもよい。
以下に記載される実施例は主に対角線を使用する分割例を説明する。特に、対角線を使用して符号化ブロックを２つの予測ユニットに分割する過程は対角線分割又は三角形分割と称され、対角線分割により生成された予測ユニットは三角形予測ユニットと称される。しかしながら、無論、以下に記載される実施例において垂直線、水平線又は対角線と異なる角度の斜線による分割例を使用してもよい。
スライスタイプ、マージ候補リストに含まれ得るマージ候補の最大数、符号化ブロックのサイズ、符号化ブロックの形状、符号化ブロックの予測符号化モード又は親ノードの分割タイプのうちの少なくとも１つに基づいて、符号化ブロックに対して対角線分割を応用するかどうかを決定してもよい。
例えば、現在スライスがＢタイプであるかどうかによって、符号化ブロックに対して対角線分割を応用するかどうかを決定してもよい。現在スライスがＢタイプである場合のみ、対角線分割が許容され得る。
代替的に、マージ候補リストに含まれるマージ候補の最大数が２つ以上であるかどうかによって、符号化ブロックに対して対角線分割を応用するかどうかを決定してもよい。マージ候補リストに含まれるマージ候補の最大数が２つ以上である場合のみ、対角線分割が許容され得る。
代替的に、ハードウェアの幅又は高さのうちの少なくとも１つが６４より大きい場合、６４×６４サイズのデータ処理ユニットが冗長的にアクセスされてしまうこととなる。従って、符号化ブロックの幅又は高さのうちの少なくとも１つが閾値より大きい場合、符号化ブロックを複数の予測ブロックに分割することが許容されない可能性がある。例えば、符号化ブロックの高さ及び幅のうちの少なくとも１つが６４より大きい場合、対角線分割を使用しない可能性がある。
代替的に、符号化ブロックに含まれるサンプル数が第１閾値以下であるかどうか、又は符号化ブロックに含まれるサンプル数が第２閾値以上であるかどうかのうちの少なくとも１つによって、符号化ブロックに対して対角線分割を応用するかどうかを決定してもよい。例えば、符号化ブロックに含まれるサンプル数が第１閾値以下であり、又は符号化ブロックに含まれるサンプル数が第２閾値以上である場合、符号化ブロックに対して対角線分割を応用しないように設定する。代替的に、符号化ブロックの幅と高さの比が第１閾値より小さいかどうか、又は符号化ブロックの幅と高さの比が第２閾値より大きいかどうかによって、符号化ブロックに対して対角線分割を応用するかどうかを決定してもよい。符号化ブロックの幅と高さの比ｗｈＲａｔｉｏを符号化ブロックの幅ＣｂＷと高さＣｂＨの比率として決定してもよく、下記等式２１に示される。
等式２１
Figure 2022509024000024
第２閾値は第１閾値の逆数であってもよい。例えば、第１閾値がｋである場合、第２閾値は１／ｋであってもよい。
符号化ブロックの幅と高さの比が第１閾値と第２閾値との間にある場合のみ、符号化ブロックに対して対角線分割を応用できる。
代替的に、符号化ブロックの幅と高さの比が第１閾値より小さく又は第２閾値より大きい場合のみ、三角形分割を使用できる。例えば、第１閾値が１６である場合、６４×４又は４×６４サイズの符号化ブロックに対して、対角線分割が許容されない可能性がある。
代替的に、親ノードの分割タイプに基づいて、対角線分割が許容されるかどうかを決定してもよい。例えば、親ノードとしての符号化ブロックが４分木分割を行う場合、葉ノードとしての符号化ブロックに対して対角線分割を応用できる。一方、親ノードとしての符号化ブロックが２分木又は３分木分割によって分割される場合、葉ノードとしての符号化ブロックは対角線分割が許容されないように設定されてもよい。
代替的に、符号化ブロックの予測符号化モードに基づいて、対角線分割が許容されるかどうかを決定してもよい。例えば、符号化ブロックがイントラ予測によって符号化される場合、符号化ブロックがインター予測によって符号化される場合又は符号化ブロックが予め定義されたインター予測モードで符号化される場合のみ、対角線分割が許容され得る。予め定義されたインター予測モードはマージモード、高度動きベクトル予測モード、アフィンマージモード又はアフィン運動ベクトル予測モードのうちの少なくとも１つを示してもよい。
代替的に、並列処理領域のサイズに基づいて、対角線分割が許容されるかどうかを決定してもよい。例えば、符号化ブロックのサイズが並列処理領域のサイズより大きい場合、対角線分割を使用しない可能性がある。
更に前記列挙した条件のうちの２つ以上の条件を考慮した上で、符号化ブロックに対して対角線分割を応用するかどうかを決定してもよい。
更に、ビットストリームを介して信号によって対角線分割が許容されるかどうかを示す情報を送信してもよい。前記情報はシーケンスレベル、ピクチャレベル、スライスレベル又はブロックレベルで信号によって送信されてもよい。前記情報は対角線分割が許容されることを示し且つ前記列挙した条件のうちの少なくとも１つを満足する場合のみ、符号化ブロックに対して対角線分割を応用できる。
符号化ブロックに対して対角線分割を応用しようとすることを決定する場合、ビットストリームを介して信号によって符号化ブロックを分割する線の数又は線の位置を示す情報を送信してもよい。
例えば、符号化ブロックが対角線により分割される場合、ビットストリームを介して信号によって符号化ブロックを分割する対角線の方向を示す情報を送信してもよい。例えば、ビットストリームを介して信号によって対角線の方向を示すフラグｔｒｉａｎｇｌｅ＿ｐａｒｔｉｔｉｏｎ＿ｔｙｐｅ＿ｆｌａｇを送信してもよい。前記フラグは左上と右下を接続する対角線で符号化ブロックを分割するか、それとも右上と左下を接続する対角線で符号化ブロックを分割するかを示す。左上と右下を接続する対角線で符号化ブロックを分割することは左三角形分割タイプと称されてもよいが、右上と左下を接続する対角線で符号化ブロックを分割することは右三角形分割タイプと称されてもよい。例えば、前記フラグの値が０である場合、符号化ブロックの分割タイプが左三角形分割タイプであることを示し、前記フラグの値が１である場合、符号化ブロックの分割タイプが右三角形分割タイプであることを示す。
符号化ブロックの分割タイプを示す情報は符号化ブロックレベルで信号によって送信されてもよい。従って、対角線分割を応用する異なる符号化ブロックに対して分割タイプを決定してもよい。
他の例として、シーケンス、ピクチャ、スライス、セグメント又は符号化木ユニットに対して、信号によって分割タイプを示す情報を送信してもよい。このような場合、対角線分割を応用する符号化ブロックの分割タイプはシーケンス、ピクチャ、スライス、セグメント又は符号化木ユニットにおいて同じであるように設定してもよい。
代替的に、符号化木ユニットにおける対角線分割を応用する第１符号化ユニットに対して、分割タイプを決定するための情報を符号化して信号によって送信し、対角線分割を応用する２番目以後の符号化ユニットは１番目の符号化ユニットと同じ分割タイプを使用するように設定される。
他の例として、隣接ブロックの分割タイプに基づいて、符号化ブロックの分割タイプを決定してもよい。隣接ブロックは符号化ブロックの左上角に隣接する隣接ブロック、右上角に隣接する隣接ブロック、左下角に隣接する隣接ブロック、上方に位置する隣接ブロック又は左側に位置する隣接ブロックのうちの少なくとも１つを含んでもよい。例えば、現在ブロックの分割タイプは隣接ブロックの分割タイプと同じであるように設定してもよい。代替的に、左上隣接ブロックが左三角形分割タイプを応用するかどうか、右上隣接ブロック又は左下隣接ブロックが右三角形分割タイプを応用するかどうかによって、現在ブロックの分割タイプを決定してもよい。
第１三角形予測ユニット及び第２三角形予測ユニットに対して運動予測補償を実行するために、第１三角形予測ユニット及び第２三角形予測ユニットそれぞれの運動情報を導き出してもよい。このような場合、マージ候補リストに含まれるマージ候補から第１三角形予測ユニット及び第２三角形予測ユニットの運動情報を導き出してもよい。一般的なマージ候補リストと三角形予測ユニットの運動情報を導き出す際に使用されるマージ候補リストとを区別するために、三角形予測ユニットの運動情報を導き出すためのマージ候補リストは三角形マージ候補リストと称され、三角形マージ候補リストに含まれるマージ候補は三角形マージ候補と称される。しかしながら、上記マージ候補導き出し方法及びマージ候補リスト構築方法を三角形マージ候補及び三角形マージ候補に用いるリスト構築方法も本発明の主旨に含まれる。
ビットストリームを介して信号によって三角形マージ候補リストに含まれ得る最大三角形マージ候補の数を決定するための情報を送信してもよい。前記情報はマージ候補リストに含まれ得るマージ候補の最大数と三角形マージ候補リストに含まれ得る最大三角形マージ候補の数との差を示してもよい。
符号化ブロックの空間隣接ブロック及び時間隣接ブロックから三角形マージ候補を導き出してもよい。
図３６は三角形マージ候補を導き出すための隣接ブロックを示す図である。
符号化ブロックの上方に位置する隣接ブロック、符号化ブロックの左側に位置する隣接ブロック、又は符号化ブロックと異なるピクチャに含まれるコロケーテッドブロックのうちの少なくとも１つを使用して、三角形マージ候補を導き出してもよい。上側隣接ブロックは、符号化ブロックの上方に位置するサンプル（ｘＣｂ＋ＣｂＷ－１，ｙＣｂ－１）を含むブロック、符号化ブロックの上方に位置するサンプル（ｘＣｂ＋ＣｂＷ，ｙＣｂ－１）を含むブロック、又は符号化ブロックの上方に位置するサンプル（ｘＣｂ－１，ｙＣｂ－１）を含むブロックのうちの少なくとも１つであってもよい。左側隣接ブロックは、符号化ブロックの左側に位置するサンプル（ｘＣｂ－１，ｙＣｂ＋ＣｂＨ－１）を含むブロック、又は符号化ブロックの左側に位置するサンプル（ｘＣｂ－１，ｙＣｂ＋ＣｂＨ）を含むブロックのうちの少なくとも１つであってもよい。コロケーテッドブロックはコロケーテッドピクチャにおける符号化ブロックの右上角に隣接するサンプル（ｘＣｂ＋ＣｂＷ，ｙＣｂ＋ＣｂＨ）を含むブロック、又は符号化ブロックの中心に位置するサンプル（ｘＣｂ／２，ｙＣｂ／２）を含むブロックのうちのいずれか１つとして決定されてもよい。
予め定義された順序に従って隣接ブロックを検索してもよく、予め定義された順序に従って三角形マージ候補を三角形マージ候補リストに構築してもよい。例えば、Ｂ１、Ａ１、Ｂ０、Ａ０、Ｃ０、Ｂ２及びＣ１の順序に従って三角形マージ候補を検索して三角形マージ候補リストを構築してもよい。
三角形予測ユニットの運動情報は前記三角形マージ候補リストに基づいて導き出されてもよい。即ち、三角形予測ユニットは１つの三角形マージ候補リストを共有してもよい。
三角形マージユニットの運動情報を導き出すために、ビットストリームを介して信号によって三角形マージ候補リストに含まれる三角形マージ候補を指定するための情報のうちの少なくとも１つを送信してもよい。例えば、ビットストリームを介して信号によって三角形マージ候補を指定するためのインデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘのうちの少なくとも１つを送信してもよい。
インデックス情報は第１三角形予測ユニットのマージ候補と第２三角形予測ユニットのマージ候補との組み合わせを指定することができる。例えば、下記表３にはインデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに基づくマージ候補の組み合わせの例を示す。
Figure 2022509024000025
インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘの値が１である場合、第１三角形予測ユニットの運動情報がインデックス１のマージ候補から導き出され、第２三角形予測ユニットの運動情報がインデックス０のマージ候補から導き出されることを示す。インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘによって、第１三角形予測ユニットの運動情報を導き出すための三角形マージ候補と、第２三角形予測ユニットの運動情報を導き出すための三角形マージ候補とを決定してもよい。
更にインデックス情報に基づいて対角線分割を応用する符号化ブロックの分割タイプを決定してもよい。即ち、インデックス情報は第１三角形予測ユニットのマージ候補、第２三角形予測ユニットのマージ候補及び符号化ブロックの分割方向の組み合わせを指定することができる。インデックス情報に基づいて符号化ブロックの分割タイプを決定する場合、符号化ブロックを分割する対角線の方向を示す情報ｔｒｉａｎｇｌｅ＿ｐａｒｔｉｔｉｏｎ＿ｔｙｐｅ＿ｆｌａｇを符号化しなくてもよい。表４にはインデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに関して符号化ブロックの分割タイプを示す。
Figure 2022509024000026
変数ＴｒｉａｎｇｌｅＤｉｒが０である場合、符号化ブロックが左三角形分割タイプを応用することを示し、変数ＴｒｉａｎｇｌｅＤｉｒが１である場合、符号化ブロックが右三角形分割タイプを応用することを示す。表３と表４を組み合わせることにより、インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに基づいて第１三角形予測ユニットのマージ候補、第２三角形予測ユニットのマージ候補及び符号化ブロックの分割方向の組み合わせを指定するように設定してもよい。
他の例として、信号によって第１三角形予測ユニット及び第２三角形予測ユニットのうちのいずれか一方のみに使用されるインデックス情報を送信してもよく、前記インデックス情報に基づいて第１三角形予測ユニット及び第２三角形予測ユニットのうちの他方に使用される三角形マージ候補のインデックスを決定してもよい。例えば、三角形マージ候補のうちのいずれか１つのインデックスを示すインデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに基づいて第１三角形予測ユニットの三角形マージ候補を決定してもよい。また、前記ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘに基づいて第２三角形予測ユニットの三角形マージ候補を指定してもよい。例えば、前記インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘにオフセット量を加え、又は前記インデックス情報ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘからオフセット量を引くことにより、第２三角形予測ユニットの三角形マージ候補を導き出すことができる。オフセット量は１又は２等の整数であってもよい。例えば、第２三角形予測ユニットの三角形マージ候補を、ｍｅｒｇｅ＿ｔｒａｉｎｇｌｅ＿ｉｄｘに１を加えた値をインデックスとする三角形マージ候補として決定してもよい。ｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘが三角形マージ候補のうちのインデックス値の最も大きい三角形マージ候補を示す場合、インデックス０の三角形マージ候補又はｍｅｒｇｅ＿ｔｒｉａｎｇｌｅ＿ｉｄｘから１を引いた値をインデックスとする三角形マージ候補から第２三角形予測ユニットの運動情報を導き出してもよい。
代替的に、インデックス情報に基づいて指定された第１三角形予測ユニットの三角形マージ候補と同じ参照ピクチャを有する三角形マージ候補から第２三角形予測ユニットの運動情報を導き出してもよい。第１三角形予測ユニットの三角形マージ候補と同じ参照ピクチャを有する三角形マージ候補は第１三角形予測ユニットの三角形マージ候補と同じ三角形マージ候補を有するＬ０参照ピクチャ又はＬ１参照ピクチャのうちの少なくとも１つを示してもよい。参照ピクチャ及び第１三角形予測ユニットの三角形マージ候補と同じ三角形マージ候補が複数ある場合、マージ候補が双方向運動情報又はマージ候補のインデックスとインデックス情報との差分のうちの少なくとも１つを含むかどうかによって、いずれか１つを選択してもよい。
他の例として、第１三角形予測ユニット及び第２三角形予測ユニットに対して、それぞれ信号によってインデックス情報を送信してもよい。例えば、ビットストリームを介して信号によって第１三角形予測ユニットの三角形マージ候補を決定するための第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘ及び第２三角形予測ユニットの三角形マージ候補を決定するための第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘを送信してもよい。第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘに基づいて決定された三角形マージ候補から第１三角形予測ユニットの運動情報を導き出してもよく、第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘに基づいて決定された三角形マージ候補から第２三角形予測ユニットの運動情報を導き出してもよい。
第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘは三角形マージ候補リストに含まれる三角形マージ候補のうちのいずれか１つのインデックスを示してもよい。第１三角形予測ユニットの三角形マージ候補は第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘが指す三角形マージ候補として決定されてもよい。
第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘが指す三角形マージ候補は第２三角形予測ユニットの三角形マージ候補として使用できないように設定されてもよい。従って、第２三角形予測ユニットの第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘは第１インデックス情報が指す三角形マージ候補以外の残りの三角形マージ候補のうちのいずれか１つのインデックスを示してもよい。第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘの値が第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘの値より小さい場合、第２三角形予測ユニットの三角形マージ候補は第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘで示されるインデックス情報を有する三角形マージ候補として決定されてもよい。一方、第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘの値が同じであり又は第１インデックス情報１ｓｔ＿ｍｅｒｇｅ＿ｉｄｘの値より大きい場合、第２三角形予測ユニットの三角形マージ候補は第２インデックス情報２ｎｄ＿ｍｅｒｇｅ＿ｉｄｘの値に１を加えた値をインデックスとする三角形マージ候補として決定されてもよい。
代替的に、三角形マージ候補リストに含まれる三角形マージ候補の数に基づいて、信号によって第２インデックス情報を送信するかどうかを決定してもよい。例えば、三角形マージ候補リストに含まれ得る三角形マージ候補の最大数が２以下である場合、信号によって第２インデックス情報を送信することは省略してもよい。当省略用信号送信第２インデックス情報、信号によって第２インデックス情報を送信することは省略する場合、第１インデックス情報にオフセット量を加え、又は第１インデックス情報からオフセット量を引くことにより第２三角形マージ候補を導き出すことができる。例えば、三角形マージ候補リストに含まれ得る三角形マージ候補の最大数が２であり且つ第１インデックス情報がインデックス０である場合、第１インデックス情報に１を加えることにより第２三角形マージ候補を導き出すことができる。代替的に、三角形マージ候補リストに含まれ得る三角形マージ候補の最大数が２であり且つ第１インデックス情報が１である場合、第１インデックス情報から１を引くことにより第２三角形マージ候補を導き出すことができる。
代替的に、信号によって第２インデックス情報を送信することは省略する場合、第２インデックス情報をデフォルト値として設定してもよい。デフォルト値は０であってもよい。第１インデックス情報と第２インデックス情報とを比較することにより、第２三角形マージ候補を導き出すことができる。例えば、第２インデックス情報が第１インデックス情報より小さい場合、インデックス０のマージ候補を第２三角形マージ候補として設定し、第２インデックス情報が同じであり又は第１インデックス情報より大きい場合、インデックス１のマージ候補を第２三角形マージ候補として設定する。
三角形マージ候補が単方向運動情報を有する場合、三角形マージ候補の単方向運動情報を三角形予測ユニットの運動情報として設定する。一方、三角形マージ候補が双方向運動情報を有する場合、Ｌ０運動情報又はＬ１運動情報のうちのいずれか１つのみを三角形予測ユニットの運動情報として設定する。三角形マージ候補のインデックス又は他の三角形予測ユニットの運動情報に基づいてＬ０運動情報又はＬ１運動情報のうちのどれを取得するかを決定してもよい。
例えば、三角形マージ候補のインデックスが偶数である場合、三角形予測ユニットのＬ０運動情報を０として設定し、三角形マージ候補のＬ１運動情報を三角形予測ユニットのＬ１運動情報として設定する。一方、三角形マージ候補のインデックスが奇数である場合、三角形予測ユニットのＬ１運動情報を０として設定し、三角形マージ候補のＬ０運動情報を０として設定する。上記とは逆に、三角形マージ候補のインデックスが偶数である場合、三角形マージ候補のＬ０運動情報を三角形予測ユニットのＬ０運動情報として設定してもよく、三角形マージ候補のインデックスが奇数である場合、三角形マージ候補のＬ１運動情報を三角形予測ユニットのＬ１運動情報として設定してもよい。代替的に、第１三角形予測ユニットに対して、三角形マージ候補が偶数である場合、三角形マージ候補のＬ０運動情報を第１三角形予測ユニットのＬ０運動情報として設定してもよい一方、第２三角形予測ユニットに対して、三角形マージ候補が奇数である場合、三角形マージ候補のＬ１運動情報を第２三角形予測ユニットのＬ１運動情報として設定してもよい。
代替的に、第１三角形予測ユニットがＬ０運動情報を有する場合、第２三角形予測ユニットのＬ０運動情報を０として設定してもよく、三角形マージ候補のＬ１運動情報を第２三角形予測ユニットのＬ１情報として設定してもよい。一方、第１三角形予測ユニットがＬ１運動情報を有する場合、第２三角形予測ユニットのＬ１運動情報を０として設定してもよく、三角形マージ候補のＬ０運動情報を第２三角形予測ユニットのＬ０運動信号として設定してもよい。
更に、第１三角形予測ユニットの運動情報を導き出すための三角形マージ候補リストと第２三角形予測ユニットの運動情報を導き出すための三角形マージ候補リストとが異なるように設定してもよい。
例えば、第１三角形予測ユニットに関連するインデックス情報に基づいて三角形マージ候補リストにおける第１三角形予測ユニットの運動情報を導き出すための三角形マージ候補を指定する場合、前記インデックス情報が指す三角形マージ候補以外の残りの三角形マージ候補を含む三角形マージリストを使用して、第２三角形予測ユニットの運動情報を導き出してもよい。具体的に、残りの三角形マージ候補のうちのいずれか１つから第２三角形予測ユニットの運動情報を導き出してもよい。
従って、第１三角形予測ユニットの三角形マージ候補リストに含まれる最大三角形マージ候補の数と第２三角形予測ユニットの三角形マージ候補リストに含まれる最大三角形マージ候補の数とが異なる。例えば、第１三角形予測ユニットの三角形マージ候補リストはＭ個のマージ候補を含む場合、第２三角形予測ユニットの三角形マージ候補リストは第１三角形予測ユニットのインデックス情報が指す三角形マージ候補以外のＭ－１個のマージ候補を含んでもよい。
他の例として、符号化ブロックに隣接する隣接ブロックに基づいて各三角形予測ユニットのマージ候補を導き出してもよく、三角形予測ユニットの形状又は位置を考慮した上で隣接ブロックの利用可能性を決定してもよい。
図３７は各三角形予測ユニットの隣接ブロックの利用可能性を決定する例を説明するための図である。
第１三角形予測ユニットに隣接しない隣接ブロックを第１三角形予測ユニットに利用不可能な隣接ブロックとして設定してもよく、第２三角形予測ユニットに隣接しない隣接ブロックを第２三角形予測ユニットに利用不可能な隣接ブロックとして設定してもよい。
例えば、図３７（ａ）に示される例では、左三角形分割タイプを符号化ブロックに応用する場合、符号化ブロックに隣接する隣接ブロックのうちの第１三角形予測ユニットに隣接するブロックＡ１、Ａ０及びＡ２が第１三角形予測ユニットに使用できるが、ブロックＢ０及びＢ１が第１三角形予測ユニットに使用できないことを決定できる。従って、第１三角形予測ユニットに関連する三角形マージ候補リストはブロックＡ１、Ａ０及びＡ２から導き出した三角形マージ候補を含むが、ブロックＢ０及びＢ１から導き出した三角形マージ候補を含まない。
図３７（ｂ）に示される例では、左三角形分割タイプを符号化ブロックに応用する場合、第２三角形予測ユニットに隣接するブロックＢ０及びＢ１が第２三角形予測ユニットに使用できるが、ブロックＡ１、Ａ０及びＡ２が第２三角形予測ユニットに使用できないことを決定できる。従って、第２三角形予測ユニットに関連する三角形マージ候補リストはブロックＢ０及びＢ１から導き出した三角形マージ候補を含むが、ブロックＡ１、Ａ０及びＡ２から導き出した三角形マージ候補を含まない。
従って、三角形予測ユニットの位置又は符号化ブロックの分割タイプのうちの少なくとも１つに基づいて、三角形予測ユニットが使用できる三角形マージ候補の数又は三角形マージ候補の範囲を決定してもよい。
他の例として、マージモードのみを第１三角形予測ユニット及び第２三角形予測ユニットのうちのいずれか一方に応用できる。また、第１三角形予測ユニット及び第２三角形予測ユニットにおける他方の運動情報が前記マージモードを応用する三角形予測ユニットの運動情報と同じであるように設定してもよく、又は前記マージモードを応用する三角形予測ユニットの運動情報を細分化して導き出してもよい。
例えば、三角形マージ候補に基づいて第１三角形予測ユニットの運動ベクトル及び参照ピクチャインデックスを導き出してもよく、第１三角形予測ユニットの運動ベクトルを細分化して第２三角形予測ユニットの運動ベクトルを導き出してもよい。例えば、第１三角形予測ユニットの運動ベクトル｛ｍｖＤ１ＬＸｘ，ｍｖＤ１ＬＸｙ｝に微細運動ベクトル｛Ｒｘ，Ｒｙ｝を加え、又は第１三角形予測ユニットの運動ベクトル｛ｍｖＤ１ＬＸｘ，ｍｖＤ１ＬＸｙ｝から微細運動ベクトル｛Ｒｘ，Ｒｙ｝を引くことにより、第２三角形予測ユニットの運動ベクトルを導き出すことができる。第２三角形予測ユニットの参照ピクチャインデックスが第１三角形予測ユニットの参照ピクチャインデックスと同じであるように設定してもよい。
ビットストリームを介して信号によって第１三角形予測ユニットの運動ベクトルと第２三角形予測ユニットの運動ベクトルとの差分を示す微細運動ベクトルを決定するための情報を送信してもよい。前記情報は微細運動ベクトルのサイズを示す情報又は微細運動ベクトルのシンボルを示す情報のうちの少なくとも１つを含んでもよい。
代替的に、三角形予測ユニットの位置、インデックス又は符号化ブロックに応用される分割タイプのうちの少なくとも１つに基づいて微細運動ベクトルのシンボルを導き出してもよい。
他の例として、信号によって第１三角形予測ユニット及び第２三角形予測ユニットのうちのいずれか一方の運動ベクトル及び参照ピクチャインデックスを送信してもよい。信号により送信された前記運動ベクトルを細分化することにより、第１三角形予測ユニット及び第２三角形予測ユニットのうちの他方の運動ベクトルを導き出すことができる。
例えば、ビットストリームから信号により送信された情報に基づいて、第１三角形予測ユニットの運動ベクトル及び参照ピクチャインデックスを決定してもよい。また、第１三角形予測ユニットの運動ベクトルを細分化することにより、第２三角形予測ユニットの運動ベクトルを導き出すことができる。例えば、第１三角形予測ユニットの運動ベクトル｛ｍｖＤ１ＬＸｘ，ｍｖＤ１ＬＸｙ｝に微細運動ベクトル｛Ｒｘ，Ｒｙ｝を加え、又は第１三角形予測ユニットの運動ベクトル｛ｍｖＤ１ＬＸｘ，ｍｖＤ１ＬＸｙ｝から微細運動ベクトル｛Ｒｘ，Ｒｙ｝を引くことにより、第２三角形予測ユニットの運動ベクトルを導き出すことができる。第２三角形予測ユニットの参照ピクチャインデックスが第１三角形予測ユニットの参照ピクチャインデックスと同じであるように設定してもよい。
第１三角形予測ユニットの運動情報及び第２三角形予測ユニットの運動情報に基づいてそれぞれ符号化ブロックに対して運動予測・補償予測を実行してもよい。このような場合、第１三角形予測ユニット及び第２三角形予測ユニットの境界部分に画質劣化が生じる恐れがある。例えば、第１三角形予測ユニット及び第２三角形予測ユニットの境界上のエッジ（Ｅｄｇｅ）近傍に画質が連続的に悪くなることとなる。境界部分の画質劣化を減少するために、平滑化（Ｓｍｏｏｔｈｉｎｇ）フィルタリング又は重み付け予測によって予測サンプルを導き出してもよい。
第１三角形予測ユニットの運動情報に基づいて取得した第１予測サンプル及び第２三角形予測ユニットの運動情報に基づいて取得した第２予測サンプルの重み付け及び演算によって符号化ブロックにおける対角線分割を応用する予測サンプルを導き出してもよい。代替的に、第１三角形予測ユニットの運動情報に基づいて決定した第１予測ブロックから第１三角形予測ユニットの予測サンプルを導き出し、第２三角形予測ユニットの運動情報に基づいて決定した第２予測ブロックから第２三角形予測ユニットの予測サンプルを導き出し、且つ、第１予測ブロックに含まれる第１予測サンプル及び第２予測ブロックに含まれる第２予測サンプルの重み付け及び演算によって、第１三角形予測ユニット及び第２三角形予測ユニットの境界領域に位置する予測サンプルを導き出してもよい。例えば、下記等式２２には第１三角形予測ユニット及び第２三角形予測ユニットの予測サンプルを導き出す例を示す。
等式２２
Figure 2022509024000027
等式２２では、Ｐ１が第１予測サンプルを示し、Ｐ２が第２予測サンプルを示す。ｗ１が第１予測サンプルに応用される重み付け値を示し、（１－ｗ１）が第２予測サンプルに応用される重み付け値を示す。等式２２に示される例では、定数から第１予測サンプルに応用される重み付け値を引くことにより、第２予測サンプルに応用される重み付け値を導き出すことができる。
符号化ブロックに対して左三角形分割タイプを応用する場合、境界領域は同じｘ軸座標及びｙ軸座標を有する予測サンプルを含んでもよい。一方、符号化ブロックに対して右三角形分割タイプを応用する場合、境界領域はｘ軸座標とｙ軸座標との和が第１閾値以上且つ第２閾値以下である予測サンプルを含んでもよい。
符号化ブロックのサイズ、符号化ブロックの形状、三角形予測ユニットの運動情報、三角形予測ユニットの運動ベクトル差分、参照ピクチャの出力順序又は対角境界上の第１予測サンプルと第２予測サンプルとの差分のうちの少なくとも１つに基づいて、境界領域のサイズを決定してもよい。
図３８及び図３９は第１予測サンプル及び第２予測サンプルの重み付け及び演算によって予測サンプルを導き出す例を示す図である。図３８には符号化ブロックが左三角形分割タイプを応用する場合を示し、図３９には符号化ブロックが右三角形分割タイプを応用する場合を示す。また、図３８（ａ）及び図３９（ａ）は輝度成分に関連する予測状態を示す図であり、図３８（ｂ）及び図３９（ｂ）は色度成分に関連する予測状態を示す図である。
図面では、第１予測ユニット及び第２予測ユニットの境界近傍で予測サンプルに書き込まれた数字は第１予測サンプルに応用される重み付け値を示す。例えば、予測サンプルに書き込まれた数字がＮである場合、第１予測サンプルに対してＮ／８の重み付け値を応用し、第２予測サンプルに対して（１－（Ｎ／８））の重み付け値を応用することにより、前記予測サンプルを導き出すことができる。
非境界領域において、第１予測サンプル又は第２予測サンプルは予測サンプルとして決定されてもよい。図３８の例では、ｘ軸座標とｙ軸座標との差の絶対値が閾値より大きい領域のうちの第１三角形予測ユニットに属する領域において、第１三角形予測ユニットの運動情報に基づいて導き出した第１予測サンプルを予測サンプルとして決定してもよい。一方、ｘ軸座標とｙ軸座標との差分が閾値より大きい領域のうちの第２三角形予測ユニットに属する領域において、第２三角形予測ユニットの運動情報に基づいて導き出した第２予測サンプルを予測サンプルとして決定してもよい。
図３９の例では、ｘ軸座標とｙ軸座標との和が第１閾値より小さい領域において、第１三角形予測ユニットの運動情報に基づいて導き出した第１予測サンプルを予測サンプルとして決定してもよい。一方、ｘ軸座標とｙ軸座標との和が第２閾値より大きい領域において、第２三角形予測ユニットの運動情報に基づいて導き出した第２予測サンプルを予測サンプルとして決定してもよい。
符号化ブロックのサイズ、符号化ブロックの形状又は色成分のうちの少なくとも１つに基づいて、非境界領域を決定するための閾値を決定してもよい。例えば、輝度成分に関連する閾値がＮとして設定される場合、色度成分に関連する閾値をＮ／２として設定してもよい。
第１予測サンプル及び第２予測サンプルの重み付け及び演算によって境界領域に含まれる予測サンプルを導き出してもよい。このような場合、予測サンプルの位置、符号化ブロックのサイズ、符号化ブロックの形状又は色成分のうちの少なくとも１つに基づいて、第１予測サンプル及び第２予測サンプルに応用される重み付け値を決定してもよい。
例えば、図３８（ａ）に示される例では、同じ重み付け値を第１予測サンプル及び第２予測サンプルに応用することにより、同じｘ軸座標及びｙ軸座標を有する位置上の予測サンプルを導き出すことができる。第１予測サンプル及び第２予測サンプルに応用される重み付け値比率を（３：１）又は（１：３）として設定することにより、ｘ軸座標とｙ軸座標との差分の絶対値が１である予測サンプルを導き出すことができる。また、第１予測サンプル及び第２予測サンプルに応用される重み付け値比率を（７：１）又は（１：７）として設定することにより、ｘ軸座標とｙ軸座標との差分の絶対値が２である予測サンプルを導き出すことができる。
代替的に、図３８（ｂ）に示される例では、同じ重み付け値を第１予測サンプル及び第２予測サンプルに応用することにより、同じｘ軸座標及びｙ軸座標を有する位置上の予測サンプルを導き出すことができるのであり、第１予測サンプル及び第２予測サンプルに応用される重み付け値比率を（７：１）又は（１：７）として設定することにより、ｘ軸座標とｙ軸座標との差の絶対値が１である予測サンプルを導き出すことができる。
例えば、図３９（ａ）に示される例では、同じ重み付け値を第１予測サンプル及び第２予測サンプルに応用することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さより１小さい予測サンプルを導き出すことができる。第１予測サンプル及び第２予測サンプルに応用される重み付け値比率を（３：１）又は（１：３）として設定することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さと同じであり又は符号化ブロックの幅又は高さより２小さい予測サンプルを導き出すことができる。第１予測サンプル及び第２予測サンプルに応用される重み付け値比率を（７：１）又は（１：７）として設定することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さより１大きく又は符号化ブロックの幅又は高さより３小さい予測サンプルを導き出すことができる。
代替的に、図３９（ｂ）に示される例では、同じ重み付け値を第１予測サンプル及び第２予測サンプルに応用することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さより１小さい予測サンプルを導き出すことができる。第１予測サンプル及び第２予測サンプルに応用される重み付け値比率を（７：１）又は（１：７）として設定することにより、ｘ軸座標とｙ軸座標との和が符号化ブロックの幅又は高さと同じであり又は符号化ブロックの幅又は高さより２小さい予測サンプルを導き出すことができる。
他の例として、予測サンプルの位置又は符号化ブロックの形状を考慮した上で重み付け値を決定してもよい。等式２３～等式２５には符号化ブロックに対して左三角形分割タイプを応用する場合に重み付け値を導き出す例を示す。等式２３には符号化ブロックが正方形である場合に第１予測サンプルに応用される重み付け値を導き出す例を示す。
等式２３
Figure 2022509024000028
等式２３では、ｘとｙが予測サンプルの位置を示す。符号化ブロックが非正方形である場合、等式２４又は２５に示すように第１予測サンプルに応用される重み付け値を導き出してもよい。等式２４には符号化ブロックの幅が高さより大きい場合を示し、等式２５には符号化ブロックの幅が高さより小さい場合を示す。
等式２４
Figure 2022509024000029
等式２５
Figure 2022509024000030
右三角形分割タイプを符号化ブロックに応用する場合、等式２６～２８に示すように第１予測サンプルに応用される重み付け値を決定してもよい。等式２６には符号化ブロックが正方形である場合に第１予測サンプルに応用される重み付け値を導き出す例を示す。
等式２６
Figure 2022509024000031
等式２６では、ＣｂＷが符号化ブロックの幅を示す。符号化ブロックが非正方形である場合、等式２７又は２８に示すように第１予測サンプルに応用される重み付け値を導き出してもよい。等式２７には符号化ブロックの幅が高さより大きい場合を示し、等式２８には符号化ブロックの幅が高さより小さい場合を示す。
等式２７
Figure 2022509024000032
等式２８
Figure 2022509024000033
等式２７では、ＣｂＨが符号化ブロックの高さを示す。
図示の例では、境界領域における予測サンプルに対して、第１予測サンプルに第２予測サンプルより大きい重み付け値を与えることにより第１三角形予測ユニットに含まれるサンプルを導き出すことができるのであり、第２予測サンプルに第１予測サンプルより大きい重み付け値を与えることにより第２三角形予測ユニットに含まれるサンプルを導き出すことができる。
符号化ブロックに対して対角線分割を応用する場合、符号化ブロックはイントラ予測モードとマージモードを組み合わせる組合せ予測モードを応用しないように設定されてもよい。
イントラ予測は現在ブロック周辺の符号化／復号後の復元サンプルを使用して現在ブロックを予測する。このような場合、現在ブロックのイントラ予測はループ内フィルタを応用する前の復元サンプルを使用してもよい。
イントラ予測技術は行列（Ｍａｔｒｉｘ）に基づくイントラ予測及び周辺復元サンプルの指向性を考慮した一般的なイントラ予測を含む。ビットストリームを介して信号によって現在ブロックのイントラ予測技術を示す情報を送信してもよい。前記情報は１ビットフラグであってもよい。代替的に、現在ブロックの位置、サイズ、形状又は隣接ブロックのイントラ予測技術のうちの少なくとも１つに基づいて、現在ブロックのイントラ予測技術を決定してもよい。例えば、現在ブロックがピクチャ境界を跨いで存在する場合、現在ブロックは行列に基づくイントラ予測を応用しないように設定されてもよい。
行列に基づくイントラ予測はエンコーダ及びデコーダに記憶される行列と現在ブロック周辺の復元サンプルとの行列乗算によって現在ブロックの予測ブロックを取得する方法である。ビットストリームを介して信号によって記憶される複数の行列のうちのいずれか１つを指定するための情報を送信してもよい。デコーダは前記情報及び現在ブロックのサイズに基づいて現在ブロックのイントラ予測のための行列を決定してもよい。
一般的なイントラ予測は非角度イントラ予測モード又は角度イントラ予測モードに基づいて現在ブロックに関連する予測ブロックを取得する方法である。以下、図面を参照しながら、一般的なイントラ予測に基づいてイントラ予測を実行する過程をより詳しく説明する。
図４０は本発明の実施例に係るイントラ予測方法を示すフローチャートである。
現在ブロックの参照サンプルラインを決定してもよい（Ｓ４００１）。参照サンプルラインは現在ブロックの上方及び／又は左側からのＫ番目の線に含まれる参照サンプルのセットを指す。現在ブロック周辺の符号化／復号後の復元サンプルから参照サンプルを導き出してもよい。
ビットストリームを介して信号によって複数の参照サンプルラインのうちの現在ブロックの参照サンプルラインを示すインデックス情報を送信してもよい。例えば、ビットストリームを介して信号によって現在ブロックの参照サンプルラインを指定するためのインデックス情報ｉｎｔｒａ＿ｌｕｍａ＿ｒｅｆ＿ｉｄｘを送信してもよい。符号化ブロック単位で、信号によって前記インデックス情報を送信してもよい。
複数の参照サンプルラインは現在ブロックの上方及び／又は左側に位置する第１線、第２線、第３線又は第４線のうちの少なくとも１つを含んでもよい。複数の参照サンプルラインのうちの現在ブロックの上方に隣接する行と現在ブロックの左側に隣接する列とからなる参照サンプルラインは隣接参照サンプルラインと称されてもよく、それ以外の参照サンプルラインは更に非隣接参照サンプルラインと称されてもよい。
複数の参照サンプルラインのうちのいくつかは現在ブロックの参照サンプルラインとして選択されてもよい。例えば、複数の参照サンプルラインのうちの第３非隣接参照サンプルライン以外の残りの参照サンプルラインは候補参照サンプルラインとして設定されてもよい。表５にはそれぞれ各候補参照サンプルラインに割り当てられたインデックスを示す。
Figure 2022509024000034
説明されるサンプルラインより多い候補参照サンプルラインを設定してもよく、又はより少ない候補参照サンプルラインを設定してもよい。また、候補参照サンプルラインとして設定される非隣接参照サンプルラインの数又は位置は説明される例に限らない。例えば、第１非隣接参照サンプルライン及び第３非隣接参照サンプルラインを候補参照サンプルラインとして設定してもよく、又は第２非隣接参照サンプルライン及び第３非隣接参照サンプルラインを候補参照サンプルラインとして設定してもよい。代替的に、更に第１非隣接参照サンプルライン、第２非隣接参照サンプルライン及び第３非隣接参照サンプルラインをいずれも候補参照サンプルラインとして設定してもよい。
現在ブロックのサイズ、形状、位置、サブブロックが分割されたかどうか又はイントラ予測モードのうちの少なくとも１つに基づいて、候補参照サンプルラインの数又はタイプを決定してもよい。
更に現在ブロックの位置、サイズ、形状又は隣接ブロックの予測符号化モードのうちの少なくとも１つに基づいて、現在ブロックの参照サンプルラインを決定してもよい。例えば、現在ブロックがピクチャ、セグメント、スライス又は符号化木ユニットの境界に接触する場合、１番目の参照サンプルラインを現在ブロックの参照サンプルラインとして決定してもよい。
代替的に、現在ブロックが非正方形である場合、隣接参照サンプルラインを現在ブロックの参照サンプルラインとして設定してもよい。代替的に、現在ブロックの幅と高さの比が閾値以上又は閾値以下である場合、隣接参照サンプルラインを現在ブロックの参照サンプルラインとして決定してもよい。
参照サンプルラインは現在ブロックの上方に位置する上方参照サンプル及び現在ブロックの左側に位置する左側参照サンプルを含んでもよい。現在ブロック周辺の復元サンプルから上方参照サンプル及び左側参照サンプルを導き出してもよい。前記復元サンプルはループ内フィルタを応用する前の状態にあってもよい。
次に、現在ブロックのイントラ予測モードを決定してもよい（Ｓ４００２）。現在ブロックのイントラ予測モードに対して、非角度イントラ予測モード又は角度イントラ予測モードのうちの少なくとも１つを現在ブロックのイントラ予測モードとして決定してもよい。非角度イントラ予測モードはプレーナ（Ｐｌａｎｅｒ）及びＤＣを含み、角度イントラ予測モードは左下対角線方向から右上対角線方向までの３３個又は６５個のモードを含む。
図４１はイントラ予測モードを示す図である。
図４１（ａ）には３５個のイントラ予測モードを示し、図４１（ｂ）には６７個のイントラ予測モードを示す。
更に図４１に示されるものより多く又は少ない数のイントラ予測モードを定義してもよい。
現在ブロックに隣接する隣接ブロックのイントラ予測モードに基づいて最確モード（ＭＰＭ、Ｍｏｓｔ Ｐｒｏｂａｂｌｅ Ｍｏｄｅ）を設定してもよい。隣接ブロックは現在ブロックの左側に隣接する左側隣接ブロックと、現在ブロックの上方に隣接する上側隣接ブロックとを含んでもよい。
エンコーダ及びデコーダにおいてＭＰＭリストに含まれるＭＰＭの数を予め定義してもよい。例えば、ＭＰＭの数は３つ、４つ、５つ又は６つであってもよい。代替的に、ビットストリームを介して信号によってＭＰＭの数を示す情報を送信してもよい。代替的に、隣接ブロックの予測符号化モード、現在ブロックのサイズ又は形状のうちの少なくとも１つに基づいてＭＰＭの数を決定してもよい。例えば、隣接参照サンプルラインを現在ブロックの参照サンプルラインとして決定する場合、Ｎ個のＭＰＭを使用するが、非隣接参照サンプルラインを現在ブロックの参照サンプルラインとして決定する場合、Ｍ個のＭＰＭを使用してもよい。ＭはＮより小さい整数であり、例えば、Ｎは６であってもよく、Ｍは５、４又は３であってもよい。従って、現在ブロックの参照サンプルラインのインデックスが０であり且つＭＰＭフラグが真である場合、現在ブロックのイントラ予測モードを６つの候補イントラ予測モードのうちのいずれか１つとして決定してもよいが、現在ブロックの参照サンプルラインのインデックスが０より大きく且つＭＰＭフラグが真である場合、現在ブロックのイントラ予測モードを５つの候補イントラ予測モードのうちのいずれか１つとして決定してもよい。
代替的に、現在ブロックの参照サンプルラインのインデックスにかかわらず、更に固定数（例えば、６つ又は５つ）のＭＰＭ候補を使用してもよい。
複数のＭＰＭを含むＭＰＭリストを生成してもよく、ビットストリームを介して信号によって現在ブロックのイントラ予測モードと同じＭＰＭがＭＰＭリストに含まれるかどうかを示す情報を送信してもよい。前記情報は１ビットフラグであり、ＭＰＭフラグと称されてもよい。ＭＰＭフラグは現在ブロックと同じＭＰＭがＭＰＭリストに含まれることを示す場合、ビットストリームを介して信号によってＭＰＭのうちの１つを示すインデックス情報を送信してもよい。例えば、ビットストリームを介して信号によって複数のＭＰＭのうちのいずれか１つを指定するインデックス情報ｍｐｍ＿ｉｄｘを送信してもよい。前記インデックス情報により指定されたＭＰＭを現在ブロックのイントラ予測モードとして設定してもよい。ＭＰＭフラグは現在ブロックと同じＭＰＭがＭＰＭリストに含まれないことを示す場合、ビットストリームを介して信号によってＭＰＭ以外の残りのイントラ予測モードのうちのいずれか１つを示す残りのモード情報を送信してもよい。残りのモード情報はＭＰＭ以外の残りのイントラ予測モードにインデックスを改めて割り当てる場合に現在ブロックのイントラ予測モードに対応するインデックス値を示す。デコーダは昇順でＭＰＭを配列して、残りのモード情報とＭＰＭとを比較して現在ブロックのイントラ予測モードを決定してもよい。例えば、残りのモード情報がＭＰＭと同じであり又はＭＰＭより小さい場合、残りのモード情報に１を加えて現在ブロックのイントラ予測モードを導き出してもよい。
現在ブロックのイントラ予測モードを導き出す場合、ＭＰＭの一部と残りのモード情報との比較は省略してもよい。例えば、非角度イントラ予測モードのＭＰＭを比較オブジェクトから排除してもよい。非角度イントラ予測モードがＭＰＭとして設定される場合、残りのモード情報は角度イントラ予測モードを明確に示すため、非角度イントラ予測モード以外の残りのＭＰＭと残りのモード情報との比較によって現在ブロックのイントラ予測モードを導き出してもよい。非角度イントラ予測モードを比較オブジェクトから排除する代わりに、残りのモード情報に非角度イントラ予測モードの数を加えた結果値とＭＰＭとを比較してもよい。
デフォルトモードをＭＰＭとして設定する代わりに、ビットストリームを介して信号によって現在ブロックのイントラ予測モードがデフォルトモードであるかどうかを示す情報を送信してもよい。前記情報は１ビットフラグであり、前記フラグはデフォルトモードフラグと称されてもよい。ＭＰＭフラグは現在ブロックと同じＭＰＭがＭＰＭリストに含まれることを示す場合のみ、信号によってデフォルトモードフラグを送信することができる。以上のように、デフォルトモードはプレーナ、ＤＣ、垂直方向モード又は水平方向モードのうちの少なくとも１つを含んでもよい。例えば、プレーナがデフォルトモードとして設定される場合、デフォルトモードフラグは現在ブロックのイントラ予測モードがプレーナであるかどうかを示してもよい。デフォルトモードフラグは現在ブロックのイントラ予測モードがデフォルトモードではないことを示す場合、インデックス情報で示されるＭＰＭのうちの１つを現在ブロックのイントラ予測モードとして設定してもよい。
デフォルトモードフラグを使用する場合、デフォルトモードと同じイントラ予測モードはＭＰＭとして設定されなくてもよい。例えば、デフォルトモードフラグは現在ブロックのイントラ予測モードがプレーナであるかどうかを示す場合、プレーナに相当するＭＰＭ以外の５つのＭＰＭを使用して現在ブロックのイントラ予測モードを導き出してもよい。
複数のイントラ予測モードをデフォルトモードとして設定する場合、更に信号によってデフォルトモードのうちのいずれか１つを示すインデックス情報を送信してもよい。現在ブロックのイントラ予測モードを前記インデックス情報が指すデフォルトモードとして設定してもよい。
現在ブロックの参照サンプルラインのインデックスが０ではない場合、デフォルトモードを使用しないように設定する。例えば、非隣接参照サンプルラインが現在ブロックの参照サンプルラインとして決定される場合、ＤＣモード又はプレーナモード等の非角度イントラ予測モードを使用しないように設定してもよい。従って、参照サンプルラインのインデックスが０ではない場合、信号によってデフォルトモードフラグを送信せず、前記デフォルトモードフラグの値を予め定義された値（即ち、偽）として設定してもよい。
現在ブロックのイントラ予測モードを決定する場合、決定されたイントラ予測モードに基づいて現在ブロックに関連する予測サンプルを取得してもよい（Ｓ４００３）。
ＤＣモードを選択するとき、参照サンプルの平均値に基づいて現在ブロックに関連する予測サンプルを生成してもよい。具体的に、参照サンプルの平均値に基づいて予測ブロックのすべてのサンプルの値を生成してもよい。現在ブロックの上方に位置する上方参照サンプル及び現在ブロックの左側に位置する左側参照サンプルのうちの少なくとも１つを使用して平均値を導き出してもよい。
平均値を導き出すための参照サンプルの数又は範囲は現在ブロックの形状によって異なる可能性がある。例えば、現在ブロックは幅が高さより大きい非正方形ブロックである場合、上方参照サンプルのみを使用して平均値を計算してもよい。一方、現在ブロックは幅が高さより小さい非正方形ブロックである場合、左側参照サンプルのみを使用して平均値を計算してもよい。即ち、現在ブロックの幅及び高さが異なる場合、長さの一層長い片側に隣接する参照サンプルのみを使用して平均値を計算してもよい。代替的に、現在ブロックの幅と高さの比率に基づいて、上方参照サンプルのみを使用して平均値を計算するかどうか、又は左側参照サンプルのみを使用して平均値を計算するかどうかを決定してもよい。
プレーナモードを選択する場合、水平方向予測サンプル及び垂直方向予測サンプルを使用して予測サンプルを取得してもよい。予測サンプルと同じ水平線に位置する左側参照サンプル及び右側参照サンプルに基づいて水平方向予測サンプルを取得し、予測サンプルと同じ垂直線に位置する上方参照サンプル及び下方参照サンプルに基づいて垂直方向予測サンプルを取得する。現在ブロックの右上角に隣接する参照サンプルをコピーすることにより右側参照サンプルを生成することができ、現在ブロックの左下角に隣接する参照サンプルをコピーすることにより下方参照サンプルを生成することができる。左側参照サンプル及び右側参照サンプルの重み付け及び演算によって水平方向予測サンプルを取得することができ、上方参照サンプル及び下方参照サンプルの重み付け及び演算によって垂直方向予測サンプルを取得することができる。このような場合、予測サンプルの位置に基づいて各参照サンプルに与えられた重み付け値を決定してもよい。水平方向予測サンプル及び垂直方向予測サンプルの平均演算又は重み付け及び演算によって予測サンプルを取得してもよい。重み付け及び演算を実行する場合、予測サンプルの位置に基づいて水平方向予測サンプル及び垂直方向予測サンプルに与えられた重み付け値を決定してもよい。
角度予測モードを選択する場合、選択された角度予測モードの予測方向（又は、予測角度）を示すパラメータを決定してもよい。下記表６には各イントラ予測モードのイントラ予測パラメータｉｎｔｒａＰｒｅｄＡｎｇを示す。
Figure 2022509024000035
表６には３５個のイントラ予測モードを定義した場合に２～３４のうちのいずれか１つのインデックスを有する各イントラ予測モードのイントラ方向パラメータを示す。３３個以上の角度イントラ予測モードを定義した場合、表６は更に各角度イントラ予測モードのイントラ方向パラメータを設定するように細分される。
現在ブロックの上方参照サンプル及び左側参照サンプルを１列に配列した後、イントラ方向パラメータの値に基づいて予測サンプルを取得してもよい。このような場合、イントラ方向パラメータの値が負数である場合、左側参照サンプルと上方参照サンプルを１列に配列してもよい。
図４２及び図４３は参照サンプルを１行に配列する一次元配列の例を示す図である。
図４２には垂直方向において参照サンプルを配列する垂直方向一次元配列の例を示し、図４３には水平方向において参照サンプルを配列する水平方向一次元配列の例を示す。３５個のイントラ予測モードを定義すると仮定した上で、図４２及び図４３の実施例を説明する。
イントラ予測モードインデックスが１１～１８のうちのいずれか１つである場合、上方参照サンプルを逆時計回りに回転させる水平方向一次元配列を応用してもよく、イントラ予測モードインデックスが１９～２５のうちのいずれか１つである場合、左側参照サンプルを時計回りに回転させる垂直方向一次元配列を応用してもよい。参照サンプルを１列に配列する場合、イントラ予測モード角度を考慮してもよい。
イントラ方向パラメータに基づいて参照サンプル決定パラメータを決定してもよい。参照サンプル決定パラメータは参照サンプルを指定するための参照サンプルインデックスと、参照サンプルに応用される重み付け値を決定するための重み付け値パラメータとを含んでもよい。
参照サンプルインデックスｉＩｄｘ及び重み付け値パラメータｉｆａｃｔはそれぞれ下記等式３０及び等式３１により取得されてもよい。
等式３０
Figure 2022509024000036
等式３１
Figure 2022509024000037
等式３０及び３１では、Ｐａｎｇがイントラ方向パラメータを示す。参照サンプルインデックスｉＩｄｘに基づいて指定した参照サンプルは整数画素（Ｉｎｔｅｇｅｒ ｐｅｌ）に相当する。
予測サンプルを導き出すために、１つ以上の参照サンプルを指定してもよい。具体的に、予測モードの傾斜度を考慮した上で、予測サンプルを導き出すための参照サンプルの位置を指定してもよい。例えば、参照サンプルインデックスｉＩｄｘを使用して、予測サンプルを導き出すための参照サンプルを指定してもよい。
このような場合、イントラ予測モードの傾斜度が１つの参照サンプルで示されない場合、複数の参照サンプルを補間することにより予測サンプルを生成することができる。例えば、イントラ予測モードの傾斜度が予測サンプルと第１参照サンプルとの間の傾斜度及び予測サンプルと第２参照サンプルとの間の傾斜度との間の値である場合、第１参照サンプル及び第２参照サンプルを補間して予測サンプルを取得してもよい。即ち、イントラ予測角度に従う角線（Ａｎｇｕｌａｒ Ｌｉｎｅ）は整数画素に位置する参照サンプルを通らない場合、前記角線が通る位置の左右又は上下に隣接する参照サンプルを補間して予測サンプルを取得してもよい。
下記等式３２には参照サンプルに基づいて予測サンプルを取得する例を示す。
等式３２
Figure 2022509024000038
等式３２では、Ｐが予測サンプルを示し、Ｒｅｆ＿１Ｄが一次元配列の参照サンプルのうちのいずれか１つを示す。このような場合、予測サンプルの位置（ｘ，ｙ）及び参照サンプルインデックスｉＩｄｘに基づいて参照サンプルの位置を決定してもよい。
イントラ予測モードの傾斜度が１つの参照サンプルとして示されてもよい場合、重み付け値パラメータｉｆａｃｔを０として設定してもよい。従って、等式３２は下記等式３３に簡略化されてもよい。
等式３３
Figure 2022509024000039
更に複数のイントラ予測モードに基づいて現在ブロックに対してイントラ予測を実行してもよい。例えば、異なる予測サンプルに対してイントラ予測モードを導き出してもよく、各予測サンプルに割り当てられたイントラ予測モードに基づいて予測サンプルを導き出してもよい。
代替的に、異なる領域に対してイントラ予測モードを導き出してもよく、各領域に割り当てられたイントラ予測モードに基づいて各領域に対してイントラ予測を実行してもよい。前記領域は少なくとも１つのサンプルを含んでもよい。現在ブロックのサイズ、形状又はイントラ予測モードのうちの少なくとも１つに基づいて前記領域のサイズ又は形状のうちの少なくとも１つを適応的に決定してもよい。代替的に、エンコーダ及びデコーダにおいて、現在ブロックのサイズ又は形状にかかわらず、領域のサイズ又は形状のうちの少なくとも１つを予め定義してもよい。
代替的に、それぞれ複数のイントラ予測に基づいてイントラ予測を実行してもよく、複数回のイントラ予測により取得された複数の予測サンプルの平均演算又は重み付け及び演算によって最終的な予測サンプルを導き出してもよい。例えば、第１イントラ予測モードに基づいてイントラ予測を実行して第１予測サンプルを取得してもよく、第２イントラ予測モードに基づいてイントラ予測を実行して第２予測サンプルを取得してもよい。その後、第１予測サンプル及び第２予測サンプルの平均演算又は重み付け及び演算によって最終的な予測サンプルを取得してもよい。このような場合、第１イントラ予測モードが非角度／角度予測モードであるかどうか、第２イントラ予測モードが非角度／角度予測モード又は隣接ブロックのイントラ予測モードのうちの少なくとも１つであるかどうかを考慮した上で、それぞれ第１予測サンプル及び第２予測サンプルに割り当てられた重み付け値を決定してもよい。
複数のイントラ予測モードは非角度イントラ予測モードと角度予測モードとの組み合わせ、角度予測モードの組み合わせ又は非角度予測モードの組み合わせであってもよい。
図４４は角度イントラ予測モードとｘ軸に平行する直線とがなす角度を示す図である。
図４４に示される例では、角度予測モードは左下対角線方向と右上対角線方向との間に存在してもよい。ｘ軸と角度予測モードとがなす角度として説明される場合、角度予測モードは４５度（左下対角方向）～－１３５度（右側上方対角方向）之間に存在してもよい。
現在ブロックが非正方形形状である場合、現在ブロックのイントラ予測モードに基づいて、予測サンプルに接近する参照サンプルではなく、イントラ予測角度に従う角線に位置する参照サンプルのうちの予測サンプルを離れる参照サンプルを使用して予測サンプルを導き出す。
図４５は現在ブロックが非正方形である場合に予測サンプルを取得する例を示す図である。
例えば、図４５（ａ）に示される例では、現在ブロックは幅が高さより大きい非正方形であり、現在ブロックのイントラ予測モードは角度が０度～４５度である角度イントラ予測モードであると仮定する。このような場合、現在ブロックの右側列近傍の予測サンプルＡを導き出すとき、前記角度に位置する角度モードにおける参照サンプルのうちの前記予測サンプルを離れる左側参照サンプルＬで前記予測サンプルに接近する上方参照サンプルＴを代替する状況が発生することとなる。
他の例として、図４５（ｂ）に示される例では、現在ブロックは高さが幅より大きい非正方形であり、現在ブロックのイントラ予測モードは角度が－９０度～－１３５度である角度イントラ予測モードであると仮定する。上記の場合、現在ブロックの下方行近傍の予測サンプルＡを導き出すとき、前記角度に位置する角度モードにおける参照サンプルのうちの前記予測サンプルを離れる上方参照サンプルＴで前記予測サンプルに接近する左側参照サンプルＬを代替する状況が発生することとなる。
上記問題を解決するために、現在ブロックが非正方形である場合、現在ブロックのイントラ予測モードを反方向のイントラ予測モードに置換してもよい。従って、非正方形のブロックに対して、図４１に示される角度予測モードの角度より大きく又は小さい角度を有する角度予測モードを使用してもよい。このような角度イントラ予測モードは広角イントラ予測モードとして定義されてもよい。広角イントラ予測モードは４５度～－１３５度範囲を超える角度イントラ予測モードを示す。
図４６は広角イントラ予測モードを示す図である。
図４６に示される例では、インデックス－１～－１４のイントラ予測モード及びインデックス６７～８０のイントラ予測モードは広角イントラ予測モードを示す。
図４６には４５度より大きい角度を有する１４個の広角イントラ予測モード（－１～－１４）及び－１３５度より小さい角度を有する１４個の広角イントラ予測モード（６７～８０）を示すが、より多く又はより少ない数の広角イントラ予測モードを定義してもよい。
広角イントラ予測モードを使用する場合、上方参照サンプルの長さは２Ｗ＋１として設定され、左側参照サンプルの長さは２Ｈ＋１として設定される。
広角イントラ予測モードを使用する場合、参照サンプルＴを使用して図４５（ａ）に示されるサンプルＡを予測してもよく、参照サンプルＬを使用して図４５（ｂ）に示されるサンプルＡを予測してもよい。
既存のイントラ予測モードとＮ個の広角イントラ予測モードとを加えることにより、全部で６７＋Ｎ個のイントラ予測モードを使用可能である。例えば、表７には２０個の広角イントラ予測モードを定義した場合のイントラ予測モードのイントラ方向パラメータを示す。
Figure 2022509024000040
現在ブロックが非正方形であり且つステップＳ４００２における取得された現在ブロックのイントラ予測モードが変換範囲内にある場合、現在ブロックのイントラ予測モードを広角イントラ予測モードに変換してもよい。現在ブロックのサイズ、形状又は比率のうちの少なくとも１つに基づいて前記変換範囲を決定してもよい。前記比率は現在ブロックの幅と高さの比率を示してもよい。
現在ブロックは幅が高さより大きい非正方形である場合、変換範囲を右側上方対角方向のイントラ予測モードインデックス（例えば、６６）～（右側上方対角方向のイントラ予測モードのインデックス－Ｎ）に設定してもよい。Ｎは現在ブロックの比率に基づいて決定されてもよい。現在ブロックのイントラ予測モードが変換範囲内にある場合、前記イントラ予測モードを広角イントラ予測モードに変換してもよい。前記イントラ予測モードから予め定義された値を引くことにより前記変換を実行してもよく、前記予め定義された値は広角イントラ予測モード以外のイントラ予測モードの総数（例えば、６７）であってもよい。
前記実施例に基づいて、６６番目～５３番目のイントラ予測モードをそれぞれ－１番目～－１４番目の広角イントラ予測モードに変換してもよい。
現在ブロックは高さが幅より大きい非正方形である場合、変換範囲を左下対角方向のイントラ予測モードインデックス（例えば、２）～（左下対角方向のイントラ予測モードのインデックス＋Ｍ）に設定してもよい。Ｍは現在ブロックの比率に基づいて決定されてもよい。現在ブロックのイントラ予測モードが変換範囲内にある場合、前記イントラ予測モードを広角イントラ予測モードに変換してもよい。前記イントラ予測モードに予め定義された値を加えることにより前記変換を実行してもよく、予め定義された値は広角イントラ予測モード以外の角度イントラ予測モードの総数（例えば、６５）であってもよい。
前記実施例に基づいて、２番目～１５番目のイントラ予測モードをそれぞれ６７番目～８０番目の広角イントラ予測モードに変換してもよい。
以下、変換範囲内にあるイントラ予測モードは広角イントラ置換予測モードと称される。
変換範囲は現在ブロックの比率に基づいて決定されてもよい。例えば、表８及び表９のそれぞれには広角イントラ予測モード以外の３５個のイントラ予測モード及び６７個のイントラ予測モードを定義した場合の変換範囲を示す。
Figure 2022509024000041
Figure 2022509024000042
表８及び表９に示される例では、変換範囲内にある広角イントラ置換予測モードの数は現在ブロックの比率によって異なってもよい。
現在ブロックの比率を細分することにより、表１０に示すように変換範囲を設定することができる。
Figure 2022509024000043
非隣接参照サンプルラインを現在ブロックの参照サンプルラインとして決定し、又は複数の参照サンプルラインのうちのいずれか１つを選択するための複数線イントラ予測符号化方法を使用する場合、広角イントラ予測モードを使用しないように設定してもよい。即ち、現在ブロックが非正方形であり且つ現在ブロックのイントラ予測モードが変換範囲内にある場合にも、現在ブロックのイントラ予測モードを広角イントラ予測モードに変換しない可能性がある。
代替的に、現在ブロックのイントラ予測モードを広角イントラ予測モードとして決定する場合、非隣接参照サンプルラインが現在ブロックの参照サンプルラインとして使用できないように設定してもよく、又は複数の参照サンプルラインのうちのいずれか１つを選択するための複数線イントラ予測符号化方法を使用しないように設定してもよい。複数線イントラ予測符号化方法を使用しない場合、隣接参照サンプルラインを現在ブロックの参照サンプルラインとして設定してもよい。
広角イントラ予測モードを使用しない場合、ｒｅｆＷ及びｒｅｆＨをｎＴｂＷとｎＴｂＨとの和として設定する。従って、左上参照サンプル以外に、現在ブロックとの距離がｉである非隣接参照サンプルは（ｎＴｂＷ＋ｎＴｂＨ＋ｏｆｆｓｅｔＸ［ｉ］）個の上方参照サンプル及び（ｎＴｂＷ＋ｎＴｂＨ＋ｏｆｆｓｅｔＹ［ｉ］）個の左側参照サンプルを含んでもよい。即ち、現在ブロックとの距離がｉである非隣接参照サンプルは（２ｎＴｂＷ＋２ｎＴｂＨ＋ｏｆｆｓｅｔＸ［ｉ］＋ｏｆｆｓｅｔＹ［ｉ］＋１）個の参照サンプルを含んでもよい。例えば、ｗｈＲａｔｉｏの値が１より大きい場合、ｏｆｆｓｅｔＸの値をｏｆｆｓｅｔＹの値より大きく設定する。例えば、ｏｆｆｓｅｔＸの値が１として設定され、ｏｆｆｓｅｔＹの値が０として設定される。一方、ｗｈＲａｔｉｏの値が１より小さい場合、ｏｆｆｓｅｔＹの値をｏｆｆｓｅｔＸの値より大きく設定する。例えば、ｏｆｆｓｅｔＸの値を０として設定し、ｏｆｆｓｅｔＹの値を１として設定する。
既存のイントラ予測モード以外に広角イントラ予測モードを使用するにつれて、広角イントラ予測モードを符号化するために必要なリソースが増加することとなり、従って、符号化効率を低下させる恐れがある。従って、広角イントラ予測モードを直接符号化する代わりに、広角イントラ予測モードに関連する置換イントラ予測モードを符号化することにより、符号化効率を向上させる。
例えば、６７番目の広角イントラ予測モードを使用して現在ブロックを符号化する場合、６７番目の広角置換イントラ予測モードとしての番号２を現在ブロックのイントラ予測モードに符号化してもよい。また、－１番目の広角イントラ予測モードを使用して現在ブロックを符号化する場合、－１番目の広角置換イントラ予測モードとしての番号６６を現在ブロックのイントラ予測モードに符号化してもよい。
デコーダは現在ブロックのイントラ予測モードを復号して、復号されたイントラ予測モードが変換範囲に含まれるかどうかを決定してもよい。復号されたイントラ予測モードが広角置換イントラ予測モードである場合、イントラ予測モードを広角イントラ予測モードに変換してもよい。
代替的に、広角イントラ予測モードで現在ブロックを符号化する場合、更に広角イントラ予測モードを直接符号化してもよい。
イントラ予測モードの符号化は前記ＭＰＭリストに基づいて実現されてもよい。具体的に、広角イントラ予測モードで隣接ブロックを符号化する場合、広角イントラ予測モードに対応する広角置換イントラ予測モードに基づいてＭＰＭを設定してもよい。
オリジナルピクチャから予測ピクチャを引くことにより導き出した残余ピクチャを導き出してもよい。このような場合、残余ピクチャを周波数領域に変更する場合、周波数成分における高周波数成分を取り除いても、ビデオの主観的画質が大幅に低下することもない。従って、高周波数成分の値を比較的小さい値に変換し又は高周波数成分の値を０として設定すれば、顕著な視覚的歪みを生じさせずに圧縮効率を向上させる効果を有する。以上の特性を反映するために、現在ブロックを変換して残余ピクチャを２次元周波数成分に分解してもよい。離散コサイン変換（ＤＣＴ、Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）又は離散サイン変換（ＤＳＴ、Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）等の変換技術で前記変換を実行してもよい。
ＤＣＴはコサイン変換を使用して残余ピクチャを２次元周波数成分に分解（又は、変換）するが、ＤＳＴはサイン変換を使用して残余ピクチャを２次元周波数成分に分解（又は、変換）する。残余ピクチャの変換結果として、周波数成分は基本ピクチャとして示されてもよい。例えば、サイズＮ×Ｎのブロックに対してＤＣＴ変換を実行するとき、Ｎ２個の基本パターン成分を取得してもよい。変換によってサイズＮ×Ｎのブロックに含まれる各基本パターン成分のサイズを取得してもよい。使用した変換技術に基づいて、基本パターン成分のサイズはＤＣＴ係数又はＤＳＴ係数と称されてもよい。
変換技術ＤＣＴは主に非０の低周波数成分の分布がより多いピクチャを変換することに用いられる。変換技術ＤＳＴは主に高周波数成分の分布がより多いピクチャに使用される。
更にＤＣＴ又はＤＳＴ以外の変換技術を使用して残余ピクチャを変換してもよい。
以下、残余ピクチャを２次元周波数成分に変換する過程は２次元ピクチャ変換と称される。また、変換結果により取得された基本パターン成分のサイズは変換係数と称される。例えば、変換係数はＤＣＴ係数又はＤＳＴ係数を指してもよい。以後に説明しようとする主変換及び二次変換を同時に応用するとき、変換係数は二次変換の結果により生成された基本パターン成分のサイズを示してもよい。
ブロック単位で変換技術を決定してもよい。現在ブロックの予測符号化モード、現在ブロックのサイズ又は現在ブロックの形状のうちの少なくとも１つに基づいて変換技術を決定してもよい。例えば、イントラ予測モードで現在ブロックを符号化し且つ現在ブロックのサイズがＮ×Ｎより小さい場合、変換技術ＤＳＴを使用して変換を実行してもよい。一方、前記条件を満足できない場合、変換技術ＤＣＴを使用して変換を実行してもよい。
残余ピクチャにおいて、更に一部のブロックに対して２次元ピクチャ変換を実行しなくてもよい。２次元ピクチャ変換を実行しないことは変換スキップ（Ｔｒａｎｓｆｏｒｍ Ｓｋｉｐ）と称されてもよい。変換スキップを応用する場合、量子化を、変換を実行しない残余値に応用してもよい。
ＤＣＴ又はＤＳＴを使用して現在ブロックを変換した後、変換された現在ブロックを再び変換してもよい。このような場合、ＤＣＴ又はＤＳＴに基づく変換は主変換として定義されてもよく、主変換を応用するブロックを再び変換する過程は二次変換と称される。
主変換は複数の変換コア候補のうちのいずれか１つを使用して実行されてもよい。例えば、ＤＣＴ２、ＤＣＴ８又はＤＣＴ７のうちのいずれか１つを使用して主変換を実行してもよい。
水平方向及び垂直方向に対して、更に異なる変換コアを使用してもよい。更に、ビットストリームを介して信号によって水平方向の変換コアと垂直方向の変換コアとの組み合わせを示す情報を送信してもよい。
主変換及び二次変換の実行ユニットが異なる。例えば、８×８ブロックに対して主変換を実行してもよく、変換された８×８ブロックにおけるサイズ４×４のサブブロックに対して二次変換を実行してもよい。このような場合、更に二次変換を実行しない予備領域の変換係数を０として設定してもよい。
代替的に、４×４ブロックに対して主変換を実行してもよく、変換された４×４ブロックを含むサイズ８×８の領域に対して二次変換を実行してもよい。
ビットストリームを介して信号によって二次変換を実行するかどうかを示す情報を送信してもよい。
デコーダにおいて二次変換の逆変換（第２逆変換）を実行してもよく、その結果に対して主変換の逆変換（第１逆変換）を実行してもよい。第２逆変換及び第１逆変換の実行結果として、現在ブロックの残余信号を取得してもよい。
量子化はブロックのエネルギーを低減することに用いられ、且つ量子化過程は変換係数を特定定数で割る過程を含む。前記定数は量子化パラメータにより導き出されてもよく、且つ量子化パラメータは１～６３の間の値として定義されてもよい。
エンコーダにおいて変換及び量子化を実行すれば、デコーダは逆量子化及び逆変換によって残余ブロックを取得してもよい。デコーダにおいて予測ブロックと残余ブロックとを加えて、現在ブロックの復元ブロックを取得してもよい。
現在ブロックの復元ブロックを取得した場合、ループ内フィルタリング（Ｉｎ－ｌｏｏｐ ｆｉｌｔｅｒｉｎｇ）によって量子化及び符号化過程に発生した情報紛失を減少させることができる。ループ内フィルタはデブロッキングフィルタ（Ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）、サンプル適応型オフセットフィルタ（ＳＡＯ、Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ ｆｉｌｔｅｒ）又は適応型ループフィルタ（ＡＬＦ、Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ）のうちの少なくとも１つを含んでもよい。以下、ループ内フィルタを応用する前の復元ブロックは第１復元ブロックと称され、ループ内フィルタを応用した後の復元ブロックは第２復元ブロックと称される。
第１復元ブロックに対してデブロッキングフィルタ、ＳＡＯ又はＡＬＦのうちの少なくとも１つを応用して第２復元ブロックを取得してもよい。このような場合、デブロッキングフィルタを応用した後にＳＡＯ又はＡＬＦを応用してもよい。
デブロッキングフィルタはブロック単位で量子化を実行する際にブロックの境界で発生した画質劣化（ブロック歪み、Ｂｌｏｃｋｉｎｇ Ａｒｔｉｆａｃｔ）を低減することに用いられる。デブロッキングフィルタを応用するために、第１復元ブロックと隣接復元ブロックとの間のブロック化強度（ＢＳ、Ｂｌｏｃｋｉｎｇ Ｓｔｒｅｎｇｔｈ）を決定してもよい。
図４７はブロック化強度の決定過程を示すフローチャートである。
図４７に示される例では、Ｐが第１復元ブロックを示し、Ｑが隣接復元ブロックを示す。隣接復元ブロックは現在ブロックの左側又は上方に隣接してもよい。
図４７に示される例には、ＰとＱを考慮した予測符号化モード、非ゼロ変換係数を含むかどうか、同じ参照ピクチャを使用してインター予測を実行するかどうか、及び運動ベクトルの差分が閾値以上であるかどうかによってブロック化強度を決定することを示す。
ブロック化強度に基づいて、デブロッキングフィルタを応用するかどうかを決定してもよい。例えば、ブロック化強度が０である場合、フィルタリングを実行しない可能性がある。
ＳＡＯは周波数領域において量子化を実行する際に発生したリンギングアーティファクト（Ｒｉｎｇｉｎｇ Ａｒｔｉｆａｃｔ）を低減することに用いられる。第１復元ピクチャのパターンを考慮して決定したオフセット量を加え又は引くことにより、ＳＡＯを実行することができる。オフセット量の決定方法はエッジオフセット（ＥＯ、Ｅｄｇｅ Ｏｆｆｓｅｔ）又はバンドオフセット（Ｂａｎｄ Ｏｆｆｓｅｔ）を含む。ＥＯは周辺画素のパターンに基づいて現在サンプルのオフセットを決定する方法を示す。ＢＯは領域における類似の輝度値を有する画素セットに対して同じオフセットを応用する方法を示す。具体的に、画素輝度を３２個の同じ区間に区別してもよく、類似の輝度値を有する画素を１つのセットとして設定してもよい。例えば、３２個のバンドのうちの隣接する４つのバンドを１組に設定してもよく、４つのバンドの属するサンプルに対して同じオフセット量を応用してもよい。
ＡＬＦは第１復元ピクチャ又はデブロッキングフィルタを応用する復元ピクチャに対して予め定義されたサイズ／形状のフィルタを応用して第２復元ピクチャを生成する方法である。下記等式３４にはＡＬＦを応用する例を示す。
等式３４
Figure 2022509024000044
ピクチャ、符号化木ユニット、符号化ブロック、予測ブロック又は変換ブロック単位で予め定義されたフィルタ候補のうちのいずれか１つを選択してもよい。各フィルタ候補のサイズ又は形状のうちのいずれか１つが異なってもよい。
図４８は予め定義されたフィルタ候補を示す図である。
図４８に示される例では、５×５、７×７及び９×９菱形のうちの少なくとも１つを選択してもよい。
色度成分に対してサイズ５×５の菱形しか使用できない。
復号過程又は符号化過程を中心として説明する実施例を符号化過程又は復号過程に用いることも本発明の範囲に含まれる。説明される順序と異なる順序で所定順序に従って説明される複数の実施例を変更することも本発明の範囲に含まれる。
一連のステップ又はフローチャートに基づいて実施例を説明したが、前記実施例は本発明の時間シーケンス順序を制限するものではなく、且つ必要に応じて同時に実行され又は他の順序に従って実行されてもよい。また、上記実施例では、ブロック図を構成する構造要素（例えば、ユニット、モジュール等）は更にそれぞれハードウェア装置又はソフトウェアとして実現されてもよく、且つ複数の構造要素は単一のハードウェア装置又はソフトウェアとして組み合わせて実施されてもよい。前記実施例はプログラム命令の形式で実施されてもよく、前記プログラム命令は様々なコンピュータ部材により実行され、コンピュータ可読記録媒体に記録されてもよい。前記コンピュータ可読記録媒体はプログラム命令、データファイル、データ構造等を独立して含み、又はプログラム命令、データファイル、データ構造等を組み合わせて含んでもよい。コンピュータ可読記録媒体の例はハードディスク、フロッピーディスク及び磁気テープ等の磁性媒体、ＣＤ－ＲＯＭ、ＤＶＤ等の光学記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）の磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリ等のプログラム命令を記憶して該命令を実行するために特に設定されたハードウェア装置を含んでもよい。前記ハードウェア装置は１つ又は複数のソフトウェアモジュールとして操作して本発明に係る処理を実行するように設定されてもよく、逆も同様である。
本発明はビデオを符号化／復号する電子装置に応用されてもよい。

Claims (15)

  1. ビデオ復号方法であって、
    符号化ブロックを第１予測ユニット及び第２予測ユニットに分割するかどうかを決定することと、
    前記符号化ブロックを分割することを決定する場合、前記符号化ブロックの分割タイプを決定することと、
    前記符号化ブロックの前記第１予測ユニットの第１運動情報及び前記第２予測ユニットの第２運動情報を導き出すことと、
    前記第１運動情報及び前記第２運動情報に基づいて前記符号化ブロックにおける予測サンプルを取得することと、を含み、
    第１マージ候補に基づいて前記第１予測ユニットの前記第１運動情報を取得し、前記第１マージ候補は第１インデックス情報によりマージ候補リストに含まれる複数のマージ候補から指定されたものであり、
    第２マージ候補に基づいて前記第２予測ユニットの前記第２運動情報を取得し、前記第２マージ候補は第２インデックス情報により前記マージ候補リストに含まれる複数のマージ候補から指定されたものであるビデオ復号方法。
  2. 前記第２インデックス情報の値が前記第１インデックス情報の値以上である場合、前記第２マージ候補はインデックスとして前記第２インデックス情報の値に１を加えた値を有する請求項１に記載のビデオ復号方法。
  3. 前記第２インデックス情報の値が前記第１インデックス情報の値より小さい場合、前記第２インデックス情報の値を前記第２マージ候補のインデックスとする請求項１に記載のビデオ復号方法。
  4. 前記予測サンプルが前記第１予測ユニット及び前記第２予測ユニットの境界領域に含まれる場合、前記第１運動情報に基づいて導き出した第１予測サンプル及び前記第２運動情報に基づいて導き出した第２予測サンプルの重み付け及び演算によって前記予測サンプルを導き出す請求項１に記載のビデオ復号方法。
  5. 前記予測サンプルのｘ軸座標及びｙ軸座標に基づいて前記第１予測サンプルに応用される第１重み付け値を決定する請求項４に記載のビデオ復号方法。
  6. 定数から前記第１重み付け値を引くことにより、前記第２予測サンプルに応用される第２重み付け値を導き出す請求項５に記載のビデオ復号方法。
  7. 前記符号化ブロックのサイズ又は前記符号化ブロックの形状のうちの少なくとも１つに基づいて前記境界領域のサイズを決定する請求項４に記載のビデオ復号方法。
  8. ビデオ符号化方法であって、
    符号化ブロックを第１予測ユニット及び第２予測ユニットに分割するかどうかを決定することと、
    前記符号化ブロックを分割することを決定する場合、前記符号化ブロックの分割タイプを決定することと、
    前記符号化ブロックの前記第１予測ユニットの第１運動情報及び前記第２予測ユニットの第２運動情報を導き出すことと、
    前記第１運動情報及び前記第２運動情報に基づいて前記符号化ブロックにおける予測サンプルを取得することと、を含み、
    マージ候補リストに含まれる複数のマージ候補のうちの第１マージ候補に基づいて前記第１予測ユニットの前記第１運動情報を取得し、
    前記マージ候補リストに含まれる複数のマージ候補のうちの第２マージ候補に基づいて前記第２予測ユニットの前記第２運動情報を取得し、
    それぞれ前記第１マージ候補を指定するための第１インデックス情報及び前記第２マージ候補を指定するための第２インデックス情報を符号化するビデオ符号化方法。
  9. 前記第２マージ候補のインデックスが前記第１マージ候補のインデックスより大きい場合、前記第２マージ候補のインデックスから１を引いた値を使用して前記第２インデックス情報を符号化する請求項８に記載のビデオ符号化方法。
  10. 前記第２マージ候補のインデックスが前記第１マージ候補のインデックスより小さい場合、前記第２インデックス情報を前記第２マージ候補のインデックス値に符号化する請求項８に記載のビデオ符号化方法。
  11. 前記予測サンプルが前記第１予測ユニット及び前記第２予測ユニットの境界領域に含まれる場合、前記第１運動情報に基づいて導き出した第１予測サンプル及び前記第２運動情報に基づいて導き出した第２予測サンプルの重み付け及び演算によって前記予測サンプルを導き出す請求項８に記載のビデオ符号化方法。
  12. 前記予測サンプルのｘ軸座標及びｙ軸座標に基づいて前記第１予測サンプルに応用される第１重み付け値を決定する請求項１１に記載のビデオ符号化方法。
  13. 定数から前記第１重み付け値を引くことにより、前記第２予測サンプルに応用される第２重み付け値を導き出す請求項１２に記載のビデオ符号化方法。
  14. 前記符号化ブロックのサイズ又は前記符号化ブロックの形状のうちの少なくとも１つに基づいて前記境界領域のサイズを決定する請求項１１に記載のビデオ符号化方法。
  15. ビデオ復号装置であって、インター予測部を備え、
    前記インター予測部は、符号化ブロックを第１予測ユニット及び第２予測ユニットに分割するかどうかを決定することと、前記符号化ブロックを分割することを決定する場合、前記符号化ブロックの分割タイプを決定することと、前記符号化ブロックの前記第１予測ユニットの第１運動情報及び前記第２予測ユニットの第２運動情報を導き出すことと、前記第１運動情報及び前記第２運動情報に基づいて前記符号化ブロックにおける予測サンプルを取得することとに用いられ、
    第１マージ候補に基づいて前記第１予測ユニットの前記第１運動情報を取得し、前記第１マージ候補は第１インデックス情報によりマージ候補リストに含まれる複数のマージ候補から指定されたものであり、第２マージ候補に基づいて前記第２予測ユニットの前記第２運動情報を取得し、前記第２マージ候補は第２インデックス情報により前記マージ候補リストに含まれる複数のマージ候補から指定されたものであるビデオ復号装置。
JP2021523845A 2018-11-08 2019-11-07 ビデオ信号の符号化／復号方法及び前記方法のための装置 Active JP7430721B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024010339A JP2024045337A (ja) 2018-11-08 2024-01-26 ビデオ信号の符号化／復号方法及び前記方法のための装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR20180136255 2018-11-08
KR10-2018-0136255 2018-11-08
KR10-2018-0149064 2018-11-27
KR20180149064 2018-11-27
KR10-2018-0148890 2018-11-27
KR20180148890 2018-11-27
PCT/KR2019/015096 WO2020096388A1 (ko) 2018-11-08 2019-11-07 영상 신호 부호화/복호화 방법 및 이를 위한 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024010339A Division JP2024045337A (ja) 2018-11-08 2024-01-26 ビデオ信号の符号化／復号方法及び前記方法のための装置

Publications (3)

Publication Number Publication Date
JP2022509024A true JP2022509024A (ja) 2022-01-20
JPWO2020096388A5 JPWO2020096388A5 (ja) 2022-10-20
JP7430721B2 JP7430721B2 (ja) 2024-02-13

Family

ID=70611034

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021523845A Active JP7430721B2 (ja) 2018-11-08 2019-11-07 ビデオ信号の符号化／復号方法及び前記方法のための装置
JP2024010339A Pending JP2024045337A (ja) 2018-11-08 2024-01-26 ビデオ信号の符号化／復号方法及び前記方法のための装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024010339A Pending JP2024045337A (ja) 2018-11-08 2024-01-26 ビデオ信号の符号化／復号方法及び前記方法のための装置

Country Status (20)

Country Link
US (3) US11470312B2 (ja)
EP (2) EP3876539B1 (ja)
JP (2) JP7430721B2 (ja)
KR (1) KR20200054104A (ja)
CN (4) CN113395519B (ja)
AU (1) AU2019375315B2 (ja)
BR (1) BR112021008298A2 (ja)
CA (2) CA3207984A1 (ja)
CL (1) CL2021001128A1 (ja)
DK (1) DK3876539T3 (ja)
ES (1) ES2972075T3 (ja)
FI (1) FI3876539T3 (ja)
IL (2) IL282761B2 (ja)
MX (1) MX2021005504A (ja)
PH (1) PH12021550966A1 (ja)
PL (1) PL3876539T3 (ja)
PT (1) PT3876539T (ja)
SG (1) SG11202104433RA (ja)
WO (1) WO2020096388A1 (ja)
ZA (1) ZA202103439B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022509086A (ja) * 2018-12-31 2022-01-20 テンセント・アメリカ・エルエルシー ビデオエンコーディング及びデコーディングのための方法、装置及びプログラム
WO2023199651A1 (ja) * 2022-04-12 2023-10-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2023199652A1 (ja) * 2022-04-12 2023-10-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2023199653A1 (ja) * 2022-04-12 2023-10-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10742975B2 (en) * 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
US10778977B2 (en) * 2018-12-05 2020-09-15 Qualcomm Incorporated Triangle motion information for video coding
WO2020117010A1 (ko) * 2018-12-07 2020-06-11 삼성전자 주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
WO2020130716A1 (ko) * 2018-12-21 2020-06-25 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
CN113228643A (zh) * 2018-12-28 2021-08-06 韩国电子通信研究院 图像编码/解码方法和设备以及用于存储比特流的记录介质
US10742972B1 (en) * 2019-03-08 2020-08-11 Tencent America LLC Merge list construction in triangular prediction
US12010305B2 (en) 2019-03-11 2024-06-11 Apple Inc. Method for encoding/decoding image signal, and device therefor
WO2022177380A1 (ko) * 2021-02-18 2022-08-25 현대자동차주식회사 인터 예측 기반의 비디오 부호화 및 복호화

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020083403A1 (zh) * 2018-10-27 2020-04-30 华为技术有限公司 图像预测方法及装置
WO2020094052A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Side information signaling for inter prediction with geometric partitioning

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2013010231A (es) 2011-04-12 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
RU2719379C2 (ru) * 2011-10-18 2020-04-17 Кт Корпорейшен Способ декодирования видеосигнала
US20130114717A1 (en) 2011-11-07 2013-05-09 Qualcomm Incorporated Generating additional merge candidates
TWI580248B (zh) 2012-04-12 2017-04-21 Jvc Kenwood Corp Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
KR101908249B1 (ko) 2014-11-18 2018-10-15 미디어텍 인크. 단방향 예측 및 병합 후보로부터의 모션 벡터에 기초한 양방향 예측 비디오 코딩 방법
US10271064B2 (en) * 2015-06-11 2019-04-23 Qualcomm Incorporated Sub-prediction unit motion vector prediction using spatial and/or temporal motion information
KR20170058838A (ko) 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
WO2017086738A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
WO2017091007A1 (ko) 2015-11-24 2017-06-01 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US10694179B2 (en) 2016-01-12 2020-06-23 Telefonaktiebolaget Lm Ericsson (Publ) Video coding using hybrid intra prediction
US10560718B2 (en) 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
WO2018034373A1 (ko) 2016-08-19 2018-02-22 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
US10715827B2 (en) * 2017-01-06 2020-07-14 Mediatek Inc. Multi-hypotheses merge mode
KR20180084659A (ko) * 2017-01-16 2018-07-25 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
EP3557867A4 (en) * 2017-01-16 2020-05-13 Industry Academy Cooperation Foundation Of Sejong University METHOD AND DEVICE FOR IMAGE SIGNAL ENCODING AND DECODING
CN116170584A (zh) 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
JP2021514162A (ja) * 2018-02-22 2021-06-03 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおけるブロック分割構造による映像デコーディング方法及び装置
ES2946909T3 (es) 2018-11-22 2023-07-27 Huawei Tech Co Ltd Método, aparato y producto de programa informático para interpredicción
US10778977B2 (en) * 2018-12-05 2020-09-15 Qualcomm Incorporated Triangle motion information for video coding
US10893298B2 (en) 2018-12-12 2021-01-12 Tencent America LLC Method and apparatus for video coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020083403A1 (zh) * 2018-10-27 2020-04-30 华为技术有限公司 图像预测方法及装置
WO2020094052A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Side information signaling for inter prediction with geometric partitioning

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS, JIANLE CHEN, AND SHAN LIU: "Versatile Video Coding (Draft 4)", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M1001 (version 7), JPN6023036749, 17 March 2019 (2019-03-17), pages 47 - 48, ISSN: 0005144869 *
MAX BLASER, JOHANNES SAUER, AND MATHIAS WIEN: "Description of SDR and 360° video coding technology proposal by RWTH Aachen University", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-J0023-r1, JPN6023036750, April 2018 (2018-04-01), pages 1 - 14, ISSN: 0005144868 *
RU-LING LIAO, AND CHONG SOON LIM: "CE10.3.1.b: Triangular prediction unit mode", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L0124-v2, JPN6023036747, October 2018 (2018-10-01), pages 1 - 8, ISSN: 0005144871 *
TADAMASA TOMA, ET AL.: "Description of SDR video coding technology proposal by Panasonic", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-J0020-v1, JPN6023036748, April 2018 (2018-04-01), pages 12 - 15, ISSN: 0005144870 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022509086A (ja) * 2018-12-31 2022-01-20 テンセント・アメリカ・エルエルシー ビデオエンコーディング及びデコーディングのための方法、装置及びプログラム
JP7096951B2 (ja) 2018-12-31 2022-07-06 テンセント・アメリカ・エルエルシー ビデオエンコーディング及びデコーディングのための方法、装置及びプログラム
WO2023199651A1 (ja) * 2022-04-12 2023-10-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2023199652A1 (ja) * 2022-04-12 2023-10-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2023199653A1 (ja) * 2022-04-12 2023-10-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Also Published As

Publication number Publication date
SG11202104433RA (en) 2021-05-28
IL307153A (en) 2023-11-01
IL282761B2 (en) 2024-04-01
BR112021008298A2 (pt) 2021-08-03
FI3876539T3 (fi) 2024-02-09
IL282761A (en) 2021-06-30
AU2019375315A1 (en) 2021-06-03
US20220337832A1 (en) 2022-10-20
KR20200054104A (ko) 2020-05-19
PT3876539T (pt) 2024-02-06
MX2021005504A (es) 2021-06-18
IL282761B1 (en) 2023-12-01
AU2019375315B2 (en) 2024-06-06
JP7430721B2 (ja) 2024-02-13
ES2972075T3 (es) 2024-06-11
EP3876539B1 (en) 2023-12-27
US20220337833A1 (en) 2022-10-20
CN116248869A (zh) 2023-06-09
CA3118269C (en) 2023-10-03
WO2020096388A1 (ko) 2020-05-14
IL307153B1 (en) 2024-06-01
CN113395519A (zh) 2021-09-14
EP4274233A2 (en) 2023-11-08
CA3207984A1 (en) 2020-05-14
US11470312B2 (en) 2022-10-11
US11882282B2 (en) 2024-01-23
ZA202103439B (en) 2022-07-27
EP3876539A1 (en) 2021-09-08
PL3876539T3 (pl) 2024-04-15
CA3118269A1 (en) 2020-05-14
EP3876539A4 (en) 2021-12-29
EP4274233A3 (en) 2023-11-22
US20210337196A1 (en) 2021-10-28
DK3876539T3 (da) 2024-02-12
CN113395519B (zh) 2023-04-07
CN112970260A (zh) 2021-06-15
CN116248870A (zh) 2023-06-09
CL2021001128A1 (es) 2021-11-19
PH12021550966A1 (en) 2021-12-06
JP2024045337A (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
JP7430721B2 (ja) ビデオ信号の符号化／復号方法及び前記方法のための装置
CN113329224B (zh) 视频信号编码/解码方法以及用于所述方法的设备
CN113691807B (zh) 视频信号编码/解码方法以及用于所述方法的设备
CN111149359A (zh) 用于对图像进行编码/解码的方法和装置以及存储有比特流的记录介质
JP7416781B2 (ja) ビデオ信号符号化／復号方法及びその機器
JP7449279B2 (ja) ビデオ信号符号化／復号化方法及びそのための機器
CN113395517B (zh) 视频信号编码/解码方法及其设备
CN113507603B (zh) 图像信号编码/解码方法及其设备
CN113382234B (zh) 视频信号编码/解码方法以及用于所述方法的设备
KR20190044554A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR20200104252A (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
JP7500691B2 (ja) ビデオ信号の符号化／復号化方法及び前記方法のための装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240131

R150 Certificate of patent or registration of utility model

Ref document number: 7430721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150